JPH11513874A - ウェーブレットベースの符号化技術により生成されるゼロツリーを符号化するための装置および方法 - Google Patents

ウェーブレットベースの符号化技術により生成されるゼロツリーを符号化するための装置および方法

Info

Publication number
JPH11513874A
JPH11513874A JP9516690A JP51669097A JPH11513874A JP H11513874 A JPH11513874 A JP H11513874A JP 9516690 A JP9516690 A JP 9516690A JP 51669097 A JP51669097 A JP 51669097A JP H11513874 A JPH11513874 A JP H11513874A
Authority
JP
Japan
Prior art keywords
tree
wavelet
coefficients
vector
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9516690A
Other languages
English (en)
Other versions
JP3563740B2 (ja
Inventor
アンソニー マツーチ,ステファン
ソドガー,イラジ
ザン,ヤチン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPH11513874A publication Critical patent/JPH11513874A/ja
Application granted granted Critical
Publication of JP3563740B2 publication Critical patent/JP3563740B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 ウェーブレットに基づく符号化技術におけるゼロツリーを符号化するための装置(100、900、1000、1100、1200)および方法であり、この方法はゼロツリーを横断するためのデプスファーストパターンを使用する。すなわちペアレントからチャイルド、次にグランドチャイルド等へツリーの各ブランチを完全に横断してから、次のブランチを横断する。このデプスファーストツリー横断パターンを使用してツリーの係数の量子化を行うだけでなく量子化された係数にシンボルを指定する。この方法は、3つのシンボル、すなわちZEROTREE ROOT、VALUED ZEROTREE ROOTおよびVALUEのうちの1つを各ノードに指定する。3つのシンボルおよび効率的なツリー横断パターンを使用することにより、本発明は従来技術よりもゼロツリーを符号化するのにより効率的である。更にこの概念は、ベクトルゼロツリーの符号化にも適用される。

Description

【発明の詳細な説明】 ウェーブレットベースの符号化技術により生成されるゼロツリーを 符号化するための装置および方法 本願は、1995年10月25日に出願された米国仮特許出願第60/007,012号 および1996年6月28日に出願された同第60/020,852号の権利を請求するも のである。 本発明は画像処理システムに関し、より詳細にはウェーブレットベースの符号 化技術を利用した画像処理システムに関する。 発明の背景 データ圧縮システムは、最小の数のビットによりできるだけ正確に情報を表現 し、情報記憶システムまたは伝送システム内にそれぞれ記憶し、または伝送すべ きデータ量を最小にするのに有効である。当該技術分野で使用される圧縮の主な 手段の1つは、元のデータと比較した際に伸長されたデータの画質に大きな影響 を与えることなく、元のデータから冗長な情報を除いている。 音響学、音声および信号処理に関する国際会議の議事録、カリフォルニア州サ ンフランシスコ、1992年3月、第IV巻、657〜660ページには、例え ばかかる圧縮技術が記載されており、この文献ではゼロツリーを含む階層的な連 続近似エントロピー符号化量子化器によって引き継がれる階層的サブバンド分解 、またはウェーブレット変換を行う信号圧縮システムが開示されている。マルチ 解像度階層サブバンド表現を使用する信号データの表現は、バート外著、通信に 関するIEEEトランザクション、 Vol Com-31、No.4、1983年4月、533ページに開示されている。臨界サ ンプリングされる直交ミラーフィルタ(QMF:Quadroture-Mirror Filter)サ ブバンド表現としても知られるウェーブレットピラミッドは、画像の特殊なタイ プのマルチ解像度階層サブバンド表現である。ウェーブレットピラミッドはペン トランド外著、データ圧縮会議議事録(1991年4月8日〜11日、ユタ州ス ノーバード)に開示されている。QMFサブバンドピラミッドは「サブバンド画 像符号化」、J.W.ウッズ編、クルーエル・アカデミック・パブリッシャー、1 991年、およびI.ドーベッチーズ著「ウェーブレットに関する10講」、工 業および応用数学学会(SIAM)ペンシルバニア州フィラデルフィア、199 2年に記載されている。 階層的サブバンド分解としても知られるウェーブレット変換では、かかる分解 によってソース画像の階層的マルチスケール表現が得られるので、この変換は最 近では低ビットレートの画像圧縮に使用されている。このウェーブレット変換は 低ビットレート画像の符号化の重要な局面、すなわち変換係数の重要マップとし ても知られる非ゼロ値の位置を表現する二進マップ(ウェーブレットツリー)の 符号化に使用される。低ビットレート、すなわち1ビット/ペル未満のビットレ ートを得るために、スカラー量子化と、その後にエントロピー符号化を行う際は 、量子化後の最も生じやすいシンボルすなわちゼロシンボルの確率は極めて大き いはずである。一般に、重要なマップを符号化する際にビットバジェットの大部 分を消費するはずである。従って、重要マップの符号化を大きく改善すれば、記 憶または伝送のための情報圧縮を大きく改善できる。 このような目標を達成するために、ゼロツリーと称される新しい構造が開発さ れた。ウェーブレット係数が所定のスレッショルドTに対して重要 でないと言われるのは、係数がT以下の大きさを有する場合である。このゼロツ リーは粗いスケールでのウェーブレット係数が所定のスレッショルドTに対して 重要でなければ、より細かいスケールでの同じ空間位置における同じ方向性をも つウェーブレット係数のすべてはTに関して重要とならない可能性が高いという 仮説に基づくものである。経験的な証拠は、このような仮説は真である可能性が 高いことを示唆している。 より詳細に説明すれば、階層的サブバンドシステムでは最高周波数のサブバン ドを除き、所定のスケールのどの係数もウェーブレットと称される構造に従う同 じ方向の、次に細かいスケールでの係数の組(セット)に関連づけできる。最も 粗いスケールの係数をペアレント(親)ノードと称し、同じ方向の、次に細かい スケールの同一の空間的または時間的位置に対応するすべての係数をチャイルド (子)ノードと称す。所定のペアレントノードに対し、同一位置に対応する同じ 方向の、より細かいすべてのスケールのすべての係数の組をディセンダント(子 孫)と称す。同様に、所定のチャイルドノードに対し、同じ位置に対応する同じ 方向の、より粗い全てのスケールの係数の組をアンセスタ(先祖)と称す。最低 周波数サブバンドを除き、すべてのペアレントノードは4つのチャイルドノード を有し、最低周波数サブバンドでは、各ペアレントノードが3つのチャイルドノ ードを有するように、ペアレントとチャイルドとの関係が定義される。 ノードは分解のスケールの最も粗いレベルから最も細かいレベルまでの順序で スキャンされる。このことは、ペアレントおよびそのペアレントと同じスケール のすべてのサブバンドにおける他のすべてのペアレントがスキャンされるまで、 チャイルドノードはスキャンされないことを意味している。このようなスキャン は、二次元データセットのウェーブレット変換の係数によって定義されるすべて のウェーブレットツリーを横断するよう に実行される、ある種の変形されたブレドスファースト(breadth-first)ある いはサブバンドごとの横断である。 係数が重要であるかどうかを判別するスレッショルドレベルを仮定すると、1 )ノードにおける係数が重要でない大きさを有する場合、2)ノードがルートの ディセンダントでない場合、すなわちノードを、より粗いスケールから完全には 予想できない場合、および3)ディセンダントのすべてが重要でない場合に、こ のノードをZEROTREE ROOTと称する。ZEROTREE ROOTは、より細かいスケールの係 数の非重要性を完全に予測できることを表示する特別なシンボルで符号化される 。二進の重要性マップを効率的に符号化するために、次の4つのシンボル、すな わちZEROTREE ROOT、ISOLATED ZEROおよび2つの非ゼロシンボル、すなわちPOSI TIVE SIGNIFICANTとNEGATIVE SIGNIFICANTがエントロピー符号化される。 本明細書で参考例として引用する、1995年5月2日に発行された米国特許 第5,412,741号は、高い圧縮度で情報を符号化するための装置および方法を開示 している。この装置は従来の技術よりも、より効率的にウェーブレット係数のゼ ロツリー符号化を用いている。この装置のキーとなる操作は、スキャンすべき係 数インデックスのリストをダイナミックに発生し、このダイナミックに発生され たリストがシンボルを符号化しなければならない係数インデックスしか含まない ようにすることである。このことは、係数インデックスの統計リストを使用し、 a)シンボルを符号化すべきかどうか、またはb)シンボルを完全に予測できる かどうかを見るために、各係数を別々にチェックしなければならない従来技術よ りも、劇的な改良となっている。 上記米国特許第5,412,741号に開示された装置は、画像のウェーブレット変換 を行うステップと、ウェーブレット係数のゼロツリーマップを形成 するステップと、変換の最も粗いレベルからの初期主要リスト上の重要な係数お よびペアレントの係数が重要であると判った時に主要リストにインデックスが追 加された係数のチャイルドを符号化するステップと、スレッショルドを下げるス テップと、スレッショルドを小さくし符号化された係数の精度を高めるよう、重 要な係数の予想値を細かくするステップと、小さくしたスレッショルドで改定さ れた主要リストをスキャンするように循環する工程とから成る、情報を符号化す るための方法を使用している。 このような繰り返しプロセスを行うために、上記米国特許第5,412,741号の方 法は、ウェーブレットツリーをサブバンドごとにスキャンすることによって実行 されている。すなわちすべてのペアレントノードを符号化し、次にすべてのチャ イルドノードを符号化し、次にすべてのグランドチャイルド(ひ孫)ノードをス キャンし、次々にこのようなスキャンを行い、これらをビット平面ごとに符号化 する。画像のウェーブレットツリー表現を通じて、このプロセスが繰り返される につれ、この装置はゼロツリーマップ内の4つのシンボルのうちの1つを符号化 する。ウェーブレットツリーの処理速度の改善は利益をもたらす。 従って当該技術分野では、符号化をより効率的にし、処理を高速にするような ウェーブレットツリーのノードを分類し、符号化する改良された方法に対するニ ーズがある。 発明の概要 本発明はウェーブレットに基づく符号化技術におけるゼロツリーを符号化する 装置およびそれに付随する方法に関する。より詳細に説明すれば、本発明はゼロ ツリーを横断するためのデプスファースト(depth-first)パターンを使用する 。すなわち次のブランチを横断する前にペアレントか らチャイルド、次にグランドチャイルド等へとツリーの各ブランチを完全に横断 する。ツリーの係数を量子化するだけでなく、量子化された係数にシンボルを指 定するのに、このデプスファーストツリー横断パターンが使用される。更に、本 発明は、各ノードに対し3つのシンボル、すなわちZEROTREE ROOT、VALUED ZERO TREE RO0TおよびVALUEのうちの1つを指定する。これら3つのシンボルおよび効 率的なツリー横断パターンを使用することにより、本発明は従来技術よりもゼロ ツリーを符号化する上で、概ね、より効率的となっている。更にこの概念は、ベ クトルゼロツリーの符号化にも実施できる。 図面の簡単な説明 添付図面を参照し、次の詳細な説明を検討すれば、本発明の教示を容易に理解 できよう。 図1は、本発明の画像符号化器のブロック図である。 図2は、図1に示された符号化器の符号化方法を示すフローチャートである。 図3は、ウェーブレットツリー内の3つのスケールに分解された画像における サブバンドのペアレントとチャイルドとの従属性を示す略図である。 図4は、サブサンプリングされた画像の3世代のペアレントとチャイルドとの 関係を示す図である。 図5は、ウェーブレットツリーにおける種々のノードの相互関係の略図を示す 。 図6は、ウェーブレットツリーのウェーブレットブロック表現を示す。 図7は、本発明によって実行される量子化ルーチンのフローチャートを示す。 図8は、本発明によって実行されるシンボル指示サブルーチンのフローチャー トを示す。 図9は、ベクトル−ウェーブレット変換の一実施例のブロック図を示す。 図10は、ベクトル−ウェーブレット変換の別の実施例のブロック図を示す。 図11は、スカラーベクトル変換と、それに続いて行われるベクトルまたはオ ブジェクトグループ分けの一実施例のブロック図を示す。 図12は、スカラーベクトル変換と、それに続いて行われるベクトルまたはオ ブジェクトグループ分けの別の実施例のブロック図を示す。 図13は、ベクトルウェーブレットの一例を示す。 図14は、ベクトルのペアレント−チャイルドの関係を示す。 図15は、オブジェクトのペアレント−チャイルドとの関係を示す。 図16は、“ウェーブレットブロック”を形成するための各ウェーブレットツ リーの係数ベクトルの再編成を示す。 発明の理解を容易にするために、異なる図面で共通する同一要素を表示するの に、可能な場合、同一参照番号を使用した。 詳細な説明 図1は、本発明の符号化器100のブロック図を示し、図2は図1の符号化器 100の作動を示すフローチャートである。発明を最良に理解するには、読者は 本発明の下記の説明を読みながら、同時に図1および2を参照されたい。 符号化器100はウェーブレットツリー発生器104と、オプションのウェー ブレットツリー再編成器108と、量子化器110と、シンボル指定器112と 、エントロピー符号化器114を含む。これら構成要素の各 々はポート102における画像をポート116における符号化された出力画像に するよう、画像を処理するために、直列に接続されている。入力画像は一般に、 イメージスキャナーまたはコンピュータのグラフィックシステムから作成できる ようなピクセル化された(デジタル化された)フォトグラフィック画像である。 しかしながら、この入力画像はビデオ符号化システムによって生成されるビデオ 画像の一連のフレームまたは動き補償された残余(レジデュアル)フレーム内の フレームでもよい。一般に本発明は、任意の形態のデジタル化された画像または その一部を処理するので、本発明の作動方法は一般にステップ202にて画像の 入力、すなわち任意の形態の二次元データと共に開始する。 ウェーブレットツリー発生器104は(ステップ204にて)ウェーブレット 階層的サブバンド分解を実行し、入力画像の従来のウェーブレットツリー表現を 生成する。かかる画像分解を行うために2つの次元のうちの各々で2回のサブサ ンプリングを使用して画像を高水平−高垂直(HH)、高水平−低垂直(HL) 、低水平−高垂直(LH)および低水平−低垂直(LL)周波数サブバンドに分 解する。LLサブバンドは更に2つの次元の各々で2回サブサンプリングされ、 HH、HL、LHおよびLLサブバンドの組を発生する。このサブサンプリング は3回のサブサンプリングを使用する、図3に示されているようなサブバンドの アレイを生成するように、再帰的に行われる。実際には4回以上のサブサンプリ ングを利用することが好ましい。サブバンド間のペアレントとチャイルドの従属 性は、ペアレントノードのサブバンドからチャイルドノードのサブバンドを指し ている矢印のように示される。最低周波数サブバンドは左側頂部LL3にあり、 最高周波数サブバンドは右側底部HH1にある。本例ではすべてのチャイルドノ ードは1つのペアレントを有する。サブバンド分解の詳細な説 明は、J.M.シャピロ著「ウェーブレット係数のゼロツリーを使用した埋込み画 像符号化」、信号処理に関するIEEEトランザクション、第41巻、第12号 、3445〜62ページ、1993年12月に記載されている。 図4は、サブサンプリングされた画像の3世代にわたるペアレントとチャイル ドとの関係を示す。1つのペアレントノード400は4つのチャイルドノード4 02を有し、このチャイルドノードは4回のサンプリング、すなわち2つの次元 の各々で2回サンプリングした画像内の同じ領域に対応する。各チャイルドノー ド402は、更に4回サブサンプリングされた4つの対応する次世代のチャイル ドノード404を有する。ペアレントノードをそのチャイルドおよびグランドチ ャイルドに関連づける関係、すなわちデータ構造はウェーブレットツリーである 。低−低サブバンドにおける各ペルまたはピクセルは、これに関連したツリーを 有することに留意すベきである。更に低−低サブバンドから延びた複数のツリー は、当該技術分野ではその画像に対するウェーブレットツリーと一般に称される 。本明細書ではこのような命名法にも従うものとする。 図1および2に示されるように、量子化器110は(ステップ210にて)「 デプスファースト」パターンでウェーブレットツリーの係数を量子化する。この デプスファーストパターンは従来の符号化システムがすべてのサブバンドを横断 する変更されたブレドスファーストパターンでウェーブレットツリーを横断する 、すなわちすべてのペアレントノードを量子化し、次にすべてのチャイルドを量 子化し、次にすべてのグランドチャイルド等を量子化する、従来の符号化システ ムとかなり異なっている。これと対照的に、本発明の方法は「デプスファースト 」順序で低−低サブバンド(LL3)内のルートからチャイルドを通る順序で、 各ツリーを横断する。 図5は、各ツリーを横断するのに使用されるデプスファーストパターンを示す。 例えば本発明のデプスファーストプロセスはLL3内のノード500で始まり、 次に太字で表示された経路を通り、サブバンドLH3内のノード502に進み、 次にサブバンドLH2内のノード504に進む。デプスファースト横断プロセス はノード504からサブバンドLH1内のノード506、508、510および 512に連続して進む。すなわちノード504のチャイルドのすべてを通り、5 04のシブリング(兄弟)(514、524、534)まで続き、ここで次のシ ブリングおよびそれらのチャイルドまで各ジブリングの4つのチャイルドを横断 する。ツリーのこのような全ブランチを横断すると、横断プロセスはノード50 0の別のチャイルドノード、例えばノード544に進む。デプスファースト横断 プロセスはこのノードからノード546、548、550、552および554 に進み、次にノード556等に進む。 各ブランチを横断する際には、係数は離散値に量子化される。本発明では任意 の量子化方法を使用できる。この量子化方法は正の値、負の値またはゼロの値の いずれかを意味する離散値に対し、連続する係数値をマッピングする。要するに 、デプスファーストスキャンパターンでは、ペアレント504から後であって、 かつ隣接するペアレント514、524および534のいずれかまでにチャイル ド506、508、510および512がスキャンされる。このように次の隣接 する空間位置の係数がスキャンされる前に、ペアレント500からチャイルド5 02、更にグランドチャイルド504への周波数が高くなる順に、所定の空間位 置を示すすべての係数がスキャンされる。 デプスファーストスキャンパターンのこれまでの説明は、「トップダウンパタ ーン」として説明したが、デプスファーストスキャンパターンは底 部からのスキャンも含む。このように、ツリーの「リーブ(葉)」(最も底部に あるノード)からスタートしてツリーを上に進むことによっても、量子化を行う ことができる。図5の例を参照すると、「ボトムアップ」パターンでは、まずノ ード506、508、510および512を量子化し、次にノード504を量子 化し、更にツリーを上に移動して、最後に500を量子化する。一旦、これが完 了すると、量子化プロセスは別のツリー、更に別のツリーを量子化し、すべての ツリー内のすべてのノードが量子化されるまで量子化を続ける。後に説明するよ うに、トップダウンパターンよりもボトムアップパターンを使うほうが、本発明 はより効率的に実施できる。 このようなデプスファーストスキャンパターンを容易にするために、本発明は 「ウェーブレットブロック」を形成するように、各ウェーブレットツリーの量子 化された係数を再編成する。図1および2に示されるように、この再編成は量子 化を行う前に(ステップ206で)ウェーブレットツリー再編成器108で行わ れる。 図6は、本発明によって発生されるウェーブレットブロック604を略図で示 す。本発明はウェーブレットツリー602内の低−低バンド606(LL3)内 のピクセル600から延びるツリー602を、ウェーブレットブロック604に マッピングする。画像フレーム608の各ウェーブレットブロック604は、フ レーム内のブロックの空間位置におけるフレームを示すすべてのスケールおよび 方向の係数を含む。再編成は、係数のメモリ位置をウェーブレットブロックを構 成する新しいメモリ位置に物理的に再マッピングすることによって行われる。こ のように、連続するアドレス位置に所定のウェーブレットブロックのすべての係 数を記憶する。これと異なり、係数を物理的に配列し直さず、むしろ仮想メモリ に再マッピン グすることもできる。従って、物理的メモリへのインデックスが作成され、ここ でインデックス(仮想メモリ)はウェーブレットブロックに配列されるメモリ位 置を有する。インデックスへアクセスするごとに、インデックスへのアドレスは 係数を記憶する物理的メモリ位置にマッピングされる。従って、仮想メモリ方法 により、メモリ内の係数を物理的に配列し直すことなく、ウェーブレットブロッ クの利点を活用できる。 デプスファーストスキャンパターンを使用することにより、各ウェーブレット ブロックの係数を量子化するために、各ウェーブレットブロックを完全にスキャ ンし、その後、次のブロックをスキャンし、このような動作を次々に繰り返す。 例えばブロック610を完全にスキャンし、次にウェーブレットブロックのフレ ームを通過するラスタースキャンのパターンでブロック612、次にブロック6 14等をスキャンする。ブロックの順序の決定はラスタースキャンパターンにす る必要はなく、アプリケーションが求める任意の順序とすることができる。この ような順序には所定のオブジェクトに対応するブロックをスキャンし、符号化し 、次に他のオブジェクトをスキャンし、符号化するような、オブジェクトに基づ く順序づけを含む。連続するメモリアドレスに全ブロックが位置するので、所定 のブロックに対する最初または最終メモリ入力のいずれかを選択し、昇順または 降順で、すべての他のアドレスにアクセスすることにより、トップダウンパター ンまたはボトムアップパターンでブロックを容易にスキャンできる。 重要なことに、かかる再編成によりフレーム内の空間的位置に基づく、異なる 量子化器のスケールを各ウェーブレットブロックに指定できる。これにより係数 の空間的位置に対し、および/または係数によって表現される周波数バンドに従 い、量子化器110の独特の割り当てが可能となる。このように画像の中心また は画像内の所定のオブジェクトをエッジよりも より正確に量子化できるよう、画像内で量子化器のスケールを変えることができ る。同様に、より高い周波数(またはその内容に対して、より低い周波数、中間 周波数、種々の周波数バンド等)を他の周波数と異なるスケールを使って量子化 できるように、量子化器のスケールを周波数に従属させることができる。 特定のアプリケーション、例えばビデオフォン(テレビ電話)では、バックグ ラウンドオブジェクト、例えば発呼者の頭部および肩を、バックグラウンドオブ ジェクトよりもより正確に量子化できるように選択する。従って、バックグラウ ンド情報をより低い精度で符号化しながら、重要な情報を正確に符号化し、伝送 する。ウェーブレットブロックの使用によりフォアグラウンド情報とバックグラ ウンド情報の二通りに分けた符号化を容易にできる。正確な符号化ができるよう にある領域を選択すると、本発明によれば、より正確な符号化を必要とするブロ ックにフラグを立てることができる。このように、量子化器はフラグが立てられ ていないブロックで使用される量子化ステップよりも、より細かい量子化ステッ プを使用して、このフラグを立てたブロックを量子化する。 ウェーブレットブロックは本発明を実施するために直感的なデータ構造を形成 するが、本発明の符号化器100を実現するのに、ウェーブレットブロックを使 用する必要はない。後述するように、本発明の改良されたツリー横断プロセスお よび改良された符号化技術と組み合わせて、従来のツリー構造を使用できる。こ のように図1および2は、それぞれ再編成器およびこれに関連する機能をそれぞ れバイパスするパス106およびパス208を設けることにより再編成器を任意 選択するような性質をもたせることを示す。 量子化後、ツリーの各ノードでは量子化された係数がゼロ値または非ゼ ロ値のいずれかを示す。ノードにおける係数がゼロでかつそのディセンダントが ゼロツリーを形成すれば、すなわち全てのディセンダントノードはゼロ値を有す るならば、常にゼロツリーが存在する。各ツリーをデプスファースト方法で再び スキャンすることより、ウェーブレットの量子化された係数は効率的に符号化さ れる。従って、シンボル指定器112はツリーを横断し、ノードの量子化された 値のみならず、各ノードのディセンダントの量子化された値に応じて特定のシン ボルを各ノードに割り当てることによって(ステップ212にて)作動する。 より詳細に説明すれば、各ノードでは本発明の方法は3つのシンボル、すなわ ちZEROTREE ROOT、VALUED ZEROTREE ROOTおよびVALUEのうちの1つを指定する。 ZEROTREE ROOTはゼロツリーのルートである係数を表示する。シンボルを割り当 てるスキャンを行った後は、ツリー内のすべての係数はゼロの値を有しているこ とが判っているので、これ以上、ゼロツリーをスキャンする必要はない。VALUED ZEROTREE ROOTは係数が非ゼロ値を有し、4つのすべてのチャイルドがZEROTREE ROOTであるノードである。このツリーの符号化スキャンは、このノードよりも 下に進むことはない。VALUEシンボルはツリーに沿ったどこかの位置に非ゼロを 有するディセンダントをもつ、ゼロまたは非ゼロの値を有する係数を識別するシ ンボルである。 効率的に量子化したツリーをスキャンし、シンボルをノードに指定するため、 量子化器はシンボル指定器と共に作動する。図7はゼロツリーの係数を量子化す るのに使用される量子化ルーチン700の詳細なフローチャートを示し、図8は 、量子化された係数の値を表現するためにシンボル値を指定するためのシンボル 指定ルーチン800の詳細なフローチャートを示す。 ルーチン700ではブロック702で開始し、ステップ704に進み、 ここでウェーブレットツリー内のノードから係数値を抽出する。後述するように 、この量子化ルーチンは、ボトムアップ、デプスファーストパターンでウェーブ レットツリーをスキャンするものである。従って、最高周波数のサブバンド内に 常に第1アドレスが存在し、ルーチンを通る各繰り返しによりルーチンは次第に ツリーの上方、つまり低周波数サブバンドに進む。量子化された値が生成される 際、ルーチンはチャイルドノードの量子化値が値をもつかゼロかを記憶しておく 。ステップ706でルーチンは抽出された係数値を正の値、負の値またはゼロの 値に量子化する。ステップ708では直前に量子化された係数値に関連したノー ドに対し、仮のシンボル値でマークマップが更新される。このマークマップシン ボルはチャイルドノードの値のみならず、現在ノードの値によって決まる。スキ ャンはボトムアップで行われるので、マークマップはノードがZEROTREE ROOTで あるかどうかを現時点では最終的に指示できないことに留意されたい。従って、 すべてのノードに仮のシンボル値が指定された後に、最終的なシンボル値を指定 するように、ツリーは再びトップダウンパターンでスキャンされる。このマーク マップは量子化ルーチン700によって満たされたウェーブレットツリーノード のインデックスである。マークマップ内の各アドレスではルーチンは仮のシンボ ル、すなわち潜在的なVALUE、潜在的なVALUED ZEROTREE ROOTまたは潜在的なZER OTREE ROOTを記憶する。量子化された係数値がある値を有する場合、その係数に 対するマークマップ位置には潜在的なVALUEシンボルがマークされる。量子化さ れた係数値がゼロ値であり、そのノードのチャイルドのすべてがゼロ値であれば 、マークマップ位置に潜在的なZEROTREE ROOTがマークされる。最後に、量子化 された値がある値を有し、それらのチャイルドがすべてゼロ値であれば、そのマ ークマップ位置には潜在的なVALUED ZEROTREE ROOTがマークされる。 ステップ710ではルーチンはツリー内のすべてのノードの量子化が完了した かどうかを問い合わせる。この問い合わせに対する回答が否定的であれば、ルー チンはステップ712に進み、ここで量子化のためにツリー内の新しい(次の) ノードが選択される。次にルーチンはステップ704にリターンする。ステップ 710における問い合わせに対する回答が肯定的であれば、ルーチンはステップ 714まで進む。このステップ714でルーチンはすべてのツリーの量子化が完 了したかどうかを問い合わせる。問い合わせに対する回答が否定的であれば、ル ーチンはステップ716で新しい(次の)ツリーまたは量子化を選択する。ステ ップ714における問い合わせに対する回答が肯定的であれば、ルーチンはステ ップ718に進む。ルーチン700におけるこのポイントでは、すべてのツリー におけるすべてのノードは量子化されており、仮のシンボルが指定さられている 。ステップ718ではルーチン700は図8のシンボル指定ルーチン800をコ ールする。シンボルが指定された後、ルーチン700はブロック720で終了す る。 ルーチン800はツリーをトップダウンパターン、すなわちルートからリーブ へスキャンする。しかしながらZEROTREE ROOTまたはVALUED ZEROTREE ROOTが発 生するごとにツリーは除かれているので、ルーチンはすべてのノードにアクセス する必要はない。より詳細に説明すれば、ルーチン800はステップ802に入 り、ステップ804にすすむ。ステップ804ではルーチンは量子化された係数 のツリーから量子化された係数を抽出する。ステップ806では、ルーチンは抽 出された係数に対応するマークマップ内の仮のシンボルを抽出する。ルーチンは ステップ808で仮のシンボルが潜在的なZEROTREE ROOTであるかどうかを問い 合わせる。この問い合わせに対する回答が肯定的であれば、ルーチンはステップ 810でZERO TREE ROOTシンボルをノードに指定する。次にステップ812で、ルーチンはツ リーを除く。すなわちルーチンは定義によりすべてのノードがゼロ値を有してい るので、このZEROTREE ROOTノードよりも下のすべてのノードを無視する。 ルーチンはステップ820ですべてのノードが選択されたかどうかを問い合わ せる。ステップ820における問い合わせに対する回答が否定的であれば、ルー チンはNOパスに沿ってステップ814に進む。ステップ814ではトップダウ ンのデプスファーストスキャンを行うよう、除いたブランチをスキップした後に ツリー内の次のノードを選択する。 ステップ808における問い合わせに対する回答が否定的であれば、ルーチン はNOパスに沿ってステップ816に進む。このステップ816ではルーチンは マークマップが潜在的なVALUED ZEROTREE ROOTの潜在的シンボルを含むかどうか を問い合わせる。ステップ816における問い合わせに対する回答が肯定的であ れば、ルーチンはステップ822でVALUED ZEROTREE ROOTシンボルをノードに指 定し、非ゼロ値のリストに値を入れて、ステップ824でツリーを除く。ルーチ ンはステップ820ですべてのノードの選択が完了したかどうかを問い合わせる 。ステップ820における問い合わせに対する回答が否定的であれば、ルーチン はステップ814に進む。次にルーチンはステップ814で除かれたブランチを スキップしながらシンボル指定のための次のノードを選択する。 ステップ816における問い合わせに対する回答が否定的であれば、ルーチン はステップ818においてVALUEシンボルをノードに指定し、値ゼロを含む値の リストに値を置く。ルーチンはステップ820ですべてのノードの選択が完了し たかどうかを問い合わせる。ステップ820における問い合わせに対する回答が 否定的であれば、ルーチンはステップ814に 進む。次にルーチンはステップ814でシンボル指定のために次のノードを選択 する。 この指定ルーチンはすべてのノードにシンボルが指定されるまで続く。従って 、ステップ820における問い合わせに対する回答が肯定的であれば、ルーチン はステップ826に進み、ここでルーチン800は終了するか、またはルーチン 700にリターンする。 (ステップ214では)エントロピー符号化器114、例えば従来の算術符号 化器を使ってシンボルおよび値が符号化される。この符号化を行う1つの可能な 方法は次のとおりである。シンボルは3シンボルアルファベットを使って符号化 される。VALUED ZEROTREE ROOTシンボルに1:1に対応する非ゼロ値のリストは 、値ゼロを含まないアルファベットを使用して符号化される。VALUEシンボルに 1:1に対応する残りの係数は値ゼロを含むアルファベットを使って符号化され る。スキャンで到達したチャイルドを有しないリーフにある、すべてのノードに 対しては、ルートシンボルを用いることはできない。従って、このノードに対す るシンボルを符号化せず、ゼロの値を含むアルファベットを使用して係数を符号 化することにより、いくつかのビットを節約できる。シンボルに対する3シンボ ル符号化アルファベットおよび値に対するマルチシンボルアルファベットを使用 する図示された符号化器は、ウィッテン外著「データ圧縮のための算術的符号化 」、Comm of the ACM、第30巻、第6号、520〜540ページ(1987年 6月)に開示された符号化器に従う。実際に当業者であれば、指定されたシンボ ルに従って係数の値(またはその値の表現)を符号化するだけで、本発明を変更 できることが理解できよう。すなわち係数の重要性を表示するシンボルを符号化 することなく、係数の値だけを符号化する。 符号化器100は(ステップ216にて)ポート116に符号化された 出力画像を生成する。本発明を利用することにより、ウェーブレットツリーの各 ノードにおける3つのシンボルのうちの1つと、係数値を符号化するためのビッ トを使用することにより、画像は高速かつ効率的に符号化される。 本発明の複数の別の実施例は、画像或いはビデオのベクトルまたはオブジェク トゼロツリー符号化に本符号化手法を適用する。すなわち量子化されたウェーブ レット係数の量子化およびゼロツリーエントロピー符号化を行うベクトル(また はオブジェクト)ゼロツリー符号化の概念に、ウェーブレット変換を利用する本 符号化手法が適用される。本発明のベクトルまたはオブジェクトゼロツリー符号 化実施例の各々は、画像またはビデオレジデュアル(残余分)に対するウェーブ レット係数の符号化のために、ゼロツリーを使ってベクトルまたはオブジェクト アプローチを構成する。これに関しては各ウェーブレットツリーの各ノードは単 一係数ではなく、係数のリスト(ベクトル)である。ツリーノードはスキャンさ れ、係数が量子化され、ベクトルゼロツリーエントロピー符号化と称される方法 を使ってシンボルエントロピーがすべて符号化される。 これら種々のベクトルまたはオブジェクトゼロツリー符号化実施例は、2つの カテゴリー、すなわちスカラーウェーブレット変換と、その後にベクトル(また はオブジェクト)グループ分けするカテゴリーまたはベクトル(またはオブジェ クト)グループ分け、およびその後にベクトルウェーブレット変換を行うカテゴ リーに分けられる。すなわち画像、ビデオフレームまたは動き補償されたビデオ レジデュアル(残余分)フレームは、まずスカラーウェーブレット変換またはベ クトルウェーブレット変換される。図11〜12は、第1カテゴリーを示し、こ こではまずスカラーウェーブレットを計算し、次に変換後、ウェーブレット係数 をベクトルまたはオブ ジェクトにグループ分けする。これと対照的に、図9〜10は、第2カテゴリー を示し、ここでは入力信号をベクトルとしてグループ分けし、ベクトル−ウェー ブレット変換を行い、ベクトルとして出力を生成する。いずれのケースにおいて も、結果をウェーブレット係数のベクトルまたはオブジェクトのフレームとして 見ることができる。 要約すれば、発明の2つの実施例(図9および10)では、ベクトルは画像ま たはビデオピクセル、またはレジデュアルの二次元マトリックスの固定されたタ イル(tiling)によって定義される。そして計算されるウェーブレット変換はベ クトルウェーブレット変換である。次にベクトル量子化またはスカラー量子化の いずれも、符号化された出力画像を生成するように、ベクトルゼロツリーエント ロピー符号化と組み合わされる。 本発明の別の4つの実施例(図11および12)では、スカラーウェーブレッ ト変換が計算され、次に任意のサイズの最も粗いスケールまたはオブジェクトに おけるウェーブレット係数の二次元マトリックスの固定されたタイルによって、 いずれかのベクトルが定義され、セグメント化アルゴリズムによって形状を決定 する(すなわち2つの実施例を作成する)。次に、ベクトルまたはオブジェクト はベクトルゼロツリーエントロピー符号化と組み合わされて、ベクトル量子化ま たはスカラー量子化され、符号化された出力画像を生成する(すなわち4つの実 施例に対する別の2つの実施例を生じる)。ベクトルウェーブレットの一形態に ついては、W.リーおよびY.Q.チャン著「画像およびビデオ圧縮のためのベク トルベースの信号処理および量子化」(IEEEの議事録第83巻317〜33 5ページ、1995年2月)に開示されている。 図13はベクトルウェーブレットの一例を示す。画像またはビデオレジデュア ルのベクトルウェーブレットは画像またはビデオレジデュアルの隣 接するサンプルをベクトルを作るためにグループ化し、ベクトルを形成し、次に これらベクトルに対しウェーブレット変換を行う変換である。ベクトルウェーブ レット変換は次のステップで計算される。すなわち空間的にずれたフレームを表 現する信号の多数のサブサンプリングされたフレームを得るようにフレームをサ ブサンプリングするステップと、離散ウェーブレット変換によりサブサンプリン グされたフレームの各々を変換し、ウェーブレット変換係数を表現する信号の対 応する多数のフレームを得るステップと、係数を表現する信号のそれぞれのフレ ームの対応する係数表現信号からベクトル表現信号を形成するステップによって 計算される。 すなわちフレーム(入力画像)1302は、二次元の多相成分となるように分 解される。各多相成分は4つのデルタ関数13041〜13044によって示され るような、元のフレームの空間的にずれたフレームである。次に各空間的にずれ たフレームを4回のサブサンプリングでサブサンプルする。すなわちサブサンプ ラー1306により2つの次元の各々で2回サブサンプリングし、多相成分を生 成する。次に、各多相成分に対しウェーブレット変換1308を適用し、同じイ ンデックスをもつ各ウェーブレット変換された成分に対し1つずつ変換係数をグ ループ分けすることによりベクトルを形成する。このように、m×nピクセルの ベクトルは、m×n係数のベクトル1310に変換される。 ベクトルウェーブレット変換は多数の重なったフレームとしても見ることがで き、各ベクトルまたはオブジェクトは同一のインデックスを共有する各フレーム からの1つの係数から構成される。フレームの数はベクトルの次元すなわちオブ ジェクトのサイズに等しい。 次に、図9〜12を参照して種々の実施例について詳細に説明する。より詳細 には、図11〜12はスカラーウェーブレット変換と、その後にベ クトル(オブジェクト)グループ化を行う4つの実施例を示す。図11および1 2の符号化器は多くの類似性を有するので、番号を重ねて表示することにより種 々の実施例を同時に説明する。 符号化器1100(1200)は、ウェーブレットツリー発生器1103(1 203)と、ベクトルまたはオブジェクト編成器1104(1204)と、オプ ションのベクトル/オブジェクトウェーブレットツリー再編成器1108(12 08)と、ベクトル量子化器1110(量子化後プロセッサ1211を備えたス カラー量子化器1210)と、シンボル指定器1112(1212)と、エント ロピー符号化器1114(ベクトルエントロピー符号化器1214)とを含む。 これら構成要素の各々はポート1102(1202)における入力画像をポート 1116(1216)における符号化された出力画像に処理するように直列に接 続されている。 ウェーブレットツリー発生器1103(1203)は、上で述べたように、入 力画像1102(1202)の従来のウェーブレットツリー表現を生成するよう にウェーブレット階層的サブバンド分解を行う。次に、ベクトルまたはオブジェ クト編成器1104(1204)は、ウェーブレット変換の低−低バンドにおけ る隣接する係数の固定されたグループ分けによりベクトルを定める。オブジェク トは低−低バンドのウェーブレット係数にセグメント化アルゴリズムを用いるこ とにより定められる。このセグメント化は完全であり、重なり合わないものと見 なされる。従って、低−低バンドにおける各係数は唯一のベクトルまたはオブジ ェクトの要素である。パトリック・キャンベル・マクリーンにより1991年7 月にマサチューセッツ工科大学のメディアアートおよび科学学部に提出されたマ スター論文「構造化されたビデオ符号化」または1994年11月14日に出願 された継続中の米国特許出願第08/339,491号に開示されているように、本発 明に対し、種々のセグメント化アルゴリズムを使用できる。 図14〜15を参照すると、次に細かいスケールでアウトライン1404(1 504)を定めるようにアップサンプリングすることによりベクトル1402ま たはオブジェクト1502は、より高いバンドに伝播される。より粗いスケール と同様に同じサイズにベクトルおよび/またはオブジェクトを維持するために、 アウトライン内の各ベクトルまたはオブジェクトの係数を図14〜15に示され るように4つのベクトル1406またはオブジェクト1506に再グループ分け する。より粗いスケールのベクトルまたはオブジェクトはベクトルまたはオブジ ェクトペアレントと称され、次に細かいスケールの4つのベクトルまたはオブジ ェクトはベクトルまたはオブジェクトチャイルドと称す。4つの多相成分140 8(1508)を取ることにより、アウトラインから4つのベクトル/オブジェ クトチャイルドが抽出される。このことは、アウトラインをシフトしてサブサン プリングすることに同じである。図14および15にはそれぞれベクトルのペア レントとチャイルドの関係、およびオブジェクトのペアレントとチャイルドとの 関係の例が示されている。これら関係式はベクトルまたはオブジェクトウェーブ レットツリーを定める。 ベクトルまたはオブジェクトウェーブレットツリーはスカラーZTEのウェー ブレットツリーに類似するが、これらベクトルまたはオブジェクトウェーブレッ トツリーの各ノードには単一値の代わりにウェーブレット係数のベクトルがある 点が異なっている。上記スカラーZTE符号化で行われているように、各ツリー は低−低バンド内のルートからチャイルドおよびグランドチャイルドを通るよう に、デプスファーストパターンで横断される。ノードが横断される際に現在の量 子化仕様に従って係数が量子化される。この量子化はスカラー量子化器1210 によりスカラー量子化のベ クトルとして、またはベクトル量子化器1110による単一ベクトル量子化とし て行うことができる。アレン・ゲルショー外により「ベクトル量子化および信号 圧縮」(クルワーアカデミックパブリッシャーズ、1992年)に開示されてい るように、種々のベクトル量子化技術を使用できる。 上記スカラーZTE符号化と同じように、図16に示されているようなウェー ブレットブロックを形成するのに、各ウェーブレットツリーの係数ベクトルを再 編成することは有益である。デプスファーストスキャンパターンを容易にするた めに、本発明はウェーブレットブロック1604を形成するよう、各ウェーブレ ットツリーの量子化された係数をオプションで再編成できる。図11および12 に示されるように、この再編成化は量子化前にベクトル/オブジェクトウェーブ レットツリー再編成器1108(1208)内で行われる。この再編成はオプシ ョンであるので、図11および12の双方は再編成器およびそれに関連する機能 をそれぞれバイパスするパス1106およびパス1206を設けることにより再 編成器の任意選択性をもたせることを示す。 図16は、本発明によって生成されるウェーブレットブロック1604を略図 で示す。1つのフレームの各ウェーブレットブロック1604はペアレントから チャイルド、グランドチャイルドへと周波数が高まる順に編成されたブロックの 空間位置におけるそのフレームを示すすべてのスケールおよび方向の係数ベクト ルを含む。すなわち本発明は、ウェーブレットツリー1602内の低−低バンド 1606(LL3)内のベクトル1600から延びるツリー1602をウェーブ レットブロック1604にマッピングする。かかる構造により、スカラー量子化 の場合は量子化ファクター、またはベクトル量子化の場合はコードブックを、ブ ロックが空間的に位置する場所、すなわちブロックがフレーム内で何を表現して いるかに従って 各ブロックに適応させることが可能となっている。 デプスファーストスキャンパターンを使用することにより、各ウェーブレット ブロックを完全にスキャンしてその係数ベクトルを量子化し、次に、次のブロッ クをスキャンし、このようなスキャンを次々に繰り返す。例えばブロック161 0を完全にスキャンし、次にウェーブレットブロックのフレームを通してラスタ ースキャンパターンでブロック1612、次にブロック1614等をスキャンす る。ブロックの順序はラスタースキャンパターンである必要はなく、アプリケー ションが望む任意の順序とすることができる。 更に本発明は、ウェーブレット係数のベクトルの量子化を行うための2つの異 なる方法を提供する。量子化は各ベクトルの各要素に対するスカラー量子化とし て実行してもよいし、各ベクトルに対するベクトル量子化として実行してもよい 。各ツリーの各ノードでは、シンボル指定器1112(1212)はそのノード における量子化されたベクトルを特徴づけるためのシンボルを指定する。このシ ンボルおよび量子化された係数値は、算術符号化器のようなエントロピー符号化 器1114(1214)を用いてすべて符号化される。 いずれかのタイプの量子化の後に、ノードにおける係数ベクトルがゼロベクト ルであり、すべてのディセンダントがゼロツリーである場合にはゼロツリーが存 在する。これらウェーブレットツリーはノードを表示するためのシンボルを指定 し、更にゼロツリーの下のツリーを除くことにより効率的に表現され、符号化さ れる。算術符号化器はウェーブレット係数ベクトルのツリーを忠実に再構成する ために復号器が必要とするシンボルおよび値だけに最小のビット数を割り当てる 。 本発明の一実施例(図12に示されるような)は、ウェーブレット係数 のベクトルの要素のスカラー量子化を利用する。量子化後、各ベクトルはすべて ゼロの値、または1つ以上の非ゼロ値を含む。ツリーのノード毎にゼロベクトル が存在すれば、ベクトルゼロツリーが存在する。ベクトルゼロツリールートはベ クトルゼロツリーのルートである。ベクトルゼロツリールートにおける係数ベク トルはゼロベクトルであり、ベクトルゼロツリールートのすべてのディセンダン トはそれ自身、ベクトルゼロツリーのルートである。 ゼロツリールートではウェーブレットツリーを除くことができ、よって除かれ た係数を符号化するのにビットは必要でないので、ゼロツリールートは重要であ る。従って、符号化の効率を高めるには量子化後のゼロツリーの数をできるだけ 多くすることが望ましい。1つの方法は最終の再構成されたフレームには無視で きる付加的歪みしか生じない時に、これをゼロベクトルに変えるよう「量子化後 プロセッサ」1211(1011)を使用して、各ベクトルの(図10および12に示さ れるような)量子化後処理を実行することである。各ベクトルの大きさを計算し 、この大きさが所定のスレッショルドよりも低い場合、ベクトルをゼロにセット する。 ベクトル要素のスカラー量子化を行い、適当な場合にベクトルをゼロベクトル にするような量子化後の処理を行った後に、スカラーZTE符号化と同じような ツリーノードのスキャンおよび分類を行う。各ノードにはZEROTREE ROOT、VALUE D ZEROTREE ROOTおよびVALUEのうちの1つが指定される。これらシンボルはスカ ラーZTE符号化と同じ意味を有するが、ノードがベクトルであり、ゼロまたは 非ゼロの分類はベクトル全体を示す点が異なっている。シンボルおよび値のテー ブルを符号化するのに、エントロピー符号化が使用される。値のテーブルはスカ ラーZTE符号化と同じように構成される。値をエントロピー符号化するには、 スカラーエントロピ ー符号化の代わりにベクトルエントロピー符号化を使用しなければならない。 本発明の一実施例(図11に示されるような)はウェーブレット係数のベクト ルのベクトル量子化を使用する。ベクトル量子化(VQ)は成熟した技術分野で あり、種々の形態の任意のVQを使用できる。上記のようにゼロツリールートの 数を増し、これにより再構成されるフレームのひずみを大幅に増加しないように することが好ましい。この結果を得るには、スレッショルドよりも低い大きさの ベクトルがゼロベクトルとして再構成されるインデックスにマッピングされるよ うに、VQがある形態のデッドゾーンを含むようにすることができる。 ベクトル量子化はツリーの各ノードにおけるベクトルを、そのノードに対する 最良の再構成ベクトルを選択するベクトルのコードブックへのインデックスに置 換する。ベクトル量子化後、スカラーZTE符号化と同じように、ツリーノード のスキャンおよび分類を行う。各ノードには3つのシンボル、すなわちZEROTREE ROOT、VALUED ZEROTREEおよびVALUEのうちの1つが指定される。これらシンボ ルはスカラーZTE符号化と同じ意味を有するが、ノードはコードブックへのイ ンデックスであり、ゼロまたは非ゼロは各インデックスへのコードブックの入力 を意味する点が異なる。シンボルおよびインデックスのテーブルを符号化するの に、エントロピー符号化器が使用される。インデックスのテーブルはスカラーZ TE符号化と同じように構成される。 図9および10は、ベクトルウェーブレット変換を使用する本発明の別の実施 例を示す。図9の符号化器900および図10の符号化器1000は、それぞれ 図11および12の符号化器に類似するので、デバイス908〜914および1 008〜1014については説明しない。これらデバ イスはデバイス1108〜1114および1208〜1214と同じ機能を奏す るので、これらデバイスの説明はこれまでの説明と同じである。 しかしながら、符号化器900および1000は符号化器1100および12 00と異なり、図13を参照してこれまで述べたように、ベクトルウェーブレッ トツリー発生器904(1004)と共にベクトル編成器903(1003)を 使用する。ベクトルウェーブレットツリーを発生した後に符号化器900および 1000はそれぞれ符号化器1100および1200と同じように働く。 ベクトルまたはオブジェクトウェーブレット符号化はゼロツリーエントロピー (ZTE)符号化方法を含むが、この符号化は他の符号化方法、例えば埋込みゼ ロツリーウェーブレット(EZW)アルゴリズムでも実行できることが、当業者 には理解できよう。 以上で本発明の要旨を含む種々の実施例を詳細に示し、説明したが、当業者で あればこれら要旨を含む他の多くの変形例を容易に思いつくことができよう。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FI,FR,GB,GR,IE,IT,L U,MC,NL,PT,SE),JP,KR (72)発明者 ソドガー,イラジ アメリカ合衆国,ニュージャージー州 08536,プレインズボロ,ハンター グレ ン ドライブ 2810 (72)発明者 ザン,ヤチン アメリカ合衆国,ニュージャージー州 08536,プレインズボロ,アシュフォード ドライブ 98

Claims (1)

  1. 【特許請求の範囲】 1.ペアレント−チャイルド関係を編成する複数のノードを有するウェーブレッ トツリーを生成するように、ウェーブレット変換を使用して入力画像を符号化す るための方法であって、 ウェーブレットツリーのノードに複数の係数の各々が対応する該複数の係数を 有するウェーブレットツリーを入力画像に対して生成するステップと、 デプスファーストパターンで前記複数の係数を量子化するステップと、 前記複数の量子化された係数の各々にシンボルを指定するステップと、 前記複数の係数シンボルを符号化するステップとを備えた、入力画像を符号化 するための方法。 2.請求項1記載の方法において、前記デプスファーストパターンが、隣接する ペアレントノードを横断する前に、ペアレントノードから開始し、これから下方 に全てのチャイルドノードおよび該チャイルドの全てのディセンダントノードを 通過するようなトップダウンスキャンパターンをなす入力画像を符号化するため の方法。 3.請求項1記載の方法において、前記デプスファーストパターンが、隣接する チャイルドノードを横断する前に、チャイルドノードから開始し、これから上方 に全てのペアレントノードおよび該ペアレントの全てのアンセスタノードを通過 するようなボトムアップスキャンパターンをなす入力画像を符号化するための方 法。 4.請求項1記載の方法において、前記シンボルを指定するステップが、各量子 化された係数に、ゼロツリールートシンボル、バリュードゼロツリールートシン ボルまたはバリューシンボルのいずれかを指定し、前記ゼロ ツリールートシンボルがゼロツリーのルートであるノードの係数を表わし、前記 バリュードゼロツリールートシンボルが非ゼロ値を有し、かつすべてゼロツリー ルートであるチャイルドを有するノードの係数を表わし、前記バリューシンボル が値を有し、かつ非ゼロ値を有するディセンダントを少なくとも1つは有するノ ードの係数を表わすようにした入力画像を符号化するための方法。 5.請求項4記載の方法であって、トップダウンスキャンパターンで横断するこ とにより前記ウェーブレットツリーを除くステップを更に備え、前記ゼロツリー ルートシンボルまたは前記バリュードゼロツリールートシンボルを有する各ノー ドを除くようにした入力画像を符号化するための方法。 6.請求項1記載の方法において、前記ウェーブレット変換がベクトルウェーブ レットツリーを生成するためのベクトルウェーブレット変換であり、前記複数の 係数のうちの各々が前記ベクトルウェーブレットツリーのノードに対応する係数 の組であるようにした入力画像を符号化するための方法。 7.請求項1記載の方法であって、前記ウェーブレットツリー生成ステップの後 に、隣接する係数を複数のベクトルに編成するステップを更に備える入力画像を 符号化するための方法。 8.ペアレント−チャイルド関係を編成する複数のノードを有するウェーブレッ トツリーを生成するように、ウェーブレット変換を使用して入力画像を符号化す るための装置(100)であって、 ウェーブレットツリーのノードに複数の係数の各々が対応する該複数の係数を 有するウェーブレットツリーを入力画像に対して生成するためのウェーブレット ツリー発生器(104)と、 該ウェーブレットツリー発生器(104)に結合されており、デプスファース トパターンで前記複数の係数を量子化するための量子化器(110) と、 該量子化器(110)に結合されており、前記複数の量子化された係数の各々 にシンボルを指定するためのシンボル指定器(112)と、 該シンボル指定器(112)に結合されており、前記複数の係数シンボルを符 号化するための符号化器(114)とを備えた、入力画像を符号化するための装 置(100)。 9.ペアレント−チャイルド関係を編成する複数のノードを有するウェーブレッ トツリーを生成するように、ウェーブレット変換を使用して入力画像を符号化す るための方法であって、 ウェーブレットツリーのノードに複数の係数の各々が対応する該複数の係数を 有する該ウェーブレットツリーを入力画像に対して生成するステップと、 デプスファーストパターンで前記複数の係数を量子化するステップと、 前記複数の係数を符号化するステップとを備えた、入力画像を符号化するため の方法。 10.ベクトルのペアレント−チャイルドの関係を定めるための方法であって、 アップサンプリングにより、ベクトルをより高いバンドに伝播させ、アウトラ インを定めるステップと、 前記アウトライン内の各ベクトルの係数を4つのチャイルドベクトルに再グル ープ化するステップを備え、該アウトラインにシフトされたサブサンプリングを 行うことにより前記チャイルドベクトルを抽出する、ベクトルのペアレント−チ ャイルドの関係を定めるための方法。
JP51669097A 1995-10-25 1996-10-25 符号化,復号方法および装置 Expired - Lifetime JP3563740B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US701295P 1995-10-25 1995-10-25
US60/007,012 1995-10-25
US2085296P 1996-06-28 1996-06-28
US60/020,852 1996-06-28
PCT/US1996/016817 WO1997016021A1 (en) 1995-10-25 1996-10-25 Apparatus and method for encoding zerotrees generated by a wavelet-based coding technique

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003173649A Division JP3853758B2 (ja) 1995-10-25 2003-06-18 画像符号化装置

Publications (2)

Publication Number Publication Date
JPH11513874A true JPH11513874A (ja) 1999-11-24
JP3563740B2 JP3563740B2 (ja) 2004-09-08

Family

ID=26676354

Family Applications (2)

Application Number Title Priority Date Filing Date
JP51669097A Expired - Lifetime JP3563740B2 (ja) 1995-10-25 1996-10-25 符号化,復号方法および装置
JP2003173649A Expired - Lifetime JP3853758B2 (ja) 1995-10-25 2003-06-18 画像符号化装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2003173649A Expired - Lifetime JP3853758B2 (ja) 1995-10-25 2003-06-18 画像符号化装置

Country Status (6)

Country Link
US (2) US6483946B1 (ja)
EP (1) EP0857389B8 (ja)
JP (2) JP3563740B2 (ja)
KR (1) KR100296066B1 (ja)
DE (1) DE69635055T2 (ja)
WO (1) WO1997016021A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549666B1 (en) 1994-09-21 2003-04-15 Ricoh Company, Ltd Reversible embedded wavelet system implementation
US6757437B1 (en) * 1994-09-21 2004-06-29 Ricoh Co., Ltd. Compression/decompression using reversible embedded wavelets
JP3213561B2 (ja) * 1997-02-05 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
DE69811072T2 (de) * 1997-05-30 2004-01-15 Interval Research Corp Verfahren und einrichtung zur auf wavelets basierten datenkompression
US6101279A (en) * 1997-06-05 2000-08-08 Wisconsin Alumni Research Foundation Image compression system using block transforms and tree-type coefficient truncation
EP0892557A1 (en) * 1997-07-18 1999-01-20 Texas Instruments Inc. Image compression
EP0899960A3 (en) * 1997-08-29 1999-06-09 Canon Kabushiki Kaisha Digital signal coding and decoding
JPH11191153A (ja) 1997-12-26 1999-07-13 Ricoh Co Ltd ウェーブレット変換係数の符号化方法
US7181073B1 (en) * 1999-03-08 2007-02-20 Texas Instruments Incorporated Image coding using embedded zerotree patterns and bitplanes
US6778709B1 (en) * 1999-03-12 2004-08-17 Hewlett-Packard Development Company, L.P. Embedded block coding with optimized truncation
US6546143B1 (en) * 1999-03-12 2003-04-08 Hewlett-Packard Development Company Efficient wavelet-based compression of large images
US6678419B1 (en) * 1999-03-26 2004-01-13 Microsoft Corporation Reordering wavelet coefficients for improved encoding
FR2792433A1 (fr) * 1999-04-15 2000-10-20 Canon Kk Dispositif et procede de transformation de signal numerique
KR100561391B1 (ko) * 1999-10-07 2006-03-16 삼성전자주식회사 제로트리 부호화장치 및 방법
US6944350B2 (en) * 1999-12-17 2005-09-13 Utah State University Method for image coding by rate-distortion adaptive zerotree-based residual vector quantization and system for effecting same
US7016351B1 (en) * 2000-02-29 2006-03-21 Cisco Technology, Inc. Small group multicast in a computer network
KR100361804B1 (ko) 2001-01-09 2002-11-23 이화트론 주식회사 웨이브렛 이론을 이용한 동영상 압축/복원 장치 및 그 방법
KR100366638B1 (ko) * 2001-02-07 2003-01-09 삼성전자 주식회사 웨이블릿 변환을 기본으로하여 트리-구조의 벡터 양자화기법을 이용한 영상 부호화 장치 및 부호화 방법
KR100366382B1 (ko) * 2001-02-12 2002-12-31 (주) 멀티비아 동영상 부호화 장치 및 방법
WO2003090471A1 (en) * 2002-04-19 2003-10-30 Qinetiq Limited Data compression for colour images using wavelet transform
PT1467491E (pt) * 2002-05-02 2007-03-30 Fraunhofer Ges Forschung Codificação aritmética de coeficientes de transformação
KR100480600B1 (ko) * 2002-06-12 2005-04-06 삼성전자주식회사 그룹화된 제로트리 웨이블릿 영상부호화 방법 및 장치
US6757434B2 (en) * 2002-11-12 2004-06-29 Nokia Corporation Region-of-interest tracking method and device for wavelet-based video coding
US8085850B2 (en) * 2003-04-24 2011-12-27 Zador Andrew M Methods and apparatus for efficient encoding of image edges, motion, velocity, and detail
WO2005036452A1 (en) * 2003-10-06 2005-04-21 Purdue Research Foundation Method and system for compressing image data
KR100643269B1 (ko) * 2004-01-13 2006-11-10 삼성전자주식회사 Roi를 지원하는 영상 코딩 방법 및 장치
US7689051B2 (en) * 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
US10803126B1 (en) 2005-01-13 2020-10-13 Robert T. and Virginia T. Jenkins Method and/or system for sorting digital signal information
US7196641B2 (en) * 2005-04-26 2007-03-27 Gen Dow Huang System and method for audio data compression and decompression using discrete wavelet transform (DWT)
KR100764245B1 (ko) 2005-12-30 2007-10-08 고려대학교 산학협력단 워터마킹 방법 및 그 장치
WO2007083312A2 (en) * 2006-01-18 2007-07-26 Numeri Ltd. Method and apparatus for a multidimensional discrete multiwavelet transform
JP4789192B2 (ja) * 2006-04-12 2011-10-12 株式会社リコー 符号処理装置、プログラム及び情報記録媒体
US20070253642A1 (en) * 2006-04-27 2007-11-01 Mapinfo Corporation Method and apparatus for indexing, storing and retrieving raster (GRID) data in a combined raster vector system
US8452111B2 (en) * 2008-06-05 2013-05-28 Microsoft Corporation Real-time compression and decompression of wavelet-compressed images
WO2010070897A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
US8406546B2 (en) 2009-06-09 2013-03-26 Sony Corporation Adaptive entropy coding for images and videos using set partitioning in generalized hierarchical trees
US9106910B2 (en) * 2009-06-23 2015-08-11 Orange Method of coding and decoding images, corresponding device for coding and decoding and computer program
JP2011091575A (ja) * 2009-10-21 2011-05-06 Sony Corp 符号化装置および方法
JP6160615B2 (ja) * 2012-07-19 2017-07-12 日本電気株式会社 ウェーブレット変換符号化/復号方法および装置
US10462490B2 (en) * 2015-11-06 2019-10-29 Raytheon Company Efficient video data representation and content based video retrieval framework
US10818083B1 (en) * 2019-04-30 2020-10-27 International Business Machines Corporation Pyramid generation via depth-first walk

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5384725A (en) 1990-05-18 1995-01-24 Yale University Method and apparatus for encoding and decoding using wavelet-packets
JP3158458B2 (ja) * 1991-01-31 2001-04-23 日本電気株式会社 階層表現された信号の符号化方式
US5315670A (en) * 1991-11-12 1994-05-24 General Electric Company Digital data compression system including zerotree coefficient coding
US5321776A (en) * 1992-02-26 1994-06-14 General Electric Company Data compression system including successive approximation quantizer
US5412741A (en) 1993-01-22 1995-05-02 David Sarnoff Research Center, Inc. Apparatus and method for compressing information
US5563960A (en) 1993-01-22 1996-10-08 David Sarnoff Research Center, Inc. Apparatus and method for emphasizing a selected region in the compressed representation of an image
US5546477A (en) 1993-03-30 1996-08-13 Klics, Inc. Data compression and decompression
US5440346A (en) 1993-06-16 1995-08-08 Intel Corporation Mode selection for method and system for encoding images
US5448297A (en) 1993-06-16 1995-09-05 Intel Corporation Method and system for encoding images using skip blocks
US5509089A (en) 1993-09-09 1996-04-16 Intel Corporation Method and system for encoding images using temporal filtering
JP2914549B2 (ja) * 1993-09-17 1999-07-05 富士ゼロックス株式会社 画像符号化方法
US5982938A (en) * 1997-03-31 1999-11-09 Iterated Systems, Inc. System and method for compressing data using differential coding of coefficient addresses

Also Published As

Publication number Publication date
JP3853758B2 (ja) 2006-12-06
US6298167B1 (en) 2001-10-02
EP0857389B1 (en) 2005-08-10
KR19990067703A (ko) 1999-08-25
US6483946B1 (en) 2002-11-19
EP0857389B8 (en) 2005-10-19
DE69635055T2 (de) 2006-06-01
JP2004032760A (ja) 2004-01-29
EP0857389A1 (en) 1998-08-12
EP0857389A4 (en) 1998-12-30
WO1997016021A1 (en) 1997-05-01
KR100296066B1 (ko) 2001-08-07
JP3563740B2 (ja) 2004-09-08
DE69635055D1 (de) 2005-09-15

Similar Documents

Publication Publication Date Title
JP3563740B2 (ja) 符号化,復号方法および装置
US6236758B1 (en) Apparatus and method for encoding wavelet trees by backward predictive coding of wavelet transformed coefficients
US5563960A (en) Apparatus and method for emphasizing a selected region in the compressed representation of an image
US5412741A (en) Apparatus and method for compressing information
US6917711B1 (en) Embedded quadtree wavelets in image compression
JP2000174632A (ja) 埋め込み符号化/復号化方法及びシステム
Namuduri et al. Feature preserving image compression
KR100540275B1 (ko) 멀티스케일 제로트리 엔트로피 인코딩용 장치 및 방법
Kim et al. Wavelet transform image compression using human visual characteristics and a tree structure with a height attribute
Xie et al. Highly scalable, low-complexity image coding using zeroblocks of wavelet coefficients
Wang et al. Modified SPIHT based image compression algorithm for hardware implementation
Wu Wavelet coding with Fractal for image sequences
Reddy et al. A Novel Image Coding Algorithm Using DTT and SPIHT
AU8709798A (en) A method for digital data compression

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040219

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040604

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term