JP4382284B2 - サブバンドの符号化／復号 - Google Patents

Description

【０００１】
本願は、１９９８年９月８日提出の米国仮特許出願第６０／０９９，３７９号の利益を請求するとともに、この米国仮出願は参照によって本願に組み込まれている。
本発明は形状又はオブジェクトマスク符号化用の装置と方法に関する。より詳細には、本発明は、輝度成分からクロミナンス（色）成分用形状情報を導出することによりスケーラブルな形状符号化の効率を高める方法に関する。
【０００２】
発明の背景
形状又はオブジェクトマスクの符号化（オブジェクト指向の画像及び動画符号化としても知られている）は、広く受け入れられており、現在、例えばＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）国際規格のような種々のマルチメディアの規格に採用が推進されている。しかしながら、従来のフレーム符号化方法と異なり、各フレーム又はピクチャは、１つ又はそれ以上のフレキシブルなオブジェクト（任意の形状を有するオブジェクト）より成ると考えられ、並進移動，回転，スケーリング，明度及び色の変化等の変化が生じる。形状又はオブジェクトマスクの符号化を用いると、色々な機能性がフレームレベルだけでなくオブジェクトレベルにおいても実現できる。
【０００３】
機能性の１つはスケーラビリティ、即ち、画像を種々異なる空間解像度で提供できることである。一般に、形状符号化は、１つの画像フレームを複数のオブジェクト又はビデオオブジェクトプレイン（ＶＯＰ）に分割することから始まり、例えば、画像中の1人の話者を第１オブジェクトとし背景を第２オブジェクトとして分割する。結果として生じる“形状情報”は“２値マスク”として表現できる。この２値形状情報は、オブジェクトマスクに次の2つの値のみを、即ち、透明又は不透明の情報のみを付与する（ここで透明は対応画素がオブジェクトの外側にあり、不透明は対応画素がオブジェクトの内側にあることを意味する）。マスクは、１つのオブジェクトの形状又は１つのオブジェクトに関係する画素を規定する情報として広く定義できる。より詳細には、形状情報又はオブジェクトマスクは、画像又は動画のオブジェクトの任意形状と、このオブジェクトのテクスチャの符号化を要する領域を示するために用いられる。このオブジェクトマスクを追跡し、テクスチャ情報と共にビットストリームに符号化するので、オブジェクトに基く種々の機能性を提供することが可能である。形状又はオブジェクトマスクの新しい符号化の１例が、ここに援用し、譲受人が権利を共同所有している１９９９年５月１７日に出願した“包括的でスケーラブルな形状符号化方法と装置（Ｍｅｔｈｏｄ Ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ｇｅｎｅｒｉｃ Ｓｃａｌａｂｌｅ Ｃｏｄｉｎｇ）”の米国特許出願第０９／３１２，７９７号に開示されている。
【０００４】
さらに、サブバンドに基く符号化（例えば、下述するウェーブレットに基く符号化）は、ＭＰＥＧ−４規格により支持されている。ウェーブレットベース符号化スキーム（ウェーブレットに基く符号化スキーム）の利点の１つは、フレキシブルな空間のスケーラビリティである。かように、この符号化規格は、テクスチャ符号化の空間的スケーラビリティと形状符号化の空間的スケーラビリティの両方を支持すべきである。
【０００５】
残念ながら、形状適応ウェーブレット変換の特性により、１つの領域内のテクスチャ情報のウェーブレット変換は、その領域の形状情報に基いている。かように、復号器端末でテクスチャ情報を完全に再構成するためには、逆ウェーブレット変換用復号器端末で用いる領域形状は、ウェーブレット変換用符号器端末で用いた領域形状と正確に同一でなければならない。これは、輝度成分及びクロミナンス（色）成分用各空間レイヤについても当てはまる。残念ながら、このために、輝度及びクロミナンスの形状情報は共にビットストリームに符号化することが要求され、そのために符号化効率が低下する。
【０００６】
形状符号化の空間的スケーラビリティが復号器端末において要求されないならば、常に輝度用形状情報の全解像度から始めて、符号化器での分割順序と同じ順序による何れの空間レベルにおいてもクロミナンスの正確な形状を導出できることに注目すべきである。しかしながら、形状符号化のスケーラビリティが要求される場合、利用できないか、又は、特定用途において計算的に実用に適さない輝度形状情報の全解像度から出発する必要なく、同じ空間レベルにおける輝度形状からクロミナンス情報の正確な形状を導出できることが望ましい。
従って、当技術において求められているのは、各空間レイヤに対する輝度成分の形状からクロミナンス成分の正確な形状を導出できる包括的で空間的にスケーラブルな形状符号化方法と装置である。
【０００７】
発明の要約
本発明において、各空間レイヤに対する輝度成分の形状からクロミナンス成分の正確な形状を導出するための包括的で空間的にスケーラブルな形状符号化装置とその方法の実施形態を開示する。この包括的で空間的にスケーラブルな形状符号化は、一連のサブバンド(例えばウェーブレット)フィルタＴ₁，Ｔ₂，…Ｔ_Nを使用して輝度成分とクロミナンス成分の両方のテクスチャ情報と形状情報の両方についてＮレベルのウェーブレット分割を得る。
より詳細には、一連のサブバンドフィルタＴ₁，Ｔ₂，…Ｔ_Nを入力画像に適用し、輝度成分のテクスチャ情報と形状情報の両方についてＮレベルのサブバンド分割を得る。このサブバンドフィルタ処理は、２つの異なる処理ステップ、即ち、空間フィルタ処理ステップとサブサンプリング処理ステップより成ることに注目すべきである。好適な実施形態において、前記サブバンドフィルタＴ₁の対応サブサンプリング関数（Ｔ₁）を全解像度の輝度形状情報又はマスクに適用し、全解像度のクロミナンス形状情報を得る。順番に、一連の対応サブバンドフィルタ（（Ｔ₂），…（Ｔ_N））を全解像度のクロミナンス形状情報に適用し、追加レベルのクロミナンス形状情報を得る。次に、一連の対応サブバンドフィルタＴ₂…Ｔ_Nと複数レベルのクロミナンス形状情報を全解像度のクロミナンステクスチャ情報に適用して、複数レベルのクロミナンステクスチャ情報を得る。
最後に、複数解像度レベルの輝度のテクスチャ情報と形状情報をビットストリームに符号化する。一方、複数解像度レベルのクロミナンスのテクスチャ情報のみをビットストリームに符号化する。即ち、符号化効率は、複数の解像度レベルのクロミナンス形状情報をビットストリームに符号化する必要がないために向上し、同時に好ましいスケーラビリティの特徴も提供できる。
さらに、本発明は、１つのオブジェクト内の１つの輝度画素に対応する欠落クロミナンス成分を補間する新規な方法を開示する。即ち、欠落クロミナンス成分は、クロミナンス平面内の３つの近傍値の平均をとって補間する。
【０００８】
好適な実施態様の詳細な説明
オブジェクト指向の画像及び動画の符号化において形状の符号化は重要である。形状情報又はオブジェクトマスクは、画像又は動画オブジェクトの任意形状と、そのオブジェクトの符号化を要するテクスチャ領域を示すために用いられる。
【０００９】
図１は、本発明によるオブジェクト指向符号化システム１００のブロック図である。１つ又はそれ以上の任意形状のオブジェクトを有する入力画像又はフレーム１１０を符号化するために符号器１２０に供給する。符号器１２０は、入力画像のテクスチャの符号化１２２と形状の符号化１２４を実行して入力画像を表わす符号化ビットストリームを生成するように設計されている。ビットストリームは、その後、通信チャネル１３０により復号器１４０に送られる。符号器１２０と相補関係にある復号器１４０は、テクスチャの復号１４２と形状の復号１４４を実行してビットストリームを復号し、１つ又はそれ以上の任意形状のオブジェクトを有する再構成入力画像１５０を生成する。符号化ビットストリ−ムのスケーラビリティにより、再構成した入力画像１５０は、入力原画像のスケールバージョンであり得ることに注目すべきである。
【００１０】
図２は、本発明による符号化／復号システム２００の詳細を示している。この符号化／復号システム２００は、符号器２１０と復号器２７０を含む。好適な実施形態において、符号器２１０は、形状符号器２１１とテクスチャ符号器２２０を含む。形状符号器２１１は例えばオブジェクトマスクのような形状情報を生成して符号化するために用いられ、テクスチャ符号器２２０はオブジェクトマスクにより境界を定められた領域の輝度とクロミナンスの変化を符号化するために用いられる。
【００１１】
より詳細には、入力画像信号は、パス２０５で送られて、両符号器２１１と２２０により受信される。この入力画像信号は、輝度信号と２つの色差信号として表現されるディジタル化された入力動画画像（画像列）であり得る。
【００１２】
形状符号器２１１は、入力画像から形状情報を抽出するために作動し、例えば１つ又はそれ以上のオブジェクトを検出し、オブジェクトマスクを生成し、オブジェクトマスクを分割し及び／又はオブジェクトマスクを符号化する。かように、この包括的で空間的にスケーラブルな形状符号化方法を形状符号器２１１で実行する。入力画像信号はすでに“オブジェクトベース（オブジェクトに基く）”情報を含んでいるので、１つ又はそれ以上の形状処理ステップを省くことができる。例えば、入力画像信号がＶＯＰ情報（ビデオオブジェクトプレイン情報
）を含んでいる場合、オブジェクトは既に形状符号化器２１１用に定義済みなので、セグメンテーション処理を省くことができる。
【００１３】
テクスチャ符号化器２２０は動き推定モジュール２３０，動き補償モジュール２２９，変換モジュール（離散余弦変換（ＤＣＴ）又は離散ウェーブレット変換（ＤＷＴ））２２２，量子化（Ｑ）モジュール２２３，エントロピー符号化モジュール（例えば、可変長符号化器（ＶＬＣ））２２４，バッファ２２５，逆量子化（Ｑ^-1）モジュール２２６，逆変換（ＤＣＴ^-1又はＤＷＴ^-1）モジュール２２７，減算器２２１及び加算器２３４を含むことができる。テクスチャ符号化器２２０は一例を示したものであり、本発明はいかなる特定のテクスチャ符号化器にも限定されないことに注意すべきである。
【００１４】
作動時、入力画像信号は、動きベクトルを推定するために動き推定モジュール２３０に送られる。実際は、動き推定モジュール２３０は、動き推定処理において形状符号化器から受信した形状情報を用いることができる。動きベクトルは動き補償モジュール２２９に送られる。動き補償モジュールは、予測誤差を形成するために用いる既に復号されたサンプル値を含んでいる過去及び／又は未来の基準フレームとのオフセットを提供するための動きベクトルを用いて予測を行う。
【００１５】
動き補償予測（予測画像）をパス２３６上に生成し、減算器２２１によりパス２０５上で入力画像から引き算し、パス２３１上に誤差信号又は予測残差信号を形成する。次に空間変換モジュール２２２によって、空間冗長度を除去する目的で変換係数を生成する。
【００１６】
生成された変換係数は量子化モジュール２２３により受信され、そこで量子化される。次に、量子化された係数は、信号接続路２３５を介して、例えば、可変長符号化（ＶＬＣ）モジュール２２４のようなエントロピー符号化モジュールにより受信される。量子化された係数はそこでエントロピー符号化され、伝送又は蓄積のために“先入れ先出し（ＦＩＦＯ）”バッファ２２５に送られ受信される。
【００１７】
さらに、量子化モジュール２２３からの量子化係数も又、信号接続路２３３を介して逆量子化モジュール２２６により受信される。その結果逆量子化係数は逆変換モジュール２２７に送られ、そこで逆変換されて復号誤差信号が生成される。この誤差信号が、動き補償モジュールからの予測信号に加算器２３４で加算され、復号基準画像（再構成画像）が生成される。
【００１８】
符号化器２１１及び２２０からの符号化ビットストリームは次にトランスポートストリームマルチプレクサ２４０により受信され、そこで多重化されてトランスポートストリームが生成される。このトランスポートストリームは通信チャネル２５０を介して伝送される。尚、このチャネルはさらに（図示しない）独立したチャネル専用の符号化器と復号器を内蔵することができる。次に、このトランスポートストリームをトランスポートストリームの逆マルチプレクサ２６０で逆多重化して復号する。ここで、基本ストリームが動画復号器２７０への入力であり、この復号器の出力がパス２９０上の復号動画信号である。本発明による符号化方法と装置に関し次に説明するが、これに対応及び相補する復号プロセスは形状復号器２７４とテクスチャ復号器２７２の相補セットにより実行されることに注目すべきである。
【００１９】
さらに、図２は、例えば、テープドライブ，フロッピードライブ，ハードディスクドライブ又はコンパクトディスクドライブに限定されず、キーボード，マウス，オーディオレコーダ，カメラ，カムコーダ，ビデオモニタ、任意数の画像装置又は蓄積装置（図示しない）のような、種々の入出力装置を有する汎用コンピュータ上でインプリされた本発明の符号化器２１０と復号器２７０を示している。即ち、この汎用コンピュータは、（図示しない）中央処理装置（ＣＰＵ）、（図示しない）メモリ及び以下に説明する方法によって画像、動画及び／又はオーディオ信号を符号化する符号化器２１０から構成されている。
【００２０】
この符号化器２１０は物理的な装置であり、通信チャネルでＣＰＵと接続されている。これに代わる別の符号化器２１０は、例えば、ソフトウェアを記憶媒体（例えば、磁気又は光ドライブ又はディスケット）からロードし、コンピュータのメモリ内のＣＰＵにより実行するソフトウェアアプリケーション（又は、特定用途向け集積回路（ＡＳＩＣ）を使用するソフトウェアとハードウェアの組み合わせ）により実現できる。かように、本発明の符号化器自体とその符号化器により実行される方法をコンピュータ可読媒体に蓄積させることができる。
【００２１】
同様に、復号器２７０も通信チャネルでＣＰＵと接続される物理的な装置であり得る。別の方法として、復号器２７０は、例えば、ソフトウェアを記憶媒体（例えば、磁気又は光ドライブ又はディスケット）からロードし、コンピュータのメモリ内のＣＰＵにより実行するソフトウェアアプリケーション（又は、特定用途向け集積回路（ＡＳＩＣ）を使用するソフトウェアとハードウェアの組み合わせ）により実現できる。かように、本発明の復号器自体とその復号器により実施される方法はコンピュータ可読媒体に蓄積させることができる。
【００２２】
特に、本発明は、輝度成分からクロミナンス成分用の形状情報を導出することにより、スケーラブルな形状符号化の効率を高める方法を開示する。本発明は、クロミナンス形状と輝度形状間に“不一致”がある状態について述べる。かような不一致は生成ビットストリームのスケーラビリティに影響する。
【００２３】
例えば、クロミナンス成分が輝度成分と同じ空間解像度を有している場合、クロミナンス成分の形状又はオブジェクトマスクは、全ての空間レイヤについて、輝度成分の形状又はオブジェクトマスクと同じであるので、不一致問題は解決される。しかしながら、クロミナンス成分が輝度成分と同じ解像度を持っていない（例えばＹＵＶ４２０，ＹＵＶ４２２フォーマットのように、通常クロミナンス成分は輝度成分より低い解像度を有する）場合、不一致が生じる。即ち、テクスチャ情報を分割するために使用するウェーブレットフィルタと輝度形状をクロミナンス形状にサブサンプリングするために使用するフィルタは、クロミナンステクスチャ情報を分割するために用いるフィルタと異なるかもしれないので、より高いクロミナンス空間レイヤから導出したクロミナンス形状（正しいが、形状符号化のスケーラビリティのために利用できない可能性がある形状）と同じ空間レイヤにおける輝度形状から導出したクロミナンス形状間の不一致が発生し得る。
【００２４】
ＭＰＥＧのコンテキストにおいて、現在、形状適応ウェーブレット変換に使用できる２種類の一般的なタイプのウェーブレットフィルタ、即ち、テクスチャ分割用の偶対称フィルタと奇対称フィルタがあり、これに対して、空間レイヤ間の形状分割用には多数の異なるフィルタが使用できる。奇対称フィルタの場合、一次元（１−Ｄ）分割は、偶数位置のマスク値を全て高サブバンドに、奇数位置のマスク値を全て低サブバンドにサブサンプリングすることから始める。奇数位置に孤立画素があれば、低サブバンドと高サブバンドにおける対応位置のマスク値を置換（スワップ）する。これに対し、偶対称フィルタの場合、一次元（１−Ｄ）分割は、偶数位置のマスク値を全て低サブバンドに、奇数位置のマスク値を全て高サブバンドにサブサンプリングすることから始める。１つのセグメントが奇数位置から始まれば、低サブバンドと高サブバンドにおける開始位置のマスク値をスワップする。
【００２５】
しかしながら、高空間レイヤから低空間レイヤまでのウェーブレット分割フィルタは本質的に非線形サブサンプリングプロセスであるので、輝度形状から導出したクロミナンス形状は、より高いクロミナンス空間レイヤから導出したクロミナンス形状と一致しない。異なる空間レイヤに異なるフィルタの使用を許す新しいシンタックスがＭＰＥＧ−４のビジュアルテクスチャ符号化に加えられたが、かようなフィルタ選択の拡大は、形状符号化のスケーラビリティが要求される場合、不一致形状のケース数を増大させる。
【００２６】
これに対し、本発明は、以下に記述するように、この不一致問題について述べるが、現行のＭＰＥＧ−４シンタックスに何の変更を加えることなく、オブジェクト指向の符号化において形状スケーラビリティとテクスチャスケーラビリティの両方が可能になる。図３乃至図５を同時に参照しながら本発明につき以下に説明する。
【００２７】
図５は本発明による形状又はオブジェクトマスクの符号化方法５００を説明するフローチャートである。図３及び図４は、任意形状の画像及び動画を符号化及び復号する際に輝度とクロミナンスの形状とテクスチャの符号化にスケーラビリティを与える本発明のウェーブレット分割構造を示すブロック図である。
【００２８】
方法５００は、ステップ５０５より始まりステップ５１０に進み、一連の異なるか又は同じサブバンド（例えばウェーブレット）フィルタＴ₁，Ｔ₂，…，Ｔ_Nを入力画像の輝度平面に適用し、輝度成分につきテクスチャ４１０₁〜４１０_N+1と形状４２０₁〜４２０_N+1の両方ともＮのレベルのサブバンドに分割する。クレイムの解釈のために、フィルタＴ₁は“第１フィルタ”又はフィルタ関数と呼び、Ｔ_Nは“Ｎ番目のフィルタ”又はフィルタ関数と呼ぶ。
【００２９】
サブバンドフィルタ処理は、２つの異なる処理ステップ、即ち、空間フィルタ処理とサブサンプリング処理より成ることに留意すべきである。図３及び図４に示すように、本発明において、“（ ）”括弧なしの“Ｔ”はフィルタ処理とサブサンプリング処理の両方を行うサブバンドフィルタ処理を示し、“（ ）”付きの“（Ｔ）”はサブバンドフィルタ“Ｔ”の対応サブサンプリングステップのみを示す。
【００３０】
ステップ５２０において、方法５００は、全解像度の輝度形状又はオブジェクトマスク４２０₁に対応サブサンプリングフィルタ（Ｔ₁）を適用し、全解像度のクロミナンス形状又はオブジェクトマスク４３０₁を得る。即ち、クロミナンス平面（ＵとＶ）の場合、サブバンドに対応するサブサンプリングフィルタ（奇対称フィルタ又は偶対称フィルタ）又はウェーブレットフィルタＴ₁を用いて輝度形状から全解像度クロミナンス形状を最初に得る。順次、対応するサブサンプリングフィルタ（（Ｔ₂），…，（Ｔ_N））を全解像度クロミナンス形状情報４３０₁に適用し追加レベルのクロミナンス形状情報４３０₂−４３０_Nを得ることができる。
【００３１】
以下の説明において、提案の方法を記述するために、ＹＵＶ４：２：０のフォーマットのカラー画像を１例として使用する。詳細には、ＹＵＶ４：２：０フォーマットのカラー画像において、輝度（Ｙ）の２×２画素ブロックは全て、Ｕ及びＶ（クロマ（彩度））の１画素に対応する。しかしながら、他のカラーフォーマットと動画オブジェクトに適応する同様な方法をこの記述から導出できることにも留意すべきである。
【００３２】
ステップ５３０において、方法５００は対応するサブバンド又はウェーブレットフィルタＴ₂，…，Ｔ_Nと前記複数レベルのクロミナンスの形状情報を全解像度クロミナンスのテクスチャ情報４４０₁に適用し複数レベルのクロミナンスのテクスチャ情報４４０₂〜４４０_Nを得ることができる。即ち、ウェーブレットフィルタＴ₂，…，Ｔ_Nによる一連のＮ−１回のウェーブレット変換を上記得られたクロミナンス形状を持つクロミナンスのテクスチャ情報に適用する。即ち、この重要な態様はクロミナンスの形状を同じ空間レイヤの輝度形状から導出できることを保証する。
【００３３】
ステップ５４０において、方法５００は複数解像度レベルの輝度のテクスチャ情報と形状情報をビットストリーム４５０に符号化する。一方、複数解像度レベルのクロミナンスのテクスチャ情報のみをビットストリームに符号化する。即ち、複数解像度レベルのクロミナンスの形状情報をビットストリームに符号化する必要をなくすことにより、所望のスケーラビリティ特徴を維持しながら符号化効率を高めることができる。方法５００はステップ５５０で終了する。
【００３４】
上記の符号化方法により、ビットストリーム３５０内において、復号端末における輝度３１０_N+1とクロミナンス３４０_Nの両方のＤＣレイヤにおけるテクスチャは同一形状を有する。かように、輝度及びクロミナンスの両方のテクスチャ情報は、ＤＣレイヤ３２０_N+1の輝度形状情報だけで正確に復号できる。より高いレイヤの輝度テクスチャ情報３１０_N〜３１０₁は、より高いレイヤの形状情報３２０_N〜３２０₁を復号するのに応じて正確に復号できる。かように、より高いレイヤのクロミナンスの形状３３０は、対応サブサンプリングフィルタ（（Ｔ_N-1），…，（Ｔ₁））を使用し、同一空間レイヤにおける輝度の形状３２０から直接導出することができる。これらの正確に導出された形状により、クロミナンス成分を正確に復号することができる。
【００３５】
図６は、任意解像度のクロミナンス成分６００における欠落クロミナンス値周囲のクロミナンス値の相対位置を示す図である。サブサンプリングフィルタの特性のために、クロミナンスの形状の境界のはじまり（ｌｅａｄｉｎｇ ｂｏｕｎｄａｒｙ）において、輝度がオブジェクトマスクの形状の中にある画素について、対応するクロミナンスのテクスチャ内に欠落クロミナンスが生じ得ることに注意すべきである。例えば、この欠落クロミナンス値６１０は、クロミナンス平面内の３つの近傍クロミナンス値６２０〜６４０（即ち、欠落クロミナンス値の右側のクロミナンス値Ｃ１、真下のクロミナンス値Ｃ２及び右下の隅のクロミナンス値Ｃ３）の平均値をとって補間することができる。３つの近傍クロミナンス値のどれかが形状の外側にある場合は、その外側値は平均値に入れない。この形状適応ウェーブレット変換は、３つの近傍クロミナンス値の少なくとも１つが形状内にあることを保証する。
【００３６】
本発明の教示を含む種々の実施態様につき詳細に図示説明して来たが、本技術に熟達した人であれば、これらの教示を含む他の変更実施態様を容易に考案できるであろう。
【００３７】
添付図面を参照し、明細書の詳細説明を検討すれば、本発明の教示内容がよく理解できるであろう。
理解を容易にするために、図面に共通の同一要素にはできる限り同一の参照番号をつけて示した。
【図面の簡単な説明】
【図１】 図１は、本発明によるオブジェクト指向符号化／復号システムのブロック図である。
【図２】 図２は、図１のオブジェクト指向符号化／復号システムの詳細ブロック図である。
【図３】 図３は、任意形状画像及び動画像中の輝度とクロミナンス用形状符号化とテクスチャ符号化のスケーラビリティを示すブロック図である。
【図４】 図４は、任意形状画像及び動画像中の輝度とクロミナンス用形状符号化とテクスチャ符号化のスケーラビリティを提供する本発明のウェーブレット分割構造を示すブロック図である。
【図５】 図５は、本発明による形状又はマスク符号化方法のフローチャートである。
【図６】 図６は、クロミナンス平面における欠落クロミナンス値近傍のクロミナンス値の相対位置を示すブロック図である。

Claims (10)

1. 輝度及びクロミナンスのテクスチャ情報並びに輝度の形状情報を有する入力画像を符号化する方法において、
   （ａ）第１のフィルタ関数から第Ｎのフィルタ関数までを有する複数のサブバンドフィルタ関数を前記入力画像に適用して複数レベルの輝度テクスチャを得るステップと、
   （ｂ）前記複数のサブバンドフィルタ関数に対応する複数のサブサンプリング関数を前記入力画像に適用して複数レベルの形状情報を得るステップと、
   （ｃ）前記複数のサブサンプリング関数の対応第１のサブサンプリング関数を前記複数の輝度形状情報からの全解像度の輝度形状情報に適用し全解像度クロミナンス形状情報を得るステップと、
   （ｄ）前記対応第２から第Ｎまでのサブバンドフィルタ関数を前記クロミナンステクスチャ情報に適用して複数レベルのクロミナンステクスチャ情報を得るステップと、
   （ｅ）前記複数レベルの輝度のテクスチャ情報及び形状情報並びに前記複数レベルのクロミナンスのテクスチャ情報をビットストリームに符号化するステップとを含んでなることを特徴とする入力画像の符号化方法。
2. 前記ステップ（ｃ）は、奇対称フィルタ関数である対応第１サブサンプリング関数を適用することを特徴とする請求項１に記載の輝度及びクロミナンスのテクスチャ情報並びに輝度及びクロミナンスの形状情報を有する入力画像を符号化する方法。
3. 前記ステップ（ｃ）は、偶対称フィルタ関数である対応第１サブサンプリング関数を適用することを特徴とする請求項１に記載の輝度及びクロミナンスのテクスチャ情報並びに輝度及びクロミナンスの形状情報を有する入力画像を符号化する方法。
4. 前記ステップ（ａ）は、複数の異なるサブバンドフィルタ関数を適用して前記複数レベルの輝度テクスチャ情報を得ることを特徴とする請求項１に記載の輝度及びクロミナンスのテクスチャ情報並びに輝度及びクロミナンスの形状情報を有する入力画像を符号化する方法。
5. ３つの近傍クロミナンス値の平均をとり、前記複数レベルのクロミナンステクスチャ情報の１レベル範囲内における欠落クロミナンス値を補間するステップをさらに含むことを特徴とする請求項１に記載の輝度及びクロミナンスのテクスチャ情報並びに輝度及びクロミナンスの形状情報を有する入力画像を符号化する方法。
6. 輝度及びクロミナンスのテクスチャ情報並びに輝度の形状情報を有する入力画像を表わすビットストリームを復号する方法において、
   （ａ）第１の逆フィルタ関数から第Ｎの逆フィルタ関数までを有する複数の逆サブバンドフィルタ関数の少なくとも１つを前記ビットストリームに適用して複数レベルの輝度テクスチャ情報の少なくとも１つを得るステップと、
   （ｂ）複数の対応逆サブサンプリング関数の少なくとも１つを前記ビットストリームに適用して複数レベルの輝度形状情報の少なくとも１つを得るステップと、
   （ｃ）複数の対応逆サブサンプリング関数の少なくとも１つを前記複数レベルの輝度形状情報の１つに適用して同じ空間レベルにおける対応クロミナンス形状情報を得るステップと、
   （ｄ）同じ空間レベルにおける前記対応クロミナンス形状情報を適用して同じ空間レベルにおけるクロミナンステクスチャ情報の復号を支援するステップと、
   （ｅ）同じ空間レベルにおける前記輝度テクスチャとクロミナンステクスチャの情報の少なくとも１つを復号して入力画像のスケールバージョンを得るステップを含んでなることを特徴とする輝度及びクロミナンスのテクスチャ情報並びに輝度の形状情報を有する入力画像を表わすビットストリームの復号方法。
7. 複数の命令を蓄積している計算機可読媒体（２１０）において、前記複数の命令はプロセッサにより実行される時にプロセッサに、
   （ａ）第１のフィルタ関数から第Ｎのフィルタ関数までを有する複数のサブバンドフィルタ関数を前記入力画像に適用して複数レベルの輝度テクスチャを得るステップと、
   （ｂ）前記複数のサブバンドフィルタ関数に対応する複数のサブサンプリング関数を前記入力画像に適用して複数レベルの形状情報を得るステップと、
   （ｃ）前記複数のサブサンプリング関数の対応第１サブサンプリング関数を前記複数の輝度形状情報からの全解像度の輝度形状情報に適用して全解像度クロミナンス形状情報を得るステップと、
   （ｄ）前記対応第２から第Ｎまでのサブバンドフィルタ関数を前記クロミナンステクスチャ情報に適用して複数レベルのクロミナンステクスチャ情報を得るステップと、
   （ｅ）前記複数レベルの輝度のテクスチャ情報及び形状情報並びに前記複数レベルのクロミナンステクスチャ情報をビットストリームに符号化するステップを実行させる命令を含んでなることを特徴とする計算機可読媒体（２１０）。
8. 複数の命令を蓄積している計算機可読媒体（２７０）において、前記複数の命令はプロセッサにより実行される時にプロセッサに、
   （ａ）第１の逆フィルタ関数から第Ｎの逆フィルタ関数までを有する複数の逆サブバンドフィルタ関数の少なくとも１つを前記ビットストリームに適用して複数レベルの輝度テクスチャ情報の少なくとも１つを得るステップと、
   （ｂ）複数の対応逆サブサンプリング関数の少なくとも１つを前記ビットストリームに適用して複数レベルの輝度形状情報の少なくとも１つを得るステップと、
   （ｃ）複数の対応逆サブサンプリング関数の少なくとも１つを前記複数レベルの輝度形状情報の１つに適用して同じ空間レベルにおける対応クロミナンスの形状情報を得るステップと、
   （ｄ）同じ空間レベルにおける前記対応クロミナンス形状情報を適用して同じ空間レベルにおけるクロミナンステクスチャ情報の復号を支援するステップと、
   （ｅ）同じ空間レベルにおける前記輝度テクスチャとクロミナンステクスチャの情報の少なくとも１つを復号して入力画像のスケールバージョンを得るステップを実行させる命令を含んでいることを特徴とする計算機可読媒体（２７０）。
9. 輝度及びクロミナンスのテクスチャ情報並びに輝度の形状情報を有する入力画像を符号化する装置（２１０）において、
   第１のフィルタ関数から第Ｎのフィルタ関数までを有する複数のサブバンドフィルタ関数を前記入力画像に適用し複数レベルの輝度テクスチャを得る手段（２２０）と、
   複数のサブバンドフィルタ関数に対応する複数のサブサンプリング関数を前記入力画像に適用して複数レベルの形状情報を得る手段（２１１）と、
   前記複数のサブサンプリング関数の対応第１サブサンプリング関数を前記複数の輝度形状情報からの全解像度の輝度形状情報に適用して全解像度のクロミナンス形状情報を得る手段（２１１）と、
   前記対応第２から第Ｎまでのサブバンドフィルタ関数を前記クロミナンステクスチャ情報に適用して複数レベルのクロミナンスのテクスチャ情報を得る手段（２２０）と、
   前記複数レベルの輝度のテクスチャ情報及び形状情報並びに前記複数レベルのクロミナンスのテクスチャ情報をビットストリームに符号化する手段（２１１，２２０）とを含んでなることを特徴とする入力画像の符号化装置（２１０）。
10. 輝度及びクロミナンスのテクスチャ情報並びに輝度形状情報を有する入力画像を表わすビットストリームを復号する装置（２７０）において、
    第１の逆フィルタ関数から第Ｎの逆フィルタ関数までを有する複数の逆サブバンドフィルタ関数の少なくとも１つを前記ビットストリームに適用して複数レベルの輝度テクスチャ情報の少なくとも１つを得る手段（２７２）と、
    複数の対応逆サブサンプリング関数の少なくとも１つを前記ビットストリームに適用し複数レベルの輝度形状情報の少なくとも１つを得る手段（２７４）と、 複数の対応逆サブサンプリング関数の少なくとも１つを前記複数レベルの輝度形状情報の１つに適用して同じ空間レベルにおける対応クロミナンスの形状情報を得る手段（２７４）と、
    同じ空間レベルにおける前記対応クロミナンス形状情報を適用して同じ空間レベルにおけるクロミナンスのテクスチャ情報の復号を支援する手段（２７２）と、
    同じ空間レベルにおける前記輝度テクスチャとクロミナンスのテクスチャ情報の少なくとも１つを復号して入力画像のスケールバージョンを得る手段（２７２）を含んでなることを特徴とする輝度及びクロミナンスのテクスチャ情報並びに輝度形状情報を有する入力画像を表わすビットストリームの復号装置（２７０）。

Images