JPWO2005006766A1 - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置およびコンピュータプログラム - Google Patents

Abstract

階層符号化された動画像符号化方法であって、各階層の信号に時間方向フィルタリングを行った後に階層分割した信号のうち下位階層に属する時間フィルタリング下位階層信号と、前記下位階層信号の上位階層にあたる信号に時間方向フィルタリングを行って得られる上位階層時間フィルタリング信号とを符号化する。これにより、すべての階層での復号信号が単一階層で符号化した場合の復号画像と同等の画質とすることができる。

Description

本発明は、動画像の符号化／復号方法、動画像の符号化／復号装置とそれらのコンピュータプログラムに関する。

サブバンド符号化は画像信号を周波数分割してそれぞれの周波帯域の信号（サブバンド信号）について符号化処理を行う方法である。サブバンド符号化は、離散コサイン変換などのブロックベース直交変換と異なり原理上ブロック歪みが発生しない上、低域成分を再帰的に分割することで容易に階層符号化を実現できるという特徴がある。静止画像では、国際標準の符号化方法であるＪＰＥＧ２０００にウェーブレット変換を用いたサブバンド符号化が採用されている。

動画像符号化にサブバンド符号化を適用する場合、信号の空間方向の相関だけでなく時間方向の相関も考慮する必要がある。サブバンド動画符号化には主に、原画像に対して空間領域で動き補償を行って時間方向の相関を取り除いた後に各フレームにサブバンド符号化を行う方法と、原画像をサブバンド分割した後、サブバンド領域毎に動き補償を行って時間方向の相関を取り除く方法の二種類がある。

図２５は空間領域で動き補償を行う従来の符号化処理（非特許文献１：Ｊ．−Ｒ．Ｏｈｍ，″Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｂｂａｎｄ ｃｏｄｉｎｇ ｗｉｔｈ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ″，ＩＥＥＥ Ｔｒａｎｓ，Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３，ｐｐ．５５９−５７１，Ｓｅｐｔ．１９９９）の流れを示すフローチャートである。図２５を用い、連続するフレームの集合Ａ（０）［ｉ］（０≦ｉ＜ｎ，ｎは２のべき乗）における符号化処理について説明する。まず、ｊ＝１，ｉ＝０，２…ｎ−２として（ステップ２０１，２０２）、連続する２枚のフレームＡ（０）［ｉ］とＡ（０）［ｉ＋１］とを時間方向にサブバンド分割し、低周波帯域のＡ（１）［ｉ］と高周波帯域のＥ［ｉ＋１］を得る（ステップ２０３，２０４，２０５）。次に、ｊ＝１とし（ステップ２０６）、連続する低周波帯域の信号Ａ（１）［ｉ＜＜１］とＡ（１）［（ｉ＋１）＜＜１］とを時間方向にサブバンド分割し、低周波帯域のＡ（２）［ｉ＜＜１］と高周波帯域のＥ［（ｉ＋１）＜＜１］を得る（ステップ２０３，２０４，２０５）。この処理を、第１フレーム以外のフレームが高周波帯域の信号として符号化されるまで、すなわち（１＜＜ｊ）がｎになるまで繰り返す（ステップ２０７）。この後、Ａ（ｊ）［０］，Ｅ［ｉ］（０＜ｊ＜ｎ）をそれぞれ空間方向にサブバンド分割し符号化する（ステップ２０８）。ここで、二枚のフレーム間での時間方向サブバンド分割において、高周波帯域の信号とは動き補償予測の誤差信号に相当し、低周波帯域の信号とは動き補償した二フレームの平均信号となる。

復号処理時には、この処理の流れを逆にたどる形で、フレーム毎にサブバンド信号を空間方向に合成した後にフレームの参照関係に従って時間方向にサブバンド合成を行う。フレーム単位でのサブバンド信号合成において、高周波数成分のサブバンドを用いず合成を途中で停止することで、縮小画像信号が得られる。三次元ウェーブレット符号化において、部分的にサブバンド合成して得られた各フレームの信号を時間方向にサブバンド合成することで、縮小解像度上での復号画像を得ることが出来る。しかし、時間方向のサブバンド分割時の動き補償が小数画素単位で行われている場合予測画像生成に内挿処理が用いられるが、この内挿処理はサブバンド分割と可換ではない。すなわち、時間方向にサブバンド分割した後に空間方向にサブバンド分割した信号と空間方向にサブバンド分割した後に時間方向にサブバンド分割した信号とは一致しないため、縮小解像度上での復号画像は原信号を縮小した信号と比較して大きく劣化する。

図２６はサブバンド領域で動き補償を行う従来の符号化処理（非特許文献２：Ｈ．Ｇｈａｒａｖｉ，″Ｓｕｂｂａｎｄ Ｃｏｄｉｎｇ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｖｉｅｏ Ａｐｐｌｉｃａｔｉｏｎｓ：Ｖｉｄｅｏｐｈｏｎｅ ｔｏ ＨＤＴＶ Ｃｏｎｆｅｒｅｎｃｉｎｇ″，ＩＥＥＥ Ｔｒａｎｓ．，ＣＡＳ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．１，Ｎｏ．２，ｐｐ．１７４−１８２，Ｊｕｎｅ １９９１）の流れを示すフローチャートである。図２６を用い、連続するフレームの集合Ａ［ｋ］（０≦ｋ＜ｎ）における符号化処理について説明する。まず、各フレームをサブバンド分割する（ステップ３０１）。その後、フレームＡ［ｉ］（１≦ｉ＜ｎ）とその参照フレームＡ［ｉ−１］についてサブバンド毎に動き補償予測を行う（ステップ３０２，３０３，３０４，３０５）。得られたフレームＡ［ｉ］（１≦ｉ＜ｎ）の予測誤差信号と、フレームＡ［０］について量子化、可逆符号化を行う（ステップ３０６）。復号処理時にはこの処理を逆にたどり、可逆符号化および量子化の逆変換を行ってフレームＡ［ｉ］（１≦ｉ＜ｎ）の予測誤差信号とフレームＡ［０］のサブバンド係数を得た後、サブバンド毎に動き補償を行ってフレームＡ［ｉ］（１≦ｉ＜ｎ）のサブバンド係数を得る。その後各フレームをサブバンド合成することで復号画像を得る。このサブバンド合成処理で高周波数成分のサブバンドを用いないことで、縮小した復号画像信号が得られる。空間領域で動き補償を行う従来第１の符号化処理とは異なり、縮小解像度上での復号画像と原信号を縮小した信号との間に量子化と変換誤差以外の大きな劣化は見られない。しかし、主にエッジ成分からなる高周波帯域での動き補償は、空間領域での動き補償に比べて予測効率が大きく低下する。すなわち、サブバンド領域で動き補償を行う従来第２の符号化方法は、従来第１の符号化方法に比べて符号化効率が悪いという問題がある。

Ｊ．−Ｒ．Ｏｈｍ，″Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｕｂｂａｎｄ ｃｏｄｉｎｇ ｗｉｔｈ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ″，ＩＥＥＥ Ｔｒａｎｓ，Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３，ｐｐ．５５９−５７１，Ｓｅｐｔ．１９９９ Ｈ．Ｇｈａｒａｖｉ，″Ｓｕｂｂａｎｄ Ｃｏｄｉｎｇ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｖｉｄｅｏ Ａｐｐｌｉｃａｔｉｏｎｓ：Ｖｉｄｅｏｐｈｏｎｅ ｔｏ ＨＤＴＶ Ｃｏｎｆｅｒｅｎｃｉｎｇ″，ＩＥＥＥ Ｔｒａｎｓ．，ＣＡＳ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．１，Ｎｏ．２，ｐｐ．１７４−１８２，Ｊｕｎｅ １９９１ Ａ．Ｓｅｃｋｅｒ ｅｔ．ａｌ，″Ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ ｈｉｇｈｌｙ ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ ｕｓｉｎｇ ａｎ ａｄａｐｔｉｖｅ ３Ｄ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ ｂａｓｅｄ ｏｎ ｌｉｆｔｉｎｇ″，ＩＥＥＥ Ｔｒａｎｓ．Ｉｎｔ．Ｃｏｎｆ．Ｉｍａｇｅ Ｐｒｏｃ．，ｐｐ１０２９−１０３２，Ｏｃｔｏｂｅｒ，２００１ Ｌｉｏ ｅｔ．ａｌ．，″Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｌｉｆｔｉｎｇ Ｗａｖｅｌｅｔ Ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ″，ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．Ｍｕｌｔｉｍｅｄｉａ ＆ Ｅｘｐｏ ２００１，Ａｕｇ．，２００１ Ｊ．Ｍ．Ｓｈａｐｉｒｏ，″Ｅｍｂｅｄｄｅｄ ｉｍａｇｅ ｃｏｄｉｎｇ ｕｓｉｎｇ ｚｅｒｏｔｒｅｅｓ ｏｆ ｗａｖｅｌｅｔｓ ｃｏｅｆｆｉｃｉｅｎｔｓ″，ＩＥＥＥ Ｔｒａｎｓ．Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．４１，ｐｐ．３４４５−３４６２，Ｄｅｃ．１９９３

前記従来２つのサブバンド動画像符号化方法のうち、空間領域で動き補償を行う方法では、サブバンド信号の低周波数帯域のみで復号して得られる復号画像が単一階層で符号化した場合の復号画像に比べて画質が大きく低下する。一方、サブバンド領域で動き補償を行う方法では、原画像と同じ解像度を持つ復号画像が、単一階層で符号化した場合の復号画像に比べて画質が大きく低下する。

本発明の目的は、サブバンド分割により階層化されている符号化データにおいて、すべての階層での復号信号が単一階層で符号化した場合の復号画像と同等の画質を持つサブバンド動画像符号化方法および復号方法を提供することにある。

本発明による動画像符号化方法は、ある解像度階層の動画像信号に時間階層分割処理を行い時間階層化信号を得るステップと、時間階層化信号に対して空間階層分割における高域生成処理を施し時間階層化空間高域信号を得るステップと、当該動画像信号に対して空間階層分割における低域信号生成処理を施し縮小画像信号を得るステップと、縮小画像信号に対して時間階層化を行い縮小時間階層化信号を得るステップとからなる時間空間分割フィルタリングを備えることを特徴とする。

また、本発明による動画像符号化方法は、ある解像度階層の動画像信号にフレーム間予測処理を行って予測誤差信号を得るステップと、前記予測誤差信号に対して空間階層分割における高域生成処理を施し予測誤差空間高域信号を得るステップと、当該動画像信号に対して空間階層分割における低域信号生成処理を施し縮小画像信号を得るステップと、縮小画像信号にフレーム間予測処理を行い、予測誤差信号である縮小フレーム間予測誤差信号を得るステップとからなる時間空間分割フィルタリングを備えることを特徴とする。

また、本発明による動画像符号化方法は、入力となる動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三次元サブバンド分割処理を繰り返し行う動画像符号化方法であって、前記三次元サブバンド分割処理が、入力画像信号に対してフレーム間の動きを検出する動き検出ステップと、前記入力画像信号および前記入力画像信号を空間サブバンド分割して得られる空間低域サブバンドのうちの一つのバンド信号であるイントラバンド信号について、前記動き検出ステップで得られた動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償予測ステップと、前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンドと空間高域予測誤差サブバンドを生成する予測誤差信号空間分割ステップと、前記イントラバンド信号を空間サブバンド分割し、空間低域イントラサブバンドと空間高域イントラサブバンドを生成するバンド信号空間分割ステップとからなり、前記動画像信号について動き補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間分割ステップとを行い、バンド信号空間分割ステップの後に得られた空間低域イントラサブバンドをイントラバンド信号として動き補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする。

また、本発明による動画像符号化方法は、入力画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を繰り返し行う動画像符号化方法であって、前記三次元サブバンド分割処理が、入力となる動画像信号に対してフレーム間の動きを検出する動き検出ステップと、前記動画像信号および該動画像信号を空間サブバンド分割して得られる空間低域サブバンドのうちの一つのバンド信号をイントラバンド信号として、前記動き検出ステップで得られた動き情報に従って動き補償をした後に時間サブバンド分割することで時間低域サブバンドと時間高域サブバンドを得る時間サブバンド分割ステップと、時間高域サブバンド信号を空間サブバンド分割し時間高域空間低域サブバンドと時間高域空間高域サブバンドを生成する時間高域サブバンド空間分割ステップと、時間低域サブバンドを空間サブバンド分割し、時間低域空間低域サブバンドと時間低域空間高域サブバンドを生成する時間低域サブバンド空間分割ステップと、前記イントラバンド信号を空間サブバンド分割し、空間低域イントラサブバンドと空間高域イントラサブバンドを生成するバンド信号空間分割ステップとからなり、前記動画像信号について時間サブバンド分割ステップと時間高域サブバンド空間分割ステップと時間低域サブバンド空間分割ステップとバンド信号空間分割ステップとを行い、バンド信号空間分割ステップの後に得られた空間低域イントラサブバンドをイントラバンド信号として時間サブバンド分割ステップと時間高域サブバンド空間分割ステップと時間低域サブバンド空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする。

また、本発明による動画像復号方法は、ある解像度階層の時間低域信号および時間高域信号と、これらに隣接する時間低域空間高域信号と時間高域空間高域信号とを参照し、一段高解像度の動画像信号を再構成する時間空間合成フィルタリングを備える動画像復号方法であり、この時間空間合成フィルタリングが時間高域信号と時間低域信号と時間低域空間高域信号とを参照して時間高域空間低域信号を合成するステップと、時間高域空間低域信号と時間高域空間高域信号に対して空間階層合成処理を行うステップと、時間低域信号と時間低域域空間高域信号に対して空間階層合成処理を行うステップと、これら２つの空間階層合成結果に対して時間階層合成処理を行うステップとからなることを特徴とする。

また、本発明による動画像復号方法は、ある解像度階層のイントラバンド信号および予誤差信号と、これらに隣接するイントラ空間高域信号と予測誤差空間高域信号とを参照し、一段高解像度の動画像信号を再構成する時間空間合成フィルタリングを備える動画像復号方法であり、この時間空間合成フィルタリングが予測誤差信号とイントラバンド信号とイントラ空間高域信号とを参照して予測誤差空間低域信号を合成するステップと、予測誤差空間低域信号と予測誤差空間高域信号に対して空間階層合成処理を行うステップと、イントラバンド信号と時間高域空間高域信号に対して空間階層合成処理を行うステップと、これら２つの空間階層合成結果に対してフレーム間予測復号処理を行うステップとからなることを特徴とする。

また、本発明による動画像復号方法は、動画像符号化データを入力とし、サブバンド信号をフレーム毎に空間方向にサブバンド合成した後、前記合成されたイントラバンド信号と予測誤差信号に動き補償処理を行う三次元サブバンド合成処理によって、復号画像信号を生成する動画像復号方法であって、前記三次元サブバンド合成処理が、ある解像度階層の予測誤差信号に加えて、当該予測誤差信号と同一周波数帯域にあるイントラバンド信号と該イントラバンド信号に隣接する空間高域サブバンドである空間高域イントラサブバンドの少なくとも一方を参照して空間低域予測誤差サブバンドを合成する空間低域予測誤差サブバンド合成ステップと、空間低域予測誤差サブバンドと該空間低域予測誤差サブバンドに隣接する空間高域サブバンドである空間高域予測誤差サブバンドとを合成し合成予測誤差信号を生成する予測誤差信号合成ステップと、前記イントラサブバンドと前記空間高域イントラサブバンドとを合成するイントラバンド信号空間合成ステップと、前記イントラバンド信号に動き補償予測処理を行い合成予測誤差信号を加えることで前記復号画像信号を得る動き補償復号ステップとからなり、予測誤差信号合成ステップによって得られる合成予測誤差信号を新たに予測誤差信号、前記イントラバンド信号空間合成ステップによって得られるバンド信号を新たにイントラバンド信号とみなし、空間低域予測誤差サブバンド合成ステップと予測誤差信号合成ステップとイントラバンド信号空間合成ステップとを再帰的に繰り返すことを特徴とする。

また、本発明による動画像復号方法は、符号化された動画像符号化データを入力とし、サブバンド信号をフレーム毎に空間方向にサブバンド合成した後、時間低域サブバンドと時間高域サブバンドに対して時間方向サブバンド合成を行う三次元サブバンド合成処理によって、復号画像信号を生成する動画像復号方法であって、前記三次元サブバンド合成処理が、ある解像度階層の時間高域サブバンドに加えて、当該時間高域サブバンドと同一周波数帯域にある時間低域サブバンドと該時間低域サブバンドに隣接する高周波帯域のサブバンドである時間低域空間高域サブバンドの少なくとも一方を参照し、時間高域空間低域サブバンドを合成する時間高域空間低域サブバンド合成ステップと、時間高域空間低域サブバンドと当該時間高域空間低域サブバンドに隣接する高周波帯域のサブバンドである時間高域空間高域サブバンドとを合成して合成時間高域サブバンドを生成する時間高域サブバンド合成ステップと、時間低域サブバンドと時間低域空間高域サブバンドとを合成し、合成時間低域サブバンドを生成する時間低域サブバンド空間合成ステップと、合成時間低域サブバンドと合成時間高域サブバンドに対して動き補償を伴う時間方向合成ステップとからなり、時間高域サブバンド合成ステップによって得られる合成時間高域サブバンドを新たに時間高域サブバンド、時間低域サブバンド合成ステップによって得られる合成時間低域サブバンドを新たに時間低域サブバンドとみなし、時間高域サブバンド合成ステップと時間低域サブバンド空間合成ステップとを再帰的に繰り返すことで復号画像信号と同解像度の時間低域サブバンドおよび時間高域サブバンドを生成することを特徴とする。

本発明の特徴である動画像符号化における時間空間分割フィルタリングの概要を、図１を用いて説明する。

時間空間分割フィルタリングにおいて、ある解像度階層の動画像信号１０を時間階層化して時間低域信号１１と時間高域信号１２とに分割する。

次に時間低域信号１１と時間高域信号１２に対して空間階層化における高域生成処理を施し、時間低域空間高域信号１３および時間高域空間高域信号１４を生成する。

また、動画像信号１０に対して空間階層化における低域生成処理を施し、縮小画像信号１５を生成する。

縮小画像信号１５に対し時間階層化を行い、時間低域信号１６および時間高域信号１７を得る。

時間低域空間高域信号１３、時間高域空間高域信号１４、時間低域信号１６、時間高域信号１７を動画像信号１０に対する分割結果として出力する。縮小画像信号１５を動画像信号１０、時間低域信号１６を時間低域信号１１、時間高域信号１７を時間高域信号１２とみなして、時間空間分割フィルタリングを再帰的に行うことで多段階に動画像信号を階層化する。

本発明の特徴である動画像復号化における時間空間合成フィルタリングの概要を、図２を用いて説明する。

時間空間合成フィルタリングにおいて、合成対象となる信号は、時間低域信号１６、時間高域信号１７、時間低域空間高域信号１３、時間高域空間高域信号１４である。

まず、時間低域信号１６と時間高域信号１７に対して時間階層合成処理を行い、縮小画像信号１５を再構成する。

また、時間低域信号１６と時間低域空間高域信号に対して空間階層合成処理を行い、時間低域信号１１を再構成する。

次に縮小画像信号１５と時間低域信号１１とから時間高域空間低域信号１８を再構成する。

時間高域空間低域信号１８と時間高域空間高域信号１４に対して空間階層合成処理を行い、時間高域信号１２を再構成する。時間低域信号１１と時間高域信号１２に対して時間階層合成処理を行い、動画像信号１０を再構成する。

動画像信号１０を縮小画像信号１５とみなし、時間合成フィルタリングを再帰的に行うことで、多段階の階層合成を得る。

図２において示した時間空間合成フィルタリングでは、時間高域空間低域信号１８を再構成するために、縮小画像信号１５を再構成する必要がある。本発明の特徴として更に、図１における時間階層化および図２における時間階層合成処理を、空間階層を考慮して行うことにより、時間空間合成フィルタリングをより簡略化して行うことができる。図３を用い、簡略化された時間空間合成フィルタリングの概要を説明する。

まず、時間低域信号１６と時間高域空間高域信号１４とから時間低域空間低域信号１９を再構成する。また、時間高域信号１７と時間低域空間高域信号１４とから時間高域空間低域信号１８を再構成する。

時間低域空間低域信号円と時間低域空間高域信号１３に対して空間階層合成処理を行い、時間低域信号１１を再構成する。また、時間高域空間低域信号１８と時間低域空間高域信号１４に対して空間階層合成処理を行い、時間高域信号１２を再構成する。時間低域信号１１と時間高域信号１２に対し時間階層合成処理を行い、動画像信号１０を再構成する。

時間低域信号１１を時間低域信号１６、時間高域信号１２を時間高域信号１７とみなして時間空間合成フィルタリングを再帰的に行うことで多段階の階層合成を行う。

本発明による動画像符号化方法および復号方法によれば、空間領域での動き補償処理と時間サブバンド分割の後に、低周波数帯域成分が再帰的にサブバンド領域での動き補償処理の結果に置き換えられる。これにより、縮小解像度上での復号画像は従来のサブバンド領域ベースの符号化処理方法と同等の画質を有する。また、低周波数帯域成分の置き換えによって発生する画質低下は微小であり、元解像度での復号画像は従来の空間領域ベースの符号化処理方法と同等の画質を有する。すなわち、本発明による動画像符号化方法および復号方法は、サブバンド分割により階層化されている符号化データにおいて、すべての階層での復号信号が単一階層で符号化した場合の復号画像と同等の画質を実現する。

図１は、本発明の特徴である動画像符号化における時間空間分割フィルタリングの概要を説明する概念図である。 図２は、本発明の特徴である動画像復号化における時間空間合成フィルタリングの概要を説明する概念図である。 図３は、本発明の特徴である簡略化された時間空間合成フィルタリングの概要を説明する概念図である。 図４は、本発明の実施例による動画像符号化装置および動画像復号装置の構成を示す概略図である。 図５は、本発明の特徴である動画像符号化における時間空間分割フィルタリングを実現する時間空間分割フィルタリング部の構成を示すブロック図である。 図６は、時間空間分割フィルタリングの処理の流れを示すフローチャートである。 図７は、本発明の実施例による動画像符号化方法の処理の流れを示すフローチャートである。 図８は、図７における２枚のフレームの時間空間サブバンド分割処理の流れを示すフローチャートである。 図９は、低周波帯域での動き補償を説明する概念図である。 図１０は、本発明の実施例による動画像符号化装置の構成を示すブロック図である。 図１１は、時間空間分割フィルタリング部の構成を示すブロック図である。 図１２は、テクスチャ信号符号化部の構成を示すブロック図である。 図１３は、本発明の特徴である動画像復号方法における時間空間合成フィルタリングを実現する時間空間分割フィルタリング部の構成を示すブロック図である。 図１４は、時間空間合成フィルタリングの処理の流れを示すフローチャートである。 図１５は、時間空間合成フィルタリングの特徴である時間高域空間低域信号を再構成する処理を説明する概念図である。 図１６は、本発明の実施例による時間空間合成フィルタリングを実現する時間空間分割フィルタリング部の構成を示す図である。 図１７は、時間空間合成フィルタリングの処理の流れを示すフローチャートである。 図１８は、本発明の実施例による動画像復号方法の処理の流れを示すフローチャートである。 図１９は、図１８における２枚のフレームの時間空間サブバンド合成処理の流れを示すフローチャートである。 図２０は、本発明の実施例による動画像復号化装置の構成を示すブロック図である。 図２１は、テクスチャ信号復号部の構成を示すブロック図である。 図２２は、時間空間合成フィルタリング部の構成を示すブロック図である。 図２３は、時間低域信号生成部の構成を示すブロック図である。 図２４は、時間高域信号生成部の構成を示すブロック図である。 図２５は、空間領域で動き補償を行う従来第一の符号化方法の処理の流れを示すフローチャートである。 図２６は、サブバンド領域で動き補償を行う従来第一の符号化方法の処理の流れを示すフローチャートである。

本発明の実施例による動画像符号化方法、動画像復号方法、およびそれを実現した動画像符号化装置、動画像復号装置について図面を用いて詳細に説明する。

本発明の実施例による第１の動画像符号化装置および動画像復号装置は、図４に示されるように、プロセッサ、記憶部、Ｉ／Ｏインターフェースを備えており、それらはバスを介して互いに接続されている。ここで、記憶部は、プロセッサが実行すべき動画像符号化プログラムと動画像復号プログラムのいずれか一方もしくは両方を格納していると共に、プロセッサが動画像符号化プログラムもしくは動画像復号プログラムを実行中の一時記憶としての役割も果たす。なお、この「記憶部」という語は、本明細書において、ＲＡＭなどの主記憶のほか、ＣＰＵに含まれるキャッシュメモリやプロセッサに含まれるレジスタ、更にはハードディスク装置など、あらゆる記憶装置を示すものとして用いられる。また、本実施例において、Ｉ／Ｏインターフェースは、プロセッサの制御に応じて動画像符号化プログラムの入力となる原画像や出力となる符号化データ、動画像復号プログラムの入力となる符号化データや出力となる復号画像を伝送する媒介手段である。但し、このＩ／Ｏインターフェースの存在は、他のプログラムにより求められた原画像ないし符号化データを一旦記憶部に格納し、それを記憶部から読み出すことで本実施例による動画像符号化方法もしくは動画像復号方法を実行することを妨げるものではない。

以下、本実施例による動画像符号化方法および動画像復号方法について説明する。
本発明の実施例である第１の動画像符号化装置および動画像復号装置の動作は、それぞれプロセッサが記憶部に格納された動画像符号化プログラムおよび動画像復号プログラムを実行する。また本発明の実施例である第２の動画像符号化装置および動画像復号装置は、動画像符号化方法および動画像復号方法における動作ステップを実現する動作主体によって構成され、その入出力関係も動画像符号化方法および動画像復号方法によって参照および生成される信号に対応付けられる。以下では説明を明瞭にするため動作主体については逐一言及せずその動作のみに着目して説明することとする。

本発明の特徴である動画像符号化における時間空間分割フィルタリングを実現する時間空間分割フィルタリング部の構成を、図５を用いて説明する。

図５において時間空間分割フィルタリング部は、空間低域信号生成部５１、空間高域信号生成部５３、５４、時間方向フィルタリング部５２からなる。なお、図１における動画像信号１０および縮小画像信号１５は、図５における動画像信号１０および縮小画像信号１５に対応する。また、図１における時間低域信号１１および１６は図５における時間低域信号２１に、図１における時間低域信号１２および１７は図５における時間低域信号２２に対応する。図１における時間低域空間高域信号１３および時間高域空間高域信号１４は、図５におけるに時間低域空間高域信号２３および時間高域空間高域信号２４に対応する。

図５に示す時間空間分割フィルタリングの処理を図６のフローチャートを用いて説明する。

動画像信号１０は時間方向フィルタリング５２によって時間階層化され、時間低域信号２１および時間高域信号２２が生成される（ステップ８０）。時間低域信号２１は空間高域信号生成部５３によって、時間高域信号２２は空間高域信号生成部５４によって、それぞれ空間階層化による高域信号生成処理を施され、時間低域空間高域信号２３および時間高域空間高域信号２４が生成される（ステップ８１）。時間低域空間高域信号２３および時間高域空間高域信号２４は、分割結果信号２５および２６として出力される。その後、動画像信号１０に対して空間低域信号生成部によって空間階層化による低域信号生成処理が行われ、縮小画像信号１５が生成される（ステップ８２）。時間方向フィルタリング部５２は、縮小画像信号１５に対して時間階層化を行い、時間低域信号２１および時間高域信号２２を生成する（ステップ８３）。時間低域信号２１および時間高域信号２２は、それぞれ分割結果信号２５および２６として出力される。

以下に、時間空間分割フィルタリングを有する動画像符号化方法について図７および図８を用いて説明する。

図７は、本発明の実施例となる符号化処理の流れを示すフローチャートである。図７を用い、連続する画像フレームの集合Ａ（０）［ｉ］（０≦ｉ＜ｎ，ｎは２のべき乗）を原画像入力とする符号化方法について説明する。

まず、ｊ＝０，ｉ＝０，２，……ｎ−２として（ステップ１０１，１０２）、連続する２枚のフレームＡ（０）［ｉ］とＡ（０）［ｉ＋１］とを時間方向と空間方向の双方についてサブバンド分割する。（ステップ１０３）。

図８は、図７のステップ１０３における２枚のフレームの時間空間方向サブバンド分割の処理の流れを示すフローチャートである。以下では、フレームＢ０をフレームＣ０に対して過去方向にあるフレームだとして、一般的なフレームＢ０およびＣ０の時間空間方向サブバンド分割処理について図８を用いて説明する。最初に、フレームＣ０に対するフレームＢ０の動きを推定する（ステップ１１１）。ここで動きとは、フレームを構成する固定サイズあるいは可変サイズのブロック毎の平行移動、もしくはフレームを構成する小領域毎へのアフィン変換などの幾何変換、もしくはフレーム全体に対するアフィン変換などの幾何変換を表す。

次にステップ１１１で得た動き情報を元にＢ０，Ｃ０を時間方向にサブバンド分割し、低周波帯域サブバンドＡ０＊、高周波帯域サブバンドＥ０＊を得る（ステップ１１２）。時間方向のサブバンド分割方法の一つとして、参考文献［非特許文献３：Ａ．Ｓｅｃｋｅｒ ｅｔ．ａｌ，″Ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ ｈｉｇｈｌｙ ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ ｕｓｉｎｇ ａｎ ａｄａｐｔｉｖｅ ３Ｄ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ ｂａｓｅｄ ｏｎ ｌｉｆｔｉｎｇ″，ＩＥＥＥ Ｔｒａｎｓ．Ｉｎｔ．Ｃｏｎｆ．Ｉｍａｇｅ Ｐｒｏｃ．，ｐｐ１０２９−１０３２，Ｏｃｔｏｂｅｒ，２００１］にある方法を説明する。フレーム内座標［ｐ，ｑ］にあるフレームＢ０の画素値をＢ０［ｐ，ｑ］、動き推定（ステップ１１１）の結果に基づいてフレームＢ０を動き補償した後のフレーム内座標［ｐ，ｑ］の画素値をＷＢ０（Ｂ０）［ｐ，ｑ］，フレームＣ０を動き補償した後のフレーム内座標［ｐ，ｑ］の画素値をＷＣ０（Ｃ０）［ｐ，ｑ］とすると、
Ｅ０＊［ｐ，ｑ］＝１／２（Ｃ０［ｐ，ｑ］−ＷＢ０（Ｂ０）［ｐ，ｑ］）（１）
Ａ０＊［ｐ，ｑ］＝Ｂ０［ｐ，ｑ］＋ＷＣ０（Ｅ０＊）［ｐ，ｑ］（２）
となる。他の時間方向サブバンド分割方法として、時間方向のフィルタ長として２より長いフィルタを用いる場合、入力となる複数のフレームＢ０ｉに対して低周波帯域および高周波帯域への分解フィルタをそれぞれｆｌ［ｉ］（０≦ｉ＜ｎｌ）、ｆｈ［ｉ］（０≦ｉ＜ｎｈ）とするとＡ０＊およびＥ０＊は、
Ａ０＊［ｐ，ｑ］＝Σ０≦ｉ＜ｎｌ ｆｌ［ｉ］・ＷＢ０ｉ（Ｂ０ｉ）［ｐ，ｑ］）（１）’
Ｅ０＊［ｐ，ｑ］＝Σ０≦ｊ＜ｎｈ ｆｈ［ｉ］・ＷＢ０ｊ（Ｂ０ｊ）［ｐ，ｑ］）（２）’
となる。また１次のフィルタの重ね合わせで高次のサブバンド分割を実現するリフティング法において各フィルタの処理時に動き補償を行う参考文献２［非特許文献４：Ｌ．Ｌｉｏ ｅｔ．ａｌ．，″Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｌｉｆｔｉｎｇ Ｗａｖｅｌｅｔ Ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｉｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ″，ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．Ｍｕｌｔｉｍｅｄｉａ ＆ Ｅｘｐｏ ２００１，Ａｕｇ．，２００１］の方法を用いる場合、入力となる複数フレームにおいて偶数フレームをＢ０ｉ、奇数フレームをＣ０ｉとすると、前記１次フィルタを乗じた後のＢ０’ｉ・Ｃ０’ｉは定数α，βによって
Ｃ０’ｉ［ｐ，ｑ］＝Ｃ０ｉ［ｐ，ｑ］＋α（ＷＢ０ｉ（Ｂ０ｉ＋ＷＢ０ｉ＋１（Ｂ０ｉ＋１））［ｐ，ｑ］）（１）’’
Ｂ０’ｉ［ｐ，ｑ］＝Ｂ０ｉ［ｐ，ｑ］＋β（ＷＣ０ｉ（Ｃ０’ｉ＋ＷＣ０ｉ−１（Ｃ０’ｉ−１））［ｐ，ｑ］）（２）’’
となる。二つのフィルタ処理を交互に繰り返すことでリフティング法を用いた時間方向サブバンド分割が行われる。その他に、低周波数成分のＡ０＊を生成せず通常の動き補償予測と同等の処理を行うものがある。

Ａ０＊、Ｅ０＊が得られた後、これらを１回空間サブバンド分割する（ステップ１１３）。サブバンド分割として１次元のフィルタバンクを用いた二分割の周波数分割を行う場合、水平・垂直方向ともに低周波帯域に分割されたサブバンド、水平方向に低周波帯域・垂直方向に高周波帯域に分割されたサブバンド、水平方向に高周波帯域・垂直方向に低周波帯域に分割されたサブバンド、水平・垂直方向ともに高周波帯域に分割されたサブバンド、の４つのサブバンドが生成される。それぞれのサブバンド変換をＬＬ（），ＬＨ（），ＨＬ（），ＨＨ（）と定義する。また３つのサブバンドＬＨ（Ｃ０），ＨＬ（Ｃ０），ＨＨ（Ｃ０）の集合をＨ（Ｃ０）と定義する。これによりＬＬ（Ａ０＊）、Ｈ（Ａ０＊）、ＬＬ（Ｅ０＊）、Ｈ（Ｅ０＊）が得られる。

その後に、フレームＢ０，Ｃ０について１層分の空間サブバンド分割を行い（ステップ１１５）、ＬＬ（Ｂ０）、Ｈ（Ｂ０）、ＬＬ（Ｃ０）、Ｈ（Ｃ０）を得る。ＬＬ（Ｂ０），ＬＬ（Ｃ０）をＢ１，Ｃ１と定義し、Ｂ１，Ｃ１をステップ１１１で得た動き情報に基づいて時間方向にサブバンド分割し、低周波帯域サブバンドＡ１＊、高周波帯域サブバンドＥ１＊を得る（ステップ１１６）。ただし、Ａ１＊はＬＬ（Ａ０＊）と等しくなく、Ｅ１＊はＬＬ（Ｅ０＊）と等しくない。

空間方向の低周波帯域における動き補償処理には、第２の従来技術のようにサブバンド毎に異なる動き情報に基づいて行う方法と、元解像度で得た動き情報を低周波帯域に適用する方法がある。本発明の特徴である時間空間分割フィルタリングにおいて、これら２つの実現方法は動き補償処理以外では、同じ構成をとる。前者は異なる空間解像度上でも一般的な動き補償を用いるのに対し、後者は異なる空間解像度で特定の動き補償を用いることで、時間空間方向の信号合成を簡略化する。時間空間分割フィルタリングと対となる時間合成フィルタリングにおいて、前者は図２に、後者は図３に対応する。

以下、本実施例では、後者にあたる元解像度で得た動き情報に基づいて動き補償処理を決定する方法について述べる。本実施例における空間方向の低周波帯域サブバンドにおける動き補償処理について図９を用いて説明する。サブバンド分割の定義より、ＬＬ−１（Ｂ１）＋ＬＨ−１（ＬＨ（Ｂ０））＋ＨＬ−１（ＨＬ（Ｂ０））＋ＨＨ−１（ＨＨ（Ｂ０））＝Ｂ０となる合成フィルタＬＬ−１，ＬＨ−１，ＨＬ−１，ＨＨ−１が存在する。これらのフィルタと数式（１）のＷＢ０とを掛け合わせたフィルタＷＢＬＬ０，ＷＢＬＨ０，ＷＢＨＬ０，ＷＢＨＨ０は、
ＷＢＬＬ０（Ｂ１）＋ＷＢＬＨ０（ＬＨ（Ｂ０））＋ＷＢＨＬ０（ＨＬ（Ｂ０））＋ＷＢＨＨ０（ＨＨ（Ｂ０））＝ＷＢ０（Ｂ０）（３）
を満たす。ＬＬ（ＷＢＬＬ０（Ｂ１））をＷＢ１（Ｂ１）、ＬＬ（ＷＢＬＨ０（ＬＨ（Ｂ０））＋ＷＢＨＬ０（ＨＬ（Ｂ０））＋ＷＢＨＨ０（ＨＨ（Ｂ０）））をＷＢＨ０（Ｈ（Ｂ０））と定義すると、
ＷＢ１（Ｂ１）＋ＷＢＨ０（Ｈ（Ｂ０））＝ＬＬ（ＷＢ０（Ｂ０））（４）
を満たす。このときＥ１＊［ｐ，ｑ］を、
Ｅ１＊［ｐ，ｑ］＝１／２（Ｃ１［ｐ，ｑ］−ＷＢ１（Ｂ１）［ｐ，ｑ］）（５）
と定義すると、
Ｅ１＊［ｐ，ｑ］−１／２ＷＢＨ０（Ｈ（Ｂ０））［ｐ，ｑ］＝ＬＬ（Ｅ０＊）［ｐ，ｑ］（６）
を満たす。任意のｋに対して、式（１）から式（６）と同様に、Ａｋ＊、Ｅｋ＊を式（７）から式（１２）に従って定義する。
Ｅｋ＊［ｐ，ｑ］＝１／２＊（Ｃｋ［ｐ，ｑ］−ＷＢｋ（Ｂｋ）［ｐ，ｑ］）（７）
Ａｋ＊［ｐ，ｑ］＝Ｂｋ［ｐ，ｑ］＋ＷＣ０（Ｅｋ＊）［ｐ，ｑ］（８）
ＷＢｋ＋１（Ｂｋ＋１）＋ＷＢＨｋ＋１（Ｈ（Ｂｋ））＝ＬＬ（ＷＢｋ（Ｂｋ））（９）
ＷＣｋ＋１（Ｅｋ＋１＊）＋ＷＣＨｋ＋１（Ｈ（Ｅｋ＊））＝ＬＬ（ＷＣｋ（Ｅｋ＊））（１０）
Ｅｋ＋１＊［ｐ，ｑ］−１／２ＷＢＨｋ（Ｈ（Ｂｋ））［ｐ，ｑ］＝ＬＬ（Ｅｋ＊）［ｐ，ｑ］（１１）
Ａｋ＋１＊［ｐ，ｑ］＋ＷＣＨｋ（Ｈ（Ｅｋ＊））［ｐ，ｑ］＝ＬＬ（Ａｋ＊））［ｐ，ｑ］（１２）
元解像度で得た動き情報を空間方向の低周波帯域サブバンドに適用する他の手段としては、解像度に従って動き情報を縮小する方法がある。Ａ１＊、Ｅ１＊が得られた後、空間方向へのサブバンド分割回数が１であれば（ステップ１１７）、ＬＬ（Ａ０＊）の代わりにＡ１＊、Ｈ（Ａ０＊）の代わりにＨ（Ｂ０）、ＬＬ（Ｅ０＊）の代わりにＥ１＊をを分割結果とし、処理を終了する。そうでない場合、Ａ１＊、Ｅ１＊を１回空間サブバンド分割し、Ｌ（Ａ１＊）、Ｈ（Ａ１＊）、Ｌ（Ｅ１＊）、Ｈ（Ｅ１＊）を得る（ステップ１１８）。その後、Ｂ１，Ｃ１を１回サブバンド分割し（ステップ１１５）、得られるＢ２，Ｃ２について時間方向にサブバンド分割する（ステップ１１６）。以上の処理を分割数がｍになるまで行って（ステップ１１７）、得られたＬ（Ａｍ＊）、Ｈ（Ｂｋ）、Ｌ（Ｅｍ＊）、Ｈ（Ｅｋ＊）（０≦ｋ＜ｍ）を分割結果として（ステップ１１９）処理を終了する。
以上でステップ１０３の説明を終える。図７に戻って本発明の符号化処理の説明を続ける。

ステップ１０３の後、時間方向の低周波帯域サブバンドであるＡ（０）＊［０］を空間方向にのみサブバンド合成し、Ａ（１）［０］を生成する（ステップ１０５）。これは、Ａ（１）［０］を一つ上の時間方向階層においてあらためてステップ１０３で時空間方向へのサブバンド分割するためである。

ステップ１０３および１０５の処理をＡ（０）［ｎ−２］とＡ（０）［ｎ−１］について行った後（ステップ１０６，１０７）、ｊに１加算し（ステップ１０８）、ｉ＝０，２，…ｎ／２−２としてＡ（１）［ｉ＜＜１］とＡ（１）［（ｉ＋１）＜＜１］の時空間方向へのサブバンド分割および（ステップ１０３）、Ａ（１）＊［ｉ＜＜１］の空間方向へのサブバンド合成（ステップ１０５）を行う。以上の処理ループをｊがｌｏｇ２（ｎ）−１と等しくなるまで行う。ステップ１０３を終えた時点で現在の時間方向の分割数であるｊがｌｏｇ２（ｎ）−１と等しい場合（ステップ１０４）、すべての信号が時間空間方向へのサブバンド分割が終了したことになる。符号化処理は得られた信号Ａ（ｊ）＊［０］，Ｅ＊［ｉ］（０＜ｉ＜ｎ）について、量子化および可逆符号化を行う（ステップ１０９）。ここで量子化として、線形量子化、非線形量子化、ベクトル量子化のほか、国際標準の静止画像符号化であるＪＰＥＧ２０００にも用いられているビットプレーン量子化が用いられる。また可逆符号化として、参考文献３［非特許文献５：Ｊ．Ｍ．Ｓｈａｐｉｒｏ，″Ｅｍｂｅｄｄｅｄ ｉｍａｇｅ ｃｏｄｉｎｇ ｕｓｉｎｇ ｚｅｒｏｔｒｅｅｓ ｏｆｗａｖｅｌｅｔｓ ｃｏｅｆｆｉｃｉｅｎｔｓ″，ＩＥＥＥ Ｔｒａｎｓ．Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．４１，ｐｐ．３４４５−３４６２，Ｄｅｃ．１９９３］にあるゼロツリー符号化、算術符号化、ランレングス符号化が用いられる。以上で、Ａ（０）［ｋ］（０≦ｋ＜ｎ）の符号化処理は終了する。

なお本実施例では、ある階層で時空間方向ともにサブバンド分割を行った後、次の階層で符号化されるフレームを一旦空間方向にサブバンド合成する、という処理の流れをとっている。しかし、一旦空間方向にサブバンド信号の高周波数成分を動き補償により随時補正していくなどの処理を行うことで、この二つの処理は統合可能である。本発明の特徴の一部は、空間方向の周波帯域に応じて動き補償を適宜補正していく点にあり、空間方向サブバンド分割処理の順序は本発明の新規性を損なうものではない。

本実施例を実現する動画像符号化装置について図１０から図１２を用いて説明する。図１０は動画像符号化装置の構成を示すブロック図である。

入力画像信号２０００は、時間空間分割フィルタリング部２００によって時間空間方向に周波数分割され、時間低域分割信号２００１および時間高域分割信号２００２が生成される。時間低域分割信号２００１および時間高域分割信号２００２はそれぞれテクスチャ信号符号化部２０１によって符号化され、符号化データ２００３が生成される。

図１１は時間空間分割フィルタリング部の構成を示すブロック図である。はじめに入力画像信号２０００は、メモリ２１８に格納される。入力画像信号２０００に対して時間方向フィルタリング部２１１は時間階層化を行い、時間低域信号２０１２および時間高域信号２０１３を生成する。空間サブバンド分割部２１２は、時間低域信号２０１２に対して高域信号生成処理を施し、時間低域空間高域信号２０１４を生成する。また、空間サブバンド分割部２１３は、時間低域信号２０１３に対して高域信号生成処理を施し、時間低域空間高域信号２０１５を生成する。時間高域空間高域信号２０１５は時間高域分割信号２００２として出力され、時間低域空間高域信号２０１４はメモリ２１９に格納される。

メモリ２１８に格納された入力画像信号は空間サブバンド分割部２１０によって低域信号生成処理を施され、縮小画像信号２０１０が生成される。縮小画像信号２０１０に対して時間方向フィルタリング部２１１は時間階層化を行い、時間低域信号２０１２および時間高域信号２０１３を生成する。空間サブバンド分割部２１２，２１３はそれぞれ時間低域信号２０１２、時間高域信号２０１３に対して高域信号生成処理を施し、それぞれ時間低域空間高域信号２０１４、時間高域空間高域信号２０１５を生成する。時間高域空間高域信号２０１３は時間高域分割信号２００２として出力され、時間低域空間高域信号２０１４はメモリ２１９に格納される。空間階層分割数をｍとすると、ｍ−１回同じ処理を行った後、ｍ回目の分割時に切替器２１４および２１５は時間低域信号２０１２および時間高域信号２０１３をそれぞれ時間低域分割信号２００１および時間高域分割信号２００２とみなす。その後、メモリ２１９に格納された時間低域分割信号は、空間合成フィルタリング部２１７によって合成され時間低域信号２０１７を生成する。時間空間分割フィルタリング部は、時間低域信号２０１７を入力とみなし上述の時間空間分割フィルタリングを再帰的に行う。時間方向の分割数をｎ０とすると、ｎ０−１回同じ処理を行った後、ｎ０回目の分割後時に切替器２１６は時間低域分割信号２１６をメモリ２円に格納することなく出力する。

図１２は、テクスチャ信号符号化部の構成を示すブロック図である。時間低域分割信号２００１と時間高域分割信号２００２を統合して分割結果信号２０２１と呼ぶ。分割結果信号２０２１は量子化部２２１によって量子化され、量子化係数信号２０２２として出力される。量子化係数信号２０２２はエントロピー符号化部２２２によってエントロピー符号化され符号化データ２００３として出力される。なお量子化部２２１は省略されることがある。また、量子化部２２１の前に周波数変換処理が加わることもある。

なお、図７におけるステップ１０５は、図１における空間合成フィルタリング部２１７の処理に対応し、図７におけるステップ１０３は、図１に示す時間空間分割フィルタリング部のうち空間合成フィルタリング部２１７を除いた処理に対応する。図７におけるステップ１０４および１０７は図１における切替器２１６の処理に、図７におけるステップ１０９は図２６におけるテクスチャ信号符号化部２０１の処理に対応する。

また、図８におけるステップ１１１，１１２，１１６は図１における時間方向フィルタリング２１１の処理に対応し、図８におけるステップ１１５は図１における空間サブバンド分割部２１０に対応し、図８におけるステップ１１３および１１８は図１における空間サブバンド分割部２１２および２１３の処理に対応する。図８におけるステップ１１７は、図１における切替器２１４および２１５の処理に対応する。

次に本発明の符号化方法における復号処理について説明する。

本発明の特徴である動画像復号方法における時間空間合成フィルタリングを実現する時間空間分割フィルタリング部の構成を、図１３を用いて説明する。

図１３において時間空間合成フィルタリング部は、空間合成フィルタリング部５５、時間方向逆フィルタリング部５６、時間高域空間低域信号再構成部５７、空間合成フィルタリング部５８、時間方向逆フィルタリング部５９からなる。なお、図２における動画像信号１０、時間低域信号１１、時間高域信号１２、時間低域空間高域信号１３、時間高域空間高域信号１４、縮小画像信号１５、時間低域信号１６、時間高域信号１７、時間高域空間低域信号１８は、それぞれ図１３における動画像信号１０、時間低域信号１１、時間高域信号１２、時間低域空間高域信号１３、時間高域空間高域信号１４、縮小画像信号１５、時間低域信号１６、時間高域信号１７、時間高域空間低域信号１８に対応する。

図１３に示す時間空間合成フィルタリングの処理を図１４のフローチャートを用いて説明する。

まず、空間合成フィルタリング部５５は、時間低域信号１６と時間低域空間高域信号１３に対して空間階層合成処理を行い、時間低域信号１１を生成する（ステップ８４）。また時間方向逆フィルタリング部５６は、時間低域信号１６と時間高域信号１７に対して時間階層合成処理を行い、縮小画像信号１５を再構成する（ステップ８５）。時間高域空間低域信号再構成部５７は、時間低域信号１１と縮小画像信号１５を参照して時間高域空間低域信号１８を再構成する（ステップ８６）。空間合成フィルタリング部５８は、時間高域空間低域信号１８と時間高域空間高域信号１４に対して空間階層合成処理を行い（ステップ８７）、時間高域信号１２を再構成する。時間方向逆フィルタリング部５９は、時間低域信号１１と時間高域信号１２に対して時間階層合成処理を行い、動画像信号１０を再構成する（ステップ８８）。

時間空間合成フィルタリングの特徴となるのは、時間高域空間低域信号を再構成する処理である。図１５は、当該処理を説明する概念図である。図１５において信号を表す記号は図９における記号に準ずる。Ｂ０，Ｂ１はそれぞれ図１４における時間低域信号１１および１６を、Ｅ０＊，Ｅ１＊はそれぞれ時間高域信号１２および１７を、Ｈ（Ｅ０＊）は時間高域空間高域信号１４を表す。また、Ｃ０はＥ０＊に対応する動画像信号１０を、Ｃ１はＥ１＊に対応する縮小画像信号１５を表す。ＷＢ０およびＷＢ１はそれぞれＢ０，Ｂ１に対する動き補償作用素である。符号化時に、Ｂ０に対して動き補償処理を行って得られる予測画像信号Ｐ０と、Ｃ０とに対して、時間方向フィルタリングを行うことで時間高域信号Ｅ０＊が得られているとする。すなわち、時間方向フィルタリングの作用素をｆとすると、
Ｅ０＊＝ｆ（Ｐ０，Ｃ０） （１３）
また、図１４におけるステップ９０によりＢ０が、ステップ９１によりＣ１が再構成されているとする。（１３）式より、
ＬＬ（Ｅ０＊）＝ｆ（ＬＬ（Ｐ０），Ｃ１） （１４）
とすることで時間高域空間低域信号ＬＬ（Ｅ０＊）が得られる。

本発明の実施例となる動画像復号方法における時間空間合成フィルタリングは、図２に示す時間空間合成フィルタリングにおいて空間階層ごとに動き補償処理を規定して簡略化した図３に示す方法である。本発明の実施例となる時間空間合成フィルタリングを実現する時間空間分割フィルタリング部の構成を、図１６を用いて説明する。

図１６において時間空間合成フィルタリング部は、時間低域空間低域信号再構成部６０、時間高域空間低域信号再構成部６１、空間合成フィルタリング部６２、空間合成フィルタリング部６３、時間方向逆フィルタリング５４からなる。なお、図３における動画像信号１０、時間低域信号１１、時間高域信号１２、時間低域空間高域信号１３、時間高域空間高域信号１４、縮小画像信号１５、時間低域信号１６、時間高域信号１７、時間高域空間低域信号１８、時間低域空間低域信号円は、それぞれ図１６における動画像信号１０、時間低域信号１１、時間高域信号１２、時間低域空間高域信号１３、時間高域空間高域信号１４、縮小画像信号１５、時間低域信号１６、時間高域信号１７、時間高域空間低域信号１８、時間低域空間低域信号１９に対応する。

図１６に示す時間空間合成フィルタリングの処理を図１７のフローチャートを用いて説明する。

まず、時間低域空間低域信号再構成部６０は時間低域信号１６と時間高域空間高域信号１４を参照して時間低域空間低域信号１９を再構成する（ステップ８９）。また、時間高域空間低域信号再構成部６１は、時間高域信号１７と時間低域空間高域信号を参照して時間高域空間高域信号１８を再構成する（ステップ９０）。空間合成フィルタリング部６２は、時間低域空間低域信号１９と時間低域空間高域信号１３とを空間階層合成して時間低域信号１１を再構成し（ステップ９１）、空間合成フィルタリング部６３は、時間低域空間低域信号１８と時間低域空間高域信号１４とを空間階層合成して時間低域信号１２を再構成する（ステップ９２）。時間方向逆フィルタリング部６４は、時間低域信号１１と時間高域信号１２に対して時間階層合成処理を行い、動画像信号１０を再構成する（ステップ９３）。

以下に、時間空間合成フィルタリングを有する動画像復号化方法について図１８から図１９を用いて説明する。

本実施例において復号画像は、原画像に対して時間空間方向ともに２のべき乗分の１の任意の解像度を持つ。すなわち符号化処理における空間方向サブバンド分割数がｍであれば、水平および垂直方向の解像度が原画像の１／２，１／４，……１／２ｍの復号画像が再構成可能である。また、時間方向サブバンド分割数ｎ０＝ｌｏｇ２（ｎ）に対し、原画像の１／２，１／４，……１／２ｎ０のフレームレートを持つ復号画像が再構成可能である。図１８は、本発明の実施例となる復号処理の流れを示すフローチャートである。図１８を用い、原画像Ａ（０）［ｉ］（０≦ｉ＜ｎ，ｎは２のべき乗）に対し、水平および垂直方向の解像度が１／２ｋ０（０≦ｋ０≦ｍ）、フレームレートが１／２ｊ０（０≦ｊ０≦ｎ０）である復号画像Ａ（ｊ０）ｋ０［ｉ］を再構成する処理について説明する。

まず、符号化データについて可逆符号化の逆変換および逆量子化を行う（ステップ１５２）。この処理の後得られる信号を、図７で用いた記号に従ってＡ（ｎ０）＊［０］，Ｅ＊［ｉ］（０＜ｉ＜ｎ）と定義する。次にｊ０がｎ０と等しいか否かを判定する（ステップ１５３）。ｊ０がｎ０と等しい場合には、時間方向へのサブバンド合成を行う必要がなく、Ａ（ｊ）＊［０］を空間方向へｋ０層分だけサブバンド合成する。Ａ（ｊ０）ｋ０［０］が再構成された時点で（ステップ１５４）復号処理は終了する。一方、ｊ０がｎ０と等しくない場合には、Ａ（ｊ）＊［０］，Ｅ＊［ｎ／２］を時間方向と空間方向の双方についてサブバンド合成する（ステップ１５５，１５６）。

図１９は、ステップ１５６における、２枚のフレームデータを時空間方向サブバンド合成する処理の流れを示すフローチャートである。復号時のサブバンド合成数をｋ０とする。ｋ０がゼロなら原画像と同じ解像度での復号画像であり、ｋ０が正なら２のｋ０乗だけ縮小した解像度の復号画像が得られる。サブバンド合成処理の対象となる２枚のフレームのデータは、空間方向にｍ回サブバンド分割された階層構造をとっている。図８のステップ１１６とステップ１１８とに従えば、時間方向のサブバンド分割で低周波帯域に属するサブバンド信号のうち空間方向のサブバンド分割で最低周波帯域に属するサブバンド信号はＡｍ＊に、第ｋ層目のサブバンド分割後の高周波帯域サブバンドはＨ（Ｂｋ）（０≦ｋ＜ｍ）に対応する。時間方向のサブバンド分割で高周波帯域に属するサブバンド信号の空間方向に分割後の信号についても同様に、Ｅｍ＊およびＨ（Ｅｋ＊），（０≦ｋ＜ｍ）に対応づけることができる。Ａｍ＊、Ｈ（Ｂｋ）、Ｅｍ＊、（Ｅｋ＊），（０≦ｋ＜ｍ）を参照して原画像Ｂ０，Ｃ０を２のｋ０乗だけ縮小した解像度の復号画像Ｂｋ０，Ｃｋ０を再構成する処理について図１９を用いて説明する。

もしｋ０がｍと等しい場合（ステップ１７１，１７２）、Ａｍ＊とＥｍ＊を時間方向にサブバンド合成すればＢｍ，Ｃｍが得られる（ステップ１７７）。式（７）および（８）に示した時間方向のサブバンド分割を行った場合、サブバンド合成は
Ｂｍ［ｐ，ｑ］＝Ａｍ＊［ｐ，ｑ］＋ＷＣｍ（Ｅｍ＊）［ｐ，ｑ］（１５）
Ｃｍ［ｐ，ｑ］＝２＊Ｅｍ＊［ｐ，ｑ］＋ＷＢｍ（Ｂｍ）［ｐ，ｑ］（１６）
と行われる。ここでＷＢｍおよびＷＣｍは、ＢｍからＣｍへの動き補償を表すフィルタおよびＣｍからＢｍへの動き補償を表すフィルタであり、符号化処理時と同じものである。

もしｋ０がｍと等しくない場合（ステップ１７２）、１回分のサブバンド合成を行うためにＬＬ（Ａｍ−１＊）とＬＬ（Ｅｍ−１＊）、Ｈ（Ａｍ−１＊）を得る必要がある。そのために、ｋ＝ｍとして（ステップ１７１）Ｅｋ＊，Ｈ（Ｅｋ−１＊）を参照してＡｋ＊をＬＬ（Ａｋ−１＊）に、Ａｋ＊，Ｈ（Ｂｋ−１）を参照してＥｋ＊をＬＬ（Ｅｋ−１＊）に補正し（ステップ１７３）、ＬＬ（Ｅｋ−１＊），Ｈ（Ｅｋ−１＊）を参照してＨ（Ｂｋ−１）をＨ（Ａｍ−１＊））に補正する（ステップ１７４）。これらの補正処理は、図８のステップ１１４における時間サブバンド分割および図１９のステップ１６７における時間サブバンド合成における動き補償処理から一意に決まる。式（７）から式（１０）に従って時間方向のサブバンド分割を行った場合には式（１１）および式（１２）に従って、Ｈ（Ｅｋ−１＊）を参照してＡｋ＊をＬ（Ａｋ−１＊）に、Ｈ（Ｂｋ−１）を参照してＥｋ＊をＬ（Ｅｋ−１＊）に補正する。また、式（８）よりＥｋ−１＊を参照してＨ（Ｂｋ−１）をＨ（Ａｍ−１＊）に補正する。

この後、Ｌ（Ａｋ−１＊）とＨ（Ａｋ−１＊）をサブバンド合成、Ｌ（Ｅｋ−１＊）とＨ（Ｅｋ−１＊）をサブバンド合成して、Ａｋ−１＊，Ｅｋ−１＊を得る（ステップ１７５）。ステップ１７３から１７５の処理を繰り返し行い階層ｋ０に相当するサブバンドＡｋ０＊，Ｅｋ０＊を得たところで（ステップ１７６，１７２）、時間方向のサブバンド合成を行いＢｋ０，Ｃｋ０を得る（ステップ１７７）。以上で図１８のステップ１５６における時空間方向のサブバンド合成の説明を終える。

なお本実施例では、サブバンドの補正（ステップ１７３，１７４）と空間方向のサブバンド合成（ステップ１７５）を独立したステップとして説明したが、サブバンド補正時の動き補償フィルタとサブバンド合成フィルタとを掛け合わせたフィルタを用いることで、これらのステップを統合することも可能である。

図１８に戻って復号処理の説明を続ける。Ａ（ｊ）＊［０］，Ｅ＊［ｎ／２］をサブバンド合成した後、解像度が原画像の１／２ｋ０の画像Ａ（ｊ）（ｋ０）［０］とＡ（ｊ）（ｋ０）［ｎ／２］が得られる。ｊ０がｎ０−１と等しい場合には（ステップ１５７）、ここで復号処理を終える。そうでない場合、これらをｋ０回空間方向にサブバンド分割し、Ａ（ｊ−１）＊（ｋ０）［０］とＡ（ｊ−１）＊（ｋ０）［ｎ／２］を得る。ここで分割するのは、次の時間方向サブバンド合成においてお互いの空間方向低周波帯域サブバンドの補正に高周波帯域サブバンドが必要だからである。ｊを１減少させた（ステップ１６２）次の階層での時空間サブバンド合成は、Ａ（ｊ）＊［０］とＥ＊［ｎ／４］、およびＡ（ｊ）＊［ｎ／２］とＥ＊［３ｎ／４］に対して行われる（ステップ１５６，１５９，１６０）。以上のようにしてサブバンド合成を繰り返し、ｊがｊ０と等しくなった時点で復号処理を終える（ステップ１６１）。

本実施例を実現する動画像復号化装置について図２０から図２４を用いて説明する。図２０は動画像復号化装置の構成を示すブロック図である。

図２０において動画像復号化装置は、テクスチャ信号復号部３０１、切替器３０２、時間空間合成フィルタリング部３０３、空間合成フィルタリング部３０４、切替器３０５からなる。符号化データ３０００はテクスチャ信号復号部３０１によって分割結果信号３００１となる。切替器３０５分割結果信号３００１を空間合成フィルタリング部３０４によって空間階層合成処理を行った結果を復号画像として出力する、もしくは、切替器３０２によって時間低域分割信号３００２もしくは時間高域分割信号３００３として時間空間合成フィルタリング部３０３によって時間空間合成フィルタリングを施した結果を復号画像３００４として出力する。

図２１は、テクスチャ信号復号部の構成を示すブロック図である。符号化データ３０００はエントロピー復号部３０６によって復号され量子化係数信号３００６として出力される。逆量子化部３０７は量子化係数信号３００７を逆量子化し分割結果信号３００１を再構成する。なお、符号化時の処理に対応して逆量子化部３０７は省略されることがある。また逆量子化部３０７の後に周波数逆変換処理が加わることがある。

図２２は、時間空間合成フィルタリング部の構成を示すブロック図である。時間低域分割信号３００２は時間低域信号３０１０および時間低域空間高域信号３０１１を多重化した信号であり、時間高域分割信号３００３は時間高域信号３０１２および時間高域空間高域信号３０１３を多重化した信号である。

サブバンド逆多重化部３１０は、時間低域分割信号３００２を逆多重化し、時間低域信号３０１０および時間低域空間高域信号３０１１を時間低域信号生成部３１２に随時出力する。サブバンド逆多重化部３１１は、時間高域分割信号３００３を逆多重化し、時間高域信号３０１２および時間高域空間高域信号３０１３を時間高域信号生成部３１３に随時出力する。

図２３は、時間低域信号生成部の構成を示すブロック図である。時間低域空間低域信号再構成部３２０は、時間高域信号生成部の出力する補助信号３０１５と時間低域信号３０１０とを参照して時間低域空間低域信号３０３０を再構成する。空間合成フィルタリング部３２１は、時間低域空間信号３０３０と時間低域空間高域信号３０１１に対して空間階層合成処理を行い、時間低域信号３０３１を生成する。切替器３２２は時間低域信号３０３１をそのまま出力するか、時間高域空間低域信号再構成部３２０への入力として再帰的に時間低域信号生成処理を行う。また、時間低域空間高域信号３０１１を時間高域信号生成部３１３への補助信号３０１４として出力する。

図２４は、時間高域信号生成部の構成を示すブロック図である。時間高域空間低域信号再構成部３２３は、時間高域信号生成部の出力する補助信号３０１４と時間高域信号３０１２とを参照して時間高域空間低域信号３０３２を再構成する。空間合成フィルタリング部３２４は、時間高域空間信号３０３２と時間高域空間高域信号３０１３に対して空間階層合成処理を行い、時間高域信号３０３３を生成する。切替器３２５は時間高域信号３０３３をそのまま出力するか、時間高域空間低域信号再構成部３２３への入力として再帰的に時間高域信号生成処理を行う。また、時間低域空間高域信号３０１３を時間高域信号生成部３１２への補助信号３０１５として出力する。

以上で、時間低域信号生成部３１２および時間高域信号生成部３１３についての説明を終える。図２２において時間空間合成フィルタリングの処理について引き続き説明を行う。切替器３１４は時間低域信号３０１０もしくは、時間低域信号生成部３１２の出力した時間低域信号３０１６を時間方向逆フィルタリング３１６に出力する。切替器３１５は時間高域信号３０１２もしくは、時間高域信号生成部３１３の出力した時間高域信号３０１７を時間方向逆フィルタリング３１６に出力する。

時間サブバンド合成部３１６は、切替器３１４および３１５の出力する時間低域信号３０１８および時間高域信号３０１９に対して時間階層合成処理を行い、動画像信号３０２０を再構成する。切替器３１７は、動画像信号３０２０に対して更に時間方向の合成が必要な場合には、空間分割フィルタリング部３１８に動画像信号３０２０を出力する。また、予め定めた回数だけ空間方向の合成を終えていれば動画像信号３００４として出力する。入力された動画像信号より低域分割信号３００２を生成し再帰的に時間空間合成フィルタリングを行うために、空間分割フィルタリング部３１８は入力された動画像信号に対して空間階層分割処理を行い、分割結果信号３０２１をサブバンド逆多重化部３１０に出力する。

以上、本発明の実施例となる動画像復号装置についての説明を終える。なお、図２０においてテクスチャ信号復号部３０１における処理は、図１８におけるステップ１５２に対応する。図２０における時間空間合成フィルタリング部３０３における処理は図１８におけるステップ１５６およびステップ１５８に対応する。図２０における切替器３０２および３０５における判定処理は、それぞれ図１８におけるステップ１５３および１６１に対応する。空間合成フィルタリング部３０４はステップ１５４に対応する。

また、本発明の特徴である時間空間合成フィルタイリングについて、図２３における時間低域空間低域信号再構成部３２０および図２４における時間高域空間低域信号再構成部３２３の処理は、図１９におけるステップ１７３に対応する。図２３における空間合成フィルタリング部３２１および図２４における空間合成フィルタリング部３２４の処理は、図１９におけるステップ１７５に対応する。図２３における切替器３２２および図２４における切替器３２５の判定処理は、図１９におけるステップ１７２に対応する。図２２における時間サブバンド合成部３１６における処理は図１９におけるステップ１７７に対応する。図２２における切替器３１７の判定処理は図１８のステップ１６０に、空間分割フィルタリング部３１８における処理はステップ１５８に対応する。

本実施例となる時間空間合成フィルタリングの特徴として、時間低域信号と時間高域空間高域信号を参照して時間低域空間低域信号を再構成し、時間高域信号と時間低域空間高域信号を参照して時間高域空間低域信号を再構成する点があげられる。時間空間合成フィルタリングの他の実施例として、時間低域信号と時間高域信号とのみを参照して、時間低域空間低域信号と時間高域空間低域信号を同時に再構成する方法がある。この場合、上位階層における動き補償処理は、元解像度で得た動き情報を解像度に従って縮小した動き情報に基づいて行われる。

本実施例では、時間方向サブバンド分割におけるフレームの参照関係が階層構造をとっている場合について説明したが、本発明は参照関係が任意の構造を持つ場合についても適用可能である。また、ひとつの時間方向サブバンド分割において、過去にあるフレームが低周波帯域サブバンドに変換する場合に限定して実施例の説明を行ったが、本発明は、未来にあるフレームが低周波帯域サブバンドに変換する場合、あるいは２枚のフレームを双方向予測する形で時間方向の分割を行う場合にも適用可能である。いずれの場合も、時間方向に分割した後のそれぞれのサブバンドを空間方向に分割した際の低周波帯域サブバンドを符号化対象画像を空間方向に分割した低周波帯域サブバンドを時間方向に分割したサブバンドに置き換え、復号時に対となるフレームの復号結果もしくはサブバンドを用いて望みの復号結果を得られるように補正される。

また、本実施例では階層符号化を実現する変換方式としてサブバンド分割を用いたが、本発明は任意の階層符号化方式に適用可能である。サブバンド分割では、低周波帯域に相当する信号が上位階層に対応づけられる。本発明に基づく実施例である符号化方式では、フレーム間予測処理の後に得られる予測誤差信号を階層分割したうちの上位階層信号を、入力画像信号に対して階層分割を行った後上位階層信号についてフレーム間予測処理をして得られる予測誤差に置き換える。復号方式では、階層化されたフレーム信号のうち上位階層を、入力画像信号に対してフレーム間予測処理を行って得られる予測誤差信号を階層分割したうちの上位階層信号に補正する。

Claims (93)

1. 動画像信号に時間階層分割処理を行い、時間階層化信号を得るステップと、
   前記時間階層化信号に対して空間階層分割における高域生成処理を行い、時間階層化空間高域信号を得るステップと、
   前記動画像信号に対して空間階層分割における低域生成処理を行い、縮小画像信号を得るステップと、
   前記縮小画像信号に対して時間階層化を行い、縮小時間階層化信号を得るステップと、
   を少なくとも含むことを特徴とする動画像符号化方法。
2. 前記時間階層化空間高域信号と前記縮小時間階層化信号を符号化することを特徴とする請求項１記載の動画像階層符号化方法。
3. 動画像信号にフレーム間予測処理を行い、予測誤差信号を得るステップと、
   前記予測誤差信号に対して空間階層分割における高域生成処理を行い、予測誤差空間高域信号を得るステップと、
   前記動画像信号に対して空間階層分割における低域信号生成処理を行い、縮小画像信号を得るステップと、
   前記縮小画像信号に対してフレーム間予測処理を行い、予測誤差信号である縮小フレーム間予測誤差信号を得るステップと、
   を少なくとも含むことを特徴とする動画像符号化方法。
4. 前記予測誤差空間高域信号と前記縮小フレーム間予測誤差信号を符号化することを特徴とする請求項３記載の動画像階層符号化方法。
5. 動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化方法であって、
   前記三次元サブバンド分割処理が、
   前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ステップと、
   前記動画像信号に対して前記動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償予測ステップと、
   前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号を生成する予測誤差信号空間分割ステップと、
   前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、
   を少なくとも含むことを特徴とする動画像符号化方法。
6. 前記動画像信号について、前記動き補償予測ステップと前記予測誤差信号空間分割ステップと前記バンド信号空間分割ステップとを行い、前記バンド信号空間分割ステップの後に得られた空間低域イントラサブバンド信号を動画像信号に代えて動き補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする請求項５記載の動画像符号化方法。
7. 動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化方法であって、
   前記三次元サブバンド分割処理が、
   前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ステップと、
   前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対して前記動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償予測ステップと、
   前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号を生成する予測誤差信号空間分割ステップと、
   前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、
   を少なくとも含むことを特徴とする動画像符号化方法。
8. 前記動画像信号について、前記動き補償予測ステップと前記予測誤差信号空間分割ステップと前記バンド信号空間分割ステップとを行い、前記バンド信号空間分割ステップの後に得られた空間低域イントラサブバンド信号を空間低域サブバンド信号に代えて動き補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする請求項７記載の動画像符号化方法。
9. 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化方法であって、
   前記三次元サブバンド分割処理が、
   前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ステップと、
   前記動画像信号に対して前記動き情報に従って動き補償をした後に時間サブバンド分割することで時間低域サブバンド信号と時間高域サブバンド信号を得る時間サブバンド分割ステップと、
   前記時間高域サブバンド信号を空間サブバンド分割し時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号を生成する時間高域サブバンド空間分割ステップと、
   前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低域サブバンド信号と時間低域空間高域サブバンド信号を生成する時間低域サブバンド空間分割ステップと、
   前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、
   を少なくとも含むことを特徴とする動画像符号化方法。
10. 前記動画像信号について、前記時間サブバンド分割ステップと前記時間高域サブバンド空間分割ステップと前記時間低域サブバンド空間分割ステップと前記バンド信号空間分割ステップとを行い、前記バンド信号空間分割ステップの後に得られた空間低域イントラサブバンド信号を前記動画像信号に代えて時間サブバンド分割ステップと時間高域サブバンド空間分割ステップと時間低域サブバンド空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする請求項９記載の動画像符号化方法。
11. 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化方法であって、
    前記三次元サブバンド分割処理が、
    前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ステップと、
    前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対して前記動き情報に従って動き補償をした後に時間サブバンド分割することで時間低域サブバンド信号と時間高域サブバンド信号を得る時間サブバンド分割ステップと、
    前記時間高域サブバンド信号を空間サブバンド分割し時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号を生成する時間高域サブバンド空間分割ステップと、
    前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低域サブバンド信号と時間低域空間高域サブバンド信号を生成する時間低域サブバンド空間分割ステップと、
    前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、
    を少なくとも含むことを特徴とする動画像符号化方法。
12. 前記動画像信号について、前記時間サブバンド分割ステップと前記時間高域サブバンド空間分割ステップと前記時間低域サブバンド空間分割ステップと前記バンド信号空間分割ステップとを行い、前記バンド信号空間分割ステップの後に得られた空間低域イントラサブバンド信号を前記空間低域サブバンド信号に代えて時間サブバンド分割ステップと時間高域サブバンド空間分割ステップと時間低域サブバンド空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする請求項１１記載の動画像符号化方法。
13. 時間高域信号と時間低域信号と時間低域空間高域信号とを参照して時間高域空間低域信号を生成するステップと、
    前記時間低域信号と前記時間低域空間高域信号とを参照して第２の時間低域信号を生成するステップと、
    前記時間高域空間低域信号と時間高域空間高域信号を用いて第２の時間高域信号を生成するステップと、
    前記第２の時間低域信号と前記第２の時間高域信号に対して合成処理を行うステップと、
    を含むことを特徴とする動画像復号方法。
14. 予測誤差信号と空間低域イントラサブバンド信号と空間高域イントラサブバンド信号とを参照して空間低域予測誤差サブバンド信号を生成する第１のステップと、
    前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対して空間サブバンド合成処理を行い第２の予測誤差信号を得る第２のステップと、
    前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対して空間サブバンド合成処理を行いイントラバンド信号を得る第３のステップと、
    前記イントラバンド信号と前記第２の予測誤差信号に対して合成処理を行う第４のステップと、
    を含むことを特徴とする動画像復号方法。
15. 前記第２の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間低域イントラサブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップとを再帰的に繰り返すことを特徴とする請求項１４記載の動画像復号方法。
16. 予測誤差信号と空間低域イントラサブバンド信号と空間高域イントラサブバンド信号とを参照して空間低域予測誤差サブバンド信号を生成する第１のステップと、
    前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対して空間サブバンド合成処理を行い第２の予測誤差信号を得る第２のステップと、
    前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対して空間サブバンド合成処理を行いイントラバンド信号を得る第３のステップと、
    前記イントラバンド信号に動き補償予測処理を行い前記第２の予測誤差信号を加える第４のステップと、
    を含むことを特徴とする動画像復号方法。
17. 前記第２の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間低域イントラサブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップとを再帰的に繰り返すことを特徴とする請求項１６記載の動画像復号方法。
18. 空間低域イントラサブバンド信号、または、空間高域イントラサブバンド信号の少なくとも１つまたはその組み合わせと、予測誤差信号とを参照して空間低域予測誤差サブバンド信号を生成する第１のステップと、
    前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対して空間サブバンド合成処理を行い第２の予測誤差信号を得る第２のステップと、
    前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対して空間サブバンド合成処理を行いイントラバンド信号を得る第３のステップと、
    前記イントラバンド信号と前記第２の予測誤差信号に対して合成処理を行う第４のステップと、
    を含むことを特徴とする動画像復号方法。
19. 前記第２の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間低域イントラサブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップとを再帰的に繰り返すことを特徴とする請求項１８記載の動画像復号方法。
20. 時間高域サブバンド信号と時間低域サブバンド信号と時間低域空間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第１のステップと、
    前記時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第２のステップと、
    前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第３のステップと、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第４のステップと、
    を含むことを特徴とする動画像復号方法。
21. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップとを再帰的に繰り返すことを特徴とする請求項２０記載の動画像復号方法。
22. 時間低域サブバンド信号、または、時間低域空間高域サブバンド信号の少なくとも１つまたはその組み合わせと、時間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第１のステップと、
    前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第２のステップと、
    前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第３のステップと、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第４のステップと、
    を含むことを特徴とする動画像復号方法。
23. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップとを再帰的に繰り返すことを特徴とする請求項２２記載の動画像復号方法。
24. 空間低域イントラサブバンド信号と時間高域空間高域サブバンド信号とを参照して時間低域空間低域サブバンド信号を生成する第１のステップと、
    時間高域サブバンド信号と前記時間低域空間低域サブバンド信号と時間低域空間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第２のステップと、
    前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第３のステップと、
    前記時間低域空間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第４のステップと、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第５のステップと、
    を含むことを特徴とする動画像復号方法。
25. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップ、前記第４のステップとを再帰的に繰り返すことを特徴とする請求項２４記載の動画像復号方法。
26. 空間低域イントラサブバンド信号と時間高域空間高域サブバンド信号とを参照して時間低域空間低域サブバンド信号を生成する第１のステップと、
    前記時間低域空間低域サブバンド信号、または、時間低域空間高域サブバンド信号の少なくとも１つまたはその組み合わせと、時間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第２のステップと、
    前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第３のステップと、
    前記時間低域空間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第４のステップと、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第５のステップと、
    を含むことを特徴とする動画像復号方法。
27. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップ、前記第４のステップとを再帰的に繰り返すことを特徴とする請求項２６記載の動画像復号方法。
28. 動画像信号に時間方向フィルタリングを行い時間フイルタリング信号を得るステップと、
    前記時間フィルタリング信号に空間階層分割処理を行い、時間フィルタリング下位階層信号と時間フィルタリング上位階層信号を得るステップと、
    前記動画像信号に空間階層分割処理を行い上位階層動画像信号を得るステップと、
    前記上位階層動画像信号に時間方向フィルタリングを行って上位階層時間フィルタリング信号を得るステップと、
    前記時間フィルタリング下位階層信号および前記上位階層時間フィルタリング信号を符号化するステップと
    を含むことを特徴とする動画像符号化方法。
29. 前記時間フィルタリング上位階層信号を前記上位階層時間フィルタリング信号に置き換えるステップを更に含むことを特徴とする請求項２８記載の動画像符号化方法。
30. 時間フィルタリング下位階層信号および上位階層時間フィルタリング信号を復号するステップと、
    前記上位階層時間フィルタリング信号に時間方向フィルタリングを行って時間フィルタリング上位階層信号を得るステップと、
    前記時間フィルタリング下位階層信号と前記時間フィルタリング上位階層信号に空間階層合成処理を行い時間フィルタリング信号を得るステップと、
    時間フィルタリング信号に対して時間方向フィルタリングを行い動画像信号を得るステップと、
    を含むことを特徴とする動画像復号方法。
31. 前記時間フィルタリング上位階層信号を、この時間フィルタリング上位階層信号のフレームとは別のフレームの信号を参照して、復号解像度で時間方向フィルタリングを行った後に階層分割したうちの上位階層に属する時間フィルタリング上位階層信号に補正するステップを更に備えることを特徴とする請求項３０記載の動画像復号方法。
32. 動画像信号に時間階層分割処理を行い、時間階層化信号を得るステップと、
    前記時間階層化信号に対して空間階層分割における高域生成処理を行い、時間階層化空間高域信号を得るステップと、
    前記動画像信号に対して空間階層分割における低域生成処理を行い、縮小画像信号を得るステップと、
    前記縮小画像信号に対して時間階層化を行い、縮小時間階層化信号を得るステップと、
    を少なくとも実行させることを特徴とする動画像符号化プログラム。
33. 前記時間階層化空間高域信号と前記縮小時間階層化信号を符号化することを特徴とする請求項３２記載の動画像階層符号化プログラム。
34. 動画像信号にフレーム間予測処理を行い、予測誤差信号を得るステップと、
    前記予測誤差信号に対して空間階層分割における高域生成処理を行い、予測誤差空間高域信号を得るステップと、
    前記動画像信号に対して空間階層分割における低域信号生成処理を行い、縮小画像信号を得るステップと、
    前記縮小画像信号に対してフレーム間予測処理を行い、予測誤差信号である縮小フレーム間予測誤差信号を得るステップと、
    を少なくとも実行させることを特徴とする動画像符号化プログラム。
35. 前記予測誤差空間高域信号と前記縮小フレーム間予測誤差信号を符号化することを特徴とする請求項３４記載の動画像階層符号化プログラム。
36. 動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化プログラムであって、
    前記三次元サブバンド分割処理が、
    前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ステップと、
    前記動画像信号に対して前記動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償予測ステップと、
    前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号を生成する予測誤差信号空間分割ステップと、
    前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、
    を少なくとも実行させることを特徴とする動画像符号化プログラム。
37. 前記動画像信号について、前記動き補償予測ステップと前記予測誤差信号空間分割ステップと前記バンド信号空間分割ステップとを行い、前記バンド信号空間分割ステップの後に得られた空間低域イントラサブバンド信号を動画像信号に代えて動き補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする請求項３６記載の動画像符号化プログラム。
38. 動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化プログラムであって、
    前記三次元サブバンド分割処理が、
    前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ステップと、
    前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対して前記動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償予測ステップと、
    前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号を生成する予測誤差信号空間分割ステップと、
    前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、
    を少なくとも実行させることを特徴とする動画像符号化プログラム。
39. 前記動画像信号について、前記動き補償予測ステップと前記予測誤差信号空間分割ステップと前記バンド信号空間分割ステップとを行い、前記バンド信号空間分割ステップの後に得られた空間低域イントラサブバンド信号を空間低域サブバンド信号に代えて動き補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする請求項３８記載の動画像符号化プログラム。
40. 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化プログラムであって、
    前記三次元サブバンド分割処理が、
    前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ステップと、
    前記動画像信号に対して前記動き情報に従って動き補償をした後に時間サブバンド分割することで時間低域サブバンド信号と時間高域サブバンド信号を得る時間サブバンド分割ステップと、
    前記時間高域サブバンド信号を空間サブバンド分割し時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号を生成する時間高域サブバンド空間分割ステップと、
    前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低域サブバンド信号と時間低域空間高域サブバンド信号を生成する時間低域サブバンド空間分割ステップと、
    前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、
    を少なくとも実行させることを特徴とする動画像符号化プログラム。
41. 前記動画像信号について、前記時間サブバンド分割ステップと前記時間高域サブバンド空間分割ステップと前記時間低域サブバンド空間分割ステップと前記バンド信号空間分割ステップとを行い、前記バンド信号空間分割ステップの後に得られた空間低域イントラサブバンド信号を前記動画像信号に代えて時間サブバンド分割ステップと時間高域サブバンド空間分割ステップと時間低域サブバンド空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする請求項４０記載の動画像符号化プログラム。
42. 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化プログラムであって、
    前記三次元サブバンド分割処理が、
    前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ステップと、
    前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対して前記動き情報に従って動き補償をした後に時間サブバンド分割することで時間低域サブバンド信号と時間高域サブバンド信号を得る時間サブバンド分割ステップと、
    前記時間高域サブバンド信号を空間サブバンド分割し時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号を生成する時間高域サブバンド空間分割ステップと、
    前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低域サブバンド信号と時間低域空間高域サブバンド信号を生成する時間低域サブバンド空間分割ステップと、
    前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、
    を少なくとも実行させることを特徴とする動画像符号化プログラム。
43. 前記動画像信号について、前記時間サブバンド分割ステップと前記時間高域サブバンド空間分割ステップと前記時間低域サブバンド空間分割ステップと前記バンド信号空間分割ステップとを行い、前記バンド信号空間分割ステップの後に得られた空間低域イントラサブバンド信号を前記空間低域サブバンド信号に代えて時間サブバンド分割ステップと時間高域サブバンド空間分割ステップと時間低域サブバンド空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする請求項４２記載の動画像符号化プログラム。
44. 時間高域信号と時間低域信号と時間低域空間高域信号とを参照して時間高域空間低域信号を生成するステップと、
    前記時間低域信号と前記時間低域空間高域信号とを参照して第２の時間低域信号を生成するステップと、
    前記時間高域空間低域信号と時間高域空間高域信号を用いて第２の時間高域信号を生成するステップと、
    前記第２の時間低域信号と前記第２の時間高域信号に対して合成処理を行うステップと、
    を少なくとも実行させることを特徴とする動画像復号プログラム。
45. 予測誤差信号と空間低域イントラサブバンド信号と空間高域イントラサブバンド信号とを参照して空間低域予測誤差サブバンド信号を生成する第１のステップと、
    前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対して空間サブバンド合成処理を行い第２の予測誤差信号を得る第２のステップと、
    前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対して空間サブバンド合成処理を行いイントラバンド信号を得る第３のステップと、
    前記イントラバンド信号と前記第２の予測誤差信号に対して合成処理を行う第４のステップと、
    を少なくとも実行させることを特徴とする動画像復号プログラム。
46. 前記第２の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間低域イントラサブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップとを再帰的に繰り返すことを特徴とする請求項４５記載の動画像復号プログラム。
47. 予測誤差信号と空間低域イントラサブバンド信号と空間高域イントラサブバンド信号とを参照して空間低域予測誤差サブバンド信号を生成する第１のステップと、
    前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対して空間サブバンド合成処理を行い第２の予測誤差信号を得る第２のステップと、
    前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対して空間サブバンド合成処理を行いイントラバンド信号を得る第３のステップと、
    前記イントラバンド信号に動き補償予測処理を行い前記第２の予測誤差信号を加える第４のステップと、
    を少なくとも実行させることを特徴とする動画像復号プログラム。
48. 前記第２の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間低域イントラサブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップとを再帰的に繰り返すことを特徴とする請求項４７記載の動画像復号プログラム。
49. 空間低域イントラサブバンド信号、または、空間高域イントラサブバンド信号の少なくとも１つまたはその組み合わせと、予測誤差信号とを参照して空間低域予測誤差サブバンド信号を生成する第１のステップと、
    前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対して空間サブバンド合成処理を行い第２の予測誤差信号を得る第２のステップと、
    前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対して空間サブバンド合成処理を行いイントラバンド信号を得る第３のステップと、
    前記イントラバンド信号と前記第２の予測誤差信号に対して合成処理を行う第４のステップと、
    を少なくとも実行させることを特徴とする動画像復号プログラム。
50. 前記第２の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間低域イントラサブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップとを再帰的に繰り返すことを特徴とする請求項４９記載の動画像復号プログラム。
51. 時間高域サブバンド信号と時間低域サブバンド信号と時間低域空間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第１のステップと、
    前記時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第２のステップと、
    前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第３のステップと、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第４のステップと、
    を少なくとも実行させることを特徴とする動画像復号プログラム。
52. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップとを再帰的に繰り返すことを特徴とする請求項５１記載の動画像復号プログラム。
53. 時間低域サブバンド信号、または、時間低域空間高域サブバンド信号の少なくとも１つまたはその組み合わせと、時間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第１のステップと、
    前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第２のステップと、
    前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第３のステップと、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第４のステップと、
    を少なくとも実行させることを特徴とする動画像復号プログラム。
54. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップとを再帰的に繰り返すことを特徴とする請求項５３記載の動画像復号プログラム。
55. 空間低域イントラサブバンド信号と時間高域空間高域サブバンド信号とを参照して時間低域空間低域サブバンド信号を生成する第１のステップと、
    時間高域サブバンド信号と前記時間低域空間低域サブバンド信号と時間低域空間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第２のステップと、
    前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第３のステップと、
    前記時間低域空間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第４のステップと、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第５のステップと、
    を少なくとも実行させることを特徴とする動画像復号プログラム。
56. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップ、前記第４のステップとを再帰的に繰り返すことを特徴とする請求項５５記載の動画像復号プログラム。
57. 空間低域イントラサブバンド信号と時間高域空間高域サブバンド信号とを参照して時間低域空間低域サブバンド信号を生成する第１のステップと、
    前記時間低域空間低域サブバンド信号、または、時間低域空間高域サブバンド信号の少なくとも１つまたはその組み合わせと、時間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第２のステップと、
    前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第３のステップと、
    前記時間低域空間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第４のステップと、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第５のステップと、
    を少なくとも実行させることを特徴とする動画像復号プログラム。
58. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、前記第１のステップ、前記第２のステップ、前記第３のステップ、前記第４のステップとを再帰的に繰り返すことを特徴とする請求項５７記載の動画像復号プログラム。
59. 動画像信号に時間方向フィルタリングを行い時間フィルタリング信号を得るステップと、
    前記時間フィルタリング信号に空間階層分割処理を行い、時間フィルタリング下位階層信号と時間フィルタリング上位階層信号を得るステップと、
    前記動画像信号に空間階層分割処理を行い上位階層動画像信号を得るステップ
    と、
    前記上位階層動画像信号に時間方向フィルタリングを行って上位階層時間フィルタリング信号を得るステップと、
    前記時間フィルタリング下位階層信号および前記上位階層時間フィルタリング信号を符号化するステップと
    を含むことを特徴とする動画像符号化プログラム。
60. 前記時間フィルタリング上位階層信号を前記上位階層時間フィルタリング信号に置き換えるステップを更に含むことを特徴とする請求項５９記載の動画像符号化方法。
61. 時間フィルタリング下位階層信号および上位階層時間フィルタリング信号を復号するステップと、
    前記上位階層時間フィルタリング信号に時間方向フィルタリングを行って時間フィルタリング上位階層信号を得るステップと、
    前記時間フィルタリング下位階層信号と前記時間フィルタリング上位階層信号に空間階層合成処理を行い時間フィルタリング信号を得るステップと、
    時間フィルタリング信号に対して時間方向フィルタリングを行い動画像信号を得るステップと、
    を含むことを特徴とする動画像復号方法。
62. 前記時間フィルタリング上位階層信号を、この時間フィルタリング上位階層信号のフレームとは別のフレームの信号を参照して、復号解像度で時間方向フィルタリングを行った後に階層分割したうちの上位階層に属する時間フィルタリング上位階層信号に補正するステップを更に備えることを特徴とする請求項６１記載の動画像復号方法。
63. 動画像信号に時間階層分割処理を行い、時間階層化信号を得る手段と、
    前記時間階層化信号に対して空間階層分割における高域生成処理を行い、時間階層化空間高域信号を得る手段と、
    前記動画像信号に対して空間階層分割における低域生成処理を行い、縮小画像信号を得る手段と、
    前記縮小画像信号に対して時間階層化を行い、縮小時間階層化信号を得る手段と、
    を少なくとも含んで構成されることを特徴とする動画像符号化装置。
64. 前記時間階層化空間高域信号と前記縮小時間階層化信号を符号化することを特徴とする請求項６３記載の動画像階層符号化装置。
65. 動画像信号にフレーム間予測処理を行い、予測誤差信号を得る手段と、
    前記予測誤差信号に対して空間階層分割における高域生成処理を行い、予測誤差空間高域信号を得る手段と、
    前記動画像信号に対して空間階層分割における低域信号生成処理を行い、縮小画像信号を得る手段と、
    前記縮小画像信号に対してフレーム間予測処理を行い、予測誤差信号である縮小フレーム間予測誤差信号を得る手段と、
    を少なくとも含んで構成されることを特徴とする動画像符号化装置。
66. 前記予測誤差空間高域信号と前記縮小フレーム間予測誤差信号を符号化することを特徴とする請求項６５記載の動画像階層符号化装置。
67. 動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化装置であって、
    前記三次元サブバンド分割処理が、
    前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出手段と、
    前記動画像信号に対して前記動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償予測手段と、
    前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号を生成する予測誤差信号空間分割手段と、
    前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割手段と、
    を少なくとも含んで構成されることを特徴とする動画像符号化装置。
68. 前記動画像信号について、前記動き補償予測手段と前記予測誤差信号空間分割手段と前記バンド信号空間分割手段とを行い、前記バンド信号空間分割手段の後に得られた空間低域イントラサブバンド信号を動画像信号に代えて動き補償予測手段と予測誤差信号空間分割手段とバンド信号空間分割手段における処理を再帰的に繰り返すことを特徴とする請求項６７記載の動画像符号化装置。
69. 動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化装置であって、
    前記三次元サブバンド分割処理が、
    前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出手段と、
    前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対して前記動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償予測手段と、
    前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号を生成する予測誤差信号空間分割手段と、
    前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割手段と、
    を少なくとも含んで構成されることを特徴とする動画像符号化装置。
70. 前記動画像信号について、前記動き補償予測手段と前記予測誤差信号空間分割手段と前記バンド信号空間分割手段とを行い、前記バンド信号空間分割手段の後に得られた空間低域イントラサブバンド信号を空間低域サブバンド信号に代えて動き補償予測手段と予測誤差信号空間分割手段とバンド信号空間分割手段における処理を再帰的に繰り返すことを特徴とする請求項６９記載の動画像符号化装置。
71. 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化装置であって、
    前記三次元サブバンド分割処理が、
    前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出手段と、
    前記動画像信号に対して前記動き情報に従って動き補償をした後に時間サブバンド分割することで時間低域サブバンド信号と時間高域サブバンド信号を得る時間サブバンド分割手段と、
    前記時間高域サブバンド信号を空間サブバンド分割し時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号を生成する時間高域サブバンド空間分割手段と、
    前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低域サブバンド信号と時間低域空間高域サブバンド信号を生成する時間低域サブバンド空間分割手段と、
    前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割手段と、
    を少なくとも含んで構成されることを特徴とする動画像符号化装置。
72. 前記動画像信号について、前記時間サブバンド分割手段と前記時間高域サブバンド空間分割手段と前記時間低域サブバンド空間分割手段と前記バンド信号空間分割手段とを行い、前記バンド信号空間分割手段の後に得られた空間低域イントラサブバンド信号を前記動画像信号に代えて時間サブバンド分割手段と時間高域サブバンド空間分割手段と時間低域サブバンド空間分割手段とバンド信号空間分割手段における処理を再帰的に繰り返すことを特徴とする請求項７１記載の動画像符号化装置。
73. 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を行う動画像符号化装置であって、
    前記三次元サブバンド分割処理が、
    前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出手段と、
    前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対して前記動き情報に従って動き補償をした後に時間サブバンド分割することで時間低域サブバンド信号と時間高域サブバンド信号を得る時間サブバンド分割手段と、
    前記時間高域サブバンド信号を空間サブバンド分割し時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号を生成する時間高域サブバンド空間分割手段と、
    前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低域サブバンド信号と時間低域空間高域サブバンド信号を生成する時間低域サブバンド空間分割手段と、
    前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割手段と、
    を少なくとも含んで構成されることを特徴とする動画像符号化装置。
74. 前記動画像信号について、前記時間サブバンド分割手段と前記時間高域サブバンド空間分割手段と前記時間低域サブバンド空間分割手段と前記バンド信号空間分割手段とを行い、前記バンド信号空間分割手段の後に得られた空間低域イントラサブバンド信号を前記空間低域サブバンド信号に代えて時間サブバンド分割手段と時間高域サブバンド空間分割手段と時間低域サブバンド空間分割手段とバンド信号空間分割手段における処理を再帰的に繰り返すことを特徴とする請求項７３記載の動画像符号化装置。
75. 時間高域信号と時間低域信号と時間低域空間高域信号とを参照して時間高域空間低域信号を生成する手段と、
    前記時間低域信号と前記時間低域空間高域信号とを参照して第２の時間低域信号を生成する手段と、
    前記時間高域空間低域信号と時間高域空間高域信号を用いて第２の時間高域信号を生成する手段と、
    前記第２の時間低域信号と前記第２の時間高域信号に対して合成処理を行う手段と、
    を少なくとも含んで構成されることを特徴とする動画像符号化装置。
76. 予測誤差信号と空間低域イントラサブバンド信号と空間高域イントラサブバンド信号とを参照して空間低域予測誤差サブバンド信号を生成する第１の手段と、
    前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対して空間サブバンド合成処理を行い第２の予測誤差信号を得る第２の手段と、
    前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対して空間サブバンド合成処理を行いイントラバンド信号を得る第３の手段と、
    前記イントラバンド信号と前記第２の予測誤差信号に対して合成処理を行う第４の手段と、
    を少なくとも含んで構成されることを特徴とする動画像復号装置。
77. 前記第２の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間低域イントラサブバンド信号に代えて、前記第１の手段、前記第２の手段、前記第３の手段における処理を再帰的に繰り返すことを特徴とする請求項７６記載の動画像復号装置。
78. 予測誤差信号と空間低域イントラサブバンド信号と空間高域イントラサブバンド信号とを参照して空間低域予測誤差サブバンド信号を生成する第１の手段と、
    前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対して空間サブバンド合成処理を行い第２の予測誤差信号を得る第２の手段と、
    前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対して空間サブバンド合成処理を行いイントラバンド信号を得る第３の手段と、
    前記イントラバンド信号に動き補償予測処理を行い前記第２の予測誤差信号を加える第４の手段と、
    を少なくとも含んで構成されることを特徴とする動画像復号装置。
79. 前記第２の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間低域イントラサブバンド信号に代えて、前記第１の手段、前記第２の手段、前記第３の手段における処理を再帰的に繰り返すことを特徴とする請求項７８記載の動画像復号装置。
80. 空間低域イントラサブバンド信号、または、空間高域イントラサブバンド信号の少なくとも１つまたはその組み合わせと、予測誤差信号とを参照して空間低域予測誤差サブバンド信号を生成する第１の手段と、
    前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対して空間サブバンド合成処理を行い第２の予測誤差信号を得る第２の手段と、
    前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対して空間サブバンド合成処理を行いイントラバンド信号を得る第３の手段と、
    前記イントラバンド信号と前記第２の予測誤差信号に対して合成処理を行う第４の手段と、
    を少なくとも含んで構成されることを特徴とする動画像復号装置。
81. 前記第２の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間低域イントラサブバンド信号に代えて、前記第１の手段、前記第２の手段、前記第３の手段における処理を再帰的に繰り返すことを特徴とする請求項８０記載の動画像復号装置。
82. 時間高域サブバンド信号と時間低域サブバンド信号と時間低域空間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第１の手段と、
    前記時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第２の手段と、
    前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第３の手段と、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第４の手段と、
    を少なくとも含んで構成されることを特徴とする動画像復号装置。
83. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第１の手段、前記第２の手段、前記第３の手段における処理を再帰的に繰り返すことを特徴とする請求項８２記載の動画像復号装置。
84. 時間低域サブバンド信号、または、時間低域空間高域サブバンド信号の少なくとも１つまたはその組み合わせと、時間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第１の手段と、
    前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第２の手段と、
    前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第３の手段と、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第４の手段と、
    を少なくとも含んで構成されることを特徴とする動画像復号装置。
85. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第１の手段、前記第２の手段、前記第３の手段における処理を再帰的に繰り返すことを特徴とする請求項８４記載の動画像復号装置。
86. 空間低域イントラサブバンド信号と時間高域空間高域サブバンド信号とを参照して時間低域空間低域サブバンド信号を生成する第１の手段と、
    時間高域サブバンド信号と前記時間低域空間低域サブバンド信号と時間低域空間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第２の手段と、
    前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第３の手段と、
    前記時間低域空間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第４の手段と、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第５の手段と、
    を少なくとも含んで構成されることを特徴とする動画像復号装置。
87. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、前記第１の手段、前記第２の手段、前記第３の手段、前記第４の手段における処理を再帰的に繰り返すことを特徴とする請求項８６記載の動画像復号装置。
88. 空間低域イントラサブバンド信号と時間高域空間高域サブバンド信号とを参照して時間低域空間低域サブバンド信号を生成する第１の手段と、
    前記時間低域空間低域サブバンド信号、または、時間低域空間高域サブバンド信号の少なくとも１つまたはその組み合わせと、時間高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第２の手段と、
    前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間高域サブバンド信号を得る第３の手段と、
    前記時間低域空間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空間サブバンド合成処理を行い第２の時間低域サブバンド信号を得る第４の手段と、
    前記第２の時間低域サブバンド信号と前記第２の時間高域サブバンド信号とを合成する第５の手段と、
    を少なくとも含んで構成されることを特徴とする動画像復号装置。
89. 前記第２の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前記第２の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、前記第１の手段、前記第２の手段、前記第３の手段、前記第４の手段における処理を再帰的に繰り返すことを特徴とする請求項８８記載の動画像復号装置。
90. 動画像信号に時間方向フィルタリングを行い時間フィルタリング信号を得る手段と、
    前記時間フィルタリング信号に空間階層分割処理を行い、時間フィルタリング下位階層信号と時間フィルタリング上位階層信号を得る手段と、
    前記動画像信号に空間階層分割処理を行い上位階層動画像信号を得る手段と、
    前記上位階層動画像信号に時間方向フィルタリングを行って上位階層時間フィルタリング信号を得る手段と、
    前記時間フィルタリング下位階層信号および前記上位階層時間フィルタリング信号を符号化する手段と、
    を少なくとも含んで構成されることを特徴とする動画像復号装置。
91. 前記時間フィルタリング上位階層信号を前記上位階層時間フィルタリング信号に置き換える手段を更に含むことを特徴とする請求項９０記載の動画像符号化装置。
92. 時間フィルタリング下位階層信号および上位階層時間フィルタリング信号を復号する手段と、
    前記上位階層時間フィルタリング信号に時間方向フィルタリングを行って時間フィルタリング上位階層信号を得る手段と、
    前記時間フィルタリング下位階層信号と前記時間フィルタリング上位階層信号に空間階層合成処理を行い時間フィルタリング信号を得る手段と、
    時間フィルタリング信号に対して時間方向フィルタリングを行い動画像信号を得る手段と、
    を少なくとも含んで構成されることを特徴とする動画像復号装置。
93. 前記時間フィルタリング上位階層信号を、この時間フィルタリング上位階層信号のフレームとは別のフレームの信号を参照して、復号解像度で時間方向フィルタリングを行った後に階層分割したうちの上位階層に属する時間フィルタリング上位階層信号に補正する手段を更に備えることを特徴とする請求項９２記載の動画像復号装置。

Images