JP4385928B2

JP4385928B2 - スケーラブル動画像符号化・復号化方法及びシステム

Info

Publication number: JP4385928B2
Application number: JP2004324242A
Authority: JP
Inventors: 孝之仲地; 哲郎藤井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-11-08
Filing date: 2004-11-08
Publication date: 2009-12-16
Anticipated expiration: 2024-11-08
Also published as: JP2006135807A

Description

本発明は、スケーラブル動画像符号化・復号化方法及びシステムに係り、特に、動画像を効率よく伝送・蓄積するための符号化及び復号化を行うスケーラブル動画像符号化・復号化方法及びシステムに関する。

画像符号化の国際標準規格として、
（１）動画像を対象としたＭＰＥＧ（映像メディア学会編、「ＭＰＥＧ」、オーム社、1996
年4月）、Ｈ．２６４（H.264/AVC教科書、大久保榮監修、インプレス社、2004）；
（２）静止画像を対象としたＪＰＥＧ２０００（ISO/IEC 15444-1 JPEG2000 Part I:Core coding system 2000-12-15）
はよく知られている。MPEG／Ｈ.264は、動き補償と直交変換を用いた手法で、フレーム間相関とフレーム相関を効率よく除去することにより高い符号化効率を実現している。一方、JPEG2000は、ウェーブレット変換とEBCOTと呼ばれる埋込型のエントロピー符号化を用いた手法であり、フレーム間相関を利用していないためMPEG/H.264と比較すると符号化効率は劣るものの、MPEG/H.264にはない空間・ＳＮＲスケーラビリティなど様々な有効な機能を持つ。動画像への適用も可能としたMotion JPEG2000も提案されており、JPEG2000と同様な機能を持つ。

JPEG2000で用いられるスケーラビリティは埋込型と呼ばれ、符号器は一度符号化するのみで個々の解像度に応じて圧縮データを作り直す必要がない。単一の圧縮ファイルから、様々な解像度・SNRの復号画像が得られ、ファイル容量の削減、計算量の軽減にもつながる。図１７には、JPEG2000の解像度スケーラビリティ機能を示す。原画像の解像度がK
×Lの場合、復号器ではK/2 ^D ×L/2 ^Dの解像度の画像が復元可能となる。

しかしながら、通常、復号側で必要される画像の解像度は、原画像の大きさの1/2ⁿ倍のみにとどまらない。そこで、より一般的な有理数倍（原画像に対してN/M倍、但し、M，Nは正の整数）の解像度で復元可能な埋込型の符号化法も検討されている。

１つの方法として、M帯域分割フィルタバンクとN帯域合成フィルタバンクならびに、EBCOTと呼ばれる埋込型のエントロピー符号化法を用いて、有理数倍の空間解像度で復号が可能な符号化方法及び復号化方法を実現している（例えば、特許文献１参照）。しかしながら、国際標準規格JPEG2000との互換性は全くなく、新たにエンコーダならびにデコーダを実装する必要がある。一方、JPEG2000(PartII)と互換性を持ち有理数倍の空間解像度で復号が可能な符号化方法及び復号化を行う方法もある。

しかし、上記の２つの方法は、有理数倍の空間解像度で復号が可能であり、マルチメディアユースに適した符号化法である。しかし、これらの手法は単一の圧縮ファイルから様々な解像度・SNRの復号画像が復号可能な優れた性質を有するものの、フレーム間相関を利用していないため、MPEG/H.264と比較すると符号化効率が劣る。

本発明は、上記の点に鑑みなされたもので、フレーム間相関を利用することにより、符号化効率に優れ、任意の有理数倍の解像度で復号可能なスケーラブル動画像符号化・復号化方法及びシステムを提供することを目的とする。

図１は、本発明の原理説明図である。

本発明（請求項１）は、入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置における動画像符号化・復号化方法において、
符号化装置において、
入力された原画像を、ウェーブレットフィルタにより該原画像の全周波数帯域に渡って等帯域幅を持つ２^Ｄ個（Ｄは分割回数）の帯域に等分割し（ステップ１）、該等分割された画像を最低周波数帯域のみで時間方向のウェーブレット変換を行った各フレーム信号に対して空間ウェーブレット変換を行い（ステップ２）、
復号化装置において、
符号化装置から取得した圧縮データの中からＮ／Ｍ（Ｎ，Ｍは正の整数）倍解像度変換に必要なビットストリームのみを取り出すことによって該圧縮データを任意の有理数倍の空間解像度で復号する（ステップ３）。

本発明（請求項２）は、請求項１の復号化装置において、
符号化されたデータの復号時においてＮ／２^Ｄ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して低域から２^Ｕ帯域（Ｕは、Ｎ＜２^Ｕを満たす最小の整数）を合成し、
各種解像度変換方法を用いてＮ／２^Ｕ倍の解像度変換を行い、Ｎ／２^Ｄ倍の解像度画像を生成する。

本発明（請求項３）は、入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置における動画像符号化・復号化方法において、
符号化装置において、
入力された原画像を、フィルタバンクにより該原画像の全周波数帯域に渡って等帯域幅を持つＭ個の帯域に等分割し、等分割された画像を最低周波数帯域間のみで時間方向のウェーブレット変換を行った各フレーム信号に対して空間ウェーブレット変換を行い、
復号化装置において、
符号化装置から取得した圧縮データの中からＮ／Ｍ（Ｎ，Ｍは正の整数）倍解像度変換に必要なビットストリームのみを取り出すことによって該圧縮データを任意の有理数倍の空間解像度で復号する。

また、本発明（請求項４）は、請求項３の復号化装置において、
符号化されたデータの復号時においてＮ／Ｍ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して符号化時とは異なる分割数を持つＮ帯域等分割フィルタバンクにより復号する。

図２は、本発明の原理構成図である。

本発明（請求項５）は、入力された動画像を符号化して送出する符号化装置１００と、該符号化装置１００で符号化されたデータを復号する復号化装置２００からなる符号化・復号化システムであって、
符号化装置１００は、
入力された原画像を、ウェーブレットフィルタにより該原画像の全周波数帯域に渡って等帯域幅を持つ２^Ｄ個（Ｄは分割回数）の帯域に等分割する等帯域分割手段１０と、
等分割された画像を最低周波数帯域のみで時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段１１と、
時間方向ウェーブレット変換を行った各フレーム信号に対して空間ウェーブレット変換を行う空間ウェーブレット変換手段と、
を有し、
復号化装置２００は、
符号化装置１００から取得した圧縮データの中からＮ／Ｍ（Ｎ，Ｍは正の整数）倍解像度変換に必要なビットストリームのみを取り出すことによって該圧縮データを任意の有理数倍の空間解像度で復号する復号化手段２１０を有する。

また、本発明（請求項６）は、請求項５の復号化装置２００の復号化手段２１０において、
符号化されたデータの復号時においてＮ／２^Ｄ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して低域から２^Ｕ帯域（Ｕは、Ｎ＜２^Ｕを満たす最小の整数）を合成する帯域合成手段２８と、
各種解像度変換方法を用いてＮ／２^Ｕ倍の解像度変換を行い、Ｎ／２^Ｄ倍の解像度画像を生成するデシメーション処理手段２９と、を含む。
本発明（請求項７）は、入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置からなる符号化・復号化システムであって、
符号化装置は、
入力された原画像を、フィルタバンクにより該原画像の全周波数帯域に渡って等帯域幅を持つＭ個の帯域に等分割する帯域等分割手段と、
等分割された画像を最低周波数帯域間のみで時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段と、
時間方向ウェーブレット変換を行った各フレーム信号に対して空間ウェーブレット変換を行う空間ウェーブレット変換手段と、
を有し、
復号化装置は、
符号化装置から取得した圧縮データの中からＮ／Ｍ（Ｎ、Ｍは正の整数）倍解像度変換に必要なビットストリームのみを取り出すことによって該圧縮データを任意の有理数倍の空間解像度で復号する復号化手段を有する。

また、本発明（請求項８）は、請求項７の復号化装置の復号化手段において、
符号化されたデータの復号時においてＮ／Ｍ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して符号化時とは異なる分割数を持つＮ帯域等分割フィルタバンクにより復号する帯域合成手段を含む。

上記のように、本発明によれば、画像の効率の良い符号化ができ、少ないディスク容量で保存が可能となる。空間解像度スケーラビリティを有するために、画像表示機器の性能や用途に応じた空間解像度で画像を復号することが可能である。低域から任意の帯域まで復号すると、原画像よりも低い空間解像度の画像で再生でき、全てのデータを復号すると、原画像と同じ解像度の画像が再生される。

また、画像表示機器の性能や用途に応じて、原画像よりも低い空間解像度の画像を再生したい場合は、必要な帯域までに対応する符号化データの復号のみが必要とされる。原画像と同じ解像度の画像を再生して解像度変換を行うよりも処理時間が短く、また、符号化ビットストリームを伝送する場合は必要なデータのみを伝送すればよいため、伝送レートも小さくなる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の有理数倍の変換が可能な解像度スケーラビリティを示す図であり、本発明により実現可能な解像度スケーラビリティ機能を示している。符号化器１００では、解像度がK×Lの画像を符号化し、単一の圧縮データを生成し、復号側（復号化器２００）に送出する。復号側では、N/M倍解像度変換に必要な圧縮データの一部のビットストリームを取り出すことで、解像度が原画像の有理数倍すなわちN/M倍（但し、N，Mは正の整数）の画像を得ることができる。

[第１の実施の形態]
図４は、本発明の第１の実施の形態における動画像スケーラブル符号器の基本構成を示しており、動画像スケーラブル符号器は、任意の有理数倍の空間解像度で復号可能な機能を有する。

同図に示す動画像スケーラブル符号器は、帯域分割部１０、フレーム間符号化部３０、フレーム内符号化部５０、インタリーブ１９、及びレート制御部７０から構成される。

フレーム間符号化部３０は、時間方向のウェーブレット変換部（ＭＣＴＦ）１１、空間内ウェーブレット変換部１２、量子化部１３、埋込型エントロピー符号化部１４、動き推定部１５、動きベクトル符号化部１６を有する。

フレーム内符号化部５０は、量子化部１７、埋込型エントロピー符号化部１８を有する。

以下それぞれの構成要素について説明する。

入力された原画像は、帯域分割部１０において、２^Ｄ個の等帯域に分割される。分割には、ウェーブレットフィルタ（例：ウェーブレット９７非可逆フィルタ、ウェーブレット５３可逆フィルタ）を用いる。ウェーブレットフィルタを用いた等帯域分割を図５に示す。JPEG2000においては、帯域分割としてウェーブレット変換を用いている。ウェーブレット変換は、図６（ａ）に示すMallat分割と呼ばれる分割法により帯域分割を行う。Mallat分割では、１次元の２分割フィルタを用いて低域方向に次々に分割することによって、入力信号を複数の帯域に分割することができる。Ｄ回分割することによって、原画像に対して１/2^Dの大きさの空間解像度を持つ画像まで分割可能となる。この処理を、水平方向及び垂直方向にそれぞれ施す。復号側では、低域側から順次復号する。

復号側でＵ回復号することによって、原画像に対して２^Ｕ／２^Ｄ＝１／２^ｎ倍の大きさの空間解像度を持つ画像が復元できる。本発明においては、図６（ｂ）に示すように、低域側だけでなく高域側に対しても同様にウェーブレットフィルタを再帰的に適用し、等帯域に画像を分割する。それぞれ２π／２^Ｄの帯域幅を持ち、原画像を等間隔な帯域へ分割する。

次に、最低周波数帯域に対しては、フレーム間符号化、それ以外の高周波数帯域に対してはフレーム内符号化を施す。これは、一般に自然画像では最低周波数帯域間のフレーム間相関が強く、それ以外の周波数帯域では弱い性質を利用している。また、発明者らが普及を推進するディジタルシネマのコンテンツには、グレインノイズと呼ばれるフィルム固有の信号が存在し、以下の性質があることが報告されている。

・空間的に高周波数帯域に存在；
・時間方向にほぼ無相関；
以上の特性から、計算量の増加に対する符号化効率の向上率が小さいことを考慮し、最低周波数帯域以外の帯域に対しては、フレーム間符号化を行わない。

フレーム間符号化部３０では、まず、時間方向のウェーブレット変換部（ＭＣＴＦ）１１が、時間方向の物体の動きに沿ってウェーブレット変換を行うMCTF(Motion-Compensated Time Filtering)（例えば、文献［S.T.Hsiang. J.W. Woods and J.R. Ohm,”Invertible temporal subband/wavelet filter banks with half-pixel-accurate motion compensation,” IEEE trans. Image Processing, No.8, pp.1018-1028, Aug.2004］）を施す。MCTFは、オープンループの構造であるため、MPEGやH.264などのクロースループの動き補償と比較してドリフトが存在せず、スケーラブル符号化に適しているといえる。動き推定は、動き推定部１５において、以下のステップにより実行される。

１）後向き動き推定：
階層的可変サイズブロックマッチングHVSBM(Hierachical Variable Size Block Matching)（例えば、文献［S.T.Hsiang. J.W. Woods and J.R. Ohm,”Invertible temporal subband/wavelet filter banks with half-pixel-accurate motion compensation,” IEEE trans. Image Processing, No.8, pp.1018-1028, Aug.2004］）を用いて動き推定を行う。HVSBMにおいては、まず、１６×１６画素の小ブロック単位で動きベクトルを推定する。推定には、SAD(Sum of Absolute Difference)値を計算し、最小のＳＡＤ値を与えるベクトルが動きベクトルとして選ばれる。さらに、そのブロックを4つの小ブロック８×８に分割し、各小ブロックで動きベクトルの偏差を求める。このプロセスを４×４の小ブロックまで求める。

２）結合画素と非結合画素の特定：
図７は、本発明の第1の実施の形態における時間方向フィルタリングの画素対応を示す。同図より、動きベクトルの推定に全く関与しない画素や、逆に複数の画素と関連する画素が存在することがわかる。ここで、一つの画素と対応関係がある画素を単一結合画素、２つ以上の画素と対応関係がある画素を複数結合画素、対応関係がない画素を非結合画素と呼ぶ。完全再構成を実現するためには、これらを特定する必要があり、MCTFにおいて利用する。

MCTF１１では、動き推定部１５により推定された動きベクトルを用いて、物体の動きに沿ってウェーブレット変換を施す。単一結合画素間では、以下の演算を行う。ここでは、表記を簡略化して、現フレームの注目画素を「Ｂ」、参照フレームの注目画素を「Ａ」としている。

・低域通過フィルタ：Ｌ＝（Ａ＋Ｂ）／√２
・高域通過フィルタ：Ｈ＝（Ｂ−Ａ）／√２
複数結合画素では、動きベクトルの推定時の差分絶対値和ＳＡＤが小さい方の画素との間で、上記の演算を行う。また、非結合画素の変換値は、Ｌ＝Ａ／√２とし、低域通過フィルタの出力とする。連続する２フレーム間で上記のフィルタリング処理を行い、さらに得られた低域通過フィルタの出力信号間に対して、同様な処理を繰り返す。図８は、分解レベルを4としたときのフィルタリングの様子を示している。このとき連続する１６枚のフレームに対してウェーブレット変換を施したことになり、ここでは、その処理単位をＧＯＰ(Group Of Pictures)と呼ぶ。

次に、空間内ウェーブレット変換部１２は、ＭＣＴＦ１１により時間方向に変換された各フレーム信号に対して空間内ウェーブレット変換を施す。ウェーブレット変換としては、（9，７）非可逆ＬＰＦ、（5，３）可逆ＬＰＦなどを用いる。最終的に、ＧＯＰ内の信号は、図９に示すように3次元サブバンド分解された信号列として与えられる。

最低周波数帯域の３次元サブバンド分解された信号列は必要に応じて量子化部１３で量子化され、埋込型エントロピー符号化部１４において、埋込型エントロピー符号化され、圧縮データを生成する。埋込型エントロピー符号化部１４とは、復号器側において圧縮データの一部分を取り出すだけで自由に復号画像の空間解像度やＳＮＲを設定できる機能を実現するエントロピー符号化法である。なお、埋込型エントロピー符号化を用いることによって、圧縮データ量の制御が量子化を行わなくても可能であるために、量子化部１３を省略してもよい。

フレーム内符号化部５０では、等帯域分割部１０で分割された最低周波数帯域以外の帯域の信号列が必要に応じて量子化部１７で量子化され、埋込型エントロピー符号化部１８で埋込型エントロピー符号化される。

レート制御部７０では、所望のビットレートに対して、再生画質のＰＳＮＲが高くなるようにフレーム間符号化部３０とフレーム内符号化部５０のビット割り当てが決定される。ビット割り当ては、フレーム内及びフレーム間符号化の埋込型エントロピー符号化に対して行われる。また、提案法においては、スケーラビリティの単位として、
・Ｌ：ＳＮＲを基準としたレイヤ
・Ｒｓ：空間解像度レベル
・Ｒｔ：時間解像度レベル
・Ｃ：色
の４つを定義する。これらをどのような優先順で並べるかによって何種類のスケーラビリティを実現できる。ここでは空間解像度に関して優先的にスケーラビリティを持たせるため、図１０に示すＲｓＲｔＬＣ構造とする。ＧＯＰ＝１６（図９）のとき、時間解像度レベルは図１１に示すように定義される。デコーダ側では、例えば、フレームレートを１／８に落としたい場合、Ｒ_ｔ０、Ｒ_ｔ１のみを抽出すればよい。これらは時間方向のＬＬＬＬとＬＬＬＨ成分に対応し、ＭＣＴＦの逆変換により低周波信号が復号される。また、空間解像度レベルは、分割レベルがＤ＝２のとき、図１２のように定義される。

［第２の実施の形態］
図１３は、本発明の第２の実施の形態における復号器の基本構成図であり、任意の有理数倍の空間解像度で復号可能な動画像スケーラブル復号器を示している。

同図に示す復号器２００は、ビットストリーム抽出部２０、フレーム間復号部４０、フレーム内復号部６０、Ｎ帯域合成部２８、デシメーション処理部２９から構成される。

フレーム間復号部４０は、埋込型エントロピー復号化部２１、逆量子化部２２、逆ウェーブレット変換部２３、ＭＴＣＦ合成部２４、動きベクトル復号部２５を有する。

フレーム内復号部６０は、埋込型エントロピー復号部２６と逆量子化部２７を有する。

ビットストリーム抽出部２０においては、入力された圧縮データからＮ／２^Ｄ倍の空間解像度を復号するのに必要なデータのみを取り出し、最低周波数帯域のデータは、フレーム間復号部４０の埋込型エントロピー復号部２１に引き渡す。また、最低周波数帯域以外のデータは、フレーム間復号部４０の埋込型エントロピー復号部２６に引き渡す。埋込型エントロピー復号部２６とは、埋込型のエントロピー符号器１４により圧縮されたデータを復号するもので、圧縮データの一部分を取り出すだけで自由に復号画像の空間解像度やＳＮＲを設定できるエントロピー復号化法である。

フレーム間復号部４０の埋込型エントロピー復号部２１で復号されたデータは、逆量子化部２２と逆ウェーブレット変換部２３を経て、ＭＣＴＦの合成部２４において最低周波数帯域の信号を復号する。また、フレーム内復号部６０の埋込型エントロピー復号化部２６で復号されたデータは、逆量子化部２７を経て、最低周波数帯域以外の帯域の信号を復号する。

これらのフレーム間復号部４０ならびにフレーム内復号部６０で復号された信号は、Ｎ帯域合成部２８で合成される。図１４には、分割数が２レベルの場合の帯域分割部１０と帯域合成部２８の関係を図示している。この場合、２^Ｄ＝４，Ｎ＝３であり、Ｎ帯域合成部２８においては低周波側の３つの帯域を合成する。このとき、Ｎ帯域合成部２８の出力画像の解像度は原画像と同じサイズになるが、Ｎ帯域合成部２８から出力される信号は、高周波数帯域の信号が破棄されたものになる。Ｎ帯域合成部２８の出力画像の解像度は、原画像と同じサイズになるものの、伝送すべきデータは低周波側の３帯域分でよく、符号化効率の観点から望ましいといえる。なお、Ｎ帯域合成部２８では、必ずしも原画像と同じ解像度まで復号する必要はなく、以下の条件を満たすＵステージ分だけ復号すればよい。

Ｎ＜２^Ｕを満たす最小の整数値Ｕ
例えば、
Ｎ＝１のとき、Ｕ＝１
Ｎ＝２，３のとき、Ｕ＝２
Ｎ＝４〜７のとき、Ｕ＝３
Ｎ帯域合成部２８のステージ数は、符号化器の分割数（すなわち２^Ｄ）には依存せず、Ｎによってのみ決まることがわかる。

最後に、Ｎ帯域合成部２８の出力画像は、デシメーション処理部２９において処理され、Ｎ／２^Ｄ倍の解像度画像が得られる。デシメーション処理部２９では、これまでに提案されている既存の方法を用いることができる。

［第３の実施の形態］
本実施の形態では、フィルタバンクを用いた例を説明する。符号器の基本構成は、前述の第１の実施の形態と同様に図４に示す方法となる。第１の実施の形態と比較すると、等帯域分割部１０に用いるフィルタが異なる。ここでは、図１５（ａ）に示すＭ分割フィルタバンクを用いる。引き続く処理は、第１の実施の形態と同様である。

［第４の実施の形態］
本実施の形態では、フィルタバンクを用いた復号器について説明する。図１６に、フィルタバンクを用いた復号器の基本構成を示す。同図に示す構成と第２の実施の形態の図１３に示す構成と比較すると、デシメーション処理を必要としない点と、Ｎ帯域合成部３８で用いるフィルタに違いがある。フィルタバンクを用いて、原画像に対してＮ／Ｍ倍の解像度の画像を得るためには、合成フィルタバンクを図１５（ｂ）に示す構成になる。すなわち、Ｎ／Ｍ倍の解像度変換は、Ｍ分割分析フィルタバンクとＮ分割合成フィルタバンクを用いることによって実現できる。Ｎ倍にアップサンプリングされた信号は、それぞれ２π／Ｎの帯域幅を持つ各合成フィルタを通り、加算され、出力を得る。このとき、原画像のＮ／Ｍ倍の解像度の空間解像度を持つ画像となる。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、動画像をネットワーク上で伝送する、例えば、ディジタルシネマのようなコンテンツ流通システムに適用可能である。

本発明の原理説明図である。本発明の原理構成図である。本発明の有理数倍の変換が可能な解像度スケーラビリティである。本発明の第１の実施の形態における符号化器の基本構成図である。本発明の第１の実施の形態におけるウェーブレットフィルタを用いた等帯域分割を示す図である。本発明の第１の実施の形態におけるMallat分割と等帯域分割を示す図である。本発明の第１の実施の形態における時間方向フィルタリングの画素対応関係を示す図である。本発明の第１の実施の形態における時間方向フィルタイリングMCTFを示す図である。本発明の第１の実施の形態における３次元サブバンド分解を示す図である。本発明の第１の実施の形態におけるRsRtLC構造を示す図である。本発明の第１の実施の形態における時間解像度レベルを示す図である。本発明の第１の実施の形態における空間解像度レベルを示す図である。本発明の第２の実施の形態における復号器の基本構成図である。本発明の第２の実施の形態における等帯域分割部とＮ帯域合成部の関係を示す図である。本発明の第３の実施の形態におけるフィルタバンクを用いたＮ／Ｍ倍解像度変換を示す図である。本発明の第４の実施の形態におけるフィルタバンクモデル復号化基本構成図である。ＪＰＥＧ２０００の解像度スケーラビリティである。

符号の説明

１０等帯域分割手段、等帯域分割部
１１時間方向ウェーブレット変換手段、時間方向のウェーブレット変換部（ＭＣＴＦ）
１２空間内ウェーブレット変換部
１３量子化部
１４埋込型エントロピー符号化部
１５動き推定部
１６動きベクトル符号化部
１７量子化部
１８埋込型エントロピー符号化部
１９インタリーブ
２０ビットストリーム抽出部
２１埋込型エントロピー復号化部
２２逆量子化部
２３逆ウェーブレット変換部
２４ＭＣＴＦ合成部
２５動きベクトル復号化部
２６埋込エントロピー復号化部
２７逆量子化部
２８帯域合成手段、Ｎ帯域合成部
２９デシメーション処理手段、デシメーション処理部
３０フレーム間符号化部
３１埋込型エントロピー復号化部
３２逆量子化部
３３逆ウェーブレット変換部
３４ＭＣＴＦ合成部
３５動きベクトル復号化部
３６埋込型エントロピー復号化部
３７逆量子化部
３８Ｎ帯域合成部
３９ビットストリーム抽出部
４０フレーム間復号部
５０フレーム内符号化部
６０フレーム内復号部
７０レート制御部
８０フレーム間復号部
９０フレーム内復号部
９５レート制御
１００符号化器、符号化装置
２００復号化器、復号化装置
２１０復号化手段

Claims

入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置における動画像符号化・復号化方法において、
前記符号化装置において、
入力された原画像を、ウェーブレットフィルタにより該原画像の全周波数帯域に渡って等帯域幅を持つ２^Ｄ個（Ｄは分割回数）の帯域に等分割し、該等分割された画像を最低周波数帯域のみで時間方向のウェーブレット変換を行った各フレーム信号に対して空間ウェーブレット変換を行い、
前記復号化装置において、
前記符号化装置から取得した圧縮データの中からＮ／Ｍ（Ｎ，Ｍは正の整数）倍解像度変換に必要なビットストリームのみを取り出すことによって該圧縮データを任意の有理数倍の空間解像度で復号することを特徴とするスケーラブル動画像符号化・復号化方法。
前記復号化装置において、
前記符号化されたデータの復号時においてＮ／２^Ｄ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して低域から２^Ｕ帯域（Ｕは、Ｎ／２^Ｕを満たす最小の整数）を合成し、
各種解像度変換方法を用いてＮ／２^Ｕ倍の解像度変換を行い、Ｎ／２^Ｄ倍の解像度画像を生成する請求項1記載のスケーラブル動画像符号化・復号化方法。
入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置における動画像符号化・復号化方法において、
前記符号化装置において、
入力された原画像を、フィルタバンクにより該原画像の全周波数帯域に渡って等帯域幅を持つＭ個の帯域に等分割し、等分割された画像を最低周波数帯域間のみで時間方向のウェーブレット変換を行った各フレーム信号に対して空間ウェーブレット変換を行い、
前記復号化装置において、
前記符号化装置から取得した圧縮データの中からＮ／Ｍ（Ｎ，Ｍは正の整数）倍解像度変換に必要なビットストリームのみを取り出すことによって該圧縮データを任意の有理数倍の空間解像度で復号することを特徴とするスケーラブル動画像符号化・復号化方法。
前記復号化装置において、
前記符号化されたデータの復号時においてＮ／Ｍ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して符号化時とは異なる分割数を持つＮ帯域等分割フィルタバンクにより復号する請求項３記載のスケーラブル動画像符号化・復号化方法。
入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置からなる符号化・復号化システムであって、
前記符号化装置は、
入力された原画像を、ウェーブレットフィルタにより該原画像の全周波数帯域に渡って等帯域幅を持つ２^Ｄ個（Ｄは分割回数）の帯域に等分割する等帯域分割手段と、
等分割された画像を最低周波数帯域のみで時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段と、
前記時間方向ウェーブレット変換を行った各フレーム信号に対して空間ウェーブレット変換を行う空間ウェーブレット変換手段と、
を有し、
前記復号化装置は、
前記符号化装置から取得した圧縮データの中からＮ／Ｍ（Ｎ，Ｍは正の整数）倍解像度変換に必要なビットストリームのみを取り出すことによって該圧縮データを任意の有理数倍の空間解像度で復号する復号化手段を有することを特徴とするスケーラブル動画像符号化・復号化システム。
前記復号化装置の前記復号化手段は、
前記符号化されたデータの復号時においてＮ／２^Ｄ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して低域から２^Ｕ帯域（Ｕは、Ｎ＜２^Ｕを満たす最小の整数）を合成する帯域合成手段と、
各種解像度変換方法を用いてＮ／２^Ｕ倍の解像度変換を行い、Ｎ／２^Ｄ倍の解像度画像を生成するデシメーション処理手段と、を含む請求項５記載のスケーラブル動画像符号化・復号化システム。
入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置からなる符号化・復号化システムであって、
前記符号化装置は、
入力された原画像を、フィルタバンクにより該原画像の全周波数帯域に渡って等帯域幅を持つＭ個の帯域に等分割する帯域等分割手段と、
等分割された画像を最低周波数帯域間のみで時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段と、
前記時間方向ウェーブレット変換を行った各フレーム信号に対して空間ウェーブレット変換を行う空間ウェーブレット変換手段と、
を有し、
前記復号化装置は、
前記符号化装置から取得した圧縮データの中からＮ／Ｍ（Ｎ、Ｍは正の整数）倍解像度変換に必要なビットストリームのみを取り出すことによって該圧縮データを任意の有理数倍の空間解像度で復号する復号化手段を有することを特徴とするスケーラブル動画像符号化・復号化システム。
前記復号化装置の前記復号化手段は、
前記符号化されたデータの復号時においてＮ／Ｍ倍の解像度画像の帯域合成する際に、
Ｎ＋１帯域以上の信号を破棄して符号化時とは異なる分割数を持つＮ帯域等分割フィルタバンクにより復号する帯域合成手段を含む請求項７記載のスケーラブル動画像符号化・復号化システム。