WO2004064405A1

WO2004064405A1 - 符号化方法及び復号化方法及び符号化装置及び復号化装置

Info

Publication number: WO2004064405A1
Application number: PCT/JP2004/000154
Authority: WO
Inventors: Takayuki Nakachi; Tomoko Sawabe; Tetsurou Fujii
Original assignee: Nippon Telegraph And Telephone Corporation
Priority date: 2003-01-14
Filing date: 2004-01-13
Publication date: 2004-07-29
Also published as: US9264736B2; EP1585338A1; EP1585338A4; EP1585338B1; CN100394800C; JPWO2004064405A1; EP1585338B8; CN1698386A; JP2006304329A; US20050244068A1; JP4124792B2

Abstract

符号化装置が、原画像をＭ個（Ｍは整数であり、かつ、Ｍ＞２）の等帯域に分割し、分割した信号を、埋め込み型のエントロピー符号化方法を用いて符号化する。復号化装置は、前記符号化装置により符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側からＮ個分の信号を取り出してエントロピー復号化方法により復号化し、復号化されたＮ個分の信号を合成し、原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度の復号画像を得る。

Description

明細書符号化方法及ぴ復号化方法及び符号化装置及び複号化装置技術分野

本発明は、符号化方法及び複号化方法及び符号化装置及び復号化装置に係り、特に、画像を効率よく伝送、蓄積するための符号化方法及び複号化方法及び符号化装置及び復号化装置に関する。背景技術

従来、画像符号化の国際標準規格として、

( 1 ) 動画像を対象とした M P E G (Moving Picture Expert s Group) (例えば、 "映像メディア学会編「MP EG」、オーム社、 1 9 9 6年 4月" 参照）；

( 2) 静止画像を対象とした J P E G 2 0 0 0 (例えば、

"IS0/IEC 15444-1 JPEG2000 Parti: Core coding system, 200 0-12-15" 参照）；はよく知られている。

MP EGは、動き捕償と D CT (離散コサイン変換）を用いた手法で、フレーム間相関とフレーム相関を効率よく除去することにより高い符号化効率を実現している。一方、 J P EG 2 0 0 0 はウェーブレツト変換と E B COTと呼ばれる埋め込み型のェント口ピー符号化を用いた手法であり、フレーム間相関を利用してないため MP E Gと比較すると符号化効率は劣るものの、 MP E Gにはない空間 ' S NR (Signal- to - Noise Ratio)スケーラビリティなど様々な有効な機能を持つ。動画像への適用も可能とした Motion J P E G 2 0 0 0も提案されており、 J P EG 2 0 0 0と同様な機能を持つ。

J P EG 2 0 0 0で用いられるスケーラビリティは、埋め込み型と呼ばれ、符号器は一度符号化するのみで個々の解像度に応じて圧縮データを作りなおす必要がない。単一の圧縮ファイルから, 様々な解像度 ' S NRの復号画像が得られ、ファイル容量の削減, 計算量の軽減にもつながる。図 1は、 J P E G 2 0 0 0の解像度スケーラピリティ機能を示す。原画像の解像度が K X Lの場合、復号器では、 K> 2 ⁿ X L/ 2 ⁿの解像度の画像が復元可能となる _c 上記の J P E G 2 0 0 0では、原画像よりも小さい解像度の画像が復元可能であるが、その解像度は原画像の 1 2 ⁿ (nは正の整数）に限定される。しかしながら、通常、復号側で必要とされる画像の解像度は、原画像の解像度の 1 2 ⁿ倍のみにとどまらないという問題がある。発明の開示

本発明は、上記の点に鑑みなされたもので、より一般的な解像度で復号画像を得ることを可能とする埋め込み型の符号化及ぴ復号化の技術を提供することを目的とする。

上記の目的は、原画像の符号化を行う符号化方法であって、入力された原画像を M個（Mは整数であり、かつ、 M> 2) の等帯域に分割する分割ステップと、原画像を等帯域に分割して得られた信号を、埋め込み型のェント口ピー符号化方法を用いて符号化する符号化ステップとを有する符号化方法により解決される。

本発明によれば、原画像を等帯域に分割し、埋め込み型のェントロピー符号化方法を用いて符号化するので、復号側で原画像の解像度の 1 / 2 ⁿ倍に限られない解像度の画像を得ることができる。

なお、前記符号化ステップにおいて得られる符号化データは、分割された複数の帯域において低周波数帯域側から順に定義された解像度レベルの情報を含む。

また、前記符号化データは、画像の縦方向と横方向のそれぞれについて、解像度レベルの情報を含むようにしてもよい。また、上記の課題は、原画像の符号化を行う符号化方法であつて、入力された原画像を直交変換により複数の係数に変換する変換ステップと、前記複数の係数を、埋込み型のエントロピー符号化方法を用いて符号化する符号化ステップとを有する符号化方法によっても解決.される。

前記符号化ステップにおいて得られる符号化データは、前記複数の係数に対応する周波数成分において低周波数成分側から順に定義された解像度レベルの情報を含む。

また、上記の課題は、原画像に対して N /M倍（M、 Nは整数であり、かつ、 1≤N≤M、かつ、 M > 2 ) の解像度で符号化デ一タを復号するための複号化方法であって、原画像を M個の等帯域に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側から N個分の信号を取り出してェント口ピー復号化方法により複号化する複号化ステップと、復号化された N個分の信号を合成する帯域合成ステップとを有する複号化方法によっても解決される。

上記の方法において、原画像の解像度と所定の解像度を取得し. 当該所定の解像度に適した前記 Nの値を、原画像の解像度と前記分割数 Mを用いて算出する算出ステップを更に有してもよい。

また、上記の課題は、原画像に対して N /M倍（M、 Nは整数であり、かつ、 1≤N≤M、かつ、 M > 2 ) の解像度で符号化デ一タを復号するための復号化方法であって、原画像を M個の周波数成分の係数に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数成分側から N個分の信号を取り出してェント口ピー復号化方法により復号化する復号化ステップと、復号化された N個分の信号を合成する合成ステップとを有する複号化方法によっても解決される。

また、本発明によれば、上記の方法における各ステップを実行する手段を備えた装置が提供される。更に、上記の方法における各ステップをコンピュータに実行きせるプログラムと、そのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。

上記のように、本発明によれば、原画像の解像度の 1 Z 2 ⁿ倍以外の大きさの解像度を持つ復号画像を得ることができる。図面の簡単な説明

図 1は、 J P E G 2 0 0 0解像度スケーラビリティを示す図である。

図 2は、本発明の一実施の形態における有理数倍の変換が可能な解像度スケーラビリティ機能を示す図である。

図 3は、本発明の第 1の実施の形態におけるスケーラブル符号器の基本構成図である。

図 4は、第 1の実施の形態におけるスケーラブル符号器の動作を説明するためのフローチャートである。

図 5は、本発明の第 2の実施の形態におけるスケーラブル復号器の基本構成図である。

図 6は、第 2の実施の形態におけるスケーラブル復号器の動作を説明するためのフローチヤ一トである。

図 7は、本発明の第 3の実施の形態におけるフィルタバンクと E B C O Tを用いた符号器の構成図である。

図 8は、 M a 1 1 a t分割を説明するための図である。

図 9は、本発明の第 3の実施の形態におけるフィルタバンクを用いた N /M倍解像度変換を説明するための図である。

図 1 0は、本発明の第 3の実施の形態における M a 1 1 a t分割と等帯域分割を説明するための図である。

図 1 1は、本発明の第 3の実施の形態の J P E G 2 0 0 0における空間解像度レベルを示す図である。

図 1 2は、 R P C Lデータ構造を示す図である。図 1 3は、本発明の第 3の実施の形態における空間解像度レべルを示す図である。

図 1 4は、本発明の第 3の実施の形態における空間解像度スケーラピリティを実現する R P C Lデータ構造を示す図である。図 1 5は、解像度レベルを不等間隔に設定した例を示す図である。

図 1 6は、画像の縦方向の変換比率と横方向の変換比率が異なる場合の例を示す図である。

図 1 7は、本発明の第 4の実施の形態におけるフィルタバンクと E B C O Tを用いた復号器の構成図である。

図 1 8は、本発明の第 4の実施の形態における解像度レベルと解像度の関係を示す図である。

図 1 9は、解像度変換を行わない場合の一般的な等分割フィルタバンクの構成図である。

図 2 0は、自動的に必要な解像度レベルを算出するためのフロ一チヤ一トである。

図 2 1は、縦方向と横方向の変換比率が異なる場合において算出された必要な解像度レベルの例である。

図 2 2は、本発明の第 5の実施の形態における符号器の構成図である。

図 2 3は、第 5の実施の形態における帯域分割方法を説明するための図である。

図 2 4は、第 5の実施の形態における空間解像度レベルの定義方法を示す図である。

図 2 5は、本発明の第 6の実施の形態における復号器の構成図である。

図 2 6は、第 6の実施の形態における復号器の帯域合成部における処理を説明するための図である。

図 2 7は、 J P E G 2 0 0 0で符号化した場合に復号可能な解像度について説明するための図である。

図 2 8は、本発明の第 7の実施の形態における H D T V画像を符号化したときの復号可能な解像度レベルを示す図である。

図 2 9は、シミュレーションで使用した原画像である。

図 3 0は、シミュレーションでの復号画像である。

図 3 1は、シミュレーションにおける復号画像のコードサイズと P S N R特性を示す表である。発明を実施するための最良の形態

以下、図面と共に本発明の実施の形態について説明する。

最初に、本発明における解像度スケーラピリティ機能について説明する。

図 2は、本発明の一実施の形態における解像度スケーラビリティ機能を示す。同図に示す符号化システムでは、解像度が K X L の画像を符号化部が符号化し、単一の圧縮データを生成する。復号化部では、この圧縮データの一部のビットストリームを取り出すことで、同図に示すような解像度が原画像の有理数倍すなわち N /M倍（M、 Nは整数であり、かつ、 1≤N≤M、かつ、 M > 2 ) の画像を得ることができる。

なお、原画像の有理数倍の画像を得るための符号化コードの一部の抽出の場所について、本例では、復号化部側で行っているが別の例として、符号化部側で行ってもよい。この別の例の枠組みは J P E G 2 0 0 0と同じである。また、更なる別例として、符号化部と復号化部との間に伝送手段で接続された中継装置において、当該符号化コードの一部の抽出を行ってもよい。

[第 1の実施の形態]

図 3は、本発明の第 1の実施の形態における、任意の有理数倍の空間解像度で復号可能とする圧縮データを生成するスケーラブル符号器の基本構成を示す。同図に示すスケーラブル符号器は、等帯域分割部 1 0、量子化部 1 1、埋め込み型のェント口ピー符号化部 1 2から構成される ₍ 図 4のフローチヤ一トを参照して、このスケーラブル符号器の動作について説明する。

入力された原画像は、等帯域分割部 1 0において、 M個の等帯域に分割される（ステップ 1 ) 。分割には、フィルタバンク（P. Vaidyanathan, 「マルチレート信号処理とフィルタバンク」，科学技術出版， 2 0 0 1年 1 1月）や直交変換（小野文孝，渡辺裕. 「国際標準画像符号化の基礎技術」，コロナ社， 1 9 9 8年 3月 ) などを用いる。なお、フィルタバンクと直交変換については、例えば、 "阿久津幸恵、小林弘幸、貴家仁志、「直交変換、フィルタバンクおょぴウェーブレツト変換を用いた解像度変換の一評価法」、信学技報 D S P 9 3 _ 2 6 " にも記載されている。

分割された信号は量子化部 1 1によって量子化され（ステップ 2 ) 、埋め込み型のエントロピー符号化部 1 2において、 E B C O T ( IS0/IEC 15444-1 JPEG2000 Part I： Core coding system, 2000 - 12 - 15 ) や E Z B C ( S. T. Hsiang and J. W. Woods,

"Embedded vi deo coding using invertibl e motion compensated 3-D subband/wavelet fi lter bank, " Signal Processing： Image Communication, vol. 16, May 2001, pp. 705-724) などの埋め込み型のェント口ピー符号方法によって圧縮データを生成する '（ステツプ 3 ) 。

埋め込み型ェント口ピー符号化部 1 2は、復号器側においてスケーラブル復号を可能とする符号化データを生成するェントロピ一符号器である。

なお、等帯域分割部 1 0 として、フィルタバンクを用いる場合の符号器の詳細を第 3の実施の形態で説明し、等帯域分割部 1 0 として、直交変換器を用いる場合の符号器の詳細を第 5の実施の形態で説明する。 [第 2の実施の形態]

図 5は、本発明の第 2の実施の形態におけるスケーラブル復号器の基本構成を示す。第 2の実施の形態におけるスケーラブル復号器は、第 1の実施の形態の符号器で生成した圧縮データを、任意の有理数倍の空間解像度で復号する復号器である。

同図に示すスケーラブル復号器は、埋め込み型ェント口ピー復号化部 2 0、逆量子化部 2 1、帯域合成部 2 2から構成される。図 6のフローチヤ一トを参照して、このスケーラブル復号器の動作について説明する。

埋め込み型エントロピー複号化部 2 0においては、入力された圧縮データのうち低周波数帯域側から N /M分の帯域のデータを抽出し（ステップ 4 ) 、エントロピー復号化を行う（ステップ 5 ) 。

逆量子化部 2 1において、埋め込み型ェント口ピー複号化部で復号化された信号を逆量子化する（ステップ 6 ) 。帯域合成部 2 2においては、逆量子化部 2 1で逆量子化された信号を合成し画像を出力する（ステップ 7 ) 。

帯域合成部 2 2としては、符号器側の画像分割方法に応じて、フィルタバンクもしくは逆 D C T変換（ I D C T ) などの直交変換器を用いることができる。フィルタパンクを用いる場合の復号器の詳細を第 4の実施の形態で説明し、直交変換器を用いる場合の復号器の詳細を第 6の実施の形態で説明する。

[第 3の実施の形態]

本実施の形態では、等帯域分割部としてフィルタバンクを用い埋め込み型のェント口ピー符号化方法として E B C O Tを用いた場合の符号器について説明する。

図 7は、本発明の第 3の実施の形態における符号器の構成を示す。

同図に示す符号器は、等分割分析フィルタパンクを用いた等帯域分割部 3 0、量子化部 3 1、埋め込み型のェント口ピー符号化部 3 2〜 34から構成される。

J P EG 20 00においては、帯域分割としてウェーブレツト変換を用いている。ウェーブレット変換は、図 8に示す「Ma 1 1 a t分割」と呼ばれる分割法により帯域分割を行う。 Ma 1 1 a t分割では、 1次元の 2分割フィルタを用いて低域方向に次々に分割することによって、入力信号を複数の帯域に分割することができる。図 8の上図（40) に示すように D回分割することによって、原画像に対して 1 / 2 ^Dの大きさの空間解像度を持つ画像まで分割可能となる。この処理を、水平方向及び垂直方向にそれぞれ施す。復号側では図 8の下図（4 1 ) に示すように低域側から順次復号する。 U回復号することによって、原画像に対して 2^U/ 2 ^D= 1 / 2 ⁿ倍の大きさの空間解像度を持つ画像が復元でさる。

一方、本発明においては、帯域分割として図 9の左部分（5 0 ) に示す等分割分析フィルタバンクを用いる。等分割分析フィルタバンクにおいては、帯域幅が等しい M個のフィルタを用いて、原画像を M個の等帯域に分割する。それぞれのフィルタの出力を 1/Mに間引く（ダウンサンプリング）ことによって最終的な出力を得る。なお、比較のため図 1 0には、 J P EG 20 00による Ma 1 1 a t分割（6 0) と、本発明による等帯域分割（6 1 ) を示している。

図 7の量子化部 3 1においては、等帯域分割部 3 0の出力信号を量子化する。なお、エントロピー符号化部（E B COT符号化処理部） 3 2〜 34を用いることによって、圧縮データ量の制御が量子化を行わなくても可能であるために、量子化は省略可能である。

E B C OTは、埋め込み型のェント口ピー符号化方法の一種である。 E B COTによるェントロピー符号化部 3 2 ~ 34では、まず、係数ビットモデリング部 3 2において、画像を、 • コードブロック分割

• ビットプレーン分割

•各ビットプレーンのサブプレーン（3つのパス）への分解と次々に分割し、算術符号化部 3 3において、パスを最小単位として算術符号化する。算術符号化されたデータは、パスを最小単位としてビットを切捨てる（ポスト量子化）ことができる。符号量の制御は、このポスト処理だけで可能となる。そして、符号化コードバケツト化部 34において、算術符号化により符号化された圧縮データがパケット化され、符号ストリームとして送信される。

空間解像度や S NRスケーラビリティなどの階層符号化は、上記のパス単位にある程度優先度を付け、復号時の時間的優先度を制御することにより実現できる。優先度としては、

· L ：レイヤ（S NRレべノレ）

• R ：空間解像度レベル

• P ：位置

• C ：色成分

の 4つがある。

レイヤは、 S N Rに基づく基準であり、 J P EG 200 0では符号化されたデータを上位レイヤから下位レイヤに分割することができる。上位レイヤから下位レイャへ向かって順次復号することによって、画質の品質を段階的に改善する。空間解像度レベルは、空間解像度のスケーラビリティを実現する。図 1 0のように 2レベルにゥヱーブレット変換が施された場合、空間解像度レべル（ 70) は、図 1 1に示すように、 R。， Rい R₂の 3つのレベルに分解される。この解像度レベルを復号時の優先順位の一つとして使用する。最低周波数帯域から順次解像度を上げる制御が可能となる。また、 RGB信号をそれぞれ符号化した場合、 R， G， Bをそれぞれどのような順番で復号するかに選択の余地がある。さらに、画像の空間的位置（特定領域の画像）の復号を優先することができる。上記の 4つの優先度をどのように並べるかによって、復号時の順序を制御でき、再生画像の品質を制御することができる。 J P EG 2 0 0 0では、 4つのパターンが用意されている。

1 ) L R C P

2 ) R L C P

3 ) P C R L

4 ) C P R L

段階的復号を可能とする空間解像度スケーラビリティは、 2) R L C Pのパターンによって可能となる。そのデータ構造を図 1 2に示す。図 1 2に示すように空間解像度スケーラビリティを実現する R P C Lデータ構造は、解像度（8 0) 、位置（8 1 ) 、色（8 2) 、レイヤ（8 3) からなる。 R。のデータを復号することによって原画像の 1 Z4の大きさ、のデータまで復号することによって原画像の 1 / 2の大きさ、 R₂のデータまで復号することで原画像と同じ解像度の画像が得られる。

本発明では、原画像に対して NZM倍の解像度で復号を可能とするため、解像度レベル（9 0) を図 1 3のように設定する。このとき、データ構造は、図 1 4のように、解像度（ 1 0 1 ) 、位置（ 1 0 2) 、色（ 1 0 3) 、レイヤ（ 1 04) を設定する。復号器において、 R₀， R _x, R₂， R ₃まで順次復号することで原画像の 1 4、 2/4 , 3 4及び原画像と同サイズ画像を、順次復号することが可能となる。従って、 J P EG 2 0 00では不可能な、原画像のサイズに対して 3 4のサイズの画像が得られる。

なお、解像度レベルは図 1 5に示すように不等間隔に設定してもよい。この場合、復号側において原画像の 1 Z4、 3 4および原画像と同サイズ画像を順次復号することが可能となる。

また、画像の縦方向の変換比率と横方向の変換比率を変えることも可能である。その際には、符号器の帯域分割部にて縦方向と横方向の分割数を個別に設定し、それに対応して解像度レベルを決定する。

例として、縦方向の分割数を 3、横方向の分割数を 4の場合を図 1 6に示す。まず、等帯域分割部 3 0によって、画像を縦およぴ横方向にそれぞれ 3分割および 4分割する。その後、分割された各帯域に対して、図 1 6に示すように解像度レベルを設定する _c この場合、復号側では、例えば R。。のみを抽出すると縦 1 / 3倍. 横 1 /4倍の画像を復号できる。また、 R。₀、 R _{0 1}、 R。₂、 R _{1 0}、 R 、 R _{1 2}を抽出することで、縦方向に 2Z 3倍、横方向に 3 / 4倍といった変換比率が異なった画像を復号することが可能となる。

上述したように、解像度レベルは、図 1 3に示すように等間隔の場合や、図 1 5に示すように不等間隔の場合、あるいは図 1 6 に示すように縦方向と横方向で異なる場合など種々のパターンが存在する。いずれの場合にも、復号器で復号可能とするために、図 1 4等に示した R L C Pのデータ構造におけるヘッダに解像度レベルに関する情報が記述される。

解像度レベルに関してへッダに記述される情報項目を以下に示す。

( 1 ) X Y ： 1 o r 0

K 2 ) Decomposition Level：

、3 ) Number of Resolution Levels： L _R

( 4 ) Number of subbands included in Resolution Level i:

Number_R(i) ( i = 0 , 1 , - - · , L_R- 1 )

( 1 ) の情報項目は、縦方向（X) と横方向（Y) の解像度レベルが同じか異なるかを判断するためのフラッグである。異なる場合は 1、同じ場合は 0となる。（ 2) の情報項目は、帯域分割レベルの数である。（3) の情報項目は、解像度レベルの数である。（4) の情報項目は、 M≠ L_Rの場合のみに追加されるものであり、解像度レベル R ( i ) に含まれる帯域数を示す。

縦方向と横方向の解像度レベルが異なる場合は、縦方向と横方向のそれぞれに対して、縦方向→横方向の順序で、上記（2) 、 (3) 、（4) の情報を記述する。 - 例として、解像度レベルがそれぞれ図 1 3、図 1 5、図 1 6 (右側）のように与えられたとき、上記ヘッダ情報は以下となる [図 1 3の場合]

( 1 ) X Y = 0

( 2 ) M = 4

(3) L_R = 4

[図 1 5の場合]

( 1 ) X Y = 0

( 2 ) M = 4

(3) L_R = 3

( 4 ) Number_R(0) = 1 Number_R(l) = 2 , Number_R(2) =

[図 1 6の場合]

( 1 ) X Y 1

(2) Μ = 3

(3) L_R = 3

(4) Μ = 4

(5) L_R = 4

[第 4の実施の形態]

本実施の形態では、帯域合成部としてフィルタパンクを、また. 埋め込み型ェント口ピー符号化として E B C OTを用いた復号器を説明する。

図 1 7は、本発明の第 4の実施の形態における復号器の構成を示す。この復号器は、前述の第 3の実施の形態において符号化した圧縮データを復号化し、復号画像を出力する。

同図に示す復号器は、埋め込み型ェント口ピー符号化 E B CO Tの復号部（E B COT復号処理部） 1 1 0〜： L 1 2、逆量子化部 1 1 3、等分割合成フィルタパンクによる帯域合成部 1 1 4力ら構成されている。

復号部は、符号化コード抽出部 1 1 0、算術復号部 1 1 1、係数ビットモデリング復号部 1 1 2を有している。

符号化コード抽出部 1 1 0においては、符号化において優先付けされたデータを復号に必要な量だけ取り出す。図 1 8には、復号画像の解像度と解像度レベルとの関係（ 1 20) を示す。原画像の 1 / 4サイズの画像を得るには R。のみ、 2/4のサイズの画像を得るには R。，の解像度レベルを、 3/4のサイズの画像を得るには、 R。， R _{1 (} R₂の解像度レベルを、原画像と同サィズの画像を得るには R。， R !, R ₂, R₃のすベての解像度レベルを抽出する。抽出された圧縮データは、算術復号化部 1 1 1 で算術復号され、係数ビットモデリング復号部 1 1 2で係数ビットモデリング復号され、逆量子化部 1 1 3で逆量子化された後、帯域合成部 1 1 4へ入力される。

通常、解像度変換を行わない場合には、帯域合成部 1 1 4では. 図 1 9に示すように、帯域分割部と等しい数のフィルタパンクによって画像が復元される。 M倍にアップサンプルされた信号は、それぞれ 2 π/Μの帯域幅を持つ各合成フィルタを通り、加算され出力を得る。この場合、出力画像の空間解像度は原画像の空間解像度に等しい。

原画像に対して Ν /Μ倍の解像度の画像を得るためには、合成フィルタバンクを図 9の右図（5 1 ) に示す構成にする。即ち、 Ν/Μ倍の解像度変換は、 Ν分割合成フィルタバンクを用いることによって実現できる。 Ν倍にアップサンプリングされた信号は. それぞれ 2 π Ζ Νの帯域幅を持つ各合成フィルタを通り、加算され、出力を得る。このとき、原画像の Ν /Μ倍の解像度の空間解像度を持つ画像となる。

さて、図 1 7の符号化コード抽出部 1 1 0において、圧縮データの必要な部分だけを抽出する際に、どの解像度レベルのデータを抽出するかは、復号器に明示的に指定してもよいし、復号側の表示装置の解像度から復号器が自動的に算出するようにしてもよい。以下、自動的に算出する方法について説明する。

必要な解像度レベルを計算するには、ヘッダにおける（ 1 ) 〜 ( 4 ) の情報、及び原画像の解像度（Κ (縦） X L (横））が必要となるが、原画像の解像度も（ 1 ) 〜（ 4 ) の情報に加えてへッダに記述しておくことにより、ヘッダから上記の全ての情報を取得できる。なお、ヘッダを用いる代わりに、上記の情報の送受信を、符号器、復号器を利用するアプリケーション側で行ってもよい。

ここでは、最も一般的な例として、図 1 3のように縦方向と横方向の分割数が等しく、解像度レベルを等間隔に設定した場合の計算方法を示す。なお、原画像と復号画像のアスペクト比（画像の縦と横の解像度比率）は同じであると仮定する。また、復号側で与えられる表示装置の解像度は X (縦） X Y (横）であるとする。

このとき必要な解像度レベルは、図 2 0のフローチヤ一トに示す手順により計算される。

まず、ステップ 1 1において、 1つの解像度レベルに対応する解像度の大きさを算出する。次に、ステップ 1 2において、復号画像の解像度とステップ 1 1で算出した 1つの解像度レベルに対応する解像度の大きさとを比較し、復号画像の解像度が 1つの解像度レベルに対応する解像度の大きさ以下であれば、必要な解像度レベルを R。として処理を終了する。復号画像の解像度が 1つの解像度レベルに対応する解像度の大きさより大きい場合にはステツプ 1 3に進む。

ステップ 1 3において、必要な最大解像度レベルのィンデックス ma x Rを算出する。なお、 r o u n d () は切捨て演算子である。そして、ステップ 1 4において、必要な解像度レベル =R ο» Ri. · · ·， R_{ma xR}を決定し、処理を終了する。

なお、図 1 6に示すように縦方向と横方向の変換比率が異なる場合には、ステップ 1 1〜ステップ 1 3の処理を縦方向ならぴに横方向に独立に行う。このとき、縦方向ならびに横方向に関して必要な最大解像度レベルのィンデッタスをそれぞれ m a X RXならびに m a x RYと定義すると、必要な解像度レベルは図 2 1に示す通りとなる。

なお、圧縮データの抽出を復号器でなく、符号器側で行う場合には、符号器側が復号器側の表示装置画面の解像度を取得し、抽出すべき解像度レベルを算出する。

[第 5の実施の形態]

本実施の形態では、画像分割方法として D CTを用いた場合の符号器について説明する。図 22に、本実施の形態の符号器の構成を示す。

同図に示す符号器は、 D C Tによる帯域分割部 1 5 0、量子化部 1 5 1、埋め込み型のェント口ピー符号化部（ 1 5 2〜 1 54 ) を有している。

本実施の形態の帯域分割部 1 5 0における帯域分割方法を図 2 3を参照して説明する。 DC Tによる帯域分割では、原画像を M XMの大きさの小ブロックに分割し、小ブロック単位で D C T変換を行う。量子化部 1 5 1においては、 D CT係数を量子化する, なお、第 3の実施の形態と同様、符号化方法として E B COTを用いることによって、圧縮データ量の制御が量子化を行わなくても可能であるために、量子化は省略可能である。埋め込み型のェントロピー符号化部における処理は、第 3の実施の形態で説明した処理と基本的に同じである。

D CT変換によつて帯域分割を行った場合、空間解像度レベルは、図 24のように定義する。各小ブロック（MXM次の D CT 変換）単位で、それぞれ解像度レベルの設定を行い、低周波の D CT係数から高周波の DCT係数へ向かって、 R。、 R 、 · · ·

R_M- iと設定する。

[第 6の実施の形態]

本実施の形態では、第 5の実施の形態に示す符号器により符号化した圧縮データを復号する復号器について説明する。図 2 5にその構成を示す。

同図に示す復号器は、 E B C O T復号処理部 1 6 0〜 1 6 2、逆量子化部 1 6 3、 I DCT (逆 D CT変換）による帯域合成部 1 64、輝度調整部 1 6 5を有している。

E B C O T復号処理部の中の符号化コード抽出部 1 6 0においては、第 4の実施の形態と同様にして、符号化において優先付けられた圧縮データを復号に必要な量だけ抽出する。抽出された圧縮データは、算術復号、係数ビットモデリング復号され、逆量子化の後、帯域合成部（ I D C T) 1 64へ入力される。

解像度変換を伴わない通常の D C T変換→ I D C T変換では、符号化と復号化の次数は等しく設定する。すなわち、 MXMの D CT変換の逆変換は、 MXMの I D C T変換となる。

一方、本発明では、原画像に対して N/M倍の解像度の画像を得るために、図 2 6に示すように低域側の N XN個の D C T係数に対して、 N XN次の I D C T変換を行う。なお、 NXN個以外の係数は破棄する。この処理を各小プロックごとに行う。最後に輝度調整部 1 6 5で輝度調整を行い、原画像の NZM倍の空間解像度を持つ画像を出力する。

なお、第 1〜第 6の実施の形態で説明した処理は、論理回路からなるハードウヱァを用いて実現することもできるし、プログラムにより実現することもできる。プログラムで実現する場合、各実施の形態で説明した処理内容をプログラム化し、そのプログラムを、 C PU、メモリ、ハードディスク、通信装置等を備えたコンピュータにインストールし、実行すればよい。また、当該プログラムを CD— ROM、メモリ等の記録媒体に記録し、配布することもできる。

[第 7の実施の形態]

本実施の形態では、本発明の適用例について説明する。一例として、 1 9 2 0 X 1 0 8 0画素の HD T V画像を、本発明の方法で符号化したときに復号可能な解像度について説明する。比較のために、 J P E G 2 0 0 0で符号化した場合の例を図 2 7に示す。分割レベル数を 3とすると、復号可能な解像度は縦横それぞれ原画像の l /2 ⁿ (n = l， 2， 3 ) であることから、復号可能な解像度は、

• 2 4 0 X 1 3 5

- 4 8 0 X 2 70 *

• 9 6 0 X 5 40

- 1 9 0 2 X 1 0 8 0

となる。このために、広く流通する S DTV画像を復号できない。一方、 1 9 20 X 1 0 8 0の HDTV画像を、本発明により符号化したときに復号可能な解像度を図 2 8に示す。復号可能な最小の解像度が上記の J P EG 2 0 0 0とほぼ同じ解像度となるように、横方向の分割数を 8 レベル、縦方向の分割数を 9 レベルに設定した。このとき、復号可能な最小の解像度は、 2 4 0 X 1 2 0画素となり、一般的に 24 0 mX 1 2 0 n (但し、 n， mは正の整数、 n = l， 2 , …， 8， m= l， 2， …， 9 ) 画素の画像が復号可能となる。この場合、広く流通する

• 7 2 0 X 3 6 0 (SDTV, 上下に黒入れ） • 9 6 0 X 4 8 0 (SDTV, 左右を力ット）

- 1 44 0 X 7 2 0 ( 7 2 0 p , 7 2 0 i )

• 1 9 2 0 X 1 0 8 0 (HDTV)

の画像が、単一の圧縮ファイルから容易に復号可能となる。

次に、本発明の方法を用いたシミュレーション結果を示す。シミュレーションでは、図 2 9に示す原画像（ S I D B A標準画像）を、本発明の符号化方法で符号化し、本発明の復号化方法により種々の解像度で復号した。図 3 0に復号画像を示す。シミュレーションにおける符号化パラメータは、分析フィルタバンクの帯域分割数： 4 X 4、合成フィルタバンクの帯域分割数： 1 X 1、 2 X 2、 3 X 3、タイノレ数： 1、レイヤ数： 1、コードブロックの大きさ： 6 4 X 6 4である。符号器における圧縮レートは 1 / 5であり、圧縮後のコードサイズは 1 2 7 0 5バイトである。

また、図 3 1に、シミュレーションにおける復号画像のコードサイズと、各解像度に対応する参照画像と比較した P S NR (Pe ak Signal to Noise Ratio) 特性を示す。ここで、参照画像は理想的に画像の解像度変換を行うことにより得られる画像である。なお、かっこ内の値は、 1画素あたりに換算したビット数 b p p (bits per pixel) であり、各解像度画像を復号するのに必要なビット数を各解像度で割った値である。図 3 1に示すように、良好な P S NR特性が得られており、本発明の方法により得られた復号画像は劣化が小さいことがわかる。

上述のように、本発明によれば、効率の良い画像符号化ができ、少ないディスク容量で保存が可能になる。空間解像度スケーラビリティを有するために、画像表示機器の性能や用途に応じた空間解像度で画像を復号することが可能である。低域から任意の帯域まで復号すると原画像よりも低い空間解像度の画像を再生でき、すべてのデータを復号すると、原画像と同じ解像度の画像が再生される。また、画像表示機器の性能や用途に応じて、原画像よりも低い空間解像度の画像を再生する場合は、必要な帯域までに対応する符号化データの復号のみが必要とされる。原画像と同じ解像度の画像を再生して解像度変換を行うよりも処理時間が短く、また、符号化ビットストリームを伝送する場合は必要なデータのみを伝送すればよいため、伝送レートも小さくなる。また、原画像の解像度の 1 Z 2 ⁿ倍以外の大きさの解像度を持つ復号画像を得ることができる。

なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更 ·応用が可能である。

Claims

請求の範囲

1. 原画像の符号化を行う符号化方法であって、

入力された原画像を M個（Mは整数であり、かつ、 M> 2) の等帯域に分割する分割ステップと、

原画像を等帯域に分割して得られた信号を、埋め込み型のェント口ピー符号化方法を用いて符号化する符号化ステップとを有することを特徴とする符号化方法。

2. 前記分割ステップにより得られた信号を量子化する量子化ステツプを更に有し、前記符号化ステップにおいて、当該量子化ステツプにより得られた信号を符号化する請求項 1に記載の符号化方法。

3. 前記分割ステップにおいて、等分割フィルタバンク用い、前記符号化ステップにおいて、静止画像国際標準 J PEG 2 0 0 0 で用いられている E B C OTを用いる請求項 1に記載の符号化方法。

4. 前記符号化ステップにおいて得られる符号化データは、分割された複数の帯域において低周波数帯域側から順に定義された解像度レベルの情報を含む請求項 1に記載の符号化方法。

5. 前記符号化データは、画像の縦方向と横方向のそれぞれについて、解像度レベルの情報を含む請求項 4に記載の符号化方法。

6. 原画像の符号化を行う符号化方法であって、

入力された原画像を直交変換により複数の係数に変換する変換ステップと、前記複数の係数を、埋め込み型のエントロピー符号化方法を用いて符号化する符号化ステップと

を有することを特徴とする符号化方法。

7. 前記符号化ステップにおいて得られる符号化データは、前記複数の係数に対応する周波数成分において低周波数成分側から順に定義された解像度レベルの情報を含む請求項 6に記載の符号化方法。

8. 原画像に対して N/M倍（M、 Nは整数であり、かつ、 1≤ N≤M, かつ、 M> 2) の解像度で符号化データを復号するための複号化方法であって、

原画像を M個の等帯域に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側から N個分の信号を取り出してェント口ピー復号化方法により復号化する複号化ステップと、

複号化された N個分の信号を合成する帯域合成ステップとを有することを特徴とする復号化方法。

9. 前記復号化ステップにより得られた信号を逆量子化する逆量子化ステップを更に有し、前記帯域合成ステップにおいて、当該逆量子化ステップにより得られた信号を合成する請求項 8に記載の複号化方法。

1 0. 前記複号化ステップにおけるエントロピー復号化方法として静止画像国際標準 J P EG 2 00 0で用いられている E B C O Tを用い、前記帯域合成ステップにおいて等分割フィルタバンクを用いる請求項 8に記載の復号化方法。

1 1. 原画像の解像度と所定の解像度を取得し、当該所定の解像度に適した前記 Nの値を、原画像の解像度と前記分割数 Mを用いて算出する算出ステップを更に有する請求項 8に記載の復号化方法。

1 2. 原画像に対して N/M倍（M、 Nは整数であり、かつ、 1 ≤N≤M, かつ、 M> 2) の解像度で符号化データを復号するための復号化方法であって、

原画像を M個の周波数成分の係数に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数成分側から N個分の信号を取り出してェントロピー復号化方法により復号化する複号化ステップと、

復号化された N個分の信号を合成する合成ステップとを有することを特徴とする複号化方法。

1 3. 原画像の符号化を行う符号化装置であって、

入力された原画像を M個（Mは整数であり、かつ、 M> 2) の等帯域に分割する分割手段と、

原画像を等帯域に分割して得られた信号を、埋め込み型のェント口ピー符号化方法を用いて符号化する符号化手段と

を有することを特徴とする符号化装置。

1 4. 前記分割手段により得られた信号を量子化する量子化手段を更に有し、前記符号化手段において、当該量子化手段により得られた信号を符号化する請求項 1 3に記載の符号化装置。

1 5. 前記分割手段において、等分割フィルタバンク用い、前記符号化手段において、静止画像国際標準 J P EG 2000で用いられている EB COTを用いる請求項 1 3に記載の符号化装置。

1 6 . 前記符号化手段において得られる符号化データは、分割された複数の帯域において低周波数帯域側から順に定義された解像度レベルの情報を含む請求項 1 3に記載の符号化装置。

1 7 . 前記符号化データは、画像の縦方向と横方向のそれぞれについて、解像度レベルの情報を含む請求項 1 6に記載の符号化装

1 8 . 原画像の符号化を行う符号化装置であって、

入力された原画像を直交変換により複数の係数に変換する変換手段と、

前記複数の係数を、埋め込み型のェント口ピー符号化方法を用いて符号化する符号化手段と

を有することを特徴とする符号化装置。

1 9 . 前記符号化手段において得られる符号化データは、前記複数の係数に対応する周波数成分において低周波数成分側から順に定義された解像度レベルの情報を含む請求項 1 8に記載の符号化

2 0 . 原画像に対して N /M倍（M、 Nは整数であり、かつ、 1 ≤ N≤M , かつ、 M〉 2 ) の解像度で符号化データを復号するための複号化装置であって、

原画像を M個の等帯域に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側から N個分の信号を取り出してェントロピー複号化方法により復号化する復号化手段と、

復号化された N個分の信号を合成する帯域合成手段とを有することを特徴とする複号化装置。

2 1. 前記復号化手段により得られた信号を逆量子化する逆量子化手段を更に有し、前記帯域合成手段において、当該逆量子化手段により得られた信号を合成する請求項 20に記載の複号化装置 _c

2 2. 前記復号化手段におけるェント口ピー復号化方法として静止画像国際標準 J P EG 20 00で用いられている EB COTを用い、前記帯域合成手段において等分割フィルタパンクを用いる請求項 2 0に記載の複号化装置。

2 3. 原画像の解像度と所定の解像度を取得し、当該所定の解像度に適した前記 Nの値を、原画像の解像度と前記分割数 Mを用いて算出する算出手段を更に有する請求項 20に記載の複号化装置 _c

24. 原画像に対して N/M倍（M、 Nは整数であり、かつ、 1 ≤N≤M, かつ、 M> 2) の解像度で符号化データを復号するための複号化装置であって、

原画像を M個の周波数成分の係数に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数成分側から N個分の信号を取り出してェントロピー復号化方法により復号化する復号化手段と、

復号化された N個分の信号を合成する合成手段と

を有することを特徴とする復号化装置。

2 5. 原画像の符号化処理をコンピュータに実行させるプロダラムであって、

入力された原画像を M個（Mは整数であり、かつ、 M> 2) の等帯域に分割する分割手順と、原画像を等帯域に分割して得られた信号を、埋め込み型のェント口ピー符号化方法を用いて符号化する符号化手順と

をコンピュータに実行させるプログラム。

2 6 . 前記分割手順により得られた信号を量子化する量子化手順を更に有し、前記符号化手順において、当該量子化手順により得られた信号を符号化する請求項 2 5に記載のプログラム。

2 7 . 原画像の符号化処理をコンピュータに実行させるプロダラムであって、

入力された原画像を直交変換により複数の係数に変換する変換手順と、

前記複数の係数を、埋め込み型のェント口ピー符号化方法を用いて符号化する符号化手順と

をコンピュータに実行させるプログラム。

2 8 . 原画像に対して N ZM倍（M、 Nは整数であり、かつ、 1 ≤ N≤M , かつ、 M > 2 ) の解像度で符号化データを復号する復号化処理をコンピュータに実行させるプログラムであって、原画像を M個の等帯域に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側から N個分の信号を取り出してェントロピー復号化方法により復号化する複号化手順と、

復号化された N個分の信号を合成する帯域合成手順と

をコンピュータに実行させるプログラム。

2 9 . 前記復号化手順により得られた信号を逆量子化する逆量子化手順を更に有し、前記帯域合成手順において、当該逆量子化手順により得られた信号を合成する請求項 2 8に記載のプログラム

3 0 . 原画像に対して N /M倍（M、 Nは整数であり、かつ、 1 ≤N≤M , かつ、 M > 2 ) の解像度で符号化データを復号する復号化処理をコンピュータに実行させるプログラムであって、原画像を M個の周波数成分の係数に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数成分側から N個分の信号を取り出してェント口ピー復号化方法により復号化する復号化手順と、

複号化された N個分の信号を合成する合成手順と

をコンピュータに実行させるプログラム。

3 1 . 原画像の符号化処理をコンピュータに実行させるプロダラムを記録したコンピュータ読み取り可能な記録媒体であって、入力された原画像を M個（Mは整数であり、かつ、 M〉 2 ) の等帯域に分割する分割手順と、

原画像を等帯域に分割して得られた信号を、埋め込み型のェント口ピー符号化方法を用いて符号化する符号化手順と

をコンピュータに実行させるプログラムを記録したコンビユータ読み取り可能な記録媒体。

3 2 . 前記分割手順により得られた信号を量子化する量子化手順を更に有し、前記符号化手順において、当該量子化手順により得られた信号を符号化する請求項 3 1に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

3 3 . 原画像の符号化処理をコンピュータに実行させるプロダラムを記録したコンピュータ読み取り可能な記録媒体であって、入力された原画像を直交変換により複数の係数に変換する変換手順と、

前記複数の係数を、埋め込み型のエントロピー符号化方法を用いて符号化する符号化手順と

3 4 . 原画像に対して N /M倍（M、 Nは整数であり、かつ、 1 ≤N≤M、かつ、 M > 2 ) の解像度で符号化データを復号する復号化処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、

原画像を M個の等帯域に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側から N個分の信号を取り出してェントロピー複号化方法により復号化する復号化手順と、

復号化された N個分の信号を合成する帯域合成手順とをコンピュータに実行させるプログラムを記録したコンビユータ読み取り可能な記録媒体。

3 5 . 前記復号化手順により得られた信号を逆量子化する逆量子化手順を更に有し、前記帯域合成手順において、当該逆量子化手順により得られた信号を合成する請求項 3 4に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

3 6 . 原画像に対して N /M倍（M、 Nは整数であり、かつ、 1 ≤N≤M , かつ、 M > 2 ) の解像度で符号化データを復号する復号化処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、

原画像を M個の周波数成分の係数に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数成分側から N個分の信号を取り出してェント口ピー復号化方法により復号化する ¾号化手順と、

複号化された N個分の信号を合成する合成手順と

をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。