JP4988623B2 - 画像符号化装置及び画像復号化装置 - Google Patents

Description

本発明は、画像を複数に分割したタイル毎にウェーブレット変換して得られた係数データを符号化して符号化データを出力する画像符号化装置、及び当該符号化データを復号する画像復号化装置に関するものである。

近年、デジタル機器の発展に伴って、画像データ等の様々な圧縮方式が提案されているが、圧縮方式の１つとしてＪＰＥＧ（Joint Photographic Experts Group）２０００が知られている。ＪＰＥＧ２０００は画像の圧縮・展開の方法を規定したもので、ＪＰＥＧを発展させたものである。ＪＰＥＧ２０００では、ＪＰＥＧで用いられる離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）の代わりにウェーブレット変換を用いるが、これにより変換前に複数に分割されたタイルの境界に発生する歪み（ブロックノイズ）をＪＰＥＧに比べて抑えることができる。

また、ＪＰＥＧ２０００で圧縮された符号化データを復号する際は、特許文献１及び２に示すように、ウェーブレット逆変換を施すタイルの境界に位置する画素の係数データを折り返して信号拡張を行って（ミラー処理）演算処理を行っている。
特開２００７−１４２６１５号公報 特開２００７−１５０８６４号公報

しかしながら、タイル境界部分において画像の濃度が急激に変化している場合、実際にタイルの境界部分に位置する画素とミラー処理を行って拡張した後の画素のそれぞれが持つ係数データとの間に大きな差が発生し、これがブロックノイズの原因となっていた。

本発明は、上記の問題を解決するためになされたもので、ウェーブレット変換を行う際に大きなメモリを用いることなく、ブロックノイズを抑えた画像符号化装置及び画像復号化装置を提案することを目的とするものである。

請求項１に記載の発明の画像符号化装置は、画像を複数のタイルに分割し、予め定められた順序で順次タイルを出力する分割手段と、前記出力されたタイルを格納するタイル格納手段と、前記タイル格納手段に格納されたタイルのうち、当該タイルの境界近傍であり且つ他の前記タイルと隣接する側の画素の画像データのみを蓄積して格納する画像データ格納手段と、前記タイル格納手段に格納されたタイルと隣接するタイルのうち、前記分割手段から既に出力されたタイルについては当該タイルの画像データを前記画像データ格納手段から読み出して、当該タイル格納手段に格納されたタイルの境界近傍の画素に対して信号拡張を行い、前記分割手段から出力されていないタイルと隣接している前記タイル格納手段に格納されたタイルの境界近傍の画素に対してはミラー処理を用いて信号拡張を行った後、ウェーブレット変換を施し、係数データを出力するウェーブレット変換手段と、前記係数データを量子化して量子化データを出力する量子化手段と、前記量子化データを符号化する符号化手段と、を備えることを特徴としている。

この構成によれば、分割手段によって分割されて順次出力されたタイルに対して、当該タイルの境界近傍であり且つ他のタイルと隣接する側の画素の画像データを画像データ格納手段に蓄積して格納するため、後続のタイルに対してウェーブレット変換が施される際、この変換対象のタイルの境界近傍の画素に対する信号拡張を画像データ格納手段に格納された画像データを用いて行うことできる。即ち、実際に位置する画素の画像データを用いて信号拡張を行うことになるため、従来行われていたミラー処理による信号拡張よりもタイル境界に発生するブロックノイズを抑えることができる。

また、ウェーブレット変換手段に入力されたタイルに対してのみ、タイルの境界近傍であり且つ他のタイルと隣接する側の画素の画像データを画像データ格納手段に蓄積して格納するため、画像データ格納手段の大容量化を防ぐことができる。

ここで、画像データ格納手段は、分割手段から出力されたタイルに含まれる画像データであって、タイルの境界近傍であり且つ他のタイルと隣接する側の画素の画像データが格納されるものであり、換言すれば、ウェーブレット変換が行われる前の画素値（画像データ）が格納されるものである。また、係数データとは、タイルに含まれる画像データに対してウェーブレット変換を施した結果得られるデータのことをいう。

請求項２に記載の発明は、１つの画像を示す符号化データが複数のタイルに分割されており、当該タイル毎に順次入力して前記符号化データを復号して量子化データを出力する復号手段と、前記量子化データを逆量子化して係数データを出力する逆量子化手段と、前記出力されたタイル単位の係数データを格納するタイル格納手段と、前記タイル格納手段に格納されたタイルのうち、当該タイルの境界近傍であり且つ他の前記タイルと隣接する側の画素の係数データのみを蓄積して格納する係数データ格納手段と、前記タイル格納手段に格納されたタイルと隣接するタイルのうち、前記復号手段から既に出力されたタイルについては当該タイルの係数データを前記係数データ格納手段から読み出して、当該タイル格納手段に格納されたタイルの境界近傍の画素に対して信号拡張を行い、前記復号手段から出力されていないタイルと隣接している前記タイル格納手段に格納されたタイルの境界近傍の画素に対してはミラー処理を用いて信号拡張を行った後、前記タイル格納手段に格納されたタイルに対して逆ウェーブレット変換を施し、画像データを出力する逆ウェーブレット変換手段と、を備えることを特徴としている。

この構成によれば、逆ウェーブレット変換手段に入力されたタイルに対して、当該タイルの境界近傍であり且つ他のタイルと隣接する側の画素の係数データを係数データ格納手段に蓄積して格納するため、後続のタイルに対して逆ウェーブレット変換が施される際、この変換対象のタイルの境界近傍の画素に対する信号拡張を係数データ格納手段に格納された係数データを用いて行うことできる。即ち、実際に位置する画素の係数データを用いて信号拡張を行うことになるため、従来行われていたミラー処理による信号拡張よりもタイル境界に発生するブロックノイズを抑えることができる。

また、逆ウェーブレット変換手段に入力されたタイルに対してのみ、タイルの境界近傍であり且つ他のタイルと隣接する側の画素の係数データを係数データ格納手段に蓄積して格納するため、係数データ格納手段の大容量化を防ぐことができる。

この発明によれば、分割手段によって分割されて順次出力されたタイルに対して、当該タイルの境界近傍であり且つ他のタイルと隣接する側の画素の画像データを画像データ格納手段に蓄積して格納するため、後続のタイルに対してウェーブレット変換が施される際、この変換対象のタイルの境界近傍の画素に対する信号拡張を画像データ格納手段に格納された画像データを用いて行うことできる。即ち、実際に位置する画素の画像データを用いて信号拡張を行うことになるため、従来行われていたミラー処理による信号拡張よりもタイル境界に発生するブロックノイズを抑えることができる。

また、ウェーブレット変換手段に入力されたタイルに対してのみ、タイルの境界近傍であり且つ他のタイルと隣接する側の画素の画像データを画像データ格納手段に蓄積して格納するため、画像データ格納手段の大容量化を防ぐことができる。

本発明における画像符号化装置及び画像復号化装置の実施の形態について図面を参照して説明する。図１は、本実施の形態における画像符号化装置であって、１つの画像を複数に分割したタイル毎にウェーブレット変換して得られた係数データを符号化して符号化データを出力する画像符号化装置１のブロック図である。画像符号化装置１は、色空間変換部１１、タイル分割部１２、ウェーブレット変換部１３、量子化部１４及び符号化部１５を備えて構成される。

色空間変換部１１は入力された画像データの表色系を変換するものであり、例えばＲＧＢ方式の画像データをＹＣｂＣｒ方式に変換する。タイル分割部１２は、表色系が変換された画像データを複数のタイルに分割し、予め定められた順序で順次タイルを出力する。具体的には、例えば図２（ａ）に示すように１つの画像データをＡ〜Ｉの９つのタイルに分割し、タイルＡ→タイルＢ→タイルＣ→タイルＤ→・・・→タイルＩのラスタ順にタイルを出力する。

ウェーブレット変換部１３は、タイル格納部１３１及び画像データ格納部１３２を有し、タイル分割部１２から出力されたタイルをタイル格納部１３１に格納し、格納されたタイルに対してウェーブレット変換を施して係数データを出力するものである。タイル格納部１３１は、ウェーブレット変換を行う処理対象のタイルを格納する作業用メモリである。

画像データ格納部１３２は、タイル格納部１３１にタイルが格納される毎にタイルに含まれる画像データのうち、タイルの境界近傍であり且つ他のタイルと隣接する側の画素の画像データを蓄積して格納する。図２（ｂ）を用いて説明すると、タイルＡの場合、上下左右の４方向の境界部分のうち、他のタイル（タイルＢ、Ｄ及びＥ）と隣接するのは右と下方向である。従って、タイルＡからは斜線Ｐで示した部分の画素の画像データが画像データ格納部１３２に格納される。

また、ウェーブレット変換部１３において、整数型（可逆変換用）として５タップ低域通過フィルタと３タップ高域通過フィルタで構成される５／３フィルタを採用している場合、処理対象の画素を中心として水平方向及び垂直方向に沿って合計５つの隣り合わせた画素の画像データが必要となる。従って、画像データ格納部１３２には、各タイルの境界から２つ分（Ｍ＝２）の画素の画像データが格納される。尚、実数型（非可逆変換用）として９タップ低域通過フィルタと７タップ高域通過フィルタで構成される９／７フィルタを採用しているとき、処理対象の画素を中心として水平方向及び垂直方向に沿って合計９つの隣り合わせた画素の画像データが必要となるためＭ＝４となり、Ｍの数はタップ数によって変化する。

画像データ格納部１３２に格納された画像データは、他のタイルがウェーブレット変換で行われるフィルタ処理がなされる際に拡張データとして用いられる。このウェーブレット変換についての詳しい処理は後述する。

量子化部１４は、ウェーブレット変換部１３から出力された係数データを所定の量子化ステップで量子化し、量子化データを出力する。符号化部１５は、量子化部１４から出力された量子化データに対してエントロピー符号化を行い、符号化データを出力する。

次に、ウェーブレット変換について説明する。以下、タイルＥをウェーブレット変換する場合を例に説明する。タイル分割部１２からはタイルＡ→タイルＢ→タイルＣ→タイルＤ→・・・→タイルＩのラスタ順にタイルが出力されるため、ウェーブレット変換部１３がタイルＥに対して変換処理を施す際は、タイルＡ〜Ｄの変換処理が既に終了している。つまり、図２（ｃ）を用いて説明すると、画像データ格納部１３２にはタイルＡ〜Ｄの斜線Ｑ（Ｑ１を含む）で示した領域の画素の画像データが既に格納されている。

この斜線Ｑで示した部分の画素のうち、タイルＥの境界近傍である斜線Ｑ１で示した領域の画素の画像データが、タイルＥをフィルタ処理する際の拡張データとして用いられる。つまり、タイルＡの右下隅、タイルＢの下側、タイルＣの左下隅、タイルＤの右側の画素の画像データが、タイルＥの境界近傍の画素の拡張データとして用いられる。

図３は、タイルＥと、タイルＥの周辺に位置するタイルＡ、Ｂ、Ｃ及びＤの画像データのデータ構成の一例を示した図である。１つのタイルには、ｅ００、ｅ０１、・・・、ｅ４４の５行５列の画像データが含まれている。タイルＥの画像データは頭文字ｅであって、２桁の添え字は行番号及び列番号を示しており、行番号及び列番号共に取りうる範囲は０〜４である。また、各タイルの画像データにおいて、タイルＡの頭文字はａ、タイルＢの頭文字はｂ、タイルＣの頭文字はｃ、タイルＤの頭文字はｄを示す。また、図３に斜線Ｑ１で示した範囲の画像データは、タイルの境界部分であり且つ他のタイルと隣接する側の画素の画像データとして画像データ格納部１３２に格納されている。

そして、例えばタイルＥの１行目（ｅ００、ｅ０１、・・・、ｅ０４）をフィルタ処理する際、タイル境界での画像の不連続性を抑えるために、従来は、図４（ａ）に示すようにｅ００を中心にミラー処理を行って左方向に信号拡張を行い、同様にｅ０４を中心に右方向に信号拡張を行ってフィルタ処理を行っていた。しかし、タイル境界部分において画像の濃度が急激に変化している場合、具体的には、ミラー処理によって左方向に拡張されたｅ０１と、本来このｅ０１の位置にある画素の画像データであるｄ０４との間に大きな差が生じる可能性が高い。これがタイル境界に発生するブロックノイズの原因となっていた。

そこで、図４（ｂ）に示すように、画像データ格納部１３２に格納されているタイルＤの画像データを読み出して信号拡張を行う。つまり、左方向の信号拡張にはタイルＤのｄ０３、ｄ０４を用いる。一方、タイルＥの右側に位置するタイルＦはタイルＥの次にタイル分割部１２から出力されるタイルであって、まだウェーブレット変換部１３に入力されていない（つまり、タイルＦの境界部分の画素の画像データが画像データ格納部１３２に格納されていない）ことから、右方向の信号拡張は従来どおりｅ０４を中心にｅ０３、ｅ０２を用いて右方向に信号拡張を行う。

このように、タイルＥの左方向の信号拡張を、タイル内の画素を使ったミラー処理ではなく、実際に位置する画素の画像データｄ０３及びｄ０４を用いることによって、タイル境界に発生するブロックノイズを抑えることができる。

しかし、本来は、タイルの上下左右の４方向全ての境界において実際に隣接する画素の画像データを用いて信号拡張を行うことが理想的であるが、上下左右方向全ての境界近傍に存在する他のタイル（例えば、タイルＥの場合は、タイルＡ、Ｂ、Ｃ及びＤに加えて、タイルＦ、Ｇ、Ｈ及びＩ）の画像データを格納するためには大容量のメモリが必要となる。メモリが大きくなると、例えば画像符号化装置１をＬＳＩ化する際にチップサイズが大きくなることや、コストが高くなる等の問題が生じる。

そこで、ウェーブレット変換部１３に入力されたタイルの境界近傍の画像データのみを画像データ格納部１３２に蓄積して格納することによって、画像データ格納部１３２の大容量化を防ぐことができ、更に従来行われていたミラー処理による信号拡張を行ってフィルタ処理を行う方法よりも、ブロックノイズを抑えることができる。

ここで、画像データ格納部１３２に格納された画像データは、隣接する全てのタイルのウェーブレット変換が終了したら逐次消去されるようにしてもよい。つまり、タイルＥのウェーブレット変換が終了すると、タイルＡに隣接するタイル（タイルＢ、Ｄ及びＥ）のウェーブレット変換は全て終了したことになる。従って、画像データ格納部１３２に格納されているタイルＡに対応する画像データは今後必要ないため消去する。こうすることにより、画像データ格納部１３２に必要な容量を小さくすることができる。

図５は、図４（ｂ）で示した画像データに対してフィルタ処理を行うときの演算処理について示した図である。左方向に信号拡張した画像データであるｄ０３、ｄ０４と、タイルＥの１行分の画像データであるｅ００、ｅ０１、ｅ０２、ｅ０３、ｅ０４と、右方向に信号拡張した画像データであるｅ０３、ｅ０２を順次拡張データＸ（０）、Ｘ（１）、・・、Ｘ（８）とする。つまり、ｄ０３＝Ｘ（０）、ｅ００＝Ｘ（２）、右方向に信号拡張した画像データｅ０２＝Ｘ（８）となる。

これらの拡張データのうち、偶数拡張データＸ（０）、Ｘ（２）、・・、Ｘ（８）を式（１）代入して奇数インデックス係数Ｙ（２ｎ＋１）を計算する。ここで、ｎは０以上の整数である。
Ｙ（２ｎ＋１）＝Ｘ（２ｎ＋１）−［｛Ｘ（２ｎ）＋Ｘ（２ｎ＋２）｝／２］・・（１）
例えば、係数Ｙ１は、
Ｙ１＝Ｘ（１）−［｛Ｘ（０）＋Ｘ（２）｝／２］・・（２）
で導出される。このように、式（１）によって奇数インデックス係数Ｙ（１）、Ｙ（３）、Ｙ（５）及びＹ（７）が導出される。

次に、式（１）で導出された奇数インデックス係数Ｙ（２ｎ＋１）と奇数拡張データＸ（１）、Ｘ（３）、Ｘ（５）、Ｘ（７）を式（３）に代入して偶数インデックス係数Ｙ（２ｎ）を計算する。
Ｙ（２ｎ）＝Ｘ（２ｎ）＋［｛Ｙ（２ｎ−１）＋Ｙ（２ｎ＋１）＋２｝／４］・・（３）
例えば、係数Ｙ２は、
Ｙ（２）＝Ｘ（２）＋［｛Ｙ（１）＋Ｙ（３）＋２｝／４］・・（４）
で導出される。このように、式（３）によって偶数インデックス係数Ｙ（２）、Ｙ（４）及びＹ（６）が導出される。導出された７つの係数Ｙのうち、タイルＥを構成する係数はＹ（２）、Ｙ（３）、Ｙ（４）、Ｙ（５）及びＹ（６）の５つの係数となる。

以上の演算処理を、タイルＥ内について垂直方向及び水平方向のそれぞれに対して行う。その後、各サブバンド毎にデインターリーブが行われて１回の２次元ウェーブレット変換が終了する。２回目以降のウェーブレット変換は、ＬＬサブバンドを原画像と見なして上述した同様の演算処理を行っていく。

以上説明したように、ウェーブレット変換部１３に入力した順にタイルの境界近傍であり且つ他のタイルと隣接する側の画素の画像データを画像データ格納部１３２に蓄積して格納し、この画像データ格納部１３２から画像データを読み出して信号拡張を行うことにより、従来行われていたミラー処理による信号拡張よりもブロックノイズを抑えることができる。

また、ウェーブレット変換を行う対象のタイルの上下左右４方向の境界近傍にある画素の画像データを全て取得して格納する場合に比べ、本実施の形態ではウェーブレット変換部１３に入力されたタイルから境界近傍であり且つ他のタイルと隣接する側の画素の画像データのみを画像データ格納部１３２に格納するため、ウェーブレット変換に必要なメモリの容量増加を抑えることができる。

図６は、画像符号化装置１から出力された符号化データを復号する画像復号化装置２の構成を示すブロック図である。画像復号化装置２は、復号化部２１、逆量子化部２１、逆ウェーブレット変換部２３及び逆色空間変換部２４を備えて構成される。復号部２１はタイル毎に入力された符号化データをエントロピー復号処理にて復号し、量子化データを出力する。逆量子化部２２は、量子化データを係数データに変換する。逆色空間変換部２４は逆ウェーブレット変換部２３より出力された画像データの表色系を変換するものであり、例えばＹＣｂＣｒ方式の画像データをＲＧＢ方式に変換する。

逆ウェーブレット変換部２３は、タイル格納部２３１及び係数データ格納部２３２を有し、タイル単位で入力した係数データに対して逆フィルタ処理を施して画像データを出力するものである。タイル格納部２３１は、逆ウェーブレット変換を行う処理対象のタイルを格納する作業用メモリである。係数データ格納部２３２は、画像符号化装置１の画像データ格納部１３２と同様に、タイル格納部２３１に格納されたタイルに含まれる画像データのうち、タイルの境界部分であって、他のタイルと隣接する側の画素の係数データを蓄積して格納する。係数データ格納部２３２に格納された各タイルの境界部分の係数データは、上述したウェーブレット変換の際と同様に、後続のタイルが逆フィルタ処理される際に拡張データとして用いられる。

逆フィルタ処理は以下の式（５）及び式（６）を用いて演算される。
Ｘ（２ｎ）＝Ｙ（２ｎ）−［｛Ｙ（２ｎ−１）＋Ｙ（２ｎ＋１）＋２｝／４］・・（５）
Ｘ（２ｎ＋１）＝Ｙ（２ｎ＋１）＋［Ｘ（２ｎ）＋Ｘ（２ｎ＋２）／２］・・（６）
ここで、タイル境界部分においては、ウェーブレット変換の際と同様に、係数データ格納部２３２から係数データを読み出して信号拡張を行う。逆ウェーブレット処理が行われていないタイルとの境界部分についてはミラー処理によって信号拡張を行う。

このような演算処理を、各タイル内について水平方向及び垂直方向のそれぞれに対して行うことにより、タイル内の係数データが画像データに変換される。

以上説明したように、逆ウェーブレット変換部２３に入力した順にタイルの境界近傍であり且つ他のタイルと隣接する側の画素の係数データを係数データ格納部２３２に蓄積して格納し、この係数データ格納部２３２から画像データを読み出して信号拡張を行うことにより、従来行われていたミラー処理による信号拡張よりもブロックノイズを抑えることができる。

また、逆ウェーブレット変換を行う対象のタイルの上下左右４方向の境界近傍にある画素の係数データを全て取得して格納する場合に比べ、本実施の形態では逆ウェーブレット変換部２３に入力されたタイルから境界近傍であり且つ他のタイルと隣接する側の画素の係数データのみを係数データ格納部２３２に格納するため、逆ウェーブレット変換に必要なメモリの容量増加を抑えることができる。

画像符号化装置の内部構成を示すブロック図。 １つの画像をＡ〜Ｉの９つのタイルに分割した場合について示した図。 タイルＥと、タイルＥの周辺に位置するタイルＡ、Ｂ、Ｃ及びＤの画像データのデータ構成の一例を示した図。 信号拡張について説明した図。 画像データに対してフィルタ処理を行うときの演算処理について示した図。 画像復号化装置の内部構成を示すブロック図。

符号の説明

１ 画像符号化装置
１１ 色空間変換部
１２ タイル分割部（分割手段）
１３ ウェーブレット変換部（ウェーブレット変換手段）
１３１ タイル格納部（タイル格納手段）
１３２ 画像データ格納部（画像データ格納手段）
１４ 量子化部（量子化手段）
１５ 符号化部（符号化手段）
２ 画像復号化装置
２１ 復号部（復号手段）
２２ 逆量子化部（逆量子化手段）
２３ 逆ウェーブレット変換手段（逆ウェーブレット変換手段）
２３１ タイル格納部（タイル格納手段）
２３２ 係数データ格納部（係数データ格納手段）
２４ 逆色空間変換部

Claims (2)

1. 画像を複数のタイルに分割し、予め定められた順序で順次タイルを出力する分割手段と、
   前記出力されたタイルを格納するタイル格納手段と、
   前記タイル格納手段に格納されたタイルのうち、当該タイルの境界近傍であり且つ他の前記タイルと隣接する側の画素の画像データのみを蓄積して格納する画像データ格納手段と、
   前記タイル格納手段に格納されたタイルと隣接するタイルのうち、前記分割手段から既に出力されたタイルについては当該タイルの画像データを前記画像データ格納手段から読み出して、当該タイル格納手段に格納されたタイルの境界近傍の画素に対して信号拡張を行い、前記分割手段から出力されていないタイルと隣接している前記タイル格納手段に格納されたタイルの境界近傍の画素に対してはミラー処理を用いて信号拡張を行った後、ウェーブレット変換を施し、係数データを出力するウェーブレット変換手段と、
   前記係数データを量子化して量子化データを出力する量子化手段と、
   前記量子化データを符号化する符号化手段と、
   を備えた画像符号化装置。
2. １つの画像を示す符号化データが複数のタイルに分割されており、当該タイル毎に順次入力して前記符号化データを復号して量子化データを出力する復号手段と、
   前記量子化データを逆量子化して係数データを出力する逆量子化手段と、
   前記出力されたタイル単位の係数データを格納するタイル格納手段と、
   前記タイル格納手段に格納されたタイルのうち、当該タイルの境界近傍であり且つ他の前記タイルと隣接する側の画素の係数データのみを蓄積して格納する係数データ格納手段と、
   前記タイル格納手段に格納されたタイルと隣接するタイルのうち、前記復号手段から既に出力されたタイルについては当該タイルの係数データを前記係数データ格納手段から読み出して、当該タイル格納手段に格納されたタイルの境界近傍の画素に対して信号拡張を行い、前記復号手段から出力されていないタイルと隣接している前記タイル格納手段に格納されたタイルの境界近傍の画素に対してはミラー処理を用いて信号拡張を行った後、前記タイル格納手段に格納されたタイルに対して逆ウェーブレット変換を施し、画像データを出力する逆ウェーブレット変換手段と、
   を備えた画像復号化装置。

Images