JP4580880B2 - 画像符号化装置、画像復号装置及び画像処理システム - Google Patents

Description

本発明は、デジタル放送サービスやインターネット等による映像配信サービスに用いる映像圧縮技術に関し、特に、動画像を高能率で圧縮するデジタル符号化技術に関する。

従来、動画像を高能率で圧縮するデジタル符号化方式として、例えばＭＰＥＧ−２、ＭＰＥＧ−４、ＭＳ社のＷＭＶ、ＢＨＡ社のＸＶＤ等、様々な符号化方式が提案され規格化が行われている。これらの符号化方式は、人の視覚特性を巧みに利用し、情報量を積極的に削ることにより、高圧縮を実現するものであり、基本的には、直近のｎ×ｎ画素で構成される小領域に対し、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）に代表される直交変換を施し、直交変換係数を量子化し、可変長符号化を行うことにより、動画像を高能率で圧縮する符号化を実現している。

また、異なる画角の映像信号を生成するため、アップコンバート（拡大）技術やダウンコンバート（縮小）技術等の画素補間方法に関する研究開発が行われている（非特許文献１を参照）。例えば、周波数帯域を低下させることなく欠落した画素位置における補間信号を生成し、この信号を用いて画素信号を補間する技術が開示されている（特許文献１を参照）。

高木幹雄、他１名，「画像解析ハンドブック」，東京大学出版会，１９９１年 特開２００４−２３３８４号公報

このような従来の符号化方式では、映像信号を隣接画素で構成される小領域に分割し、小領域毎に符号化を行い、小領域内の画素の性質により量子化の程度を変動させている。しかしながら、ＨＤＴＶ（High Definition ＴＶ：ハイビジョンＴＶ）を更に超える走査線数の動画像に従来の符号化方式を適用すると、同様の小領域に分割して符号化を行う必要があるため、小領域の数が膨大になってしまう。例えば、現行の標準ＴＶにおいて７２０×４８０の映像信号の場合、ＭＰＥＧ−２の符号化最小単位である８×８画素の小領域は５４００個である。これに対し、ＨＤＴＶにおいて１９２０×１０８０の映像信号の場合、その小領域は３２４００個となり、スーパーハイビジョンにおいて７６８０×４３２０の映像信号の場合、その小領域は５１８４００個となる。

小領域に含まれる信号には符号化が平易な領域と符号化が難解な領域とがあり、これらの情報量の差は、映像信号の高解像度化により大きくなってしまう。このため、符号化が平易な領域の数が多くなると、伝送する映像の情報量に対する制御情報量が多くなるため、符号化能率が低下する。

そこで、本発明は、かかる課題を解決するためになされたものであり、その目的は、高能率符号化を実現可能な画像符号化装置、画像復号装置及び画像処理システムを提供することにある。

一般に、画面内を小領域に分割した場合、映像信号の高解像度化により、小領域間の信号の活性度（複雑さ）の差は大きくなる。これは、映像信号の高解像度化により、従来の映像信号では表現することができなかった緻密な物体の表現が可能となるからである。しかし、同時に、画面内の平坦な領域（符号化の容易な領域）の解像度も高まることから、この平坦な領域における信号の活性度が他の領域に比べ一層小さくなる。この平坦な領域は、隣接する領域との間の信号性質の差も小さいから、複数の領域をまとめて符号化することにより、高能率な圧縮符号化を実現することができる。このように、Ｈ．２６４符号化方式等の規格では、小領域の分割方法を工夫して符号化を実現している。

しかしながら、小領域の分割方法を工夫しても、符号化の対象となる画素そのものの個数に変化はない。一般に、隣接画像は相関が高く、予測しやすいことが知られている。

そこで、本発明は、かかる点に着目し、２つの分離画像を生成する場合には、符号化対象となる映像信号について、その信号から相関の高い隣接画素を分離して間引くことにより第１の分離画像を生成し、それとともに分離して間引かれた第２の分離画像を生成する。また、第１の分離画像を符号化し、第１の分離画像の符号化信号を用いて第２の分離画像を予測し、予測した画像の誤差を差分信号として符号化する。

この場合、第１の分離画像は元の映像信号から第２の分離画像を間引いた信号だから、符号化情報量が少ない。また、相関の高い隣接画素から成る第１の分離画像を用いて第２の分離画像を予測しているから、その予測は正確になされ、差分信号のエネルギーは小さくなる。これにより、高能率符号化を実現することが可能となる。

すなわち、本発明による画像符号化装置は、映像信号の画像を構成する小領域毎のベースバンド信号に直交変換、量子化及び可変長符号化を施す画像符号化装置において、
前記小領域毎のベースバンド信号における正方画素信号を４５°方向に回転させた上で、１画素毎に交互に分離し、第１の分離画像及び第２の分離画像を生成する分離部と、
前記第１の分離画像の画素を符号化単位の正方画素として並べ替える第１の並べ替え部と、
前記第２の分離画像の画素を符号化単位の正方画素として並べ替える第２の並べ替え部と、
前記並べ替えた第１の分離画像に対して第１の直交変換を施し、さらに第１の量子化を施す第１の直交変換・量子化部と、
前記第１の直交変換及び前記第１の量子化が施された信号に対し、逆量子化を施す逆量子化部と、
前記逆量子化の結果に対し、１／ｎ（ｎは２以上の自然数）の画素精度により逆直交変換を施し、前記並べ替えた第２の分離画像の対応する画素部分を予測する１／ｎ画素逆直交変換部と、
前記逆直交変換が施された信号と、前記分離部により生成された前記並べ替えた第２の分離画像の信号との間の差分信号を求める減算部と、
前記差分信号に対して第２の直交変換を施し、さらに第２の量子化を施す第２の直交変換・量子化部と、
前記第１の直交変換・量子化部によって量子化された信号、及び、前記第２の直交変換・量子化部によって量子化された信号に対し、可変長符号化を施す可変長符号化部と、
を備えたことを特徴とする。

また、本発明による画像符号化装置は、前記逆直交変換部が、逆量子化の結果に対し、１／ｎ（ｎは２以上の自然数）の画素精度により逆直交変換を施し、分離画像を予測することを特徴とする。

ここで、前記差分信号直交変換・量子化部は、差分信号における隣接画素の相関に応じてＤＣＴまたはＤＳＴ（Discrete Sine Transform：離散サイン変換）の方式を選択し、該選択した方式により直交変換を施すことが好適である。

また、本発明による画像復号装置は、前記可変長符号化部により符号化された信号を受信して復号する画像復号装置であって、前記信号に可変長復号及び逆量子化が施された後、前記第１の分離画像の信号の直交変換係数に対し、逆直交変換を施す第１の逆直交変換部、及び、前記差分信号の直交変換係数に逆直交変換を施す第２の逆直交変換部を備えたことを特徴とする。

また、本発明による他の画像復号装置は、本発明の画像符号化装置により符号化されたビットストリーム信号を受信して復号する画像復号装置であって、
前記ビットストリーム信号を入力し、可変長復号を施し、前記第１の直交変換・量子化部によって量子化された信号、及び、前記第２の直交変換・量子化部によって量子化された信号を識別してそれぞれ分離する可変長復号部と、
前記可変長復号を施して得られる前記第１の直交変換・量子化部によって量子化された信号に対して逆量子化を施す第２の逆量子化部と、
該第２の逆量子化を施して得られる直交変換係数に対して、前記１／ｎの画素精度により逆直交変換を施す第２の１／ｎ画素逆直交変換部と、
該第２の１／ｎ画素逆直交変換部により変換が施された信号を、前記第１の分離画像の復号画像と前記第２の分離画像の予測信号とに分離する第１の分離部と、
前記可変長復号を施して得られる前記第２の直交変換・量子化部によって量子化された信号に対して逆量子化を施す第３の逆量子化部と、
該第３の逆量子化を施して得られる当該差分信号の直交変換係数に対して、前記１／ｎの画素精度により逆直交変換を施す第３の１／ｎ画素逆直交変換部と、
該第３の１／ｎ画素逆直交変換部により変換が施された信号を、前記第２の分離画像の予測差分信号と前記第１の分離画像の量子化誤差予測信号とに分離する第２の分離部と、
前記可変長復号部により復号される前記第１の分離画像の量子化情報を用いて、前記第２の分離部により分離された前記第１の分離画像の量子化誤差予測信号を制限する制限部と、
前記第１の分離部により分離された第１の分離画像の復号画像に、前記制限部により制限された前記第１の分離画像の量子化誤差予測信号を加算し、新たな第１の分離画像の復号画像を生成する第１の加算部と、
前記第１の分離部により分離された第２の分離画像の予測信号に、第２の分離部により分離された第２の分離画像の予測差分信号を加算し、第２の分離画像の復号画像を生成する第２の加算部と、
前記第１の加算部により生成された新たな第１の分離画像の復号画像、及び、前記第２の加算部により生成された第２の分離画像の復号画像を合成する合成部と、
該合成した画素信号を４５°方向に回転する手段と、
を備えたことを特徴とする。

ここで、前記制限部は、第１の分離画像の量子化情報に基づいた量子化値と第２の分離部により分離された第１の分離画像の量子化誤差予測信号における直交変換係数値とを比較し、該直交変換係数が前記量子化値よりも大きい場合に、該直交変換係数を制限して出力し、該直交変換係数が前記量子化値以下の場合に、該直交変換係数を出力することが好適である。

また、本発明による画像処理システムは、前記画像符号化装置と画像復号装置とを備えたことを特徴とする。

本発明によれば、映像信号に対する高能率符号化を実現することが可能となる。また、映像信号のイントラ符号化において、圧縮率の高い符号化を実現することができ、記録媒体の使用効率を上げたり、伝送帯域の利用効率を上げたりすることが可能となる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。
〔符号化装置〕
まず、符号化装置について説明する。図１は、本発明の実施の形態による符号化装置の構成を示すブロック図であり、１／２画素密度の８×８画素領域に対して直交変換を行い、符号化を実現する例である。この符号化装置１０は、分離部１１、並べ替え部１２−１、直交変換部１３−１、量子化部１４−１、可変長符号化部１５、バッファ１６、並べ替え部１２−２、直交変換部１３−２、量子化部１４−２、逆量子化部１７、１／２画素逆直交変換部１８、及び減算部１９を備えている。

符号化装置１０が映像のベースバンド信号をフレームメモリに格納すると、分離部１１は、当該フレームメモリから１６×１５画素領域毎の小領域のベースバンド信号を読み出す。そして、当該ベースバンド信号の正方画素信号を１画素毎に交互に分離し、２つの分離画像Ａ，Ｂを生成し、フレームメモリに展開する。図２は、分離部１１の機能を説明する図である。図２において、１６×１５画素領域の映像のベースバンド信号は、黒丸に示す画素と白丸に示す画素とにより構成されているものとする。分離部１１は、このベースバンド信号を１画素毎に交互に分離し、黒丸に示す画素から成る分離画像Ａと、白丸に示す画素から成る分離画像Ｂとを生成する。この場合、各画素の座標は変わらない。

図１に戻って、並べ替え部１２−１は、分離部１１により分離された分離画像Ａを入力し、当該分離画像Ａの画素を８×８の正方画素に並べ替える。具体的には、並べ替え部１２−１は、フレームメモリから分離画像Ａの画素を符号化単位に読み出し、直交変換部１３−１において直交変換ができるようにするため、画素配置を入れ替えながら図示しないフレームメモリに書き込む。

直交変換部１３−１は、並べ替え部１２−１から８×８の正方画素の画素信号を入力し、当該８×８画素領域に対してＤＣＴを施して直交変換を行い、直交変換係数であるＤＣＴ係数を出力する。また、量子化部１４−１は、バッファ１６からバッファ量を入力し、直交変換部１３−１によるＤＣＴの結果であるＤＣＴ係数に対し、目標ビットレートに応じた量子化を施し、量子化係数を出力する。量子化部１４−１により出力された量子化係数は、可変長符号化部１５及び逆量子化部１７に入力される。

逆量子化部１７は、量子化部１４−１から量子化係数を入力し、逆量子化を施し、ＤＣＴ係数を出力する。１／２画素逆直交変換部１８は、逆量子化部１７により逆量子化されたＤＣＴ係数を入力し、後述する（３）式により当該ＤＣＴ係数に対し１／２画素精度で逆直交変換を施し、１６×１６画素の画素情報を求める。そして、１／２画素逆直交変換部１８は、当該１６×１６画素の画像情報を予測信号として出力する。ここで、１／２画素逆直交変換部１８により出力される１６×１６画素の画像情報について、この画像信号のうち、分離部１１により分離して生成された分離画像Ｂの座標に対応する画素部分が分離画像Ｂの予測信号となる。尚、逆量子化部１７は、後述する並べ替え部１２−２により配置された画素部分（分離画像Ｂに対応する画素部分）についてのみ逆直交変換を施すようにしてもよい。これにより、逆直交変換の計算量を減じることができる。

ここで、ＤＣＴ、ＩＤＣＴ（Inverse ＤＣＴ：逆離散コサイン変換）、ＤＳＴ（Discrete Sine Transform：離散サイン変換）、ＩＤＳＴ（Inverse ＤＳＴ：逆離散サイン変換）の数式を以下に示す。ｆ（ｘ，ｙ）を画素信号、ｘ，ｙを画素の座標、Ｆ（ｕ，ｖ）をＤＣＴまたはＤＳＴにより得られたＤＣＴ係数またはＤＳＴ係数（直交変換係数）、ｕを水平周波数、ｖを垂直周波数とする。通常のＤＣＴ（直交変換部１３−１によるＤＣＴ、及び後述する図３のＤＣＴ部２４によるＤＣＴ）の変換式は、以下のとおりである。

また、通常のＩＤＣＴ（後述する図６の逆直交変換部３５によるＩＤＣＴ）の変換式は、以下のとおりである。

また、１／２画素精度逆変換式（１／２画素逆直交変換部１８によるＩＤＣＴの変換式、及び後述する図６の１／２画素逆直交変換部３３によるＩＤＣＴの変換式）は、以下のとおりである。

また、ＤＳＴ（後述する図３のＤＳＴ部２５によるＤＳＴ）の変換式は、以下のとおりである。

また、ＩＤＳＴ（後述する図６の逆直交変換部３５によるＩＤＳＴ）の変換式は、以下のとおりである、

並べ替え部１２−２は、分離部１１により分離されたもう一方の画素信号である分離画像Ｂを入力し、当該分離画像Ｂの画素を８×８の正方画素に並べ替える。具体的には、並べ替え部１２−２は、図示しないメモリから分離画像Ｂの画素を符号化単位に読み出し、直交変換部１３−２において直交変換ができるようにするため、画素配置を入れ替えながら図示しない作業メモリに書き込む。

減算部１９は、並べ替え部１２−２から８×８画素の分離画像Ｂの信号、及び１／２画素逆直交変換部１８から１６×１６画素の予測信号をそれぞれ入力し、当該８×８画素の分離画像Ｂの信号と、当該信号に対応する画素部分における予測信号との間の差分信号を生成する。

直交変換部１３−２は、減算部１９により生成された差分信号を入力し、当該８×８画素領域に対して直交変換を施す。ここで、直交変換部１３−２は、直交変換方式として、ＤＣＴ及びＤＳＴのいずれか一方を選択することができる。ＤＣＴ及びＤＳＴは、直交変換として一般に用いられる手法である。一般に、符号化能率を考慮して、ＤＣＴはその性質上相関が高い信号に用いられ、ＤＳＴは相関が低い信号に用いられる。映像信号の場合は画素相関が比較的高いことから、ＤＣＴが広く用いられている。この直交変換部１３−２は、映像の差分信号に対して直交変換を施すが、当該差分信号は、映像信号それ自体とは異なるため、必ずしも相関が高いとは限らない。そこで、差分信号の相関に応じてＤＣＴ及びＤＳＴのいずれか一方を選択することにより、符号化能率の高い処理を実現する。

図３は、直交変換部１３−２の構成を示すブロック図である。この直交変換部１３−２は、遅延部２１、判定部２２、スイッチ２３、ＤＣＴ部２４、ＤＳＴ部２５、及びスイッチ２６を備えている。判定部２２は、減算部１９により生成された差分信号を入力し、隣接画素間の画素相関を演算する。そして、相関値σが設定値α以上の場合はＤＣＴを選択し、相関値σが設定値α未満の場合はＤＳＴを選択する。例えば、α＝０．５である。遅延部２１は、判定部２２の処理による遅延量を調整する。スイッチ２３，２６は、判定部２２によりＤＣＴを選択した場合はＤＣＴ部２４側を選択し、ＤＳＴを選択した場合はＤＳＴ部２５側を選択する。ＤＣＴ部２４は、前記差分信号を入力し、ＤＣＴを施して直交変換を行い、ＤＣＴ係数を出力する。また、ＤＳＴ部２５は、前記差分信号を入力し、ＤＳＴを施して直交変換を行い、ＤＳＴ係数を出力する。

図１に戻って、量子化部１４−２は、バッファ１６からバッファ量を入力し、直交変換部１３−２による直交変換の結果であるＤＣＴ係数またはＤＳＴ係数の直交変換係数に対し、目標ビットレートに応じた量子化を施し、量子化係数を出力する。

可変長符号化部１５は、量子化部１４−１，１４−２から量子化係数をそれぞれ入力し、各量子化係数に対し、例えばＩＳＯ／ＩＥＣ１３８１８−２の規定における量子化された直交変換係数をランレングス符号化を用いた符号化手法により符号化し、バッファ１６を介して、可変長符号に変換されたビットストリーム信号として出力する。このビットストリーム信号は、分離画像Ａ（上位レイヤ）の情報であることを識別するための符号、量子化係数の可変長符号、最後の量子化係数の可変長符号の後に付加され量子化係数の終了を示すための終了符号により構成される分離画像Ａの信号と、分離画像Ｂ（下位レイヤ）の情報であることを識別するための符号、図３に示した直交変換部１３−２が使用した直交変換（ＤＣＴまたはＤＳＴ）を識別するための符号、量子化係数の可変長符号、最後の量子化係数の可変長符号の後に付加され量子化係数の終了を示すための終了符号により構成される分離画像Ｂの信号とにより構成される。すなわち、可変長符号化部１５は、可変長符号化により、分離画像Ａを識別するための符号を出力し、その量子化係数の可変長符号を出力し、その量子化係数の終了を示すための終了符号を出力し、さらに、分離画像Ｂを識別するための符号を出力し、直交変換を識別するための符号を出力し、その量子化係数の可変長符号を出力し、その量子化係数の終了を示すための終了符号を出力する。

このように、本発明の実施の形態による符号化装置１０によれば、分離部１１がベースバンド信号を１画素毎に交互に分離して分離画像Ａ，Ｂを生成し、１／２画素逆直交変換部１８が分離画像Ａを用いて分離画像Ｂの画素信号を予測し、減算部１９が分離画像Ｂの画素信号と分離画像Ｂの予測信号との間の差分信号を出力し、可変長符号化部１５が分離画像Ａの画素信号及び分離画像Ｂの差分信号を符号化するようにした。分離画像Ｂの予測信号は、分離画像Ｂの画素について近傍の画素から成る分離画像Ａを用いて生成されるから、比較的正確な信号となり得る。このため、分離画像Ｂの差分信号は、活性度が小さく平坦な信号となるから、分離画像Ｂをそのまま符号化する場合に比べ、符号化能率は高くなる。また、分離画像Ａの画素信号は、ベースバンド信号から分離画像Ｂを間引いた信号であるため、符号化情報量は半分になる。つまり、符号化装置１０によれば、分離画像Ａ及びＢをそのまま符号化する場合に比べ、高能率符号化を実現することが可能となる。

尚、符号化装置１０に備えた分離部１１は、ベースバンド信号を分離画像Ａ，Ｂに分離するようにしたが、例えば矩形に分離する場合は、４つの分離画像に分離するようにしてもよいし、分離する画像の数を限定するものではない。また、分離部１１は、フレームメモリから１６×１５画素領域毎の小領域のベースバンド信号を読み出すようにしたが、読み出し単位はこれに限定されるものではない。

また、直交変換部１３−２は、ＤＣＴ部２４及びＤＳＴ部２５を選択する構成としたが、いずれか一方の直交変換機能のみを有する構成とするようにしてもよい。これにより、小規模回路により符号化を実現することができ、簡便な構成となり得る。

また、直交変換部１３−１は、ＤＣＴによる直交変換を行うようにしたが、直交変換部１３−２と同じように、ＤＣＴ又はＤＳＴのいずれか一方を選択するようにしてもよい。この場合、直交変換部１３−１，１３−２は、共に前述の選択機能を有するが、図１に示したように最初（第１回目）の演算、つまり直交変換部１３−１をＤＣＴに固定することにより、回路の小規模化を図ることができる。

また、量子化部１４−２は、入力した全ての直交変換係数を０に量子化した場合に、量子化係数を出力しないようにしてもよい。この場合、可変長符号化部１５は、量子化部１４−２から量子化係数を入力しないから、量子化部１４−２側の符号化を施す必要がない。これにより、出力するビットストリーム信号は量子化部１４−１側の信号のみで済むから、実質的に符号化情報を１／２にすることができる。

また、分離部１１は、フレームメモリからベースバンド信号を読み出す際に、その画素信号が４５°方向に回転するように、ベースバンド信号を読み出すようにしてもよい。具体的には、分離部１１は、図４の上部に示す正方配置した（２×ｎ−１）×（２×ｎ）領域（ｎ＝８）の画素信号をフレームメモリから読み出す際に、４５°の回転処理を施し、図４の下部に示す画素信号として読み出す。そして、分離部１１は、図４の下部に示す枠内の画素信号を、図５に示すように、分離画像Ｃについての８×８正方画素信号と、分離画像Ｄについての８×８正方画素信号とに分離する。これにより、菱形直交変換を実現することができる。尚、復号装置は、復号処理の際に、画素信号が４５°方向に回転するようにフレームメモリに書き込む必要がある。

一般に、符号化は矩形領域の単位で行われる。この矩形領域に対して異なる圧縮率で量子化が行われた場合には、領域の境界に画像の劣化が顕著に知見されることがある。また、人間の視覚特性は、水平及び垂直パターンに比べて４５°傾いた斜めパターンの感度が最も劣ることが知られている。したがって、４５°傾いた斜めパターンの菱形領域毎に符号化を施した場合は、その斜めパターンの境界の画像に劣化が生じても、人間の視覚特性上問題になることはない。そこで、前述の変換部及び分離部を用いた菱形直交変換の符号化方式を採用し、符号化領域を矩形ではなく菱形の斜方形にし、隣接する領域間の境界を斜めパターンとすることにより、符号化歪みの検知量を減らすことができる。

〔復号装置〕
次に、復号装置について説明する。図６は、本発明の実施の形態による復号装置の構成を示すブロック図である。この復号装置３０は、可変長復号部３１、逆量子化部３２、１／２画素逆直交変換部３３、遅延部３４、逆直交変換部３５、加算部３６、及び並べ替え部３７を備えている。以下に説明する復号装置３０は、図１に示した符号化装置１０の直交変換部１３−１がＤＣＴによる直交変換を行い、直交変換部１３−２がＤＳＴによる直交変換を行う場合に適用するものとする。尚、直交変換部１３−１，１３−２が共にＤＣＴまたはＤＳＴの選択機能を有している場合には、これらの変換処理に対応した逆直交変換部を有するようにしてもよい。

可変長復号部３１は、図１に示した符号化装置１０からビットストリーム信号を入力し、可変長復号を施す。逆量子化部３２は、可変長復号部３１により可変長復号された結果に対し、逆量子化を施す。１／２画素逆直交変換部３３は、逆量子化部３２により逆量子化された結果を入力し、上位レイヤ及び下位レイヤの識別符号を識別し、上位レイヤである場合は、前述した（３）式により、１／２画素精度で逆直交変換を施す。遅延部３４は、１／２画素逆直交変換部３３の処理時間と逆直交変換部３５の処理時間との間の差を吸収するため、１／２画素逆直交変換部３３の処理に対する逆直交変換部３５の処理の遅延量を調整する。

一方、逆直交変換部３５は、逆量子化部３２により逆量子化された結果を入力し、上位レイヤ及び下位レイヤの識別符号を識別し、下位レイヤである場合は、使用した直交変換の識別符号を識別し、当該識別符号からＩＤＣＴまたはＩＤＳＴを選択し、前述した（２）式または（５）式により、逆直交変換を施す。

加算部３６は、１／２画素逆直交変換部３３及び遅延部３４から上位レイヤの逆直交変換した結果を、逆直交変換部３５から下位レイヤの逆直交変換した結果をそれぞれ入力し、両者を加算する。並べ替え部３７は、加算部３６による加算結果を入力し、画素情報を並べ替えてベースバンド信号として図示しないメモリに展開する。

次に、復号装置の他の例について説明する。図７は、本発明の実施の形態による復号装置の他の例の構成を示すブロック図である。この復号装置４０は、可変長復号部４１、逆量子化部４２，４５、１／２画素逆ＤＣＴ部４３、１／２画素逆直交変換部４６、分離部４４，４７、加算部４８，４９、制限部５０、及び合成部５１を備えている。

可変長復号部４１は、図１に示した符号化装置１０からビットストリーム信号を入力し、可変長復号を施す。具体的には、上位レイヤ及び下位レイヤを識別するための情報、量子化情報、ＤＣＴまたはＤＳＴの直交変換の種別を識別するための情報、直交変換係数情報等を復号する。逆量子化部４２は、上位レイヤ及び下位レイヤを識別し、上位レイヤである場合は、可変長復号部４１により可変長復号された上位レイヤの結果に対し、逆量子化を施す。１／２画素逆ＤＣＴ部４３は、逆量子化部４２により逆量子化された結果を入力し、前述した（３）式により、１／２画素精度でＤＣＴによる逆直交変換を施す。すなわち、可変長復号部４１がビットストリーム信号の先頭から復号を始めた場合には、可変長復号部４１により、上位レイヤの分離画像Ａの量子化情報、及び量子化された直交変換係数情報が復号され、そして、逆量子化部４２及び１／２画素逆ＤＣＴ部４３により、分離画像Ａの８×８ＤＣＴ係数情報から１６×１６画素の画像情報が生成される。分離部４４は、１／２画素逆ＤＣＴ部４３により生成された１６×１６画素の画像情報を入力し、分離画像Ａの復号画像と分離画像Ｂの予測信号とに分離する。

逆量子化部４５は、上位レイヤ及び下位レイヤを識別し、下位レイヤである場合は、可変長復号部４１により可変長復号された下位レイヤの結果に対し、逆量子化を施す。１／２画素逆直交変換部４６は、逆量子化部４２により逆量子化された結果を入力し、使用した直交変換の種別を識別し、ＩＤＣＴまたはＩＤＳＴを選択し、前述した（３）式または以下の（６）式により、逆直交変換を施す。

すなわち、可変長復号部４１がビットストリーム信号の先頭から復号を始めた場合には、可変長復号部４１により、前述の上位レイヤの分離画像Ａの量子化情報及び量子化された直交変換係数情報に引き続き、下位レイヤの分離画像Ｂの量子化された直交変換係数情報が復号され、そして、逆量子化部４５及び１／２画素逆直交変換部４６により、分離画像Ｂの８×８直交変換係数情報から１６×１６画素の画像情報が生成される。分離部４７は、１／２画素逆直交変換部４６により生成された１６×１６画素の画像情報を入力し、分離画像Ｂの予測差分信号と分離画像Ａの量子化誤差予測信号とに分離する。

尚、１／２画素逆直交変換部４６において、分離画像Ａ及びＢに対応する画素のみの逆変換を行うようにしてもよい。これにより、逆変換の演算回数を半分に減らすことができる。

制限部５０は、可変長復号部４１により復号された分離画像Ａの量子化情報を入力すると共に、分離部４７から分離画像Ａの量子化誤差予測信号を入力し、両者を比較し、分離画像Ａの量子化誤差予測信号が所定の量子化範囲内の信号である場合に、当該分離画像Ａの量子化誤差予測信号を出力し、量子化範囲内の信号でない場合に、分離画像Ａの量子化情報に基づいた信号を出力する。

図８は、図７に示した制限部５０の構成を示すブロック図である。この制限部５０は、ＤＣＴ部６１、比較部６２、及びＩＤＣＴ部６３を備えている。ＤＣＴ部６１は、分離部４７から分離画像Ａの量子化誤差差分信号（Ｂｌｏｃｋ１対応位置の８×８画素の画像情報）を入力し、ＤＣＴを施して直交変換を行い、ＤＣＴ係数を出力する。

比較部６２は、可変長復号部４１から分離画像Ａの量子化情報を、ＤＣＴ部６１からＤＣＴ係数を入力し、両者を比較する。量子化情報における各成分に対する量子化値をＱ［ｕ］［ｖ］、ＤＣＴ係数における各成分の値をＤＣＴ［ｕ］［ｖ］とすると、例えば以下に示す比較制限を行う。
for(u=0;u<8;u++){
for(v=0;v<8;v++){
if(DCT[u][v]>Q[u][v]/a) DCT[u][v]=Q[u][v]/a;
}
}
ここで、ａはシステム設計によって予め設定される変数であり、例えばａ＝２．０である。すなわち、ＤＣＴ部６１は、ＤＣＴ［ｕ］［ｖ］＞Ｑ［ｕ］［ｖ］／ａの場合に、Ｑ［ｕ］［ｖ］／ａ（制限したＤＣＴ係数）を出力し、ＤＣＴ［ｕ］［ｖ］≦Ｑ［ｕ］［ｖ］／ａの場合に、ＤＣＴ［ｕ］［ｖ］（ＤＣＴ係数）を出力する。

ＩＤＣＴ部６３は、比較部６２からＤＣＴ係数または制限されたＤＣＴ係数を入力し、ＩＤＣＴを施して逆直交変換を行い、画素情報に変換して加算部４８に出力する。

図７に戻って、加算部４８は、分離部４４から分離画像Ａの復号画像を、制限部５０から画素情報をそれぞれ入力し、これらを加算して新たな分離画像Ａの復号画像を出力する。すなわち、加算部４８は、分離画像Ａの復号画像に、分離画像Ａの量子化誤差予測信号または制限された量子化誤差予測信号を加算し、新たな分離画像Ａの復号画像を出力する。また、加算部４９は、分離部４４から分離画像Ｂの予測信号（Ｂｌｏｃｋ２対応位置の８×８画素の画像情報）を、分離部４７から分離画像Ｂの予測差分信号をそれぞれ入力し、これらを加算して分離画像Ｂの復号画像を出力する。すなわち、加算部４９は、分離画像Ｂの予測信号に分離画像Ｂの予測差分信号を加算し、分離画像Ｂの復号画像を出力する。

合成部５１は、加算部４８から新たな分離画像Ａの復号画像を、加算部４９から分離画像Ｂの復号画像をそれぞれ入力し、これらの復号画像を元の画像配置に合成し、ベースバンド信号として図示しないメモリに展開する。

このように、本発明の実施の形態による復号装置４０によれば、分離画像Ａの量子化誤差予測信号または制限した量子化誤差予測信号を用いることにより、分離画像Ａの復号画像を生成すると共に、分離画像Ｂの予測差分信号を用いることにより、分離画像Ｂの復号画像を生成するようにした。これにより、１／２逆直交変換により得られた分離画像Ａの結果と逆直交変換により得られた分離画像Ｂの結果とを加算する図６に示した復号装置３０に比べて、復号装置４０の方が、再生品質を一層向上させた画像を得ることができる。

以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上記実施の形態は、符号化対象となる画素密度を１／２にした場合の符号化方法について説明した。すなわち、符号化装置１０において、分離部１１が１／２の画素密度の分離画像Ａ，Ｂを生成し、１／２画素逆直交変換部１８が１／２画素逆直交変換を行うようにした。これに対し、分離部１１が１／４、１／１６等の画素密度の分離画像を生成し、図示しない可変密度逆直直交変換部（１／ｎ画素逆直交変換部）が１／４、１／１６等の画素逆直交変換を行うようにしてもよい。この場合、減算部１９が、１／ｎ画素逆直交変換部からの予測信号と分離画像の信号との間の差分信号を生成し、可変長符号化部１５が、当該差分信号を用いて繰り返し符号化することにより、可変密度直交変換符号化を実現することができる。

図１に示した１／２画素逆直交変換部１８に代わる１／ｎ画素逆直交変換部は、前述したＩＤＣＴの（２）式において、信号ｘ及びｙを１／ｎ刻みにすればよいから、ｘをｘ／ｎとし、ｙをｙ／ｎとすることにより実現することができる。この場合の１／ｎ画素精度逆変換式は、以下のとおりである。

また、１／ｎ画素逆直交変換部は、１／ｎ画素のＩＤＳＴにも適用することができる。

また、図１に示した符号化装置１０と図４に示した復号装置３０とを備えた画像処理システムを構成するようにしてもよい。

本発明の実施の形態による符号化装置の構成を示すブロック図である。 図１の分離部１１の機能を説明する図である。 図１の直交変換部１３−２の構成を示すブロック図である。 菱形直交変換のための画素信号の４５°回転を説明する図である。 菱形直交変換のための画素信号の分離を説明する図である。 本発明の実施の形態による復号装置の構成を示すブロック図である。 本発明の実施の形態による復号装置の他の例の構成を示すブロック図である。 図７の制限部５０の構成を示すブロック図である。

符号の説明

１０ 符号化装置
１１ 分離部
１２ 並べ替え部
１３ 直交変換部
１４ 量子化部
１５ 可変長符号化部
１６ バッファ
１７ 逆量子化部
１８ １／２画素逆直交変換部
１９ 減算部
２１ 遅延部
２２ 判定部
２３，２６ スイッチ
２４ ＤＣＴ部
２５ ＤＳＴ部
３０，４０ 復号装置
３１，４１ 可変長復号部
３２，４２，４５ 逆量子化部
３３，４６ １／２画素逆直交変換部
３４ 遅延部
３５ 逆直交変換部
３６，４８，４９ 加算部
３７ 並べ替え部
４３ １／２画素逆ＤＣＴ部
４４，４７ 分離部
５０ 制限部
５１ 合成部
６１ ＤＣＴ部
６２ 比較部
６３ ＩＤＣＴ部

Claims (6)

1. 映像信号の画像を構成する小領域毎のベースバンド信号に直交変換、量子化及び可変長符号化を施す画像符号化装置において、
   前記小領域毎のベースバンド信号における正方画素信号を４５°方向に回転させた上で、１画素毎に交互に分離し、第１の分離画像及び第２の分離画像を生成する分離部と、
   前記第１の分離画像の画素を符号化単位の正方画素として並べ替える第１の並べ替え部と、
   前記第２の分離画像の画素を符号化単位の正方画素として並べ替える第２の並べ替え部と、
   前記並べ替えた第１の分離画像に対して第１の直交変換を施し、さらに第１の量子化を施す第１の直交変換・量子化部と、
   前記第１の直交変換及び前記第１の量子化が施された信号に対し、逆量子化を施す逆量子化部と、
   前記逆量子化の結果に対し、１／ｎ（ｎは２以上の自然数）の画素精度により逆直交変換を施し、前記並べ替えた第２の分離画像の対応する画素部分を予測する１／ｎ画素逆直交変換部と、
   前記逆直交変換が施された信号と、前記分離部により生成された前記並べ替えた第２の分離画像の信号との間の差分信号を求める減算部と、
   前記差分信号に対して第２の直交変換を施し、さらに第２の量子化を施す第２の直交変換・量子化部と、
   前記第１の直交変換・量子化部によって量子化された信号、及び、前記第２の直交変換・量子化部によって量子化された信号に対し、可変長符号化を施す可変長符号化部と、
   を備えたことを特徴とする画像符号化装置。
2. 請求項１に記載の画像符号化装置において、
   前記第２の直交変換・量子化部は、
   前記第２の直交変換として、前記差分信号における隣接画素間の画素相関を演算し、相関値が所定の設定値以上の場合はＤＣＴを選択し、前記相関値が前記所定の設定値未満の場合はＤＳＴを選択して、前記差分信号に対し直交変換を施す直交変換部と、
   前記第２の直交変換によって得られる直交変換係数に対して量子化を施す量子化部と、
   を備えることを特徴とする画像符号化装置。
3. 請求項１または２に記載の画像符号化装置により符号化されたビットストリーム信号を受信して復号する画像復号装置であって、
   前記ビットストリーム信号を入力し、可変長復号を施し、前記第１の直交変換・量子化部によって量子化された信号、及び、前記第２の直交変換・量子化部によって量子化された信号を識別してそれぞれ分離する可変長復号部と、
   前記可変長復号を施して得られる前記第１の直交変換・量子化部によって量子化された信号に対して逆量子化を施す第２の逆量子化部と、
   該第２の逆量子化を施して得られる直交変換係数に対して、前記１／ｎの画素精度により逆直交変換を施す第２の１／ｎ画素逆直交変換部と、
   該第２の１／ｎ画素逆直交変換部により変換が施された信号を、前記第１の分離画像の復号画像と前記第２の分離画像の予測信号とに分離する第１の分離部と、
   前記可変長復号を施して得られる前記第２の直交変換・量子化部によって量子化された信号に対して逆量子化を施す第３の逆量子化部と、
   該第３の逆量子化を施して得られる当該差分信号の直交変換係数に対して、前記１／ｎの画素精度により逆直交変換を施す第３の１／ｎ画素逆直交変換部と、
   該第３の１／ｎ画素逆直交変換部により変換が施された信号を、前記第２の分離画像の予測差分信号と前記第１の分離画像の量子化誤差予測信号とに分離する第２の分離部と、
   前記可変長復号部により復号される前記第１の分離画像の量子化情報を用いて、前記第２の分離部により分離された前記第１の分離画像の量子化誤差予測信号を制限する制限部と、
   前記第１の分離部により分離された第１の分離画像の復号画像に、前記制限部により制限された前記第１の分離画像の量子化誤差予測信号を加算し、新たな第１の分離画像の復号画像を生成する第１の加算部と、
   前記第１の分離部により分離された第２の分離画像の予測信号に、第２の分離部により分離された第２の分離画像の予測差分信号を加算し、第２の分離画像の復号画像を生成する第２の加算部と、
   前記第１の加算部により生成された新たな第１の分離画像の復号画像、及び、前記第２の加算部により生成された第２の分離画像の復号画像を合成する合成部と、
   該合成した画素信号を４５°方向に回転する手段と、
   を備えたことを特徴とする画像復号装置。
4. 請求項３に記載の画像復号装置において、
   前記可変長復号部は、前記ビットストリーム信号に、前記第２の直交変換・量子化部が用いたＤＣＴまたはＤＳＴの直交変換の種別を識別するための情報が含まれている場合に、該情報を復号する手段を有し、
   前記第３の１／ｎ画素逆直交変換部は、前記ＤＣＴまたはＤＳＴの直交変換の種別を識別するための情報に基づいて直交変換の種別を識別し、当該差分信号の直交変換係数に対して前記１／ｎの画素精度により逆直交変換を施すことを特徴とする画像復号装置。
5. 請求項３又は４に記載の画像復号装置において、
   前記制限部は、前記第１の分離画像の量子化情報に基づいた量子化値と前記第２の分離部により分離された第１の分離画像の量子化誤差予測信号における直交変換係数値とを比較し、該直交変換係数が前記量子化値よりも大きい場合に、該直交変換係数を制限して出力し、該直交変換係数が前記量子化値以下の場合に、該直交変換係数を出力することを特徴とする画像復号装置。
6. 請求項１または２に記載の画像符号化装置と、請求項３〜５のいずれか一項に記載の画像復号装置とを備えたことを特徴とする画像処理システム。

Images