JP4776505B2 - 画像符号化装置、画像復号装置及び画像処理プログラム - Google Patents

Description

本発明は、画像符号化技術に関し、特に、動画像を高効率で符号化するデジタル符号化技術に関する。

従来、デジタル映像信号を記録するために可逆又は非可逆の様々なフォーマットが、VTRやコンピュータ、デジタルカメラなどにおいて利用されている。非圧縮フォーマットの代表的なものにBMP(ビットマップ形式)、非可逆圧縮フォーマットとしてJPEGやMPEGと呼ばれる規格群がある。より具体的には、動画像を高効率で符号化するデジタル符号化方式として、例えばMPEG−2、MPEG−4、MS社のWMV、BHA社のXVD等、様々な符号化方式が提案され規格化が行われている。これらの符号化方式は、人の視覚特性を巧みに利用し、情報量を積極的に減少させることにより、動画像の符号化を実現するものであり、基本的には、直近のn×n画素で構成される小領域に対し、DCT（Discrete Cosine Transform：離散コサイン変換）に代表される直交変換を施し、直交変換係数を量子化し、可変長符号化を行うことにより、動画像の符号化を実現している。

また、異なる画角の映像信号を生成するため、アップコンバート（拡大）技術やダウンコンバート（縮小）技術等の画素補間方法に関する研究開発が行われている（非特許文献1を参照）。例えば、周波数帯域を低下させることなく欠落した画素位置における補間信号を生成し、この信号を用いて画素信号を補間する技術が開示されている（特許文献1を参照）。

高木幹雄、他1名，「画像解析ハンドブック」，東京大学出版会，1991年 特開2004−23384号公報

このような従来の符号化方式では、映像信号を隣接画素で構成される小領域に分割し、小領域毎に符号化を行い、小領域内の画素の性質により量子化の程度を変動させている。しかしながら、HDTV（High Definition TV：ハイビジョンTV）を更に超える走査線数の動画像に従来の符号化方式を適用すると、同様の小領域に分割して符号化を行う必要があるため、小領域の数が膨大になってしまう。例えば、現行の標準TVにおいて720×480の映像信号の場合、MPEG−2の符号化最小単位である8×8画素の小領域は5400個である。これに対し、HDTVにおいて1920×1080の映像信号の場合、その小領域は32400個となり、スーパーハイビジョンにおいて7680×4320の映像信号の場合、その小領域は518400個となる。

小領域に含まれる信号には符号化が平易な領域と符号化が難解な領域とがあり、これらの情報量の差は、映像信号の高解像度化により大きくなってしまう。このため、符号化が平易な領域の数が多くなると、伝送する映像の情報量に対する制御情報量が多くなるため、符号化効率が低下する。

また、BMP形式のファイルフォーマットは、映像信号を圧縮しないフォーマットであり,高品質であるが記録媒体の記録領域消費が増大する。一方、静止画におけるJPEGや動画におけるMPEG符号化方式は、高品質を維持したまま高い圧縮性能を示す符号化方式であるが、過度の圧縮が行われた場合、符号化領域が矩形に並んでいるため、符号化の最小単位の圧縮率の違いが、ブロック歪みとなって現れやすい。符号化最小単位を大きくすることでブロック歪みの低減を図ることができるが、この場合、画像の性質に応じた圧縮率の適応的な変化をつけにくくなり、画像品質の低下につながりやすい。

そこで、本発明は、かかる課題を解決するためになされたものであり、その目的は、高効率符号化を実現可能な画像符号化装置、画像復号装置及び画像処理プログラムを提供することにある。

一般に、画面内を小領域に分割した場合、映像信号の高解像度化により、小領域間の信号の活性度（複雑さ）の差は大きくなる。これは、映像信号の高解像度化により、従来の映像信号では表現することができなかった緻密な物体の表現が可能となるからである。しかし、同時に、画面内の平坦な領域（符号化の容易な領域）の解像度も高まることから、この平坦な領域における信号の活性度は他の領域に比べ一層小さくなる。この平坦な領域は、隣接する領域との間の信号性質の差も小さいから、複数の領域をまとめて符号化することにより、高効率な圧縮符号化を実現することができる。例えば、H.264符号化方式等の規格では、小領域の分割方法を工夫して符号化を実現している。

また、画素間の信号を予測する、非特許文献1に記載のアップコンバート技術としてのいくつかの方法は、測定された周波数帯域からは測定できない、より高周波成分からなる画素を推定する技術である。しかし、本発明に係る画素間の信号の予測は、測定されている信号を予測する。即ち、本発明に係る画素信号予測は、符号化対象となる映像信号を例えば2つの分離画像として分離し、相関の高い隣接画素からなる第1の分離画像（原信号）を用いて第2の分離画像（補間信号）を生成する（以下、オーバーサンプリングと称する）。これは、第2の分離画像の低周波成分による補間信号は、第１の分離画像の原信号との相関も高く、予測値として適切であることが多いことに基づいている。この場合、第1の分離画像は元の映像信号から第2の分離画像を間引いた信号であり、符号化情報量が少ない。また、相関の高い隣接画素からなる第1の分離画像を用いて第2の分離画像を予測するため、その予測は比較的正確になされ、第1の分離画像と第2の分離画像との間の差分信号のエネルギーは小さくなる。これにより、高効率符号化を実現することが可能となる。

更に、本発明に係る画素間の信号の予測は、オーバーサンプリング時に発生するエイリアシングによる高周波成分を抑制するために、直交変換基底と前述の補間信号との相関を利用し、その相関の強さによって、補間信号を生成する際の直交変換係数を抑制する。但し、後述するように、本来のサンプルである画素の再生には直交変換係数を抑制しないようにする。これにより、原信号は正しく逆変換により再生され、且つ、補間信号の信号値は高周波成分による雑音が抑制される。

従って、補間信号を用いて予測した画像の誤差を表す差分信号を生成して符号化すれば、符号化効率が高く、且つ、符号化対象となる映像信号において高周波成分の発生を抑えることができる。

即ち、本発明による画像符号化装置は、映像信号の画像を構成する小領域毎の画素信号に直交変換、量子化及び可変長符号化を施す画像符号化装置において、前記小領域毎の画素信号について隣接画素を分離し、複数の分離画像を生成する分離部と、前記複数の分離画像のうちの第１の分離画像の画素信号に対し直交変換及び量子化を施す直交変換・量子化部と、前記複数の分離画像のうちの他の分離画像の画素信号を予測するために、前記直交変換及び量子化が施された信号に対し、逆量子化を施す逆量子化部と、前記逆量子化部から得られる直交変換係数に、前記第１の分離画像と前記他の分離画像との間で予め定められた重み付け係数を加味する直交変換係数重み付け部と、前記直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記他の分離画像を予測する逆直交変換部と、前記逆直交変換が施された信号と、前記分離部により生成された前記他の分離画像の信号との間の差分信号を求める減算器と、前記差分信号に直交変換及び量子化を施す差分信号直交変換・量子化部と、前記差分信号直交変換・量子化部により前記差分信号に対し直交変換及び量子化が施された信号、及び、前記直交変換・量子化部により前記第1の分離画像に対し直交変換及び量子化が施された信号に、可変長符号化を施す可変長符号化部とを備えたことを特徴とする。

ここで、好適には、前記重み付け係数が、前記第1の分離画像の直交変換の基底パターンと、前記第1の分離画像の基底パターンをオーバーサンプリングによって補間して得られる、前記他の分離画像の画素位置における補間信号との間の相関により予め規定されている。また、前記差分信号直交変換・量子化部が、前記差分信号における隣接画素の相関に応じてDCT 又はDSTの方式を選択し、前記選択した方式により直交変換を施すことが好適である。そこで、好適には、前記複数の分離画像が、2つの分離画像からなる。

また、本発明による画像復号装置は、前記可変長符号化部により符号化された信号を受信して復号する画像復号装置であって、前記可変長符号化部により符号化された信号を可変長復号する可変長復号部と、前記可変長復号部から得られる前記第１の分離画像の量子化信号に対して逆量子化を施して生成された、前記第1の分離画像を復号するための第1の直交変換係数の信号に対し、逆直交変換を施す第１の逆直交変換部と、前記第1の直交変換係数に、前記第１の分離画像と前記他の分離画像との間で予め定められた第1の重み付け係数を加味する第1の直交変換係数重み付け部と、前記第1の直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記他の分離画像に対応する予測信号を生成する第2の逆直交変換部とを備え、前記第2の逆直交変換部により生成された前記他の分離画像の予測信号、及び、前記可変長復号部から得られる前記他の分離画像の差分信号について逆量子化及び逆直交変換された信号に基づいて、前記他の分離画像の符号化信号が復号されることを特徴とする。尚、第1の重み付け係数は、前記第1の分離画像の画素位置における基底パターンをオーバーサンプリングして得られる前記他の分離画像の画素位置における基底パターンと、前記第1の分離画像の画素位置における補間信号との間の相関で決定される。

また、本発明による画像復号装置は、前記可変長復号部から得られる前記他の分離画像の差分信号の量子化信号に対して逆量子化を施して生成された、前記差分信号を復号するための第2の直交変換係数の信号に対し、逆直交変換を施して予測差分信号を生成する第3の逆直交変換部と、前記第2の直交変換係数に、前記他の分離画像と前記第１の分離画像との間で予め定められた第2の重み付け係数を加味する第2の直交変換係数重み付け部と、前記第2の直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記第１の分離画像の量子化誤差を予測するための量子化誤差予測信号を生成する第4の逆直交変換部と、前記可変長復号部から得られる信号に含まれている前記第1の分離画像の量子化情報を用いて、前記量子化誤差予測信号を制限する制限部と、前記第１の逆直交変換部により生成された前記第1の分離画像の復号信号に、前記制限部により制限された前記量子化誤差予測信号を加算し、新たな第１の分離画像の復号信号を生成する第1の加算部と、前記第2の逆直交変換部により生成された前記他の分離画像の予測信号に、前記第3の逆直交変換部により生成された前記予測差分信号を加算し、前記他の分離画像の復号信号を生成する第2の加算部と、前記第１の加算部により生成された前記新たな第１の分離画像の復号信号、及び、前記第2の加算部により生成された前記他の分離画像の復号信号を合成する合成部とを更に備えたことを特徴とする。尚、第2の重み付け係数は、前記他の分離画像の画素位置における基底パターンをオーバーサンプリングして得られる前記第1の分離画像の画素位置における補間信号と、前記他の分離画像の画素位置における基底パターンとの間の相関で決定される。

また、本発明による画像処理プログラムは、映像信号の画像を構成する小領域毎の画素信号に直交変換、量子化及び可変長符号化を施す画像符号化装置として機能するコンピュータに、前記小領域毎の画素信号について隣接画素を分離し、複数の分離画像を生成する分離部と、前記複数の分離画像のうちの第１の分離画像の画素信号に対し直交変換及び量子化を施す直交変換・量子化部と、前記逆量子化部から得られる直交変換係数に、前記第１の分離画像と前記他の分離画像との間で予め定められた重み付け係数を加味する直交変換係数重み付け部と、前記直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記他の分離画像を予測する逆直交変換部と、前記逆直交変換が施された信号と、前記分離部により生成された前記他の分離画像の信号との間の差分信号を求める減算器と、前記差分信号に直交変換及び量子化を施す差分信号直交変換・量子化部と、前記差分信号直交変換・量子化部により前記差分信号に対し直交変換及び量子化が施された信号、及び、前記直交変換・量子化部により前記第1の分離画像に対し直交変換及び量子化が施された信号に、可変長符号化を施す可変長符号化部とを実現させるためのプログラムとして特徴づけられる。

また、本発明による別の態様における画像処理プログラムは、画像符号化装置の可変長符号化部により符号化された信号を受信して復号する画像復号装置として機能するコンピュータに、前記可変長符号化部により符号化された信号を可変長復号する可変長復号部と、前記可変長復号部から得られる前記第１の分離画像の量子化信号に対して逆量子化を施して生成された、前記第1の分離画像を復号するための第1の直交変換係数の信号に対し、逆直交変換を施す第１の逆直交変換部と、前記第1の直交変換係数に、前記第１の分離画像と前記他の分離画像との間で予め定められた第1の重み付け係数を加味する第1の直交変換係数重み付け部と、前記第1の直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記他の分離画像に対応する予測信号を生成する第2の逆直交変換部と、前記可変長復号部から得られる前記他の分離画像の差分信号の量子化信号に対して逆量子化を施して生成された、前記差分信号を復号するための第2の直交変換係数の信号に対し、逆直交変換を施して予測差分信号を生成する第3の逆直交変換部と、前記第2の直交変換係数に、前記他の分離画像と前記第１の分離画像との間で予め定められた第2の重み付け係数を加味する第2の直交変換係数重み付け部と、前記第2の直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記第１の分離画像の量子化誤差を予測するための量子化誤差予測信号を生成する第4の逆直交変換部と、前記可変長復号部から得られる信号に含まれている前記第1の分離画像の量子化情報を用いて、前記量子化誤差予測信号を制限する制限部と、前記第１の逆直交変換部により生成された前記第1の分離画像の復号信号に、前記制限部により制限された前記量子化誤差予測信号を加算し、新たな第１の分離画像の復号信号を生成する第1の加算部と、前記第2の逆直交変換部により生成された前記他の分離画像の予測信号に、前記第3の逆直交変換部により生成された前記予測差分信号を加算し、前記他の分離画像の復号信号を生成する第2の加算部と、前記第１の加算部により生成された前記新たな第１の分離画像の復号信号、及び、前記第2の加算部により生成された前記他の分離画像の復号信号を合成する合成部とを実現させるためのプログラムとして特徴づけられる。

本発明によれば、映像信号に対する高効率符号化を実現することが可能となる。また、高周波雑音成分の除去された高品位の再生画像を得ることが可能となる。

以下、本発明の実施例について図面を用いて詳細に説明する。まず、画像符号化装置について説明する。

（画像符号化装置）
図1は、本発明による実施例の符号化装置の構成を示すブロック図である。図1に示す符号化装置10は、1／2画素密度の8×8画素領域に対して直交変換を行い、符号化を実現することができる。符号化装置10は、分離部11と、直交変換部13−1と、量子化部14−1と、可変長符号化部15と、バッファ16と、直交変換部13−2と、量子化部14−2と、逆量子化部17と、直交変換係数重み付け部20と、1／2画素精度逆直交変換部18と、減算部19とを備えている。

符号化装置10が映像のベースバンド信号をフレームメモリ（図示せず）の所定の領域に格納すると、分離部11は、当該フレームメモリから所定の画素領域毎の小領域のベースバンド信号を読み出す。そして、当該ベースバンド信号の正方画素信号を1画素毎に交互に分離し、2つの分離画像A及びBを生成し、フレームメモリの所定の領域に格納する。

具体的には、分離部11は、図2の上部に示す正方配置した（2×（n−1））×（2×n）領域（n＝8）の画素信号をフレームメモリから読み出す際に、45°の回転処理を施し、図2の下部に示す画素信号として読み出す。そして、分離部11は、図2の下部に示す枠内の画素信号を、図3に示すように、分離画像Aについての8×8画素の正方画素信号と、分離画像Bについての8×8画素の正方画素信号とに分離する。このように、45°の回転処理を施すことにより、直交変換処理の処理負担又は処理速度を向上させることができる。45°の回転処理の代わりに、フレームメモリに書き込まれたベースバンド信号から分離画像A及びBを取り出す際に、画素信号が45°方向に回転するように、フレームメモリの対応するメモリアドレスから読み出して、図示しないフレームメモリに書き込むこともできる。

一般に、分離画像A及びBとして示すように、画像符号化は矩形領域の単位で行われる。この矩形領域に対して異なる圧縮率で量子化が行われた場合には、領域の境界に画像の劣化が顕著に検知されることがある。また、人間の視覚特性は、水平及び垂直パターンに比べて45°傾いた斜めパターンの感度が最も劣ることが知られている。したがって、45°傾いた斜めパターンの菱形領域毎に符号化を施した場合は、その斜めパターンの境界の画像に劣化が生じても、人間の視覚特性上認識されにくい。即ち、45°の回転処理を含む分離部11を用いた菱形直交変換の符号化方式を採用することは、符号化領域を矩形ではなく菱形の斜方形にし、隣接する領域間の境界を斜めパターンとすることになり、符号化歪みの検知量を減らすことができる。

このようにして、分離部11により、例えば15×16画素領域の映像のベースバンド信号は、黒丸に示す8×8画素の分離画像Aと、と白丸に示す8×8画素の分離画像Bとに分離される。この場合、各画素の座標は変わらない。また、分離画像A及びBは、高解像度画像（ベースバンド信号）を、2つに分離した部分画像の符号化最小単位を表している。そして、後述するように、直交変換部13−1及び量子化部14−1を介して、逆量子化部17により得られる分離画像Aの直交変換係数から、直交変換係数重み付け部20により、オーバーサンプリングを経て得られる分離画像Bの画素位置に対応する直交変換係数に対して重み付けする。その後、1／2画素精度逆直交変換部18により、分離画像Bの画素位置の信号を予測する予測信号を生成する。最終的には、分離画像Bの復号用の信号は、分離画像Bの原信号とその予測信号との差分（差分信号）を直交変換及び符号化（直交変換部13−2及び量子化部14−2）することにより生成される。以下、分離部11以降の構成要素を具体的に説明する。

直交変換部13−1は、分離部11から8×8画素の正方画素ブロックの画素信号を入力し、当該8×8画素領域に対して、例えばDCT（離散コサイン変換）を施して直交変換を行い、直交変換係数（例えばDCT係数）を出力する。

量子化部14−1は、バッファ16からバッファ量を入力し、直交変換部13−1によるDCTの結果であるDCT係数に対し、目標ビットレートに応じた量子化を施し、量子化係数を出力する。量子化部14−1により出力された量子化係数は、可変長符号化部15及び逆量子化部17に入力される。

逆量子化部17は、量子化部14−1から量子化係数を入力し、逆量子化を施し、DCT係数を出力する。

直交変換係数重み付け部20は、逆量子化部17から分離画像AのDCT係数を入力し、分離画像AのDCT係数に対し、予め規定された重み付け係数を乗じて、１/2画素精度直交変換部18に出力する。尚、重み付けを施すために用いられる重み付け係数のマトリクスは、後述する式(1)に基づいて、分離画像Aについての例えば8×8のDCT基底パターンと、分離画像Aをオーバーサンプリングすることによって得られる分離画像Bに対応する例えば8×8のDCT基底パターンとの間の相関から生成され、予め、画像符号化装置10の図示しないメモリ（ROMなど）に記憶されている（後述する表1又は表2）。

ここで、直交変換係数重み付け部20の動作について、詳しく説明する。原理上、分離画像Aと分離画像Bの画素を完全に表現するためには、16×16の直交変換係数を必要とし、8×8の直交変換係数で他方の信号（実施例では、分離画像Bの画素位置の信号）を表現するには、高周波成分の情報が足りない。そのため、逆量子化部17からのDCT係数を用いて、直交変換係数重み付け部20を介さずに、後述する1／2画素直交変換部により分離画像Bに対応する予測信号を生成すると、本来画像情報が有する高周波信号成分の高周波歪み（即ち、折り返し歪み）も、その予測信号に含まれてしまう場合がある。即ち、より効率的な画像圧縮を実現するためには、画像信号のスペクトル分布として、より高周波成分が弱いことが好ましいため、このような高周波歪みを除去することが好適となる。そこで、例えば分離画像Bの画素を予測する際に、直交変換係数重み付け部20により直交変換係数(DCT係数)の周波数成分に重み付けをし、後述する1／2画素精度逆直交変換部18により予測信号を生成することによって、上記高周波歪みを低減する。

以下、直交変換係数重み付け部20による直交変換係数への重み付けの導出方法について説明する。

例として、一般的に画像符号化で広く用いられている直交変換であるDCTの場合を説明する。図4に、図3の黒丸の画素（分離画像A）で構成されるDCT基底パターンを示す。図5に、図3の黒丸の画素（分離画像A）で構成されるDCT基底パターンから、1／2画素精度IDCTによるオーバーサンプリングによって補間して、白丸の画素（分離画像B）の位置のDCT基底パターンを示す。いずれも白丸及び黒丸のみで構成される8×8画素のDCT基底パターンである。略同一の周波数成分を有する図4及び図5に示す基底パターンは、それぞれ位相が垂直・水平方向に1／2画素ずれたパターンである。従って、各基底パターンは、構成する信号の周波数成分は同じであり、両者に相関がある。しかしながら、各基底パターンを比較すると、高周波成分になるに従って、基底を構成する周波数の周期に対して画素のずれが大きくなるため、相関が低くなっていることが分かる。このような傾向は、一般的な動画像の性質として捉えることができる。同様に、画素間距離をより粗く分離画像を生成した場合も、空間的なずれが大きくなるに伴い、各基底パターンの相関が低くなる傾向がある。

直交変換としてDCTを用いる場合、分離画像Aの画素位置におけるDCTの(u,v)次の基底パターンをf_u,v[x][y]、そのDCTによって得られるDCT係数をX[u][v]とおく。該X[u][v]の逆DCTをオーバーサンプリングし、得られる分離画像Bの画素位置の基底パターンをf’_u,v[x][y]、また分離画像Bの画素位置を予測するための新たなDCT係数をX’[u][v]とおく。(u,v)次の係数の重み付け係数w_u,vは、以下に示す式(1)によって求められる。尚、Nは画素数（8×8画素の分離画像であれば、N=8）、x及びyは画素の位置座標、uは水平周波数、vは垂直周波数とする。

また、DCT係数X’[u][v]は、重み付け係数w_u,v 及びDCT係数X[u][v]から式(2)から得られる。

例えば、直交変換としてDCTのTYPE-IIを用い、図3に示す画素配置における分離画像Aから分離画像Bを予測する際に用いる重み付け係数w_u,vのマトリクスは、表1のように表される。

表1に示すマトリックスは、目的とする性能に応じて精度を設定し、画像符号化装置又は画像復号装置内のメモリ（例えばROMなど）に予め記憶されており、DCT係数の重み付け時に使用される。

同様に、例えば、直交変換としてDSTのTYPE-IIを用い、図3に示す画素配置における分離画像Bから分離画像Aを予測する際に用いる重み付け係数w_u,vのマトリクスは、表2のように表される。

表2に示すマトリックスは、目的とする性能に応じて精度を設定し、画像符号化装置又は画像復号装置内のメモリ（例えばROMなど）に予め記憶されており、DST係数の重み付け時に使用される。

このように、直交変換係数重み付け部20では、分離画像Aの画素ブロックと、分離画像Aをオーバーサンプリングすることによって得られる分離画像Bの画素位置に対応する画素ブロックとの間の基底のずれを補正するための予め規定された重み付け係数のマトリクス（表1又は表2）を用いる。そして、逆量子化部から入力されるDCT係数に対し、式(2)に従って重み付けをする。これにより、差分信号のDCT係数或いはDST係数に対する電力集中度を高めることができる。重み付けされたDCT係数は、1／2画素精度逆直交変換部18へと送出される。尚、後述するように、画像復号装置40の直交変換係数重み付け部46−1及び46−2においても同様に、式(1)及び(2)に基づいて作成される重み付け係数のマトリクスは用いられる。特に、直交変換係数重み付け部46−2で、分離画像Bの差分信号の直交変換係数に対して加味される重み付け係数も、式(1)及び(2)と同様に算出することができる。

1／2画素精度逆直交変換部18は、直交変換係数重み付け部20により重み付けされたDCT係数を入力し、後述する式(3)により当該重み付けされたDCT係数に対し1／2画素精度で逆直交変換を施し、16×16画素の画素情報を算出する。そして、1／2画素精度逆直交変換部18は、当該16×16画素の画像情報を予測信号として出力する。ここで、1／2画素精度逆直交変換部18により出力される16×16画素の画像情報について、この画像信号のうち、分離部11により分離して生成された分離画像Bの画素位置に対応する画素部分が分離画像Bの予測信号となる。尚、1／2画素精度逆直交変換部18は、逆直交変換の計算量を減じるために、分離画像Bに対応する画素部分についてのみ逆直交変換を施すようにしてもよい。

ここで、DCT、IDCT（Inverse DCT：逆離散コサイン変換）、DST（Discrete Sine Transform：離散サイン変換）、 IDST（Inverse DST：逆離散サイン変換）の数式を以下に示す。尚、f(x,y)を画素信号、x及びyを画素の座標、f’(x’,y’)を1／2画素精度の画素信号、x’及びy’を1／2画素精度の画素の座標、F(u,v)をDCT又はDSTにより得られたDCT係数又はDST係数（直交変換係数）、uを水平周波数、及び、vを垂直周波数とする。通常のDCTの変換式は、以下のとおりである。

また、通常のIDCTの変換式は、以下のとおりである。

また、1／2画素精度逆変換式は、以下のとおりである。

また、DSTの変換式は、以下のとおりである。

また、IDSTの変換式は、以下のとおりである、

減算部19は、分離部11から8×8画素の分離画像Bの信号、及び1／2画素精度逆直交変換部18から16×16画素の予測信号をそれぞれ入力し、当該8×8画素の分離画像Bの信号と、当該信号に対応する画素部分における予測信号との間の差分信号を生成する。

直交変換部13−2は、減算部19により生成された差分信号を入力し、当該8×8画素領域に対して直交変換を施す。ここで、直交変換部13−2は、直交変換方式として、DCT及びDSTのいずれか一方を選択することができる。DCT及びDSTは、直交変換として一般に用いられる手法である。一般に、符号化効率を考慮して、DCTは、その性質上隣接画素間の相関が高い信号に用いられ、DSTは、相関が低い信号に用いられる。映像信号の場合は隣接画素の画素間相関が比較的高いことから、DCTが広く用いられている。この直交変換部13−2は、映像の差分信号に対して直交変換を施すが、当該差分信号は、映像信号それ自体とは異なるため、必ずしも相関が高いとは限らない。そこで、差分信号の相関に応じてDCT及びDSTのいずれか一方を選択することにより、符号化効率の高い処理を実現する。尚、DCT及びDSTのいずれを選択したかの識別子は、差分信号と共に送信すべきビットストリーム信号に含まれる。ここで、直交変換部13−2が、DCT及びDSTのいずれか一方のみを用いるように予め規定しておくこともできる。

図6は、直交変換部13−2の構成を示すブロック図である。この直交変換部13−2は、遅延部21と、判定部22と、スイッチ23と、DCT部24と、DST部25と、スイッチ26とを備えている。判定部22は、減算部19により生成された差分信号を入力し、隣接画素間の画素相関を演算する。そして、相関値σが設定値α以上の場合はDCTを選択し、相関値σが設定値α未満の場合はDSTを選択する。例えば、α＝0.5である。遅延部21は、判定部22の処理による遅延量を調整する。スイッチ23及び26は、判定部22によりDCTを選択した場合にはDCT部24側を選択し、DSTを選択した場合はDST部25側を選択する。DCT部24は、前記差分信号を入力し、DCTを施して直交変換を行い、DCT係数を出力する。また、DST部25は、前記差分信号を入力し、DSTを施して直交変換を行い、DST係数を出力する。

図1において、量子化部14−2は、バッファ16からバッファ量を入力し、直交変換部13−2による直交変換の結果であるDCT係数又はDST係数の直交変換係数に対し、目標ビットレートに応じた量子化を施し、量子化係数を出力する。

可変長符号化部15は、量子化部14−1及び14−2から量子化係数をそれぞれ入力し、各量子化係数に対し、例えばISO／IEC13818−2の規定における量子化された直交変換係数を、ランレングス符号化を用いた符号化手法により符号化し、バッファ16を介して、可変長符号に変換されたビットストリーム信号として出力する。このビットストリーム信号は、分離画像Aの情報であることを識別するための符号、量子化係数の可変長符号、最後の量子化係数の可変長符号の後に付加され量子化係数の終了を示すための終了符号により構成される分離画像Aの信号と、分離画像Bの情報であることを識別するための符号、図6に示した直交変換部13−2が使用した直交変換（DCT又はDST）を識別するための符号、量子化係数の可変長符号、最後の量子化係数の可変長符号の後に付加され量子化係数の終了を示すための終了符号により構成される分離画像Bの信号とにより構成される。即ち、可変長符号化部15は、可変長符号化により、分離画像Aを識別するための符号を出力し、その量子化係数の可変長符号を出力し、その量子化係数の終了を示すための終了符号を出力し、更に、分離画像Bを識別するための符号を出力し、直交変換を識別するための符号を出力し、その量子化係数の可変長符号を出力し、その量子化係数の終了を示すための終了符号を出力する。

このように、本発明の実施例による画像符号化装置10によれば、分離部11がベースバンド信号を１画素毎に交互に分離して分離画像A及びBを生成し、1／2画素精度逆直交変換部18が、DCT係数重み付け部20により重み付けされたDCT係数に基づいて、分離画像Aを用いて分離画像Bの画素信号を予測し、減算部19が分離画像Bの画素信号と分離画像Bの予測信号との間の差分信号を出力し、可変長符号化部15が分離画像Aの画素信号及び分離画像Bの差分信号を符号化するようにした。分離画像Bの予測信号は、分離画像Bの画素について近傍の画素からなる分離画像Aを用いて生成されるため、比較的正確な信号となり得る。これにより、分離画像Bの差分信号は、活性度が小さく平坦な信号となり、分離画像Bをそのまま符号化する場合に比べ、符号化効率は高くなる。また、分離画像Aの画素信号は、ベースバンド信号から分離画像Bを間引いた信号であるため、符号化情報量は半分になる。つまり、画像符号化装置10によれば、分離画像A及びBをそのまま符号化する場合に比べ、高効率符号化を実現することが可能となり、且つ、効果的に不要な高周波成分を除去できる。

また、基本画像信号と予測差分信号の直交変換に、特にDCTとDSTのように異なる性質の直交変換を組み合わせることによって、ブロック歪みを検知しにくくすることができ、低解像度の分離画像A又はBに高解像度画像を構成すべき高周波成分が含まれていないにも関わらず、オーバーサンプリングによって生じうる補間信号内の高周波成分を、効果的に除去することができ、結果的に予測歪み（即ち、高周波歪み）を低減させることができる。言い換えれば、多くの場合、分離画像A又はBにほとんど含まれない予測歪みの信号成分を除去することは、差分信号の直交変換係数の電力集中度を向上させることになり、処理対象の映像の圧縮率を向上させることができるようになる。

尚、画像符号化装置10に備えられる分離部11は、ベースバンド信号を分離画像A及びBに分離するようにしたが、例えば矩形に分離する場合は、4つの分離画像に分離するようにしてもよいし、分離する画像の数を限定するものではない。また、分離部11は、フレームメモリから15×16画素領域毎の小領域のベースバンド信号を読み出すようにしたが、読み出し単位はこれに限定されるものではない。

また、直交変換部13−2は、DCT部24及びDST部25を選択する構成としたが、いずれか一方の直交変換機能のみを有する構成とするようにしてもよい。これにより、小規模回路により符号化を実現することができ、簡便な構成となり得る。

また、直交変換部13−1は、DCTによる直交変換を行うようにしたが、直交変換部13−2と同じように、DCT又はDSTのいずれか一方を選択するようにしてもよい。この場合、直交変換部13−1及び13−2は、共に前述の選択機能を有するが、図１に示したように最初（第１回目）の演算、つまり直交変換部13−1をDCTに固定することにより、回路の小規模化を図ることができる。

また、量子化部14−2は、入力した全ての直交変換係数を0に量子化した場合に、量子化係数を出力しないようにしてもよい。この場合、可変長符号化部15は、量子化部14−2から量子化係数を入力しないから、量子化部14−2側の符号化を施す必要がない。これにより、出力するビットストリーム信号は量子化部14−1側の信号のみで済むから、実質的に符号化情報を1／2にすることができる。

次に、本発明による一実施例の画像復号装置について説明する前に、まず、本発明による一実施例の復号原理について説明する。

（復号原理）
図7に、一方の分離画像から生成される復号信号及び一方の分離画像から生成される他方の分離画像の画素位置に対応する予測信号を生成するブロック図を示す。図7に示すように、画像符号化装置10からのビットストリーム信号を復号する際に、例えば、ビットストリーム信号を可変長復号及び逆量子化を施して得られる分離画像Aの直交変換係数の信号は、逆直交変換部45及び直交変換係数重み付け部46に入力される。即ち、該直交変換係数の信号は、重み付け係数w_u,vを使用する直交変換係数重み付け部46に入力されるととともに、重み付け係数w_u,vを使用しない逆直交変換部45にも入力される。従って、逆直交変換部45及び直交変換係数重み付け部46に入力される直交変換係数は、共に同一であるが、逆量子化した後の処理で、重み付け係数w_u,vを使用するか否かに基づいて分岐される。例えば、逆直交変換部45は、画像符号化装置10により使用されたDCT又はDSTに対応して、IDCT又はIDSTを施し、分離画像Aの復号信号を生成する。直交変換係数重み付け部46は、入力された分離画像Aの直交変換係数の信号X[u][v]から、予め規定されている重み付け係数（表1又は表2）を用いて、前述した式(2)に対応する直交変換係数X’[u][v]を算出し、1／2画素精度逆直交変換部43に送出する。1／2画素精度逆直交変換部43は、入力された直交変換係数X’[u][v]から、1／2画素精度の逆直交変換を施し、分離画像Bの画素位置に対応する予測信号を生成する。

このようにして、分離画像Aからは、分離画像Aの復号信号と分離画像Bに対応する予測信号を生成する。生成されたその予測信号は、後述する加算部49により、画像符号化装置10から送出された差分信号に基づいて得られる分離画像Bの予測差分信号と加算して、分離画像Bを生成することができる。これらの処理は、後述する画像復号装置において、詳しく説明する。

次に、本発明による一実施例の画像復号装置について説明する。

（画像復号装置）
図8は、本発明の実施の形態による復号装置の他の例の構成を示すブロック図である。この画像復号装置40は、可変長復号部41と、逆量子化部42−1及び42−2と、直交変換係数重み付け部46−1及び46−2と、1／2画素精度逆直交変換部43−1及び43−2と、逆直交変換部45−1及び45−2と、加算部48及び49と、制限部50と、合成部51とを備えている。

可変長復号部41は、図1に示した画像符号化装置10からビットストリーム信号を入力し、可変長復号を施す。具体的には、分離画像A及び分離画像Bを識別するための情報、量子化情報、DCT又はDSTの直交変換の種別を識別するための情報、直交変換係数情報等を復号する。可変長復号部41は、可変長復号後、識別した分離画像A及び分離画像Bの量子化信号を、それぞれ逆量子化部42−1及び42−2に送出する。

逆量子化部42−1は、識別された分離画像Aの量子化信号を入力し、逆量子化を施して直交変換係数の信号を生成し、直交変換係数重み付け部46−1及び逆直交変換部45−1に送出する。

即ち、直交変換係数重み付け部46−1に入力される信号は、重み付け係数w_u,vを使用するための直交変換係数の信号（分離画像Bの復号用）として用いられ、逆直交変換部45−1に入力される信号は、重み付け係数w_u,vを使用しない直交変換係数の信号（分離画像Aの復号用）として用いられる。

逆直交変換部45−1は、逆量子化部42−1から分離画像Aの直交変換係数の信号を入力し、逆直交変換（例えば式(4)に示すIDCT）を施して分離画像Aの復号信号を生成し、加算部48に送出する。

直交変換係数重み付け部46−1は、入力された分離画像Aの直交変換係数の信号から、予め規定されている重み付け係数（表1又は表2）を用いて、前述した式(2)に対応する直交変換係数X’[u][v]を算出し、1／2画素精度逆直交変換部43に送出する。1／2画素精度逆直交変換部43−1に送出する。ここで、前述の画像符号化装置10 と同様に、重み付け係数w_u,vからなるマトリクスを、画像復号装置側で図示しないメモリ（ROMなど）に予め記憶させておく。好適には、画像復号装置40は、予め画像符号化装置10から送出されたビットストリーム信号に含まれる、重み付け係数w_u,vからなるマトリクスを用いる。例えば、画像符号化装置10の直交変換部13−1で、DCTが用いられていた場合には、直交変換係数重み付け部46−1は、表1に示すような重み付け係数w_u,vからなるマトリクスが用いられる。

1／2画素精度逆直交変換部43−1は、直交変換係数重み付け部46−1から重み付け後の直交変換係数X’[u][v]の信号を入力し、1／2画素精度の逆直交変換を施す（例えば式(5)に示す1／2画素精度のIDCT）。これにより、16×16画素の画像情報として、分離画像Bの画素位置に対応する予測信号を生成し、加算部49に送出する。ここで、可変長復号部41が、ビットストリーム信号の先頭から復号を始めた場合には、可変長復号部41により、分離画像Aの量子化情報、及び量子化された直交変換係数情報が復号される。このようにして、逆量子化部42−1及び1／2画素精度逆直交変換部43−1により、例えば分離画像Aの8×8のDCT係数の信号から16×16画素の画像情報の信号を生成し、分離画像Bの画素位置に対応する8×8の予測信号を生成することができる。

逆量子化部42−2は、可変長復号部41により可変長復号され、識別された分離画像Bを復号するための差分信号に対し、逆量子化を施して差分信号の直交変換係数の信号を生成し、直交変換係数重み付け部46−2及び逆直交変換部45−2に送出する。

即ち、直交変換係数重み付け部46−2に入力される信号は、重み付け係数w_u,vを使用するための直交変換係数の信号（分離画像Aの復号用）として用いられ、逆直交変換部45−2に入力される信号は、重み付け係数w_u,vを使用しない直交変換係数の信号（分離画像Bの復号用）として用いられる。

逆直交変換部45−2は、逆量子化部42−2から分離画像Bの差分信号の直交変換係数の信号を入力し、逆直交変換（例えば式(4) 又は後述する式(7)に示すIDCT又はIDST）を施して分離画像Bを復号するための差分信号（以下、予測差分信号と称する）を生成し、加算部49に送出する。

直交変換係数重み付け部46−2は、入力された分離画像Bの差分信号の直交変換係数の信号から、予め規定されている重み付け係数（表1又は表2）を用いて、前述した式(2)に対応する直交変換係数X’[u][v]を算出し、1／2画素精度逆直交変換部43−2に送出する。ここで、前述の画像符号化装置10 と同様に、重み付け係数w_u,vからなるマトリクスを、画像復号装置側で図示しないメモリ（ROMなど）に予め記憶させておく。好適には、画像復号装置40は、予め画像符号化装置10から送出されたビットストリーム信号に含まれる、重み付け係数w_u,vからなるマトリクスを用いる。例えば、画像符号化装置10の直交変換部13−2で、DSTが用いられていた場合には、直交変換係数重み付け部46−2は、表2に示すような重み付け係数w_u,vからなるマトリクスが用いられる。

1／2画素精度逆直交変換部43−2は、直交変換係数重み付け部46−2から直交変換係数の信号X’[u][v]を入力し、使用された直交変換の種別を識別し、IDCT又はIDSTを選択し、1／2画素精度の逆直交変換を施す（例えば式(5) 又は後述する式(8)に示す1／2画素精度のIDCT又はIDST）。これにより、16×16画素の差分信号の画像情報として、分離画像Aの量子化誤差を予測するための信号（以下、量子化誤差予測信号）を生成し、制限部50に送出する。

ここで、可変長復号部41がビットストリーム信号の先頭から復号を始めた場合には、可変長復号部41により、前述の分離画像Aの量子化情報及び量子化された直交変換係数情報に引き続き、分離画像Bの差分信号の量子化された直交変換係数情報が復号される。このようにして、逆量子化部42−2及び1／2画素精度逆直交変換部43−2により、分離画像Bの差分信号の8×8の直交変換係数から16×16画素の差分の画像情報の信号を生成し、分離画像Aの画素位置に対応する8×8の量子化誤差予測信号を生成することができる。

尚、1／2画素精度逆直交変換部43−2において、分離画像A及びBに対応する画素についてのみの逆変換を行うようにしてもよい。これにより、逆変換の演算回数を半分に減らすことができる。

制限部50は、逆直交変換部45−1により生成された分離画像Aの復号信号を入力すると共に、1／2画素精度逆直交変換部43−2から分離画像Aの量子化誤差予測信号を入力し、両者を比較し、分離画像Aの量子化誤差予測信号が所定の量子化範囲内の信号である場合に、当該分離画像Ａの量子化誤差予測信号を出力し、量子化範囲内の信号でない場合に、分離画像Aの量子化情報に基づいた信号を出力する。

図9は、図8に示した制限部50の構成を示すブロック図である。制限部50の構成は、画像符号化装置10の直交変換部13−1における分離画像Aに用いた直交変換と、同一の直交変換部と逆直交変換部で構成される。図9に示す制限部50の構成は、画像符号化装置10の直交変換部13−1でDCTが用いられた場合（即ち、分離画像AがDCTで符号化されていた場合）の構成例である。この制限部50は、DCT部61と、比較部62と、IDCT部63とを備えている。DCT部61は、1／2画素精度逆直交変換部43−2から分離画像Aの量子化誤差予測信号（8×8画素の差分の画像情報）を入力し、DCTを施して直交変換を行い、DCT係数を出力する。

比較部62は、可変長復号部41から分離画像Aの量子化情報を、DCT部61からDCT係数を入力し、両者を比較する。量子化情報における各成分に対する量子化値をQ[u][v]、DCT係数における各成分の値をDCT[u][v]とすると、例えば以下に示す比較制限を行う。
for(u=0;u<8;u++){
for(v=0;v<8;v++){
if(DCT[u][v]>Q[u][v]/a) DCT[u][v]=Q[u][v]/a;
}
}
ここで、aは、システム設計によって予め設定される変数であり、例えばa＝2.0である。即ち、DCT部61は、DCT[u][v]＞Q[u][v]／aの場合に、Q[u][v]／a（制限したDCT係数）を出力し、DCT[u][v]≦Q[u][v]／aの場合に、DCT[u][v]（DCT係数）を出力する。

IDCT部63は、比較部62からDCT係数又は制限されたDCT係数を入力し、IDCTを施して逆直交変換を行い、画素情報に変換して加算部48に出力する。

図8において、加算部48は、逆直交変換部45−1から分離画像Aの復号信号と、制限部50からの画素情報の信号とをそれぞれ入力し、これらを加算して新たな分離画像Aの復号信号を出力する。即ち、加算部48は、分離画像Aの復号信号に、分離画像Aの量子化誤差予測信号又は制限された量子化誤差予測信号を加算し、新たな分離画像Aの復号信号を合成部51に送出する。また、加算部49は、1／2画素精度逆直交変換部43−1からの分離画像Bの予測信号と、逆直交変換部45−2から分離画像Bの予測差分信号とをそれぞれ入力し、これらを加算して分離画像Bの復号信号を出力する。即ち、加算部49は、分離画像Aから予測した分離画像Bの予測信号に、分離画像Bの予測差分信号を加算し、分離画像Bの復号信号を合成部51に出力する。

合成部51は、加算部48からの新たな分離画像Aの復号信号と、加算部49から分離画像Bの復号信号とをそれぞれ入力し、これらの復号信号を元の画像配置の信号に合成し、ベースバンド信号として図示しないメモリに格納する。

このように、本発明の一実施例による画像復号装置40によれば、分離画像Aの量子化誤差予測信号又は制限した量子化誤差予測信号を用いて、分離画像Aの復号信号を生成すると共に、分離画像Bの予測差分信号を用いて、分離画像Bの復号信号を生成する。上述した実施例の画像復号装置以外にも、単に、1／2画素精度逆直交変換により得られる分離画像Aの結果と、逆直交変換により得られる分離画像Bの結果とを加算することができる。しかしながら、上述した実施例による画像復号装置40であれば、再生品質を一層向上させた画像を得ることができる。

以上、実施例を挙げて本発明を説明したが、本発明は上記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上記実施例は、符号化対象となる画素密度を1／2にした場合の符号化方法について説明した。即ち、画像符号化装置10において、分離部11が1／2の画素密度の分離画像A及びBを生成し、1／2画素精度逆直交変換部18が1／2画素逆直交変換を行うようにした。これに対し、分離部11が、1／4、1／16等の画素密度の分離画像を生成し、図示しない可変密度逆直交変換部（1／n画素逆直交変換部）が1／4、1／16等の画素逆直交変換を行うようにしてもよい。この場合、減算部19が、1／n画素逆直交変換部からの予測信号と分離画像の信号との間の差分信号を生成し、可変長符号化部15が、当該差分信号を用いて繰り返し符号化することにより、可変密度直交変換符号化を実現することができる。

例えば、図1に示した1／2画素精度逆直交変換部18に代わる1／n画素逆直交変換部は、前述したIDCTの式(4)において、信号x及びyを1／n刻みにすればよいから、xをx／nとし、yをy／nとすることにより実現することができる。この場合の1／n画素精度逆変換式は、以下のとおりである。

また、1／n画素逆直交変換部は、1／n画素のIDSTにも適用することができる。

上述した実施例において、DCTの直交変換部13−1とDSTの直交変換部13−2の組み合わせに限定するものではなく、DCTの直交変換部13−1とDCTの直交変換部13−2の組み合わせなど、同一の直交変換でも符号化効率の改善を図ることができ、その他の直交変換を用いてもよい。その場合、前述したように、適宜、画像復号装置も対応できるように、DCT又はDSTのいずれを選択したかが分かるように、画像符号化装置から選択情報としての識別子が送出される。

また、上述した実施例では、分離画像の分離の仕方として最密な二つの分離画像として示したが、例えば図10に示すような画素配置の4つの分離画像に分割することも可能である。また、この場合の重み付け係数の導出方法は、前述と同様に、直交変換基底のオーバーサンプリングにより他の分離画像の画素位置の信号を補間し、その信号と直交変換基底との相関によって決めればよい。更に、式(1)及び／又は式(2)により相関関係を規定する手法以外で第1の分離画像と他の分離画像との間の相関関係を規定する場合にも、表1又は表2に示すような直交変換係数に対して重み付けを加味するためのマトリクスを、画像符号化装置又は画像復号装置のメモリ（ROMなど）に予め記憶しておくことにより、本発明を実現することができる。

更に、本発明の一態様として、画像符号化装置10又は画像復号装置40を、各装置として機能するコンピュータとしてそれぞれ構成させることができる。コンピュータに、前述した各構成要素（直交変換部など）を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはROM又はRAMなどの内部記憶装置で実現することができる。各コンピュータに備えられる制御部は、中央演算処理装置（CPU）などの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各成要素の機能をハードウェアの全部又は一部で実現しても良い。

上述した実施例において、各構成要素の機能を実現するための処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録装置、半導体メモリ等どのようなものでもよい。

また、この処理内容を記述したプログラムを、例えばDVD又はCD-ROMなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばIPなどのネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。尚、本態様におけるプログラムには、電子計算機の処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないが、コンピュータの処理を規定する性質を有するデータ等）を含むものとする。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、画像符号化装置及び／又は画像復号装置の直交変換係数重み付け部と1／2画素精度逆直交変換部の処理は、同時に行っても良い。また、1／2画素精度逆直交変換部43−1の処理から、一連の処理として、逆直交変換部45−1の処理を構成させることもできる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明によれば、映像信号のイントラ符号化において圧縮率の高い符号化を実現することができるので、記録媒体の使用効率を上げ、映像伝送帯域の利用効率を上げることができるようになり、動画像を扱う記録媒体及び／又は記録システム、並びに放送システムに有用である。

本発明による一実施例の画像符号化装置の構成を示すブロック図である。 菱形直交変換のための画素信号の45°回転を説明する図である。 菱形直交変換のための画素信号の分離を説明する図である。 分離画像AのDCT基底パターンの一例を示す図である。 分離画像Aの1／2画素精度IDCTによるオーバーサンプリングによって、補間した分離画像Bに対応するDCT基底パターンの一例を示す図である。 図1の直交変換部13−2の構成を示すブロック図である。 一方の分離画像から生成される復号信号及び一方の分離画像から生成される他方の分離画像の画素位置に対応する予測信号を生成するブロック図である。 本発明による一実施例の画像復号装置の構成を示すブロック図である。 制限部50の構成を示すブロック図である。 4つの分離画像に分割する画素配置を示す図である。

符号の説明

10 画像符号化装置
11 分離部
13−1, 13−2 直交変換部
14−1,14−2 量子化部
15 可変長符号化部
16 バッファ
17 逆量子化部
18 1／2画素精度逆直交変換部
19 減算部
20 直交変換係数重み付け部
40 画像復号装置
41 可変長復号部
42−1,42−2 逆量子化部
43−1,43−2 1／2画素精度逆直交変換部
45−1,45−2 逆直交変換部
46−1,46−2 1／2画素精度逆直交変換部
48,49 加算部
50 制限部
51 合成部
61 DCT部
62 比較部
63 IDCT部

Claims (8)

1. 映像信号の画像を構成する小領域毎の画素信号に直交変換、量子化及び可変長符号化を施す画像符号化装置において、
   前記小領域毎の画素信号について隣接画素を分離し、複数の分離画像を生成する分離部と、
   前記複数の分離画像のうちの第１の分離画像の画素信号に対し直交変換及び量子化を施す直交変換・量子化部と、
   前記複数の分離画像のうちの他の分離画像の画素信号を予測するために、前記直交変換及び量子化が施された信号に対し、逆量子化を施す逆量子化部と、
   前記逆量子化部から得られる直交変換係数に、前記第１の分離画像と前記他の分離画像との間で予め定められた重み付け係数を加味する直交変換係数重み付け部と、
   前記直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記他の分離画像を予測する逆直交変換部と、
   前記逆直交変換が施された信号と、前記分離部により生成された前記他の分離画像の信号との間の差分信号を求める減算器と、
   前記差分信号に直交変換及び量子化を施す差分信号直交変換・量子化部と、
   前記差分信号直交変換・量子化部により前記差分信号に対し直交変換及び量子化が施された信号、及び、前記直交変換・量子化部により前記第1の分離画像に対し直交変換及び量子化が施された信号に、可変長符号化を施す可変長符号化部と、
   を備えたことを特徴とする画像符号化装置。
2. 前記重み付け係数が、前記第1の分離画像の直交変換の基底パターンと、前記第1の分離画像の基底パターンをオーバーサンプリングによって補間して得られる、前記他の分離画像の画素位置における補間信号との間の相関により予め規定されていることを特徴とする請求項1に記載の画像符号化装置。
3. 前記差分信号直交変換・量子化部が、前記差分信号における隣接画素の相関に応じてDCT 又はDSTの方式を選択し、前記選択した方式により直交変換を施すことを特徴とする請求項1又は2に記載の画像符号化装置。
4. 前記複数の分離画像が、2つの分離画像からなることを特徴とする請求項1〜3のいずれかに記載の画像符号化装置。
5. 請求項1〜4のいずれかに記載の可変長符号化部により符号化された信号を受信して復号する画像復号装置であって、
   前記可変長符号化部により符号化された信号を可変長復号する可変長復号部と、
   前記可変長復号部から得られる前記第１の分離画像の量子化信号に対して逆量子化を施して生成された、前記第1の分離画像を復号するための第1の直交変換係数の信号に対し、逆直交変換を施す第１の逆直交変換部と、
   前記第1の直交変換係数に、前記第１の分離画像と前記他の分離画像との間で予め定められた第1の重み付け係数を加味する第1の直交変換係数重み付け部と、
   前記第1の直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記他の分離画像に対応する予測信号を生成する第2の逆直交変換部とを備え、
   前記第2の逆直交変換部により生成された前記他の分離画像の予測信号、及び、前記可変長復号部から得られる前記他の分離画像の差分信号について逆量子化及び逆直交変換された信号に基づいて、前記他の分離画像の符号化信号が復号されることを特徴とする画像復号装置。
6. 前記可変長復号部から得られる前記他の分離画像の差分信号の量子化信号に対して逆量子化を施して生成された、前記差分信号を復号するための第2の直交変換係数の信号に対し、逆直交変換を施して予測差分信号を生成する第3の逆直交変換部と、
   前記第2の直交変換係数に、前記他の分離画像と前記第１の分離画像との間で予め定められた第2の重み付け係数を加味する第2の直交変換係数重み付け部と、
   前記第2の直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記第１の分離画像の量子化誤差を予測するための量子化誤差予測信号を生成する第4の逆直交変換部と、
   前記可変長復号部から得られる信号に含まれている前記第1の分離画像の量子化情報を用いて、前記量子化誤差予測信号を制限する制限部と、
   前記第１の逆直交変換部により生成された前記第1の分離画像の復号信号に、前記制限部により制限された前記量子化誤差予測信号を加算し、新たな第１の分離画像の復号信号を生成する第1の加算部と、
   前記第2の逆直交変換部により生成された前記他の分離画像の予測信号に、前記第3の逆直交変換部により生成された前記予測差分信号を加算し、前記他の分離画像の復号信号を生成する第2の加算部と、
   前記第１の加算部により生成された前記新たな第１の分離画像の復号信号、及び、前記第2の加算部により生成された前記他の分離画像の復号信号を合成する合成部と、
   を更に備えたことを特徴とする請求項5に記載の画像復号装置。
7. 映像信号の画像を構成する小領域毎の画素信号に直交変換、量子化及び可変長符号化を施す画像符号化装置として機能するコンピュータに、
   前記小領域毎の画素信号について隣接画素を分離し、複数の分離画像を生成する分離部と、
   前記複数の分離画像のうちの第１の分離画像の画素信号に対し直交変換及び量子化を施す直交変換・量子化部と、
   前記複数の分離画像のうちの他の分離画像の画素信号を予測するために、前記直交変換及び量子化が施された信号に対し、逆量子化を施す逆量子化部と、
   前記逆量子化部から得られる直交変換係数に、前記第１の分離画像と前記他の分離画像との間で予め定められた重み付け係数を加味する直交変換係数重み付け部と、
   前記直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記他の分離画像を予測する逆直交変換部と、
   前記逆直交変換が施された信号と、前記分離部により生成された前記他の分離画像の信号との間の差分信号を求める減算器と、
   前記差分信号に直交変換及び量子化を施す差分信号直交変換・量子化部と、
   前記差分信号直交変換・量子化部により前記差分信号に対し直交変換及び量子化が施された信号、及び、前記直交変換・量子化部により前記第1の分離画像に対し直交変換及び量子化が施された信号に、可変長符号化を施す可変長符号化部と、
   を実現させるための画像処理プログラム。
8. 請求項1〜4のいずれかに記載の可変長符号化部により符号化された信号を受信して復号する画像復号装置として機能するコンピュータに、
   前記可変長符号化部により符号化された信号を可変長復号する可変長復号部と、
   前記可変長復号部から得られる前記第１の分離画像の量子化信号に対して逆量子化を施して生成された、前記第1の分離画像を復号するための第1の直交変換係数の信号に対し、逆直交変換を施す第１の逆直交変換部と、
   前記第1の直交変換係数に、前記第１の分離画像と前記他の分離画像との間で予め定められた第1の重み付け係数を加味する第1の直交変換係数重み付け部と、
   前記第1の直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記他の分離画像に対応する予測信号を生成する第2の逆直交変換部と、
   前記可変長復号部から得られる前記他の分離画像の差分信号の量子化信号に対して逆量子化を施して生成された、前記差分信号を復号するための第2の直交変換係数の信号に対し、逆直交変換を施して予測差分信号を生成する第3の逆直交変換部と、
   前記第2の直交変換係数に、前記他の分離画像と前記第１の分離画像との間で予め定められた第2の重み付け係数を加味する第2の直交変換係数重み付け部と、
   前記第2の直交変換係数重み付け部の結果に対し、逆直交変換を施し、前記第１の分離画像の量子化誤差を予測するための量子化誤差予測信号を生成する第4の逆直交変換部と、
   前記可変長復号部から得られる信号に含まれている前記第1の分離画像の量子化情報を用いて、前記量子化誤差予測信号を制限する制限部と、
   前記第１の逆直交変換部により生成された前記第1の分離画像の復号信号に、前記制限部により制限された前記量子化誤差予測信号を加算し、新たな第１の分離画像の復号信号を生成する第1の加算部と、
   前記第2の逆直交変換部により生成された前記他の分離画像の予測信号に、前記第3の逆直交変換部により生成された前記予測差分信号を加算し、前記他の分離画像の復号信号を生成する第2の加算部と、
   前記第１の加算部により生成された前記新たな第１の分離画像の復号信号、及び、前記第2の加算部により生成された前記他の分離画像の復号信号を合成する合成部と、
   を実現させるための画像処理プログラム。