JP4825227B2 - 画像復号装置及び画像処理プログラム - Google Patents

Description

本発明は、映像処理装置における画像符号化技術に関し、特に、映像信号を効率的に記憶装置に格納するための画像符号化装置、画像復号装置及び画像処理プログラムに関する。

従来、デジタル映像信号を記録するために可逆又は非可逆の様々なフォーマットが、ＶＴＲやコンピュータ、デジタルカメラなどにおいて利用されている。非圧縮フォーマットの代表的なものにＢＭＰ（ビットマップ形式）、非可逆圧縮フォーマットとしてＪＰＥＧやＭＰＥＧと呼ばれる規格群がある。これらの符号化方式は、人の視覚特性を巧みに利用し、情報量を積極的に減少させることにより、動画像の符号化を実現するものであり、基本的には、直近のＮ×Ｎ画素で構成される小領域に対し、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）又はＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散サイン変換）に代表される直交変換を施し、直交変換係数を量子化し、可変長符号化を行うことにより、動画像の符号化を実現している。

一般に、画面内を小領域に分割した場合、映像信号の高解像度化により、小領域間の信号の活性度（複雑さ）の差は大きくなる。これは、映像信号の高解像度化により、従来の映像信号では表現することができなかった緻密な物体の表現が可能となるからである。しかし、同時に、画面内の平坦な領域（符号化の容易な領域）の解像度も高まることから、この平坦な領域における信号の活性度は他の領域に比べ一層小さくなる。この平坦な領域は、隣接する領域との間の信号性質の差も小さいから、複数の領域をまとめて符号化することにより、高効率な圧縮符号化を実現することができる。例えば、Ｈ．２６４符号化方式等の規格では、小領域の分割方法を工夫して符号化を実現している。

また、画像を互いに画素を共有しない部分画像に分離し、互いに直交変換のオーバーサンプリングによる予測を用いた画像符号化装置が開示されている（例えば、特許文献１，特許文献２参照）。

特開２００７−０７４６１６号公報 特開２００７−１５１０６２号公報

従来の代表的な符号化方式では、映像信号を隣接画素で構成される小領域に分割し、小領域毎に符号化を行い、小領域内の画素の性質により量子化の程度を変動させている。そのため、ＢＭＰ形式のファイルフォーマットは、映像信号を圧縮しないフォーマットであり、高品質であるが記録媒体の記録領域消費が増大する。一方、静止画におけるＪＰＥＧや動画におけるＭＰＥＧ符号化方式は、高品質を維持したまま高い圧縮性能を示す符号化方式であるが、過度の圧縮が行われた場合、符号化領域が矩形に並んでいるため、符号化の最小単位の圧縮率の違いが、ブロック歪みとなって現れやすい。符号化最小単位を大きくすることでブロック歪みの低減を図ることができるが、この場合、画像の性質に応じた圧縮率の適応的な変化をつけにくくなり、画像品質の低下につながりやすい。そのため、特許文献１及び特許文献２に開示される方式を用いれば、ＤＣＴ及びＤＳＴを併用することにより、ブロック歪みの少ない符号化を実現させている。

特に、特許文献２に開示される方式は、符号化器において画像を画素間引きにより、好適には２つに分離し、第１の分離画像をＤＣＴの直交変換を行い、量子化後、可変長符号化するとともに、その量子化係数を逆量子化し、１／２画素精度逆ＤＣＴ変換により他の分離画像の信号を予測する予測信号を生成し、他の分離画像用の予測信号と原信号の差分に対してＤＳＴの直交変換を行い、その係数を量子化後、可変長復号し、それぞれの可変長符号化した信号を伝送する（復号側ではそれぞれ逆の処理を行う。）。このように分離画像を用いることで、ＤＣＴ及びＤＳＴと量子化との組み合わせで生じるブロック歪みの低減を図り、視覚的に良好な符号化画像を生成することができる。

しかしながら、ＤＣＴ又はＤＳＴは、同一の画素信号に適応された場合に理想的に最良の効果を示すものであるが、ＤＣＴ及びＤＳＴと量子化との組み合わせで生じるブロック歪みの低減を図るには更なる改善の余地があった。

そこで、本発明は、かかる課題を解決するためになされたものであり、その目的は、ブロック歪みの低減を図りながら高効率符号化を実現する画像符号化装置、画像復号装置及び画像処理プログラムを提供することにある。

まず、本発明に係る画素信号予測においても、特許文献１及び特許文献２に開示される方式と同様に、符号化対象となる映像信号を例えば２つの分離画像として分離し、相関の高い隣接画素からなる第１の分離画像（原信号）を用いて第２の分離画像（補間信号）を生成する（以下、オーバーサンプリングと称する）。これは、第１の分離画像の低周波成分による補間信号は、第２の分離画像の原信号との相関も高く、予測値として適切であることが多いことに基づいている。この場合、第１の分離画像は元の映像信号から第２の分離画像を間引いた信号であり、符号化情報量が少ない。また、相関の高い隣接画素からなる第１の分離画像を用いて第２の分離画像を予測するため、その予測は比較的正確になされ、第１の分離画像による第２の分離画像の予測信号と第２の分離画像との間の差分信号のエネルギーは小さくなる。これにより、高効率符号化を実現することが可能となる。

しかしながら、本発明に係る画像符号化方式においては、オーバーサンプリング時に発生するエイリアシングによる高周波成分を抑制するために、復号側でのみ、直交変換基底と前述の補間信号との相関を利用するようにする。即ち、その相関の強さによって、復号側で補間信号の直交変換係数にのみ重み付けを施すようにする。

また、本発明に係る画像符号化方式においては、特許文献１及び特許文献２に開示される方式を更に改良し、画像符号化側では、第１の分離画像（原信号）についての直交変換係数から、重み付けを施すことなく他の分離画像の予測信号を生成し、且つ各分離画像に対して、それぞれＤＣＴ及びＤＳＴのタイプ２の直交変換を施すようにする。一方で、画像復号側では、画像符号化の処理とは逆の処理を行う際に、ＤＳＴタイプ２を用いる分離画像については、ＤＳＴタイプ２の係数に逆変換とエイリアシングを考慮した重み付け係数を乗じ、１／２画素精度のＤＳＴ変換を行って所定の閾値で選択される復号信号を生成するようにする。これにより、予測した画像の誤差を表す差分信号の直交変換係数のスペクトル分布に偏りを発生させるようにした。従って、より一層ブロック歪みを低減させることができ、更に、原信号は正しく逆変換により再生され、補間信号の信号値は高周波成分による雑音がより一層抑制されるようになる。

即ち、本発明による画像復号装置は、画像符号化装置により符号化された信号を復号する画像復号装置であって、前記画像符号化装置は、小領域毎の画素信号について隣接画素を分離し、複数の分離画像を生成する分離部と、前記複数の分離画像のうちの第１の分離画像の画素信号に対しＤＣＴタイプ２の直交変換及び量子化を施す直交変換・量子化部と、前記複数の分離画像のうちの他の分離画像の画素信号を予測するために、前記直交変換及び量子化が施された信号に対し、逆量子化を施す逆量子化部と、前記逆量子化部から得られる直交変換係数に対し、ゼロを除く自然数ｎとして１／ｎ画素精度で逆直交変換を施し、前記他の分離画像を予測する第１の逆直交変換部と、前記第１の逆直交変換により予測された他の分離画像の予測信号と、前記分離部により生成された前記他の分離画像の信号との間の差分信号を求める減算器と、前記差分信号にＤＳＴタイプ２の直交変換及び量子化を施す差分信号直交変換・量子化部と、前記差分信号直交変換・量子化部により前記差分信号に対し直交変換及び量子化が施された信号、及び、前記直交変換・量子化部により前記第１の分離画像に対し直交変換及び量子化が施された信号に、可変長符号化を施す可変長符号化部とを備える画像符号化装置であり、前記画像符号化装置により符号化された信号を可変長復号する可変長復号部と、前記画像符号化装置から得られる前記第１の分離画像の量子化信号に対して逆量子化を施して生成された第１の直交変換係数の信号に対し、逆直交変換を施して前記第１の分離画像の復号信号を生成する第２の逆直交変換部と、前記第１の直交変換係数に対し、ゼロを除く自然数ｎとして１／ｎ画素精度で逆直交変換を施し、前記他の分離画像に対応する予測信号を生成する第３の逆直交変換部と、前記画像符号化装置から得られる前記他の分離画像の差分信号の量子化信号に対して逆量子化を施して生成された第２の直交変換係数の信号に対し、ＤＳＴタイプ２の逆直交変換を施して予測差分信号を生成する第４の逆直交変換部と、前記第２の直交変換係数に、前記他の分離画像と前記第１の分離画像との間の相関に応じた第１の重み付け係数を加味する直交変換係数重み付け部と、前記直交変換係数重み付け部の結果に対し、当該自然数ｎとして１／ｎ画素精度で逆直交変換を施し、前記第１の分離画像の量子化誤差を予測するための量子化誤差予測信号を生成する第５の逆直交変換部と、前記画像符号化装置から得られる信号に含まれている前記第１の分離画像の量子化情報を用いて、前記量子化誤差予測信号を制限する制限部と、前記第２の逆直交変換部により生成された前記第１の分離画像の復号信号に、前記制限部により制限された前記量子化誤差予測信号を加算し、新たな第１の分離画像の復号信号を生成する第１の加算部と、前記第３の逆直交変換部により生成された前記他の分離画像の予測信号に、前記第４の逆直交変換部により生成された前記予測差分信号を加算し、前記他の分離画像の復号信号を生成する第２の加算部と、前記第１の加算部により生成された前記新たな第１の分離画像の復号信号、及び、前記第２の加算部により生成された前記他の分離画像の復号信号を合成する合成部と、を備えることを特徴とする。

尚、前記差分信号直交変換・量子化部は、前記差分信号の誤差エネルギーが所定の閾値以下となるように小領域の直交変換係数を求めるようにしている。

更に、本発明は、上述した画像復号装置として機能するコンピュータを、前記画像符号化装置により符号化された信号を可変長復号する可変長復号手段、前記画像符号化装置から得られる前記第１の分離画像の量子化信号に対して逆量子化を施して生成された第１の直交変換係数の信号に対し、逆直交変換を施して前記第１の分離画像の復号信号を生成する第２の逆直交変換手段、前記第１の直交変換係数に対し、ゼロを除く自然数ｎとして１／ｎ画素精度で逆直交変換を施し、前記他の分離画像に対応する予測信号を生成する第３の逆直交変換手段、前記画像符号化装置から得られる前記他の分離画像の差分信号の量子化信号に対して逆量子化を施して生成された第２の直交変換係数の信号に対し、ＤＳＴタイプ２の逆直交変換を施して予測差分信号を生成する第４の逆直交変換手段、前記第２の直交変換係数に、前記他の分離画像と前記第１の分離画像との間の相関に応じた第１の重み付け係数を加味する直交変換係数重み付け手段、前記直交変換係数重み付け手段の結果に対し、当該自然数ｎとして１／ｎ画素精度で逆直交変換を施し、前記第１の分離画像の量子化誤差を予測するための量子化誤差予測信号を生成する第５の逆直交変換手段、前記画像符号化装置から得られる信号に含まれている前記第１の分離画像の量子化情報を用いて、前記量子化誤差予測信号を制限する制限手段、前記第２の逆直交変換手段により生成された前記第１の分離画像の復号信号に、前記制限手段により制限された前記量子化誤差予測信号を加算し、新たな第１の分離画像の復号信号を生成する第１の加算手段、前記第３の逆直交変換手段により生成された前記他の分離画像の予測信号に、前記第４の逆直交変換手段により生成された前記予測差分信号を加算し、前記他の分離画像の復号信号を生成する第２の加算手段、前記第１の加算手段により生成された前記新たな第１の分離画像の復号信号、及び、前記第２の加算手段により生成された前記他の分離画像の復号信号を合成する合成手段として機能させるための画像処理プログラムとして特徴付けられる。

本発明によれば、映像信号のイントラ符号化において、符号化による劣化の少ないより圧縮率の高い符号化を実現することができ、記録媒体の使用効率を上げ、映像伝送帯域の利用効率を上げることができる。

以下、本発明の実施例について図面を用いて詳細に説明する。まず、画像符号化装置について説明する。

通常、直交変換として用いるＤＣＴ及びＤＳＴは、離散化方法の違いによりそれぞれ４種類のタイプ（各ＤＳＴタイプは、タイプ１、タイプ２、タイプ３、タイプ４と称される。）が存在する。これらのタイプ（以下、直交変換タイプとも称する。）は、それぞれ同一の直交変換タイプでの直交変換係数の重み付け和により、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：離散フーリエ変換）が導かれる。そこで、先行技術の方式（即ち、前述した特許文献１及び特許文献２の方式）及び本発明に係る方式では、実際には同一でない画素を同一位置画素とみなし、各分離画像をＤＣＴ及びＤＳＴで符号化し、加算することでＤＦＴを用いた場合より少ない表現によって、ＤＦＴを用いて符号化を行った場合とほぼ等価な結果を導いていると云える。

本発明の一実施例では、それぞれの分離画像で使用する直交変換として、同一の直交変換タイプを使用し、且つタイプ２を用いる。更に、第１の分離画像をＤＣＴタイプ２による直交変換を施し、その係数情報を用いて生成する第２の分離画像の予測信号と第２の分離画像の原信号との差分信号には、ＤＳＴタイプ２による直交変換を用いる。更に、復号側では、ＤＳＴタイプ２による直交変換係数には、重み付けを乗じるようにする。このように構成することにより、特に高周波成分に対する符号化効率は大きく改善する。

即ち、以下に説明する実施例の符号化送信装置は、第１の分離画像をＤＣＴタイプ２で符号化し、１／２画素精度の逆ＤＣＴにより他方の分離画像の画素位置の信号を予測する予測信号を生成し、この予測信号と他の分離画像の対応する画素位置の画素信号との差からなる差分信号をＤＳＴタイプ２で符号化するようにした。これにより高能率な符号化を実現することができる。

（画像符号化装置）
図１は、本発明による実施例の符号化装置の構成を示すブロック図である。図１に示す符号化装置１０は、２つの分離画像の８×８画素領域に対して直交変換を行い、符号化を実現する例である。符号化装置１０は、分離部１１と、直交変換部（ＤＣＴタイプ２）１３−１と、量子化部１４−１と、可変長符号化部１５と、バッファ１６と、直交変換部（ＤＳＴタイプ２）１３−２と、量子化部１４−２と、逆量子化部１７と、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８と、減算部１９とを備えている。

符号化装置１０が映像のベースバンド信号をフレームメモリ（図示せず）の所定の領域に格納すると、分離部１１は、当該フレームメモリから所定の画素領域毎の小領域のベースバンド信号を読み出す。そして、当該ベースバンド信号の正方画素信号を１画素毎に交互に分離し、２つの分離画像Ａ及びＢを生成し、フレームメモリの所定の領域に格納する。

具体的には、分離部１１は、図２の上部に示す正方配置した（２×Ｎ−１）×（２×Ｎ）領域（Ｎ＝８）の画素信号をフレームメモリから読み出す際に、４５°の回転処理を施し、図２の下部に示す画素信号として読み出す。そして、分離部１１は、図２の下部に示す枠内の画素信号を、図３に示すように、分離画像Ａについての８×８画素の正方画素信号と、分離画像Ｂについての８×８画素の正方画素信号とに分離する。このように、４５°の回転処理を施すことにより、直交変換処理の処理負担又は処理速度を向上させることができる。４５°の回転処理の代わりに、フレームメモリに書き込まれたベースバンド信号から分離画像Ａ及びＢを取り出す際に、画素信号が４５°方向に回転するように、フレームメモリの対応するメモリアドレスから読み出して、図示しないフレームメモリに書き込むこともできる。

一般に、分離画像Ａ及びＢとして示すように、画像符号化は矩形領域の単位で行われる。この矩形領域に対して異なる圧縮率で量子化が行われた場合には、領域の境界に画像の劣化が顕著に検知されることがある。また、人間の視覚特性は、水平及び垂直パターンに比べて４５°傾いた斜めパターンの感度が最も劣ることが知られている。したがって、４５°傾いた斜めパターンの菱形領域毎に符号化を施した場合は、その斜めパターンの境界の画像に劣化が生じても、人間の視覚特性上認識されにくい。即ち、４５°の回転処理を含む分離部１１を用いた菱形直交変換の符号化方式を採用することは、符号化領域を矩形ではなく菱形の斜方形にし、隣接する領域間の境界を斜めパターンとすることになり、符号化歪みの検知量を減らすことができる。

このようにして、分離部１１により、例えば１５×１６画素領域の映像のベースバンド信号は、黒丸に示す８×８画素の分離画像Ａと、白丸に示す８×８画素の分離画像Ｂとに分離される。この場合、各画素の座標は変わらない。また、分離画像Ａ及びＢは、高解像度画像（ベースバンド信号）を２つに分離した、部分画像の符号化最小単位を表している。そして、後述するように、直交変換部（ＤＣＴタイプ２）１３−１及び量子化部１４−１を介して、逆量子化部１７により得られる分離画像Ａの直交変換係数から、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８により、分離画像Ｂの画素位置の信号を予測する予測信号を生成する。最終的には、分離画像Ｂの復号用の信号は、分離画像Ｂの原信号とその予測信号との差分（差分信号）を直交変換部（ＤＳＴタイプ２）１３−２及び量子化部１４−２を経て直交変換及び符号化することにより生成される。以下、分離部１１以降の構成要素を具体的に説明する。

直交変換部（ＤＣＴタイプ２）１３−１は、分離部１１から８×８画素の正方画素ブロックの画素信号を入力し、当該８×８画素領域に対して、ＤＣＴタイプ２を施して直交変換を行い、直交変換係数（ＤＣＴ係数）を出力する。

量子化部１４−１は、バッファ１６からバッファ量を入力し、直交変換部（ＤＣＴタイプ２）１３−１によるＤＣＴの結果であるＤＣＴ係数に対し、目標ビットレートに応じた量子化を施し、量子化係数を出力する。量子化部１４−１により出力された量子化係数は、可変長符号化部１５及び逆量子化部１７に入力される。

逆量子化部１７は、量子化部１４−１から量子化係数を入力し、逆量子化を施し、ＤＣＴ係数を出力する。

１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８は、逆量子化部１７からＤＣＴ係数を入力し、入力されたＤＣＴ係数に対し１／２画素精度で逆直交変換を施し、１６×１６画素の画素情報を算出する。そして、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８は、当該１６×１６画素の画像情報を予測信号として出力する。ここで、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８により出力される１６×１６画素の画像情報について、この画像信号のうち、分離部１１により分離して生成された分離画像Ｂの画素位置に対応する画素部分が分離画像Ｂの予測信号となる。尚、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８は、逆直交変換の計算量を減じるために、分離画像Ｂに対応する画素部分についてのみ逆直交変換を施すようにしてもよい。また、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８は、圧縮率を最大限高めるために、差分信号の誤差エネルギーが所定の閾値以下となるように小領域の直交変換係数を求めるようにすることが好適である。尚、本実施例では、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８として説明するが、１／２画素精度に限定するものではない。

ここで、ＤＣＴタイプ２、逆ＤＣＴタイプ２、１／２画素精度逆ＤＣＴタイプ２、ＤＳＴタイプ２、逆ＤＳＴタイプ２、１／２画素精度逆ＤＳＴタイプ２の数式を以下に示す。尚、ｆ（ｘ，ｙ）を画素信号、ｘ及びｙを画素の座標、ｆ’（ｘ’，ｙ’）を１／２画素精度の画素信号、ｘ’及びｙ’を１／２画素精度の画素の座標、Ｆ（ｕ，ｖ）をＤＣＴ又はＤＳＴにより得られたＤＣＴ係数又はＤＳＴ係数（直交変換係数）、ｕを水平周波数、及び、ｖを垂直周波数とする。

ＤＣＴタイプ２の変換式は、式（１）に示すとおりである。

また、逆ＤＣＴタイプ２の変換式は、式（２）に示すとおりである。

また、１／２画素精度逆ＤＣＴタイプ２の変換式は、式（３）に示すとおりである。

また、ＤＳＴタイプ２の変換式は、式（４）に示すとおりである。

また、逆ＤＳＴタイプ２の変換式は、式（５）に示すとおりである。

また、１／２画素精度逆ＤＳＴタイプ２の変換式は、式（６）に示すとおりである。

減算部１９は、分離部１１から８×８画素の分離画像Ｂの信号、及び１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８から１６×１６画素の予測信号をそれぞれ入力し、当該８×８画素の分離画像Ｂの信号と、当該信号に対応する画素部分における予測信号との間の差分信号を生成する。

直交変換部（ＤＳＴタイプ２）１３−２は、減算部１９により生成された差分信号を入力し、当該８×８画素領域に対して直交変換を施す。

図１において、量子化部１４−２は、バッファ１６からバッファ量を入力し、直交変換部（ＤＳＴタイプ２）１３−２による直交変換の結果であるＤＳＴ係数の直交変換係数に対し、目標ビットレートに応じた量子化を施し、量子化係数を出力する。

可変長符号化部１５は、量子化部１４−１及び１４−２から量子化係数をそれぞれ入力し、各量子化係数に対し、例えばＩＳＯ／ＩＥＣ１３８１８−２の規定における量子化された直交変換係数を、ランレングス符号化を用いた符号化手法により符号化し、バッファ１６を介して、可変長符号に変換されたビットストリーム信号として出力する。このビットストリーム信号は、分離画像Ａの情報であることを識別するための符号、量子化係数の可変長符号、最後の量子化係数の可変長符号の後に付加され量子化係数の終了を示すための終了符号により構成される分離画像Ａの信号と、分離画像Ｂの情報であることを識別するための符号、量子化係数の可変長符号、最後の量子化係数の可変長符号の後に付加され量子化係数の終了を示すための終了符号により構成される分離画像Ｂの信号、ＤＣＴ又はＤＳＴの直交変換の種別を識別するための情報を含むように構成される。

即ち、可変長符号化部１５は、可変長符号化により、分離画像Ａを識別するための符号を出力し、その量子化係数の可変長符号を出力し、その量子化係数の終了を示すための終了符号を出力し、更に、分離画像Ｂを識別するための符号を出力し、直交変換を識別するための符号を出力し、その量子化係数の可変長符号を出力し、その量子化係数の終了を示すための終了符号を出力する。

このように、本発明の実施例による画像符号化装置１０によれば、分離部１１がベースバンド信号を１画素毎に交互に分離して分離画像Ａ及びＢを生成し、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８が、分離画像Ａを用いて分離画像Ｂの画素信号を予測し、減算部１９が分離画像Ｂの画素信号と分離画像Ｂの予測信号との間の差分信号を出力し、直交変換部（ＤＳＴタイプ２）１３−２及び量子化部１４−２が当該差分信号をＤＳＴタイプ２による直交変換及び量子化を施し、可変長符号化部１５が分離画像Ａの画素信号及び分離画像Ｂの差分信号を符号化するようにした。

分離画像Ｂを予測する予測信号は、分離画像Ｂの画素について最も合致する画素からなる分離画像Ａを用いて生成されるため、比較的正確な信号となり得る。これにより、分離画像Ｂの差分信号は、活性度が小さく平坦な信号となり、分離画像Ｂをそのまま符号化する場合に比べ、符号化効率は高くなる。また、分離画像Ａの画素信号は、ベースバンド信号から分離画像Ｂを間引いた信号であるため、符号化情報量は半分になる。つまり、画像符号化装置１０によれば、分離画像Ａ及びＢをそのまま符号化する場合に比べ、高効率符号化を実現することが可能となり、且つ、効果的に不要な高周波成分をより一層低減させることができる。

また、基本画像信号と予測差分信号の直交変換に、特にＤＣＴタイプ２とＤＳＴタイプ２のように同一の性質の直交変換を組み合わせるとともに、合致精度の高い組み合わせとすることによって、ブロック歪みを検知されにくくする。更に、この画像符号化装置１０と適合した、後述する画像復号装置４０の直交変換係数重み付け部４６−２により、低解像度の分離画像Ａ又はＢに高解像度画像を構成すべき高周波成分が含まれていないにも関わらず、オーバーサンプリングによって生じうる補間信号内の高周波成分を、より一層効果的に除去することができ、結果的に予測歪み（即ち、高周波歪み）を低減させることができる。

即ち、一方の分離画像をＤＣＴタイプ２で、他方の分離画像をＤＳＴタイプ２で直交変換を施す手法は、後述する復号側におけるＤＳＴタイプ２で直交変換を施す補間信号に対してのみ重み付けする処理との整合が優れている。これは、実際にシミュレーションを用いて確かめることもできる。即ち、ＤＣＴ（ｃｏｓ成分による直交変換）によって分離画像Ａを符号化し、分離画像Ｂをその符号化した信号から予測することによって、分離画像Ｂの差分信号は、ｓｉｎ成分を主とする信号となる。そこで、分離画像ＢをＤＳＴ（ｓｉｎ成分による直交変換）することにより、分離画像Ｂの予測差分信号の直交変換にＤＣＴを用いる場合よりも電力集中度を向上させることができる。従って、処理対象の映像の画質（特に、ブロック歪みなどの符号化歪みの低減効果）を高めることができるようになる。

尚、画像符号化装置１０に備えられる分離部１１は、ベースバンド信号を分離画像Ａ及びＢに分離するようにしたが、例えば矩形に分離する場合は、４つの分離画像に分離するようにしてもよいし、分離する画像の数を限定するものではない。また、分離部１１は、フレームメモリから１５×１６画素領域毎の小領域のベースバンド信号を読み出すようにしたが、読み出し単位はこれに限定されるものではない。

また、量子化部１４−２は、入力した全ての直交変換係数を０に量子化した場合に、量子化係数を出力しないようにしてもよい。この場合、可変長符号化部１５は、量子化部１４−２から量子化係数を入力しないから、量子化部１４−２側の符号化を施す必要がない。これにより、出力するビットストリーム信号は量子化部１４−１側の信号のみで済むから、実質的に符号化情報を１／２にすることができる。

次に、本発明による一実施例の画像復号装置について説明する。

（画像復号装置）
図４は、本発明の実施の形態による復号装置の構成例を示すブロック図である。この画像復号装置４０は、前述した実施例の画像符号化装置１０からのビットストリームを復号するように構成され、可変長復号部４１と、逆量子化部４２−１及び４２−２と、直交変換係数重み付け部４６−２と、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）４３−１及び１／２画素精度逆直交変換部（１／２画素精度逆ＤＳＴタイプ２）４３−２と、逆直交変換部（逆ＤＣＴタイプ２）４５−１及び逆直交変換部（逆ＤＳＴタイプ２）４５−２と、加算部４８及び４９と、制限部５０と、合成部５１とを備えている。

可変長復号部４１は、図１に示した画像符号化装置１０からビットストリーム信号を入力し、可変長復号を施す。具体的には、分離画像Ａ及び分離画像Ｂを識別するための情報、量子化情報、ＤＣＴ又はＤＳＴの直交変換の種別を識別するための情報、直交変換係数情報等を復号する。可変長復号部４１は、可変長復号後、識別した分離画像Ａ及び分離画像Ｂの量子化信号を、それぞれ逆量子化部４２−１及び４２−２に送出する。

逆量子化部４２−１は、識別された分離画像Ａの量子化信号を入力し、逆量子化を施して直交変換係数の信号を生成し、逆直交変換部（逆ＤＣＴタイプ２）４５−１及び１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）４３−１に送出する。

即ち、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）４３−１に入力される信号は、分離画像Ｂの復号のために用いられ、逆直交変換部（逆ＤＣＴタイプ２）４５−１に入力される信号は、分離画像Ａの復号のために用いられる。

逆直交変換部（逆ＤＣＴタイプ２）４５−１は、逆量子化部４２−１から分離画像Ａの直交変換係数の信号を入力し、逆直交変換（例えば式（２）に示す逆ＤＣＴ）を施して分離画像Ａの復号信号を生成し、加算部４８に送出する。

１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）４３−１は、逆量子化部４２−１から分離画像Ａの直交変換係数の信号を入力し、１／２画素精度の逆直交変換を施す（例えば、式（３）に示す１／２画素精度の逆ＤＣＴタイプ２）。これにより、１６×１６画素の画像情報として、分離画像Ｂの画素位置に対応する予測信号を生成し、加算部４９に送出する。ここで、可変長復号部４１が、ビットストリーム信号の先頭から復号を始めた場合には、可変長復号部４１により、分離画像Ａの量子化情報、及び量子化された直交変換係数情報が復号される。このようにして、逆量子化部４２−１及び１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）４３−１により、例えば分離画像Ａの８×８のＤＣＴ係数の信号から１６×１６画素の画像情報の信号を生成し、分離画像Ｂの画素位置に対応する８×８の予測信号を生成することができる。

逆量子化部４２−２は、可変長復号部４１により可変長復号され、識別された分離画像Ｂを復号するための差分信号に対し、逆量子化を施して差分信号の直交変換係数の信号を生成し、直交変換係数重み付け部４６−２及び逆直交変換部（逆ＤＳＴタイプ２）４５−２に送出する。

即ち、直交変換係数重み付け部４６−２に入力される信号は、後述する表１に示す重み付け係数ｗ_ｕ，ｖで重み付けした直交変換係数の生成（分離画像Ａの復号用）のために用いられ、逆直交変換部（逆ＤＳＴタイプ２）４５−２に入力される信号は、重み付け係数ｗ_ｕ，ｖを使用しない直交変換係数の生成（分離画像Ｂの復号用）のために用いられる。

逆直交変換部（逆ＤＳＴタイプ２）４５−２は、逆量子化部４２−２から分離画像Ｂの差分信号の直交変換係数の信号を入力し、逆直交変換（例えば式（５）に示す逆ＤＳＴタイプ２）を施して分離画像Ｂを復号するための差分信号（以下、予測差分信号と称する）を生成し、加算部４９に送出する。

直交変換係数重み付け部４６−２は、逆量子化部４２−２から入力された分離画像Ｂの差分信号の直交変換係数の信号に対して、予め規定されている重み付け係数（表１）を用いて、後述する式（８）に対応する直交変換係数Ｘ’［ｕ］［ｖ］を算出し、１／２画素精度逆直交変換部（１／２画素精度逆ＤＳＴタイプ２）４３−２に送出する。ここで、重み付け係数ｗ_ｕ，ｖからなるマトリクスを、画像復号装置側で図示しないメモリ（ＲＯＭなど）に予め記憶させておく。好適には、画像復号装置４０は、予め画像符号化装置１０から送出されたビットストリーム信号に含まれる、重み付け係数ｗ_ｕ，ｖからなるマトリクスを用いる。

直交変換係数重み付け部４６−２の効果を詳しく説明する。原理上、分離画像Ａと分離画像Ｂの画素を完全に表現するためには、１６×１６の直交変換係数を必要とし、８×８の直交変換係数で他方の信号（実施例では、分離画像Ｂの画素位置の信号）を表現するには、高周波成分の情報が足りない。そのため、画像符号化装置１０から送られてくる分離画像Ｂに対応する予測信号から単に分離画像Ａの復号信号を生成すると、本来画像情報が有する高周波信号成分の高周波歪み（即ち、折り返し歪み）が、その予測信号に含まれている場合が比較的多いので好ましくない。

即ち、これは、分離画像Ａの画素ブロックと、分離画像Ａをオーバーサンプリングすることによって得られる分離画像Ｂの画素位置に対応する画素ブロックとの間の基底のずれに起因している。より効率的な画像圧縮を実現するためには、画像信号のスペクトル分布として、より高周波成分が弱いことが好ましいため、このような高周波歪みを復号側で除去するのを可能とすることが好適となる。そこで、分離画像Ｂに対応する予測信号から分離画像Ａの復号信号を生成する際に、直交変換係数重み付け部４６−２により直交変換係数（ＤＳＴ係数）の周波数成分に重み付けをし、１／２画素精度逆直交変換部（１／２画素精度逆ＤＳＴタイプ２）４３−２により予測信号を生成することによって、上記高周波歪みを低減する。

以下、直交変換係数重み付け部４６−２による直交変換係数への重み付けの導出方法について説明する。

まず、分離画像Ａ及び分離画像Ｂに関する基底のずれに関して説明する。図５に、図３の黒丸の画素（分離画像Ａ）で構成されるＤＣＴ基底パターンを示す。図６に、図３の黒丸の画素（分離画像Ａ）で構成されるＤＣＴ基底パターンから、１／２画素精度逆ＤＣＴによるオーバーサンプリングによって補間した、白丸の画素（分離画像Ｂ）の位置のＤＣＴ基底パターンを示す。いずれも白丸及び黒丸のみで構成される８×８画素のＤＣＴ基底パターンである。略同一の周波数成分を有する図５及び図６に示す基底パターンは、それぞれ位相が垂直・水平方向に１／２画素ずれたパターンである。従って、各基底パターンは、構成する信号の周波数成分は同じであり、両者に相関がある。

しかしながら、各基底パターンを比較すると、高周波成分になるに従って、基底を構成する周波数の周期に対して画素のずれが大きくなるため、相関が低くなっていることが分かる。このような傾向は、一般的な動画像の性質として捉えることができる。同様に、画素間距離をより粗く分離画像を生成した場合も、空間的なずれが大きくなるに伴い、各基底パターンの相関が低くなる傾向がある。従って、本実施例の画像符号化装置１０では、このような傾向を有したまま各分離画像の符号化データを送信するため、画像復号装置４０により、この高周波成分を好適に抑圧することが必要になる。

本実施例の画像符号化装置１０は、分離画像Ｂの差分信号の直交変換としてＤＳＴタイプ２を用いるので、分離画像Ａの画素位置におけるＤＳＴの（ｕ，ｖ）次の基底パターンをｆ_ｕ，ｖ［ｘ］［ｙ］、そのＤＳＴタイプ２によって得られるＤＳＴ係数をＸ［ｕ］［ｖ］とおく。該Ｘ［ｕ］［ｖ］の逆ＤＳＴをオーバーサンプリングし、得られる分離画像Ｂの画素位置の基底パターンをｆ’_ｕ，ｖ［ｘ］［ｙ］、また分離画像Ｂの画素位置を予測するための新たなＤＳＴ係数をＸ’［ｕ］［ｖ］とおく。（ｕ，ｖ）次の係数の重み付け係数ｗ_ｕ，ｖは、以下に示す式（７）によって求められる。尚、Ｎは画素数（８×８画素の分離画像であれば、Ｎ＝８）、ｘ及びｙは画素の位置座標、ｕは水平周波数、ｖは垂直周波数とする。

また、ＤＳＴ係数Ｘ’［ｕ］［ｖ］は、重み付け係数ｗ_ｕ，ｖ及びＤＳＴ係数Ｘ［ｕ］［ｖ］から式（８）を用いて得られる。

分離画像Ｂの差分信号の直交変換としてＤＳＴタイプ２を用いる重み付け係数ｗ_ｕ，ｖのマトリクスは、表１のように表される。

表１に示すマトリックスは、目的とする性能に応じて精度を設定し、画像符号化装置又は画像復号装置内のメモリ（例えばＲＯＭなど）に予め記憶しておき、ＤＳＴ係数の重み付け時に使用する。

このように、直交変換係数重み付け部４６−２では、分離画像Ａの画素ブロックと、分離画像Ａをオーバーサンプリングすることによって得られる分離画像Ｂの画素位置に対応する画素ブロックとの間の基底のずれを補正するための予め規定された重み付け係数のマトリクス（表１）を用いる。

１／２画素精度逆直交変換部（１／２画素精度逆ＤＳＴタイプ２）４３−２は、直交変換係数重み付け部４６−２から直交変換係数の信号Ｘ’［ｕ］［ｖ］を入力し、１／２画素精度の逆直交変換を施す（例えば、式（６）に示す１／２画素精度の逆ＤＳＴタイプ２）。これにより、１６×１６画素の差分信号の画像情報として、分離画像Ａの量子化誤差を予測するための信号（以下、量子化誤差予測信号）を生成し、制限部５０に送出する。

ここで、可変長復号部４１がビットストリーム信号の先頭から復号を始めた場合には、可変長復号部４１により、前述の分離画像Ａの量子化情報及び量子化された直交変換係数情報に引き続き、分離画像Ｂの差分信号の量子化された直交変換係数情報が復号される。このようにして、逆量子化部４２−２及び１／２画素精度逆直交変換部（１／２画素精度逆ＤＳＴタイプ２）４３−２により、分離画像Ｂの差分信号の８×８の直交変換係数から１６×１６画素の差分の画像情報の信号を生成し、分離画像Ａの画素位置に対応する８×８の量子化誤差予測信号を生成することができる。

尚、１／２画素精度逆直交変換部（１／２画素精度逆ＤＳＴタイプ２）４３−２において、分離画像Ａ及びＢに対応する画素についてのみの逆変換を行うようにしてもよい。これにより、逆変換の演算回数を半分に減らすことができる。

制限部５０は、逆直交変換部（逆ＤＣＴタイプ２）４５−１により生成された分離画像Ａの復号信号を入力すると共に、１／２画素精度逆直交変換部（１／２画素精度逆ＤＳＴタイプ２）４３−２から分離画像Ａの量子化誤差予測信号を入力し、両者を比較し、分離画像Ａの量子化誤差予測信号が所定の量子化範囲内の信号である場合に、当該分離画像Ａの量子化誤差予測信号を出力し、所定の量子化範囲内の信号でない場合に、分離画像Ａの量子化情報に基づいた信号を出力する。

図７は、図４に示した制限部５０の構成を示すブロック図である。制限部５０の構成は、画像符号化装置１０の直交変換部（ＤＣＴタイプ２）１３−１における分離画像Ａに用いた直交変換と同一の種類（即ち、ＤＣＴタイプ２）の直交変換部６１と、逆直交変換部６３とを備える。具体的には、この制限部５０は、ＤＣＴ（ＤＣＴタイプ２）部６１と、比較部６２と、ＩＤＣＴ（逆ＤＣＴタイプ２）部６３とを備えている。

ＤＣＴ（ＤＣＴタイプ２）部６１は、１／２画素精度逆直交変換部（１／２画素精度逆ＤＳＴタイプ２）４３−２から分離画像Ａの量子化誤差予測信号（８×８画素の差分の画像情報）を入力し、直交変換（ＤＣＴタイプ２）を施し、ＤＣＴ係数を出力する。

比較部６２は、可変長復号部４１から分離画像Ａの量子化情報を、ＤＣＴ（ＤＣＴタイプ２）部６１からＤＣＴ係数を入力し、両者を比較する。量子化情報における各成分に対する量子化値をＱ［ｕ］［ｖ］、ＤＣＴ係数における各成分の値をＤＣＴ［ｕ］［ｖ］とすると、例えば以下に示す比較制限を行う。
for(u=0;u<8;u++){
for(v=0;v<8;v++){
if(DCT[u][v]>Q[u][v]/a) DCT[u][v]=Q[u][v]/a;
}
}
ここで、ａは、システム設計によって予め設定される変数であり、例えばａ＝２．０である。即ち、ＤＣＴ（ＤＣＴタイプ２）部６１は、ＤＣＴ［ｕ］［ｖ］＞Ｑ［ｕ］［ｖ］／ａの場合に、Ｑ［ｕ］［ｖ］／ａ（制限したＤＣＴ係数）を出力し、ＤＣＴ［ｕ］［ｖ］≦Ｑ［ｕ］［ｖ］／ａの場合に、ＤＣＴ［ｕ］［ｖ］（ＤＣＴ係数）を出力する。

ＩＤＣＴ（逆ＤＣＴタイプ２）部６３は、比較部６２からＤＣＴ係数又は制限されたＤＣＴ係数を入力し、逆直交変換（逆ＤＣＴタイプ２）を行い、画素情報に変換して加算部４８に出力する。

図４において、加算部４８は、逆直交変換部（逆ＤＣＴタイプ２）４５−１から分離画像Ａの復号信号と、制限部５０からの画素情報の信号とをそれぞれ入力し、これらを加算して新たな分離画像Ａの復号信号を出力する。即ち、加算部４８は、分離画像Ａの復号信号に、分離画像Ａの量子化誤差予測信号又は制限された量子化誤差予測信号を加算し、新たな分離画像Ａの復号信号を合成部５１に送出する。また、加算部４９は、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）４３−１からの分離画像Ｂの予測信号と、逆直交変換部（逆ＤＳＴタイプ２）４５−２から分離画像Ｂの予測差分信号とをそれぞれ入力し、これらを加算して分離画像Ｂの復号信号を出力する。即ち、加算部４９は、分離画像Ａから予測した分離画像Ｂの予測信号に、分離画像Ｂの予測差分信号を加算し、分離画像Ｂの復号信号を合成部５１に出力する。

合成部５１は、加算部４８からの新たな分離画像Ａの復号信号と、加算部４９から分離画像Ｂの復号信号とをそれぞれ入力し、これらの復号信号を元の画像配置の信号に合成し、ベースバンド信号として図示しないメモリに格納する。

このように、本発明の一実施例による画像復号装置４０によれば、分離画像Ａの量子化誤差予測信号又は制限した量子化誤差予測信号を用いて、分離画像Ａの復号信号を生成すると共に、分離画像Ｂの予測差分信号を用いて、分離画像Ｂの復号信号を生成する。従って、上述した実施例による画像復号装置４０であれば、復号側においてのみ重み付け処理を施したＤＳＴ係数から生成した復号信号を原画像の再構成に用いるため、比較的簡素な構成で、再生品質を一層向上させた画像を得ることができる。

以上、実施例を挙げて本発明を説明したが、本発明は上記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上記実施例は、符号化対象となる画素密度を１／２にした場合の符号化方法について説明した。即ち、画像符号化装置１０において、分離部１１が１／２の画素密度の分離画像Ａ及びＢを生成し、１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８が１／２画素逆直交変換を行うようにした。これに対し、分離部１１が、１／４、１／１６等の画素密度の分離画像を生成し、ゼロを除く自然数ｎとして、図示しない可変密度逆直交変換部（１／ｎ画素逆直交変換部）が１／４、１／１６等の画素逆直交変換を行うようにしてもよい。この場合、減算部１９が、１／ｎ画素逆直交変換部からの予測信号と分離画像の信号との間の差分信号を生成し、可変長符号化部１５が、当該差分信号を用いて繰り返し符号化することにより、可変密度直交変換符号化を実現することができる。

例えば、図１に示した１／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）１８に代わる１／ｎ画素逆直交変換部は、前述した式（２）において、信号ｘ及びｙを１／ｎ刻みにすればよいから、ｘをｘ／ｎとし、ｙをｙ／ｎとすることにより実現することができる。この場合の１／ｎ画素精度逆変換式は、式（９）に示すとおりである。

また、１／ｎ画素の逆ＤＳＴも同様に導出することができる。

また、上述した実施例では、分離画像の分離の仕方として最密な二つの分離画像として示したが、例えば図８に示すような画素配置の４つの分離画像に分割することも可能である。また、この場合の重み付け係数の導出方法は、前述と同様に、直交変換基底のオーバーサンプリングにより他の分離画像の画素位置の信号を補間し、その信号と直交変換基底との相関によって決めればよい。

更に、本発明の一態様として、画像符号化装置１０又は画像復号装置４０を、各装置として機能するコンピュータとしてそれぞれ構成させることができる。コンピュータに、前述した各構成要素（直交変換部など）を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。各コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各成要素の機能をハードウェアの全部又は一部で実現しても良い。

上述した実施例において、各構成要素の機能を実現するための処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録装置、半導体メモリ等どのようなものでもよい。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ‐ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばＩＰなどのネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。尚、本態様におけるプログラムには、電子計算機の処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないが、コンピュータの処理を規定する性質を有するデータ等）を含むものとする。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明によれば、映像信号のイントラ符号化において圧縮率の高い符号化を実現することができるので、記録媒体の使用効率を上げ、映像伝送帯域の利用効率を上げることができるようになり、動画像を扱う記録媒体及び／又は記録システム、並びに放送システムに有用である。

本発明による一実施例の画像符号化装置の構成を示すブロック図である。 菱形直交変換のための画素信号の４５°回転を説明する図である。 菱形直交変換のための画素信号の分離を説明する図である。 本発明による一実施例の画像復号装置の構成を示すブロック図である。 分離画像ＡのＤＣＴ基底パターンの一例を示す図である。 分離画像Ａの１／２画素精度逆ＤＣＴによるオーバーサンプリングによって、補間した分離画像Ｂに対応するＤＣＴ基底パターンの一例を示す図である。 制限部の構成を示すブロック図である。 ４つの分離画像に分割する画素配置を示す図である。

符号の説明

１０ 画像符号化装置
１１ 分離部
１３−１ 直交変換部（ＤＣＴタイプ２）
１３−２ 直交変換部（ＤＳＴタイプ２）
１４−１ 量子化部
１４−２ 量子化部
１５ 可変長符号化部
１６ バッファ
１７ 逆量子化部
１８ １／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）
１９ 減算部
４０ 画像復号装置
４１ 可変長復号部
４２−１，４２−２ 逆量子化部
４３−１ １／２画素精度逆直交変換部（１／２画素精度逆ＤＣＴタイプ２）
４３−２ １／２画素精度逆直交変換部（１／２画素精度逆ＤＳＴタイプ２）
４５−１ 逆直交変換部（逆ＤＣＴタイプ２）
４５−２ 逆直交変換部（逆ＤＳＴタイプ２）
４６−２ 直交変換係数重み付け部
４８，４９ 加算部
５０ 制限部
５１ 合成部
６１ ＤＣＴ部
６２ 比較部
６３ ＩＤＣＴ部

Claims (2)

1. 画像符号化装置により符号化された信号を復号する画像復号装置であって、
   前記画像符号化装置は、小領域毎の画素信号について隣接画素を分離し、複数の分離画像を生成する分離部と、前記複数の分離画像のうちの第１の分離画像の画素信号に対しＤＣＴタイプ２の直交変換及び量子化を施す直交変換・量子化部と、前記複数の分離画像のうちの他の分離画像の画素信号を予測するために、前記直交変換及び量子化が施された信号に対し、逆量子化を施す逆量子化部と、前記逆量子化部から得られる直交変換係数に対し、ゼロを除く自然数ｎとして１／ｎ画素精度で逆直交変換を施し、前記他の分離画像を予測する第１の逆直交変換部と、前記第１の逆直交変換により予測された他の分離画像の予測信号と、前記分離部により生成された前記他の分離画像の信号との間の差分信号を求める減算器と、前記差分信号にＤＳＴタイプ２の直交変換及び量子化を施す差分信号直交変換・量子化部と、前記差分信号直交変換・量子化部により前記差分信号に対し直交変換及び量子化が施された信号、及び、前記直交変換・量子化部により前記第１の分離画像に対し直交変換及び量子化が施された信号に、可変長符号化を施す可変長符号化部とを備える画像符号化装置であり、
   前記画像符号化装置により符号化された信号を可変長復号する可変長復号部と、
   前記画像符号化装置から得られる前記第１の分離画像の量子化信号に対して逆量子化を施して生成された第１の直交変換係数の信号に対し、逆直交変換を施して前記第１の分離画像の復号信号を生成する第２の逆直交変換部と、
   前記第１の直交変換係数に対し、ゼロを除く自然数ｎとして１／ｎ画素精度で逆直交変換を施し、前記他の分離画像に対応する予測信号を生成する第３の逆直交変換部と、
   前記画像符号化装置から得られる前記他の分離画像の差分信号の量子化信号に対して逆量子化を施して生成された第２の直交変換係数の信号に対し、ＤＳＴタイプ２の逆直交変換を施して予測差分信号を生成する第４の逆直交変換部と、
   前記第２の直交変換係数に、前記他の分離画像と前記第１の分離画像との間の相関に応じた第１の重み付け係数を加味する直交変換係数重み付け部と、
   前記直交変換係数重み付け部の結果に対し、当該自然数ｎとして１／ｎ画素精度で逆直交変換を施し、前記第１の分離画像の量子化誤差を予測するための量子化誤差予測信号を生成する第５の逆直交変換部と、
   前記画像符号化装置から得られる信号に含まれている前記第１の分離画像の量子化情報を用いて、前記量子化誤差予測信号を制限する制限部と、
   前記第２の逆直交変換部により生成された前記第１の分離画像の復号信号に、前記制限部により制限された前記量子化誤差予測信号を加算し、新たな第１の分離画像の復号信号を生成する第１の加算部と、
   前記第３の逆直交変換部により生成された前記他の分離画像の予測信号に、前記第４の逆直交変換部により生成された前記予測差分信号を加算し、前記他の分離画像の復号信号を生成する第２の加算部と、
   前記第１の加算部により生成された前記新たな第１の分離画像の復号信号、及び、前記第２の加算部により生成された前記他の分離画像の復号信号を合成する合成部と、
   を備えることを特徴とする画像復号装置。
2. 請求項１に記載の画像復号装置として機能するコンピュータを、
   前記画像符号化装置により符号化された信号を可変長復号する可変長復号手段、
   前記画像符号化装置から得られる前記第１の分離画像の量子化信号に対して逆量子化を施して生成された第１の直交変換係数の信号に対し、逆直交変換を施して前記第１の分離画像の復号信号を生成する第２の逆直交変換手段、
   前記第１の直交変換係数に対し、ゼロを除く自然数ｎとして１／ｎ画素精度で逆直交変換を施し、前記他の分離画像に対応する予測信号を生成する第３の逆直交変換手段、
   前記画像符号化装置から得られる前記他の分離画像の差分信号の量子化信号に対して逆量子化を施して生成された第２の直交変換係数の信号に対し、ＤＳＴタイプ２の逆直交変換を施して予測差分信号を生成する第４の逆直交変換手段、
   前記第２の直交変換係数に、前記他の分離画像と前記第１の分離画像との間の相関に応じた第１の重み付け係数を加味する直交変換係数重み付け手段、
   前記直交変換係数重み付け手段の結果に対し、当該自然数ｎとして１／ｎ画素精度で逆直交変換を施し、前記第１の分離画像の量子化誤差を予測するための量子化誤差予測信号を生成する第５の逆直交変換手段、
   前記画像符号化装置から得られる信号に含まれている前記第１の分離画像の量子化情報を用いて、前記量子化誤差予測信号を制限する制限手段、
   前記第２の逆直交変換手段により生成された前記第１の分離画像の復号信号に、前記制限手段により制限された前記量子化誤差予測信号を加算し、新たな第１の分離画像の復号信号を生成する第１の加算手段、
   前記第３の逆直交変換手段により生成された前記他の分離画像の予測信号に、前記第４の逆直交変換手段により生成された前記予測差分信号を加算し、前記他の分離画像の復号信号を生成する第２の加算手段、
   前記第１の加算手段により生成された前記新たな第１の分離画像の復号信号、及び、前記第２の加算手段により生成された前記他の分離画像の復号信号を合成する合成手段
   として機能させるための画像処理プログラム。
   

Images