JP5175813B2 - 符号化装置、復号装置及び画像処理プログラム - Google Patents

Description

本発明は、画像信号の符号化を効率的に行うための符号化装置、復号装置及び画像処理プログラムに関するものであり、特に、画像信号の直交変換後に得られる直交変換係数に最適な重み付けを行うことにより画像信号の符号化を効率的に行うための符号化装置、復号装置及び画像処理プログラムに関するものである。

従来、デジタル映像信号を記録するために、可逆、非可逆の様々なフォーマットが、ＶＴＲやコンピュータ、デジタルカメラなどにおいて利用されている。例えば、非圧縮フォーマットの代表としてビットマップ形式（ＢＭＰ）、非可逆圧縮フォーマットとしてＪＰＥＧやＭＰＥＧなどの規格群が存在する。

こうした規格群においては、まず画像をｎ×ｎ画素で構成される小領域（ブロック）に分割し、得られたブロックの各々に対して離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ，ＤＣＴ）に代表される直交変換を施し、得られた直交変換係数を量子化して可変長符号化を行うことにより動画像の符号化を実現している。

この符号化方法をハイビジョンＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴＶ，ＨＤＴＶ）やスーパーハイビジョンなどの高解像度規格に適用しようとすると、分割して符号化するブロックの数が膨大になるとともに、映像信号の解像度の高さに起因する符号化効率の低下やブロック歪みの問題が生じる。

上記の問題を解決する方法として次のような方法が提案されている。即ち、まず符号化器において画像を画素間引きにより好適には２つに分離し、第１の分離画像Ａに対してＤＣＴにより直交変換を施す。次に、得られた直交変換係数を量子化して可変長符号化した後に量子化信号を逆量子化し、１／２画素精度逆ＤＣＴ変換によりもう一つの分離画像Ｂの信号を予測する。続いて、得られた予測信号と原信号との差分信号を離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ，ＤＳＴ）により直交変換を施し、その係数を量子化して可変長符号化する。最後に、得られた分離画像Ａに対する可変長符号と、分離画像Ｂと原信号との差分信号に対する可変長符号とを伝送する。（例えば、特許文献１及び２参照）。

また、或る小領域の画素信号に直交変換を適用する場合に、一方の分離画像ＡにはＤＣＴを、他方の分離画像ＢにはＤＳＴを適用するとともに、直交変換係数に予め規定された重み付け係数を乗じることにより高周波エイリアシングを低減する方法が提案されている（例えば、特許文献３参照）。

特開２００７−７４６１６号公報 特開２００７−１５１０６２号公報 特開２００８−１２５００２号公報

しかし、特許文献３の方法においても、高周波エイリアシングによる画質の低下は解決しておらず、画質改善の余地が存在する。

そこで、本発明の目的は、分離画像間の画素ずれに起因する予測信号中の高周波雑音を低減するとともに、符号化効率の高い符号化装置、復号装置及び画像処理プログラムを提供することにある。

上記課題を解決するために、本発明による映像信号の画像を構成する小領域ごとの画素信号を符号化する符号化装置は、前記小領域ごとの画素信号について隣接画素を分離して２つの分離画像を生成する分離部と、前記２つの分離画像のうち第１の分離画像の画素信号に対して直交変換を施す第１の直交変換部と、前記第１の直交変換により生成された直交変換係数を量子化して量子化信号を生成する第１の量子化部と、前記量子化信号に対して逆量子化を施す逆量子化部と、前記２つの分離画像のうち第２の分離画像の予測に際し、前記逆量子化部から得られる直交変換係数に対して、該直交変換係数の高次成分の伝播を抑制するための重み付けを施す直交変換係数重み付け部と、前記逆直交変換重み付け部により重み付けを施された信号に対して逆直交変換を施して前記第２の分離画像の予測信号を生成する逆直交変換部と、前記予測信号と前記分離部により生成された前記第２の分離画像の信号との間の差分信号を求める減算器と、前記差分信号に直交変換を施す差分信号直交変換部と、前記直交変換を施された前記差分信号に量子化を施す第２の量子化部と、前記第２の量子化部により前記差分信号に対し量子化が施された信号、及び、前記第１の量子化部により前記第１の分離画像に対し量子化が施された信号に対して可変長符号化を施す可変長符号化部とを備え、ｘ及びｙを画素の座標、Ｍ及びＮを前記第１及び第２の分離画像のそれぞれ水平方向、垂直方向の画素数、ｕを水平周波数、ｖを垂直周波数、周波数ｋにおける前記第２の分離画像の予測信号用の正弦成分に対する重み付けをｗ（ｋ）としたとき、前記第２の分離画像の予測信号ｇ’（ｘ，ｙ）は、

として規定されていることを特徴とする。

また、本発明による復号装置は、前記符号化された画素信号を可変長復号して、前記第１の分離画像の量子化信号と前記第２の分離画像に対する量子化された前記差分信号とを得る可変長復号化部と、前記可変長復号化部から得られる前記第１の分離画像の量子化信号に対して逆量子化を施す第１の逆量子化部と、前記第２の分離画像の予測に際し、前記第１の逆量子化部から得られる直交変換係数に対して、該直交変換係数の高次成分の伝播を抑制するための重み付けを施す第１の直交変換係数重み付け部と、前記第１の分離画像の復元のために前記第１の逆量子化部により逆量子化された信号に対して逆直交変換を施すとともに、前記第２の分離画像の予測のために前記第１の直交変換係数重み付け部により重み付けされた信号に対して逆直交変換を施す第１の逆直交変換部と、前記可変長復号化部から得られる前記第２の分離画像に対する量子化された前記差分信号に対して逆量子化を施す第２の逆量子化部と、前記第１の分離画像の量子化誤差予測信号の生成に際し、前記第２の逆量子化部から得られる直交変換係数に対して、該直交変換係数の高次成分の伝播を抑制するための重み付けを施して前記第１の分離画像に対する量子化誤差予測信号の直交変換係数を生成する第２の直交変換係数重み付け部と、前記第２の逆量子化部により逆量子化された差分信号の直交変換係数に対して逆直交変換を施すとともに、前記第２の直交変換係数重み付け部により重み付けされた量子化誤差予測信号の直交変換係数に対して逆直交変換を施す第２の逆直交変換部と、前記第１の逆直交変換部から得られる前記第１の分離画像の復元信号と、前記第２の逆直交変換部から得られる所定の量子化範囲内に制限された量子化誤差予測信号とを加算し、当該新たな第１の分離画像の復元信号を生成する第１の加算器と、前記第１の逆直交変換部から得られる前記第２の分離画像の予測信号と、前記第２の逆直交変換部から得られる前記第２の分離画像の差分信号とを加算し、前記第２の分離画像の復元信号を生成する第２の加算器と、前記第１の加算器の出力と前記第２の加算器の出力を合成する合成部と、を備え、ｘ及びｙを画素の座標、Ｍ及びＮを前記第１及び第２の分離画像のそれぞれ水平方向、垂直方向の画素数、ｕを水平周波数、ｖを垂直周波数、周波数ｋにおける前記第１の分離画像の量子化誤差予測信号用の正弦成分に対する重み付けをｗ（ｋ）としたとき、前記第１の分離画像の量子化誤差予測信号ｆ’（ｘ，ｙ）は、

として規定されていることを特徴とする。

また、本発明による復号装置において、前記可変長復号化部の出力信号から得られる前記第１の分離画像の量子化情報を用いて、前記量子化誤差予測信号を制限する制限部を更に備えることを特徴とする。

更に、本発明は、コンピュータを、上記符号化装置として機能させるための画像処理プログラムとしても特徴付けられる。

更に、本発明は、コンピュータを、上記復号装置として機能させるための画像処理プログラムとしても特徴付けられる。

本発明によれば、映像信号を符号化する際に、分離画像の予測信号に含まれる高周波雑音を低減し、符号化効率を向上させることが可能になる。

本発明の一実施例による符号化装置の構成を示すブロック図である。 本発明の一実施例による符号化装置の動作フローチャートである。 本発明の一実施例による復号装置の構成を示すブロック図である。 本発明の一実施例による復号装置の動作フローチャートである。 菱形直交変換のための画素信号の４５°回転を説明する図である。 菱形直交変換のための画素信号の分離を説明する図である。

以下に、本発明の実施例について図１〜図６を使用して詳細に説明する。

まず、本発明の一実施例による符号化装置１について説明する。

[符号化装置]
図１は、本発明の一実施例による符号化装置１の構成を示すブロック図である。本実施例による符号化装置１は、分離部１１と、直交変換部１２−１と、量子化部１３−１と、逆量子化部１４と、直交変換係数重み付け部１５と、逆直交変換部１６と減算器１７と、直交変換部１２−２と、量子化部１３−２と、可変長符号化部１８と、バッファ１９と、切り替え部２０とを備える。

ここで、符号化装置１の各構成要素を説明する。

分離部１１は、符号化装置１が映像のベースバンド信号をフレームメモリ（図示せず）の所定の領域に格納すると、まず当該フレームメモリから所定の画素領域ごとのベースバンド信号を読み出す。次に、当該ベースバンド信号の正方画素信号を１画素ごとに交互に分離して２つの分離画像Ａ及びＢを生成し、直交変換部１２−１及び減算器１７に出力する。

具体的には、分離部１１は、図５の上図に示す正方配置した（２×ｎ−１）×（２×ｎ）領域（図５はｎ＝８の場合）の画素信号をフレームメモリから読み出す際に、４５°の回転処理を施し、図５の下図に示すような画素信号として読み出す。この４５°回転処理により直交変換の処理速度が向上するとともに、４５°傾いた斜めパターンの感度が最も劣る人間の視覚特性のために、境界での画像劣化が認識されにくい効果も生じる。

次に、図５の下図に示す枠内の画素信号を、図６に示すように、分離画像Ａについての８×８画素の正方画素信号と、分離画像Ｂについての８×８画素の正方画素信号とに分離する。その後、分離画像Ａの正方画素信号を直交変換部１２−１に、分離画像Ｂの正方画素信号を減算器１７にそれぞれ出力する。

直交変換部１２−１は、分離部１１から入力した分離画像Ａの８×８ブロックの正方画素信号に対して離散コサイン変換（ＤＣＴ）による直交変換を行い、得られた直交変換係数（ＤＣＴ係数）を量子化部１３−１に出力する。

量子化部１３−１は、バッファ１９からバッファ量を入力し、直交変換部１２−１から入力したＤＣＴ係数に対して目標ビットレートに応じた量子化を施し、得られた量子化信号を逆量子化部１４に出力するとともに、切り替え部２０を介して可変長符号化部１８に出力する。

逆量子化部１４は、量子化部１３−１から供給される量子化信号に対して逆量子化を施し、得られた分離画像ＡのＤＣＴ係数を直交変換係数重み付け部１５に出力する。

直交変換係数重み付け部１５は、分離画像Ｂの予測に際し、逆量子化部１４から得られる分離画像Ａの直交変換係数に対して、該直交変換係数の高次成分の伝播を抑制するための重み付けを施して逆直交変換部１６に出力する。

逆直交変換部１６は、入力した直交変換係数重み付け部１５により重み付けされたＤＣＴ係数に対してＩＤＣＴを施して分離画像Ｂの予測信号を生成し、減算器１７に出力する。

ここで、直交変換係数重み付け部１５におけるＤＣＴ係数に対する重み付けについて詳細に説明する。

本実施例におけるＤＣＴ係数に対する重み付けは、以下のように直交変換係数の次数に応じて事前に決定される。

まず、一般的な逆離散コサイン変換（Ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ，ＩＤＣＴ）によれば、直交変換係数重み付け部１５における分離画像Ａの画像信号ｆ（ｘ，ｙ）は以下のように与えられる。

ここで、ｘ及びｙは画素の座標、Ｍ及びＮは分離画像Ａ及びＢのそれぞれ水平方向、垂直方向の画素数、ｕは水平周波数、ｖは垂直周波数である。この分離画像Ａの画素信号ｆ（ｘ，ｙ）から分離画像Ｂの画素信号を予測する際に、分離画像Ａ及びＢが互いに半画素ずれていることを考慮して、ｘをｘ＋０．５（ｙをｙ＋０．５）で置換すると、分離画像Ｂの予測信号ｇ’（ｘ，ｙ）は以下のように与えられる。

このように、分離画像Ｂの予測信号ｇ’（ｘ，ｙ）は４つの項に展開され、それぞれの項にｕ，ｖの次数に応じた係数ｓｉｎ（ｕπ／２Ｍ），ｓｉｎ（ｖπ／２Ｎ），ｃｏｓ（ｕπ／２Ｍ）及びｃｏｓ（ｖπ／２Ｎ）を含む。ここで、ｃｏｓ（ｕπ／２Ｍ）及びｃｏｓ（ｖπ／２Ｎ）は、ｕ，ｖの次数の増加とともに０に近づくのに対し、ｓｉｎ（ｕπ／２Ｍ）及びｓｉｎ（ｖπ／２Ｎ）は１に近づく。画像の一般的な統計モデルでは低周波成分から高周波成分に向かうに従ってエネルギーが減少することが知られており、そのた
め、上式から分離画像Ｂの画像信号を予測すると、ｓｉｎ（ｕπ／２Ｍ）を含む項及びｓｉｎ（ｖπ／２Ｎ）を含む項（正弦成分を含む項）によりＤＣＴ係数Ｆ（ｕ，ｖ）の高次成分がそのまま分離画像Ｂに伝播し、分離画像Ｂに折り返し成分が生じうる。この結果、後述する直交変換部１２―２における分離画像Ｂの差分信号のＤＳＴ係数のエネルギー集中度が低下し、符号化効率の低下へとつながる。

そこで、更なる改善のために、本実施例において、分離画像Ｂの予測信号は、上記のｓｉｎ（ｕπ／２Ｍ）を含む項及びｓｉｎ（ｖπ／２Ｎ）を含む項（正弦成分を含む項）に、分離画像Ｂに対する相関に基づく重み付けｗ（ｋ）を乗じて、分離画像Ｂの予測信号ｇ’（ｘ，ｙ）を構成する。即ち、分離画像Ｂの予測信号ｇ’（ｘ，ｙ）は以下のように表される。ここで、分離画像Ｂの予測信号ｇ’（ｘ，ｙ）用の重み付けｗ（ｋ）は、一次元の周波数ｋ（水平周波数ｕ又は垂直周波数ｖ）における分離画像Ｂに対する相関に基づくものとなる。

例えば、本実施例における分離画像Ｂの予測信号ｇ’（ｘ，ｙ）用の重み付けｗ(ｋ)について決定した一例を説明する。予測信号ｇ’（ｘ，ｙ）用の重み付けｗ（ｋ）の値は、画質改善の効果を確認しながら任意の値を決定することができるが、参考として、例えば特許文献３に詳述されるやり方（即ち、特許文献３にて詳述される式（１））で決定することができる。ただし、この予測信号ｇ’（ｘ，ｙ）用の重み付けｗ（ｋ）の算出技法自体は、本願の主題ではない。

つまり、分離画像Ｂの予測信号ｇ’（ｘ，ｙ）は、ＤＳＴ基底に対する重み付けを行うものであるので、予測信号ｇ’（ｘ，ｙ）用の重み付けｗ(ｋ)は、例えば、以下の値にすることができる（これは、特許文献３にて詳述される表２の一次元信号に対する重み付けの場合に相当する）。

［予測信号ｇ’（ｘ，ｙ）用の正弦成分に対する重み付けｗ(ｋ)］
ｗ(ｋ)＝ ０．８９５２７ （ｋ＝０)
＝０．９０６１３ （ｋ＝１)
＝０．８０３３８ （ｋ＝２)
＝０．６９３５２ （ｋ＝３)
＝０．５３７６６ (ｋ＝４)
＝０．３７５３３ （ｋ＝５)
＝０．１８８８６ （ｋ＝６)
＝−０．８２５２５ （ｋ＝７)

ここで、ｗ(７)は、負値であるので、ｗ(７)＝０とすることができる。

このように、直交変換係数重み付け部１５は、分離画像Ａの画像信号から分離画像Ｂの画像信号を予測する際に、分離画像Ａ及びＢが互いに半画素ずれていることを考慮し、更に雑音の原因となる項（予測信号における正弦成分を含む項）に重み付けを乗じて分離画像Ｂの画素信号を予測する。これにより、後述する直交変換部１２―２における分離画像Ｂの差分信号のＤＳＴ係数に対する電力集中度を高めることが可能になる。

減算器１７は、分離部１１から入力した８×８画素の分離画像Ｂの画像信号と、逆直交変換部１６から入力した分離画像Ｂの予測信号とを差分して差分信号を生成し、直交変換部１２−２に出力する。

直交変換部１２−２は、減算器１７から供給される差分信号に対して離散サイン変換（ＤＳＴ）を施す。即ち、直交変換部１２−２は、原信号から得られる分離画像Ｂの画像信号と、分離画像Ａから予測される分離画像Ｂの予測信号との差分信号に対してＤＳＴを施す。ＤＣＴ及びＤＳＴは、直交変換方法として広く使用されている方法であり、一般的には、符号化効率を考慮して、ＤＣＴは信号間の相関が高い場合に、ＤＳＴは信号間の相関が低い場合に使用される。映像信号の場合は、隣接画素の画素間相関が比較的高いことから、ＤＣＴが広く使用されている。一方、本実施例の直交変換部１２−２では、映像の「差分信号」に対して直交変換を施すため、映像信号それ自体とは異なり、必ずしも相関が高いとは限らない。そこで、分離画像別にＤＣＴ及びＤＳＴを分けて使用することによって、高効率符号化を実現する。

量子化部１３−２は、バッファ１９からバッファ量を入力し、直交変換部１２−２から入力したＤＳＴ係数に対して、目標ビットレートに応じた量子化を施し、得られた量子化信号を、切り替え部２０を介して可変長符号化部１８に出力する。

切り替え部２０は、量子化部１３−１の出力及び量子化部１３−２の出力を、分離画像単位で切り替えて可変長符号化部１８に送出するのに用いる。

可変長符号化部１８は、量子化部１３−１及び１３−２から供給される量子化信号に対して、例えばＭＰＥＧ−２で使用されているランレングス符号化やＨ．２６４などで使用されている算術符号化（ＣＡＶＡＣやＣＡＶＬＣ）を用いた符号化技法で符号化し、これによりバッファ１９を介して可変長符号に変換されたビットストリーム信号として出力可能にする。

バッファ１９は、可変長符号化部１８からの出力信号を入力して一時的に記憶し、ビットストリーム信号としての出力に応じて、バッファ量を量子化部１３−１及び１３−２に出力する。

このように、本発明の一実施例による符号化装置１によれば、分離部１１によりベースバンド信号を１画素ごとに交互に分離して分離画像Ａ及び分離画像Ｂを生成し、直交変換係数重み付け部１５により重み付けされたＤＣＴ係数に基づいて逆直交変換部１６により分離画像Ａから分離画像Ｂの画素信号を予測し、減算部１７により分離画像Ｂの画素信号と、分離画像Ｂの予測信号との間の差分信号を出力し、可変長符号化部１８により分離画像Ａの画素信号及び分離画像Ｂの差分信号を符号化するようにした。

本実施例の直交変換係数重み付け部１５による重み付けにより、分離画像Ａの画像信号から分離画像Ｂの画像信号を予測する際に発生するＤＣＴ係数の高次成分を原理的に抑制するため、分離画像Ｂの差分信号のＤＳＴ係数に対する電力集中度が高まり、符号化効率を向上させることが可能となる。

図２は、符号化装置１の動作フローチャートを示している。

[符号化装置１の動作フロー]
まず、ステップＳ２０１にて、分離部１１により、ベースバンド信号の正方画素信号を１画素ごとに交互に分離して２つの分離画像Ａ及びＢを生成する。

次に、ステップＳ２０２にて、分離部１１により、画像信号が分離画像Ａのものであるか否かを判別し、分離画像Ａの画像信号については直交変換部１２−１に出力し、分離画像Ｂの画像信号については減算器１７に出力する。

次に、ステップＳ２０３にて、直交変換部１２−１により、分離画像Ａの画像信号に対してＤＣＴを施し、このＤＣＴ係数を量子化部１３−１に出力する。

次に、ステップＳ２０４にて、量子化部１３−１により、直交変換部１２−１から供給されるＤＣＴ係数に対して目標ビットレートに応じた量子化を施し、この量子化信号を切り替え部２０及び逆量子化部１４に送出する。

次に、ステップＳ２０５にて、逆量子化部１４により、量子化部１３−１から供給される量子化信号に対して逆量子化を施し、この逆量子化信号を直交変換係数重み付け部１５に送出する。

次に、ステップＳ２０６にて、直交変換係数重み付け部１５により、逆量子化部１４から供給される分離画像ＡのＤＣＴ係数に対して、雑音の原因となる予測信号における正弦成分を含む項に重み付け係数ｗ（ｋ）を乗ずる。

次に、ステップＳ２０７にて、逆直交変換部１６により、直交変換係数重み付け部１５から供給される重み付けされたＤＣＴ係数に対して逆直交変換を施し、分離画像Ｂの予測信号を生成する。

次に、ステップＳ２０８にて、減算器１７により、分離画像Ｂの予測信号と、分離部１１から出力された分離画像Ｂの画像信号とを差分して差分信号を生成する。

次に、ステップＳ２０９にて、直交変換部１２−２により、減算器１７から供給される差分信号に対してＤＳＴを施し、このＤＳＴ係数を量子化部１３−２に出力する。

次に、ステップＳ２１０にて、量子化部１３−２により、直交変換部１２−２から供給されるＤＳＴ係数に対して目標ビットレートに応じた量子化を施し、この量子化信号を切り替え部２０に送出する。切り替え部２０は、量子化部１３−１の出力及び量子化部１３−２の出力を、分離画像単位で切り替えて可変長符号化部１８に送出する。

次に、ステップＳ２１１にて、可変長符号化部１８により、量子化部１３−１から供給される量子化信号に対して可変長符号化を施すとともに、量子化部１３−２から供給される量子化信号に対して可変長符号化を施し、バッファ１９を介してビットストリーム信号を出力する。尚、可変長符号化部１８は、可変長符号化後に、分離画像Ａ又はＢの信号であることを識別する情報を付加して符号化し、バッファ１９に格納する。

このように、符号化装置１は、入力される映像のベースバンド信号を符号化し、ビットストリーム信号として出力することができる。

次に、本発明の一実施例による復号装置３について説明する。

[復号装置]
図３は、本発明の一実施例による復号装置３の構成を示すブロック図である。本実施例による復号装置３は、可変長復号化部３１と、逆量子化部３２−１と、直交変換係数重み付け部３３−１と、逆直交変換部３４−１と、切り替え部３９−１と、制限部３５と、加算器３６と、逆量子化部３２−２と、直交変換係数重み付け部３３−２と、逆直交変換部３４−２と、加算器３７と、合成部３８と、切り替え部３９−２とを備える。

ここで、復号装置３の各構成要素を説明する。

可変長復号化部３１は、図１に示した符号化装置１によって符号化されたビットストリーム信号に対して可変長復号化を施す。具体的には、分離画像Ａ及び分離画像Ｂを識別するための情報、量子化情報、ＤＣＴ又はＤＳＴの直交変換の種別を識別するための情報、直交変換係数情報等を復号し、識別した分離画像Ａ及び分離画像Ｂの量子化信号を、逆量子化部３２−１及び３２−２にそれぞれ出力する。

逆量子化部３２−１は、可変長復号化部３１から供給される分離画像Ａの量子化信号に対して、逆量子化を施してＤＣＴ係数を生成し、直交変換係数重み付け部３３−１に出力するとともに、切り替え部３９−１を介して逆直交変換部３４−１に出力する。

直交変換係数重み付け部３３−１は、符号化装置１の直交変換係数重み付け部１５と同様に動作する。即ち、直交変換係数重み付け部３３−１は、入力した分離画像ＡのＤＣＴ係数に対して、符号化装置１の直交変換係数重み付け部１５と同一の係数を使用してＤＣＴ係数の重み付けを行い、切り替え部３９−１を介して逆直交変換部３４−１に出力する。

逆直交変換部３４−１は、逆量子化部３２−１から供給される重み付けされていない分離画像Ａに対する画像信号のＤＣＴ係数が入力される場合には、ＩＤＣＴを施して分離画像Ａの復元信号を生成し、加算器３６に出力する。一方、逆直交変換部３４−１は、直交変換係数重み付け部３３−１から供給される重み付けされたＤＣＴ係数（分離画像Ｂの予測信号のためのＤＣＴ係数）が入力される場合には、ＩＤＣＴを施して分離画像Ｂの予測信号を生成し、切り替え部３９−１を介して加算器３７に出力する。

切り替え部３９−１は、逆直交変換部３４−１の入力元及び出力先を切り替える。逆量子化部３２−１の出力を逆直交変換部３４−１に入力する場合には、入力元を逆量子化部３２−１に切り替えるとともに、出力先を加算器３６に切り替える。一方、直交変換係数重み付け部３３−１の出力を逆直交変換部３４−１に入力する場合には、入力元を直交変換係数重み付け部３３−１に切り替えるとともに、出力先を加算器３７に切り替える。また、切り替え部３９−１を使用する代わりに、逆直交変換部３４−１を２つの逆直交変換部で構成し、一方を逆量子化部３２−１と加算器３６との間に、他方を直交変換係数重み付け部３３−１と加算器３７との間にそれぞれ設けるようにすることもできる。

逆量子化部３２−２は、可変長復号化部３１により可変長復号された、分離画像Ｂを復号するための差分信号に対して、逆量子化を施して差分信号の直交変換係数の信号を生成し、直交変換係数重み付け部３３−２に出力するとともに、切り替え部３９−２を介して逆直交変換部３４−２に出力する。

直交変換係数重み付け部３３−２は、分離画像Ａの量子化誤差予測信号の生成に際し、逆量子化部３２−２から供給される分離画像Ｂを復号するための差分信号の直交変換係数に対して、該直交変換係数の高次成分の伝播を抑制するための重み付けを施して、分離画像Ａの量子化誤差予測信号のための直交変換係数を生成する。

逆直交変換部３４−２は、逆量子化部３２−２から供給される重み付けされていない分離画像Ｂの差分信号に対するＤＳＴ係数が入力される場合には、ＩＤＳＴを施して分離画像Ｂの差分信号を生成し、加算器３７に出力する。一方、逆直交変換部３４−２は、直交変換係数重み付け部３３−２から供給される重み付けされたＤＳＴ係数（分離画像Ａの量子化誤差予測信号のためのＤＳＴ係数）が入力される場合には、ＩＤＳＴを施して分離画像Ａの量子化誤差予測信号を生成し、切り替え部３９−２を介して制御部３５に出力する。

ここで、分離画像Ｂの差分信号のＤＳＴ係数Ｇ’（ｕ，ｖ）から分離画像Ａの予測信号の量子化誤差の算定について詳細に説明する。
まず、一般的な逆離散サイン変換（Ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｓｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ，ＩＤＳＴ）によれば、ＤＳＴにより得られたＤＳＴ係数Ｇ’（ｕ，ｖ）から、分離画像Ｂの差分信号ｇ（ｘ，ｙ）は以下のように与えられる。

ここで、ｘ及びｙは画素の座標、Ｍ及びＮは分離画像Ａ及びＢのそれぞれ水平方向、垂直方向の画素数、ｕは水平周波数、ｖは垂直周波数である。この分離画像Ｂの差分信号ｇ（ｘ，ｙ）から分離画像Ａの量子化誤差予測信号ｆ’（ｘ，ｙ）を予測する際に、分離画像Ａ及びＢが互いに半画素ずれていることを考慮して、ｘをｘ−０．５（ｙをｙ−０．５）で置換すると、分離画像Ａの量子化誤差予測信号ｆ’（ｘ，ｙ）は以下のように与えられる。

このように、分離画像Ａの量子化誤差予測信号ｆ’（ｘ，ｙ）は４つの項に展開され、符号化装置１での場合と同様の理由により、ｓｉｎ（ｕπ／２Ｍ）を含む項及びｓｉｎ（ｖπ／２Ｎ）を含む項（正弦成分を含む項）によりＤＳＴ係数Ｇ’（ｕ，ｖ）の高次成分がほぼそのまま分離画像Ａに伝播し、雑音となって分離画像Ａの信号に加算されうる。そこで、更なる改善のために、本実施例においては、分離画像Ａの量子化誤差予測信号ｆ’（ｘ，ｙ）を以下の式のように構成する。ここで、分離画像Ａの量子化誤差予測信号ｆ’（ｘ，ｙ）用の重み付けｗ（ｋ）は、一次元の周波数ｋ（水平周波数ｕ又は垂直周波数ｖ）における分離画像Ａに対する相関に基づくものとなる。

ここで、量子化誤差予測信号ｆ’（ｘ，ｙ）用の重み付けｗ（ｋ）の一例を説明する。上述したように、量子化誤差予測信号ｆ’（ｘ，ｙ）用の重み付けｗ（ｋ）の値は、画質改善の効果を確認しながら任意の値を決定することができるが、参考として、例えば特許文献３に詳述されるやり方（即ち、特許文献３にて詳述される式（１））で決定することができる。ただし、この量子化誤差予測信号ｆ’（ｘ，ｙ）用の重み付けｗ（ｋ）の算出技法自体は、本願の主題ではない。

つまり、分離画像Ａの量子化誤差予測信号ｆ’（ｘ，ｙ）は、ＤＣＴ基底に対する重み付けを行うものであるので、量子化誤差予測信号ｆ’（ｘ，ｙ）用の重み付けｗ(ｋ)は、以下の値にすることができる（これは、特許文献３にて詳述される表１の一次元信号に対する重み付けの場合に相当する）。

［量子化誤差予測信号ｆ’（ｘ，ｙ）用の正弦成分に対する重み付けｗ（ｋ）］
ｗ(ｋ)＝ １．０ （ｋ＝０)
＝０．９９６４８ （ｋ＝１)
＝０．９２３８８ （ｋ＝２)
＝０．８４４７７ （ｋ＝３)
＝０．７０７１１ (ｋ＝４)
＝０．５６４４６ （ｋ＝５)
＝０．３８２６８ （ｋ＝６)
＝０．１９８２１ （ｋ＝７)

加算器３７は、逆直交変換部３４−１から切り替え部３９−１を介して供給される復号信号（分離画像Ｂの予測信号）と、逆直交変換部３４−２から供給される復号信号（分離画像Ｂの差分信号）とを加算し、分離画像Ｂの復元信号を生成して合成部３８に出力する。このように、加算器３７は、逆量子化部３２−２からの重み付けを施していない分離画像Ｂの差分信号を、直交変換係数重み付け部３３−１からの重み付けを施した分離画像Ｂの予測信号に加算して分離画像Ｂの復元信号を生成する。

制限部３５は、可変長復号化部３１からの出力である分離画像Ａの量子化情報に基づいた信号を入力するとともに、直交変換係数重み付け部３３−２から供給される重み付けされたＤＳＴ係数に対して逆量子化を施した信号（分離画像Ａの量子化誤差予測信号）を入力し、両者を比較して分離画像Ａの量子化誤差予測信号が所定の量子化範囲内の信号である場合に、当該分離画像Ａの量子化誤差予測信号を加算器３６に出力し、量子化範囲内の信号でない場合は、分離画像Ａの量子化情報に基づいた信号を加算器３６に出力する。

加算器３６は、逆直交変換部３４−１から供給される分離画像Ａの復元信号及び制限部３５からの出力を加算して新たな分離画像Ａの復元信号を生成し、合成部３８に出力する。

切り替え部３９−２は、逆直交変換部３４−２の入力元及び出力先を切り替える。逆量子化部３２−２の出力を逆直交変換部３４−２に入力する場合には、入力元を逆量子化部３２−２に切り替えるとともに、出力先を加算器３７に切り替える。一方、直交変換係数重み付け部３３−２の出力を逆直交変換部３４−２に入力する場合には、入力元を直交変換係数重み付け部３３−２に切り替えるとともに、出力先を制限部３５に切り替える。また、切り替え部３９−２を使用する代わりに、逆直交変換部３４−２を２つの逆直交変換部で構成し、一方を逆量子化部３２−２と加算器３７との間に、他方を直交変換係数重み付け部３３−２と制限部３５との間にそれぞれ設けるようにすることもできる。

合成部３８は、加算器３６から供給される分離画像Ａの復元信号と、加算器３７から供給される分離画像Ｂの復元信号とを合成して元の画像信号を生成し、ベースバンド信号として出力する。

このように、本発明の一実施例による復号装置３によれば、制限した量子化誤差予測信号を用いて、分離画像Ａの復元信号を生成するとともに、分離画像Ｂの予測信号を用いて、分離画像Ｂの復元信号を生成する。上述した実施例の画像復号装置以外にも、単に逆直交変換により得られる分離画像Ａの画像信号と分離画像Ｂの画像信号とを加算することができるが、本実施例の復号装置３を使用することにより、再生品質をより一層向上させることが可能となる。

図４は、復号装置３の動作フローチャートを示している。ここで、符号化された画像信号の復号方法について説明する。

[復号装置３の動作フロー]
まず、ステップＳ４０１にて、可変長復号化部３１により、入力される映像のビットストリーム信号に対して可変長復号化を施す。

次に、ステップＳ４０２にて、可変長復号化部３１により、可変長復号化された信号が分離画像Ａのものであるか否かについて判断し、分離画像Ａについては、逆量子化部３２−１に出力する。一方、分離画像Ｂについては、逆量子化部３２−２に出力する。

次に、逆量子化部３２−１により、可変長復号化部３１から供給される分離画像Ａの量子化信号に対して逆量子化を施して（ステップＳ４０３）、ＤＣＴ係数を生成し、直交変換係数重み付け部３３−１に出力するとともに、切り替え部３９−１を介して逆直交変換部３４−１に出力する。

即ち、逆量子化部３２−１により、逆量子化したＤＣＴ係数に対して重み付けを施す処理経路と、重み付けを施さない処理経路との分岐処理を行う（ステップＳ４０４）。一方の処理経路は、逆量子化部３２−１によって得られるＤＣＴ係数に重み付けを施して逆直交変換部３４−１に接続される。他方の処理経路は、逆量子化部３２−１によって得られるＤＣＴ係数に重み付けを施さずに逆直交変換部３４−１に接続される。

次に、ステップＳ４０５にて、直交変換係数重み付け部３３−１により、逆量子化部３２−１から供給される分離画像ＡのＤＣＴ係数に対して重み付けを行い、切り替え部３９−１を介して逆直交変換部３４−１に出力する。

次に、逆直交変換部３４−１により、直交変換係数重み付け部３３−１から供給される重み付けされたＤＣＴ係数（分離画像Ｂの予測信号のためのＤＣＴ係数）が入力される場合には、ＩＤＣＴを施して分離画像Ｂの予測信号を生成し、切り替え部３９−１を介して加算器３７に出力し（ステップＳ４０６）、逆量子化部３２−１から供給される重み付けされていない分離画像Ａに対する画像信号のＤＣＴ係数が入力される場合には、ＩＤＣＴを施して分離画像Ａの復元信号を生成し、加算器３６に出力する（ステップＳ４０７）。

次に、逆量子化部３２−２により、分離画像Ｂを復号するための差分信号に対して逆量子化を施して（ステップＳ４０８）、この差分信号の直交変換係数の信号を生成し、直交変換係数重み付け部３３−２に出力するとともに、切り替え部３９−２を介して逆直交変換部３４−２に出力する。

即ち、逆量子化部３２−２により、逆量子化したＤＣＴ係数に対して重み付けを施す処理経路と、重み付けを施さない処理経路との分岐処理を行う（ステップＳ４０９）。一方の処理経路は、逆量子化部３２−２によって得られるＤＣＴ係数に重み付けを施して逆直交変換部３４−２に接続される。他方の処理経路は、逆量子化部３２−２によって得られるＤＣＴ係数に重み付けを施さずに逆直交変換部３４−２に接続される。

次に、ステップＳ４１０にて、直交変換係数重み付け部３３−２により、逆量子化部３２−２から供給される差分信号の直交変換係数に対して重み付けを施して、分離画像Ａの量子化誤差予測信号のためのＤＳＴ係数を生成し、逆直交変換部３４−２に送出する。

次に、逆直交変換部３４−２により、直交変換係数重み付け部３３−２から供給される重み付けされたＤＳＴ係数（分離画像Ａの量子化誤差予測信号のためのＤＳＴ係数）が入力される場合には、ＩＤＳＴを施して分離画像Ａの量子化誤差予測信号を生成し、制御部３５に出力し（ステップＳ４１１）、逆量子化部３２−２から供給される重み付けされていない分離画像Ｂの差分信号に対するＤＳＴ係数が入力される場合には、ＩＤＳＴを施して分離画像Ｂの差分信号を生成して加算器３７に出力する（ステップＳ４１３）。

次に、ステップＳ４１２にて、制限部３５により、可変長復号化部３１からの出力である分離画像Ａの量子化情報に基づいた信号を入力するとともに、逆直交変換部３４−２から分離画像Ａの量子化誤差予測信号を入力し、両者を比較して分離画像Ａの量子化誤差予測信号が所定の量子化範囲内の信号である場合に、当該分離画像Ａの量子化誤差予測信号を加算器３６に出力し、量子化範囲内の信号でない場合は、分離画像Ａの量子化情報に基づいた信号を加算器３６に出力する。

次に、ステップＳ４１４にて、加算器３７により、ステップＳ４０６にて生成された分離画像Ｂの予測信号と、ステップ４１３にて生成された分離画像Ｂの差分信号を加算し、分離画像Ｂの復元信号を生成する。

次に、ステップＳ４１５にて、加算器３６により、ステップＳ４０７にて生成された分離画像Ａの復元信号と、制限部３５からの出力を加算し、新たな分離画像Ａの復元信号を生成し、合成部３８に出力する。

最後に、ステップＳ４１６にて、合成部３８により、ステップＳ４１５にて生成された分離画像Ａの復元信号と、ステップＳ４１４にて生成された分離画像Ｂの復元信号を合成して、ベースバンド信号を生成する。

こうして、復号装置３は、符号化装置１によって符号化されたビットストリーム信号を復号し、ベースバンド信号が出力されることになる。

以上のように、本発明による一実施例の符号化装置及び復号装置を使用して、高周波エイリアシングに起因する画質劣化を改善するとともに符号化効率を向上させることが可能となる。

更に、本発明の一態様として、符号化装置１又は復号装置３を、各装置として機能するコンピュータとしてそれぞれ構成させることができる。コンピュータに、前述した各構成要素を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。各コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各成要素の機能をハードウェアの全部又は一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記
録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶
することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型
記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することと
してもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、
受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明を詳細に説明してきたが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。例えば、上述した重み付けｗ（ｋ）の各値は一例を示したものであり、必ずしもこれに限定するものではない。即ち、符号化効率とシステムの複雑度を考慮し、それぞれの重み付けｗ（ｋ）を全て０とすることができる。従って、本発明は上記の実施例に限定されるものではない。

本発明は、情報量が膨大なスーパーハイビジョン等の符号化システムにおける符号量抑制に有用である。

１ 符号化装置
３ 復号装置
１１ 分離部
１２−１ 直交変換部
１２−２ 直交変換部
１３−１ 量子化部
１３−２ 量子化部
１４ 逆量子化部
１５ 直交変換係数重み付け部
１６ 逆直交変換部
１７ 減算器
１８ 可変長符号化部
１９ バッファ
２０ 切り替え部
３１ 可変長復号化部
３２−１ 逆量子化部
３２−２ 逆量子化部
３３−１ 直交変換重み付け部
３３−２ 直交変換重み付け部
３４−１ 逆直交変換部
３４−２ 逆直交変換部
３５ 制限部
３６，３７ 加算器
３８ 合成部
３９−１ 切り替え部
３９−２ 切り替え部

Claims (5)

1. 映像信号の画像を構成する小領域ごとの画素信号を符号化する符号化装置であって、
   前記小領域ごとの画素信号について隣接画素を分離して２つの分離画像を生成する分離部と、
   前記２つの分離画像のうち第１の分離画像の画素信号に対して直交変換を施す第１の直交変換部と、
   前記第１の直交変換により生成された直交変換係数を量子化して量子化信号を生成する第１の量子化部と、
   前記量子化信号に対して逆量子化を施す逆量子化部と、
   前記２つの分離画像のうち第２の分離画像の予測に際し、前記逆量子化部から得られる直交変換係数に対して、該直交変換係数の高次成分の伝播を抑制するための重み付けを施す直交変換係数重み付け部と、
   前記逆直交変換重み付け部により重み付けを施された信号に対して逆直交変換を施して前記第２の分離画像の予測信号を生成する逆直交変換部と、
   前記予測信号と前記分離部により生成された前記第２の分離画像の信号との間の差分信号を求める減算器と、
   前記差分信号に直交変換を施す差分信号直交変換部と、
   前記直交変換を施された前記差分信号に量子化を施す第２の量子化部と、
   前記第２の量子化部により前記差分信号に対し量子化が施された信号、及び、前記第１の量子化部により前記第１の分離画像に対し量子化が施された信号に対して可変長符号化を施す可変長符号化部とを備え、
   ｘ及びｙを画素の座標、Ｍ及びＮを前記第１及び第２の分離画像のそれぞれ水平方向、垂直方向の画素数、ｕを水平周波数、ｖを垂直周波数、周波数ｋにおける前記第２の分離画像の予測信号用の正弦成分に対する重み付けをｗ（ｋ）としたとき、前記第２の分離画像の予測信号ｇ’（ｘ，ｙ）は、
   

   

   として規定されていることを特徴とする符号化装置。
2. 請求項１に記載の符号化装置によって符号化された信号を受信して復号する復号装置であって、
   前記符号化された画素信号を可変長復号して、前記第１の分離画像の量子化信号と前記第２の分離画像に対する量子化された前記差分信号とを得る可変長復号化部と、
   前記可変長復号化部から得られる前記第１の分離画像の量子化信号に対して逆量子化を施す第１の逆量子化部と、
   前記第２の分離画像の予測に際し、前記第１の逆量子化部から得られる直交変換係数に対して、該直交変換係数の高次成分の伝播を抑制するための重み付けを施す第１の直交変換係数重み付け部と、
   前記第１の分離画像の復元のために前記第１の逆量子化部により逆量子化された信号に対して逆直交変換を施すとともに、前記第２の分離画像の予測のために前記第１の直交変換係数重み付け部により重み付けされた信号に対して逆直交変換を施す第１の逆直交変換部と、
   前記可変長復号化部から得られる前記第２の分離画像に対する量子化された前記差分信号に対して逆量子化を施す第２の逆量子化部と、
   前記第１の分離画像の量子化誤差予測信号の生成に際し、前記第２の逆量子化部から得られる直交変換係数に対して、該直交変換係数の高次成分の伝播を抑制するための重み付けを施して前記第１の分離画像に対する量子化誤差予測信号の直交変換係数を生成する第２の直交変換係数重み付け部と、
   前記第２の逆量子化部により逆量子化された差分信号の直交変換係数に対して逆直交変換を施すとともに、前記第２の直交変換係数重み付け部により重み付けされた量子化誤差予測信号の直交変換係数に対して逆直交変換を施す第２の逆直交変換部と、
   前記第１の逆直交変換部から得られる前記第１の分離画像の復元信号と、前記第２の逆直交変換部から得られる所定の量子化範囲内に制限された量子化誤差予測信号とを加算し、当該新たな第１の分離画像の復元信号を生成する第１の加算器と、
   前記第１の逆直交変換部から得られる前記第２の分離画像の予測信号と、前記第２の逆直交変換部から得られる前記第２の分離画像の差分信号とを加算し、前記第２の分離画像の復元信号を生成する第２の加算器と、
   前記第１の加算器の出力と前記第２の加算器の出力を合成する合成部と、
   を備え、
   ｘ及びｙを画素の座標、Ｍ及びＮを前記第１及び第２の分離画像のそれぞれ水平方向、垂直方向の画素数、ｕを水平周波数、ｖを垂直周波数、周波数ｋにおける前記第１の分離画像の量子化誤差予測信号用の正弦成分に対する重み付けをｗ（ｋ）としたとき、前記第１の分離画像の量子化誤差予測信号ｆ’（ｘ，ｙ）は、
   

   

   として規定されていることを特徴とする復号装置。
3. 前記可変長復号化部の出力信号から得られる前記第１の分離画像の量子化情報を用いて、前記量子化誤差予測信号を制限する制限部を更に備えることを特徴とする、請求項２に記載の復号装置。
4. コンピュータを、請求項１に記載の符号化装置として機能させるための画像処理プログラム。
5. コンピュータを、請求項２または３に記載の復号装置として機能させるための画像処理プログラム。

Images