JP5346871B2 - 符号化装置、復号装置及びプログラム - Google Patents

Description

本発明は、画像処理技術に関し、特に、非可逆な符号化方式によって符号化され、符号化劣化を生じた画像信号を修正する信号修正装置を備える符号化装置、復号装置及びプログラムに関する。

画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている（例えば、非特許文献１参照）。このようなイメージセンサにおける画像信号の補間技術は、ＲＧＢ色空間におけるＲＧＢ信号（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号）の補間を目的としているため、符号化による信号劣化について想定されていない。

また、ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術として、フォーマットカラー画像の色差成分補間技術が報告されている（例えば、非特許文献２参照）。この技術では、輝度（Ｙ）信号のサンプリング周波数の高さを利用して色差信号（Ｕ信号＝Ｂ−Ｙ，Ｖ信号＝Ｒ−Ｙ）の補間信号を生成することによって高精度な補間を行う。このようなＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術も、ＹＵＶ信号の補間を目的としているため、符号化による信号劣化について想定されていない。

これらの信号補間技術は、非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適しているが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処理によってＹＵＶ信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない。

また、符号化の劣化を低減するために、さまざまなデブロッキングフィルタ（例えば、Ｈ．２６４等におけるデブロッキングフィルタ）があるが、これらのデブロッキングフィルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するものであり、元の画像信号に対する符号化後の劣化を低減させることはできない。

久野、杉浦、「単板原色イメージセンサにおける画素補間方式の高精度化」、映像情報メディア学会誌、Ｖｏｌ．６１、Ｎｏ．７、２００７年７月１日、ｐｐ．１００６〜１０１６ 杉田、田口、「ＹＵＶ４：２：０フォーマットカラー画像の色差成分補間法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８８−Ａ、Ｎｏ．６、２００５年６月１日、ｐｐ．７５１〜７６０

ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した従来からの信号補間技術では、符号化時に生じた信号劣化に基づいて信号補間を行うため、符号化前のＹＵＶ信号に対する劣化を低減させる効果を奏するものではない。

また、復号された画像の同一領域を表現するコンポーネント信号間を比較して修正するとしても、符号化前のＹＵＶ信号に対して必ずしも正しい修正となるとは限らない。

更に、復号された画像の同一領域を表現するコンポーネント信号間を比較して修正するとしても、これらのコンポーネント信号を符号化して伝送する際には、符号化信号を受信して復号する際に利用されないコンポーネント信号の信号要素（例えば、時系列信号の画素値又は直交変換係数）も符号化して伝送することがあり、伝送効率の観点からは更なる改善の余地がある。

本発明の目的は、上述のような問題に鑑みて、符号化前のＹＵＶ信号に対して正しい修正を可能とする信号修正装置を備え、且つ伝送効率を改善する符号化装置、復号装置及びプログラムを提供することにある。

即ち、本発明の符号化装置は、画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置と、該動画像のコンポーネント信号を可変長符号化する可変長符号化部とを備える符号化装置であって、前記信号修正装置は、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成する教師信号生成手段と、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成する修正判断手段と、前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で置き換え、修正後の第２のコンポーネント信号を生成する修正処理手段とを備え、前記可変長符号化部は、可変長符号化前のコンポーネント信号の信号要素を受信して記憶保持する記憶保持手段と、前記記憶保持手段から伝送するコンポーネント信号の信号要素を読み出し、前記フラグ情報に基づいて、該信号要素のうち復号する際に利用されない信号要素を特定してエントロピー符号化に適した値に置換する最適化処理手段と、置換されたコンポーネント信号の要素に対してエントロピー符号化を施して外部に伝送するエントロピー符号化手段と、を備えることを特徴とする。

また、本発明の符号化装置において、前記エントロピー符号化に適した値は、伝送する情報量が最小となる値であるか、又はゼロであることを特徴とする。

また、本発明の符号化装置において、前記教師信号生成手段は、前記第１のコンポーネント信号に対して前記第２のコンポーネント信号を基に振幅調整して正規化を施して、前記第２のコンポーネント信号の教師信号を生成することを特徴とする。

また、本発明の符号化装置において、前記教師信号生成手段は、非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号として入力する手段と、前記復号信号のうちの第１のコンポーネント信号に対して前記基準信号における第２のコンポーネント信号を基に振幅調整して正規化を施して、前記復号信号のうちの第２のコンポーネント信号の教師信号を生成することを特徴とする。

また、本発明の符号化装置において、前記フラグ情報は、各コンポーネント信号の信号要素について、信号要素単位か、又は分割したブロック単位の修正箇所を表すことを特徴とする。

また、本発明の符号化装置において、前記教師信号生成手段は、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正量を表す正規化パラメータを生成する手段を有することを特徴とする。

更に、本発明の復号装置は、画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置と、符号化された動画像のコンポーネント信号を可変長復号する可変長復号部とを備える復号装置であって、前記信号修正装置は、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成する教師信号生成手段と、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行って生成された、修正すべき信号要素の修正箇所を表すフラグ情報を入力して、前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で置き換え、修正後の第２のコンポーネント信号を生成する修正処理手段とを備え、前記可変長復号部は、前記フラグ情報に基づいて特定される、復号する際に利用されないコンポーネント信号の信号要素について、エントロピー符号化に適した値に置換された信号要素を含むコンポーネント信号を受信して可変長復号を施すことを特徴とする。

また、本発明の復号装置において、前記教師信号生成手段は、前記第１のコンポーネント信号に対して前記第２のコンポーネント信号を基に振幅調整して正規化を施して、前記第２のコンポーネント信号の教師信号を生成することを特徴とする。

また、本発明の復号装置において、前記教師信号生成手段は、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行って生成された、修正すべき信号要素の修正量を表す正規化パラメータを入力する手段と、前記復号信号のうちの第１のコンポーネント信号に対して前記正規化パラメータを基に、前記復号信号のうちの第２のコンポーネント信号の教師信号を生成することを特徴とする。

更に、本発明の符号化装置及び復号装置の各々は、コンピュータで構成することができる。

本発明によれば、符号化前のＹＵＶ信号を基準にしてＹＵＶ信号を修正するため、本発明を適用しない場合と比較して画像劣化をより低減させることができるようになる。

本発明による一実施例の符号化側信号修正装置のブロック図である。 本発明による一実施例の符号化側信号修正装置のブロック図である。 本発明による一実施例の符号化側信号修正装置における、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する構成例を示す図である。 （ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示し、（ｂ）は、４：２：０フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示す図である。 （ａ）は、４：２：２フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示し、（ｂ）は、４：２：２フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示す図である。 本発明による一実施例の符号化側信号修正装置を適用した符号化装置の概略図である。 本発明による一実施例の復号側信号修正装置のブロック図である。 本発明による一実施例の復号側信号修正装置のブロック図である。 本発明による一実施例の復号側信号修正装置における、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する構成例を示す図である。 本発明による一実施例の復号側信号修正装置を適用した復号装置の概略図である。 本発明による一実施例の符号化側信号修正装置の動作フローである。 本発明による一実施例の復号側信号修正装置の動作フローである。 （ａ）は、コンポーネント信号の信号要素について信号要素単位で修正する例を示す図であり、（ｂ）は、コンポーネント信号の信号要素について分割したブロック単位で修正する例を示す図である。 被修正ＹＵＶ信号における輝度信号及び色差信号と、修正後のＹＵＶ信号の関係を例示する図である。 本発明による変形例の符号化側信号修正装置のブロック図である。 本発明による一実施例の符号化側信号修正装置を備える符号化装置における、伝送する直交変換係数を模式的に示す図である。 本発明による一実施例の符号化側信号修正装置を備える符号化装置における、可変長符号化部の概略図である。 （ａ）は、本発明による一実施例の符号化側信号修正装置を備える符号化装置における、伝送する直交変換係数を模式的に示す図であり、（ｂ）は、符号化を施す直交変換係数を模式的に示す図である。 （ａ）は、フレーム画像における４：２：２フォーマットの信号例を示す図であり、（ｂ）は、フレーム画像における４：２：０フォーマットの信号例を示す図である。

以下、本発明による一実施例の信号修正装置について説明する。

まず、本発明の理解のために、画像符号化で用いられる一般的な画像フォーマットについて説明する。一般に、画像符号化では、人間の知覚における輝度及び色差に対する感度の違いから、異なる画素サイズの信号の組み合わせで１フレームの画像フレームを構成する。このような画像フォーマットとして、図１９（ａ）に示すように、フレーム画像Ｆにおける画素Ｓ１について、４：２：２フォーマット（水平方向にて、輝度信号（Ｙ）の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）や、図１９（ｂ）に示すように、フレーム画像Ｆにおける画素Ｓ２について、４：２：０フォーマット（水平及び垂直方向にて、輝度信号の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）などがある。

このような画像信号を、ＭＰＥＧなどの代表的なブロック符号化では、輝度信号と色差信号の区別なく一定の画素数ごとに符号化を行う。このため、輝度信号及び色差信号の符号化ブロックの占める画像範囲は異なることになり、符号化劣化の生じる範囲も異なることになる。

輝度信号及び色差信号が表現する各サンプリング数の違いは、輝度信号と色差信号のサンプリング周波数が異なることを意味する。例えば、４：２：２フォーマットの場合、１６×１６画素の輝度信号で構成される画像範囲に対応する２つの色差信号（Ｕ信号及びＶ信号）は、それぞれ８×１６画素で構成される。従って、４：２：２フォーマットの場合、水平方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。同様に、４：２：０フォーマットの場合、水平及び垂直方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。

以下の説明では、代表的に、基準ＹＵＶ信号（基準となる色差信号）に基づいて、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）の信号要素を、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）から生成した教師信号の信号要素で修正することにより、修正後のＹＵＶ信号（修正された色差信号）を得る例について説明する。

尚、基準ＹＵＶ信号（基準となる輝度信号）に基づいて、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）と、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）とを比較して、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）の信号要素を被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）の信号要素で修正することにより、修正後のＹＵＶ信号（修正された輝度信号）を得ることもできる。従って、輝度信号及び色差信号の双方を、輝度信号及び色差信号間の相関から互いに修正することができる。

また、以下の説明では、ＹＵＶ信号は、図１９に示すような、サンプリング周波数が異なる輝度信号及び色差信号からなる例を説明する。尚、基準ＹＵＶ信号は、符号化前のＹＵＶ信号と考えてよく、被修正ＹＵＶ信号は、符号化されたＹＵＶ信号の復号信号と考えてよい。

図１に、本発明による一実施例の符号化側信号修正装置１０のブロック図を示す。符号化側信号修正装置１０は、教師信号生成部１１と、修正判断部１２と、修正処理部１３とを備える。

符号化側信号修正装置１０は、例えば非可逆な符号化方式で符号化された画像信号を復号するデコーダ（図示せず）から出力される所定の画像フォーマットの被修正ＹＵＶ信号を入力し、基準ＹＵＶ信号を利用して、輝度信号及び色差信号の符号化劣化を抑制しつつ、当該所定の画像フォーマットに従う新たなＹＵＶ信号（修正された輝度信号及び色差信号）を生成する。

即ち、教師信号生成部１１は、被修正ＹＵＶ信号のうちの輝度信号を入力して正規化し、正規化した輝度信号を色差信号の教師信号として生成し、修正判断部１２及び修正処理部１３に送出する。

ここで、例えば正規化した輝度信号を色差信号の教師信号として生成する例を説明する。

以下の式に示すとおり、各色差信号の直交変換係数の各成分座標（ｕ，ｖ）（ただし、直流成分である（０，０）成分を除く）における値のうち絶対値の最大値となる成分座標が（ａ，ｂ）で与えられる場合に、Ｕ信号に対する教師信号Ｔ＿Ｕ[ｖ][ｕ]，Ｖ信号に対する教師信号Ｔ＿Ｖ[ｖ][ｕ]は、各色差信号の直交変換係数Ｕ[ｂ][ａ]（又はＶ[ｂ][ａ]）に対応する成分座標の輝度信号の直交変換係数Ｙ[ｂ][ａ]を基準にした比によって、サンプリングレートを揃えた輝度信号の直交変換係数Ｙ[ｖ][ｕ]の各成分を正規化することにより得ることができる。
Ｔ＿Ｕ[ｖ][ｕ]＝Ｙ[ｖ][ｕ]＊Ｕ[ｂ][ａ]／Ｙ[ｂ][ａ]
Ｔ＿Ｖ[ｖ][ｕ]＝Ｙ[ｖ][ｕ]＊Ｖ[ｂ][ａ]／Ｙ[ｂ][ａ]
ここで、ｕ，ｖは、８×８画素ブロックであれば０〜７。ここでの正規化係数は、Ｕ[ｂ][ａ]／Ｙ[ｂ][ａ]又はＶ[ｂ][ａ]／Ｙ[ｂ][ａ]で与えられる。

輝度信号に対する教師信号Ｔ＿Ｙ[ｖ][ｕ]も同様のやり方で得ることができる。例えば、以下の式に示すとおり、輝度信号の直交変換係数の各成分座標（ｕ，ｖ）（ただし、直流成分である（０，０）成分を除く）における値のうち絶対値の最大値となる成分座標が（ａ，ｂ）で与えられる場合に、輝度信号用の教師信号Ｔ＿Ｙ[ｖ][ｕ]は、この輝度信号の直交変換係数Ｙ[ｂ][ａ]に対応する成分座標の色差信号の直交変換係数Ｕ[ｂ][ａ]（又はＶ[ｂ][ａ]）を基準にした比によって、サンプリングレートを揃えた色差信号の直交変換係数Ｕ[ｖ][ｕ]（又はＶ[ｖ][ｕ]）の各成分を正規化することにより得ることができる。
Ｔ＿Ｙ[ｖ][ｕ]＝Ｕ[ｖ][ｕ]＊Ｙ[ｂ][ａ]／Ｕ[ｂ][ａ]、又は
＝Ｖ[ｖ][ｕ]＊Ｙ[ｂ][ａ]／Ｖ[ｂ][ａ]
ここでの正規化係数は、Ｙ[ｂ][ａ]／Ｕ[ｂ][ａ]又はＹ[ｂ][ａ]／Ｖ[ｂ][ａ]で与えられる。
尚、輝度信号は、色差信号に対し複数の直交変換ブロックで構成されるので、例えば４：２：０フォーマットの場合、サンプリングレートを揃えるべくアップコンバートされた色差信号を４つに分割し、輝度信号の直交変換ブロックに対するブロックごとに正規化を行う。

尚、或る輝度信号に対する教師信号Ｔ＿Ｙ[ｖ][ｕ]としては２つ得られるため、これらの２つの教師信号のうちの絶対値の大きいほうを教師信号とするか、又は絶対値の平均値（又は二乗平均値）の大きいほうを教師信号とするか、又は２つの教師信号のうち相関の高いほうを教師信号とするか、又は事前に予め定められた選択基準で選択したものと教師信号とすることができるが、画像処理装置１の利用目的に応じて随意適したやり方で教師信号を算出することができる。

上記の例では、教師信号を生成するために、直交変換係数の絶対値の最大値を検出して正規化する例について説明したが、直交変換係数の絶対値の平均値（又は二乗平均値）に基づいて正規化することもできる。

修正判断部１２は、被修正ＹＵＶ信号のうちの色差信号を入力して、教師信号生成部１１から入力される教師信号との間で、信号要素（例えば、ブロック内の画素値又は直交変換係数）の比較を行い、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を表すフラグ情報を生成して符号化側信号修正装置１０の外部に送出するとともに、修正処理部１３に送出する。この比較処理にあたって、基準ＹＵＶ信号の信号要素が本来の正しい信号であるために、この場合、基準ＹＵＶ信号のうちの色差信号の信号要素に基づいて、被修正ＹＵＶ信号のうちの色差信号について教師信号の信号要素で修正して（例えば、置き換えて）修正すべき信号要素の修正箇所（座標）を特定する。

修正処理部１３は、被修正ＹＵＶ信号のうちの色差信号を入力して、修正判断部１２から入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を教師信号の信号要素で修正して（例えば、置き換えて）、修正後の色差信号を含むＹＵＶ信号を外部に送出する。

これにより、符号化側信号修正装置１０からの信号を受信する受信側では、修正後の色差信号を含むＹＵＶ信号を受信した際に、基準ＹＵＶ信号の信号要素に対して、どの信号のどの信号要素が修正されたかをフラグ情報で知ることができる。

図２に、本発明による一実施例の符号化側信号修正装置２０のブロック図を示す。図１と同様な構成要素には同一の参照番号を付して説明する。符号化側信号修正装置２０は、教師信号生成部１１と、修正判断部１２と、修正処理部１３とを備える点で図１のものと同様であるが、符号化側信号修正装置２０における教師信号生成部１１は、被修正ＹＵＶ信号のうちの輝度信号を入力して正規化し、正規化した輝度信号を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する基準ＹＵＶ信号における色差信号の信号要素との間の違いによって生じる修正量を表す正規化パラメータを生成し、符号化側信号修正装置１０の外部に送出する点で相違する。また、図２に示す符号化側信号修正装置２０の教師信号は、図１に示す符号化側信号修正装置１０の教師信号のように、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号及び／又はＶ信号）に対して交流エネルギーを合わせるように振幅調整（例えば線形変換）することで生成されるものとは相違して、基準ＹＵＶ信号のうちの色差信号（Ｕ信号及び／又はＶ信号）に対して交流エネルギーを合わせるように振幅調整（例えば線形変換）することで生成される。尚、この双方の信号要素間の違いによって生じる修正量とは、最も簡単な例として、線形変換のパラメータとすることができる。

例えば、色差信号の教師信号の信号要素（Ｙ）を、対応する基準ＹＵＶ信号における色差信号の信号要素（Ｘ）で近似するにあたって、Ｙ＝ａＸ＋ｂの近似関数を用いる場合、正規化パラメータａ，ｂを得ることができる。

従って、符号化側信号修正装置２０は、修正処理部１３によって、被修正ＹＵＶ信号のうちの色差信号を入力して、修正判断部１２から入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を教師信号の信号要素で修正して（例えば、置き換えて）、修正後の色差信号を含むＹＵＶ信号を外部に送出する際に、修正判断部１２及び教師信号生成部１１から、それぞれ基準ＹＵＶ信号に基づいて生成されたコンポーネント信号の信号要素の修正箇所を表すフラグ情報及びコンポーネント信号の信号要素の修正量を表す正規化パラメータを送出する。

これにより、符号化側信号修正装置２０からの信号を受信する受信側では、修正後の色差信号を含むＹＵＶ信号を受信した際に、どの信号のどの信号要素が修正されたかをフラグ情報で知ることができ、且つ修正された信号要素に対してどれだけの修正量を加えれば基準ＹＵＶ信号の信号要素に近づくものとなるかを正規化パラメータで知ることができる。

従って、以下、最も好適な符号化側信号修正装置２０の構成を基に、より詳細な具体例を説明する。

図３は、符号化側信号修正装置２０について、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する例である。図２と対比して説明するに、教師信号生成部１１は、サンプリングレート変換部１１ａと、第３直交変換部１１ｂと、正規化処理部１１ｃからなる。修正判断部１２は、第２直交変換部１２ａと、比較部１２ｂからなる。修正処理部１３は、第１直交変換部１３ａと、直交変換係数置換部１３ｂと、逆直交変換部１３ｃからなる。

サンプリングレート変換部１１ａは、本例の場合、被修正ＹＵＶ信号のうちの輝度信号を対応する色差信号のサンプリングレートまでダウンコンバートして第３直交変換部１１ｂに送出する。尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合には、サンプリングレート変換部１１ａは、被修正ＹＵＶ信号のうちの色差信号を対応する輝度信号のサンプリングレートまでアップコンバートして第３直交変換部１１ｂに送出する。

前述したように、符号化処理の最小単位となる１つの輝度信号の画素ブロック（１６×１６画素）と、それに対応する色差信号の画素ブロック（４：２：０フォーマットの場合は８×８画素）の画素数は異なる。量子化による劣化は、８×８画素の画素ブロックごとに異なり、それぞれのブロックの劣化の傾向は無相関であるから、特に画素ブロックの境界において視覚的に顕著な劣化が生じうる。

しかしながら、符号化後の色差信号の面積が、符号化後の輝度信号の面積に比べ水平（又は水平及び垂直）に２倍の面積であることを考慮すれば、この色差信号から、対応する輝度信号の隣接画素ブロック間の信号の相関を知ることができる。また、輝度信号のサンプリング数は色差信号に比べて多く、高解像度であるため、符号化劣化を含む輝度信号を色差信号のサンプリングレートまでダウンコンバートして劣化を低減させ、この劣化低減させた輝度信号を色差信号の教師信号とすることによって色差信号の復元を行うことができる。従って、輝度信号及び色差信号の相互の相関比較のためには、輝度信号及び色差信号のサンプリングレートを同一にするのが好適である。

尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合に、サンプリングレート変換部１１ａは、被修正ＹＵＶ信号における２つの色差信号のうちのいずれか一方、又は双方の色差信号を変換するように予め規定される。

第３直交変換部１１ｂは、本例の場合、サンプリングレート変換部１１ａから入力されるダウンコンバートした輝度信号に対して、第１直交変換部１３ａで用いる直交変換処理と同様の直交変換を施し、得られたダウンコンバート後の輝度信号の直交変換係数を正規化処理部１１ｃに送出する。

第２直交変換部１２ａは、入力される基準ＹＵＶ信号のうちの色差信号に対して、第１直交変換部１３ａで用いる直交変換処理と同様の直交変換を施し、得られた色差信号の直交変換係数を正規化処理部１１ｃ及び比較部１２ｂに送出する。

正規化処理部１１ｃは、第３直交変換部１１ｂからダウンコンバート後の輝度信号の直交変換係数を入力し、これとは別に入力される基準ＹＵＶ信号の色差信号の直交変換係数の各値を基に振幅調整（例えば線形変換）することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成し、比較部１２ｂ及び直交変換係数置換部１３ｂに送出する。また、正規化処理部１１ｃは、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する基準ＹＵＶ信号における色差信号の信号要素との間の違いによって生じる修正量を表す正規化パラメータを生成し、符号化側信号修正装置２０の外部に送出する。

第１直交変換部１３ａは、本例の場合、入力される被修正ＹＵＶ信号のうちの色差信号に対して、所定の直交変換処理（例えば、ＤＣＴ）を施し、得られた色差信号の直交変換係数を直交変換係数置換部１３ｂ及び比較部１２ｂに送出する。

比較部１２ｂは、第１直交変換部１３ａから被修正ＹＵＶ信号のうちの色差信号の直交変換係数を入力して、正規化処理部１１ｃから入力される教師信号の直交変換係数との間で、信号要素（本例では、直交変換係数）の比較を行い、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を表すフラグ情報を生成して符号化側信号修正装置２０の外部に送出するとともに、直交変換係数置換部１３ｂに送出する。この比較処理にあたって、比較部１２ｂに入力される基準ＹＵＶ信号の信号要素が本来の正しい信号であるために、この場合、基準ＹＵＶ信号のうちの色差信号の信号要素に基づいて、被修正ＹＵＶ信号のうちの色差信号について教師信号の信号要素で修正すべき信号要素の修正箇所（座標）を特定する。

直交変換係数置換部１３ｂは、第１直交変換部１３ａから被修正ＹＵＶ信号のうちの色差信号の直交変換係数を入力して、比較部１２ｂから入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき直交変換係数の修正箇所（座標）を教師信号の直交変換係数で修正して（例えば、置き換えて）、修正後の色差信号の直交変換係数を逆直交変換部１３ｃに送出する。

逆直交変換部１３ｃは、直交変換係数置換部１３ｂから入力される修正後の色差信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、外部に送出する。上記は、輝度信号から色差信号を修正する場合について説明したが、輝度信号から色差信号を修正する場合も同様である。

図４及び図５は、この符号化側信号修正装置２０における一連の処理動作を模式的に示した図である。図４（ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示しており、図４（ｂ）は、４：２：０フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示している。図５（ａ）は、４：２：２フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示しており、図５（ｂ）は、４：２：２フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示している。

これにより、本実施例の符号化側信号修正装置２０によれば、非可逆な符号化方式で符号化を経て復号された画像信号（被修正ＹＵＶ信号）であっても、基準ＹＵＶ信号に基づいて画像劣化の少ない画像信号（修正後のＹＵＶ信号）として修正することができ、符号化に起因して生じていた画像劣化をより低減させることができるようになる。

尚、ＭＰＥＧ−２やＭＰＥＧ−４ＡＶＣ／Ｈ．２６４など多くの符号化方式における直交変換としてＤＣＴが用いられているが、本実施例の信号修正装置によれば、一般的に用いられている画像信号の輝度信号と色差信号のサンプリング周波数の違いを利用するものであるから、任意の符号化方式に適用することができる。特に、非可逆な符号化方式によって劣化した画像を入力して、その符号化方式による劣化を回復させることを目的とする場合には、入力に用いた符号化方式と同じ直交変換を用いることによって、より劣化低減の効果を発揮することになる。

以下、本実施例の符号化側信号修正装置２０を、動画像用の符号化装置に適用した場合について説明する。

［符号化装置］
一般的に動画像の符号化では動き補償予測、直交変換、量子化、可変長符号化によって画像を符号化する。動き補償予測を用いる符号化方式の場合、復号された画像を予測に用いるため符号化装置内に復号装置を内包しており、この復号装置の出力に対して本実施例の信号修正装置を適用することができる。

本実施例の符号化側信号修正装置２０を、動画像用の符号化装置６０に適用した場合における例を図６に示す。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明する。

符号化装置６０は、本実施例の符号化側信号修正装置２０と、並べ替え部１１２と、減算部１１３と、直交変換部１１４と、量子化部１１５と、可変長符号化部１１６と、逆量子化部１１７と、逆直交変換部１１８と、フレームメモリ１２１と、動き補償予測部１２２と、加算部１２３とを備える。尚、本実施例に係る符号化装置６０は、既知の符号化装置（例えば、ＭＰＥＧ−２，Ｈ．２６４用の符号化装置）に対して、本実施例の符号化側信号修正装置２０が追加されたものである。尚、本実施例の符号化側信号修正装置２０は、いわゆるイントラ予測及び動き補償予測に提供できるが、代表的に、動き補償予測を行う例について説明する。

並べ替え部１１２は、入力された映像信号を一時的に蓄積し、フレーム画像の順番を並べ替え、符号化処理に必要なフレーム画像を減算部１１３及び動き補償予測部１２２に送出する。

動き補償予測部１２２は、並べ替え部１１２から供給される入力画像信号に対して、フレームメモリ１２１から符号化側信号修正装置２０を経て取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を減算部１１３及び加算部１２３に出力する。動きベクトルの情報は、可変長符号化部１６に送出される。

減算部１３は、並べ替え部１１２からの入力画像信号と、動き補償予測部１２２からの予測画像との差分信号を生成して直交変換部１１４に送出する。

直交変換部１１４は、減算部１１３から供給される差分信号に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ）を施し、量子化部１１５に送出する。

量子化部１１５は、直交変換部１１４から供給される小領域の画素ブロックに対応する量子化テーブルを選択して量子化処理を行い、可変長符号化部１１６及び逆量子化部１１７に送出する。

可変長符号化部１１６は、量子化部１１５から供給される量子化信号について可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部１２２から供給される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部１１７は、量子化部１１５から供給される量子化信号について逆量子化処理を行って逆直交変換部１１８に出力する。

逆直交変換部１１８は、逆量子化部１１７から供給される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ）を施し、加算部１２３に出力する。

加算部１２３では、逆直交変換部１１８から得られる逆直交変換した信号と、動き補償予測部１２２から得られる予測画像とを加算処理して復号画像を生成し、フレームメモリ１２１に格納する。

ここで、図６における符号化側信号修正装置２０は、被修正ＹＵＶ信号をフレームメモリ１２１から取得でき、基準ＹＵＶ信号を並び替え部１１２から取得することができる。図６における符号化側信号修正装置２０は、基準ＹＵＶ信号に基づいて被修正ＹＵＶ信号に対して前述した修正処理を施し、フラグ情報（及び正規化パラメータ）を可変長符号化部１１６に送出する。可変長符号化部１１６は、フラグ情報及び正規化パラメータに対して符号化を施してもよいし、符号化を施さずに伝送することもできる。

このように、符号化装置６０で符号化側信号修正装置１０，２０を適用することで、基準ＹＵＶ信号に基づいて、被修正ＹＵＶ信号と教師信号を比較して、被修正ＹＵＶ信号のうちのコンポーネント信号の信号要素を該コンポーネント信号とは別のコンポーネント信号から生成した教師信号の信号要素で修正することにより、元信号に対して、より近似した正しい修正後のＹＵＶ信号を得ることもできる。

次に、フラグ情報（及び正規化パラメータ）を用いて被修正ＹＵＶ信号を修正する復号側信号修正装置７０，８０を順に説明する。

以下の説明では、フラグ情報（及び正規化パラメータ）に基づいて、代表的に、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）の信号要素を、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）から生成した教師信号の信号要素で修正することにより、修正後のＹＵＶ信号（修正された色差信号）を得る例について説明する。また、ＹＵＶ信号は、図１６に示すような、サンプリング周波数が異なる輝度信号及び色差信号からなる例を説明する。

尚、図１６で示す各コンポーネント信号間の関係から、入力されるフラグ情報（及び正規化パラメータ）に基づいて、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）を被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）で修正することにより、修正後のＹＵＶ信号（修正された輝度信号）を得ることもできる。従って、輝度信号及び色差信号の双方を、輝度信号及び色差信号間の相関から互いに修正することができる。

まず、図７に示す復号側信号修正装置７０は、図１に示す復号側信号修正装置１０に対応する装置であり、教師信号生成部７１と修正処理部７２とを備える。修正処理部７２は、符号化側の修正処理部１３と同様の動作であり、被修正ＹＵＶ信号を入力し、入力されるフラグ情報に基づいて、被修正ＹＵＶ信号の或るコンポーネント信号の信号要素を教師信号生成部７１から得られる教師信号の信号要素に修正して（例えば、置き換えて）、修正後のＹＵＶ信号を生成する。教師信号生成部７１は、被修正ＹＵＶ信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を正規化し、教師信号として修正処理部７２に送出する。図７に示す復号側信号修正装置７０は、基準ＹＵＶ信号のコンポーネント信号に対して修正すべき信号要素の座標情報としてフラグ情報を用いて修正するものであるから、信号要素の修正箇所に対しては正確性を維持する。しかしながら、図７に示す教師信号生成部７１が生成する教師信号は、図１と同様に、被修正ＹＵＶ信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を、被修正ＹＵＶ信号の該コンポーネント信号を用いて正規化することで生成するため、修正箇所は正確であっても修正量の観点からは、基準ＹＵＶ信号のコンポーネント信号に対して誤差を生じうる。

そこで、図８に示す復号側信号修正装置８０は、図２に示す符号化側信号修正装置２０に対応する装置であり、正規化パラメータを入力して教師信号を生成する教師信号生成部７１として構成される。

すなわち、図８に示す復号側信号修正装置８０の修正処理部７２は、図７に示す修正処理部７２と同様の動作であり、被修正ＹＵＶ信号を入力し、入力されるフラグ情報に基づいて、被修正ＹＵＶ信号の或るコンポーネント信号の信号要素を教師信号生成部７１から得られる教師信号の信号要素に修正して（例えば、置き換えて）、修正後のＹＵＶ信号を生成する。一方で、図８に示す復号側信号修正装置８０の教師信号生成部７１は、被修正ＹＵＶ信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を、正規化パラメータを用いて正規化し、教師信号として修正処理部７２に送出する点で、図７に示すものとは相違する。即ち、図８に示す復号側信号修正装置８０の教師信号生成部７１は、図２と同様に、被修正ＹＵＶ信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を、基準ＹＵＶ信号に対応する修正が可能な正規化パラメータを用いて正規化することで教師信号を生成する。これにより、図８に示す復号側信号修正装置８０は、信号要素の修正箇所および修正量に対して正確性を維持する。

従って、以下、最も好適な復号側信号修正装置８０の構成を基に、より詳細な具体例を説明する。

図９は、復号側信号修正装置８０について、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する例である。図８と対比して説明するに、教師信号生成部７１は、サンプリングレート変換部７１ａと、第２直交変換部７１ｂと、正規化処理部７１ｃからなる。修正処理部７２は、第１直交変換部７２ａと、直交変換係数置換部７２ｂと、逆直交変換部７２ｃからなる。

サンプリングレート変換部７１ａは、本例の場合、被修正ＹＵＶ信号のうちの輝度信号を対応する色差信号のサンプリングレートまでダウンコンバートして第２直交変換部７１ｂに送出する。尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合には、サンプリングレート変換部７１ａは、被修正ＹＵＶ信号のうちの色差信号を対応する輝度信号のサンプリングレートまでアップコンバートして第２直交変換部７１ｂに送出する。

尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合に、サンプリングレート変換部７１ａは、被修正ＹＵＶ信号における２つの色差信号のうちのいずれか一方、又は双方の色差信号を変換するように予め規定され、符号化側と復号側で同一になるように規定するのが好適である。

第２直交変換部７１ｂは、本例の場合、サンプリングレート変換部７１ａから入力されるダウンコンバートした輝度信号に対して、第１直交変換部７２ａで用いる直交変換処理と同様の直交変換を施し、得られたダウンコンバート後の輝度信号の直交変換係数を正規化処理部７１ｃに送出する。符号化側と復号側で同一の直交変換タイプになるように規定するのが好適である。

正規化処理部７１ｃは、第２直交変換部７１ｂからダウンコンバート後の輝度信号の直交変換係数を入力し、これとは別に入力される正規化パラメータによって、基準ＹＵＶ信号の色差信号の直交変換係数の各値を基に振幅調整（例えば線形変換）することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成し、直交変換係数置換部７２ｂに送出する。また、正規化パラメータは、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する基準ＹＵＶ信号における色差信号の信号要素との間の違いによって生じる修正量を表すものとして、図２に示す符号化側信号修正装置２０から得られる。

第１直交変換部７２ａは、本例の場合、入力される被修正ＹＵＶ信号のうちの色差信号に対して、所定の直交変換処理（例えば、ＤＣＴ）を施し、得られた色差信号の直交変換係数を直交変換係数置換部７２ｂに送出する。

直交変換係数置換部７２ｂは、第１直交変換部７２ａから被修正ＹＵＶ信号のうちの色差信号の直交変換係数を入力して、別途入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき直交変換係数の修正箇所（座標）を、正規化処理部７１ｃから得られる教師信号の直交変換係数で修正して（例えば、置き換えて）、修正後の色差信号の直交変換係数を逆直交変換部７２ｃに送出する。

逆直交変換部７２ｃは、直交変換係数置換部７２ｂから入力される修正後の色差信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、外部に送出する。上記は、輝度信号から色差信号を修正する場合について説明したが、輝度信号から色差信号を修正する場合も同様である。

以下、本実施例の復号側信号修正装置８０を、動画像用の復号装置に適用した場合について説明する。

［復号装置］
本実施例の復号側信号修正装置８０を、動画像用の復号装置９０に適用した場合における例を図１０に示す。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明する。

本実施例に係る復号装置９０は、可変長復号部１３２と、逆量子化部１３３と、逆直交変換部１３４と、加算部１３５と、復号側信号修正装置８０と、フレームメモリ１３６と、動き補償予測部１３７と、並べ替え部１３８とを備える。尚、本実施例に係る復号装置９０は、既知の復号装置（例えば、ＭＰＥＧ−２，Ｈ．２６４用の復号装置）に対して、本実施例の復号側信号修正装置８０が追加されたものである。

可変長復号部１３２は、符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部１３３に送出するとともに、動きベクトルの情報を復号して動き補償予測部１３７に送出する。また、可変長復号部１３２は、フラグ情報及び正規化パラメータを復号側信号修正装置８０に送出する。

逆量子化部１３３は、可変長復号部１３２から供給される量子化信号に対して逆量子化処理を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部１３４に送出する。

逆直交変換部１３４は、逆量子化部３３から供給される差分信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分信号を加算部１３５に送出する。

動き補償予測部１３７は、フレームメモリ１３６から得られる参照画像と可変長復号部１３２から得られる動きベクトルとを用いて予測画像を生成し、加算部１３５に出力する。

加算部１３５は、逆直交変換部１３４から得られる当該差分信号と、動き補償予測部１３７から供給される予測画像とを加算して画像信号を復元し、復元した画像信号を本実施例に係る復号装置９０における復号側信号修正装置８０に送出する。

復号装置９０における復号側信号修正装置８０は、加算部１３５から得られる画像信号を上述したように符号化劣化を抑制した修正後の画像信号を生成し、フレームメモリ１３６に格納するとともに、並べ替え部１３８に送出する。

並べ替え部１３８は、復号側信号修正装置８０から得られる修正後の画像信号を表示フレーム順に並べ替て出力する。

このように、復号装置９０に本実施例の復号側信号修正装置８０を適用することができる。

尚、符号化装置６０及び復号装置９０において、特定の配置位置に本発明の信号修正装置を組み入れて説明したが、フレームメモリの前段に配置することや、動き補償予測部の後段に配置することもできる。

以下、本実施例にかかる符号化装置６０及び復号装置９０において、符号化側信号修正装置２０と復号側信号修正装置８０の動作を、それぞれ図１１及び図１２を参照して説明する。

図１１を参照するに、符号化側信号修正装置２０は、基準ＹＵＶ信号と被修正ＹＵＶ信号を入力する（ステップＳ１）。

符号化側信号修正装置２０は、サンプリングレート変換部１１ａによって、被修正ＹＵＶ信号のうちの輝度信号のダウンコンバートを実行するとともに（ステップＳ２）、被修正ＹＵＶ信号のうちの色差信号のアップコンバートを実行する（ステップＳ３）。

符号化側信号修正装置２０は、第２直交変換部１２ａによって、基準ＹＵＶ信号のうちの輝度信号及び色差信号の直交変換を施す（ステップＳ４）。

符号化側信号修正装置２０は、第３直交変換部１１ｂによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各々に対して、直交変換を施し（ステップＳ５，Ｓ６）、正規化処理部１１ｃによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して、それぞれ基準ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数に基づいて正規化処理を施す（ステップＳ７，Ｓ８）。

符号化側信号修正装置２０は、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して正規化処理を施すことで、それぞれ被修正ＹＵＶ信号のうちの色差信号及び輝度信号の教師信号を生成するとともに、各信号要素（直交変換係数）の修正量を表す正規化パラメータを生成する（ステップＳ９，Ｓ１０，Ｓ１１）。

符号化側信号修正装置２０は、比較部１２ｂによって、基準ＹＵＶ信号を基に、被修正ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数と、対応する各教師信号の直交変換係数とを比較し、被修正ＹＵＶ信号の修正箇所を決定し（ステップＳ１２）、修正箇所の情報をフラグ情報として生成する（ステップＳ１３）。

ここで、フラグ情報について具体例を説明する。図１３（ａ）は、コンポーネント信号の信号要素について信号要素単位で修正する例を示す図であり、図１３（ｂ）は、コンポーネント信号の信号要素について分割したブロック単位で修正する例を示す図である。例えば、図１３（ａ）に示すように、基準ＹＵＶ信号、被修正ＹＵＶ信号、及び教師信号の信号要素の各々が、８×８のブロック（例えば、画素値又は直交変換係数）で構成されているものとする。例えば、被修正ＹＵＶ信号の或る信号要素Ａ１は、教師信号の対応する座標位置の信号要素Ａ２によって修正すべきか否かを、基準ＹＵＶ信号の信号要素Ａ０を基にした差の大小比較によって判断することができる。例えば、（Ａ１−Ａ０）^２＞（Ａ２−Ａ０）^２の場合、被修正ＹＵＶ信号の或る信号要素Ａ１を教師信号の対応する座標位置の信号要素Ａ２によって修正すると判断する。他の信号要素についても同様に、（Ｂ１−Ｂ０）^２＞（Ｂ２−Ｂ０）^２の場合、被修正ＹＵＶ信号の或る信号要素Ｂ１を教師信号の対応する座標位置の信号要素Ｂ２によって修正すると判断する。

一方、図１３（ｂ）に示すように、基準ＹＵＶ信号、被修正ＹＵＶ信号、及び教師信号の信号要素の各々が、８×８のブロック（例えば、画素値又は直交変換係数）で構成されている場合に、例えば４つのブロックに分割し、ブロック内の信号要素ごとの評価値の総和を表す値を比較及び置換え対象とすることができる。例えば、被修正ＹＵＶ信号の或る信号要素（ブロックＡ１）は、教師信号の対応する座標位置の信号要素（ブロックＡ２）によって修正すべきか否かを、基準ＹＵＶ信号の信号要素（ブロックＡ０）を基にした差の大小比較によって判断することができる。例えば、ブロックＡ０の信号要素とブロックＡ１の信号要素との差分の自乗和が、ブロックＡ０の信号要素とブロックＡ２の信号要素との差分の自乗和よりも大きい場合、被修正ＹＵＶ信号の或る信号要素（ブロックＡ１）を教師信号の対応する座標位置の信号要素（ブロックＡ２）によって修正すると判断する。他の信号要素のブロックについても同様に、ブロック単位で修正すると判断する。被修正ＹＵＶ信号の比較及び置換えを行う信号要素を、ブロック単位とすることにより、フラグ情報の信号量を低減させることができ、符号化装置に適用した場合に符号化率を改善することができる。分割のやり方は上述の例に限らず、個々の設計に応じて様々な態様に変形することができる。

符号化側信号修正装置２０は、直交変換係数置換部１３ｂによって、各教師信号の直交変換係数の信号要素を用いて、被修正ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数に対してフラグ情報に対応する修正箇所の修正を適用し、逆直交変換部１３ｃによって、修正後のＹＵＶ信号の直交変換係数に対して逆直交変換を実行する（ステップＳ１４）。

このように、符号化側信号修正装置２０によって、修正後のＹＵＶ信号と、フラグ情報と、正規化パラメータが生成される。これらの修正後のＹＵＶ信号と、フラグ情報と、正規化パラメータは、前述したように符号化装置内で符号化するのに用いることができる。

図１２を参照するに、復号側信号修正装置８０は、フラグ情報及び正規化パラメータを入力するとともに（ステップＳ２１）、復号側被修正ＹＵＶ信号を入力する（ステップＳ２２）。

復号側信号修正装置８０は、サンプリングレート変換部７１ａによって、被修正ＹＵＶ信号のうちの輝度信号のダウンコンバートを実行するとともに（ステップＳ２３）、被修正ＹＵＶ信号のうちの色差信号のアップコンバートを実行する（ステップＳ２４）。

一方で、復号側信号修正装置８０は、第１直交変換部７２ａによって、被修正ＹＵＶ信号のうちの輝度信号及び色差信号の直交変換を施す（ステップＳ２５）。

復号側信号修正装置８０は、第２直交変換部７１ｂによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各々に対して、直交変換を施し（ステップＳ２６，Ｓ２７）、正規化処理部７１ｃによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して、それぞれ正規化パラメータに基づいて正規化処理を施す（ステップＳ２８，Ｓ２９）。

復号側信号修正装置８０は、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して正規化処理を施すことで、それぞれ被修正ＹＵＶ信号のうちの色差信号及び輝度信号の教師信号を生成する（ステップＳ３０）。

復号側信号修正装置８０は、直交変換係数置換部７２ｂによって、各教師信号の直交変換係数の信号要素を用いて、被修正ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数に対してフラグ情報に対応する修正箇所の修正を適用し、逆直交変換部７２ｃによって、修正後のＹＵＶ信号の直交変換係数に対して逆直交変換を実行する（ステップＳ３１）。

このように、復号側信号修正装置８０によって、フラグ情報と正規化パラメータを用いて、修正後のＹＵＶ信号を得ることができる。例えば、図１４に示すように、被修正ＹＵＶ信号における輝度信号及び色差信号は、相互の相関と基準信号に対する差異を考慮して各信号要素について修正され、修正後のＹＵＶ信号を得ることができる。この修正後のＹＵＶ信号は、単にコンポーネント信号間の相関に基づいて修正したものとは相違して、基準ＹＵＶ信号に基づいて修正したものであるため、劣化の少ない画像信号として復元されたものであることに留意する。

更に、本発明の一態様として、各実施例の符号化側信号修正装置１０，２０又は復号側信号修正装置７０，８０をコンピュータとして構成させることができる。コンピュータに、前述した各信号修正装置の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備える制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。

例えば、仮に信号修正装置に入力される信号のサンプリングレートが同一であれば、輝度信号ダウンコンバート部及び色差信号アップコンバート部をバイパスすることもできる。

更に、信号修正装置にて、修正するコンポーネント信号は、それぞれＹＵＶ信号を入力するに限定するものではなく、例えば図１５に示す符号化側信号修正装置２０ｂのように、ＹＵＶ信号の直交変換係数を入力するものとして構成することもできる。この場合、前述した符号化側信号修正装置２０における第１〜第３直交変換部１３ａ，１２ａ，１１ｂが不要になり、サンプリングレート変換部１１ｄは直交変換係数を入力してサンプリングレート変換を実行することになる。尚、復号側信号修正装置についても同様の変形例を構成することができる。

従って、画像信号における各コンポーネント信号、及び／又は、これらの直交変換係数の信号を比較するように構成するだけでなく、各コンポーネント信号が入力されてサンプリングレートを変換した信号について比較を行うことや、各コンポーネント信号が入力されてサンプリングレートを変換した信号の直交変換係数について比較を行うことや、各コンポーネント信号の直交変換係数の信号が入力されてサンプリングレートを変換した信号について量子化した後に比較を行うことや、これらの併用の構成とするなどの様々な変形例が可能である。

尚、上記に説明した、符号化装置６０では、復号された画像の同一領域を表現するコンポーネント信号間を比較して修正するとしても、これらのコンポーネント信号を符号化して伝送する際には、符号化信号を受信して復号する際に利用されないコンポーネント信号の信号要素（例えば、時系列信号の画素値又は直交変換係数）も符号化して伝送することがある。

例えば、図１６に示すように、符号化装置６０は、修正前のＹＵＶ信号のうちのコンポーネント信号の信号要素（輝度信号の直交変換係数と色差信号の直交変換係数）について符号化（エントロピー符号化）を行うとともに、これらのコンポーネント信号間で信号要素の置換処理を施して修正後のＹＵＶ信号を生成する。従って、復号された画像の同一領域を表現するコンポーネント信号間を比較して修正するとしても、符号化信号を受信して復号する際に利用されないコンポーネント信号の信号要素（例えば、時系列信号の画素値又は直交変換係数）も受信するように伝送することとなるため、伝送効率の観点からは更なる改善の余地がある。

そこで、本発明による一実施例の符号化装置６０における、可変長符号化部１６は、伝送する直交変換係数について、符号化信号を受信して復号する際に利用されないコンポーネント信号の信号要素を特定し、エントロピー符号化に適した値（例えば、伝送する情報量が最小となる値とするか、又はゼロ）に置換してからエントロピー符号化を施して伝送する。

図１７は、本発明による一実施例の符号化装置６０における可変長符号化部１６の概略図であり、図１８（ａ）は、本発明による一実施例の符号化側信号修正装置を備える符号化装置における、伝送する直交変換係数を模式的に示す図であり、図１８（ｂ）は、符号化を施す直交変換係数を模式的に示す図である。

図１７に示す可変長符号化部１６は、可変長符号化前の信号（直交変換係数）を受信して記憶保持するフレームメモリ１６１と、フレームメモリ１６１から伝送する直交変換係数を読み出し、フラグ情報に基づいて該直交変換係数の信号要素のうち符号化信号を受信して復号する際に利用されないコンポーネント信号の直交変換係数を特定し、エントロピー符号化に適した値（例えば、伝送する情報量が最小となる値とするか、又はゼロ）に置換してエントロピー符号化部１６３に送出する最適化処理部１６２と、最適化処理部１６２によって置換されたコンポーネント信号の直交変換係数に対してエントロピー符号化を施して外部に伝送するエントロピー符号化部１６３とを備える。

これにより、図１８（ｂ）に示すように、伝送する直交変換係数は、例えば黒丸で示される位置の値がフラグ情報に従って置換されているとすると、この黒丸で示される数が多いほど伝送効率を改善することができ、少なくとも最適化処理部１６２によって置換することなくコンポーネント信号の直交変換係数に対してエントロピー符号化を施す場合と比較して、実質的に画像劣化を生じさせることなく符号化率を高めることができる。尚、黒丸で示される位置の値以外の白丸及び斜線丸の値は、他の直交変換係数の修正時に利用される。伝送する情報量が最小となる値とは、エントロピー符号化する際の直交変換係数の振幅が最小となるように選定すればよい。たとえば、単にゼロに置き換えるのみでも伝送効率を改善することが可能である。

一方、復号装置９０は、可変長復号部１３２が、フラグ情報に基づいて特定される、復号する際に利用されないコンポーネント信号の直交変換係数について、エントロピー符号化に適した値（例えば、伝送する情報量が最小となる値とするか、又はゼロ）に置換された該直交変換係数の信号要素を含むコンポーネント信号を受信して可変長復号を施すことになる。

本発明によれば、例えばサンプリング周波数の異なる色空間の信号成分からなる画像信号であっても画像信号の劣化が低減するように、該画像信号を修正することができるので、非可逆な符号化方式による符号化処理を扱う画像信号を利用する任意の用途に有用である。

１０ 符号化側信号修正装置
１１ 教師信号生成部
１１ａ サンプリングレート変換部
１１ｂ 第３直交変換部
１１ｃ 正規化処理部
１１ｄ サンプリングレート変換部
１２ 修正判断部
１２ａ 第２直交変換部
１２ｂ 比較部
１３ 修正処理部
１３ａ 第１直交変換部
１３ｂ 直交変換係数置換部
１３ｃ 逆直交変換部
２０ 符号化側信号修正装置
６０ 符号化装置
７０ 復号側信号修正装置
７１ 教師信号生成部
７１ａ サンプリングレート変換部
７１ｂ 第２直交変換部
７１ｃ 正規化処理部
７２ 修正処理部
７２ａ 第１直交変換部
７２ｂ 直交変換係数置換部
７２ｃ 逆直交変換部
８０ 復号側信号修正装置
９０ 復号装置
１１２ 並べ替え部
１１３ 減算部
１１４ 直交変換部
１１５ 量子化部
１１６ 可変長符号化部
１１７ 逆量子化部
１１８ 逆直交変換部
１２１ フレームメモリ
１２２ 動き補償予測部
１２３ 加算部
１３２ 可変長復号部
１３３ 逆量子化部
１３４ 逆直交変換部
１３５ 加算部
１３６ フレームメモリ
１３７ 動き補償予測部
１３８ 並べ替え部
１６１ フレームメモリ
１６２ 最適化処理部
１６３ エントロピー符号化部

Claims (11)

1. 画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置と、該動画像のコンポーネント信号を可変長符号化する可変長符号化部とを備える符号化装置であって、
   前記信号修正装置は、
   非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成する教師信号生成手段と、
   前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成する修正判断手段と、
   前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で置き換え、修正後の第２のコンポーネント信号を生成する修正処理手段とを備え、
   前記可変長符号化部は、
   可変長符号化前のコンポーネント信号の信号要素を受信して記憶保持する記憶保持手段と、
   前記記憶保持手段から伝送するコンポーネント信号の信号要素を読み出し、前記フラグ情報に基づいて、該信号要素のうち復号する際に利用されない信号要素を特定してエントロピー符号化に適した値に置換する最適化処理手段と、
   置換されたコンポーネント信号の要素に対してエントロピー符号化を施して外部に伝送するエントロピー符号化手段と、
   を備えることを特徴とする、符号化装置。
2. 前記エントロピー符号化に適した値は、伝送する情報量が最小となる値であるか、又はゼロであることを特徴とする、請求項１に記載の符号化装置。
3. 前記教師信号生成手段は、前記第１のコンポーネント信号に対して前記第２のコンポーネント信号を基に振幅調整して正規化を施して、前記第２のコンポーネント信号の教師信号を生成することを特徴とする、請求項１又は２に記載の符号化装置。
4. 前記教師信号生成手段は、
   非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号として入力する手段と、
   前記復号信号のうちの第１のコンポーネント信号に対して前記基準信号における第２のコンポーネント信号を基に振幅調整して正規化を施して、前記復号信号のうちの第２のコンポーネント信号の教師信号を生成することを特徴とする、請求項１又は２に記載の符号化装置。
5. 前記フラグ情報は、各コンポーネント信号の信号要素について、信号要素単位か、又は分割したブロック単位の修正箇所を表すことを特徴とする、請求項１〜４のいずれか一項に記載の符号化装置。
6. 前記教師信号生成手段は、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正量を表す正規化パラメータを生成する手段を有することを特徴とする、請求項１〜５のいずれか一項に記載の符号化装置。
7. 画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置と、符号化された動画像のコンポーネント信号を可変長復号する可変長復号部とを備える復号装置であって、
   前記信号修正装置は、
   非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成する教師信号生成手段と、
   前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行って生成された、修正すべき信号要素の修正箇所を表すフラグ情報を入力して、前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で置き換え、修正後の第２のコンポーネント信号を生成する修正処理手段とを備え、
   前記可変長復号部は、
   前記フラグ情報に基づいて特定される、復号する際に利用されないコンポーネント信号の信号要素について、エントロピー符号化に適した値に置換された信号要素を含むコンポーネント信号を受信して可変長復号を施すことを特徴とする復号装置。
8. 前記教師信号生成手段は、前記第１のコンポーネント信号に対して前記第２のコンポーネント信号を基に振幅調整して正規化を施して、前記第２のコンポーネント信号の教師信号を生成することを特徴とする、請求項７に記載の復号装置。
9. 前記教師信号生成手段は、
   前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行って生成された、修正すべき信号要素の修正量を表す正規化パラメータを入力する手段と、
   前記復号信号のうちの第１のコンポーネント信号に対して前記正規化パラメータを基に、前記復号信号のうちの第２のコンポーネント信号の教師信号を生成することを特徴とする、請求項８に記載の復号装置。
10. 画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置と、該動画像のコンポーネント信号を可変長符号化する可変長符号化部とを備える符号化装置として構成するコンピュータに、
    非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成するステップと、
    前記復号信号のうちの前記第２のコンポーネント信号と、該教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成するステップと、
    前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で置き換え、修正後の第２のコンポーネント信号を生成するステップと、
    可変長符号化前のコンポーネント信号の信号要素を受信して記憶保持するステップと、
    伝送するコンポーネント信号の信号要素を読み出し、前記フラグ情報に基づいて、該信号要素のうち復号する際に利用されない信号要素を特定してエントロピー符号化に適した値に置換するステップと、
    置換されたコンポーネント信号の要素に対してエントロピー符号化を施して外部に伝送するステップと、
    を実行させるためのプログラム。
11. 画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置と、符号化された動画像のコンポーネント信号を可変長復号する可変長復号部とを備える復号装置として構成するコンピュータに、
    非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成するステップと、
    前記復号信号のうちの前記第２のコンポーネント信号と、該教師信号との間で信号要素の比較を行って生成された、修正すべき信号要素の修正箇所を表すフラグ情報を入力して、前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で置き換え、修正後の第２のコンポーネント信号を生成するステップと、
    前記フラグ情報に基づいて特定される、復号する際に利用されないコンポーネント信号の信号要素について、エントロピー符号化に適した値に置換された信号要素を含むコンポーネント信号を受信して可変長復号を施すステップと、
    を実行させるためのプログラム。

Images