JP5227989B2

JP5227989B2 - 符号化装置、復号装置及びプログラム

Info

Publication number: JP5227989B2
Application number: JP2010059490A
Authority: JP
Inventors: 慎一境田; 善明鹿喰; 和久井口; 敦郎市ヶ谷
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2010-03-16
Filing date: 2010-03-16
Publication date: 2013-07-03
Anticipated expiration: 2030-03-16
Also published as: JP2011193363A

Description

本発明は、画像の圧縮符号化に関し、特に、複数のコンポーネント信号からなる色信号間の相関を利用し、圧縮する符号化装置、及びその復号装置、並びにこれらのプログラムに関する。

現在用いられている画像の圧縮符号化方式（ＭＰＥＧ−２，ＡＶＣ／Ｈ．２６４，ＪＰＥＧ等）では、画像が有する時間或いは空間方向の相関性を利用し、これを除去することで全体の情報量を削減する方式となっている。

例えば、図１６に示すように、従来からの符号化装置１０００は、ＭＰＥＧ等で代表されるＹ信号用及びＣ信号用にそれぞれ符号化を行う圧縮符号化部１０１０−１，１０１０−２を備える。また、圧縮符号化部１０１０−１，１０１０−２は、それぞれ同様に構成される。

圧縮符号化部１０１０−１は、減算部１０２０と、符号化部１０２１と、局部復号部１０２２と、加算部１０２３と、画像メモリ１０２４と、画面内予測／画面間予測部１０２５とを備える。

減算部１０２０は、入力される第１コンポーネント信号（例えば、Ｙ信号）と、画面内予測／画面間予測部１０２５から得られる第１コンポーネント信号（例えば、Ｙ信号）の予測信号とを差分した残差信号（Ｙ予測残差信号）を生成し、符号化部１０２１に送出する。

符号化部１０２１は、減算部１０２０から得られる残差信号（Ｙ予測残差信号）を所定の符号化手順に従って符号化し、符号化信号（Ｙ予測残差信号のビットストリーム）を生成して局部復号部１０２２及び外部に送出する。符号化部１０２１は、例えば、ＭＰＥＧ等と同様に、直交変換処理及び量子化処理として構成することができ、更に可変長符号化を施すように構成することができる。

局部復号部１０２２は、符号化部１０２１から得られる符号化信号を復号してＹ予測残差信号の復号信号を生成して加算部１０２３に送出する。符号化部１０２１が、ＭＰＥＧ等と同様に直交変換処理及び量子化処理として構成される場合、局部復号部１０２２は、その逆変換（逆直交変換処理及び逆量子化処理）を施す。

加算部１０２３は、画面内予測／画面間予測部１０２５から得られる第１コンポーネント信号（例えば、Ｙ信号）の予測信号と、局部復号部１０２２から得られる復号信号とを加算して第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を生成し、画像メモリ１０２４に格納する。

画面内予測／画面間予測部１０２５は、従来のＭＰＥＧ等と同様に、画像メモリ１０２４から参照信号を読み出して画面内予測又は画面間予測処理を施し、今回符号化する際の第１コンポーネント信号（例えば、Ｙ信号）の予測信号を生成し、減算部１０２０に送出するとともに、画面内予測又は画面間予測処理に用いた各パラメータ（画面内予測パラメータ又は動きベクトル）を外部に送出する。

このように、カラー画像においては、複数（通常３色）のコンポーネント信号間に相関を有するため、ＭＰＥＧ等では、カメラで撮像されたＲＧＢからＹＣｂＣｒのような輝度信号（例えば、Ｙ信号）及び色差信号（例えば、Ｃ信号）に変換した上で符号化することで、コンポーネント信号間の相関をある程度除去して符号化を行っている。

また、画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている（例えば、非特許文献１参照）。このようなイメージセンサにおける画像信号の補間技術は、ＲＧＢ色空間におけるＲＧＢ信号（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号）の補間を目的としているため、符号化による信号劣化について想定されていない。

また、ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術として、フォーマットカラー画像の色差成分補間技術が報告されている（例えば、非特許文献２参照）。この技術では、輝度（Ｙ）信号のサンプリング周波数の高さを利用して色差信号（Ｕ信号＝Ｂ−Ｙ，Ｖ信号＝Ｒ−Ｙ）の補間信号を生成することによって高精度な補間を行う。このようなＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術も、ＹＵＶ信号の補間を目的としているため、符号化による信号劣化について想定されていない。

これらの信号補間技術は、非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適しているが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処理によってＹＵＶ信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない。

また、符号化の劣化を低減するために、さまざまなポストフィルタ（例えば、Ｈ．２６４等におけるデブロッキングフィルタ）があるが、これらのポストフィルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するものであり、元の画像信号に対する符号化後の劣化を低減させることはできない。

久野、杉浦、「単板原色イメージセンサにおける画素補間方式の高精度化」、映像情報メディア学会誌、Ｖｏｌ．６１、Ｎｏ．７、２００７年７月１日、ｐｐ．１００６〜１０１６杉田、田口、「ＹＵＶ４：２：０フォーマットカラー画像の色差成分補間法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８８−Ａ、Ｎｏ．６、２００５年６月１日、ｐｐ．７５１〜７６０

しかしながら、カメラで撮像されたＲＧＢからＹＣｂＣｒのような輝度信号及び色差信号に変換した信号でも局所的には相関が残っており、更なる圧縮が可能である。

また、量子化による直交変換係数の劣化は、逆量子化及び逆直交変換により画素の劣化としてブロック歪やモスキートノイズなどの劣化となって知覚される。特に、画素ブロックごとの劣化の程度が異なるため、隣接する符号化ブロックの境界において、その差が顕著な妨害となってブロック歪が検知されることがある。このような場合に、動画像のコンポーネント信号間の相関を利用することで更にブロック歪みを改善する余地がある。

本発明の目的は、上述の問題を鑑みて為されたものであり、ブロック歪みを改善しつつ更に圧縮する符号化装置、及びその復号装置、並びにこれらのプログラムを提供することにある。

そこで、発明者らは、コンポーネント信号間の相関を利用して互いに補間又は修正するのではなく、第１のコンポーネント信号で第２のコンポーネント信号を表現する推定パラメータを生成し、当該第１のコンポーネント信号と、この推定パラメータとを用いて画像を圧縮することに着目した。

上記課題を解決するために、本発明の符号化装置は、所定の色空間における複数のコンポーネント信号を圧縮する符号化装置であって、前記所定の色空間における複数のコンポーネント信号のうちの第１のコンポーネント信号に対して符号化処理を施して該第１のコンポーネント信号の符号化信号を生成する符号化手段と、前記複数のコンポーネント信号のうちの第２のコンポーネント信号に対して符号化処理を施して該第２のコンポーネント信号の符号化信号を生成する第２符号化手段と、前記第１のコンポーネント信号の符号化信号を復号して得られる第１のコンポーネント信号の残差信号から前記第２のコンポーネント信号の残差信号を推定する推定パラメータを、予め定めた推定モデルに従って生成し、前記推定パラメータによる推定値が前記第２のコンポーネント信号の符号化信号を復号して得られる第２のコンポーネント信号の残差信号に対して誤差を有する場合、前記誤差の量を推定誤差情報として生成するコンポーネント信号推定手段とを備え、前記第１のコンポーネント信号の符号化信号、前記推定パラメータ、及び前記推定誤差情報を外部に出力することを特徴とする。

本発明の符号化装置において、前記コンポーネント信号推定手段によって生成された推定パラメータを含む推定情報と、前記第２のコンポーネント信号の符号化信号のうちのいずれか一方を選択して外部に出力する信号選択手段を更に備えることを特徴とする。

本発明の符号化装置において、前記第２符号化手段は、前記第２のコンポーネント信号に対して時間又は空間方向の第１予測信号を生成し、該第１予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化する手段と、前記コンポーネント信号推定手段によって生成された色信号間相関に基づく推定パラメータによって推定される第２予測信号を生成し、該第２予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化する手段とを有し、当該第２のコンポーネント信号の予測信号として前記第１予測信号と前記第２予測信号のいずれか一方を選択する手段と、を備えることを特徴とする。

本発明の復号装置は、所定の色空間における複数のコンポーネント信号について圧縮した信号を復号する復号装置であって、前記所定の色空間における複数のコンポーネント信号のうちの第１のコンポーネント信号の符号化信号に対して復号処理を施して該第１のコンポーネント信号の復号信号を生成する第１復号手段と、予め定めた推定モデルに従って生成された、前記複数のコンポーネント信号のうちの第２のコンポーネント信号の残差信号を推定する推定パラメータ、及び前記推定パラメータによる推定値が前記第２のコンポーネント信号の符号化信号を復号して得られる第２のコンポーネント信号の残差信号に対して誤差を有する場合に生成された前記誤差の量を表す推定誤差情報を用いて、前記復号手段を経て得られる第１のコンポーネント信号の残差信号から前記第２のコンポーネント信号の残差信号を推定するコンポーネント信号推定手段と、前記第２のコンポーネント信号の残差信号に対して復号処理を施して該第２のコンポーネント信号の復号信号を生成する第２復号手段と、を備えることを特徴とする。

本発明の復号装置において、前記推定パラメータを含む推定情報と、前記第２のコンポーネント信号の符号化信号のうちのいずれか一方を選択する信号選択手段を更に備え、前記第２復号手段は、前記信号選択手段によって推定パラメータを含む推定情報が選択された場合には、前記コンポーネント信号推定手段により推定された第２のコンポーネント信号の残差信号に対して復号処理を施して前記第２のコンポーネント信号の復号信号を生成し、前記信号選択手段によって前記第２のコンポーネント信号の符号化信号が選択された場合には、該符号化信号に対して復号処理を施して前記第２のコンポーネント信号の復号信号を生成することを特徴とする。

本発明の復号装置において、前記第２復号手段は、前記第２のコンポーネント信号に対して時間又は空間方向の第１予測信号と前記第２のコンポーネント信号との差分を表す残差信号を復号する手段と、前記推定パラメータを用いて推定される第２予測信号と前記第２のコンポーネント信号との差分を表す残差信号を復号する手段と、前記第１予測信号と前記第２予測信号のいずれか一方を選択して得られる前記第２のコンポーネント信号の予測信号と、対応する前記残差信号とを加算し、当該第２のコンポーネント信号の復元する手段と、を備えることを特徴とする。

また、本発明は、符号化装置及び復号装置の各々をコンピュータとして構成することができ、プログラムを実行することで、符号化装置及び復号装置の各構成要素を実現することができる。

本発明によれば、従来の画像符号化では十分に利用されていなかったコンポーネント信号間の相関を活用し、第１のコンポーネント信号で第２のコンポーネント信号を表現して符号化するため、更なる画像圧縮を図ることができる。

本発明に係る符号化装置におけるコンポーネント信号推定処理装置のブロック図を示す図である。本発明による実施例１の符号化装置を示すブロック図である。本発明による実施例１の復号装置のブロック図である。本発明による実施例２の符号化装置を示すブロック図である。本発明による実施例２の復号装置のブロック図である。本発明による実施例３の符号化装置を示すブロック図である。本発明による実施例３の復号装置のブロック図である。本発明による実施例４の符号化装置を示すブロック図である。本発明による実施例４の復号装置のブロック図である。本発明による実施例５の符号化装置を示すブロック図である。本発明による実施例５の符号化装置における画面内予測／画面間予測／色信号間予測部の一例を示す図である。本発明による実施例５の復号装置のブロック図である。本発明による実施例６の符号化装置を示すブロック図である。本発明による実施例６の符号化装置における画面内予測／画面間予測／色信号間予測部の一例を示す図である。本発明による実施例６の復号装置のブロック図である。従来からの符号化装置のブロック図である。

本発明による符号化装置及び復号装置では、コンポーネント信号間の相関を活用し、第１のコンポーネント信号で第２のコンポーネント信号を表現して符号化することにより、更なる画像圧縮を図る。入力する元の色空間は、カメラ出力などのＲＧＢや、伝送や表示等に利用するＹＣａＣｂ，ＹＵＶ, Ｌｕｖ，Ｌａｂ，ＸＹＺなどで表現された信号など、いずれの色空間のものでもよい。尚、ＹＣａＣｂ，ＹＵＶ，Ｌｕｖなどでは、コンポーネント信号間のサンプル数が多いＹ又はＬのコンポーネント信号（輝度信号）を基準にして第２のコンポーネント信号を推定パラメータで表現するのが好適である。また、元の色空間は、３種類のコンポーネント信号で構成されるもの以外に、４種類以上のコンポーネント信号（例えば、ＲＧＢＹＭＣ等）を扱うマルチスペクトルの色空間の場合にも同様に適用することができる。従って、例えば４種類のコンポーネント信号に対して、第１のコンポーネント信号で第２のコンポーネント信号を表現することは、第１のコンポーネント信号で、第２のコンポーネント信号以外の、第３及び第４のコンポーネント信号に対して処理を行うことも包含するものとする。

例えば、Ｙ又はＬのコンポーネント信号（輝度信号）を基準にして第２のコンポーネント信号を推定パラメータで表現するにあたり、元のコンポーネント信号が４：２：２や４：２：０のフォーマット形式の場合、１フレームあたりのコンポーネント信号間のサンプル数が異なるため、推定パラメータを生成する際には、予めサンプル数を揃えておくようにする。サンプル数の変換は、サンプル数の多い方のコンポーネント信号の信号要素を平均処理して、サンプル数の少ない方のコンポーネント信号の信号要素と同数にすることができるが、この場合、元の信号の解像度を再現できなくなるため、サンプル数の少ない方のコンポーネント信号の信号要素を補間して、サンプル数の多い方のコンポーネント信号と同数にするのが好適である。

より具体的には、本発明による符号化装置は、複数の色信号のうち、例えばＹＣｂＣｒの色空間の場合には、輝度信号（Ｙ信号）をＭＰＥＧ等の通常の符号化を行う。一方で、色差信号（Ｃｂ信号及びＣｒ信号を、総括して、「Ｃ信号」と称する）については、輝度信号（Ｙ信号）の局部復号（ローカルデコード）信号又は残差信号を基にした所定の推定モデルに従う推定パラメータを決定して色差信号を推定する。例えば、所定の推定モデルが一次関数とする場合、Ｃｂ＝ａ＊Ｙ＋ｂ又はＣｒ＝ａ＊Ｙ＋ｂに従う推定パラメータａ，ｂを決定して、輝度信号（Ｙ信号）の局部復号信号の信号要素から推定パラメータａ，ｂによって色差信号の信号要素（ブロック内の画素値）を推定する。尚、この推定モデルは、一次関数に限ったものではない。

尚、第１のコンポーネント信号（例えば、Ｙ信号）から第２のコンポーネント信号（例えば、Ｃ信号）を推定する際に、所定の推定モデルに従う推定パラメータによって推定したコンポーネント信号の信号要素と、推定対象のコンポーネント信号の信号要素との間で推定誤差が生じる場合に、この誤差も推定誤差情報として符号化するのが好適である。これにより、単にＣ信号を符号化するよりも、推定パラメータａ，ｂ及び推定誤差情報として符号化することで更なる圧縮を行うことができる。

図１に本発明に係る符号化装置におけるコンポーネント信号推定処理装置のブロック図を示す。コンポーネント信号推定処理装置１は、第１コンポーネント信号（例えば、Ｙ信号）を入力して、第２のコンポーネント信号（例えば、Ｃ信号）である第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）を推定するにあたり、タイミング調整を図るためのコンポーネント信号格納部１１と、コンポーネント信号格納部１１から読み出される第１コンポーネント信号（例えば、Ｙ信号）の信号要素と、別途入力される第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）の信号要素（対応画素位置の信号要素）とを比較して、上記所定の推定モデル（例えば、一次関数）に基づいて第１コンポーネント信号（例えば、Ｙ信号）から第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）を推定し、この推定モデルに基づく推定パラメータを生成するとともに、好適には推定パラメータによる推定値が第１コンポーネント信号（例えば、Ｙ信号）に対して誤差を有する場合には、その誤差量を推定誤差情報として外部に送出する推定処理部１２とを備える。

尚、推定処理部１２は、４：２：２や４：２：０のフォーマット形式のコンポーネント信号を比較して推定パラメータを生成する場合のために、コンポーネント信号格納部１１から読み出される第１コンポーネント信号（例えば、Ｙ信号）のサンプリングレートを第２コンポーネント信号のサンプリングレートに変換してサンプル数を揃えるサンプリングレート変換部１３と、サンプリングレート変換部１３から供給される同一サンプル数の第１コンポーネント信号（例えば、Ｙ信号）の信号要素と、別途入力される第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）の信号要素（対応画素位置の信号要素）とを比較して、上記所定の推定モデル（例えば、一次関数）に基づいて第１コンポーネント信号（例えば、Ｙ信号）から第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）を推定し、この推定モデルに基づく推定パラメータを生成するとともに、好適には推定パラメータによる推定値が第２コンポーネント信号（例えば、Ｃ信号）に対して誤差を有する場合には、その誤差量を推定誤差情報として外部に送出する比較部１４とを有するように構成することができる。

以下、このコンポーネント信号推定処理装置１を符号化装置及び復号装置に適用した実施例について説明する。代表的に、Ｙ信号からＣ信号の推定パラメータを生成する例について説明するが、本発明はこれに限定するものではない。

図２は、本発明による実施例１の符号化装置を示すブロック図である。本実施例の符号化装置１０は、従来からのＭＰＥＧ等と同様にコンポーネント信号ごとに符号化を行う圧縮符号化部１０１と、図１に示すコンポーネント信号推定処理装置１と同様に動作するＣ信号推定部１０２とを備える。

圧縮符号化部１０１は、第１コンポーネント信号（例えば、Ｙ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部１０１は、減算部１１１と、符号化部１１２と、局部復号部１１３と、加算部１１４と、画像メモリ１１５と、画面内予測／画面間予測部１１６とを備える。

減算部１１１は、入力される第１コンポーネント信号（例えば、Ｙ信号）と、画面内予測／画面間予測部１１６から得られる第１コンポーネント信号（例えば、Ｙ信号）の予測信号とを差分した残差信号（Ｙ予測残差信号）を生成し、符号化部１１２に送出する。

符号化部１１２は、減算部１１１から得られる残差信号（Ｙ予測残差信号）を所定の符号化手順に従って符号化し、符号化信号（Ｙ予測残差信号のビットストリーム）を生成して局部復号部１１３及び外部に送出する。符号化部１１２は、例えば、ＭＰＥＧ等と同様に、直交変換処理及び量子化処理として構成することができ、更に可変長符号化を施すように構成することができる。

局部復号部１１３は、符号化部１１２から得られる符号化信号を復号してＹ予測残差信号の復号信号を生成して加算部１１４に送出する。符号化部１１２が、ＭＰＥＧ等と同様に直交変換処理及び量子化処理として構成される場合、局部復号部１１３は、その逆変換（逆直交変換処理及び逆量子化処理）を施す。

加算部１１４は、画面内予測／画面間予測部１１６から得られる第１コンポーネント信号（例えば、Ｙ信号）の予測信号と、局部復号部１１３から得られる復号信号とを加算して第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を生成し、画像メモリ１１５に格納する。

画面内予測／画面間予測部１１６は、従来のＭＰＥＧ等と同様に、画像メモリ１１５から参照信号を読み出して画面内予測又は画面間予測処理を施し、今回符号化する際の第１コンポーネント信号（例えば、Ｙ信号）の予測信号を生成し、減算部１１１に送出するとともに、画面内予測又は画面間予測処理に用いた各パラメータ（画面内予測パラメータ又は動きベクトル）を外部に送出する。

Ｃ信号推定部１０２は、図１に示すコンポーネント信号推定処理装置１と同様の機能を有し、画面内予測／画面間予測部１１６で読み出された第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を入力するとともに、第２のコンポーネント信号（例えば、Ｃ信号）である第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）を入力し、この色差信号については、第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を基にした所定の推定モデルに従う推定パラメータを決定して色差信号を推定する。例えば、所定の推定モデルが一次関数とする場合、各Ｃ信号、即ちＣｂ＝ａ＊Ｙ’＋ｂ又はＣｒ＝ａ＊Ｙ’＋ｂに従う推定パラメータａ，ｂを決定して第１コンポーネント信号（例えば、Ｙ信号）の局部復号信号の信号要素から推定パラメータａ，ｂによって第２のコンポーネント信号（例えば、Ｃ信号）の信号要素（ブロック内の画素値）を推定し、この推定パラメータａ，ｂを外部に送出する。推定パラメータによる推定値が第２コンポーネント信号（例えば、Ｃ信号）に対して誤差を有する場合には、その誤差量を推定誤差情報として外部に送出するように構成することができる。

即ち、本実施例の符号化装置１０は、第１コンポーネント信号（例えば、Ｙ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施すことなく、第１コンポーネント信号（例えば、Ｙ信号）の復号信号を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。

次に、実施例１の符号化装置１０によって符号化したビットストリームを受信して復号する復号装置２０を説明する。

図３は、本発明による実施例１の復号装置のブロック図である。本実施例の復号装置２０は、復号部２０１と、復号変換部２０２と、Ｃ信号推定部２０３とを備える。

復号部２０１は、符号化部１１２（図２）によって符号化された残差信号（Ｙ予測残差信号）を復号して、復号変換部２０２に送出する。

復号変換部２０２は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部２１１、画像メモリ２１２及び画面内予測／画面間予測部２１３を備える。

即ち、加算部２１１は、画面内予測／画面間予測部２１３から得られる予測信号と、復号部２０１から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｙ信号）を復元する。

尚、画面内予測／画面間予測部２１３は、復元した元のコンポーネント信号（Ｙ信号）を格納する画像メモリ２１２から参照信号を読み出し、符号化装置１０から得られるＹ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部２１１に送出する。

また、Ｃ信号推定部２０３は、符号化装置１０から得られるＣ信号の推定に用いた推定パラメータ（及び推定誤差情報）と、画面内予測／画面間予測部２１３で画像メモリ２１２から読み出された第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）とを入力して、符号化装置１０と同じ推定モデル（例えば、一次関数）を用いて、Ｃ信号を推定して復元する。例えば、Ｃ信号推定部２０３は、Ｃｂ＝ａ＊Ｙ’＋ｂ又はＣｒ＝ａ＊Ｙ’＋ｂに従う推定値を演算するために、入力された推定パラメータａ，ｂを用いて第１コンポーネント信号（例えば、Ｙ信号）の局部復号信号の信号要素から第２のコンポーネント信号（例えば、Ｃ信号）の信号要素（ブロック内の画素値）を推定し、Ｃ信号を復元する。

このようにして、復号装置２０は、第１コンポーネント信号（例えば、Ｙ信号）に対しては、従来のＭＰＥＧ等と同様の復号処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の復号処理を施すことなく、第１コンポーネント信号（例えば、Ｙ信号）の復号信号を基に生成した推定パラメータ（及び推定誤差情報）を用いて復元する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図った信号を復元することができる。

次に、このコンポーネント信号推定処理装置１を符号化装置及び復号装置に適用した別の実施例について説明する。

図４は、本発明による実施例２の符号化装置を示すブロック図である。本実施例の符号化装置３０は、従来からのＭＰＥＧ等と同様にコンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部３０１及びＣ信号用の圧縮符号化部３０２と、圧縮符号化部３０１,３０２の各々から得られるＹ信号及びＣ信号の各残差信号を入力として図１に示すコンポーネント信号推定処理装置１と同様に動作するＣ残差信号推定部３０３とを備える。

圧縮符号化部３０１は、第１コンポーネント信号（例えば、Ｙ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部３０１は、減算部３１１と、符号化部３１２と、局部復号部３１３と、加算部３１４と、画像メモリ３１５と、画面内予測／画面間予測部３１６とを備える。圧縮符号化部３０１における加算部３１１、符号化部３１２、局部復号部３１３、加算部３１４、画像メモリ３１５、及び画面内予測／画面間予測部３１６の動作は、実施例１の圧縮符号化部１０１における加算部１１１、符号化部１１２、局部復号部１１３、加算部１１４、画像メモリ１１５、及び画面内予測／画面間予測部１１６の動作と同様であり、更なる詳細な説明は省略する。

また、圧縮符号化部３０２は、第２のコンポーネント信号（例えば、Ｃ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部３０２は、減算部３１７と、符号化部３１８と、局部復号部３１９と、加算部３２０と、画像メモリ３２１と、画面内予測／画面間予測部３２２とを備える。圧縮符号化部３０２における減算部３１７、符号化部３１８、局部復号部３１９、加算部３２０、画像メモリ３２１、画面内予測／画面間予測部３２２の動作は、実施例１の圧縮符号化部１０１における加算部１１１、符号化部１１２、局部復号部１１３、加算部１１４、画像メモリ１１５、及び画面内予測／画面間予測部１１６の動作と同様であり、更なる詳細な説明は省略する。

即ち、本実施例の符号化装置３０は、従来からのＭＰＥＧ等と同様に、コンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部３０１及びＣ信号用の圧縮符号化部３０２を備えるが、従来からのＭＰＥＧ等とはＣ残差信号推定部３０３を更に備える点で相違しており、且つ第１コンポーネント信号（例えば、Ｙ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施して外部に伝送可能にするが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては圧縮符号化部３０１,３０２から得られる予測残差信号から生成した推定パラメータ（及び推定誤差情報）と、圧縮符号化部３０１,３０２の各々で用いた画面内予測パラメータ又は動きベクトルも外部に送出するように構成される。

Ｃ残差信号推定部３０３は、図１に示すコンポーネント信号推定処理装置１と同様の機能を有し、画面内予測／画面間予測部３１６の参照信号に用いられる第１コンポーネント信号（例えば、Ｙ信号）の残差信号（ΔＹ’信号）を入力するとともに、画面内予測／画面間予測部３２２の参照信号に用いられる第２のコンポーネント信号（色差信号）の残差信号（例えば、ΔＣ’信号）、即ち第２コンポーネント信号の残差信号（ΔＣｂ’信号又はΔＣｒ’信号）を入力し、第２のコンポーネント信号（Ｃ信号）の残差信号（例えば、ΔＣ’信号）については、第１コンポーネント信号の残差信号（ΔＹ’信号）を基にした所定の推定モデルに従う推定パラメータを決定して第２のコンポーネント信号（ΔＣ’信号）の残差信号を推定する。例えば、所定の推定モデルが一次関数とする場合、ΔＣｂ’＝ａ＊ΔＹ’＋ｂ又はΔＣｒ’＝ａ＊ΔＹ’＋ｂに従う推定パラメータａ，ｂを決定して第１コンポーネント信号の残差信号（ΔＹ’信号）の信号要素から推定パラメータａ，ｂによって第２のコンポーネント信号（色差信号）の残差信号（例えば、ΔＣ’信号）の信号要素（ブロック内の画素値）を推定し、この推定パラメータａ，ｂを外部に送出する。推定パラメータによる推定値が第２コンポーネント信号の残差信号（ΔＣ’信号）に対して誤差を有する場合には、その誤差量を推定誤差情報として外部に送出するように構成することができる。

即ち、本実施例の符号化装置３０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の符号化処理を施すが、従来のＭＰＥＧ等とは相違して、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施した信号を外部に送出することなく、第１コンポーネント信号（例えば、Ｙ信号）の残差信号を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。

次に、実施例２の符号化装置３０によって符号化したビットストリームを受信して復号する復号装置４０を説明する。

図５は、本発明による実施例２の復号装置のブロック図である。本実施例の復号装置４０は、復号部４０１と、復号変換部４０２，４０４と、Ｃ残差信号推定部４０３とを備える。

復号部４０１は、符号化部３１２（図４）によって符号化された残差信号（Ｙ予測残差信号）を復号して、復号変換部４０２に送出する。

また、Ｃ残差信号推定部４０３は、符号化装置３０から得られる第２コンポーネント信号（例えば、Ｃ信号）の残差信号の推定に用いた推定パラメータ（及び推定誤差情報）と、復号部４０１から得られる第１コンポーネント信号（例えば、Ｙ信号）の残差信号とを入力して、符号化装置３０と同じ推定モデル（例えば、一次関数）を用いて、第２コンポーネント信号（例えば、Ｃ信号）の残差信号を推定して復元し、加算部４１４に送出する。例えば、Ｃ残差信号推定部４０３は、ΔＣｂ’＝ａ＊ΔＹ’＋ｂ又はΔＣｒ’＝ａ＊ΔＹ’＋ｂに従う推定値を演算するために、入力された推定パラメータａ，ｂを用いて、第１コンポーネント信号（例えば、Ｙ信号）の残差信号の信号要素から第２のコンポーネント信号（例えば、Ｃ信号）の残差信号の信号要素（ブロック内の画素値）を推定し、第２コンポーネント信号の残差信号（ΔＣ’信号）を復元し、加算部４１４に送出する。

復号変換部４０２，４０４は、それぞれＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、それぞれ加算部４１１，４１４、画像メモリ４１２，４１５及び画面内予測／画面間予測部４１３，４１６を備える。

例えば、加算部４１１（４１４）は、画面内予測／画面間予測部４１３（４１６）から得られる予測信号と、復号部４０１（Ｃ残差信号推定部４０３）から得られる復号した残差信号とを加算して元のコンポーネント信号を復元し、画像メモリ４１２（４１５）に格納する。

尚、画面内予測／画面間予測部４１３（４１６）は、復元した元のコンポーネント信号を格納する画像メモリ４１２（４１５）から参照信号を読み出し、符号化装置３０から得られる画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部４１１（４１４）に送出する。

このようにして、復号装置４０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の復号処理を施すが、従来のＭＰＥＧ等とは相違して、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の復号処理を施すことなく、第１コンポーネント信号（例えば、Ｙ信号）の残差信号を基に生成した推定パラメータ（及び推定誤差情報）を用いて復元する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図った信号を復元することができる。

図６は、本発明による実施例３の符号化装置を示すブロック図である。本実施例の符号化装置５０は、従来からのＭＰＥＧ等と同様にコンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部５０１及びＣ信号用の圧縮符号化部５０２と、圧縮符号化部５０１,５０２の各々から得られるＹ信号の局部復号信号及びＣ信号を入力として図１に示すコンポーネント信号推定処理装置１と同様に動作するＣ信号推定部５０３と、Ｃ信号選択部５０４とを備える。

圧縮符号化部５０１は、第１コンポーネント信号（例えば、Ｙ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部５０１は、減算部５１１と、符号化部５１２と、局部復号部５１３と、加算部５１４と、画像メモリ５１５と、画面内予測／画面間予測部５１６とを備える。圧縮符号化部５０１における加算部５１１、符号化部５１２、局部復号部５１３、加算部５１４、画像メモリ５１５、及び画面内予測／画面間予測部５１６の動作は、それぞれ実施例２の圧縮符号化部３０１（図４）における加算部３１１、符号化部３１２、局部復号部３１３、加算部３１４、画像メモリ３１５、及び画面内予測／画面間予測部３１６の動作と同様であり、更なる詳細な説明は省略する。

また、圧縮符号化部５０２は、第２のコンポーネント信号（例えば、Ｃ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部５０２は、減算部５１７と、符号化部５１８と、局部復号部５１９と、加算部５２０と、画像メモリ５２１と、画面内予測／画面間予測部５２２とを備える。圧縮符号化部５０２における減算部５１７、符号化部５１８、局部復号部５１９、加算部５２０、画像メモリ５２１、画面内予測／画面間予測部５２２の動作は、それぞれ実施例２の圧縮符号化部３０２（図４）における加算部３１７、符号化部３１８、局部復号部３１９、加算部３２０、画像メモリ３２１、及び画面内予測／画面間予測部３２２の動作と同様であり、更なる詳細な説明は省略する。ただし、圧縮符号化部５０２は、符号化部５１８からＣ信号の予測残差信号（Ｃ予測残差信号）をＣ信号選択部５０４に送出するとともに、画面内予測／画面間予測部５２２から予測に用いたＣ信号用の画面内予測パラメータ又は動きベクトルをＣ信号選択部５０４に送出するように構成される。

また、本実施例のＣ信号推定部５０３は、実施例１におけるＣ信号推定部１０２（図２）と同様である。

即ち、本実施例の符号化装置５０は、従来からのＭＰＥＧ等と同様に、コンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部５０１及びＣ信号用の圧縮符号化部５０２を備えるが、実施例２とは、残差信号を推定するＣ残差信号推定部３０３の代わりに第２のコンポーネント信号を推定するＣ信号推定部５０３を備え、更に、Ｃ信号選択部５０４を備える点で相違している。

また、Ｃ信号推定部５０３は、図１に示すコンポーネント信号推定処理装置１と同様の機能を有し、画面内予測／画面間予測部５１６で読み出された第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を入力するとともに、第２のコンポーネント信号（例えば、Ｃ信号）である第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）を入力し、色差信号（Ｃ信号）については、第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を基にした所定の推定モデルに従う推定パラメータを決定して色差信号を推定する。例えば、所定の推定モデルが一次関数とする場合、各Ｃ信号、即ちＣｂ＝ａ＊Ｙ’＋ｂ又はＣｒ＝ａ＊Ｙ’＋ｂに従う推定パラメータａ，ｂを決定して第１コンポーネント信号（例えば、Ｙ信号）の局部復号信号の信号要素から推定パラメータａ，ｂによって第２のコンポーネント信号（例えば、Ｃ信号）の信号要素（ブロック内の画素値）を推定し、この推定パラメータａ，ｂをＣ信号選択部５０４に送出する。推定パラメータによる推定値が第２コンポーネント信号（例えば、Ｃ信号）に対して誤差を有する場合には、その誤差量を推定誤差情報としてＣ信号選択部５０４に送出するように構成することができる。

Ｃ信号選択部５０４は、Ｃ信号推定部５０３から送出されるＣ信号用の推定パラメータ（及び推定誤差情報）を外部に送出するか、又は従来からのＭＰＥＧ等と同様のＣ信号用の予測残差信号及び画面内予測パラメータ（又は動きベクトル）を外部に送出するかを選択可能に構成される。この選択は、フレームごと、符号化ブロックごとなど予め定めておくことができ、いずれを選択したかを示す情報は、予め定めた規則に従って、符号化装置及び復号装置の双方で予め定めておくようにするか、又は符号化装置はいずれを選択したかを示す選択フラグ情報を外部に送出するように構成することができる。この予め定めた規則として、Ｃ信号推定部５０３による推定の際に、比較するコンポーネント信号間の直流成分を除く振幅の差が所定の閾値未満である場合に、推定パラメータの符号化を行うとする規則を設定することもできる。尚、以下の説明では選択フラグ情報を外部に送出する場合について説明する。

このように、本実施例の符号化装置５０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の符号化処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施した信号を外部に送出するか、又は、第１コンポーネント信号（例えば、Ｙ信号）の局部復号信号を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出するかを予め定めた規則に従って選択して送出する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、画質劣化を防止しつつ更なる画像圧縮を図ることができる。

次に、実施例３の符号化装置５０によって符号化したビットストリームを受信して復号する復号装置６０を説明する。

図７は、本発明による実施例３の復号装置のブロック図である。本実施例の復号装置６０は、復号部６０１，６０６と、復号変換部６０２，６０３と、Ｃ信号推定部６０４と、Ｃ信号選択部６０５とを備える。

本実施例の復号部６０１及び復号変換部６０２の動作は、実施例２における復号部４０１及び復号変換部４０２と同様である。

即ち、復号部６０１は、符号化部５１２（図６）によって符号化された残差信号（Ｙ予測残差信号）を復号して、復号変換部６０２に送出する。

復号変換部６０２は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部６１１、画像メモリ６１２及び画面内予測／画面間予測部６１３を備える。

例えば、加算部６１１は、画面内予測／画面間予測部６１３から得られる予測信号と、復号部６０１から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｙ信号）を復元し、画像メモリ６１２に格納する。画面内予測／画面間予測部６１３は、復元した元のコンポーネント信号を格納する画像メモリ６１２から参照信号を読み出し、符号化装置５０から得られるＹ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部６１１に送出する。

Ｃ信号選択部６０５は、符号化装置５０から得られるフラグ情報に従って、Ｃ信号用の推定パラメータ（及び推定誤差情報）を用いてＣ信号を復元するか、又は従来からのＭＰＥＧ等と同様のＣ信号用の予測残差信号及び画面内予測パラメータ（又は動きベクトル）を用いてＣ信号を復元するかを決定し、この決定した選択に従ってＣ信号選択部６０５の後段に設けられる処理段を機能させ、Ｃ信号を復元可能にする。

Ｃ信号用の推定パラメータ（及び推定誤差情報）を用いてＣ信号を復元する場合のために、本実施例の復号装置６０は、Ｃ信号推定部６０４を備える。Ｃ信号推定部６０４の動作は、実施例１におけるＣ信号推定部２０３（図３）と同様であり、その説明を省略する。

一方、従来からのＭＰＥＧ等と同様のＣ信号用の予測残差信号及び画面内予測パラメータ（又は動きベクトル）を用いてＣ信号を復元する場合のために、本実施例の復号装置６０は、復号部６０６及び復号変換部６０３を備える。

復号部６０６は、符号化部５１８（図６）によって符号化された残差信号（Ｃ予測残差信号）を復号して、復号変換部６０３に送出する。

復号変換部６０３は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部６１４、画像メモリ６１５及び画面内予測／画面間予測部６１６を備える。

例えば、加算部６１４は、画面内予測／画面間予測部６１６から得られる予測信号と、復号部６０６から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｙ信号）を復元する。画面内予測／画面間予測部６１６は、復元した元のコンポーネント信号を格納する画像メモリ６１５から参照信号を読み出し、符号化装置５０から得られるＣ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部６１４に送出する。

このようにして、復号装置６０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の復号処理を施すが、従来のＭＰＥＧ等とは相違して、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施した信号を外部に送出するか、又は、第１コンポーネント信号（例えば、Ｃ信号）の局部復号信号を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出するかを予め定めた規則に従って選択して復元する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図った信号を復元することができる。

従って、本実施例のように、上記推定の際に、比較するコンポーネント信号間の直流成分を除く振幅の差が所定の閾値未満である場合に推定パラメータの符号化を行い、所定の閾値以上である場合に色差信号（又はその予測誤差信号）の符号化を行うように選択する信号選択部（Ｃ信号選択部５０４，６０５）を設けるのが好適であり、この信号選択部（Ｃ信号選択部５０４，６０５）にていずれを選択したかを示す選択フラグ情報を補助情報として符号化するようにすることで、画質及び圧縮の双方のバランスを効果的に向上させることができるようになる。

図８は、本発明による実施例４の符号化装置を示すブロック図である。本実施例の符号化装置７０は、従来からのＭＰＥＧ等と同様にコンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部７０１及びＣ信号用の圧縮符号化部７０２と、圧縮符号化部７０１,７０２の各々から得られる残差信号（ΔＹ’信号及びΔＣ’信号）を入力として図１に示すコンポーネント信号推定処理装置１と同様に動作する、実施例２のＣ残差信号推定部３０３に対応するＣ残差信号推定部７０３と、Ｃ残差信号選択部７０４とを備える。

圧縮符号化部７０１は、第１コンポーネント信号（例えば、Ｙ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部７０１は、減算部７１１と、符号化部７１２と、局部復号部７１３と、加算部７１４と、画像メモリ７１５と、画面内予測／画面間予測部７１６とを備える。圧縮符号化部７０１における加算部７１１、符号化部７１２、局部復号部７１３、加算部７１４、画像メモリ７１５、及び画面内予測／画面間予測部７１６の動作は、それぞれ実施例２の圧縮符号化部３０１（図４）における加算部３１１、符号化部３１２、局部復号部３１３、加算部３１４、画像メモリ３１５、及び画面内予測／画面間予測部３１６の動作と同様であり、更なる詳細な説明は省略する。

また、圧縮符号化部７０２は、第２のコンポーネント信号（例えば、Ｃ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部７０２は、減算部７１７と、符号化部７１８と、局部復号部７１９と、加算部７２０と、画像メモリ７２１と、画面内予測／画面間予測部７２２とを備える。圧縮符号化部７０２における減算部７１７、符号化部７１８、局部復号部７１９、加算部７２０、画像メモリ７２１、画面内予測／画面間予測部７２２の動作は、それぞれ実施例２の圧縮符号化部３０２（図４）における加算部３１７、符号化部３１８、局部復号部３１９、加算部３２０、画像メモリ３２１、及び画面内予測／画面間予測部３２２の動作と同様であり、更なる詳細な説明は省略する。圧縮符号化部７０２は、符号化部７１８からＣ信号の予測残差信号（Ｃ予測残差信号）をＣ信号選択部７０４に送出するとともに、画面内予測／画面間予測部７２２で用いられる残差信号（ΔＣ’信号）をＣ残差信号推定部７０３に送出し、更に、画面内予測／画面間予測部７２２から予測に用いたＣ信号用の画面内予測パラメータ又は動きベクトルを外部に送出するように構成される。

また、本実施例のＣ残差信号推定部７０３は、実施例２におけるＣ残差信号推定部３０３（図４）と同様であり、画面内予測／画面間予測部７１６の参照信号に用いられる第１コンポーネント信号（例えば、Ｙ信号）の残差信号（ΔＹ’信号）を入力するとともに、画面内予測／画面間予測部７２２の参照信号に用いられる第２のコンポーネント信号（色差信号）の残差信号（例えば、ΔＣ’信号）、即ち第２コンポーネント信号の残差信号（ΔＣｂ’信号又はΔＣｒ’信号）を入力し、第２のコンポーネント信号（Ｃ信号）の残差信号（例えば、ΔＣ’信号）については、第１コンポーネント信号の残差信号（ΔＹ’信号）を基にした所定の推定モデルに従う推定パラメータを決定して第２のコンポーネント信号（色差信号）の残差信号を推定する。例えば、所定の推定モデルが一次関数とする場合、ΔＣｂ’＝ａ＊ΔＹ’＋ｂ又はΔＣｒ’＝ａ＊ΔＹ’＋ｂに従う推定パラメータａ，ｂを決定して第１コンポーネント信号の残差信号（ΔＹ’信号）の信号要素から推定パラメータａ，ｂによって第２のコンポーネント信号（色差信号）の残差信号（例えば、ΔＣ’信号）の信号要素（ブロック内の画素値）を推定し、この推定パラメータａ，ｂをＣ残差信号選択部７０４に送出し、好適には、推定パラメータによる推定値が第２コンポーネント信号の残差信号（ΔＣ’信号）に対して誤差を有する場合に、その誤差量を推定誤差情報としてＣ残差信号選択部７０４に送出するように構成することができる。

即ち、本実施例の符号化装置７０は、従来からのＭＰＥＧ等と同様に、コンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部７０１及びＣ信号用の圧縮符号化部７０２を備えるが、実施例２とはＣ残差信号選択部７０４を備える点で相違している。

即ち、Ｃ残差信号選択部７０４は、Ｃ残差信号推定部７０３から送出されるＣ信号の残差信号用の推定パラメータ（及び推定誤差情報）を外部に送出するか、又は従来からのＭＰＥＧ等と同様のＣ信号の予測残差信号を外部に送出するかを選択可能に構成される。この選択は、フレームごと、符号化ブロックごとなど予め定めておくことができ、いずれを選択したかを示す情報は、予め定めた規則に従って、符号化装置及び復号装置の双方で予め定めておくようにするか、又は符号化装置はいずれを選択したかを示す選択フラグ情報を外部に送出するように構成することができる。この予め定めた規則として、Ｃ残差信号推定部７０３による推定の際に、比較するコンポーネント信号の残差信号間の直流成分を除く振幅の差が所定の閾値未満である場合に、推定パラメータの符号化を行うとする規則を設定することもできる。尚、以下の説明では選択フラグ情報を外部に送出する場合について説明する。

このように、本実施例の符号化装置７０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）の各残差信号に対して、従来のＭＰＥＧ等と同様の符号化処理を施すが、第２のコンポーネント信号の残差信号（例えば、ΔＣ’信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施した信号を外部に送出するか、又は、第１コンポーネント信号の残差信号（例えば、ΔＹ’信号）を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出するかを、予め定めた規則に従って選択して送出する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、画質劣化を防止しつつ更なる画像圧縮を図ることができる。

次に、実施例４の符号化装置７０によって符号化したビットストリームを受信して復号する復号装置８０を説明する。

図９は、本発明による実施例４の復号装置のブロック図である。本実施例の復号装置８０は、復号部８０１，８０７と、復号変換部８０２，８０３，８０４と、Ｃ残差信号推定部８０５と、Ｃ残差信号選択部８０６とを備える。

本実施例の復号部８０１及び復号変換部８０２の動作は、実施例２における復号部４０１及び復号変換部４０２（図５）と同様である。

即ち、復号部８０１は、符号化部７１２（図８）によって符号化された残差信号（Ｙ予測残差信号）を復号して、復号変換部８０２に送出する。

復号変換部８０２は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部８１１、画像メモリ８１２及び画面内予測／画面間予測部８１３を備える。

例えば、加算部８１１は、画面内予測／画面間予測部８１３から得られる予測信号と、復号部８０１から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｙ信号）を復元し、画像メモリ８１２に格納する。画面内予測／画面間予測部８１３は、復元した元のコンポーネント信号を格納する画像メモリ８１２から参照信号を読み出し、符号化装置７０から得られるＹ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部８１１に送出する。

Ｃ残差信号選択部８０６は、符号化装置７０から得られるフラグ情報に従って、Ｃ信号の残差信号用の推定パラメータ（及び推定誤差情報）を用いてＣ信号を復元するか、又は従来からのＭＰＥＧ等と同様のＣ信号用の予測残差信号及び画面内予測パラメータ（又は動きベクトル）を用いてＣ信号を復元するかを決定し、この決定した選択に従ってＣ残差信号選択部８０６の後段に設けられる処理段を機能させ、Ｃ信号を復元可能にする。

Ｃ信号の残差信号用の推定パラメータ（及び推定誤差情報）を用いてＣ信号を復元する場合のために、本実施例の復号装置８０は、Ｃ残差信号推定部８０５及び復号変換部８０３を備える。Ｃ残差信号推定部８０５の動作は、実施例２におけるＣ残差信号推定部４０３（図５）と同様であり、その説明を省略する。復号変換部８０３は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部８１４、画像メモリ８１５及び画面内予測／画面間予測部８１６を備え、加算部８１４は、Ｃ残差信号推定部８０５からＣ信号の残差信号を入力して画面内予測／画面間予測部８１６の予測信号と加算してＣ信号を復元するとともに、画像メモリ８１５に格納する。画面内予測／画面間予測部８１６は、画像メモリ８１５から読み出される参照信号と、符号化装置７０から得られるＣ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部８１４に送出する。

一方、従来からのＭＰＥＧ等と同様のＣ信号用の予測残差信号及び画面内予測パラメータ（又は動きベクトル）を用いてＣ信号を復元する場合のために、本実施例の復号装置８０は、復号部８０７及び復号変換部８０４を備える。

復号部８０７は、符号化部７１８（図８）によって符号化された残差信号（Ｃ予測残差信号）を復号して、復号変換部８０４に送出する。

復号変換部８０４は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部８１７、画像メモリ８１８及び画面内予測／画面間予測部８１９を備える。

例えば、加算部８１７は、画面内予測／画面間予測部８１９から得られる予測信号と、復号部８０７から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｃ信号）を復元し、画像メモリ８１８に格納する。画面内予測／画面間予測部８１９は、復元した元のコンポーネント信号を格納する画像メモリ８１８から参照信号を読み出し、符号化装置７０から得られるＣ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部８１７に送出する。

このようにして、復号装置８０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の復号処理を施すが、従来のＭＰＥＧ等とは相違して、第２のコンポーネント信号（例えば、Ｃ信号）の残差信号に対しては、従来のＭＰＥＧ等と同様の符号化処理を施した信号を外部に送出するか、又は、第１コンポーネント信号（例えば、Ｙ信号）の残差信号を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出するかを、予め定めた規則に従って選択して復元する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、画質劣化を防止しつつ更なる画像圧縮を図った信号を復元することができる。

図１０は、本発明による実施例５の符号化装置を示すブロック図である。本実施例の符号化装置９０は、従来からのＭＰＥＧ等と同様にコンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部９０１及びＣ信号用の圧縮符号化部９０２からなるが、Ｃ信号用の圧縮符号化部９０２が、画面内予測又は画面間予測の時空間の信号予測と、コンポーネント信号間（色信号間）の相関を利用した信号予測（図１のコンポーネント信号推定処理装置１における推定と同様）とを切替可能に構成された画面内予測／画面間予測／色信号間予測部９２２を備える点で上述の各実施例とは異なる。即ち、圧縮符号化部９０１が第１コンポーネント信号を符号化する一方で、圧縮符号化部９０２が第２のコンポーネント信号に対して時間又は空間方向の第１予測信号を生成し、該第１予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化するか、又は色信号間相関に基づく推定パラメータによって推定される第２予測信号を生成し、該第２予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化するように構成され、当該第２のコンポーネント信号の予測信号として第１予測信号と第２予測信号のいずれか一方を選択可能に構成される。

圧縮符号化部９０１は、第１コンポーネント信号（例えば、Ｙ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部９０１は、減算部９１１と、符号化部９１２と、局部復号部９１３と、加算部９１４と、画像メモリ９１５と、画面内予測／画面間予測部９１６とを備える。圧縮符号化部９０１における加算部９１１、符号化部９１２、局部復号部９１３、加算部９１４、画像メモリ９１５、及び画面内予測／画面間予測部９１６の動作は、実施例２の圧縮符号化部３０１（図４）における加算部３１１、符号化部３１２、局部復号部３１３、加算部３１４、画像メモリ３１５、及び画面内予測／画面間予測部３１６の動作と同様であり、更なる詳細な説明は省略する。

また、圧縮符号化部９０２は、第２のコンポーネント信号（例えば、Ｃ信号）を従来からのＭＰＥＧ等と同様に符号化する機能と、コンポーネント信号間（色信号間）の相関を利用した信号予測を行う機能とを切替可能に構成される。従来からのＭＰＥＧ等と同様に符号化する場合には、圧縮符号化部９０２は、減算部９１７と、符号化部９１８と、局部復号部９１９と、加算部９２０と、画像メモリ９２１と、画面内予測／画面間予測として機能を有する画面内予測／画面間予測／色信号間予測部９２２とを備える。この場合の圧縮符号化部９０２における各動作は、実施例２の圧縮符号化部３０２（図４）における加算部３１７、符号化部３１８、局部復号部３１９、加算部３２０、画像メモリ３２１、及び画面内予測／画面間予測部３２２の動作と同様であり、更なる詳細な説明は省略する。

一方、圧縮符号化部９０２における画面内予測／画面間予測／色信号間予測部９２２は、コンポーネント信号間（色信号間）の相関を利用した信号予測を行う機能を有する。具体的には、図１１に示すように、画面内予測／画面間予測／色信号間予測部９２２は、局部復号されたＣ信号を入力して、時空間の予測（画面内予測／画面間予測）を行うか、又はコンポーネント信号間（色信号間）の相関を利用した信号予測を行うかを外部設定により選択可能にする選択スイッチ９２２１と、従来からのＭＰＥＧ等と同様に局部復号されたＣ’信号に対して時空間の予測（画面内予測／画面間予測）を行って予測信号を生成する画面内予測／画面間予測部９２２２と、コンポーネント信号間（色信号間）の相関を利用した信号予測を行うために、第１コンポーネント信号の復号信号（例えば、Ｙ’信号）を入力して、第２のコンポーネント信号（例えば、Ｃ信号）である第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）を推定するにあたり、タイミング調整を図るためのコンポーネント信号格納部９２２４と、コンポーネント信号格納部９２２４から読み出される第１コンポーネント信号の復号信号（例えば、Ｙ’信号）の信号要素と、別途入力される第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）の信号要素（対応画素位置の信号要素）とを比較して、上記所定の推定モデル（例えば、一次関数）に基づいて第１コンポーネント信号の復号信号（例えば、Ｙ’信号）から第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）を推定し、この推定モデルに基づく推定パラメータを「色間相関パラメータ」として生成する推定処理部９２２５と、この色間相関パラメータによって、コンポーネント信号格納部９２２４から読み出される第１コンポーネント信号の復号信号（例えば、Ｙ’信号）の信号要素を上記所定の推定モデル（例えば、一次関数）に基づいて再生した予測信号（色信号間予測信号）を生成する色信号間予測信号生成部９２２３とを備える。

また、推定処理部９２２５は、４：２：２や４：２：０のフォーマット形式のコンポーネント信号を比較して推定パラメータを生成する場合のために、コンポーネント信号格納部９２２４から読み出される第１コンポーネント信号の復号信号（例えば、Ｙ’信号）のサンプリングレートを第２コンポーネント信号の復号信号（Ｃ’信号）のサンプリングレートに変換してサンプル数を揃えるサンプリングレート変換部９２２６と、サンプリングレート変換部９２２６から供給される同一サンプル数の第１コンポーネント信号の復号信号（例えば、Ｙ’信号）の信号要素と、別途入力される第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）の信号要素（対応画素位置の信号要素）を比較して、上記所定の推定モデル（例えば、一次関数）に基づいて第１コンポーネント信号の復号信号（例えば、Ｙ’信号）から第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）を推定し、この推定モデルに基づく推定パラメータを「色間相関パラメータ」として生成する比較部９２２７とを有するように構成することができる。

即ち、画面内予測／画面間予測／色信号間予測部９２２は、外部設定に基づいて、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを選択して減算部９１７に送出する。

ここで、図１１に示す例では、「外部設定」によって切替を行う例を説明したが、例えば、比較するコンポーネント信号間の直流成分を除く振幅の差が所定の閾値未満である場合に色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組を選択し、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組を選択するように構成することができ、この選択も符号化装置及び復号装置間で予め定めておくこともできる。

即ち、本実施例の符号化装置９０は、従来からのＭＰＥＧ等と同様に、コンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部９０１及びＣ信号用の圧縮符号化部９０２を備えるが、実施例２とは、予測信号を生成する際の選択肢として色信号間の相関に基づく予測を追加したものとなっている。

このように、本実施例の符号化装置９０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の符号化処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを選択して予測信号を生成する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。

次に、実施例５の符号化装置９０によって符号化したビットストリームを受信して復号する復号装置１００を説明する。

図１２は、本発明による実施例５の復号装置のブロック図である。本実施例の復号装置１００は、復号部１１５１，１１５６と、復号変換部１１５２，１１５３とを備える。

本実施例の復号部１１５１及び復号変換部１１５２の動作は、実施例２における復号部４０１及び復号変換部４０２と同様である。

即ち、復号部１１５１は、符号化部９１２（図１０）によって符号化された残差信号（Ｙ予測残差信号）を復号して、復号変換部１１５２に送出する。

復号変換部１１５２は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部１２１１、画像メモリ１２１２及び画面内予測／画面間予測部１２１３を備える。

例えば、加算部１２１１は、画面内予測／画面間予測部１２１３から得られる予測信号と、復号部１１５１から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｙ信号）を復元し、画像メモリ１２１２に格納する。画面内予測／画面間予測部１２１３は、復元した元のコンポーネント信号を格納する画像メモリ１２１２から参照信号を読み出し、符号化装置９０から得られるＹ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部１２１１に送出する。

一方、本実施例の復号部１１５６は、符号化部９１８（図１０）によって符号化された残差信号（Ｃ予測残差信号）を復号して、復号変換部１１５３に送出する。

復号変換部１１５３は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部１２１４、画像メモリ１２１５及び画面内予測／画面間予測／色信号間予測部１２１６を備える。

例えば、加算部１２１４は、画面内予測／画面間予測／色信号間予測部１２１６から得られる予測信号と、復号部１１５６から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｃ信号）を復元する。画面内予測／画面間予測／色信号間予測部１２１６は、復元した元のコンポーネント信号を格納する画像メモリ１２１５から参照信号を読み出し、符号化装置９０から得られるＹ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成するか、又は色間相関パラメータ（図１に示す推定パラメータに対応する）から予測信号を再生して加算部１２１４に送出する。

画面内予測／画面間予測／色信号間予測部１２１６は、符号化装置９０から得られるＣ信号用画面内予測パラメータ／動きベクトルか、又は色間相関パラメータを受信して、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを、符号化側の選択と対応するように選択して予測信号を生成し、加算部１２１４に送出する。符号化側の選択と対応させるべく、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組の選択について符号化装置及び復号装置間で予め定めておくことで実現することができる。

このようにして、復号装置１００は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して従来のＭＰＥＧ等と同様の復号処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを選択して予測信号を生成する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。

例えば、ＭＰＥＧ等の画面内予測又は画面間予測とは別に、色信号間相関予測を適用するにあたり、画面内予測と色信号間相関予測のうち圧縮率が高いほうを選定したり、画面間予測と色信号間相関予測のうち圧縮率が高いほうを選定したりするように構成することができ、更なる画像圧縮を図ることができる。

次に、このコンポーネント信号推定処理装置１を符号化装置及び復号装置に適用した更に別の実施例について説明する。

図１３は、本発明による実施例６の符号化装置を示すブロック図である。前述の実施例５では、「外部スイッチ」によって動作する画面内予測／画面間予測／色信号間予測部９２２の例を説明したが、本実施例の符号化装置９０ｂでは、Ｃ信号用の圧縮符号化部９０２が、画面内予測又は画面間予測の時空間の信号予測と、コンポーネント信号間（色信号間）の相関を利用した信号予測（図１のコンポーネント信号推定処理装置１における推定と同様）とを切替可能に構成され、且つこの選択に係る切り替えの情報（選択フラグ情報）を補助情報として伝送する画面内予測／画面間予測／色信号間予測部９２２ｂを備える点で実施例５とは異なる。

圧縮符号化部９０１は、実施例５の動作と同様であり、更なる詳細な説明は省略する。

また、圧縮符号化部９０２においても、画面内予測／画面間予測／色信号間予測部９２２ｂ以外の動作は、実施例５の動作と同様であり、更なる詳細な説明は省略する。

圧縮符号化部９０２における画面内予測／画面間予測／色信号間予測部９２２ｂは、図１４に示すように、従来からのＭＰＥＧ等と同様に局部復号されたＣ’信号に対して時空間の予測（画面内予測／画面間予測）を行って予測信号を生成する画面内予測／画面間予測部９２２２と、コンポーネント信号間（色信号間）の相関を利用した信号予測を行うために、第１コンポーネント信号の復号信号（例えば、Ｙ’信号）を入力して、第２のコンポーネント信号（例えば、Ｃ信号）である第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）を推定するにあたり、タイミング調整を図るためのコンポーネント信号格納部９２２４と、コンポーネント信号格納部９２２４から読み出される第１コンポーネント信号の復号信号（例えば、Ｙ’信号）の信号要素と、別途入力される第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）の信号要素（対応画素位置の信号要素）とを比較して、上記所定の推定モデル（例えば、一次関数）に基づいて第１コンポーネント信号の復号信号（例えば、Ｙ’信号）から第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）を推定し、この推定モデルに基づく推定パラメータを「色間相関パラメータ」として生成する推定処理部９２２５と、この色間相関パラメータによって、コンポーネント信号格納部９２２４から読み出される第１コンポーネント信号の復号信号（例えば、Ｙ’信号）の信号要素を上記所定の推定モデル（例えば、一次関数）に基づいて再生した予測信号（色信号間予測信号）を生成する色信号間予測信号生成部９２２３とを備える点で、実施例５と同様である。

ただし、本実施例の画面内予測／画面間予測／色信号間予測部９２２ｂは、符号化対象のＣ信号に対して、時空間の予測（画面内予測／画面間予測）で算出した予測信号、及び、コンポーネント信号間（色信号間）の相関を利用した信号予測に基づく予測信号に対して、それぞれ予測誤差を算出する予測誤差算出部９２２１ａ，９２２１ｂと、各予測誤差算出部９２２１ａ，９２２１ｂから得られる予測誤差を比較し、誤差の小さいほうを選択するよう比較するとともに、選択した予測モードを識別する選択フラグ情報を補助情報として伝送する比較部９２２１ｃとを備える。尚、選択スイッチ９２２１ｄは、比較部９２２１ｃによって切り替えが制御される。

即ち、画面内予測／画面間予測／色信号間予測部９２２ｂは、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを適応的に選択して減算部９１７に送出する。

この選択に係る情報（選択フラグ情報）は、補助情報として符号化装置から復号装置へと伝送するように構成される。

このように、本実施例の符号化装置９０ｂは、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して従来のＭＰＥＧ等と同様の復号処理を施すが、従来のＭＰＥＧ等と同様の符号化処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを適応的に選択して予測信号を生成する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。

次に、実施例６の符号化装置９０によって符号化したビットストリームを受信して復号する復号装置１００ｂを説明する。

図１５は、本発明による実施例６の復号装置のブロック図である。本実施例の復号装置１００ｂは、復号部１１５１，１１５６と、復号変換部１１５２，１１５３とを備える点で、実施例５と同様であるが、復号変換部１１５３が、選択フラグ情報を受信して予測モードの切り替えを行う画面内予測／画面間予測／色信号間予測部１２１６ｂを備える点で相違する。

画面内予測／画面間予測／色信号間予測部１２１６ｂは、符号化装置９０ｂから得られる選択フラグ情報に基づいて、Ｃ信号用画面内予測パラメータ／動きベクトルか、又は色間相関パラメータを選択して、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを、符号化側の選択と対応するように選択して予測信号を生成し、加算部１２１４に送出する。この選択フラグ情報は、補助情報として符号化装置から復号装置へと伝送することで実現することができる。

このようにして、復号装置１００ｂは、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して従来のＭＰＥＧ等と同様の復号処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを適応的に選択して予測信号を生成する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。

例えば、ＭＰＥＧ等の画面内予測又は画面間予測とは別に、色信号間相関予測を適用するにあたり、上記のごとく符号化対象信号に対する予測誤差に基づいて選択することで、画面内予測と色信号間相関予測のうち圧縮率が高いほうを選定したり、画面間予測と色信号間相関予測のうち圧縮率が高いほうを選定したりするように構成することができ、更なる画像圧縮を図ることができる。

更に、本発明の一態様として、各実施例の符号化装置及び復号装置の各々をコンピュータとして構成させることができる。コンピュータに、前述した各実施例の符号化装置及び復号装置の各々における各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。例えば、実施例１〜５を組み合わせて別の実施例を構成することができる。

本発明によれば、従来の画像符号化方式と比較して更なる圧縮が可能となるから、色空間のコンポーネント信号を符号化する符号化技術の用途に有用である。

１コンポーネント信号推定処理装置
１０符号化装置
１１コンポーネント信号格納部
１２推定処理部
１３サンプリングレート変換部
１４比較部
２０復号装置
３０符号化装置
４０復号装置
５０符号化装置
６０復号装置
７０符号化装置
８０復号装置
９０符号化装置
９０ｂ符号化装置
１００復号装置
１００ｂ復号装置
１０１圧縮符号化部
１０２Ｃ信号推定部
１１１減算部
１１２符号化部
１１３局部復号部
１１４加算部
１１５画像メモリ
１１６画面内予測／画面間予測部
２０１復号部
２０２復号変換部
２０３Ｃ信号推定部
２１１加算部
２１２画像メモリ
２１３画面内予測／画面間予測部
３０１圧縮符号化部
３０２圧縮符号化部
３０３Ｃ残差信号推定部
３１１減算部
３１２符号化部
３１３局部復号部
３１４加算部
３１５画像メモリ
３１６画面内予測／画面間予測部
３１７減算部
３１８符号化部
３１９局部復号部
３２０加算部
３２１画像メモリ
３２２画面内予測／画面間予測部
４０１復号部
４０２復号変換部
４０３Ｃ残差信号推定部
４０４復号変換部
４１１加算部
４１２画像メモリ
４１３画面内予測／画面間予測部
４１４加算部
４１５画像メモリ
４１６画面内予測／画面間予測部
５０１圧縮符号化部
５０２圧縮符号化部
５０３Ｃ信号推定部
５０４Ｃ信号選択部
５１１減算部
５１２符号化部
５１３局部復号部
５１４加算部
５１５画像メモリ
５１６画面内予測／画面間予測部
５１７減算部
５１８符号化部
５１９局部復号部
５２０加算部
５２１画像メモリ
５２２画面内予測／画面間予測部
６０１復号部
６０２復号部
６０３復号変換部
６０４Ｃ信号推定部
６０５Ｃ信号選択部
６０６復号部
６１１加算部
６１２画像メモリ
６１３画面内予測／画面間予測部
６１４加算部
６１５画像メモリ
６１６画面内予測／画面間予測部
７０１圧縮符号化部
７０２圧縮符号化部
７０３Ｃ残差信号推定部
７０４Ｃ残差信号選択部
７１１減算部
７１２符号化部
７１３局部復号部
７１４加算部
７１５画像メモリ
７１６画面内予測／画面間予測部
７１７減算部
７１８符号化部
７１９局部復号部
７２０加算部
７２１画像メモリ
７２２画面内予測／画面間予測部
８０１復号部
８０２復号変換部
８０３復号変換部
８０４復号変換部
８０５Ｃ残差信号推定部
８０６Ｃ残差信号選択部
８０７復号部
８１１加算部
８１２画像メモリ
８１３画面内予測／画面間予測部
８１４加算部
８１５画像メモリ
８１６画面内予測／画面間予測部
９０１圧縮符号化部
９０２圧縮符号化部
９１１減算部
９１２符号化部
９１３局部復号部
９１４加算部
９１５画像メモリ
９１６画面内予測／画面間予測部
９１７減算部
９１８符号化部
９１９局部復号部
９２０加算部
９２１画像メモリ
９２２画面内予測／画面間予測／色信号間予測部
９２２ｂ画面内予測／画面間予測／色信号間予測部
１１５１復号部
１１５２復号変換部
１１５３復号変換部
１１５６復号部
１２１１加算部
１２１２画像メモリ
１２１３画面内予測／画面間予測部
１２１４加算部
１２１５画像メモリ
１２１６画面内予測／画面間予測／色信号間予測部
１２１６ｂ画面内予測／画面間予測／色信号間予測部
９２２１選択スイッチ
９２２１ａ，９２２１ｂ予測誤差算出部
９２２１ｃ比較部
９２２１ｄ選択スイッチ
９２２２画面内予測／画面間予測部
９２２３色信号間予測信号生成部
９２２４コンポーネント信号格納部
９２２５推定処理部

Claims

所定の色空間における複数のコンポーネント信号を圧縮する符号化装置であって、
前記所定の色空間における複数のコンポーネント信号のうちの第１のコンポーネント信号に対して符号化処理を施して該第１のコンポーネント信号の符号化信号を生成する第１符号化手段と、
前記複数のコンポーネント信号のうちの第２のコンポーネント信号に対して符号化処理を施して該第２のコンポーネント信号の符号化信号を生成する第２符号化手段と、
前記第１のコンポーネント信号の符号化信号を復号して得られる第１のコンポーネント信号の残差信号から前記第２のコンポーネント信号の残差信号を推定する推定パラメータを、予め定めた推定モデルに従って生成し、前記推定パラメータによる推定値が前記第２のコンポーネント信号の符号化信号を復号して得られる第２のコンポーネント信号の残差信号に対して誤差を有する場合、前記誤差の量を推定誤差情報として生成するコンポーネント信号推定手段とを備え、
前記第１のコンポーネント信号の符号化信号、前記推定パラメータ、及び前記推定誤差情報を外部に出力することを特徴とする、符号化装置。
前記コンポーネント信号推定手段によって生成された推定パラメータを含む推定情報と、前記第２のコンポーネント信号の符号化信号のうちのいずれか一方を選択して外部に出力する信号選択手段を更に備えることを特徴とする、請求項１に記載の符号化装置。
前記第２符号化手段は、
前記第２のコンポーネント信号に対して時間又は空間方向の第１予測信号を生成し、該第１予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化する手段と、
前記コンポーネント信号推定手段によって生成された色信号間相関に基づく推定パラメータによって推定される第２予測信号を生成し、該第２予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化する手段とを有し、
当該第２のコンポーネント信号の予測信号として前記第１予測信号と前記第２予測信号のいずれか一方を選択する手段と、
を備えることを特徴とする、請求項１に記載の符号化装置。
所定の色空間における複数のコンポーネント信号について圧縮した信号を復号する復号装置であって、
前記所定の色空間における複数のコンポーネント信号のうちの第１のコンポーネント信号の符号化信号に対して復号処理を施して該第１のコンポーネント信号の復号信号を生成する第１復号手段と、
予め定めた推定モデルに従って生成された、前記複数のコンポーネント信号のうちの第２のコンポーネント信号の残差信号を推定する推定パラメータ、及び前記推定パラメータによる推定値が前記第２のコンポーネント信号の符号化信号を復号して得られる第２のコンポーネント信号の残差信号に対して誤差を有する場合に生成された前記誤差の量を表す推定誤差情報を用いて、前記復号手段を経て得られる第１のコンポーネント信号の残差信号から前記第２のコンポーネント信号の残差信号を推定するコンポーネント信号推定手段と、
前記第２のコンポーネント信号の残差信号に対して復号処理を施して該第２のコンポーネント信号の復号信号を生成する第２復号手段と、
を備えることを特徴とする、復号装置。
前記推定パラメータを含む推定情報と、前記第２のコンポーネント信号の符号化信号のうちのいずれか一方を選択する信号選択手段を更に備え、
前記第２復号手段は、前記信号選択手段によって推定パラメータを含む推定情報が選択された場合には、前記コンポーネント信号推定手段により推定された第２のコンポーネント信号の残差信号に対して復号処理を施して前記第２のコンポーネント信号の復号信号を生成し、前記信号選択手段によって前記第２のコンポーネント信号の符号化信号が選択された場合には、該符号化信号に対して復号処理を施して前記第２のコンポーネント信号の復号信号を生成することを特徴とする、請求項４に記載の復号装置。
前記第２復号手段は、
前記第２のコンポーネント信号に対して時間又は空間方向の第１予測信号と前記第２のコンポーネント信号との差分を表す残差信号を復号する手段と、
前記推定パラメータを用いて推定される第２予測信号と前記第２のコンポーネント信号との差分を表す残差信号を復号する手段と、
前記第１予測信号と前記第２予測信号のいずれか一方を選択して得られる前記第２のコンポーネント信号の予測信号と、対応する前記残差信号とを加算し、当該第２のコンポーネント信号の復元する手段と、
を備えることを特徴とする、請求項４のいずれか一項に記載の復号装置。
コンピュータを、請求項１から３のいずれか一項に記載の符号化装置として機能させるためのプログラム。
コンピュータを、請求項４から６のいずれか一項に記載の復号装置として機能させるためのプログラム。