JP5592295B2 - 画像符号化方法，画像符号化装置，画像復号方法，画像復号装置およびそれらのプログラム - Google Patents

Description

本発明は，高能率画像信号符号化，復号技術に関し，特にイントラ予測画像符号化処理における発生符号量を低減させる画像符号化および画像復号の技術に関する。

動画像符号化のアルゴリズムは，フレーム間符号化（インター符号化）とフレーム内符号化（イントラ符号化）に大別される。フレーム間符号化は，動画像内の時間方向の相関を利用して，情報圧縮を図るアプローチである。代表例は，動き補償を用いたフレーム間予測である。一方，フレーム内符号化は，フレーム内の相関を用いて，情報圧縮を図るアプローチである。ＪＰＥＧ，ＭＰＥＧ−２では，離散コサイン変換（ＤＣＴ）を用いたアプローチが，ＪＰＥＧ２０００では，離散ウェーブレット変換を用いたアプローチがとられた。Ｈ．２６４／ＡＶＣでは，前述の変換符号化に加えて，空間方向の予測（非特許文献１参照）が行われる。

一般的に，インター符号化に比べてイントラ符号化の符号化効率は低く，さらなる符号化効率改善が必要とされている。Ｈ．２６４／ＡＶＣのイントラ予測改善のアプローチとして，８方向の予測方向を細分化し，３３方向の予測方向をサポートした手法が提案されている。この手法は，予測方向の粒度の粗さに起因する予測誤差を低減させることを狙ったものである。

図１３は，従来の一般的な画像符号化装置の構成例を示す図である。図１３の画像符号化装置では，特にイントラ予測に関連する部分だけを図示している。この画像符号化装置は，符号化対象ブロックの周辺画素からイントラ予測信号を生成するイントラ予測処理部３０１，ＤＣＴ等の直交変換を行う変換処理部３０２，変換係数を量子化して量子化インデックスを生成する量子化処理部３０３，量子化インデックスを逆量子化する逆量子化処理部３０４，ＩＤＣＴ等の逆直交変換を行う逆変換処理部３０５，符号化済み画像の復号信号を記憶するフレームメモリ３０６，予測モード等のイントラ予測情報を符号化するイントラ予測情報符号化部３０７，量子化係数やイントラ予測情報をエントロピー符号化し，符号化ストリームを出力するエントロピー符号化処理部３０８，予測残差信号を算出する減算器３１０，復号信号を生成する加算器３１１を備える。

図１４は，従来の画像符号化処理のフローチャートである。図１３に示す画像符号化装置が実行する画像符号化処理を図１４に従って説明する。

画像符号化装置は，符号化単位ユニット（ブロックということもある）ごとに，以下の処理を繰り返す（ステップＳ６０１）。まず，ステップＳ６０２では，符号化対象のブロックについて，イントラ予測処理部３０１が，フレームメモリ３０６に格納されている符号化済みの隣接画素をもとにイントラ予測モードを決定し，イントラ予測信号を出力する。減算器３１０は，原画像の入力信号とイントラ予測信号との差分からイントラ予測残差信号を求め，変換処理部３０２に出力する。

ステップＳ６０３では，変換処理部３０２が，予測残差信号にＤＣＴ等の直交変換の変換処理を行い，変換係数を生成する。ステップＳ６０４では，量子化処理部３０３が，変換係数に対する量子化処理を行い，量子化インデックスを生成する。ステップＳ６０５では，エントロピー符号化処理部３０８が，量子化インデックスをエントロピー符号化する。

一方，ステップＳ６０６では，逆量子化処理部３０４が，量子化インデックスに対する逆量子化処理を行い，変換係数の復号値を生成する。ステップＳ６０７では，逆変換処理部３０５が，変換係数の復号値に対して，ＩＤＣＴ等の逆変換処理を行い，イントラ予測残差信号の復号信号を生成する。次に，ステップＳ６０８では，加算器３１１が，イントラ予測残差信号の復号値に，ステップＳ６０２のイントラ予測で生成されるイントラ予測信号を加算して復号信号を生成し，所定の記憶領域であるフレームメモリ３０６に格納する。以上の処理をすべての符号化単位ユニットについて繰り返し，すべての符号化単位ユニットについての符号化が終了したならば，符号化処理を終了する（ステップＳ６０９）。

図１５は，従来の一般的な画像復号装置の構成例を示す図である。図１５の画像復号装置では，特にイントラ予測に関連する部分だけを図示している。この画像復号装置は，図１３に示す画像符号化装置によって符号化された符号化ストリームを入力し，エントロピー復号するエントロピー復号処理部４０１，量子化インデックスに対する逆量子化処理を行う逆量子化処理部４０２，ＩＤＣＴ等の逆直交変換を行う逆変換処理部４０３，復号画像の復号信号を記憶するフレームメモリ４０４，イントラ予測情報とフレームメモリ４０４に格納された復号画像を参照してイントラ予測処理を行うイントラ予測処理部４０５，予測モード等のイントラ予測情報を格納するイントラ予測情報格納部４０６を備える。

図１６は，従来の画像復号処理のフローチャートである。図１５に示す画像復号装置が実行する画像復号処理を図１６に従って説明する。

画像復号装置は，符号化単位ユニットごとに，以下の処理を繰り返す（ステップＳ７０１）。まず，ステップＳ７０２では，エントロピー復号処理部４０１が，符号化ストリーム中の符号化データをエントロピー復号する。復号結果の量子化インデックスは，逆量子化処理部４０２に出力され，インデックス予測情報は，イントラ予測情報格納部４０６に格納される。

ステップＳ７０３では，イントラ予測処理部４０５が，イントラ予測情報格納部４０６に格納されているイントラ予測情報をもとに，フレームメモリ４０４に格納されている復号済みの復号信号を参照してイントラ予測処理を行い，イントラ予測信号を生成する。

ステップＳ７０４では，逆量子化処理部４０２が，量子化インデックスに対する逆量子化処理を行い，変換係数の復号値を生成する。ステップＳ７０５では，逆変換処理部４０３が，変換係数の復号値に対して，ＩＤＣＴ等の逆変換処理を行い，イントラ予測残差信号の復号信号を生成する。

次に，ステップＳ７０６では，加算器４１０が，イントラ予測残差信号の復号値に，ステップＳ７０３のイントラ予測で生成されるイントラ予測信号を加算して，復号信号を生成する。この復号信号は，フレームメモリ４０４に格納され，また，再生装置などに出力される。以上の処理をすべての符号化単位ユニットについて繰り返し，すべての符号化単位ユニットについての復号が終了したならば，復号処理を終了する（ステップＳ７０７）。

大久保榮監修，インプレス標準教科書シリーズ，改定三版Ｈ．２６４／ＡＶＣ教科書，株式会社インプレスＲ＆Ｄ，110-116 頁，２００９年１月１日発行

従来のイントラ予測はいずれも外挿予測であるため，参照画素と被予測画素の間の距離の増大に伴い，予測誤差が増大する傾向にある。このため，予測方向の粒度に差異はあるものの，こうした外挿予測が機構的に内在する問題は未解決であり，符号化効率向上に改良の余地を残す。

本発明はかかる事情に鑑みてなされたものであって，イントラ予測誤差間の相関に着目し，イントラ予測誤差を低減することで，高能率なイントラ符号化の方法を確立することを目的とする。

画像内の２つの領域に対して，同一方向もしくは類似した方向のイントラ予測が適用される場合，イントラ予測残差も類似した信号となることが予想される。つまり，予測残差は発生するものの，その発生した予測残差間には相関があるということである。

そこで，本発明では，類似した領域の予測残差間の相関を利用し，両予測残差間にて予測を行い，予測残差の低減を図る残差予測を導入する。

すなわち，本発明は上記課題を解決するため，空間的な画素間予測を用いて予測信号を生成し，その予測信号と原信号との残差信号を生成し，生成した残差信号に対して直交変換を施して変換係数を生成する画像符号化方法において，イントラ予測の予測方向（予測モードともいう）に基づき，符号化済みの領域を指定し，さらに，その符号化済みの領域における変換係数の特定の成分を参照信号として指定し，符号化対象領域において対応する変換係数の成分との差分信号として残差予測誤差信号を生成し，その残差予測誤差信号を符号化の対象とする。特に，変換係数の特定の成分を参照信号として指定する際には，イントラ予測の単位となる領域が符号化対象領域よりも大きい場合に，符号化対象領域を含むイントラ予測の単位となる領域の予測方向に基づいて，同一または類似する予測方向の符号化済みのイントラ予測の単位となる参照領域を選定し，イントラ予測の単位となる領域における符号化対象領域の位置と相対的に同じ位置にある参照領域内の領域を，残差信号に対する予測処理に用いる符号化済みの領域として選定する。

また，上記の画像符号化方法により生成された符号化ストリームを復号する画像復号方法において，符号化ストリーム中の残差予測誤差信号を復号し，イントラ予測の予測方向を示す情報を復号し，その予測方向に基づき，復号済みの領域を選定し，さらに，その復号済みの領域における変換係数の特定の成分を参照信号として指定し，その参照信号を用いて，符号化対象領域のイントラ予測残差信号に対する予測信号を生成し，復号された残差予測誤差信号と該予測信号を用いて，復号対象領域の復号信号を生成する。特に，変換係数の特定の成分を参照信号として指定する際には，イントラ予測の単位となる領域が復号対象領域よりも大きい場合に，復号したイントラ予測の予測方向を示す情報に基づいて，同一または類似する予測方向の復号済みのイントラ予測の単位となる参照領域を選定し，イントラ予測の単位となる領域における復号対象領域の位置と相対的に同じ位置にある参照領域内の領域を，残差信号に対する予測処理に用いる復号済みの領域として選定する。

本発明により，イントラ予測誤差の低減を通して，符号量の低減が可能となる。これは，同一方向もしくは類似した方向のイントラ予測が適用される２領域に対して，該２領域のイントラ予測残差間の相関を利用し，両イントラ予測残差間にて，さらに予測処理を行い，イントラ予測残差の低減を図ることにより，実現される。

被予測ＰＵおよび参照ＰＵの例を示す図である。 本発明の一実施形態である画像符号化装置の構成例を示す図である。 画像符号化処理のフローチャートである。 残差予測処理を用いた変換係数の復号値生成処理のフローチャートである。 残差予測処理（例１）のフローチャートである。 残差予測処理（例２）のフローチャートである。 残差予測処理（例３）のフローチャートである。 本発明の一実施形態である画像復号装置の構成例を示す図である。 画像復号処理のフローチャートである。 残差予測処理を用いた変換係数の復号値生成処理のフローチャートである。 画像符号化装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 画像復号装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 従来の一般的な画像符号化装置の構成例を示す図である。 従来の画像符号化処理のフローチャートである。 従来の一般的な画像復号装置の構成例を示す図である。 従来の画像復号処理のフローチャートである。

本発明の具体的な実施の形態を説明するに先立ち，まず，本明細書で用いる用語を定義する。前述のように，本発明では，類似した領域の予測残差間の相関を利用し，両予測残差間にて予測を行い，予測残差の低減を図る残差予測を導入する。この予測残差間における予測をイントラ予測残差予測（ＩＰＲＰ）と定義する。イントラ予測を行う矩形領域を prediction unit（ＰＵと略記) とし，ＤＣＴなどの直交変換を行う矩形領域をtransform unit（ＴＵと略記) とする。ＩＰＲＰにおいて予測対象とするＴＵを被予測ＴＵとし，ＩＰＲＰにおいて参照先となるＴＵを参照ＴＵとする。また，被予測ＴＵを含むＰＵを被予測ＰＵとし，参照ＴＵを含むＰＵを参照ＰＵとする。また，ＰＵおよびＴＵのサイズは可変であり，横幅・縦幅により定義される。

ＩＰＲＰの技法は，残差予測に用いる参照ＰＵ，参照ＴＵ，被予測ＰＵ，被予測ＴＵの設定，イントラ予測残差信号に対する予測方法の設定，ＩＰＲＰの指定方法から構成される。以下，ＩＰＲＰの具体的な処理について説明する。

図１は，被予測ＰＵおよび参照ＰＵの例を示す図である。図１（Ａ）は，ＰＵのサイズがＴＵのサイズと一致している場合の例を示しており，図１（Ｂ）は，ＰＵのサイズが，そのＰＵ内のＴＵのサイズよりも大きい場合，すなわち，ＰＵが複数のＴＵを含む場合の例を示している。

〔参照ＰＵ，参照ＴＵの設定方法（ＰＵのサイズがＴＵのサイズと一致している場合）〕
ＰＵのサイズとそのＰＵ内のＴＵのサイズが同一の場合，つまり，ＰＵとＴＵが一対一に対応している場合について説明する。この場合，ＰＵとＴＵのサイズが同一であることから，以下では，参照ＰＵ，参照ＴＵを総称して参照ブロックと呼ぶ。また，被予測ＰＵ，被予測ＴＵを総称して，被予測ブロックと呼ぶ。被予測ＰＵのブロックサイズ・イントラ予測方向に基づき，ＩＰＲＰにおいて参照すべきＰＵ，ＴＵを設定する。参照ブロックの設定方法としては，例えば，以下の設定方法１，設定方法２を用いることができる。

＜設定方法１＞
被予測ＴＵを含むＰＵに対して，同一サイズ，かつ，同一の予測方向の近傍ＰＵを同定し，同定したＰＵ内のＴＵを残差予測の参照ＴＵとする。図１（Ａ）の例では，被予測ＰＵ６に対して，ＰＵ３がＰＵ６の近傍にあり，同一の予測方向（ｉｎｄｅｘ＝１）であるため，参照ＰＵ（参照ＴＵ）として選ばれている。

近傍ＰＵとしては，ＰＵ間の距離が最短の最近傍ＰＵを設定する。あるいは，一定の範囲内のＰＵに参照ＰＵを限定することも可能である。例えば，被予測ブロックからの距離を用いて該範囲を指定することができる。最も狭く範囲を指定した場合は，参照ブロックとして被予測ブロックに隣接するブロックに限定する場合である。このように範囲を限定した場合，範囲内に該当するブロックが存在しなければ，残差予測が適用されない。残差予測の不適用は，特別な付加情報なしに，符号化側・復号側で共有することが可能である。このため，残差予測が適用されないブロックについては，残差予測の適用・不適用を示す選択情報を省略することができる。

＜設定方法２＞
被予測ブロックに対して，同一サイズ，かつ，類似の予測方向の近傍ブロックを残差予測の参照ブロックとする。近傍ブロックについては，前述と同様である。また，どの予測方向を類似とみなすかは，別途，定める。例えば，予測方向の例として，Ｈ．２６４の場合，例えば非特許文献１の第１１２頁に示されているように，平均値予測と８通りの方向予測が準備されている。また，予測方向を細分化した方法もある。例えば，３３通りに拡張した予測方向の方向予測と合わせて，Ｈ．２６４の場合と同様に，平均値予測を用いることも可能である。被予測ブロックにおける予測方向に対して，予測方向の乖離が最小の２Ｎ個の予測方向および同一予測方向からなる２Ｎ＋１個の予測方向を類似方向とみなす。類似方向の個数を規定するパラメータＮは，外部から与えられるものとする。なお，指定された個数の予測方向が存在しない場合には，類似方向の個数は２Ｎ＋１個よりも少なくなる。あるいは，特定の予測方向を代表方向として定め，それ以外の予測方向については，予測方向の角度の乖離が最小となる代表方向に集約させる。

〔参照ＰＵ，参照ＴＵの設定方法（ＰＵが複数のＴＵを含む場合）〕
ＰＵが複数のＴＵを含む場合，つまり，ＰＵのサイズがそのＰＵ内のＴＵのサイズよりも大きな場合の例について説明する。なお，ＰＵ内におけるＴＵの位置を指定する情報をＰＵ内位置と呼ぶ。参照ＰＵ，参照ＴＵの設定方法としては，例えば，以下の設定方法１，設定方法２を用いることができる。

＜設定方法１＞
まず，被予測ＴＵを含むＰＵに対して，同一サイズ，かつ，同一の予測方向の近傍ＰＵを同定する。次に，被予測ＰＵ内における被予測ＴＵのＰＵ内位置を同定し，参照ＰＵ内において，前記ＰＵ内位置に位置するＴＵを残差予測の参照ＴＵとして同定する。

図１（Ｂ）の例では，被予測ＰＵ６内に４つのＴＵを含んでおり，そのＰＵ６に対して，同一の予測方向の近傍ＰＵ３を参照ＰＵとしている。そして，被予測ＰＵ６内の被予測ＴＵ６２とＰＵ内位置が同じ参照ＰＵ３内のＴＵ３２を，参照ＴＵとしている。

近傍ＰＵとしては，ＰＵ間の距離が最短の最近傍ＰＵを設定する。あるいは，一定の範囲内のＰＵに参照ＰＵを限定することも可能である。例えば，被予測ＰＵからの距離を用いて該範囲を指定することができる。最も狭く範囲を指定した場合は，参照ＰＵとして被予測ＰＵに隣接するＰＵに限定する場合である。このように範囲を限定した場合，範囲内に該当するＰＵが存在しなければ，残差予測が適用されない。残差予測の不適用は，特別な付加情報なしに，符号化側・復号側で共有することが可能である。このため，残差予測が適用されないＰＵについては，残差予測の適用・不適用を示す選択情報を省略することができる。なお，残差予測の適用・不適用を示す選択情報をＴＵごとに設定している場合には，残差予測が適用されないＰＵ内の全ＴＵについて，残差予測の適用・不適用を示す選択情報を省略することができる。

＜設定方法２＞
被予測ＰＵに対して，同一サイズ，かつ，類似の予測方向の近傍ＰＵを残差予測の参照ＰＵとする。近傍ＰＵについては，前述と同様である。また，どの予測方向を類似とみなすかは，別途，定める。例えば，予測方向の例として，Ｈ．２６４の場合，例えば非特許文献１の第１１２頁に示されているように，平均値予測と８通りの方向予測が準備されている。また，予測方向を細分化した方法もある。例えば，３３通りに拡張した予測方向の方向予測と合わせて，Ｈ．２６４の場合と同様に，平均値予測を用いることも可能である。被予測ＰＵにおける予測方向に対して，予測方向の乖離が最小の２Ｎ個の予測方向および同一予測方向からなる２Ｎ＋１個の予測方向を類似方向とみなす。類似方向の個数を規定するパラメータＮは，外部から与えられるものとする。なお，指定された個数の予測方向が存在しない場合は，類似方向の個数は２Ｎ＋１個よりも少なくなる。あるいは，特定の予測方向を代表方向として定め，それ以外の予測方向については，予測方向の角度の乖離が最小となる代表方向に集約させる。

〔イントラ予測残差信号の予測方法〕
イントラ予測残差信号の予測方法としては，例えば，以下の４つの予測方法１〜４のいずれかを用いることができる。

＜予測方法１（適応変換係数予測）＞
予測方法１では，参照ＰＵ内の各ＴＵ（参照ＴＵ）のイントラ予測残差に対して変換符号化・量子化・逆量子化を施して得られた変換係数の復号値を被予測ＴＵ内の対応する成分の予測信号とみなし，特定の成分の変換係数のみに限定して，両係数の差分を計算する。このとき，予測の対象となる変換係数の成分を予測対象成分と呼ぶ。どの成分を予測対象成分とするかは，イントラ予測方向に応じて切り替えるものとする。各イントラ予測方向ごとに，予測対象成分の位置を示す情報をテーブルに格納しておき，適宜，読み出すこととする。参照ＰＵ内のどのＴＵを参照ＴＵとするかは，被予測ＴＵからの距離が最小となるＴＵを設定する。

＜予測方法２（重み付き適応変換係数予測）＞
予測方法２では，参照ＰＵ内の各ＴＵ（参照ＴＵ）のイントラ予測残差に対して変換符号化・量子化・逆量子化を施して得られた変換係数の復号値を参照し，その復号値に対して重み係数を乗じた値を被予測ＴＵ内の対応する成分の予測信号とみなし，特定の成分の変換係数のみに限定して，両係数の差分を計算する。どの成分を予測対象成分とするかは，イントラ予測方向に応じて切り替えるものとする。各イントラ予測方向ごとに，予測対象成分の位置を示す情報をテーブルに格納しておき，適宜，読み出すこととする。重み係数は，別途，与えられるものとする。参照ＰＵ内のどのＴＵを参照ＴＵとするかは，被予測ＴＵからの距離が最小となるＴＵを設定する。

＜予測方法３（重み付き適応変換係数予測）＞
予測方法３では，参照ＰＵ内の各ＴＵ（参照ＴＵ）のイントラ予測残差に対して変換符号化・量子化・逆量子化を施して得られた変換係数の復号値を参照し，その復号値に対して重み係数を乗じ，バイアス項の係数を加算した値を被予測ＴＵ内の対応する成分の予測信号とみなし，特定の成分の変換係数のみに限定して，両係数の差分を計算する。どの成分を予測対象成分とするかは，イントラ予測方向に応じて切り替えるものとする。各イントラ予測方向ごとに，予測対象成分の位置を示す情報をテーブルに格納しておき，適宜，読み出すこととする。重み係数およびバイアス項は，別途，与えられるものとする。参照ＰＵ内のどのＴＵを参照ＴＵとするかは，被予測ＴＵからの距離が最小となるＴＵを設定する。

＜予測方法４（重み付き適応変換係数予測）＞
予測方法４では，参照ＰＵ内の各ＴＵ（参照ＴＵ）のイントラ予測残差に対して変換符号化・量子化・逆量子化を施して得られた変換係数の復号値を参照し，特定の予測対象成分に対してのみ，対応する復号値に重み係数を乗じてバイアス項の係数を加算した値を被予測ＴＵ内の対応する成分の予測信号とみなし，それ以外の予測対象成分に対しては，対応する復号値を被予測ＴＵ内の対応する成分の予測信号とみなし，予測対象成分の変換係数に対して，両係数の差分を計算する。どの成分を予測対象成分とするかは，イントラ予測方向に応じて切り替えるものとする。各イントラ予測方向ごとに，予測対象成分の位置を示す情報をテーブルに格納しておき，適宜，読み出すこととする。重み係数およびバイアス項は，別途，与えられるものとする。参照ＰＵ内のどのＴＵを参照ＴＵとするかは，被予測ＴＵからの距離が最小となるＴＵを設定する。

なお，上記の予測方法において，予測対象を予測残差の絶対値として，予測残差の符号情報は，予測処理の対象とせずに，伝送することも可能である。

〔残差予測の指定方法〕
残差予測の適用の有無は，予め定められた単位で実施する。適用の有無は，１ビットのフラグ（残差予測フラグ）を用いて伝送される。また，切替える単位は，シーケンス，フレーム，フレーム内の領域が可能であり，この切替えの単位は，別途，定められるものとする。

参照ＴＵ内のイントラ予測の参照画素群と被予測ＴＵ内のイントラ予測の参照画素群との間の相関を算出し，その相関値が一定の閾値以上の場合に限定することも可能である。この場合，相関値が閾値未満の場合には，前記の残差予測フラグを伝送する必要はない。

あるいは，参照する変換係数の復号値が，与えられた閾値以下の場合，残差予測を適用しないものとし，このことを符号化器・復号器で規則として共有しておくものとする。これにより，参照する変換係数の復号値が，与えられた閾値以下の場合は，前記残差予測フラグを伝送する必要がなくなる。この結果，前記残差予測フラグの表現に必要な符号量を省略することが可能となる。該閾値の例として，零値をあげることができる。該閾値として零値を設定することは，参照する変換係数の復号値が零値の場合に残差予測を省略することを意味している。参照信号が零値の場合，残差予測の適用前後で被予測係数は変化しない。このため，符号化性能の低下を伴わずに，該残差予測フラグの表現に必要な符号量を低減することが可能となる。

〔画像符号化装置の構成例〕
図２は，本発明の一実施形態である画像符号化装置の構成例を示す図である。図２の画像符号化装置は，他にインター予測符号化を行う処理部を含んでいてもよいが，ここでは，イントラ予測に関連する部分だけを図示して説明する。

この画像符号化装置は，符号化対象ブロックの周辺画素からイントラ予測信号を生成するイントラ予測処理部１０１，ＤＣＴ等の直交変換を行う変換処理部１０２，変換係数を量子化して量子化インデックスを生成する量子化処理部１０３，量子化インデックスを逆量子化する逆量子化処理部１０４，ＩＤＣＴ等の逆直交変換を行う逆変換処理部１０５，符号化済み画像の復号信号を記憶するフレームメモリ１０６，予測方法（予測モード）等のイントラ予測情報を符号化するイントラ予測情報符号化部１０７，量子化インデックスやイントラ予測情報をエントロピー符号化するエントロピー符号化処理部１０８，イントラ予測情報を記憶するイントラ予測情報記憶部１０９，残差予測を行う残差予測処理部１１０，予測残差係数を記憶する予測残差係数記憶部１１１，変換係数を記憶する変換係数記憶部１１２，残差予測を適用するか否かを判定する残差予測判定部１１３，残差予測選択フラグを出力する残差予測選択フラグ出力部１１４，エントロピー符号化結果および残差予測選択フラグを多重化して出力する多重化処理部１１５，予測残差信号を算出する減算器１２０，残差予測誤差信号の復号値にイントラ予測残差信号の予測信号を加算する加算器１２１，復号信号を生成する加算器１２２およびスイッチ部１２３，１２４を備える。

イントラ予測処理部１０１は，フレームメモリ１０６に格納された近傍領域の復号信号を入力として，空間的な予測処理を行い，その予測により得られた信号をイントラ予測信号として出力する。減算器１２０は，入力信号とイントラ予測処理部１０１で出力されたイントラ予測信号との差分信号を算出し，イントラ予測残差信号として出力する。

変換処理部１０２は，イントラ予測残差信号を入力として，ＤＣＴ等の変換処理を行い，変換係数を出力する。量子化処理部１０３は，変換処理部１０２で出力された変換係数を入力として，変換係数の量子化処理を行い，量子化代表値を表す量子化インデックスを出力する。

逆量子化処理部１０４は，量子化処理部１０３で出力された量子化インデックスを入力として，逆量子化処理を行い，変換係数の復号値を出力する。逆変換処理部１０５は，逆量子化処理部１０４で出力された変換係数の復号値を入力として，逆変換処理を行い，イントラ予測残差信号の復号値を出力する。

加算器１２２は，イントラ予測残差信号の復号値にイントラ予測信号を加算することにより，復号信号を生成する。この復号信号は，フレームメモリ１０６に格納される。

イントラ予測情報符号化部１０７は，イントラ予測信号を表現するための情報として，イントラ予測の方向を規定するイントラ予測モード，イントラ予測を行う領域の大きさを表すＰＵサイズを符号化する。エントロピー符号化処理部１０８は，量子化処理部１０３の出力である量子化インデックス，イントラ予測情報符号化部１０７の出力であるイントラ予測情報を入力として，エントロピー符号化処理を行い，多重化処理部１１５を介して符号化データを多重化し，符号化ストリームを出力する。

以上の各部の処理は，基本的には，図１３を用いて説明した従来の画像符号化装置の処理と同様である。さらに，この画像符号化装置では，残差予測を用いた画像符号化のために，次の処理部や記憶部を備える。

イントラ予測情報記憶部１０９は，イントラ予測の予測モード情報，その予測のブロックサイズを格納する。残差予測処理部１１０は，イントラ予測情報記憶部１０９に格納されたイントラ予測の予測モード情報，その予測のブロックサイズを入力とし，参照ＰＵを同定し，さらに，イントラ予測残差信号に対する変換係数，予測残差係数記憶部１１１に格納された変換係数の復号値を入力として，両者の差分値（残差予測誤差信号）を出力する。

予測残差係数記憶部１１１は，イントラ予測残差信号に対する変換係数の復号値を格納する。また，変換係数記憶部１１２は，イントラ予測残差信号に対する変換係数を格納する。

残差予測判定部１１３は，符号化対象ＴＵのイントラ予測残差に対する変換係数および，変換係数記憶部１１２に格納されたＴＵの変換係数を入力として，残差予測を行うか否かを判定する。まず，残差予測の適用条件を満たすか否かを判定する。適用条件としては，例えば，参照ブロック内のイントラ予測の参照画素群と被予測ブロック内のイントラ予測の参照画素群との間の相関を算出し，その相関値が一定の閾値以上であるという条件，また，所定の近傍範囲内に被予測ＰＵと予測方向が一致または類似する適切な参照ＰＵが存在することという条件などがあるが，他の適用条件を用いてもよい。

適用条件を満たさない場合には，残差予測選択フラグ出力部１１４への入力をスキップした上で，スイッチ部１２３，１２４を切り替え，加算器１２１による加算処理を省略する。適用条件を満たす場合には，例えばＲＤコストなどの予め与えられた評価尺度に基づき，残差予測の適用の可否を判定し，残差予測が適用されないと判定された場合には，残差予測選択フラグ出力部１１４において，残差予測選択フラグをＯＦＦとして出力し，スイッチ部１２３，１２４の後の加算処理を省略する。

一方，残差予測判定部１１３において，残差予測が適用されると判定された場合には，残差予測選択フラグ出力部１１４において，残差予測選択フラグをＯＮとして出力し，スイッチ部１２３を残差予測処理部１１０側へ切り替え，また，スイッチ部１２４を加算器１２１が加算処理を行うように切り替える。

残差予測選択フラグ出力部１１４は，残差予測判定部１１３において，残差予測を行うと判定された場合，残差予測選択フラグをＯＮとして出力し，そうでない場合には，残差予測選択フラグをＯＦＦとして出力する。多重化処理部１１５は，残差予測選択フラグとそれ以外の符号化ストリームとを一つの符号化ストリームとして多重化し，出力する。

〔画像符号化処理〕
次に，図２に示す画像符号化装置が実行する画像符号化処理の流れを，図３ないし図７に示すフローチャートに従って説明する。

図３は，本実施形態に係る残差予測を用いた画像符号化処理のフローチャートである。画像符号化装置の入力信号は，符号化対象の画像信号である。図３において，点線の枠で囲ったステップＳ１０４〜Ｓ１１１の処理部分が，主に従来技術と異なる部分である。画像符号化装置は，画像信号を入力すると，以下の処理を行う。

［ステップＳ１０１］：各符号化単位ユニットごとに，ステップＳ１１４までの処理を繰り返し実行する。

［ステップＳ１０２］：イントラ予測処理部１０１が，イントラ符号化の方式（イントラ予測モード）を設定し，設定されたイントラ予測モードに基づき，イントラ予測信号を生成する。イントラ符号化の方式に関する情報は，イントラ予測情報記憶部１０９に記憶されるとともに，イントラ予測情報符号化部１０７に出力される。イントラ予測信号は，減算器１２０へ送られ，減算器１２０は，このイントラ予測信号と入力信号の差分信号（イントラ予測残差信号）を生成する。

［ステップＳ１０３］：変換処理部１０２が，イントラ予測残差信号を入力として，直交変換を行い，変換係数を生成する。変換処理は，予め方式が定められるものとし，例えば，離散コサイン変換（ＤＣＴ）を用いるものとする。変換係数は，スイッチ部１２３および残差予測判定部１１３に出力されるととにも，変換係数記憶部１１２に記憶される。

［ステップＳ１０４］：残差予測判定部１１３が，残差予測の適用条件に基づき，残差予測を行うか否かを判定する。適用条件を満たす場合，ステップＳ１０５，Ｓ１０７の処理へ進む。適用条件を満たさない場合，ステップＳ１１０の処理へ進む。

［ステップＳ１０５］：残差予測処理部１１０が，イントラ予測残差信号に対する予測処理を行い，イントラ予測残差信号の予測信号を生成し，その予測信号とイントラ予測残差信号との差分信号（残差予測誤差信号）を生成する。この残差予測誤差信号を量子化して符号化したときの変換係数の復号値を生成する。この処理の詳細については，図４に従って説明する。

［ステップＳ１０６］：ステップＳ１０５で生成した変換係数の復号値に対して符号化歪みを算出し，さらに，その復号値を表現するために必要な符号量（もしくは，その推定値）を算出する。前記符号化歪みおよび前記符号量の加重和として，ＲＤコストを算出する。

［ステップＳ１０７］：一方，図１４で説明した従来法によるステップＳ６０４〜Ｓ６０６と同様の処理により，残差予測処理を行わないで変換係数を符号化したときの変換係数の復号値を生成する。すなわち，変換係数を入力として量子化処理を行い，量子化後の変換係数を量子化インデックスとして生成する。また，量子化インデックスを入力として，エントロピー符号化処理を行い，２進列へ変換する。エントロピー符号化の方法は，別途，与えられるものとする。さらに，量子化インデックスを入力として，逆量子化処理を行い，変換係数の復号値を生成する。

［ステップＳ１０８］：ステップＳ１０７で生成した変換係数の復号値に対して符号化歪みを算出し，さらに，その復号値を表現するために必要な符号量（もしくは，その推定値）を算出する。前記符号化歪みおよび前記符号量の加重和として，ＲＤコストを算出する。

［ステップＳ１０９］：ステップＳ１０６で出力されるＲＤコストとステップＳ１０８で出力されるＲＤコストとの大小を比較し，前者の方が小さい場合には，ステップＳ１１１の処理に進む。そうでない場合には，ステップＳ１１０の処理に進む。

［ステップＳ１１０］：残差予測選択フラグ出力部１１４が，イントラ予測残差の使用を示す残差予測選択フラグをＯＦＦ（２進数の０）として出力し，量子化処理部１０３およびエントロピー符号化処理部１０８で符号化したイントラ予測残差信号に対する変換係数の量子化インデックスに対する符号化情報を出力する。その後，ステップＳ１１２へ進む。

［ステップＳ１１１］：残差予測選択フラグ出力部１１４が，イントラ予測残差の使用を示すフラグをＯＮ（２進数の１）として出力し，量子化処理部１０３およびエントロピー符号化処理部１０８で符号化した残差予測誤差信号に対する変換係数の量子化インデックスに対する符号化情報を出力する。

［ステップＳ１１２］：逆変換処理部１０５が，変換係数の復号値を入力として，逆変換処理を行い，イントラ予測残差信号の復号信号を生成する。

［ステップＳ１１３］：加算器１２２が，イントラ予測残差信号の復号値およびイントラ予測信号を入力として，両者を加算し，復号信号を生成して所定の記憶領域（フレームメモリ１０６）に格納する。

［ステップＳ１１４］：以上の処理をすべての符号化単位ユニットについて繰り返し，すべての符号化単位ユニットについての処理が終えたならば，符号化処理を終了する。

図４は，残差予測処理を用いた変換係数の復号値生成処理のフローチャートである。次に，図４を用いて，図３のステップＳ１０５の処理について詳細に説明する。

［ステップＳ２０１］：残差予測処理部１１０が，参照ＴＵの予測対象成分を入力として，イントラ予測残差信号に対する予測処理を行い，イントラ予測残差信号の予測信号を生成する。さらに，被予測ＴＵの予測対象成分および前記予測信号を入力として，両者の差分信号として，残差予測誤差信号を生成する。この残差予測処理の詳細については，図５，図６および図７を用いて，３つの例を説明する。

［ステップＳ２０２］：量子化処理部１０３が，残差予測誤差信号を入力として量子化処理を行い，量子化により得られる量子化インデックスとして出力する。

［ステップＳ２０３］：エントロピー符号化処理部１０８が，量子化インデックスを入力として，エントロピー符号化処理を行い，２進列へ変換する。エントロピー符号化の方法は，別途，与えられるものとする。

［ステップＳ２０４］：逆量子化処理部１０４が，量子化インデックスを入力として，逆量子化処理を行い，残差予測誤差信号の復号値を生成する。

［ステップＳ２０５］：加算器１２１が，ステップＳ２０４で生成した残差予測誤差信号の復号値およびステップＳ２０１で生成したイントラ予測残差信号の予測信号を入力として，両者を加算し，変換係数の復号値を生成する。

図５は，残差予測処理（例１）を示すフローチャートである。図４のステップＳ２０１では，残差予測処理の第１の例として，図５に示す処理を実行する。

［ステップＳ３０１］：残差予測処理部１１０は，イントラ予測情報記憶部１０９から，被予測ＰＵのサイズ，被予測ＴＵのサイズ，および被予測ＰＵにおける予測モードを読み込む。

［ステップＳ３０２］：ステップＳ３０１で読み込んだ情報を入力として，参照ＰＵ，参照ＴＵを同定する。具体的な設定方法は，前述した〔参照ブロックの設定方法（ＰＵのサイズがＴＵのサイズと一致している場合）〕および〔参照ブロックの設定方法（ＰＵが複数のＴＵを含む場合）〕を用いる。

［ステップＳ３０３］：ステップＳ３１０で読み込んだ情報を入力として，変換係数の予測対象成分を同定する。具体的な同定方法は，別途，与えられるものとする。

［ステップＳ３０４］：参照ＴＵ内の予測対象成分を入力として，残差予測の予測信号を生成する。具体的な設定方法は，前述した〔イントラ予測残差信号の予測方法〕における＜予測方法１＞に従う。

［ステップＳ３０５］：ステップＳ３０４で生成した予測信号および被予測ＴＵ内の予測対象成分を入力として，両者の差分を出力する。

図６は，残差予測処理（例２）を示すフローチャートである。図４のステップＳ２０１では，残差予測処理の第２の例として，図６に示す処理を実行してもよい。

［ステップＳ３１１〜Ｓ３１３］：図５で説明したステップＳ３０１〜Ｓ３０３と同様な処理を実行する。

［ステップＳ３１４］：残差予測処理部１１０は，参照ＴＵ内の予測対象成分に乗じる重み係数，および予測対象成分に加算するバイアス係数の値を読み込む。重み係数およびバイアス係数は，予め与えれるか，もしくは，別途，定められるものとする。

［ステップＳ３１５］：参照ＴＵ内の予測対象成分を入力として，残差予測の予測信号として設定する。具体的な設定方法は，〔イントラ予測残差信号の予測方法〕における＜予測方法２＞に従う。

［ステップＳ３１６］：ステップＳ３１５で生成した予測信号および被予測ＴＵ内の予測対象成分を入力として，両者の差分を出力する。

図７は，残差予測処理（例３）を示すフローチャートである。図４のステップＳ２０１では，残差予測処理の第３の例として，図７に示す処理を実行してもよい。

［ステップＳ３２１〜Ｓ３２３］：図５で説明したステップＳ３０１〜Ｓ３０３と同様な処理を実行する。

［ステップＳ３２４］：残差予測処理部１１０が，参照ＴＵ内の予測対象成分に乗じる重み係数，および予測対象成分に加算するバイアス係数の値を読み込む。重み係数およびバイアス係数は，予め与えられるか，もしくは，別途，定められるものとする。

続くステップＳ３２５〜Ｓ３３１では，残差予測処理部１１０が，参照ＴＵ内の予測対象成分を入力として，残差予測の予測信号を生成する。具体的な設定方法は，〔イントラ予測残差信号の予測方法〕における＜予測方法４＞に従う。なお，＜予測方法３＞の場合の処理もほぼ同様であるので，＜予測方法３＞を用いたときの処理方法の説明は割愛する。

［ステップＳ３２５］：以下の処理を変換係数のすべての予測対象成分に対して繰り返す。

［ステップＳ３２６］：当該予測対象成分は，重み付き予測処理を行う成分であるか否かを判定する。重み付き予測処理を行う成分の場合，ステップＳ３２８の処理へ進み，そうでない場合，ステップＳ３２７の処理へ進む。

［ステップＳ３２７］：参照ＴＵ内の予測対象成分を残差予測の予測信号として設定する。その後，ステップＳ３３０の処理へ進む。

［ステップＳ３２８］：参照ＴＵ内の予測対象成分に乗じる重み係数，および予測対象成分に加算するバイアス係数を読み込む。

［ステップＳ３２９］：被予測ＴＵ内の予測対象成分に対して重み係数を乗じ，バイアス係数を加算した値を残差予測の予測信号として設定する。

［ステップＳ３３０］：ステップＳ３２７またはステップＳ３２９で設定した予測信号と被予測ＴＵ内の予測対象成分とを入力として，両者の差分を算出する。

［ステップＳ３３１］：以上のステップＳ３２５以降の処理を，すべての予測対象成分について繰り返し，すべての予測対象成分に対する処理が終了したならば，処理を終了する。

〔画像復号装置の構成例〕
図８は，本発明の一実施形態である画像復号装置の構成例を示す図である。図８の画像復号装置は，他にインター予測復号を行う処理部を含んでいてもよいが，ここでは，イントラ予測に関連する部分だけを図示して説明する。

この画像復号装置は，量子化インデックスやイントラ予測情報をエントロピー復号するエントロピー復号処理部２０１，量子化インデックスを逆量子化する逆量子化処理部２０２，ＩＤＣＴ等の逆直交変換を行う逆変換処理部２０３，復号済み画像の復号信号を記憶するフレームメモリ２０４，復号対象ブロックの周辺画素からイントラ予測信号を生成するイントラ予測処理部２０５，エントロピー復号されたイントラ予測情報を格納するイントラ予測情報格納部２０６，符号化ストリームから残差予測選択フラグを分離する分離処理部２０７，残差予測を行う残差予測処理部２０８，予測残差係数を記憶する予測残差係数記憶部２０９，残差予測選択フラグを読み込む残差予測選択フラグ読込部２１０，予測方法（予測モード）等のイントラ予測情報を記憶するイントラ予測情報記憶部２１１，変換係数を記憶する変換係数記憶部２１２，残差予測を適用するか否かを判定する残差予測判定部２１３，残差予測誤差信号の復号値にイントラ予測残差信号の予測信号を加算する加算器２２０，復号信号を生成する加算器２２１およびスイッチ部２２２，２２３を備える。

エントロピー復号処理部２０１は，分離処理部２０７で分離された符号化ストリームを入力として，エントロピー復号処理を行い，量子化インデックス，イントラ予測情報を出力する。逆量子化処理部２０２は，エントロピー復号処理部２０１で出力された量子化インデックスを入力として，逆量子化処理を行い，変換係数の復号値を出力する。逆変換処理部２０３は，逆量子化処理部２０２で出力された変換係数の復号値を入力として，逆変換処理を行い，イントラ予測残差信号の復号値を出力する。加算器２２１は，イントラ予測残差信号の復号値にイントラ予測信号を加算して復号信号を生成する。この復号信号は，フレームメモリ２０４に格納される。

イントラ予測処理部２０５は，フレームメモリ２０４に格納された近傍領域の復号信号を入力として，空間的な予測処理を行い，その予測処理により得られた信号をイントラ予測信号として出力する。イントラ予測情報格納部２０６は，エントロピー復号処理部２０１で出力されたイントラ予測信号を表現するための情報（イントラ予測の方向を規定するイントラ予測モード，イントラ予測を行う領域の大きさを表すＰＵサイズ）を格納する。

以上の各部の処理は，基本的には，図１５を用いて説明した従来の画像復号装置の処理と同様である。さらに，この画像復号装置では，残差予測を用いた画像復号のために，次の処理部や記憶部を備える。

分離処理部２０７は，図２で説明した画像符号化装置が出力した符号化ストリームを入力として，残差予測選択フラグを含む部分とそれ以外の部分とに分離する。残差予測処理部２０８は，イントラ予測残差信号に対する変換係数および予測残差係数記憶部２０９に格納された変換係数の復号値を入力とし，両者の差分値（残差予測誤差信号）を出力する。

残差予測選択フラグ読込部２１０は，分離処理部２０７において出力された符号化ストリームを入力として，残差予測選択フラグを含む部分から残差予測選択フラグを読み込む。また，残差予測選択フラグ読込部２１０は，残差予測選択フラグがＯＮの場合，残差予測処理部２０８による処理を行い，逆量子化処理部２０２の出力と残差予測処理部２０８の出力を，加算器２２０で加算することを示す制御信号をスイッチ部２２２に対して出力する。一方，残差予測選択フラグがＯＦＦの場合，逆量子化処理部２０２の出力と残差予測処理部２０８の出力を加算しないで，逆量子化処理部２０２の出力をそのまま出力することを示す制御信号を出力する。

イントラ予測情報記憶部２１１は，イントラ予測の予測モード情報，イントラ予測のブロックサイズを格納する。変換係数記憶部２１２は，イントラ予測残差信号に対する変換係数の復号値を格納する。

残差予測判定部２１３は，復号対象ＴＵのイントラ予測残差に対する変換係数および変換係数記憶部２１２に格納されたＴＵの変換係数を入力として，残差予測を行うか否かを判定する。まず，残差予測の適用条件を満たすか否かを判定し，適用条件を満たさない場合には，スイッチ部２２３に対して，残差予測選択フラグ読込部２１０の処理をスキップすることを示す制御信号を出力する。さらに，逆量子化処理部２０２の出力と残差予測処理部２０８の出力を加算しないで，逆量子化処理部２０２の出力をそのまま出力することを示す制御信号を，スイッチ部２２２に対して出力する。

適用条件を満たす場合には，残差予測選択フラグ読込部２１０において，残差予測選択フラグを読み込み，残差予測選択フラグがＯＦＦの場合には，逆量子化処理部２０２の出力と残差予測処理部２０８の出力を加算しないで，逆量子化処理部２０２の出力をそのまま出力することを示す制御信号を，スイッチ部２２２に対して出力する。一方，残差予測選択フラグがＯＮの場合には，逆量子化処理部２０２の出力と残差予測処理部２０８の出力を加算器２２０により加算して出力することを示す制御信号を，スイッチ部２２２に出力する。

〔画像復号処理〕
次に，図８に示す画像復号装置が実行する画像復号処理の流れを，図９および図１０に示すフローチャートに従って説明する。

図９は，本実施形態に係る残差予測を用いた画像復号処理のフローチャートである。画像復号装置の入力信号は，図２に示す画像符号化装置が出力した符号化ストリームの符号化データである。図９において，点線の枠で囲ったステップＳ４０４〜Ｓ４０８の処理部分が，主に従来技術と異なる部分である。画像復号装置は，符号化データを入力すると，以下の処理を行う。

［ステップＳ４０１］：分離処理部２０７が符号化ストリームから分離した符号化データを入力し，各符号化単位ユニットごとに，ステップＳ４１１までの処理を繰り返し実行する。

［ステップＳ４０２］：エントロピー復号処理部２０１が，符号化単位ユニットの符号化データを入力として，量子化インデックスおよびイントラ予測情報についてエントロピー復号処理する。

［ステップＳ４０３］：イントラ予測処理部２０５が，復号済みのイントラ予測情報から，イントラ符号化の方式（イントラ予測モード）を読み出し，イントラ予測モードに基づき，イントラ予測信号を生成する。

［ステップＳ４０４］：残差予測判定部２１３が，残差予測の適用条件に基づき，残差予測を行うか否かを判定する。適用条件を満たす場合には，ステップＳ４０６の処理へ進む。適用条件を満たさない場合には，ステップＳ４０５の処理へ進む。

［ステップＳ４０５］：逆量子化処理部２０２が，量子化インデックスに対する逆量子化処理を行い，変換係数の復号値を生成する。その後，ステップＳ４０９の処理へ進む。

［ステップＳ４０６］：残差予測選択フラグ読込部２１０が，分離処理部２０７が分離した符号化データから，イントラ予測残差の使用を示すフラグ（残差予測選択フラグ）を読み込む。

［ステップＳ４０７］：残差予測選択フラグがＯＮの場合には，ステップＳ４０８の処理へ進む。そうでない場合には，ステップＳ４０５の処理へ進む。

［ステップＳ４０８］：残差予測に基づき，変換係数の復号値を生成する。この処理の詳細については，図１０を用いて後述する。

［ステップＳ４０９］：逆変換処理部２０３が，変換係数の復号値を入力として，逆変換処理を行い，イントラ予測残差信号の復号信号を生成する。

［ステップＳ４１０］：加算器２２１が，イントラ予測残差信号の復号値およびイントラ予測信号を入力として，両者を加算し，復号信号を生成して所定の記憶領域（フレームメモリ２０４）に格納する。

［ステップＳ４１１］：以上の処理をすべての符号化単位ユニットについて繰り返し，すべての符号化単位ユニットについての処理が終えたならば，復号処理を終了する。

図１０は，復号時における残差予測処理を用いた変換係数の復号値生成処理のフローチャートである。次に，図１０を用いて，図９のステップＳ４０８の処理について詳細に説明する。

［ステップＳ５０１］：残差予測処理部２０８が，参照ＴＵの予測対象成分を入力として，イントラ予測残差信号に対する予測処理を行い，イントラ予測残差信号の予測信号を生成する。さらに，被予測ＴＵの予測対象成分および前記予測信号を入力として，両者の差分信号として，残差予測誤差信号を生成する。この残差予測処理については，画像符号化処理で説明したステップＳ２０１（図４）の処理と同様であり，詳しくは，図５，図６および図７を用いて説明した処理のようにいくつかのバリエーションがある。

［ステップＳ５０２］：逆量子化処理部２０２が，量子化インデックスを入力として，逆量子化処理を行い，残差予測誤差信号の復号値を生成する。

［ステップＳ５０３］：加算器２２１が，ステップＳ５０２で生成した残差予測誤差信号の復号値およびステップＳ５０１で生成したイントラ予測残差信号の予測信号を入力として，両者を加算し，変換係数の復号値を生成して所定の記憶領域（フレームメモリ２０４）に格納する。

図１１に，図２の画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ１５０と，ＣＰＵ１５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ１５１と，カメラ等からの符号化対象の画像信号を入力する画像信号入力部１５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と，本手法により入力画像を符号化する処理をＣＰＵ１５０に実行させるソフトウェアプログラムである画像符号化プログラム１５４が格納されたプログラム記憶装置１５３と，ＣＰＵ１５０がメモリ１５１にロードされた画像符号化プログラム１５４を実行することにより生成された符号化データを，例えばネットワークを介して出力する符号化ストリーム出力部１５５（ディスク装置等による符号化ストリームを記憶する記憶部でもよい）とが，バスで接続された構成になっている。

図１２に，図８の画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ２５０と，ＣＰＵ２５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ２５１と，図２の画像符号化装置が本手法により符号化した符号化ストリームを入力して記憶する符号化ストリーム記憶部２５２（ネットワーク等を介した入力部でもよい）と，本手法により符号化ストリームを復号する処理をＣＰＵ２５０に実行させるソフトウェアプログラムである画像復号プログラム２５４が格納されたプログラム記憶装置２５３と，ＣＰＵ２５０がメモリ２５１にロードされた画像復号プログラム２５４を実行することにより，符号化ストリームを復号して得られた復号画像を，再生装置などに出力する復号画像出力部２５５とが，バスで接続された構成になっている。

以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。

１０１，２０５ イントラ予測処理部
１０２ 変換処理部
１０３ 量子化処理部
１０４，２０２ 逆量子化処理部
１０５，２０３ 逆変換処理部
１０６，２０４ フレームメモリ
１０７ イントラ予測情報符号化部
１０８ エントロピー符号化処理部
１０９，２１１ イントラ予測情報記憶部
１１０，２０８ 残差予測処理部
１１１，２０９ 予測残差係数記憶部
１１２，２１２ 変換係数記憶部
１１３，２１３ 残差予測判定部
１１４ 残差予測選択フラグ出力部
１１５ 多重化処理部
１２０ 減算器
１２１，１２２，２２０，２２１ 加算器
１２３，１２４，２２２，２２３ スイッチ部
２０１ エントロピー復号処理部
２０６ イントラ予測情報格納部
２０７ 分離処理部
２１０ 残差予測選択フラグ読込部

Claims (10)

1. 空間的な画素間予測を用いてイントラ予測信号を生成し，そのイントラ予測信号と入力画像の符号化対象領域における原信号との残差信号を生成し，生成した残差信号に対して直交変換を施して変換係数を生成する符号化を行う画像符号化方法において，
   符号化対象領域に対するイントラ予測の予測方向に基づいて前記残差信号に対する予測処理に用いる符号化済みの領域を選定し，その符号化済みの領域における変換係数の特定の成分を参照信号として指定する過程と，
   前記符号化済みの領域における変換係数の特定の成分またはその特定の成分に所与の重み係数を乗じた値もしくは所与のバイアス値を加算した値と，符号化対象領域において対応する変換係数の成分との差分信号である残差予測誤差信号を生成する過程と，
   前記残差予測誤差信号を符号化の対象として符号化する過程とを有し，
   前記参照信号として指定する過程では，イントラ予測の単位となる領域が前記符号化対象領域よりも大きい場合に，前記符号化対象領域を含むイントラ予測の単位となる領域の予測方向に基づいて，同一または類似する予測方向の符号化済みのイントラ予測の単位となる参照領域を選定し，前記イントラ予測の単位となる領域における前記符号化対象領域の位置と相対的に同じ位置にある前記参照領域内の領域を，前記残差信号に対する予測処理に用いる符号化済みの領域として選定する
   ことを特徴とする画像符号化方法。
2. 請求項１記載の画像符号化方法において，
   前記残差予測誤差信号を符号化するか否かを，所定の評価尺度に従って判定する過程と，
   前記判定の結果に従って，前記残差予測誤差信号を符号化するか否かを示す残差予測選択情報を符号化する過程とを有し，
   前記残差予測誤差信号を符号化すると判定した場合には，前記残差信号に対する予測処理を伴う符号化処理を行い，前記残差予測誤差信号を符号化しないと判定した場合には，前記残差信号に対する予測処理を行わないで前記残差信号を直交変換した変換係数を符号化する
   ことを特徴とする画像符号化方法。
3. 空間的な画素間予測を用いてイントラ予測信号を生成し，そのイントラ予測信号と入力画像の符号化対象領域における原信号との残差信号を生成し，生成した残差信号に対して直交変換を施して変換係数を生成する符号化を行う画像符号化装置において，
   符号化対象領域に対するイントラ予測の予測方向に基づいて前記残差信号に対する予測処理に用いる符号化済みの領域を選定し，その符号化済みの領域における変換係数の特定の成分を参照信号として指定する手段と，
   前記符号化済みの領域における変換係数の特定の成分またはその特定の成分に所与の重み係数を乗じた値もしくは所与のバイアス値を加算した値と，符号化対象領域において対応する変換係数の成分との差分信号である残差予測誤差信号を生成する手段と，
   前記残差予測誤差信号を符号化の対象として符号化する手段とを備え，
   前記参照信号として指定する手段は，イントラ予測の単位となる領域が前記符号化対象領域よりも大きい場合に，前記符号化対象領域を含むイントラ予測の単位となる領域の予測方向に基づいて，同一または類似する予測方向の符号化済みのイントラ予測の単位となる参照領域を選定し，前記イントラ予測の単位となる領域における前記符号化対象領域の位置と相対的に同じ位置にある前記参照領域内の領域を，前記残差信号に対する予測処理に用いる符号化済みの領域として選定する
   ことを特徴とする画像符号化装置。
4. 請求項３記載の画像符号化装置において，
   前記残差予測誤差信号を符号化するか否かを，所定の評価尺度に従って判定する手段と，
   前記判定の結果に従って，前記残差予測誤差信号を符号化するか否かを示す残差予測選択情報を符号化する手段とを備え，
   前記残差予測誤差信号を符号化すると判定した場合には，前記残差信号に対する予測処理を伴う符号化処理を行い，前記残差予測誤差信号を符号化しないと判定した場合には，前記残差信号に対する予測処理を行わないで前記残差信号を直交変換した変換係数を符号化する
   ことを特徴とする画像符号化装置。
5. 空間的な画素間予測を用いてイントラ予測信号を生成し，そのイントラ予測信号と，入力した符号化データから得られるイントラ予測残差信号とから，符号化された画像を復号する画像復号方法において，
   入力した符号化データに含まれる，復号済みの領域における変換係数の特定の成分またはその特定の成分に所与の重み係数を乗じた値もしくは所与のバイアス値を加算した値と，復号対象領域において対応する変換係数の成分との差分信号である残差予測誤差信号を復号する過程と，
   復号対象領域に対するイントラ予測の予測方向を示す情報を復号し，その予測方向に基づいて復号済みの領域を選定し，その復号済みの領域における変換係数の特定の成分を参照信号として指定する過程と，
   前記参照信号を用いて，復号対象領域のイントラ予測残差信号に対する予測信号を生成する過程と，
   前記残差予測誤差信号と前記イントラ予測残差信号に対する予測信号とを用いて，復号対象領域の復号信号を生成する過程とを有し，
   前記参照信号として指定する過程では，イントラ予測の単位となる領域が前記復号対象領域よりも大きい場合に，復号したイントラ予測の予測方向を示す情報に基づいて，同一または類似する予測方向の復号済みのイントラ予測の単位となる参照領域を選定し，前記イントラ予測の単位となる領域における前記復号対象領域の位置と相対的に同じ位置にある前記参照領域内の領域を，前記残差信号に対する予測処理に用いる復号済みの領域として選定する
   ことを特徴とする画像復号方法。
6. 請求項５記載の画像復号方法において，
   入力した符号化データに含まれる，前記残差予測誤差信号の符号化が行われたか否かを示す残差予測選択情報を復号する過程を有し，
   前記残差予測選択情報が，前記残差予測誤差信号の符号化が行われていることを示す場合に，前記残差信号に対する予測処理を伴う復号処理を行い，前記残差予測誤差信号の符号化が行われていないことを示す場合に，前記残差信号に対する予測処理を行わないで前記残差信号を直交変換した変換係数に関する符号化データを復号する
   ことを特徴とする画像復号方法。
7. 空間的な画素間予測を用いてイントラ予測信号を生成し，そのイントラ予測信号と，入力した符号化データから得られるイントラ予測残差信号とから，符号化された画像を復号する画像復号装置において，
   入力した符号化データに含まれる，復号済みの領域における変換係数の特定の成分またはその特定の成分に所与の重み係数を乗じた値もしくは所与のバイアス値を加算した値と，復号対象領域において対応する変換係数の成分との差分信号である残差予測誤差信号を復号する手段と，
   復号対象領域に対するイントラ予測の予測方向を示す情報を復号し，その予測方向に基づいて復号済みの領域を選定し，その復号済みの領域における変換係数の特定の成分を参照信号として指定する手段と，
   前記参照信号を用いて，復号対象領域のイントラ予測残差信号に対する予測信号を生成する手段と，
   前記残差予測誤差信号と前記イントラ予測残差信号に対する予測信号とを用いて，復号対象領域の復号信号を生成する手段とを備え，
   前記参照信号として指定する手段は，イントラ予測の単位となる領域が前記復号対象領域よりも大きい場合に，復号したイントラ予測の予測方向を示す情報に基づいて，同一または類似する予測方向の復号済みのイントラ予測の単位となる参照領域を選定し，前記イントラ予測の単位となる領域における前記復号対象領域の位置と相対的に同じ位置にある前記参照領域内の領域を，前記残差信号に対する予測処理に用いる復号済みの領域として選定する
   ことを特徴とする画像復号装置。
8. 請求項７記載の画像復号装置において，
   入力した符号化データに含まれる，前記残差予測誤差信号の符号化が行われたか否かを示す残差予測選択情報を復号する手段を備え，
   前記残差予測選択情報が，前記残差予測誤差信号の符号化が行われていることを示す場合に，前記残差信号に対する予測処理を伴う復号処理を行い，前記残差予測誤差信号の符号化が行われていないことを示す場合に，前記残差信号に対する予測処理を行わないで前記残差信号を直交変換した変換係数に関する符号化データを復号する
   ことを特徴とする画像復号装置。
9. 請求項１または請求項２記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラム。
10. 請求項５または請求項６記載の画像復号方法を，コンピュータに実行させるための画像復号プログラム。

Images