JP5795525B2 - 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム - Google Patents

Description

本発明は，画像符号化・復号技術に関し，特に従来の画面内予測符号化・復号に対し，符号化効率の低下を抑止しつつ復号演算量を低減させる符号化および復号を実現する画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラムに関するものである。

映像符号化国際標準であるＨ．２６４では，ブロック間の画素相関を利用して符号化での圧縮率を向上させるため，画面内予測符号化が行われている（非特許文献１参照）。この画面内予測は，いくつかの画素をまとめたブロック単位で行われ，輝度信号に対して，４×４，８×８，１６×１６の３種類のブロックサイズが利用可能になっている。また，各ブロックサイズでは，それぞれ複数の予測モードが選択可能になっている。

このＨ．２６４では，画面内予測の際に外挿予測による方法を用いているが，それによる予測効率が悪いという問題がある。これを解決するため，全画面に対しデブロッキングフィルタによりブロック歪みを抑えることが行われており，演算量が多くなっている。

また，画面内予測における符号化効率を向上させる手法として，非特許文献２に記載されている技術が知られている。この技術は，画面内予測において符号化対象ブロックに対し，符号化済み領域から誤差の小さいブロックを探索し，それに対する予測誤差を用いて符号化を行う手法である。

図１９は，従来技術による画面内予測符号化処理の例を示すフローチャートである。非特許文献２の画面内予測符号化では，まず，符号化対象の画像を同じサイズのＮ個のブロック１〜Ｎに分割する（ステップＳ８０１）。次に，最初のブロック１について画面内予測符号化を行う（ステップＳ８０２）。続いて，ブロック２以降の符号化では，符号化済みの領域から予測誤差の小さいブロックを参照画像として，画面間予測符号化を行い，その参照画像への動きベクトル情報と予測誤差を符号化する（ステップＳ８０３）。このステップＳ８０３の処理を最後のブロックＮまで繰り返す。

この非特許文献２で提案されている技術は符号化効率向上のための手法であり，同じパターンが繰り返される領域では予測誤差の発生を抑えることができるため，量子化誤差も小さくなりやすい。そのため，デブロッキングフィルタの処理量を減らすことができると考えられる。

しかし，上記の方法では，同じパターンが繰り返されるような画像では有効かもしれないが，ほとんど同じパターンが現れないような画像には有効ではなく，その場合には予測誤差をあまり削減できず，量子化誤差も小さくならないと考えられる。この場合，デブロッキングフィルタの処理量も削減できないため，復号演算量の削減には有効ではないと考えられる。さらに，各ブロックに対する参照ブロックの相対位置を表すオフセットベクトル情報を復号側に対して送る必要があるため，復号側でも参照ブロック情報の復号のための演算が発生することとなり，その結果，演算量が多いままになっているという問題がある。

この非特許文献２の技術における課題を解決するため，本発明者等は，非特許文献３にて，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減する技術を提案した。

図２０は，非特許文献３で提案した技術を説明する図である。この提案技術では，原画像ＰＩＣ１の画面内符号化において，同一位置の画素に強い相関がある４枚の分割画像ＰＩＣ１０〜ＰＩＣ１３に分離する。なお，図中の０，１，２，３の数値を付したマスは，それぞれ画素を表している。すなわち，入力した符号化対象の原画像ＰＩＣ１を２×２画素のブロックに分割し，各ブロック内の相対位置が同じ画素を集めて，分割画像ＰＩＣ１０〜ＰＩＣ１３を設定する。このうちの１枚の分割画像ＰＩＣ１０を画面内符号化し，残りの３枚の分割画像ＰＩＣ１１，ＰＩＣ１２，ＰＩＣ１３については，それぞれ符号化済み画像から分離方法に応じて参照画像を生成して予測符号化を行う。

画面内符号化を行う１枚目の分割画像ＰＩＣ１０には，強いデブロッキングフィルタがかかるが，２〜４枚目の分割画像ＰＩＣ１１，ＰＩＣ１２，ＰＩＣ１３では，予測効率のよい画面間符号化を用いることにより，デブロッキングフィルタの強度が下がるため，全体としてデブロッキング処理における演算量の削減が可能となり，符号化効率を維持しつつ復号演算量を削減することができる。

この手法の処理手順は，以下のとおりである。
（１）原画像ＰＩＣ１を，図２０に示すように４つの分割画像ＰＩＣ１０〜ＰＩＣ１３に分ける。
（２）１枚目の分割画像ＰＩＣ１０を画面内符号化で符号化する。
（３）半画素フィルタを用い，分割画像ＰＩＣ１０の符号化画像を右へ半画素ずらした画像を生成する。
（４）２枚目の分割画像ＰＩＣ１１を，（３）で生成した画像を参照画像とし，動きベクトルを０として画面間符号化する。
（５）半画素フィルタを用い，分割画像ＰＩＣ１０の符号化画像を下へ半画素ずらした画像を生成する。
（６）３枚目の分割画像ＰＩＣ１２を，（５）で生成した画像を参照画像とし，動きベクトルを０として画面間符号化する。
（７）半画素フィルタを用い，分割画像ＰＩＣ１２の符号化画像を右へ半画素ずらした画像を生成する。
（８）４枚目の分割画像ＰＩＣ１３を，（７）で生成した画像を参照画像とし，動きベクトルを０として画面間符号化する。

この例では，入力した符号化対象の原画像ＰＩＣ１を２×２画素のブロックに分割し，各ブロック内の相対位置が同じ画素を集めて，４枚の分割画像ＰＩＣ１０〜ＰＩＣ１３を設定して符号化した例を説明したが，もっと一般化して，原画像をｎ×ｍ画素のブロックに分割し，各ブロックにおける相対位置が同じ複数の画素群（ここではサブブロックと呼ぶ）を再配置して分割画像を設定してもよい。サブブロックは，ｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）である。

従来手法では，以下のように符号化を実施する。まず，入力画像から等間隔で１または複数の画素（サブブロック）を抽出し，それらのサブブロックを集めることにより複数の分割画像を生成し，少なくとも一つの分割画像について，その分割画像だけを用いて符号化する分割画像内符号化を行う。他の分割画像の符号化については，符号化済み分割画像を用いて分割画像間予測符号化を行う。すなわち，符号化済み分割画像を参照画像として，それをもとに符号化対象分割画像に含まれる画素と符号化済み分割画像に含まれる画素との相対的な位置関係に従って，例えば小数画素精度の補間画像を生成するときに用いるようなフィルタを参照画像に適用することにより予測画像を生成し，その予測画像と符号化対象分割画像との誤差信号を符号化する。

図２１は，従来手法の処理フローチャートである。

まず，ステップＳ９００では，画像を同じサイズのブロックに分割し，分割画像Ｐ０〜ＰＮを生成する。次にステップＳ９０１では，生成された分割画像Ｐ０〜ＰＮのうち，いくつかの分割画像Ｐ０〜ＰＭ（ただし，０≦Ｍ＜Ｎ）について，分割画像内符号化を行う。続いてステップＳ９０２では，分割画像Ｐ（Ｍ＋１）〜ＰＮについて，符号化済みのブロックを参照画像として分割画像間符号化を行う。

ITU-T Rec. H.264，"Advanced video coding for generic audiovisual services", March 2005. J. Yang, B. Yin, and N. Zhang,"A block-matching based intra frame prediction for H.264/AVC "，in Proceedings of IEEE International Conference on Multimedia and Expo (ICME '06), pp. 705-708, Toronto, Canada, July 2006． 渡邊真由子，北原正樹，清水淳，如澤裕尚："画面内符号化における復号演算量削減の検討"，２０１１年信学会総合大会講演論文集, Ｄ-11-39，March 2011．

映像符号化国際標準であるＨ．２６４等の映像符号化における復号処理では，ブロック歪みを低減させるためのデブロッキングフィルタの処理量の占める割合が大きい。この問題に対し，非特許文献３にて提案されている，一定の規則で画素または画素群を抽出して並べ替えた分割画像間で予測符号化を行う方法を用いれば，ブロック歪みの発生を抑えることが可能となる。この方法では，デブロッキングフィルタの適用箇所が低減されることから，デブロッキングフィルタの演算量を低減することが可能となる。

しかし，この方法には，次の点について改善の余地がある。
（１）まず，分割画像間符号化で参照画像を２枚以上用いる場合には，復号の際にどの参照画像を用いるかを把握できるようにするため，予測符号化に用いた参照画像を示す参照画像インデックスを符号化しなければならず，この符号量が増加する。そのため，符号化効率が悪化する。一方，参照画像の方向を固定してしまうと，予測精度が落ちて，符号化効率が悪化することになる。
（２）また，参照画像を分割画像内のブロックごとに切り替える場合には，参照画像インデックスをブロックごとに復号側へ送らなければならず，符号化することにより符号量が増加するため，さらに符号量が増加するという問題がある。

本発明は，上記分割画像間符号化の改善を図り，分割画像間符号化における参照画像インデックスの符号化を不要とすることにより，符号化効率を向上させることを目的とする。

本発明の最も特徴とするところは，画面内予測符号化（復号も同様）の処理を，画素（または画素群）を再配置した分割画像を用いて，分割画像内符号化と分割画像間符号化とによって行う画像符号化方式において，分割画像間符号化で参照する参照画像の選択の際に，符号化対象分割画像の原画像上における画素と相関の高い方向にある画素の属する符号化済み分割画像を求め，それを参照画像とすることである。また，この参照画像の選択では，エンコーダ（画像符号化装置）とデコーダ（画像復号装置）とで共通の選択ロジックを用いることにより，どの符号化済み分割画像を参照画像として選択したかを示す参照画像インデックスの符号化を不要としたことである。

本発明は，入力画像を圧縮符号化するにあたって，以下の処理を行う。
（１）入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成する。
（２）分割画像の少なくとも一つ以上を分割画像内符号化する。ここでの分割画像内符号化は，分割画像を画面単位として行う画面内予測による符号化である。
（３）分割画像内符号化された分割画像以外の分割画像を符号化するために，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い符号化済み分割画像を符号化対象分割画像に対する分割画像間予測符号化に用いる参照画像として選択する。参照画像の候補が複数ある場合には，符号化対象分割画像の画素と相関が高い方向にある画素の属する符号化済み分割画像を求めて，それを参照画像として選択する。すなわち，相関の高い符号化済み分割画像を参照画像として用いる。相関が高いかどうかは，例えば符号化済み分割画像の予測誤差から判断する。
（４）選択された参照画像を用いて符号化対象分割画像に対する予測画像を生成し，分割画像間予測符号化を行う。この分割画像間予測符号化では，例えば，符号化対象分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを参照画像に施した画像を予測画像として，分割画像間予測符号化を行う。ここでの分割画像間予測符号化は，各分割画像を画面単位として行う画面間予測による符号化である。
（５）以上の分割画像内符号化と分割画像間予測符号化による符号化結果を情報源符号化して，符号化ビットストリームを出力する。

上記処理（４）における参照画像の選択は，符号化対象分割画像をｎ₂ ×ｍ₂ 画素の領域（Ｈ．２６４のマクロブロック等に相当）に分割し，その領域ごとに行うことができる。この領域を，ここでは分割画像ブロックという。すなわち，符号化対象の分割画像ブロックごとに，相関の高い参照画像を選択することにより，１つの符号化対象分割画像の中で最適な参照画像を切り替えて分割画像間予測符号化を行うこともできる。

上記処理（４）における相関の高い方向にある画素の属する符号化済み分割画像を求める処理としては，以下の２つの方法がある。

第１の方法では，参照画像の候補となっている符号化済み分割画像の復号画像と，その符号化済み分割画像の参照画像から作成した予測画像との予測誤差の和を，参照画像の候補のそれぞれについて算出する。そして，予測誤差の和が小さくなる符号化済み分割画像と参照画像との組み合わせを求め，それらの画像内の対応する画素の原画像上での画素を結ぶ方向を相関が高い方向とする。符号化対象分割画像の符号化に用いる参照画像は，符号化対象分割画像に対して，相関が高い方向にある画素が属する符号化済み参照画像とする。

第２の方法では，第１の方法のように符号化済み分割画像に対して予測画像を生成して誤差を計算する代わりに，既に分割画像間符号化で符号化データとして存在する予測誤差の和を算出し，その予測誤差の和から相関を判断して参照画像を選択することにより，復号演算量の増加を抑える。

上記第１の方法では，相関の高い方向を計算するために，分割画像間符号化済み画像の復号画像と，その参照画像から作成した予測画像との差分（誤差）を計算しているが，分割画像または分割画像ブロックごとに予測画像を生成しなおして，分割画像符号化済み画像の復号画像との差分をとると，その演算量が大きく増加することとなってしまう。

これに対して，第２の方法では，予め符号化データとして生成されている予測誤差を用いてその予測誤差の和を算出し，相関を判断することで，第１の方法とほぼ同等の効果を保ちつつ，符号化／復号演算量の増加を大きく抑えることが可能となる。

また，本発明は，上記方法によって符号化された画像の符号化データを復号するにあって，以下の処理を行う。
（１）画像符号化装置側で，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成して符号化した，符号化データを入力し，情報源復号する。
（２）復号されたデータから，分割画像の少なくとも一つ以上を分割画像内復号する。
（３）分割画像内復号された分割画像以外の分割画像を復号する際に，復号対象分割画像と復号済み分割画像における同一位置の画素について，原画像上での距離が短い復号済み分割画像を復号対象分割画像に対する分割画像間予測復号に用いる参照画像として選択する。参照画像の候補が複数ある場合には，復号対象分割画像の画素と相関が高い方向にある画素の属する復号済み分割画像を求めて，それを参照画像として選択する。すなわち，復号対象分割画像に対して，相関の高い復号済み分割画像を参照画像として用いる。相関が高いかどうかは，例えば復号済み分割画像の予測誤差から判断する。
（４）選択された参照画像を用いて復号対象分割画像に対する予測画像を生成し，分割画像間予測復号を行う。
（５）分割画像内復号および分割画像間予測復号によって復号された分割画像から，各分割画像における各画素を原画像における元の位置に配置し，復号画像を構成する。

上記処理（３）における参照画像の選択は，復号対象分割画像をｎ₂ ×ｍ₂ 画素の分割画像ブロックに分割し，分割画像ブロックごとに行うことができる。

また，上記処理（３）における相関の高い方向にある画素の属する復号済み分割画像を求める処理では，上述した符号化時における第１または第２の方法と同様な方法を用いる。

本発明の作用は，以下のとおりである。従来の分割画像間符号化方法では，どの符号化済み分割画像を参照画像として用いるかを示す参照画像インデックスを作成して符号化する必要があった。本発明では，参照画像インデックスを作成して符号化する代わりに，相関の高い分割画像を参照画像として用いることで，参照画像インデックスのオーバーヘッドを削減する。これにより，符号化効率が向上する。

詳しくは以下のとおりである。従来技術では，参照画像として複数枚選択可能であり，その参照画像の中から符号化効率のよい参照画像を選択するためには，例えば参照画像それぞれから作成可能である予測画像と，符号化済み分割画像との二乗誤差を測定し，二乗誤差が小さいものを選択して，その参照画像インデックスを符号化する必要があった。特に，参照画像を分割画像ブロックごとに切り替える場合には，参照画像インデックスの符号量が分割画像ブロックごとに発生して，符号量が大きくなった。

本手法では，もともとは１枚の原画像である分割画像同士には，強い空間的相関があることを用いて，参照画像として用いる分割画像間符号化済み画像と，その符号化済み画像の参照画像との相関を，予測画像との誤差を用いて推測する。誤差が小さくなる方向が最も相関が高い方向と推測し，その方向を符号化対象分割画像における参照方向として用いる。原画像の近傍画素間において，方向による相関の強さは一定と考えられるため，符号化対象分割画像から見た参照方向にある画像を参照画像として予測誤差符号化することにより，参照画像インデックスのような参照画像を明示する情報をデコーダ側へ送らなくても，符号化効率の向上の低下を抑えることが可能になる。

特に，本手法はエンコーダ／デコーダの双方が，符号化済み／復号済み画像の情報のみで同じ処理によって同じ参照画像を選択することができるので，参照画像インデックスのような参照画像を明示する情報を符号化する必要がなくなり，そのための符号量の削減が可能である。

本発明によれば，符号化対象画像から画素または画素群を抽出して分割した分割画像を生成し，それを分割画像内符号化および分割画像間符号化する方法を用いる画面内予測符号化において，分割画像間符号化に用いる適切な参照画像を選択することができ，かつ，参照画像を示す参照画像インデックスの符号化が不要となるため，符号化効率を向上させることができ，また，デブロッキングフィルタ処理に伴う演算量を削減することができるようになる。

画像符号化装置の構成例を示す図である。 分割画像生成部による分割画像の生成例を示す図である。 予測画像生成部による予測画像の生成例を示す図である。 画像符号化処理のフローチャートである。 分割画像間符号化処理（例１）の詳細なフローチャートである。 画像符号化装置の詳細な構成例（例１）を示す図である。 分割画像間符号化処理（例２）の詳細なフローチャートである。 画像符号化装置の詳細な構成例（例２）を示す図である。 符号化対象画像の分割例を示す図である。 参照画像の選択方法の例を示す図である。 画像復号装置の構成例を示す図である。 画像復号処理のフローチャートである。 画像復号装置の詳細な構成例（例１）を示す図である。 画像復号装置の詳細な構成例（例２）を示す図である。 本発明を適用することができる動画像符号化装置の例を示す図である。 本発明を適用することができる動画像復号装置の例を示す図である。 画像符号化装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 画像復号装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 従来技術による画面内予測符号化処理の例を示すフローチャートである。 画素を一定間隔で抽出した分割画像による従来の画像内予測符号化処理の例を説明する図である。 画素を一定間隔で抽出した分割画像による従来の画像内予測符号化処理のフローチャートである。

以下，本発明の実施の形態について，図面を用いながら説明する。

〔画像符号化装置〕
図１は，画像符号化装置の構成例を示す図である。画像符号化装置１０は，分割画像生成部１１，分割画像内符号化処理部１２，分割画像間符号化処理部１３，相関方向算出部１５，参照画像選択部１６，情報源符号化部１４を備える。

分割画像生成部１１は，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成する。

図２は，分割画像生成部１１による分割画像の生成例を示す図である。分割画像生成部１１は，例えば図２（Ａ）に示す原画像を入力画像として，この原画像を，図２（Ｂ）に示すように，それぞれがｎ×ｍ画素のブロックＭｊ（ｊ＝０，１，…，Ｊ）に分割する。次に，各ブロックＭｊを，図２（Ｃ）に示すように，ｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックＢｊｋ（ｋ＝０，１，…，Ｋ）に分割する。

次に，図２（Ｄ）に示すように，各ブロックＭｊから，ブロック内の相対位置が同じサブブロックＢｊｋを集めて，それぞれ同じサイズの分割画像Ｐｋ（ｋ＝０，１，…，Ｋ）を生成する。分割画像Ｐ０は，サブブロックＢ００，Ｂ１０，…，ＢＪ０を集めたもの，分割画像Ｐ１は，サブブロックＢ０１，Ｂ１１，…，ＢＪ１を集めたもの，…，分割画像ＰＫは，サブブロックＢ０Ｋ，Ｂ１Ｋ，…，ＢＪＫを集めたものになる。

分割画像内符号化処理部１２は，分割画像生成部１１によって生成された一番目の分割画像を含むいくつかの分割画像（一番目の分割画像だけでもよい）を分割画像内符号化する。ここでの分割画像内符号化は，現在の符号化対象となっている分割画像の画素情報だけを用いて符号化する符号化方法であり，他の分割画像を参照しないような符号化方法であれば，どのような符号化方法を用いてもよい。例えばＨ．２６４符号化方式におけるイントラ予測符号化などの方法を用いることができる。

分割画像間符号化処理部１３は，分割画像生成部１１で生成された分割画像の中で，まだ符号化されていない分割画像を，分割画像間符号化する。この分割画像間符号化では，符号化済み分割画像を参照画像として，現在の符号化対象となっている分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを，参照画像に施すことにより予測画像を生成する。その予測画像と符号化対象分割画像との誤差を符号化し，その符号化情報を情報源符号化部１４へ送る。

情報源符号化部１４は，分割画像内符号化処理部１２および分割画像間符号化処理部１３の出力である符号化情報をエントロピー符号化し，符号化データを出力する。

本実施形態が，特に，非特許文献３に示されているような従来技術の分割画像間予測符号化と異なるのは，参照画像の候補が複数ある場合に，原画像上における符号化対象画像の画素と符号化済み画像の画素との相関を調べる相関方向算出部１５と，相関の高い方向にある画素の属する符号化済み分割画像を参照画像として選択する参照画像選択部１６とを備える点である。

相関方向算出部１５は，参照画像の候補となる符号化済み分割画像の中で，予測誤差の絶対値和または二乗和が最も小さい分割画像を求め，その結果から符号化済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高いものとし，その相関方向を参照画像選択部１６に通知する。

参照画像選択部１６は，符号化対象の分割画像に対して相関方向算出部１５が算出した相関方向にある符号化済み分割画像を参照画像として選択し，分割画像間符号化処理部１３に通知する。

図３は，分割画像間符号化処理部１３における予測画像の生成例を示す図である。以下では，分割画像Ｐｉが参照画像となる符号化済み分割画像で，分割画像Ｐｋが分割画像間予測符号化する符号化対象分割画像である場合の予測画像の生成例を説明する。分割画像Ｐｉに所属するサブブロックをＢｉ，分割画像Ｐｋに所属するサブブロックをＢｋと表す。

分割画像ＰｉのサブブロックＢｉおよび分割画像ＰｋのサブブロックＢｋの原画像における位置関係が，図３（Ａ）のとおりであったとすると，図３（Ｂ）に示すように，サブブロックＢｋの周辺に位置するサブブロックＢｉを抽出する。この例では，１つのサブブロックＢｋに対して２個のサブブロックＢｉを抽出しているが，２個に限られない。次に，図３（Ｃ）に示すように，抽出した２個のサブブロックＢｉの画素値に，補間フィルタを適用して，サブブロックＢｋ′の画素値を算出する。補間フィルタのフィルタ係数は，原画像上でのサブブロックＢｉとサブブロックＢｋとの相対位置によってあらかじめ決められたものを用いる。なお，補間フィルタによる補間方法については，従来から種々の方法が知られており，どのような補間方法を用いて参照画像を生成してもよい。

このようにして補間により生成されたサブブロックＢｋ′を集めたものを，分割画像Ｐｋの分割画像間予測符号化に用いる予測画像とする。

〔画像符号化処理のフロー〕
図４は，画像符号化処理のフローチャートである。図４に従って，画像符号化処理の流れを説明する。

まず，分割画像生成部１１は，入力画像を同じサイズのブロックに分割し，各ブロックの内の相対位置が同じサブブロック（画素または画素群）を集めて，分割画像Ｐ０〜ＰＮを生成する（ステップＳ１０１）。

次に，分割画像内符号化処理部１２は，分割画像Ｐ０〜ＰＮの中のいくつかの分割画像Ｐ０〜ＰＭ（ただし，Ｍ＜Ｎ）について，分割画像内符号化を行う（ステップＳ１０２）。ここで，分割画像内符号化の対象となる分割画像は，分割画像を構成するサブブロックの原画像上での位置が所定の間隔で離れていたほうが望ましい。先頭の分割画像Ｐ０だけを分割画像内符号化の対象としてもよい。

次に，分割画像間符号化処理部１３は，分割画像Ｐ（Ｍ＋１）〜ＰＬ（ただし，Ｍ＜Ｌ＜Ｎ）について，符号化済み分割画像を参照画像として，分割画像間符号化を行う（ステップＳ１０３）。この分割画像Ｐ（Ｍ＋１）〜ＰＬは，例えば，分割画像内符号化された分割画像の右隣の未符号化分割画像または分割画像内符号化された分割画像の直下の未符号化分割画像というような，参照画像の候補が単数である場合の分割画像である。ここで，分割画像間符号化を行う分割画像の番号は，あらかじめ定めておくことができる。

続いて，分割画像間符号化処理部１３は，残りの分割画像Ｐ（Ｌ＋１）〜ＰＮについて，符号化対象の分割画像に対して，相関方向算出部１５および参照画像選択部１６によって選択した相関が高い方向にある画素の属する符号化済み分割画像を参照画像として，分割画像間符号化を行う（ステップＳ１０４）。

〔分割画像間符号化処理の詳細フロー（例１）〕
図５は，図４に示すステップＳ１０４の詳細な処理フローチャートの第１の例を示している。

ステップＳ２０１では，各分割画像Ｐｉ（ｉは（Ｌ＋１）からＮまで）について，ステップＳ２０２からステップＳ２０８までの処理を繰り返す。

ステップＳ２０２では，各分割画像Ｐｉを符号化単位の分割画像ブロックに分割し，各分割画像ブロックごとに，ステップＳ２０３からステップＳ２０７までの処理を繰り返す。この分割画像ブロックは，例えば１６×１６画素というような，Ｈ．２６４符号化におけるマクロブロック等に相当するものであるが，分割画像ブロックのサイズは任意に定めてよい。

ステップＳ２０３では，符号化対象の分割画像ブロックについて，分割画像間符号化済み分割画像の復号画像Ａとその参照画像から予測画像Ｂを作成して，復号画像Ａと予測画像Ｂの差分である予測誤差を計算し，予測誤差の絶対値和または二乗和（以下，絶対値和または二乗和を単に「和」という）を求める。

ステップＳ２０４では，ステップＳ２０３で求めた復号画像Ａと予測画像Ｂの予測誤差の和が小さくなる符号化済み分割画像（ＰＡとする）と，その参照画像（ＰＢとする）の組合せを求める。

ステップＳ２０５では，ステップＳ２０４で求めた符号化済み分割画像ＰＡと参照画像ＰＢの組合せについて，原画像上での点Ａ（Ｘ（ＰＡ），Ｙ（ＰＡ）），点Ｂ（Ｘ（ＰＢ），Ｙ（ＰＢ））の２点を結ぶ方向を相関が高い方向とする。

ステップＳ２０６では，符号化対象の分割画像ブロックについて，相関が高い方向にある画素の属する符号化済み分割画像を参照画像として選択し，その参照画像から予測画像を生成して分割画像間符号化を行う。

ステップＳ２０７では，分割画像Ｐｉ内の全分割画像ブロックの処理が終了したかどうかを判定し，未処理の分割画像ブロックがあれば，その分割画像ブロックについて，ステップＳ２０２以降の処理を繰り返す。

ステップＳ２０８では，分割画像Ｐ（Ｌ＋１）〜ＰＮのすべてを符号化したかを判定し，分割画像Ｐ（Ｌ＋１）〜ＰＮのすべてを符号化するまで，ステップＳ２０１以降の処理を繰り返す。

〔画像符号化装置の詳細な構成例（例１）〕
図６は，図１に示す画像符号化装置１０の詳細な構成例を示している。図６に示す画像符号化装置１０は，図５で説明した第１の例の処理を実行する装置の構成例である。図６において，分割画像生成部１１，情報源符号化部１４，参照画像選択部１６は，図１に示す同符号のものに対応するので，説明を省略する。

分割画像内符号化部１０１は，分割画像Ｐ０〜ＰＭについて分割画像内符号化する。分割画像内復号部１０２は，分割画像内符号化部１０１が符号化した分割画像を復号し，その復号画像を復号画像メモリ１０３に格納する。この復号画像メモリ１０３には，後に分割画像間符号化された分割画像の復号画像も格納される。

予測画像生成部１０４は，分割画像生成部１１で生成された分割画像の中で，まだ符号化されていない分割画像を分割画像間予測符号化するために，その分割画像の分割画像ブロック（以下では，分割画像ブロックを単に分割画像ということもある）ごとに，復号画像メモリ１０３内の符号化済み分割画像を参照画像として，予測画像を生成する。この予測画像の生成では，現在の符号化対象となっている分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを，参照画像に施すことにより予測画像を生成する。

差分算出部１０５は，現在の符号化対象となっている分割画像ブロックの各画素値から予測画像生成部１０４により生成した予測画像の各画素値を減算し，予測誤差を算出する。予測誤差符号化部１０６は，算出された予測誤差について直交変換や量子化処理を施し，予測誤差を符号化する。

情報源符号化部１４は，分割画像内符号化部１０１および分割画像間予測符号化によって符号化された予測誤差符号化部１０６の符号化情報をエントロピー符号化し，符号化データを出力する。

第１の例では，予測誤差符号化部１０６が符号化した予測誤差を予測誤差復号部１０７が復号する。画像復号部１０８は，予測誤差復号部１０７が復号した予測誤差と，予測画像生成部１０４が生成した予測画像とを加算器１０９により加算し，分割画像間符号化画像を復号する。なお，画像復号部１０８では，予測画像と予測誤差とを足し合わせた後に，デブロッキングフィルタなどの後処理フィルタを施すこともある。復号した分割画像の復号画像は，復号画像メモリ１０３に格納する。

減算器１１０により，符号化済み分割画像の復号画像と予測画像との差分を算出し，予測誤差算出部１１１は，参照画像の候補となる符号化済み分割画像ごとに予測誤差の和を算出する。予測誤差比較部１１２は，予測誤差算出部１１１が算出した予測誤差の和が最も小さい分割画像を求め，その結果から予測誤差の和が最も小さい符号化済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高いものとし，参照画像選択部１６に通知する。

参照画像選択部１６は，符号化対象の分割画像に対して予測誤差比較部１１２により算出された相関方向にある符号化済み分割画像を，復号画像メモリ１０３の中から参照画像として選択し，予測画像生成部１０４へ通知する。

〔分割画像間符号化処理の詳細フロー（例２）〕
図７は，図４に示すステップＳ１０４の詳細な処理フローチャートの第２の例を示している。

第２の例では，ステップＳ３０３の処理が第１の例と異なり，他のステップＳ３０１，Ｓ３０２，Ｓ３０４〜Ｓ３０８は，図５で説明した第１の例のステップ２０１，Ｓ２０２，Ｓ２０４〜Ｓ２０８と同様である。

ステップＳ３０３では，符号化対象の分割画像ブロックについて，分割画像間符号化済み分割画像の復号画像Ａとその予測画像Ｂとの予測誤差の和を求める。すなわち，ステップＳ３０３では，各分割画像ブロックごとに予測画像を生成し直して復号画像Ａを生成し，予測誤差の和を求めるのではなく，既に符号化データとして生成されている予測誤差をそのまま用いてその予測誤差の和を算出し，相関を判断する。これにより，復号演算の演算量の増加を抑える。

〔画像符号化装置の詳細な構成例（例２）〕
図８は，図１に示す画像符号化装置１０の詳細な第２の構成例を示している。図８に示す画像符号化装置１０は，図７で説明した第２の例の処理を実行する装置の構成例である。図８において，前述した図６の第１の例の画像符号化装置１０において，図６と同符号のものは，図６に示すものと同様の機能を有するものであるので，その詳しい説明は省略する。

第２の例の場合，予測誤差復号部１２０は，予測誤差符号化部１０６が符号化した予測誤差について逆量子化処理や逆直交変換を施すことにより，予測誤差を復号する。予測誤差算出部１２１は，各分割画像ごとに予測誤差復号部１２０が復号した予測誤差の和を算出する。予測誤差比較部１２２は，予測誤差算出部１２１が算出した予測誤差の和が最も小さい分割画像を求め，その結果から予測誤差の和が最も小さい符号化済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高いものとし，参照画像選択部１６に通知する。

参照画像選択部１６は，符号化対象の分割画像に対して予測誤差比較部１２２の結果から，通知された相関方向にある符号化済み分割画像を参照画像とすることを画像復号部１２３へ通知する。画像復号部１２３は，通知された符号化済み分割画像の復号画像をその予測画像と予測誤差とから生成し，復号画像メモリ１０３に格納する。予測画像生成部１０４は，復号画像メモリ１０３に格納された復号画像を参照画像として用い，符号化対象の分割画像ブロックの符号化のための予測画像を生成する。

〔符号化の具体例〕
図９に，符号化対象画像の分割例を示す。以下で説明する例では，分割画像生成部１１は，符号化対象である入力画像の１フレームを，図９に示すように，２×２画素のブロックＭ０，Ｍ１，…，ＭＪに分割するものとする。さらに，各ブロックＭ０，Ｍ１，…，ＭＪを，１画素ずつサブブロックＢ０，Ｂ１，Ｂ２，Ｂ３に分割するものとする。このようにして分割した各Ｍ０，Ｍ１，…，ＭＪから，左上のサブブロックＢ０の画素を集めたものを分割画像Ｐ０とし，右上のサブブロックＢ１の画素を集めたものを分割画像Ｐ１とし，左下のサブブロックＢ２の画素を集めたものを分割画像Ｐ２とし，右下のサブブロックＢ３の画素を集めたものを分割画像Ｐ３とする。

ここでは，２×２画素のブロックを１×１画素のサブブロック分割する例を説明するが，ブロックおよびサブブロックのサイズは，この例に限られるわけではなく，ブロックのサイズまたはサブブロックのサイズがもっと大きい場合にも，本発明を適用して同様に実施することができる。

〔第１の例の処理〕
前述した第１の例では，図９のように分割された分割画像について，次のように分割画像内符号化および分割画像間符号化を行う。
・処理１−１：分割画像Ｐ０について，分割画像内符号化を行う。
・処理１−２：分割画像Ｐ１について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間符号化を行う。符号化された分割画像Ｐ１の復号画像Ｐ１′を生成して記憶する。その様子を，図１０（Ａ）に示す。
・処理１−３：分割画像Ｐ２について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間符号化を行う。符号化された分割画像Ｐ２の復号画像Ｐ２′を生成して記憶する。その様子を，図１０（Ｂ）に示す。
・処理１−４：分割画像Ｐ１，Ｐ２について，それぞれの予測画像と復号画像Ｐ１′，Ｐ２′との予測誤差の和Ｓ１，Ｓ２（例えば予測誤差の絶対値和または二乗誤差和）を算出し，比較する。
・処理１−５：Ｓ１≦Ｓ２の場合，
図１０（Ｃ）に示すように，分割画像Ｐ３の分割画像間符号化に，分割画像Ｐ２の復号画像を参照画像として用いる。すなわち，分割画像Ｐ２の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差を符号化することにより，分割画像Ｐ３の分割画像間符号化を行う。これは，Ｓ１≦Ｓ２であることから，原画像上における水平方向の画素間の相関が，垂直方向の画素間の相関よりも高いと考えられるからである。
・処理１−６：Ｓ１＞Ｓ２の場合，
図１０（Ｄ）に示すように，分割画像Ｐ３の分割画像間符号化に，分割画像Ｐ１の復号画像を参照画像として用いる。すなわち，分割画像Ｐ２の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差を符号化することにより，分割画像Ｐ３の分割画像間符号化を行う。これは，Ｓ１＞Ｓ２であることから，原画像上における垂直方向の画素間の相関が，水平方向の画素間の相関よりも高いと考えられるからである。

〔第２の例の処理〕
前述した第２の例では，図９のように分割された分割画像について，次のように分割画像内符号化および分割画像間符号化を行う。
・処理２−１：分割画像Ｐ０について，分割画像内符号化を行う。
・処理２−２：分割画像Ｐ１について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間符号化を行う。そのときの予測誤差の和Ｓ１を記憶する。
・処理２−３：分割画像Ｐ２について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間符号化を行う。そのときの予測誤差の和Ｓ２を記憶する。
・処理２−４：分割画像Ｐ１，Ｐ２について，それぞれの予測誤差の和Ｓ１，Ｓ２を比較する。
・処理２−５：Ｓ１≦Ｓ２の場合，
分割画像Ｐ３の分割画像間符号化に，分割画像Ｐ２の復号画像を参照画像として用いる。すなわち，分割画像Ｐ２の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差を符号化することにより，分割画像Ｐ３の分割画像間符号化を行う。
・処理２−６：Ｓ１＞Ｓ２の場合
分割画像Ｐ３の分割画像間符号化に，分割画像Ｐ１の復号画像を参照画像として用いる。すなわち，分割画像Ｐ１の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差を符号化することにより，分割画像Ｐ３の分割画像間符号化を行う。

〔画像復号装置〕
図１１は，画像復号装置の構成例を示す図である。画像復号装置２０は，情報源復号部２１，分割画像内復号処理部２２，分割画像間復号処理部２３，復号画像合成部２４，相関方向算出部２５，参照画像選択部２６を備える。

画像復号装置２０は，図１に示す画像符号化装置１０により圧縮符号化された画像の符号化データを入力する。情報源復号部２１は，入力された符号化データをエントロピー復号する。

分割画像内復号処理部２２は，あらかじめ定められた，少なくとも一つ以上の分割画像内符号化された分割画像の符号化データを分割画像内予測により復号する。分割画像間復号処理部２３は，復号済みの分割画像を参照画像として，分割画像間予測により復号対象の分割画像を復号する。分割画像内復号処理部２２および分割画像間復号処理部２３によって復号された分割画像は，復号画像合成部２４に入力され，復号画像合成部２４は，復号された分割画像の各サブブロックを，原画像上の元の位置に配置することにより，復号画像を生成する。

参照画像の候補が１枚だけの場合，例えば，復号対象分割画像の原画像上での画素位置に最も近い画素が属する復号済み分割画像が１枚の場合には，分割画像間復号処理部２３は，その復号済み分割画像を参照画像として分割画像間復号を行う。

参照画像の候補が複数枚の場合，例えば，復号対象分割画像の原画像上での画素位置に最も近い画素が属する復号済み分割画像が複数枚存在する場合には，相関方向算出部２５は，参照画像の候補となる復号済み分割画像の中で，予測誤差の絶対値和または二乗和が最も小さい分割画像を求め，その結果から復号済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高い方向とし，その相関方向を参照画像選択部２６に通知する。この相関方向算出部２５が行う処理は，画像符号化装置１０における相関方向算出部１５が行う処理とまったく同様である。

参照画像選択部２６は，復号対象の分割画像に対して相関方向算出部２５が算出した相関方向にある復号済み分割画像を参照画像として選択し，分割画像間復号処理部２３に通知する。

〔画像復号処理のフロー〕
図１２は，画像復号処理のフローチャートである。図４に従って，画像復号処理の流れを説明する。

まず，情報源復号部２１は，入力した復号対象の符号化データをエントロピー復号する（ステップＳ４０１）。次に，分割画像内復号処理部２２が，入力した符号化データをもとに，あらかじめ定められた分割画像Ｐ０〜ＰＮの中のいくつかの分割画像Ｐ０〜ＰＭ（ただし，Ｍ＜Ｎ）について，Ｈ．２６４で行われているような従来の画面内予測復号方法などを用いて，分割画像内復号を行う（ステップＳ４０２）。

続いて，分割画像間復号処理部２３は，あらかじめ定められた分割画像Ｐ（Ｍ＋１）〜ＰＬについて，それぞれにあらかじめ定められた復号済み分割画像を参照画像として，分割画像間復号を行う（ステップＳ４０３）。

続いて，分割画像間復号処理部２３は，未復号の分割画像Ｐ（Ｌ＋１）〜ＰＮについて，参照画像選択部２６が復号済み分割画像の予測誤差をもとに選択した空間的相関が高い方向にある復号済み分割画像を参照画像として，分割画像間復号を行う（ステップＳ４０４）。

最後に，復号画像合成部２４が，分割画像内復号処理部２２および分割画像間復号処理部２３によって復号された分割画像の画素（サブブロック）を合成して，復号画像として出力する（ステップＳ４０５）。

〔画像復号装置の詳細な構成例（例１）〕
図１３は，図１１に示す画像復号装置２０の詳細な第１の例の構成例を示している。図１３に示す画像復号装置２０において，情報源復号部２１，復号画像合成部２４，参照画像選択部２６は，図１１に示す同符号のものに対応するので，説明を省略する。

分割画像内復号部２０１は，情報源復号部２１によって復号された分割画像Ｐ０〜ＰＭの復号情報から，これらの分割画像Ｐ０〜ＰＭを分割画像内復号し，その復号画像を復号画像メモリ２０２に格納する。この復号画像メモリ２０２には，後に分割画像間復号された分割画像の復号画像も格納される。

予測画像生成部２０３は，まだ復号されていない分割画像を分割画像間予測復号するために，その分割画像の分割画像ブロック（以下では，単に分割画像ということもある）ごとに，復号画像メモリ２０２内の復号済み分割画像を参照画像として，予測画像を生成する。この予測画像の生成では，現在の復号対象となっている分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを，参照画像に施すことにより予測画像を生成する。

予測誤差復号部２０４は，分割画像間復号の対象となる分割画像の予測誤差を復号する。画像復号部２０５は，予測画像生成部２０３が生成した予測画像と予測誤差復号部２０４が復号した予測誤差とを加算器２０６により加算し，復号画像を生成する。なお，画像復号部２０５では，予測画像と予測誤差とを足し合わせた後に，デブロッキングフィルタなどの後処理フィルタを施すこともある。この復号画像は，復号画像合成部２４へ送られるとともに，復号画像メモリ２０２に格納される。

減算器２０７は，画像復号部２０５によって復号された分割画像ブロックの各画素値から予測画像生成部２０３により生成した予測画像の各画素値を減算して，予測誤差算出部２０８に通知する。予測誤差算出部２０８は，参照画像の候補となる復号済み分割画像ごとに予測誤差の和を算出する。予測誤差比較部２０９は，予測誤差算出部２０８が算出した予測誤差の和が最も小さい分割画像を求め，その結果から予測誤差の和が最も小さい復号済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高い方向とし，参照画像選択部２６に通知する。

参照画像選択部２６は，復号対象の分割画像に対して予測誤差比較部２０９により算出された相関方向にある復号済み分割画像を，復号画像メモリ２０２の中から参照画像として選択し，予測画像生成部２０３に通知する。

〔画像復号装置の詳細な構成例（例２）〕
図１４は，図１１に示す画像復号装置２０の詳細な第２の構成例を示している。図１４に示す画像復号装置２０において，前述した図１３の第１の例と同符号のものは，図１３に示すものと同様の機能を有するものであるので，その詳しい説明は省略する。

第２の例の場合，予測誤差算出部２２１は，予測誤差復号部２０４が復号した予測誤差の和を，参照画像の候補となる復号済み分割画像（ブロック）ごとに算出する。予測誤差比較部２２２は，予測誤差算出部２２１が算出した予測誤差の和が最も小さい分割画像を求め，その結果から予測誤差の和が最も小さい復号済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高い方向とし，参照画像選択部２６に通知する。参照画像選択部２６は，復号対象の分割画像に対して予測誤差比較部２２２により算出された相関方向にある復号済み分割画像を，復号画像メモリ２０２の中から参照画像として選択し，予測画像生成部２０３に通知する。

〔第１の例の復号処理の具体例〕
第１の例の復号処理の具体例として，前述した図９のように２×２画素ブロックの画素を再配置した４枚の分割画像Ｐ０〜Ｐ３について，分割画像内復号および分割画像間復号を行う例を説明する。
・処理１−１：分割画像Ｐ０について，分割画像内復号を行う。
・処理１−２：分割画像Ｐ１について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間復号を行う。復号された分割画像Ｐ１の復号画像Ｐ１′を記憶する。
・処理１−３：分割画像Ｐ２について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間復号を行う。復号された分割画像Ｐ２の復号画像Ｐ２′を記憶する。
・処理１−４：分割画像Ｐ１，Ｐ２について，それぞれの予測画像と復号画像Ｐ１′，Ｐ２′との予測誤差の和Ｓ１，Ｓ２（例えば予測誤差の絶対値和または二乗誤差和）を算出し，比較する。
・処理１−５：Ｓ１≦Ｓ２の場合，
分割画像Ｐ３の分割画像間復号に，分割画像Ｐ２の復号画像を参照画像として用いる。すなわち，分割画像Ｐ２の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差とを加算することにより，分割画像Ｐ３の分割画像間復号を行う。これは，Ｓ１≦Ｓ２であることから，原画像上における水平方向の画素間の相関が，垂直方向の画素間の相関よりも高いと考えられるからである。
・処理１−６：Ｓ１＞Ｓ２の場合，
分割画像Ｐ３の分割画像間復号に，分割画像Ｐ１の復号画像を参照画像として用いる。すなわち，分割画像Ｐ２の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差とを加算することにより，分割画像Ｐ３の分割画像間復号を行う。これは，Ｓ１＞Ｓ２であることから，原画像上における垂直方向の画素間の相関が，水平方向の画素間の相関よりも高いと考えられるからである。

〔第２の例の処理〕
前述した第２の例では，図９のように分割された分割画像について，次のように分割画像内復号および分割画像間復号を行う。
・処理２−１：分割画像Ｐ０について，分割画像内復号を行う。
・処理２−２：分割画像Ｐ１について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間復号を行う。そのときの予測誤差の和Ｓ１を記憶する。
・処理２−３：分割画像Ｐ２について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間復号を行う。そのときの予測誤差の和Ｓ２を記憶する。
・処理２−４：分割画像Ｐ１，Ｐ２について，それぞれの予測誤差の和Ｓ１，Ｓ２を比較する。
・処理２−５：Ｓ１≦Ｓ２の場合，
分割画像Ｐ３の分割画像間復号に，分割画像Ｐ２の復号画像を参照画像として用いる。すなわち，分割画像Ｐ２の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差とを加算することにより，分割画像Ｐ３の分割画像間復号を行う。
・処理２−６：Ｓ１＞Ｓ２の場合
分割画像Ｐ３の分割画像間復号に，分割画像Ｐ１の復号画像を参照画像として用いる。すなわち，分割画像Ｐ１の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差とを加算することにより，分割画像Ｐ３の分割画像間復号を行う。

なお，以上説明した実施形態において，分割画像内符号化（復号も同様）の対象となる分割画像は，１画面に対して１枚でも複数枚でもよく，また，分割画像内符号化および分割画像間符号化での符号化処理を，分割画像を小領域に分割した分割画像ブロック単位で行ってもよい。分割画像ブロック単位で分割画像間符号化の処理を行う場合には，分割画像ブロック単位で予測誤差の和の比較により，参照画像を切り替えてもよい。

〔画像符号化装置を適用した動画像符号化装置の例〕
図１５は，本発明を適用することができる動画像符号化装置の例を示している。動画像符号化装置３００において，本発明は，特に画面内予測部３０１に関連する符号化処理に適用することができる。他の部分については，Ｈ．２６４その他のエンコーダとして用いられている従来の一般的な動画像符号化装置の構成と同様である。

動画像符号化装置３００は，符号化対象の映像信号を入力し，入力映像信号のフレームをブロックに分割してブロックごとに符号化し，そのビットストリームを符号化ストリームとして出力する。この符号化のため，予測残差信号生成部３０３は，入力映像信号と画面内予測部３０１あるいは画面間予測部３０２の出力である予測信号との差分を求め，それを予測残差信号として出力する。変換処理部３０４は，予測残差信号に対して離散コサイン変換（ＤＣＴ）等の直交変換を行い，変換係数を出力する。量子化処理部３０５は，変換係数を量子化し，その量子化された変換係数を出力する。情報源符号化部３１１は，量子化された変換係数をエントロピー符号化し，符号化ストリームとして出力する。

一方，量子化された変換係数は，逆量子化処理部３０６にも入力され，ここで逆量子化される。逆変換処理部３０７は，逆量子化処理部３０６の出力である変換係数を逆直交変換し，予測残差復号信号を出力する。

復号信号生成部３０８では，この予測残差復号信号と画面内予測部３０１あるいは画面間予測部３０２の出力である予測信号とを加算し，符号化した符号化対象ブロックの復号信号を生成する。この復号信号は，画面内予測部３０１あるいは画面間予測部３０２において参照画像として用いるために，フレームメモリ３０９に格納される。なお，画面間予測部３０２において参照する場合は，インループフィルタ処理部３１０において，フレームメモリ３０９に格納した画像を入力して，符号化歪を低減するフィルタリング処理を行い，このフィルタリング処理後の画像を参照画像として用いる。

画面内予測部３０１においては，本発明の実施形態で説明した分割画像内符号化および分割画像間符号化の符号化処理が行われる。画面内予測部３０１あるいは画面間予測部３０２にて設定された予測モードや動きベクトル等の情報は，情報源符号化部３１１でエントロピー符号化され，符号化ストリームとして出力される。

〔画像復号装置を適用した動画像復号装置の例〕
図１６は，本発明を適用することができる動画像復号装置の例を示している。動画像復号装置４００において，本発明は，特に画面内予測部４０２に関連する復号処理に適用することができる。他の部分については，Ｈ．２６４その他のデコーダとして用いられている従来の一般的な動画像復号装置の構成と同様である。

動画像復号装置４００は，図１５で説明した動画像符号化装置３００により符号化された符号化ストリームを入力して復号することにより復号画像の映像信号を出力する。この復号のため，情報源復号部４０１は，符号化ストリームを入力し，復号対象ブロックの量子化変換係数をエントロピー復号するとともに，画面内予測に関する情報および画面間予測に関する情報を復号する。画面内予測部４０２においては，本発明の実施形態で説明した分割画像内復号および分割画像間復号の復号処理が行われる。

逆量子化処理部４０４は，量子化変換係数を入力し，それを逆量子化して復号変換係数を出力する。逆変換処理部４０５は，復号変換係数に逆直交変換を施し，予測残差復号信号を出力する。復号信号生成部４０６は，この予測残差復号信号と画面内予測部４０２あるいは画面間予測部４０３の出力である予測信号とを加算し，復号対象ブロックの復号信号を生成する。この復号信号は，画面内予測部４０２あるいは画面間予測部４０３において参照画像として用いるために，フレームメモリ４０７に格納される。なお，画面間予測部４０３において参照する場合には，インループフィルタ処理部４０８において，フレームメモリ４０７に格納した画像を入力して，符号化歪を低減するフィルタリング処理を行い，このフィルタリング処理後の画像を参照画像として用いる。

〔コンピュータによる構成例〕
図１７に，図１の画像符号化装置１０をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と，カメラ等からの符号化対象の画像信号を入力する画像信号入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と，本手法により入力画像を符号化する処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５４が格納されたプログラム記憶装置５３と，ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５４を実行することにより生成された符号化データを，例えばネットワークを介して出力する符号化データ出力部５５（ディスク装置等による符号化データを記憶する記憶部でもよい）とが，バスで接続された構成になっている。

図１８に，図１１の画像復号装置２０をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ６０と，ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と，図１の画像符号化装置１０が本手法により符号化した符号化データを入力して記憶する符号化データ記憶部６２（ネットワーク等を介した入力部でもよい）と，本手法により符号化データを復号する処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６４が格納されたプログラム記憶装置６３と，ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６４を実行することにより，符号化データを復号して得られた復号画像を，再生装置などに出力する復号画像出力部６５とが，バスで接続された構成になっている。

以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。

１０ 画像符号化装置
１１ 分割画像生成部
１２ 分割画像内符号化処理部
１３ 分割画像間符号化処理部
１４ 情報源符号化部
１５，２５ 相関方向算出部
１６，２６ 参照画像選択部
２０ 画像復号装置
２１ 情報源復号部
２２ 分割画像内復号処理部
２３ 分割画像間復号処理部
２４ 復号画像合成部

Claims (18)

1. 入力画像を圧縮符号化する画像符号化方法において，
   前記入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定する分割画像生成過程と，
   前記分割画像の少なくとも一つ以上を分割画像内符号化する分割画像内符号化過程と，
   符号化済み分割画像の中から選択された参照画像を用いて符号化対象分割画像に対する予測画像を生成し，分割画像間符号化を行う分割画像間符号化過程と，
   前記参照画像の候補が複数存在する場合に，符号化済み分割画像の分割画像間予測における予測誤差をもとに，符号化済み分割画像とその参照画像における同一位置の画素について，原画像上の画素の相関の高い方向を算出する相関方向算出過程と，
   前記参照画像の候補が複数存在する場合に，符号化対象分割画像に対して，前記相関の高い方向にある符号化済み分割画像を参照画像として選択する参照画像選択過程と，
   前記分割画像内符号化過程と前記分割画像間符号化過程による符号化結果を情報源符号化する情報源符号化過程とを有する
   ことを特徴とする画像符号化方法。
2. 請求項１に記載の画像符号化方法において，
   前記相関方向算出過程では，前記参照画像の候補となる各符号化済み分割画像の復号画像とその参照画像とから予測画像を生成し，前記符号化済み分割画像の復号画像に対する予測画像の予測誤差の和を算出し，予測誤差の和が小さい符号化済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
   ことを特徴とする画像符号化方法。
3. 請求項１に記載の画像符号化方法において，
   前記相関方向算出過程では，前記参照画像の候補となる各符号化済み分割画像に対して，分割画像間符号化において算出された予測誤差の和を算出し，予測誤差の和が小さい符号化済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
   ことを特徴とする画像符号化方法。
4. 請求項１，請求項２または請求項３に記載の画像符号化方法において，
   少なくとも，前記分割画像間符号化過程，前記相関方向算出過程および前記参照画像選択過程では，前記分割画像を小領域に分割した分割画像ブロックごとに，分割画像の符号化処理，相関方向の算出処理および参照画像の選択処理を行い，分割画像間符号化における参照画像を前記分割画像ブロックごとに切り替える
   ことを特徴とする画像符号化方法。
5. 入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定して，分割画像ごとに符号化することによって圧縮符号化された画像の符号化データを復号する画像復号方法において，
   前記圧縮符号化された画像の符号化データを入力し，情報源復号する情報源復号過程と，
   前記情報源復号過程で復号されたデータから，前記分割画像の少なくとも一つ以上を分割画像内復号する分割画像内復号過程と，
   復号済み分割画像の中から選択された参照画像を用いて復号対象分割画像に対する予測画像を生成し，分割画像間復号を行う分割画像間復号過程と，
   前記参照画像の候補が複数存在する場合に，復号済み分割画像の分割画像間予測における予測誤差をもとに，復号済み分割画像とその参照画像における同一位置の画素について，原画像上の画素の相関の高い方向を算出する相関方向算出過程と，
   前記参照画像の候補が複数存在する場合に，復号対象分割画像に対して，前記相関の高い方向にある復号済み分割画像を参照画像として選択する参照画像選択過程と，
   前記分割画像内復号過程および前記分割画像間復号過程によって復号された分割画像から復号画像を合成する復号画像合成過程とを有する
   ことを特徴とする画像復号方法。
6. 請求項５に記載の画像復号方法において，
   前記相関方向算出過程では，前記参照画像の候補となる各復号済み分割画像とその参照画像とから予測画像を生成し，前記復号済み分割画像に対する予測画像の予測誤差の和を算出し，予測誤差の和が小さい復号済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
   ことを特徴とする画像復号方法。
7. 請求項５に記載の画像復号方法において，
   前記相関方向算出過程では，前記参照画像の候補となる各復号済み分割画像に対して，分割画像間復号において算出された予測誤差の和を算出し，予測誤差の和が小さい復号済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
   ことを特徴とする画像復号方法。
8. 請求項５，請求項６または請求項７に記載の画像復号方法において，
   少なくとも，前記分割画像間復号過程，前記相関方向算出過程および前記参照画像選択過程では，前記分割画像を小領域に分割した分割画像ブロックごとに，分割画像の復号処理，相関方向の算出処理および参照画像の選択処理を行い，分割画像間復号における参照画像を前記分割画像ブロックごとに切り替える
   ことを特徴とする画像復号方法。
9. 入力画像を圧縮符号化する画像符号化装置において，
   前記入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定する分割画像生成手段と，
   前記分割画像の少なくとも一つ以上を分割画像内符号化する分割画像内符号化手段と，
   符号化済み分割画像の中から選択された参照画像を用いて符号化対象分割画像に対する予測画像を生成し，分割画像間符号化を行う分割画像間符号化手段と，
   前記参照画像の候補が複数存在する場合に，符号化済み分割画像の分割画像間予測における予測誤差をもとに，符号化済み分割画像とその参照画像における同一位置の画素について，原画像上の画素の相関の高い方向を算出する相関方向算出手段と，
   前記参照画像の候補が複数存在する場合に，符号化対象分割画像に対して，前記相関の高い方向にある符号化済み分割画像を参照画像として選択する参照画像選択手段と，
   前記分割画像内符号化手段と前記分割画像間符号化手段による符号化結果を情報源符号化する情報源符号化手段とを備える
   ことを特徴とする画像符号化装置。
10. 請求項９に記載の画像符号化装置において，
    前記相関方向算出手段は，前記参照画像の候補となる各符号化済み分割画像の復号画像とその参照画像とから予測画像を生成し，前記符号化済み分割画像の復号画像に対する予測画像の予測誤差の和を算出し，予測誤差の和が小さい符号化済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    ことを特徴とする画像符号化装置。
11. 請求項９に記載の画像符号化装置において，
    前記相関方向算出手段は，前記参照画像の候補となる各符号化済み分割画像に対して，分割画像間符号化において算出された予測誤差の和を算出し，予測誤差の和が小さい符号化済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    ことを特徴とする画像符号化装置。
12. 請求項９，請求項１０または請求項１１に記載の画像符号化装置において，
    少なくとも，前記分割画像間符号化手段，前記相関方向算出手段および前記参照画像選択手段は，前記分割画像を小領域に分割した分割画像ブロックごとに，分割画像の符号化処理，相関方向の算出処理および参照画像の選択処理を行い，分割画像間符号化における参照画像を前記分割画像ブロックごとに切り替える
    ことを特徴とする画像符号化装置。
13. 入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定して，分割画像ごとに符号化することによって圧縮符号化された画像の符号化データを復号する画像復号装置において，
    前記圧縮符号化された画像の符号化データを入力し，情報源復号する情報源復号手段と，
    前記情報源復号手段で復号されたデータから，前記分割画像の少なくとも一つ以上を分割画像内復号する分割画像内復号手段と，
    復号済み分割画像の中から選択された参照画像を用いて復号対象分割画像に対する予測画像を生成し，分割画像間復号を行う分割画像間復号手段と，
    前記参照画像の候補が複数存在する場合に，復号済み分割画像の分割画像間予測における予測誤差をもとに，復号済み分割画像とその参照画像における同一位置の画素について，原画像上の画素の相関の高い方向を算出する相関方向算出手段と，
    前記参照画像の候補が複数存在する場合に，復号対象分割画像に対して，前記相関の高い方向にある復号済み分割画像を参照画像として選択する参照画像選択手段と，
    前記分割画像内復号手段および前記分割画像間復号手段によって復号された分割画像から復号画像を合成する復号画像合成手段とを備える
    ことを特徴とする画像復号装置。
14. 請求項１３に記載の画像復号装置において，
    前記相関方向算出手段は，前記参照画像の候補となる各復号済み分割画像とその参照画像とから予測画像を生成し，前記復号済み分割画像に対する予測画像の予測誤差の和を算出し，予測誤差の和が小さい復号済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    ことを特徴とする画像復号装置。
15. 請求項１３に記載の画像復号装置において，
    前記相関方向算出手段は，前記参照画像の候補となる各復号済み分割画像に対して，分割画像間復号において算出された予測誤差の和を算出し，予測誤差の和が小さい復号済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    ことを特徴とする画像復号装置。
16. 請求項１３，請求項１４または請求項１５に記載の画像復号装置において，
    少なくとも，前記分割画像間復号手段，前記相関方向算出手段および前記参照画像選択手段は，前記分割画像を小領域に分割した分割画像ブロックごとに，分割画像の復号処理，相関方向の算出処理および参照画像の選択処理を行い，分割画像間復号における参照画像を前記分割画像ブロックごとに切り替える
    ことを特徴とする画像復号装置。
17. 請求項１から請求項４までのいずれか１項に記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラム。
18. 請求項５から請求項８までのいずれか１項に記載の画像復号方法を，コンピュータに実行させるための画像復号プログラム。

Images