JP4515886B2 - 面内予測符号化方法 - Google Patents

Description

本発明は、面内予測モードを決定し、決定した予測モードにおいて面内予測符号化を行う面内予測符号化方法、面内予測符号化装置、およびプログラムに関する。

携帯電話やＤＶＤレコーダといった、画像符号化を行う製品では、通常、ｍ×ｎ（ｍ，ｎは正の整数）画素のブロック単位でブロック内画素を予測し、その予測方法に関する情報を符号化し、さらに予測画像と実際の画像との差分画像としての誤差情報を、ＤＣＴ（離散コサイン変換）等を利用して符号化することで、画像符号化を実現する装置を内蔵している。画像符号化装置には通常、面内予測符号化装置が含まれている。面内予測とは、処理対象とするｍ×ｎ画素の予測単位ブロック（以下、対象ブロックと呼ぶ）に対する予測画像を、対象ブロックと同一画面内の、符号化後の復号画素を用いて予測することである。ＭＰＥＧ−４ ＡＶＣのような動画像符号化方式では、面内予測において使用される複数の予測モードが存在する。面内予測符号化では、処理対象とするｍ×ｎ（ｍ，ｎは正の整数）画素の予測単位ブロックに対し、１つの面内予測モードを用いて予測画像を生成し、その予測画像と入力画像との差分画像、および用いた面内予測モードを示す情報を符号化することで、画像符号化を実現する。ＭＰＥＧ−４ ＡＶＣでは、面内予測において、対象ブロック周辺の、符号化後の復号画素を用いて空間予測を行い、対象ブロックの予測画像を生成する。

ここで具体的な面内予測モードに関して簡単に説明すると、例えば４×４画素ブロックの輝度画素に対してＭＰＥＧ−４ ＡＶＣでは、面内予測モードが９種類存在する（非特許文献１参照）。そのうち、ＤＣ予測モード（予測モード２）では、図２９（ｃ）に示すように４×４画素の対象ブロックの左、および上に隣接する８画素の復号画素を元に、対象ブロック内のすべての画素値を、これら８画素の平均値とすることで対象ブロックの予測画素を生成する。また、水平方向予測モード（予測モード１）では、図２９（ｂ）に示すように４×４画素の対象ブロックの左に隣接する４画素の復号画素を元に、対象ブロックの予測画素を生成する。さらに、垂直方向予測モード（予測モード０）では、図２９（ａ）に示すように４×４画素の対象ブロックの上に隣接する４画素の復号画素を用いて、対象ブロックの予測画素を生成する。この他に、図２９（ｄ）に示すように左下方向（予測モード３）、図２９（ｅ）に示すように右下方向（予測モード４）、図２９（ｆ）に示すように右下方向（予測モード５）、図２９（ｇ）に示すように右下方向（予測モード６）、図２９（ｈ）に示すように左下方向（予測モード７）、図２９（ｉ）に示すように右上方向（予測モード８）があり、８方向の予測モードと、上記ＤＣ予測モードの合計９種類の面内予測モードが存在する。

また、１６×１６画素ブロックの輝度画素に対してＭＰＥＧ−４ ＡＶＣでは、面内予測モードが４種類存在する。
垂直方向予測モード（予測モード０）では、図３０（ａ）に示すように１６×１６画素の対象ブロックの上に隣接する１６画素の復号画素を用いて、対象ブロックの予測画素を生成する。また、水平方向予測モード（予測モード１）では、図３０（ｂ）に示すように１６×１６画素の対象ブロックの左に隣接する１６画素の復号画素を元に、対象ブロックの予測画素を生成する。ＤＣ予測モード（予測モード２）では、図３０（ｃ）に示すように１６×１６画素の対象ブロックの左、および上に隣接する３２画素の復号画素を元に、対象ブロック内のすべての画素値を、これら３２画素の平均値とすることで対象ブロックの予測画素を生成する。平面予測モード（予測モード３）では、図３０（ｄ）に示すように１６×１６画素の対象ブロックの左、および上に隣接する３２画素の復号画素を元に、対象ブロックの予測画素を生成する。

図３１は、従来の面内予測符号化装置１００の構成を示すブロック図である。面内予測符号化装置１００は、図３１に示すように、同一画面内の符号化後の画素であり、面内予測を行う際に使用する画素である面内予測用参照画素群１６２を入力とし面内予測画像１６４と面内予測モード情報１６３を出力とする面内予測実行部１０１と、入力画像１６１と面内予測画像１６４と面内予測モード情報１６３を入力とし予測差分画像１６５を出力とする予測差分計算部１５２と、予測差分画像１６５を入力とし評価値１６６を出力とする符号化効率評価部１５３と、面内予測モード情報１６３と予測差分画像１６５と評価値１６６を入力とし予測差分画像１６８と面内予測モード情報１６７を出力とする面内予測モード決定部１５４と、面内予測モード情報１６７と予測差分画像１６８を入力とし符号化画像１６９出力とする符号化部１５５とを備えている。

面内予測実行部１０１は、処理対象とするｍ×ｎ（ｍ，ｎは正の整数）画素の予測単位ブロック（以下、対象ブロックと呼ぶ）に対し、時分割で、順次、各面内予測モードを用いた面内予測を行う。すなわち、面内予測実行部１０１は、面内予測用参照画素群１６２から対象ブロックの画素を予測し、その結果を面内予測画像１６４として出力する。加えて、面内予測実行部１０１は、面内予測画像１６４を生成する際に用いた予測モードに関する情報を、面内予測モード情報１６３として出力する。

予測差分計算部１５２は、面内予測実行部１０１で対象ブロックに対して予測生成された面内予測画像１６４と、入力画像１６１における対象ブロックの画像との画素単位の差分値を計算し、計算した結果を予測差分画像１６５として出力する。

符号化効率評価部１５３は、予測差分画像１６５を元に、符号化効率を計算する。例えば、予測差分画像１６５の各画素値の絶対値和を計算し、これをもって評価値１６６として出力する。なお、予測差分画像１６５以外の情報、例えば、周辺の符号化済みブロックの符号化データよりその面内予測モード情報をさらに参照して評価値１６６を計算するなどしてもよい。また、符号化部１５５において、周辺の符号化済みブロックの面内予測モードと、対象ブロックの面内予測モードとの差分を符号化するような方式を採用している場合、周辺の符号化済みブロックの面内予測モードをさらに参照するなどして評価値１６６を計算することが可能である。

面内予測モード決定部１５４は、面内予測実行部１０１において、時分割で順次試行される面内予測モードに対して、符号化効率評価部１５３より出力される評価値１６６が最も小さい面内予測モードを、面内予測モード情報１６７として出力する。また、その際の予測モードにおける予測差分を、予測差分画像１６８として出力する。

符号化部１５５は、決定された面内予測モードを用いて予測した結果の予測差分画像１６８と、面内予測モード情報１６７とを符号化し、符号化画像１６９を出力する。

図３２は面内予測実行部１０１の構成を示すブロック図である。面内予測実行部１０１は、図３２に示すようにカウンタ部１０２、面内予測モード切替部２５２、および面内予測部２５１を備え、時分割で、各面内予測モードを用いた面内予測を順次実行する。カウンタ部１０２は、時分割で、実行する面内予測モードを指定する面内予測モード情報１６３を順次出力する。この例では、面内予測モード情報として、面内予測モードを一意的に指定する値［０］から値［８］までの整数値を用いる。よって、面内予測モード情報１６３の値として、値［０］から値［８］まで順次カウントアップして出力する。ただし、カウントアップ動作は、予測完了信号２５６が値［０］から値［１］に変化した後に１度のみ実行する。面内予測モード切替部２５２は、面内予測モード情報１６３の値に応じて、面内予測部２５１に対して面内予測モードを切り替えるように指示する。面内予測部２５１は、面内予測モード切替部２５２より指示された、面内予測モードにより面内予測用参照画群１６２を用いて対象ブロックの面内予測画像１６４を生成し、出力する。また、面内予測部２５１は、１つの面内予測モードによる面内予測画像１６４の生成を完了する毎に、予測完了信号２５６として値［１］を出力する。

図３３は予測差分計算部１５２の構成を示すブロック図である。予測差分計算部１５２は、図３３に示すように引き算回路２６１を備え、入力画像と面内予測画像との差分画像を出力する。引き算回路２６１は、入力された入力画像１６１および面内予測画像１６４の差分を計算し、計算した結果を予測差分画像１６５として出力する。すなわち、引き算回路２６１は、面内予測画像１６４の各画素値と、入力画像の対応する各画素値の差を画素値として持つ予測差分画像１６５を出力する。

図３４は符号化効率評価部１５３の構成を示すブロック図である。符号化効率評価部１５３は、図３４（ａ）に示すように乗算器２７１、比較器２７２、スイッチ２７３、加算器２７４、およびレジスタ２７５を備え、予測差分画像を元に符号化効率の評価値を出力する。評価値１６６は、予測差分画像１６５の各画素の絶対値和である。予測差分画像１６５は、予測差分計算部１５２より、時分割で各画素の値が順次出力されるものである。予測差分画像１６５は、比較器２７２により値［０］と比較され、比較器２７２の出力２８４は、予測差分画像１６５の画素値が［０］以下の場合は値［１］を、予測差分画像１６５の画素値が［０］を超える場合は値［０］を持つ。スイッチ２７３は、図３４（ｂ）に示すように入力される値ｘに基づいて入力される値ａまたは値ｂを切り替えて出力値ｃとして出力する。ここでは、比較器２７２の出力２８４は、スイッチ２７３を制御し、スイッチ２７３の出力２８０は、比較器２７２の出力２８４が値［１］の場合には値［−１］を、比較器２７２の出力２８４が値［０］の場合には値［１］を持つ。乗算器２７１は、予測差分画像１６５と、スイッチ２７３の出力２８０との乗算を行う。これにより、乗算器２７１の出力２８５は、予測差分画像１６５の絶対値に等しい値となる。加算器２７４は、乗算器２７１の出力２８５と、遅延器２７５の出力２８２との加算を行う。ここで、単位ブロックの先頭画素に対して処理されている間は、遅延器２７５の出力２８２は［０］となるよう制御しておく（図示せず）。予測差分画像１６５の先頭画素に対して処理されたデータが加算器２７４において処理される時には、評価値１６６は、予測差分画像１６５の先頭画素の絶対値を出力として持つ。遅延器２７５は、１画素分の遅延を行い、予測差分画像１６５のｎ番目の画素に対して処理されたデータを加算器２７４において処理する時には、評価値１６６の値は、予測差分画像１６５のｎ−１番目の画素までの画素値の絶対値和に等しい。よって、加算器２７４の出力２８１の値は、予測差分画像１６５のｎ番目の画素までの画素値の絶対値和に等しくなる。以上の処理により、最終的に予測差分画像１６５の絶対値和が、評価値１６６として出力される。

図３５は面内予測モード決定部１５４の構成を示すブロック図である。面内予測モード決定部１５４は、図３５に示すように予測差分画像格納メモリ２９１、比較器２９２、ＮＯＴ回路２９３、レジスタ２９４、およびレジスタ２９５を備え、評価値の最も小さい面内予測モードと、その面内予測モードによって予測された時の予測差分画像を出力する。比較器２９２には、評価値１６６と、読み出しデータ３０２とが入力される。ここで、レジスタ２９４には、書き込みイネーブル信号３０１が値［１］の時にのみ、評価値１６６の値が書き込まれ、読み出しデータ３０２には、書き込みイネーブル信号３０１の値に関わらず、書き込まれているレジスタ２９４の値が出力される。レジスタ２９４には、初期状態で、あらかじめ、評価値１６６の取り得る最大値よりも大きい値を書き込んでおく。面内予測モード情報１６３には、時分割で、試行する面内予測モードの予測モード情報が順次入力され、評価値１６６には、面内予測モード情報１６３に基づいて予測された結果の評価値が順次入力される。時分割で順次入力されるうちの第１番目の評価値が評価値１６６に与えられた場合には、評価値１６６の値は読み出しデータ３０２未満であるので比較器２９２の出力３０３は値［０］を出力し、ＮＯＴ回路２９３により、書き込みイネーブル信号３０１値は値［１］にセットされる。書き込みイネーブル信号３０１が値［１］である場合、その時点の面内予測モード情報１６３に基づいて予測された結果の予測差分画像である予測差分画像１６５が予測差分画像格納メモリ２９１に格納され、面内予測モード情報１６３の値がレジスタ２９５へ書き込まれる。時分割で順次入力されるうちの第ｋ番目の評価値が評価値１６６に与えられた場合には、第１番目から第ｋ−１番目までの評価値のうち、最も小さい値が読み出しデータ３０２として出力されており、比較器２９２では、この読み出しデータ３０２と、第ｋ番目の評価値１６６とを比較し、第ｋ番目の評価値１６６が読み出しデータ３０２の値未満の場合には、比較器２９２の出力３０３は値［０］を出力し、このとき、ＮＯＴ回路２９３により、書き込みイネーブル信号３０１値は値［１］にセットされる。書き込みイネーブル信号３０１が値［１］である場合、その時点の面内予測モード情報１６３に基づいて予測された結果の予測差分画像である予測差分画像１６５が予測差分画像格納メモリ２９１に格納され、面内予測モード情報１６３の値がレジスタ２９５へ書き込まれる。また、第ｋ番目の評価値１６６が読み出しデータ３０２の値以上の場合は、比較器２９２の出力３０３は値［１］を出力する。このとき、ＮＯＴ回路２９３により、書き込みイネーブル信号３０１値は値［０］にセットされ、予測差分画像格納メモリ２９１、ならびにレジスタ２９５への新たなデータの格納は行われない。以上により、予測単位ブロックに対するすべての面内予測モードに対応する評価値１６６に関する処理を行った結果、最も評価値の小さい面内予測モードに対応する面内予測モード情報がレジスタ２９５に格納され、その情報は面内予測モード情報１６７として出力され、また、その面内予測モードに対応する予測差分画像が、予測差分画像格納メモリ２９１に格納され、その画像データは予測差分画像１６８として出力される。

符号化部１５５は、入力された面内予測モード情報１６７および予測差分画像１６８を符号化処理し、符号化画像１６９を出力する。符号化処理は、予測差分画像１６８に関しては、ＤＣＴ変換などの周波数変換を行った後変換係数を量子化し、その値を可変長符号化あるいは算術符号化等によって符号化を行う。また、面内予測モード情報１６７に関しては可変長符号化あるいは算術符号化等によって符号化を行う。

図３６は、面内予測符号化装置１００における面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。

あらかじめ、変数ｍｉｎ＿ｃｏｓｔに、評価値１６６の取り得る最大値よりも大きい値を代入しておく（ステップＳ１１）。次に面内予測モード情報１６３をｍｏｄｅとして、ｍｏｄｅが［０］である面内予測モードから、順に（ステップＳ１２）、面内予測を行い、面内予測画像１６４であるｐｒｅｄＩｍｇ（ｍｏｄｅ）を生成する（ステップＳ１３）。続いて、生成した面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）と、入力画像１６１との予測差分画像１６５であるｄｉｆｆＩｍｇ（ｍｏｄｅ）を生成する（ステップＳ１４）。次に、この予測差分画像ｄｉｆｆＩｍｇ（ｍｏｄｅ）を元にして、面内予測モードｍｏｄｅに対応する評価値１６６であるｃｏｓｔ（ｍｏｄｅ）を計算する（ステップＳ１５）。これを、値ｍｉｎ＿ｃｏｓｔと比較し（ステップＳ１６）、評価値ｃｏｓｔ（ｍｏｄｅ）の方がより小さい場合（ステップＳ１６でＹｅｓ）に、変数ｍｉｎ＿ｃｏｓｔに評価値ｃｏｓｔ（ｍｏｄｅ）を格納し（ステップＳ１７）、変数ｂｅｓｔ＿ｍｏｄｅに予測モード情報ｍｏｄｅを格納し（ステップＳ１８）、変数ｂｅｓｔ＿ｄｉｆｆＩｍｇに、予測差分画像ｄｉｆｆＩｍｇ（ｍｏｄｅ）を格納する（ステップＳ１９）。面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜ステップＳ１９）をｍｏｄｅ＝０，１，・・・，８に対して実行し（ステップＳ１２）、最終的に最も評価値１６６の小さい面内予測モードに対応する面内予測モード情報１６７であるｂｅｓｔ＿ｍｏｄｅと、その面内予測モードによって予測した画像と入力画像１６１との差分画像、すなわち予測差分画像１６８であるｂｅｓｔ＿ｄｉｆｆＩｍｇに対して符号化を行い、符号化画像１６９を生成する（ステップＳ２０）。
ＤＲＡＦＴ ＩＳＯ／ＩＥＣ，１４４９６−１０：２００２（Ｅ），"Ｄｒａｆｔ ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ａｎｄ Ｆｉｎａｌ Ｄｒａｆｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ｏｆ Ｊｏｉｎｔ Ｖｉｄｅｏ Ｓｐｅｃｉｆｉｃａｔｉｏｎ "，２００３．５．２７，Ｐ．９７−１０２

上記説明した面内予測符号化装置においては、ハードウェアコスト削減あるいはソフトウェア処理量削減、および予測精度向上による画質向上が求められる。

そこで、本発明は上記の事情に鑑みてなされたものであり、同程度のハードウェアコストを維持しながら、あるいは同程度のソフトウェア処理量を維持しながら、予測精度を向上させる面内予測符号化装置、面内予測符号化方法、およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る面内予測符号化方法は、対象ブロックに対して面内予測を行う面内予測方式の候補となる少なくとも１つの面内予測方式候補を、面内予測符号化のために与えられた資源量に応じて決定する面内予測方式候補決定ステップと、前記対象ブロックに対して、前記面内予測方式候補決定ステップにより決定された前記面内予測方式候補すべての面内予測方式で面内予測を実行し、面内予測画像を生成する面内予測実行ステップと、前記対象ブロックの入力画像と、前記面内予測実行ステップにより生成された前記面内予測画像との、各画素の差分値を各画素値として持つ差分画像を生成する予測差分計算ステップと、前記予測差分計算ステップにより生成された前記差分画像に基づいて、対応する前記面内予測方式を用いて符号化した場合の符号化効率の評価値を算出する符号化効率評価ステップと、前記符号化効率評価ステップにより算出された前記評価値に基づいて、前記面内予測方式候補の中から前記対象ブロックを符号化する面内予測方式を決定する面内予測方式決定ステップと、前記面内予測方式決定ステップにより決定された前記面内予測方式を示す面内予測方式情報と、前記面内予測方式決定ステップにより決定された前記面内予測方式を用いて面内予測を行った前記面内予測画像に対応する前記差分画像を符号化する符号化ステップとを含むことを特徴とする。

これによって、面内予測方式を決定する際に、一旦すべての面内予測方式で面内予測を実行して面内予測画像を生成する必要がなく、面内予測方式候補の面内予測方式だけで面内予測を実行して面内予測画像を生成すればよいので、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えて符号化効率を向上することができる。

なお、面内予測符号化装置に与えられた資源量とは、例えば予測単位ブロックあたりに実行可能なハードウェアサイクル数もしくはソフトウェア処理量などであってもよい。

ここで、前記面内予測方式は、前記対象ブロックに隣接する符号化済みの復号画素をどのように用いて前記面内予測画像を生成するかを示す面内予測モードであり、前記面内予測方式候補決定ステップでは、前記資源量に応じて前記面内予測モード候補を決定し、前記面内予測方式決定ステップでは、前記評価値に基づいて、前記面内予測モード候補の中から前記対象ブロックを符号化する面内予測モードを決定してもよい。

これによって、面内予測モード候補の中の面内予測モードだけで面内予測を実行して面内予測画像を生成すればよいので、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えて符号化効率を向上することができる。

また、前記面内予測方式は、前記対象ブロックのブロックサイズである面内予測単位であり、前記面内予測方式候補決定ステップでは、前記資源量に応じて前記面内予測単位候補を決定し、前記面内予測方式決定ステップでは、前記評価値に基づいて、前記面内予測単位候補の中から面内予測単位を決定してもよい。

これによって、面内予測単位候補の中の面内予測単位だけで面内予測を実行して面内予測画像を生成すればよいので、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えて符号化効率を向上することができる。

また、前記面内予測方式候補決定ステップでは、前記資源量に応じて前記面内予測方式候補の決定方法を、複数の決定方法の中から選択してもよい。

これによって、面内予測符号化装置に与えられた資源量が増加した場合には、面内予測精度を向上させるために、より処理量の多い面内予測モード候補決定処理を実行することが可能となり、符号化効率を向上させることが可能である。

また、前記面内予測方式候補決定ステップでは、符号化対象である入力画像の水平画素数と垂直画素数との積が小さくなるにしたがって、前記資源量が多くなると判断し、前記入力画像の水平画素数と垂直画素数との積に応じて前記面内予測方式候補を決定してもよい。

これによって、符号化画像サイズが小さくなった場合、面内予測精度を向上させるために、面内予測方式候補数を増やすことで、符号化効率を向上させることが可能である。

また、前記面内予測方式候補決定ステップでは、符号化対象である入力画像の単位時間あたりに符号化するフレームまたはフィールドの枚数が少なくなるにしたがって、前記資源量が多くなると判断し、前記フレームまたはフィールドの枚数に応じて前記面内予測方式候補を決定してもよい。

これによって、符号化対象の入力画像のフレームレートがより低い場合に、面内予測精度を向上させるために、面内予測方式候補数を増やすことで、符号化効率を向上させることが可能である。

また、前記面内予測方式候補決定ステップでは、符号化対象である入力画像のピクチャの予測タイプが、１つまたは複数のピクチャを参照して予測画像を生成する画面間予測を行う予測タイプＢ、１つのピクチャを参照して予測画像を生成する画面間予測を行う予測タイプＰ、画面間予測を行わない予測タイプＩ、である順に前記資源量が多くなると判断し、前記ピクチャの予測タイプに基づいて前記面内予測方式候補を決定してもよい。

これによって、予測タイプＢより予測タイプＰの場合を、さらに予測タイプＰより予測タイプＩの場合を、面内予測精度を向上させるために、面内予測方式候補数を増やすことで、符号化効率を向上させることが可能である。

さらに、本発明は、このような面内予測符号化方法として実現することができるだけでなく、このような面内予測符号化方法が含む特徴的なステップを手段として備える面内予測符号化装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る面内予測符号化方法によれば、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えて符号化効率を向上することができる。

本発明の実施の形態について、図面を参照して説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置１５０ａは、面内予測モード候補の決定方法を、面内予測符号化装置に与えられた資源量に基づいて切り替える点に特徴を有している。

面内予測符号化装置１５０ａは、図１に示すように、面内予測符号化装置に与えられた資源量１７２を元にして、試行する面内予測モード候補を面内予測モード候補指定情報１７０として指定する面内予測モード候補決定部１５６ａと、同一画面内の符号化後の画素としての面内予測用参照画素群１６２を入力とし面内予測画像１６４と面内予測モード情報１６３を出力とする面内予測実行部１５１と、入力画像１６１と面内予測画像１６４と面内予測モード情報１６３を入力とし予測差分画像１６５を出力とする予測差分計算部１５２と、予測差分画像１６５を入力とし評価値１６６を出力とする符号化効率評価部１５３と、面内予測モード情報１６３と予測差分画像１６５と評価値１６６を入力とし予測差分画像１６８と面内予測モード情報１６７を出力とする面内予測モード決定部１５４と、面内予測モード情報１６７と予測差分画像１６８を入力とし符号化画像１６９出力とする符号化部１５５とを備えている。

面内予測モード候補決定部１５６ａは、面内予測モードを決定するために試行する面内予測モード候補を、面内予測モード候補指定情報１７０として指定する。このとき、面内予測モード候補決定部１５６ａは、面内予測符号化装置に与えられた資源量１７２に基づいて面内予測モード候補決定方法を切り替えて、面内予測モード候補を決定する。

図２は面内予測モード候補決定部１５６ａの構成を示すブロック図である。面内予測モード候補決定部１５６ａは、図２（ａ）に示すように比較器１８０ａ、１８０ｂ、論理ゲート１８１ａ、１８１ｂ、およびモード候補決定部１８２ａ〜１８２ｃを備え、面内予測符号化装置に与えられた資源量に応じて、試行する面内予測モードの候補を決定する。比較器１８０ａ、１８０ｂは、図２（ｂ）に示すように入力される値ａおよび値ｂを比較し、値ａが値ｂ以下であれば［１］を出力し、それ以外であれば［０］を出力する。ここでは、比較器１８０ａは、入力された、面内予測符号化装置に与えられた資源量１７２が閾値ＴＨ１以下の場合は［１］を出力し、閾値ＴＨ１を超える場合は［０］を出力する。同様に、比較器１８０ｂは、入力された、面内予測符号化装置に与えられた資源量１７２が閾値ＴＨ２以下の場合は［１］を出力し、閾値ＴＨ１を超える場合は［０］を出力する。ここで、閾値ＴＨ１は閾値ＴＨ２未満であるとする。論理ゲート１８１ａ、１８１ｂ、比較器１８０ａは、モード候補決定部１８２ａ〜１８２ｃを切り替えるための動作イネーブル信号１８５ａ〜１８５ｃを生成する。

動作イネーブル信号１８５ａは、面内予測符号化装置に与えられた資源量１７２が閾値ＴＨ１以下の場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ａが値［１］である場合、モード候補決定部１８２ａが有効となり、このモード候補決定部１８２ａによって面内予測モード候補が決定され、面内予測モード候補指定情報１７０として出力される。

動作イネーブル信号１８５ｂは、面内予測符号化装置に与えられた資源量１７２が閾値ＴＨ１よりも大きく、かつ閾値ＴＨ２以下である場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ｂが値［１］である場合、モード候補決定部１８２ｂが有効となり、このモード候補決定部１８２ｂによって面内予測モード候補が決定され、面内予測モード候補指定情報１７０として出力される。

動作イネーブル信号１８５ｃは、面内予測符号化装置に与えられた資源量１７２が閾値ＴＨ２よりも大きい場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ｃが値［１］である場合、モード候補決定部１８２ｃが有効となり、このモード候補決定部１８２ｃによって面内予測モード候補が決定され、面内予測モード候補指定情報１７０として出力される。

ここで、モード候補決定部１８２ａは、資源量をあまり必要とせずに面内予測モード候補を簡易に決定し、またモード候補決定部１８２ｂは、モード候補決定部１８２ａに比べて資源量をより多く必要とするが、より高い精度で面内予測モード候補を決定することが可能であり、さらにモード候補決定部１８２ｃは、モード候補決定部１８２ｂに比べて資源量をさらにより多く必要とし、より高い精度で面内予測モード候補を決定することが可能なモード候補決定部である。なお上記資源量とは、例えばハードウェア処理サイクル数や、ソフトウェア処理量などを指し、必要とする資源量とは、モード候補決定部だけでなく、面内予測符号化装置１５０ａ全体が、予測単位ブロック１つあたりに必要とする資源量のことを指すものとする。また面内予測モード候補決定にあたっての精度については、通常、決定した候補の中で最も符号化効率の高い面内予測モードを用いて符号化を行った際の符号化効率がより高い場合に、より精度の高い候補決定方法である、という。

モード候補決定部１８２ａ〜ｃの例を述べる。モード候補決定部１８２ａは、常にＤＣ予測モードのみを面内予測モード候補とする。モード候補決定部１８２ｂは、対象ブロック内の画像のエッジ方向を抽出し、その方向に近い予測方向を持つ面内予測モード１個と、ＤＣ予測モードとを候補として決定する。モード候補決定部１８２ｃは、対象ブロック内の画像のエッジ方向を抽出し、その方向に近い予測方向を持つ面内予測モード３個と、ＤＣ予測モードとを候補として決定する。画像のエッジ方向に近い面内予測モードを候補として選ぶのは、エッジと平行な方向では画素同士の相関が高く、精度の高い予測が可能と考えられるからである。なお、上記エッジ方向の検出方法は、どのような方法を用いても良く、例えば良く知られているソーベルフィルタを用いて水平・垂直方向のエッジの度合いを算出するなどが考えられる。

これにより、面内予測符号化装置に与えられた資源量が増加した場合には、それを有効利用し、より符号化効率の高い面内予測が可能となるような、モード候補決定部に切り替えることができる。

面内予測実行部１５１は、面内予測モード候補指定情報１７０で指定された面内予測モード候補それぞれを用いて面内予測を時分割で順次実行する。すなわち、面内予測実行部１５１は、面内予測用参照画素群１６２から対象ブロックの画素を、各面内予測モードを用いて面内予測し、その予測画像を面内予測画像１６４として出力する。加えて、面内予測実行部１５１は、面内予測画像１６４を生成する際に用いた予測モードに関する情報を、面内予測モード情報１６３として出力する。

図３は面内予測実行部１５１の構成を示すブロック図である。面内予測実行部１５１は、図３に示すようにカウンタ部２５３、面内予測モード切替部２５２、面内予測部２５１、および予測候補有効性判定部２５４を備え、指定された面内予測モード候補それぞれを用いた面内予測を時分割で順次実行する。カウンタ部２５３は、カウント値出力２５７として、値［０］から値［８］までを順次出力する。カウント値出力２５７の値のカウントアップ動作は、予測完了信号２５６か判定値２５８のいずれかが値［０］から値［１］に変化した後に１度のみ実行する。予測候補有効性判定部２５４は、カウント値出力２５７で示される値を面内予測モード情報として持つ面内予測モードが、面内予測モード候補指定情報１７０で示される面内予測モード候補に含まれている場合に、判定値２５８を値［０］として出力し、面内予測モード情報１６３として、カウント値出力２５７の値を出力する。そうでない場合は、判定値２５８を値［１］として出力し、面内予測モード情報１６３の値は更新しない。面内予測モード切替部２５２、面内予測部２５１は、背景技術において説明した通りである。

なお、面内予測参照画素群１６２のうち一部もしくは全てが参照不能である場合（例えば、対象ブロックが画面端のブロックで参照画素が存在しない場合、もしくは参照画素が符号化の順序によりまだ符号化されていない場合など）など必要な参照画素が使用できない場合には、指定された面内予測モード候補であっても面内予測を行わなくても構わない。

予測差分計算部１５２、符号化効率評価部１５３、面内予測モード決定部１５４、符号化部１５５に関しては、背景技術において説明した通りである。

図４は、面内予測符号化装置１５０ａにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。

まず、面内予測符号化装置に与えられた資源量１７２としてのｎｕｍ＿ｃｙｃｌｅを取得する（ステップＳ５１）。この資源量ｎｕｍ＿ｃｙｃｌｅと、閾値ＴＨ１とを比較する（ステップＳ５２）。この結果、資源量ｎｕｍ＿ｃｙｃｌｅが閾値ＴＨ１以下である場合（ステップＳ５２でＹｅｓ）には、面内予測モード候補決定方法ａにより面内予測モード候補指定情報１７０としてのｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５４）。すなわち、モード候補決定部１８２ａが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。ここで、ｉ=０，１，・・・，８は各面内予測モードを示しており、例えば、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［０］は、面内予測モード情報が値［０］である面内予測モードが、面内予測モード候補であるかどうかを示し、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［０］が値［０］である場合は、面内予測モード候補ではないことを意味し、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［０］が値［１］である場合は、面内予測モード候補であることを意味する。一方、資源量ｎｕｍ＿ｃｙｃｌｅが閾値ＴＨ１よりも大きい場合（ステップＳ５２でＮｏ）は、資源量ｎｕｍ＿ｃｙｃｌｅと閾値ＴＨ２とを比較する（ステップＳ５３）。この結果、資源量ｎｕｍ＿ｃｙｃｌｅが閾値ＴＨ２以下である場合（ステップＳ５３でＹｅｓ）は、面内予測モード候補決定方法ｂにより面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５５）。すなわち、モード候補決定部１８２ｂが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。そして、資源量ｎｕｍ＿ｃｙｃｌｅが閾値ＴＨ２よりも大きい場合（ステップＳ５３でＮｏ）は、面内予測モード候補決定方法ｃにより面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５６）。すなわち、モード候補決定部１８２ｃが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。

以上により、面内予測モード候補指定情報１７０としてのｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値をあらかじめ設定しておき、加えて、変数ｍｉｎ＿ｃｏｓｔに、評価値１６６の取り得る最大値よりも大きい値を代入しておく（ステップＳ１１）。次に面内予測モード情報１６３をｍｏｄｅとして、ｍｏｄｅ＝０，１，・・・，８に対して（ステップＳ１２）、順次、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜１９）を実行する。その際、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｍｏｄｅ］が値［０］である場合には、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜１９）をスキップする（ステップＳ５７）。ｍｏｄｅ＝０，１，・・・，８に対する一連の手順を終了した後、符号化画像１６９を生成する（ステップＳ２０）。なお、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜Ｓ２０）に関しては、背景技術において説明した通りである。また、符号化の処理（ステップＳ２０）は、予測単位ブロックを単位とせず、いくつかの予測単位ブロックに対応する、最も評価値１６６の小さい面内予測モードを示す面内予測モード情報ｂｅｓｔ＿ｍｏｄｅ、およびその面内予測モードにおける予測差分画像ｂｅｓｔ＿ｄｉｆｆＩｍｇが求まった後、一括して実行するなどしてもよい。

なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。

以上のように、面内予測符号化装置に与えられた資源量が増加した場合には、それに応じて、符号化効率のより高い、より資源量を多く必要とする面内予測符号化を行うように、面内予測候補決定方法を切り替える。これによって、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。

（第２実施形態）
図５は、本発明の第２実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置１５０ｂは、面内予測モード候補の決定方法を、符号化画像サイズ情報に基づいて切り替える点に特徴を有している。

面内予測符号化装置１５０ｂは、図５に示すように符号化画像サイズ情報１７３を元にして、試行する面内予測モード候補を面内予測モード候補指定情報１７０として指定する面内予測モード候補決定部１５６ｂと、同一画面内の符号化後の画素としての面内予測用参照画素群１６２を入力とし面内予測画像１６４と面内予測モード情報１６３を出力とする面内予測実行部１５１と、入力画像１６１と面内予測画像１６４と面内予測モード情報１６３を入力とし予測差分画像１６５を出力とする予測差分計算部１５２と、予測差分画像１６５を入力とし評価値１６６を出力とする符号化効率評価部１５３と、面内予測モード情報１６３と予測差分画像１６５と評価値１６６を入力とし予測差分画像１６８と面内予測モード情報１６７を出力とする面内予測モード決定部１５４と、面内予測モード情報１６７と予測差分画像１６８を入力とし符号化画像１６９出力とする符号化部１５５とを備えている。

面内予測モード候補決定部１５６ｂは、面内予測モードを決定するために試行する面内予測モード候補を、面内予測モード候補指定情報１７０として指定する。このとき、面内予測モード候補決定部１５６ｂは、符号化画像サイズ情報１７３に基づいて面内予測モード候補決定方法を切り替えて、面内予測モード候補を決定する。ここで、符号化画像サイズ情報１７３は、符号化画像横幅値１７３ａと符号化画像縦幅値１７３ｂとを合わせたものである。

図６は、面内予測モード候補決定部１５６ｂの構成を示すブロック図である。面内予測モード候補決定部１５６ｂは、図６に示すように比較器１８０ａ、１８０ｂ、論理ゲート１８１ａ、１８１ｃ〜１８１ｇ、およびモード候補決定部１８２ａ〜１８２ｃを備え、符号化画像サイズに応じて、試行する面内予測モードの候補を決定する。ここでは、比較器１８０ａは、入力された符号化画像横幅値１７３ａが値［３５２］以下の場合は値［１］を出力し、符号化画像縦幅値１７３ａが値［３５２］を超える場合は値［０］を出力する。同様に、比較器１８０ｂは、入力された符号化画像縦幅値１７３ｂが値［２４０］以下の場合は値［１］を出力し、符号化画像縦幅値１７３ｂが値［２４０］を超える場合は値［０］を出力する。論理ゲート１８１ｄ〜１８１ｆは、モード候補決定部１８２ａ〜１８２ｃを切り替えるための動作イネーブル信号１８５ａ〜１８５ｃを生成する。

動作イネーブル信号１８５ａは、符号化画像横幅値１７３ａが値［３５２］を超え、かつ符号化画像縦幅値１７３ｂが値［２４０］を超える場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ａが値［１］である場合、モード候補決定部１８２ａが有効となり、このモード候補決定部１８２ａによって面内予測モード候補が決定され、決定された単一もしくは複数の面内予測モード候補が面内予測モード候補指定情報１７０として出力される。

動作イネーブル信号１８５ｂは、符号化画像横幅値１７３ａが値［３５２］以下で、かつ符号化画像縦幅値１７３ｂが値［２４０］を超えるか、または、符号化画像横幅値１７３ａが値［３５２］を超え、かつ符号化画像縦幅値１７３ｂが値［２４０］以下であるかの、いずれかの場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ｂが値［１］である場合、モード候補決定部１８２ｂが有効となり、このモード候補決定部１８２ｂによって面内予測モード候補が決定され、決定された単一もしくは複数の面内予測モード候補が、面内予測モード候補指定情報１７０として出力される。

動作イネーブル信号１８５ｃは、符号化画像横幅値１７３ａが値［３５２］以下で、かつ符号化画像縦幅値１７３ｂが値［２４０］以下である場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ｃが値［１］である場合、モード候補決定部１８２ｃが有効となり、このモード候補決定部１８２ｃによって面内予測モード候補が決定され、決定された単一もしくは複数の面内予測モード候補が、面内予測モード候補指定情報１７０として出力される。

これにより、符号化画像サイズが小さい場合には、その分、面内予測符号化装置に与えられた資源量が増加するために、より処理サイクルを多く必要とするが、その分より符号化効率の高い面内予測が可能となるような、モード候補決定部に切り替えることができる。

予測差分計算部１５２、符号化効率評価部１５３、面内予測モード決定部１５４、符号化部１５５に関しては、背景技術において説明した通りである。また、面内予測実行部１５１に関しては、第１実施形態において説明した通りである。

図７は、面内予測符号化装置１５０ｂにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。

まず、符号化画像サイズ情報１７３である符号化画像横幅値ＩｍｇＷｉｄｔｈ、符号化画像縦幅値ＩｍｇＨｅｉｇｈｔを取得する（ステップＳ１５１）。この符号化画像横幅値ＩｍｇＷｉｄｔｈと値［３５２］とを、符号化画像縦幅値ＩｍｇＨｅｉｇｈｔと値［２４０］とを比較する（ステップＳ１５２）。この結果、符号化画像横幅値ＩｍｇＷｉｄｔｈが値［３５２］よりも大きく、かつ符号化画像縦幅値ＩｍｇＨｅｉｇｈｔが値［２４０］よりも大きい場合（ステップＳ１５２でＹｅｓ）、面内予測モード候補決定方法ａにより面内予測モード候補指定情報１７０としてのｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５４）。すなわち、モード候補決定部１８２ａが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。それ以外の場合（ステップＳ１５２でＮｏ）は、さらに符号化画像横幅値ＩｍｇＷｉｄｔｈと値［３５２］とを、符号化画像縦幅値ＩｍｇＨｅｉｇｈｔと値［２４０］とを比較する（ステップＳ１５３）。この結果、符号化画像横幅値ＩｍｇＷｉｄｔｈが値［３５２］よりも大きいか、または符号化画像縦幅値ＩｍｇＨｅｉｇｈｔが値［２４０］よりも大きい場合（ステップＳ１５３でＹｅｓ）は、面内予測モード候補決定方法ｂにより面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５５）。すなわち、モード候補決定部１８２ｂが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。そして、それ以外の場合（ステップＳ１５３でＮｏ）は、面内予測モード候補決定方法ｃにより面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５６）。すなわち、モード候補決定部１８２ｃが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。

以上により、面内予測モード候補指定情報１７０としてのｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値をあらかじめ設定しておき、加えて、変数ｍｉｎ＿ｃｏｓｔに、評価値１６６の取り得る最大値よりも大きい値を代入しておく（ステップＳ１１）。次に面内予測モード情報１６３をｍｏｄｅとして、ｍｏｄｅ＝０，１，・・・，８に対して（ステップＳ１２）、順次、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜１９）を実行する。その際、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｍｏｄｅ］が値［０］である場合には、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜１９）をスキップする（ステップＳ５７）。ｍｏｄｅ＝０，１，・・・，８に対する一連の手順を終了した後、符号化画像１６９を生成する（ステップＳ２０）。なお、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜Ｓ２０）に関しては、背景技術において説明した通りである。また、符号化の処理（ステップＳ２０）は、予測単位ブロックを単位とせず、いくつかの予測単位ブロックに対応する、最も評価値１６６の小さい面内予測モードを示す面内予測モード情報ｂｅｓｔ＿ｍｏｄｅ、およびその面内予測モードにおける予測差分画像ｂｅｓｔ＿ｄｉｆｆＩｍｇが求まった後、一括して実行するなどしてもよい。

なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。

以上のように、符号化画像サイズが小さくなった場合には、面内予測符号化を行う予測単位ブロック数が減少するために、結果として予測単位ブロック数あたり面内予測符号化装置に与えられる資源量が増加する。ゆえに、符号化画像サイズが小さくなった場合に、符号化効率のより高い、より資源量を多く必要とする面内予測符号化を行うように、面内予測候補決定方法を切り替える。これによって、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。

（第３実施形態）
図８は、本発明の第３実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置１５０ｃは、面内予測モード候補の決定方法を、符号化画像のフレームレートに基づいて切り替える点に特徴を有している。

面内予測符号化装置１５０ｃは、図８に示すように符号化画像フレームレート情報１７４を元にして、試行する面内予測モード候補を面内予測モード候補指定情報１７０として指定する面内予測モード候補決定部１５６ｃと、同一画面内の符号化後の画素としての面内予測用参照画素群１６２を入力とし面内予測画像１６４と面内予測モード情報１６３を出力とする面内予測実行部１５１と、入力画像１６１と面内予測画像１６４と面内予測モード情報１６３を入力とし予測差分画像１６５を出力とする予測差分計算部１５２と、予測差分画像１６５を入力とし評価値１６６を出力とする符号化効率評価部１５３と、面内予測モード情報１６３と予測差分画像１６５と評価値１６６を入力とし予測差分画像１６８と面内予測モード情報１６７を出力とする面内予測モード決定部１５４と、面内予測モード情報１６７と予測差分画像１６８を入力とし符号化画像１６９出力とする符号化部１５５とを備えている。

面内予測モード候補決定部１５６ｃは、面内予測モードを決定するために試行する面内予測モード候補を、面内予測モード候補指定情報１７０として指定する。このとき、面内予測モード候補決定部１５６ｃは、符号化画像フレームレート情報１７４に基づいて面内予測モード候補決定方法を切り替えて、面内予測モード候補を決定する。

図９は、面内予測モード候補決定部１５６ｃの構成を示すブロック図である。面内予測モード候補決定部１５６ｃは、図９に示すように比較器１８０ａ、１８０ｂ、論理ゲート１８１ａ、１８１ｂ、およびモード候補決定部１８２ａ〜１８２ｃを備え、符号化画像のフレームレートに応じて、試行する面内予測モードの候補を決定する。ここでは、比較器１８０ａは、入力された符号化画像フレームレート情報１７４が閾値ＴＨ１以下の場合は［１］を出力し、閾値ＴＨ１を超える場合は［０］を出力する。同様に、比較器１８０ｂは、入力された符号化画像フレームレート情報１７４が閾値ＴＨ２よりも大きい場合は［０］を出力し、閾値ＴＨ２以下場合は［１］を出力する。ここで、閾値ＴＨ１は閾値ＴＨ２未満であるとする。論理ゲート１８１ａ、１８１ｂ、比較器１８０ａは、モード候補決定部１８２ａ〜１８２ｃを切り替えるための動作イネーブル信号１８５ａ〜１８５ｃを生成する。

動作イネーブル信号１８５ａは、符号化画像フレームレート情報１７４が閾値ＴＨ２を超える場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ａが値［１］である場合、モード候補決定部１８２ａが有効となり、このモード候補決定部１８２ａによって面内予測モード候補が決定され、面内予測モード候補指定情報１７０として出力される。

動作イネーブル信号１８５ｂは、符号化画像フレームレート情報１７４が閾値ＴＨ１よりも大きく、かつ閾値ＴＨ２以下である場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ｂが値［１］である場合、モード候補決定部１８２ｂが有効となり、このモード候補決定部１８２ｂによって面内予測モード候補が決定され、面内予測モード候補指定情報１７０として出力される。

動作イネーブル信号１８５ｃは、符号化画像フレームレート情報１７４が閾値ＴＨ１以下である場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ｃが値［１］である場合、モード候補決定部１８２ｃが有効となり、このモード候補決定部１８２ｃによって面内予測モード候補が決定され、面内予測モード候補指定情報１７０として出力される。

これにより、符号化画像のフレームレートが減少した場合には、その分、面内予測符号化装置に与えられた資源量が増加するために、より処理サイクルを多く必要とするが、その分より符号化効率の高い面内予測が可能となるような、モード候補決定部に切り替えることができる。

予測差分計算部１５２、符号化効率評価部１５３、面内予測モード決定部１５４、符号化部１５５に関しては、背景技術において説明した通りである。また、面内予測実行部１５１に関しては、第１実施形態において説明した通りである。

図１０は、面内予測符号化装置１５０ｃにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。

まず、符号化画像フレームレート情報１７４としての値ｆｒａｍｅ＿ｒａｔｅを取得する（ステップＳ２５１）。このフレームレート情報ｆｒａｍｅ＿ｒａｔｅと、閾値ＴＨ２とを比較する（ステップＳ２５２）。この結果、フレームレート情報ｆｒａｍｅ＿ｒａｔｅが閾値ＴＨ２よりも大きい場合（ステップＳ２５２でＹｅｓ）には、面内予測モード候補決定方法ａにより面内予測モード候補指定情報１７０としてのｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５４）。すなわち、モード候補決定部１８２ａが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。それ以外の場合（ステップＳ２５２でＮｏ）は、フレームレート情報ｆｒａｍｅ＿ｒａｔｅと閾値ＴＨ１とを比較する（ステップＳ２５３）。この結果、フレームレート情報ｆｒａｍｅ＿ｒａｔｅが閾値ＴＨ１よりも大きい場合（ステップＳ２５３でＹｅｓ）は、面内予測モード候補決定方法ｂにより面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５５）。すなわち、モード候補決定部１８２ｂが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。そして、フレームレート情報ｆｒａｍｅ＿ｒａｔｅが閾値ＴＨ１以下の場合（ステップＳ２５３でＮｏ）は、面内予測モード候補決定方法ｃにより面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５６）。すなわち、モード候補決定部１８２ｃが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。

以上により、面内予測モード候補指定情報１７０としてのｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値をあらかじめ設定しておき、加えて、変数ｍｉｎ＿ｃｏｓｔに、評価値１６６の取り得る最大値よりも大きい値を代入しておく（ステップＳ１１）。次に面内予測モード情報１６３をｍｏｄｅとして、ｍｏｄｅ＝０，１，・・・，８に対して（ステップＳ１２）、順次、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜１９）を実行する。その際、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｍｏｄｅ］が値［０］である場合には、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜１９）をスキップする（ステップＳ５７）。ｍｏｄｅ＝０，１，・・・，８に対する一連の手順を終了した後、符号化画像１６９を生成する（ステップＳ２０）。なお、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜Ｓ２０）に関しては、背景技術において説明した通りである。また、符号化の処理（ステップＳ２０）は、予測単位ブロックを単位とせず、いくつかの予測単位ブロックに対応する、最も評価値１６６の小さい面内予測モードを示す面内予測モード情報ｂｅｓｔ＿ｍｏｄｅ、およびその面内予測モードにおける予測差分画像ｂｅｓｔ＿ｄｉｆｆＩｍｇが求まって後、一括して実行するなどしてもよい。

なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。

以上のように、符号化画像のフレームレートが減少した場合には、面内予測符号化を行う予測単位ブロック数が減少するために、結果として予測単位ブロック数あたり面内予測符号化装置に与えられる資源量が増加する。ゆえに、符号化画像のフレームレートが減少した場合に、符号化効率のより高い、より資源量を多く必要とする面内予測符号化を行うように、面内予測候補決定方法を切り替える。これによって、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。

（第４実施形態）
図１１は、本発明の第４実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置１５０ｆは、面内予測モード候補の決定方法を、符号化画像のピクチャの予測タイプに基づいて切り替える点に特徴を有している。

面内予測符号化装置１５０ｆは、図１１に示すようにピクチャの予測タイプ情報１７５を元にして、試行する面内予測モード候補を面内予測モード候補指定情報１７０として指定する面内予測モード候補決定部１５６ｆと、同一画面内の符号化後の画素としての面内予測用参照画素群１６２を入力とし面内予測画像１６４と面内予測モード情報１６３を出力とする面内予測実行部１５１と、入力画像１６１と面内予測画像１６４と面内予測モード情報１６３を入力とし予測差分画像１６５を出力とする予測差分計算部１５２と、予測差分画像１６５を入力とし評価値１６６を出力とする符号化効率評価部１５３と、面内予測モード情報１６３と予測差分画像１６５と評価値１６６を入力とし予測差分画像１６８と面内予測モード情報１６７を出力とする面内予測モード決定部１５４と、面内予測モード情報１６７と予測差分画像１６８を入力とし符号化画像１６９出力とする符号化部１５５とを備えている。

面内予測モード候補決定部１５６ｆは、面内予測モードを決定するために試行する面内予測モード候補を、面内予測モード候補指定情報１７０として指定する。このとき、面内予測モード候補決定部１５６ｆは、ピクチャの予測タイプ情報１７５に基づいて面内予測モード候補決定方法を切り替えて、面内予測モード候補を決定する。

ここで、ピクチャの予測タイプとは、対象ブロックを含む符号化対象ピクチャが、画面間予測を行わないタイプを「Ｉ」、１つのピクチャを参照して予測画像を生成する画面間予測を行うタイプを「Ｐ」、１つまたは複数のピクチャを参照して予測画像を生成する画面間予測を行うタイプを「Ｂ」とする。また、ピクチャの予測タイプ情報１７５としては、予測タイプＩが値［２］、予測タイプＰが値［１］、予測タイプＢが値［０］を有するものとする。なお、ピクチャを分割した一定領域（以下、スライスと呼ぶ）単位で予測タイプを切り替える場合は、ピクチャの予測タイプの代わりに、スライスの予測タイプを参照してもよい。

図１２は、面内予測モード候補決定部１５６ｆの構成を示すブロック図である。面内予測モード候補決定部１５６ｆは、図１２に示すように比較器１８０ａ、１８０ｂ、論理ゲート１８１ａ、１８１ｂ、およびモード候補決定部１８２ａ〜１８２ｃを備え、ピクチャの予測タイプに応じて、試行する面内予測モードの候補を決定する。ここでは、比較器１８０ａは、入力されたピクチャの予測タイプ情報１７５が値［０］以下の場合は［１］を出力し、値［０］を超える場合は［０］を出力する。同様に、比較器１８０ｂは、入力されたピクチャの予測タイプ情報１７５が値［１］以下の場合は［１］を出力し、値［１］を超える場合は［０］を出力する。論理ゲート１８１ａ、１８１ｂ、比較器１８０ａは、モード候補決定部１８２ａ〜１８２ｃを切り替えるための動作イネーブル信号１８５ａ〜１８５ｃを生成する。

動作イネーブル信号１８５ａは、ピクチャの予測タイプ情報１７５が値［０］以下の場合、すなわち予測タイプが「Ｂ」である場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ａが値［１］である場合、モード候補決定部１８２ａが有効となり、このモード候補決定部１８２ａによって面内予測モード候補が決定され、面内予測モード候補指定情報１７０として出力される。

動作イネーブル信号１８５ｂは、ピクチャの予測タイプ情報１７５が値［０］よりも大きく、かつ値［１］以下である場合、すなわち予測タイプが「Ｐ」である場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ｂが値［１］である場合、モード候補決定部１８２ｂが有効となり、このモード候補決定部１８２ｂによって面内予測モード候補が決定され、面内予測モード候補指定情報１７０として出力される。

動作イネーブル信号１８５ｃは、ピクチャの予測タイプ情報１７５が値［１］よりも大きい場合、すなわち予測タイプが「Ｉ」である場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ｃが値［１］である場合、モード候補決定部１８２ｃが有効となり、このモード候補決定部１８２ｃによって面内予測モード候補が決定され、面内予測モード候補指定情報１７０として出力される。

予測差分計算部１５２、符号化効率評価部１５３、面内予測モード決定部１５４、符号化部１５５に関しては、背景技術において説明した通りである。また、面内予測実行部１５１に関しては、第１実施形態において説明した通りである。

図１３は、面内予測符号化装置１５０ｆにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。

まず、ピクチャの予測タイプ情報１７５としての値ｐｉｃ＿ｔｙｐを取得する（ステップＳ３５１）。この予測タイプ情報ｐｉｃ＿ｔｙｐと、値［０］とを比較する（ステップＳ３５２）。この結果、予測タイプ情報ｐｉｃ＿ｔｙｐが値［０］以下である場合（ステップＳ３５２でＹｅｓ）には、面内予測モード候補決定方法ａにより面内予測モード候補指定情報１７０としてのｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５４）。すなわち、モード候補決定部１８２ａが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。一方、予測タイプ情報ｐｉｃ＿ｔｙｐが値［０］よりも大きい場合（ステップＳ３５２でＮｏ）は、予測タイプ情報ｐｉｃ＿ｔｙｐと値［１］とを比較する（ステップＳ３５３）。この結果、予測タイプ情報ｐｉｃ＿ｔｙｐが値［１］以下である場合（ステップＳ３５３でＹｅｓ）は、面内予測モード候補決定方法ｂにより面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５５）。すなわち、モード候補決定部１８２ｂが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。そして、予測タイプ情報ｐｉｃ＿ｔｙｐが値［１］よりも大きい場合（ステップＳ３５３でＮｏ）は、面内予測モード候補決定方法ｃにより面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する（ステップＳ５６）。すなわち、モード候補決定部１８２ｃが面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］を設定する。

以上により、面内予測モード候補指定情報１７０としてのｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値をあらかじめ設定しておき、加えて、変数ｍｉｎ＿ｃｏｓｔに、評価値１６６の取り得る最大値よりも大きい値を代入しておく（ステップＳ１１）。次に面内予測モード情報１６３をｍｏｄｅとして、ｍｏｄｅ＝０，１，・・・，８に対して（ステップＳ１２）、順次、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜１９）を実行する。その際、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｍｏｄｅ］が値［０］である場合には、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜１９）をスキップする（ステップＳ５７）。ｍｏｄｅ＝０，１，・・・，８に対する一連の手順を終了した後、符号化画像１６９を生成する（ステップＳ２０）。なお、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜Ｓ２０）に関しては、背景技術において説明した通りである。また、符号化の処理（ステップＳ２０）は、予測単位ブロックを単位とせず、いくつかの予測単位ブロックに対応する、最も評価値１６６の小さい面内予測モードを示す面内予測モード情報ｂｅｓｔ＿ｍｏｄｅ、およびその面内予測モードにおける予測差分画像ｂｅｓｔ＿ｄｉｆｆＩｍｇが求まって後、一括して実行するなどしてもよい。

なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。

以上のように、予測タイプＩでは動き探索等をする必要がないので、Ｉピクチャでは動き探索等をする必要がないので多くの処理量（資源量）を消費することができ、予測タイプＰでは片方向の動き探索を行うため中程度の処理量を消費でき、予測タイプＢでは双方向の動き探索を行うため少ない処理量しか消費できない。ゆえに、予測タイプＰである場合には予測タイプＢである場合に比較して、符号化効率のより高い、資源量を多く必要とする面内予測符号化を行うように、予測タイプＩである場合には予測タイプＰである場合に比較して、さらに符号化効率の高い、より資源量を多く必要とする面内予測符号化を行うように、面内予測候補決定方法を切り替える。これによって、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。

（第５実施形態）
図１４は、本発明の第５実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置１５０ｄは、面内予測モード候補数を、面内予測符号化装置に与えられた資源量に基づいて切り替える点に特徴を有している。

面内予測符号化装置１５０ｄは、図１４に示すように面内予測符号化装置に与えられた資源量１７２を元にして、試行する面内予測モード候補を面内予測モード候補指定情報１７０として指定する面内予測モード候補決定部１５６ｄと、同一画面内の符号化後の画素としての面内予測用参照画素群１６２を入力とし面内予測画像１６４と面内予測モード情報１６３を出力とする面内予測実行部１５１と、入力画像１６１と面内予測画像１６４と面内予測モード情報１６３を入力とし予測差分画像１６５を出力とする予測差分計算部１５２と、予測差分画像１６５を入力とし評価値１６６を出力とする符号化効率評価部１５３と、面内予測モード情報１６３と予測差分画像１６５と評価値１６６を入力とし予測差分画像１６８と面内予測モード情報１６７を出力とする面内予測モード決定部１５４と、面内予測モード情報１６７と予測差分画像１６８を入力とし符号化画像１６９出力とする符号化部１５５とを備えている。

面内予測モード候補決定部１５６ｄは、面内予測モードを決定するために試行する面内予測モード候補を、面内予測モード候補指定情報１７０として指定する。このとき、面内予測モード候補決定部１５６ｄは、面内予測符号化装置に与えられた資源量１７２に基づいて面内予測モード候補数を切り替える。

図１５は、面内予測モード候補決定部１５６ｄの構成を示すブロック図である。面内予測モード候補決定部１５６ｄは、図１５に示すように比較器１８０ａ、１８０ｂ、論理ゲート１８１ａ、１８１ｂ、およびスイッチ２３２ａ〜２３２ｃを備え、面内予測符号化装置に与えられた資源量に応じて、試行する面内予測モードの候補を決定する。ここでは、比較器１８０ａは、入力された、面内予測符号化装置に与えられた資源量１７２が閾値ＴＨ１以下の場合は［１］を出力し、閾値ＴＨ１を超える場合は［０］を出力する。同様に、比較器１８０ｂは、入力された、面内予測符号化装置に与えられた資源量１７２が閾値ＴＨ２以下の場合は［１］を出力し、閾値ＴＨ１を超える場合は［０］を出力する。ここで、閾値ＴＨ１は閾値ＴＨ２未満であるとする。論理ゲート１８１ａ、１８１ｂ、比較器１８０ａは、スイッチ２３２ａ〜２３２ｃを切り替えるための動作イネーブル信号１８５ａ〜１８５ｃを生成する。

動作イネーブル信号１８５ａは、面内予測符号化装置に与えられた資源量１７２が閾値ＴＨ１以下の場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ａが値［１］である場合、スイッチ２３２ａがＯＮとなり、値［０ｘ０００７］を面内予測モード候補指定情報１７０として出力する。

動作イネーブル信号１８５ｂは、面内予測符号化装置に与えられた資源量１７２が閾値ＴＨ１よりも大きく、かつ閾値ＴＨ２以下である場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ｂが値［１］である場合、スイッチ２３２ｂがＯＮとなり、値［０ｘ００１Ｆ］を面内予測モード候補指定情報１７０として出力する。

動作イネーブル信号１８５ｃは、面内予測符号化装置に与えられた資源量１７２が閾値ＴＨ２よりも大きい場合に値［１］を有し、それ以外の場合は値［０］を有する。動作イネーブル信号１８５ｃが値［１］である場合、スイッチ２３２ｃがＯＮとなり、値［０ｘ０１ＦＦ］を面内予測モード候補指定情報１７０として出力する。

ここで、面内予測モード候補指定情報１７０の値は、２進数で第ｎ位の桁が値［１］であれば、面内予測モード情報が値［ｎ−１］として表される面内予測モードを、面内予測モード候補として含めることを意味し、２進数で第ｎ位の桁が値［０］であれば、面内予測モード情報が値［ｎ−１］として表される面内予測モードを、面内予測モード候補として含めないことを意味する。すなわち、面内予測モード候補指定情報１７０が値［０ｘ０００７］である場合には、面内予測モード０〜２が面内予測モード候補として含まれる。また、面内予測モード候補指定情報１７０が値［０ｘ００１Ｆ］である場合には、面内予測モード０〜４が面内予測モード候補として含まれる。さらに、面内予測モード候補指定情報１７０が値［０ｘ０１ＦＦ］である場合には、面内予測モード０〜８のすべてが面内予測モード候補として含まれる。

これにより、面内予測符号化装置に与えられた資源量が増加した場合には、それを有効利用し、より多くの面内予測モード候補に対して面内予測を試行することが可能となる。なお、以上に示した面内予測モード候補指定情報１７０の決定方法は、面内予測モード候補数を切り替えるための一例にすぎず、面内予測符号化装置に与えられた資源量に対して面内予測モード候補数が単調増加するような面内予測モード候補指定情報１７０の決定方法であれば良い。

予測差分計算部１５２、符号化効率評価部１５３、面内予測モード決定部１５４、符号化部１５５に関しては、背景技術において説明した通りである。また、面内予測実行部１５１に関しては、第１実施形態において説明した通りである。

図１６は、面内予測符号化装置１５０ｄにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。

まず、面内予測符号化装置に与えられた資源量１７２としてのｎｕｍ＿ｃｙｃｌｅを取得する（ステップＳ５１）。この資源量ｎｕｍ＿ｃｙｃｌｅと、閾値ＴＨ１とを比較する（ステップＳ５２）。この結果、資源量ｎｕｍ＿ｃｙｃｌｅが閾値ＴＨ１以下である場合（ステップＳ５２でＹｅｓ）には、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，２，・・・８）のうち、３つの値を１に、それ以外を０に設定する（ステップＳ３５４）。それ以外の場合（ステップＳ５２でＮｏ）は、資源量ｎｕｍ＿ｃｙｃｌｅと閾値ＴＨ２とを比較する（ステップＳ５３）。この結果、資源量ｎｕｍ＿ｃｙｃｌｅが閾値ＴＨ２以下である場合（ステップＳ５３でＹｅｓ）は、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）のうち、５つの値を１に、それ以外を０に設定する（ステップＳ３５５）。そして、資源量ｎｕｍ＿ｃｙｃｌｅが閾値ＴＨ２よりも大きい場合（ステップＳ５３でＮｏ）は、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）をすべて１に設定する（ステップＳ３５６）。

以上により、面内予測モード候補指定情報１７０としてのｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値をあらかじめ設定しておき、加えて、変数ｍｉｎ＿ｃｏｓｔに、評価値１６６の取り得る最大値よりも大きい値を代入しておく（ステップＳ１１）。次に面内予測モード情報１６３をｍｏｄｅとして、ｍｏｄｅ＝０，１，・・・，８に対して（ステップＳ１２）、順次、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜１９）を実行する。その際、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｍｏｄｅ］が値［０］である場合には、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜１９）をスキップする（ステップＳ５７）。ｍｏｄｅ＝０，１，・・・，８に対する一連の手順を終了した後、符号化画像１６９を生成する（ステップＳ２０）。なお、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ１３〜Ｓ２０）に関しては、背景技術において説明した通りである。また、符号化の処理（ステップＳ２０）は、予測単位ブロックを単位とせず、いくつかの予測単位ブロックに対応する、最も評価値１６６の小さい面内予測モードを示す面内予測モード情報ｂｅｓｔ＿ｍｏｄｅ、およびその面内予測モードにおける予測差分画像ｂｅｓｔ＿ｄｉｆｆＩｍｇが求まって後、一括して実行するなどしてもよい。

なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。

以上のように、面内予測符号化装置に与えられた資源量が増加した場合には、それを有効利用し、より多くの面内予測モード候補に対して面内予測を試行することが可能となる。これによって、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。

なお、第２〜第４実施形態において記述したように、面内予測符号化装置に与えられた資源量そのものの代わりに、符号化画像サイズ情報、もしくは符号化フレームレート情報、もしくはピクチャの予測タイプ情報を参照してもよい。すなわち、符号化画像サイズもしくは、符号化フレームレートが小さい場合には面内予測候補数を増加させるようなしくみとすることで、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。

（第６実施形態）
図１７は、本発明の第６実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置１５０ｅは、面内予測モードの決定を行う際に、簡易的に面内予測符号化画像を作成する点に特徴を有している。

面内予測符号化装置１５０ｅは、図１７に示すように面内予測モード候補決定部１５６ａと、面内予測簡易実行部１９１と、符号化効率評価部１５３ｂと、面内予測モード決定部１５４ｂと、面内予測実行部１９２と、予測差分計算部１５２と、符号化部１５５とを備えている。

面内予測簡易実行部１９１は、面内予測モード候補指定情報１７０で指定された面内予測モード候補それぞれを用いて面内予測を時分割で順次実行する。このとき、面内予測簡易実行部１９１は、例えば図１８（ａ）に示すように対象ブロックのすべての画素ではなく、間引きを行った一部の画素について、面内予測用参照画素群１６２ａから各面内予測モードを用いて面内予測し、その予測画像を簡易面内予測画像１９３として出力する。さらに、面内予測簡易実行部１９１は、簡易面内予測画像１９３を生成する際に用いた予測モードに関する情報を、面内予測モード情報１６３として出力する。

符号化効率評価部１５３ｂは、簡易面内予測画像１９３を元に、符号化効率を計算する。例えば、簡易面内予測画像１９３の各画素値の絶対値和を計算し、これをもって評価値１６６として出力する。なお、簡易面内予測画像１９３以外の情報、例えば、周辺の符号化済みブロックの符号化データよりその面内予測モード情報をさらに参照して評価値１６６を計算するなどしてもよい。また、符号化部１５５において、周辺の符号化済みブロックの面内予測モードと、対象ブロックの面内予測モードとの差分を符号化するような方式を採用している場合、周辺の符号化済みブロックの面内予測モードをさらに参照するなどして評価値１６６を計算することが可能である。

面内予測モード決定部１５４ｂは、面内予測簡易実行部１９１において、時分割で順次試行される面内予測モードに対して、符号化効率評価部１５３ｂより出力される評価値１６６が最も小さい面内予測モードを、面内予測モード情報１６７として出力する。

面内予測実行部１９２は、面内予測モード情報１６７で指定された面内予測モードを用いて、面内予測用参照画素群１６２ｂから対象ブロックのすべての画素を面内予測し、その予測画像を面内予測画像１６４として出力する。

なお、面内予測モード候補決定部１５６ａは、第１実施形態において説明した通りである。また、予測差分計算部１５２、符号化部１５５に関しては、背景技術において説明した通りである。

図１９は、面内予測符号化装置１５０ｅにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。

まず、面内予測符号化装置に与えられた資源量ｎｕｍ＿ｃｙｃｌｅに基づいて面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｉ］（ｉ=０，１，・・・，８）の値を設定する処理（ステップＳ５１〜Ｓ５６）、および変数ｍｉｎ＿ｃｏｓｔに評価値１６６の取り得る最大値よりも大きい値を代入する処理（ステップＳ１１）については、第１実施形態と同様である。

次に、面内予測モード情報１６３をｍｏｄｅとして、ｍｏｄｅ＝０，１，・・・，８に対して（ステップＳ１２）、順次、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｍｏｄｅ］が値［０］であるか否かの判定を行う（ステップＳ５７）。この判定の結果、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｍｏｄｅ］が値［０］でない場合（ステップＳ５７でＮｏ）、対象ブロックの一部の画素について面内予測を行い、簡易面内予測画像１９３であるｐｒｅｄＩｍｇ’（ｍｏｄｅ）を生成する（ステップＳ５８）。次に、この簡易面内予測画像ｐｒｅｄＩｍｇ’（ｍｏｄｅ）に基づいて、面内予測モードｍｏｄｅに対応する評価値１６６であるｃｏｓｔ（ｍｏｄｅ）を計算する（ステップＳ５９）。この評価値ｃｏｓｔ（ｍｏｄｅ）を、値ｍｉｎ＿ｃｏｓｔと比較し（ステップＳ１６）、評価値ｃｏｓｔ（ｍｏｄｅ）の方がより小さい場合（ステップＳ１６でＹｅｓ）に、変数ｍｉｎ＿ｃｏｓｔに評価値ｃｏｓｔ（ｍｏｄｅ）を格納し（ステップＳ１７）、変数ｂｅｓｔ＿ｍｏｄｅに予測モード情報ｍｏｄｅを格納する（ステップＳ１８）。

また、面内予測モード候補指定情報ｖａｌｉｄ＿ｍｏｄｅ［ｍｏｄｅ］が値［０］である場合（ステップＳ５７でＹｅｓ）、面内予測画像ｐｒｅｄＩｍｇ（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ５８〜１８）をスキップする。

次に、簡易面内予測画像ｐｒｅｄＩｍｇ’（ｍｏｄｅ）の生成処理以降の一連の手順（ステップＳ５８〜ステップＳ１８）がｍｏｄｅ＝０，１，・・・，８に対して実行されると、面内予測モード情報ｂｅｓｔ＿ｍｏｄｅに対応する面内予測モードを用いて面内予測を行い、面内予測画像１６４であるｐｒｅｄＩｍｇ（ｂｅｓｔ＿ｍｏｄｅ）を生成する（ステップＳ６０）。続いて、生成した面内予測画像ｐｒｅｄＩｍｇ（ｂｅｓｔ＿ｍｏｄｅ）と、入力画像１６１との予測差分画像１６８であるｂｅｓｔ＿ｄｉｆｆＩｍｇを生成する（ステップＳ６１）。次に、この予測差分画像ｂｅｓｔ＿ｄｉｆｆＩｍｇと、面内予測モード情報ｂｅｓｔ＿ｍｏｄｅとに対して符号化を行い、符号化画像１６９を生成する（ステップＳ２０）。

なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。

以上のように、簡易的に作成した面内予測符号化画像を用いて、面内予測モード候補の中から面内予測モードを決定しているので、より少ない資源量で面内予測符号化を行うことができる。

また、本実施形態では、面内予測簡易実行部１９１において、対象ブロックのすべての画素ではなく、間引きを行った一部の画素について面内予測し、その予測画像を簡易面内予測画像１９３として出力を行っているが、これに限られるものではない。例えば、ブロック単位の処理がパイプライン処理される等によって対象ブロックの左および上に隣接する画素がまだ復号されていない場合等には、面内予測簡易実行部１９１は、図１８（ｂ）に示すように復号画素１９５に替えて入力画素１９６に基づいて、対象ブロックの画素を面内予測し、その予測画像を簡易面内予測画像１９３として出力を行っても構わない。また、例えば対象ブロックの左に隣接する画素が入力画素で、対象ブロックの上に隣接する画素が復号画素というように、復号画素および入力画素が混ざっていても構わない。

また、上記各実施形態において、面内予測モード候補決定部は、面内予測モード候補を決定する際に、水平解像度を落として符号化する場合、フィールド単位に符号化する場合、水平および垂直解像度を落として符号化する場合、等の状況に応じて面内予測モード候補を決定しても構わない。例えば、図２０（ａ）に示すように解像度を落とさずに符号化する場合が図２０（ｅ）に示すように面内予測モード候補が面内予測モード０〜４であるとすると、図２０（ｂ）に示すように水平解像度を落として符号化する場合に図２０（ｆ）に示すように面内予測モード候補を面内予測モード０〜２、５、７というように垂直方向の面内予測モードに偏って決定することが可能である。

また、図２０（ｃ）に示すようにフィールド単位に符号化する場合に図２０（ｇ）に示すように面内予測モード候補を面内予測モード０〜２、６、８というように水平方向の面内予測モードに偏って決定することが可能である。また、図２０（ｄ）に示すように水平および垂直解像度を落として符号化する場合に図２０（ｈ）に示すように面内予測モード候補をすべての面内予測モード０〜８というように決定することが可能である。

（第７実施形態）
図２１は、本発明の第７実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置３００は、面内予測を行う単位である面内予測単位（単位ブロックサイズ）におけるそれぞれの面内予測モード候補の決定を、面内予測符号化装置に与えられた資源量に基づいて切り替える点に特徴を有している。

面内予測符号化装置３００は、図２１に示すように４×４面内予測部３０１と、８×８面内予測部３０２と、１６×１６面内予測部３０３と、面内予測モード候補決定部３０４と、符号化部３０５とを備えている。

４×４面内予測部３０１、８×８面内予測部３０２、および１６×１６面内予測部３０３は、それぞれ第１実施形態の面内予測符号化装置１５０ａ（図１）の構成のうち符号化部１５５および面内予測モード候補決定部１５６ａ以外を備えている。なお、ここでは説明を省略する。

面内予測モード候補決定部３０４は、符号化画像サイズ情報に基づいて面内予測モード候補を決定し、４×４面内予測部３０１、８×８面内予測部３０２、および１６×１６面内予測部３０３へそれぞれ４×４面内予測モード候補指定情報、８×８面内予測モード候補指定情報、１６×１６面内予測モード候補指定情報を出力する。このとき、面内予測モード候補決定部３０４は、画像サイズ（＝画像横幅値×画像縦幅値）が大きい場合には全単位ブロックサイズの予測モード候補数の総和が小さくなるよう予測モード候補数を削減する。すなわち、４×４面内予測部３０１、８×８面内予測部３０２、および１６×１６面内予測部３０３すべてで必要な総処理量を削減する。なお、Ｎ×Ｎ面内予測（Ｎは自然数）とは、Ｎ×Ｎ画素ブロックを予測単位とした面内予測を意味する。ここでは、画像サイズが大きい場合は、小さい単位ブロックサイズを用いた予測方式における予測モード候補数を優先的に削減する。

図２２（ａ）〜（ｆ）は予測モード候補指定情報で指定される予測モード候補の数の一例を示す図である。ここで、各単位ブロックサイズの予測方式に関して、「○」は全予測モードを候補とし、「△」は予測モードの一部を候補とし、「×」は予測を行わないことを示している。また、画像サイズの「大」「中」「小」の分類については、所定の閾値を２つ用いて分類することができる。

例えば、図２２（ａ）に示す例では、画像サイズが「大」である場合に、４×４面内予測を行わない。また、図２２（ｂ）に示す例では、画像サイズが「大」である場合に、４×４面内予測を行わず、さらに８×８面内予測の候補を減らし、画像サイズが「中」である場合に、４×４面内予測の候補を減らしている。図２２（ａ）〜（ｆ）に示す例は、図２２（ａ）から図２２（ｆ）へ順に、全単位ブロックサイズの予測モード候補数の総和が少なくなる例を示している。また、図２２（ｄ）に示す例では、画像サイズ「中」→「大」で、８×８面内予測、１６×１６面内予測で共に予測モード候補を削減しているが、８×８面内予測の候補をより多く削減することで効率的な削減が可能となる。

また、全単位ブロックサイズの予測モード候補数の総和は、画像サイズに対し単調減少するように、画像サイズが「大」であるときに少なく、画像サイズが「小」であるときに多くなるように設定される。

符号化部３０５は、入力される４×４面内予測モード情報および４×４予測差分画像、８×８面内予測モード情報および８×８予測差分画像、または１６×１６面内予測モード情報および１６×１６予測差分画像を符号化処理し、符号化画像を出力する。符号化処理は、予測差分画像に関しては、ＤＣＴ変換などの周波数変換を行った後変換係数を量子化し、その値を可変長符号化あるいは算術符号化等によって符号化を行う。また、面内予測モード情報に関しては可変長符号化あるいは算術符号化等によって符号化を行う。

以上のように、画像サイズが大きい場合には全単位ブロックサイズの予測モード候補数の総和が小さくなるよう予測モード候補数を削減しているので、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。

なお、上記説明では、面内予測モード候補決定部３０４は、画像サイズが大きい場合に全単位ブロックサイズの予測モード候補数の総和が小さくなるよう予測モード候補数を削減しているが、これに限られるものではない。例えば、面内予測モード候補決定部３０４は、画像サイズが大きい場合に全単位ブロックサイズの予測モード候補数の総和が小さくなるよう予測モード候補数を削減するのに加えて、画像サイズが小さい場合は、大きい単位ブロックサイズを用いた予測方式における予測モード候補数を削減するようにしても構わない。

図２３（ａ）〜（ｄ）はこの場合の予測モード候補指定情報で指定される予測モード候補の数の一例を示す図である。ここで、図２２と同様に各単位ブロックサイズの予測方式に関して、「○」は全予測モードを候補とし、「△」は予測モードの一部を候補とし、「×」は予測を行わないことを示している。また、画像サイズの「大」「中」「小」の分類については、所定の閾値を２つ用いて分類することができる。

例えば、図２３（ａ）に示す例では、図２２（ｅ）に示す例を元にしており、画像サイズが「中」である場合に、８×８面内予測の候補を増やして１６×１６面内予測の候補を減らし、画像サイズが「小」である場合に、４×４面内予測の候補を増やして１６×１６面内予測の候補を減らしている。同様に、図２３（ｂ）に示す例では、図２２（ｅ）に示す例を元にしており、図２３（ｃ）、（ｄ）に示す例では、図２２（ｆ）に示す例を元にしている。

ここで、全単位ブロックサイズの予測モード候補数の総和は画像サイズに対し単調減少するように設定するため、大きい単位ブロックサイズの予測モード候補数を削減する代わりに、小さい単位ブロックサイズの予測モード候補数をさらに増加させることが可能となる。画像サイズが小さい場合は小さい単位ブロックサイズの予測の方が、予測効率が高い傾向にあるため、限られた処理量でより高画質な面内予測符号化を行うことが可能となる。

なお、上記各実施形態において、例えばバッテリ駆動時等では、装置の消費電力を減らすことで長時間駆動を実現できる。消費電力を減らすための方法として、装置の演算量を減らす方法が考えられる。これは、「与えられた資源量」を減らすことに相当する。すなわち、各実施の形態において、消費電力を減らす目的で、「与えられた資源量」を削減してもよい。

また、上記各実施形態において、面内予測モード候補決定部は、面内予測符号化装置に与えられた資源量に応じて、面内予測モード候補の数を「０」として、その面内予測方式での予測を行わず、他の面内予測方式、または面間予測方式等を用いて符号化しても構わない。

また、上記各実施形態において、符号化部は、さらに符号化効率の評価を行って、他の面内予測方式、または面間予測方式等を用いて符号化しても構わない。

（第８実施形態）
さらに、上記各実施形態で示した面内予測符号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２４は、本発明の第８実施形態として、上記第１実施形態から第７実施形態の面内予測符号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

図２４（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての面内予測符号化方法が記録されている。

また、図２４（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての面内予測符号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記面内予測符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ハードディスク、ＣＤ−ＲＯＭ、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（第９実施形態）
本発明の第９実施形態として、面内予測符号化装置、面内予測符号化方法、および面内予測符号化プログラムの応用例と、それを用いたシステムとを図２５〜図２８を用いて説明する。

図２５は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図２５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ
Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってモードちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。なお、コンテンツの符号化処理に際しては、上記実施形態の面内予測符号化装置、面内予測符号化方法、および面内予測符号化プログラムを用いても良い。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等は、上記実施形態で示した面内予測符号化装置および面内予測符号化プログラムを備えていてもよい。

一例として携帯電話について説明する。
図２６は、上記実施形態のメディアデータ表示装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図２７を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。

携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。

画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

なお、画像符号化部ｅｘ３１２は、上記実施形態の面内予測符号化装置としての機能を果たすものであっても良い。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。

また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

次に、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これを、ＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。

このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２８に示すようにディジタル放送用システムにも上記実施形態の面内予測符号化装置、面内予測符号化方法、および面内予測符号化プログラムを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報を放送用エンコーダｅｘ４３０およびカメラｅｘ４３０で符号化処理し、生成された符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、アンテナｅｘ４１１を有する車ｅｘ４１２で放送衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。ここで、放送用エンコーダｅｘ４３０およびカメラｅｘ４３０などの装置が上記実施形態の面内予測符号化装置を備えていてもよい。また、上記実施形態の面内予測符号化方法を用いるものであってもよい。さらに、上記実施形態の面内予測符号化プログラムを備えていてもよい。

さらに、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。さらにＳＤカードｅｘ４２２に記録することもできる。また、レコーダｅｘ４２０の他に、コンピュータｅｘ４０３やカーナビゲーションｅｘ４１３に、前記記録媒体に画像信号を符号化して記録する機能を持たせることも可能である。なお、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２などに記録する際に、画像信号を上記実施形態の面内予測符号化装置を介して記録することも可能である。

カーナビゲーションｅｘ４１３の構成は例えば図２７に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３を除いた構成が考えられ、同様なことがレコーダｅｘ４２０やコンピュータｅｘ１１１等でも考えられる。

また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施形態の面内予測符号化装置、面内予測符号化方法、および面内予測符号化プログラムを上述したいずれの機器・システムにも用いることが可能であり、上記実施形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

また、各実施形態の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明に係る面内予測符号化方法および面内予測符号化装置は、ソフトウェアによる処理負荷またはハードウェア処理サイクル数の最大値を増大させずに符号化効率を向上させることができ、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等で、動画像を構成する各ピクチャを符号化するのに有用である。

本発明の第１実施形態に係る面内予測符号化装置の構成を示すブロック図である。 第１実施形態の面内予測モード候補決定部の構成を示すブロック図である。 第１実施形態の面内予測実行部の構成を示すブロック図である。 第１実施形態の面内予測符号化装置における面内予測符号化方法を説明するフローチャートである。 本発明の第２実施形態に係る面内予測符号化装置の構成を示すブロック図である。 第２実施形態の面内予測モード候補決定部の構成を示すブロック図である。 第２実施形態の面内予測符号化装置における面内予測符号化方法を説明するフローチャートである。 本発明の第３実施形態に係る面内予測符号化装置の構成を示すブロック図である。 第３実施形態の面内予測モード候補決定部の構成を示すブロック図である。 第３実施形態の面内予測符号化装置における面内予測符号化方法を説明するフローチャートである。 本発明の第４実施形態に係る面内予測符号化装置の構成を示すブロック図である。 第４実施形態の面内予測モード候補決定部の構成を示すブロック図である。 第４実施形態の面内予測符号化装置における面内予測符号化方法を説明するフローチャートである。 本発明の第５実施形態に係る面内予測符号化装置の構成を示すブロック図である。 第５実施形態の面内予測モード候補決定部の構成を示すブロック図である。 第５実施形態の面内予測符号化装置における面内予測符号化方法を説明するフローチャートである。 本発明の第６実施形態に係る面内予測符号化装置の構成を示すブロック図である。 （ａ）第６実施形態における予測画素の例を示す図、（ｂ）第６実施形態における参照画素の例を示す図である。 第６実施形態の面内予測符号化装置における面内予測符号化方法を説明するフローチャートである。 解像度およびそれに対応する面内予測モード候補の例を示す図である。 本発明の第７実施形態に係る面内予測符号化装置の構成を示すブロック図である。 （ａ）〜（ｆ）予測モード候補指定情報で指定される予測モード候補の数の一例を示す図である。 （ａ）〜（ｄ）予測モード候補指定情報で指定される予測モード候補の数の一例を示す図である。 各実施の形態の面内予測符号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の一例を示す図である。 携帯電話の内部構成を示すブロック図である。 ディジタル放送用システムの全体構成を示すブロック図である。 ４×４面内予測の予測モードを示す図である。 １６×１６面内予測の予測モードを示す図である。 従来の面内予測符号化装置１００の構成を示すブロック図である。 面内予測実行部の構成を示すブロック図である。 予測差分計算部の構成を示すブロック図である。 符号化効率評価部の構成を示すブロック図である。 面内予測モード決定部の構成を示すブロック図である。 従来の面内予測符号化装置における面内予測符号化方法を説明するフローチャートである。

符号の説明

１００，１５０ａ〜ｆ，３００ 面内予測符号化装置
１０１，１５１，１９２ 面内予測実行部
１５２ 予測差分計算部
１５３，１５３ｂ 符号化効率評価部
１５４，１５４ｂ 面内予測モード決定部
１５５，３０５ 符号化部
１５６ａ〜ｄ，１５６ｆ，３０４ 面内予測モード候補決定部
１９１ 面内予測簡易実行部
３０１ ４×４面内予測部
３０２ ８×８面内予測部
３０３ １６×１６面内予測部

Claims (18)

1. 対象ブロックに隣接する符号化済みの復号画素をどのように用いて面内予測画像を生成するかを示す複数の面内予測モードのうち、面内予測符号化のために与えられた資源量が多くなるに従って、より多くの資源量を用いて、面内予測モード候補を、少なくとも１つ決定する面内予測モード候補決定ステップと、
   前記対象ブロックに対して、前記面内予測モード候補決定ステップにより決定された前記面内予測モード候補の面内予測モードで面内予測を実行し、面内予測画像を生成する面内予測実行ステップと、
   前記対象ブロックの入力画像と、前記面内予測実行ステップにより生成された前記面内予測画像との、各画素の差分値を各画素値として持つ差分画像を生成する予測差分計算ステップと、
   前記予測差分計算ステップにより生成された前記差分画像に基づいて、対応する前記面内予測モードを用いて符号化した場合の符号化効率の評価値を算出する符号化効率評価ステップと、
   前記符号化効率評価ステップにより算出された前記評価値に基づいて、前記面内予測モード候補の中から前記対象ブロックを符号化する面内予測モードを決定する面内予測モード決定ステップと、
   前記面内予測モード決定ステップにより決定された前記面内予測モードを示す面内予測モード情報と、前記面内予測モード決定ステップにより決定された前記面内予測モードを用いて面内予測を行った前記面内予測画像に対応する前記差分画像を符号化する符号化ステップと
   を含むことを特徴とする面内予測符号化方法。
2. 前記面内予測モード候補決定ステップでは、前記対象ブロック内の画像のエッジ方向を抽出し、前記エッジ方向に基づいて前記面内予測モード候補を決定する
   ことを特徴とする請求項１記載の面内予測符号化方法。
3. 前記面内予測モード候補決定ステップでは、前記エッジ方向により近い予測方向を有する面内予測モードを、前記エッジ方向からより遠い予測方向を有する面内予測モードよりも優先的に前記面内予測モード候補として決定する
   ことを特徴とする請求項２記載の面内予測符号化方法。
4. 前記面内予測モード候補決定ステップでは、予測方向を有さない面内予測モードを優先的に前記面内予測モード候補として決定する
   ことを特徴とする請求項１記載の面内予測符号化方法。
5. 前記面内予測モード候補決定ステップでは、フィールド符号化である場合に、予測の方向が水平方向により近い面内予測モードを、予測の方向が水平方向からより遠い面内予測モードよりも優先的に前記面内予測モード候補として決定する
   ことを特徴とする請求項１記載の面内予測符号化方法。
6. 前記面内予測モード候補決定ステップでは、解像度を落として符号化される際の画像の縦横縮尺比が横長の場合は、予測の方向が水平方向により近い面内予測モードを、予測の方向が水平方向からより遠い面内予測モードより優先的に前記面内予測モード候補として決定し、前記縦横縮尺比が縦長の場合は、予測の方向が垂直方向により近い面内予測モードを、予測の方向が垂直方向からより遠い面内予測モードより優先的に前記面内予測モード候補として決定する
   ことを特徴とする請求項１記載の面内予測符号化方法。
7. 前記面内予測モードは、前記対象ブロックのブロックサイズである面内予測単位であり、
   前記面内予測モード候補決定ステップでは、前記資源量に応じて面内予測単位候補を決定し、
   前記面内予測モード決定ステップでは、前記評価値に基づいて、前記面内予測単位候補の中から面内予測単位を決定する
   ことを特徴とする請求項１記載の面内予測符号化方法。
8. 前記面内予測モード候補決定ステップでは、前記資源量に応じて前記面内予測モード候補の決定方法を、複数の決定方法の中から選択する
   ことを特徴とする請求項１記載の面内予測符号化方法。
9. 前記面内予測モード候補決定ステップでは、前記資源量に応じて前記面内予測モード候補の数を変更する
   ことを特徴とする請求項１記載の面内予測符号化方法。
10. 前記面内予測モード候補決定ステップでは、決定基準に前記資源量に換えて符号化対象である入力画像の水平画素数と垂直画素数との積を用い、前記符号化対象である入力画像の水平画素数と垂直画素数との積が小さい場合には、多くの資源量を用いて、面内予測モード候補を決定する
    ことを特徴とする請求項１記載の面内予測符号化方法。
11. 前記面内予測モード候補決定ステップでは、前記水平画素数と前記垂直画素数との積が小さくなるにしたがって、前記面内予測モード候補の数を増加する
    ことを特徴とする請求項１０記載の面内予測符号化方法。
12. 前記面内予測モード候補決定ステップでは、決定基準に前記資源量に換えて符号化対象である入力画像の単位時間あたりに符号化するフレームまたはフィールドの枚数を用い、前記符号化対象である入力画像の単位時間あたりに符号化するフレームまたはフィールドの枚数が少ない場合には、多くの資源量を用いて、面内予測モード候補を決定する
    ことを特徴とする請求項１記載の面内予測符号化方法。
13. 前記面内予測モード候補決定ステップでは、前記フレームまたは前記フィールドの枚数が少なくなるにしたがって、前記面内予測モード候補の数を増加する
    ことを特徴とする請求項１２記載の面内予測符号化方法。
14. 前記面内予測モード候補決定ステップでは、決定基準に前記資源量に換えて符号化対象である入力画像のピクチャの予測タイプを用い、前記符号化対象である入力画像のピクチャの予測タイプが、１つまたは複数のピクチャを参照して予測画像を生成する画面間予測を行う予測タイプＢである場合に、少ない資源量を用いて、面内予測モード候補を決定し、前記予測タイプが１つのピクチャを参照して予測画像を生成する画面間予測を行う予測タイプＰである場合に、中程度の資源量を用いて、面内予測モード候補を決定し、前記予測タイプが画面間予測を行わない予測タイプＩである場合に、多くの資源量を用いて、面内予測モード候補を決定する
    ことを特徴とする請求項１記載の面内予測符号化方法。
15. 前記面内予測モード候補決定ステップでは、前記予測タイプＢ、前記予測タイプＰ、前記予測タイプＩの順に前記面内予測モード候補の数を単調増加する
    ことを特徴とする請求項１４記載の面内予測符号化方法。
16. 対象ブロックに隣接する符号化済みの復号画素をどのように用いて画面内予測画像を生成するかを示す複数の画面内予測モードのうち、面内予測符号化のために与えられた資源量が多くなるに従って、より多くの資源量を用いて、面内予測モード候補を、少なくとも１つ決定する、面内予測モード候補決定手段と、
    前記対象ブロックに対して、前記面内予測モード候補決定手段により決定された前記面内予測モード候補の面内予測モードで面内予測を実行し、面内予測画像を生成する面内予測実行手段と、
    前記対象ブロックの入力画像と、前記面内予測実行手段により生成された前記面内予測画像との、各画素の差分値を各画素値として持つ差分画像を生成する予測差分計算手段と、
    前記予測差分計算手段により生成された前記差分画像に基づいて、対応する前記面内予測モードを用いて符号化した場合の符号化効率の評価値を算出する符号化効率評価手段と、
    前記符号化効率評価手段により算出された前記評価値に基づいて、前記面内予測モード候補の中から前記対象ブロックを符号化する面内予測モードを決定する面内予測モード決定手段と、
    前記面内予測モード決定手段により決定された前記面内予測モードを示す面内予測モード情報と、前記面内予測モード決定手段により決定された前記面内予測モードを用いて面内予測を行った前記面内予測画像に対応する前記差分画像を符号化する符号化手段と
    を含むことを特徴とする面内予測符号化装置。
17. 符号化対象である入力画像を面内予測符号化するためのプログラムであって、
    対象ブロックに隣接する符号化済みの復号画素をどのように用いて画面内予測画像を生成するかを示す複数の画面内予測モードのうち、面内予測符号化のために与えられた資源量が多くなるに従って、より多くの資源量を用いて、面内予測モード候補を、少なくとも１つ決定する面内予測モード候補決定ステップと、
    前記対象ブロックに対して、前記面内予測モード候補決定ステップにより決定された前記面内予測モード候補の面内予測モードで面内予測を実行し、面内予測画像を生成する面内予測実行ステップと、
    前記対象ブロックの入力画像と、前記面内予測実行ステップにより生成された前記面内予測画像との、各画素の差分値を各画素値として持つ差分画像を生成する予測差分計算ステップと、
    前記予測差分計算ステップにより生成された前記差分画像に基づいて、対応する前記面内予測モードを用いて符号化した場合の符号化効率の評価値を算出する符号化効率評価ステップと、
    前記符号化効率評価ステップにより算出された前記評価値に基づいて、前記面内予測モード候補の中から前記対象ブロックを符号化する面内予測モードを決定する面内予測モード決定ステップと、
    前記面内予測モード決定ステップにより決定された前記面内予測モードを示す面内予測モード情報と、前記面内予測モード決定ステップにより決定された前記面内予測モードを用いて面内予測を行った前記面内予測画像に対応する前記差分画像を符号化する符号化ステップと
    をコンピュータに実行させることを特徴とするプログラム。
18. 対象ブロックに隣接する符号化済みの復号画素をどのように用いて画面内予測画像を生成するかを示す複数の画面内予測モードのうち、面内予測符号化のために与えられた資源量が多くなるに従って、より多くの資源量を用いて、面内予測モード候補を、少なくとも１つ決定する面内予測モード候補決定手段と、
    前記対象ブロックに対して、前記面内予測モード候補決定手段により決定された前記面内予測モード候補の面内予測モードで面内予測を実行し、面内予測画像を生成する面内予測実行手段と、
    前記対象ブロックの入力画像と、前記面内予測実行手段により生成された前記面内予測画像との、各画素の差分値を各画素値として持つ差分画像を生成する予測差分計算手段と、
    前記予測差分計算手段により生成された前記差分画像に基づいて、対応する前記面内予測モードを用いて符号化した場合の符号化効率の評価値を算出する符号化効率評価手段と、
    前記符号化効率評価手段により算出された前記評価値に基づいて、前記面内予測モード候補の中から前記対象ブロックを符号化する面内予測モードを決定する面内予測モード決定手段と、
    前記面内予測モード決定手段により決定された前記面内予測モードを示す面内予測モード情報と、前記面内予測モード決定手段により決定された前記面内予測モードを用いて面内予測を行った前記面内予測画像に対応する前記差分画像を符号化する符号化手段と
    を備えることを特徴とする集積回路。

Images