JP6295805B2 - 画像符号化方法、画像符号化装置および画像符号化プログラム - Google Patents

Description

本発明は、画像符号化方法、画像符号化装置および画像符号化プログラムに関する。

例えば、ＨＥＶＣ（High Efficiency Video Coding）の符号化の規格に基づいて、Ｈ．２６４等の規格と比べて、動画を効率良く符号化する技術が提案されている（特許文献１，２参照）。

特開２０１３−３４１６０号公報 特開２０１３−１５０１７８号公報

ところで、ＨＥＶＣの規格では、１枚の画像の輝度成分Ｙを間引かずに、色差成分Ｃｂ，Ｃｒのそれぞれを水平方向および垂直方向に２分の１に間引く色差フォーマット４：２：０の他に、色差フォーマット４：２：２が定義されている。ここで、色差フォーマット４：２：２は、１枚の画像の輝度成分Ｙを間引かずに、色差成分Ｃｂ，Ｃｒのそれぞれを水平方向につき２分の１に間引く画像フォーマットである。

色差フォーマット４：２：０の場合、輝度Ｙの画像および色差Ｃｂ，Ｃｒの画像は、互いに同様の形状を有するため、画像の構造を示すエッジ量等の特徴量は、輝度Ｙの画像と色差Ｃｂ，Ｃｒの画像においてほぼ同様に分布する。そのため、輝度Ｙの画像と色差Ｃｂ，Ｃｒの画像とのそれぞれにおけるイントラ予測で得られる予測方向も互いに類似した方向を示す。したがって、色差Ｃｂ，Ｃｒの画像におけるイントラ予測の予測方向として、輝度Ｙの画像の予測方向を用いるＤＭ（Direct Mode）を適用することで、色差Ｃｂ，Ｃｒの画像のイントラ予測の符号量を削減することが可能である。

一方、色差フォーマット４：２：２の場合、輝度Ｙの画像と色差Ｃｂ，Ｃｒの画像とは互いに異なる形状を有するため、エッジ量等の特徴量は、輝度と色差との画像において互いに異なる分布を示す。このため、輝度Ｙの画像と色差Ｃｂ，Ｃｒの画像のそれぞれにおけるイントラ予測で得られる予測方向は、互いにずれてしまう。

そこで、ＨＥＶＣの規格では、輝度Ｙの画像と色差Ｃｂ，Ｃｒの画像とが互いに異なる形状を有する場合、輝度Ｙの画像と色差Ｃｂ，Ｃｒの画像とのそれぞれにおけるイントラ予測の方向のずれを補正するテーブルが予め定義されている。そして、定義されたテーブルを用いて、色差Ｃｂ，Ｃｒの画像におけるイントラ予測で得られる予測方向を輝度Ｙの画像におけるイントラ予測で定義された予測方向に置き換えることで、符号化効率の高いＤＭによる符号化を可能にしている。しかしながら、ＨＥＶＣ規格で定義されたテーブルを用いた予測方向の置き換えを行っても、水平方向あるいは垂直方向から離れるに従い、置き換えられた予測方向と実際の色差Ｃｂ，Ｃｒの画像におけるイントラ予測で得られた予測方向とのずれが大きくなる。このため、例えば、色差フォーマット４：２：２の画像のように、輝度Ｙの画像と色差Ｃｂ，Ｃｒの画像とが異なる形状を有する画像の符号化効率は、輝度Ｙの画像と色差Ｃｂ，Ｃｒの画像とが同じ形状である場合に比べて悪くなることがある。

一つの側面では、本発明は、従来と比べて画像を効率良く符号化することを目的とする。

一の態様では、画像符号化方法は、輝度の画像と異なる形状の色差の画像におけるイントラ予測の予測方向を処理単位ごとに求め、求めた予測方向が所定の第１方向の場合に、第１方向と逆向きを示す輝度のイントラ予測で定義された第２方向で処理単位における色差の画像をイントラ予測し、イントラ予測の結果に基づいて色差の画像を符号化する。

別の態様では、画像符号化方法は、色差の画像と異なる形状の輝度の画像におけるイントラ予測の予測方向を処理単位ごとに求め、求めた予測方向が所定の第１方向の場合に、第１方向と逆向きを示す色差のイントラ予測で定義された第２方向で処理単位における色差の画像をイントラ予測し、イントラ予測の結果に基づいて色差の画像を符号化する。

別の態様では、画像符号化装置は、輝度の画像と異なる形状の色差の画像におけるイントラ予測の予測方向を処理単位ごとに求め、求めた予測方向が所定の第１方向の場合に、第１方向と逆向きを示す輝度のイントラ予測で定義された第２方向で処理単位における色差の画像をイントラ予測する予測部と、イントラ予測の結果に基づいて色差の画像を符号化する符号化部と、を有する。

別の態様では、画像符号化装置は、色差の画像と異なる形状の輝度の画像におけるイントラ予測の予測方向を処理単位ごとに求め、求めた予測方向が所定の第１方向の場合に、第１方向と逆向きを示す色差のイントラ予測で定義された第２方向で処理単位における色差の画像をイントラ予測する予測部と、イントラ予測の結果に基づいて色差の画像を符号化する符号化部と、を有する。

別の態様では、画像符号化プログラムは、輝度の画像と異なる形状の色差の画像におけるイントラ予測の予測方向を処理単位ごとに求め、求めた予測方向が所定の第１方向の場合に、第１方向と逆向きを示す輝度のイントラ予測で定義された第２方向で処理単位における色差の画像をイントラ予測し、イントラ予測の結果に基づいて色差の画像を符号化する、処理をコンピュータに実行させる。

別の態様では、画像符号化プログラムは、色差の画像と異なる形状の輝度の画像におけるイントラ予測の予測方向を処理単位ごとに求め、求めた予測方向が所定の第１方向の場合に、第１方向と逆向きを示す色差のイントラ予測で定義された第２方向で処理単位における色差の画像をイントラ予測し、イントラ予測の結果に基づいて色差の画像を符号化する、処理をコンピュータに実行させる。

本件開示の画像符号化方法、画像符号化装置および画像符号化プログラムは、従来と比べて画像を効率良く符号化することができる。

画像符号化装置の一実施形態を示す図である。 ４種類のブロックの関係の例を示す図である。 ４種類のブロックの関係の例の続きを示す図である。 ＨＥＶＣの規格における方向性予測モードで定義された３３通りの予測方向の例を示す図である。 ＨＥＶＣの規格における補正テーブルの例を示す図である。 修正された補正テーブルの例を示す図である。 図１に示した予測部がＰＵの予測画像を生成する処理の例を示す図である。 図１に示した画像符号化装置における符号化処理の例を示す図である。 画像符号化装置の別実施形態を示す図である。 ＨＥＶＣの規格における輝度Ｙの予測モード２−３４が示す方向の例を示す図である。 図９に示した予測部がＰＵの大きさの予測画像を生成する処理の例を示す図である。 図９に示した予測部がＰＵの大きさの予測画像を生成する処理の例の続きを示す図である。 画像符号化装置の別実施形態を示す図である。 図１３に示した予測部がＰＵの大きさの予測画像を生成する処理の例を示す図である。 図１３に示した予測部がＰＵの大きさの予測画像を生成する処理の例の続きを示す図である。 図１、図９および図１３に示した画像符号化装置のハードウェア構成の例を示す図である。

以下、図面を用いて実施形態を説明する。

図１は、画像符号化装置の一実施形態を示す。

図１に示す画像符号化装置１００は、予測部１０および符号化部２０を含む。画像符号化装置１００は、有線または無線を介して撮像装置３０および記憶装置４０に接続される。

例えば、撮像装置３０は、カメラ等であり、被写体を撮影した画像に含まれる各画素の輝度Ｙ及び色差Ｃｂ，Ｃｒを、例えば、４：２：２形式の色差フォーマットの画像に変換し、変換した画像を出力する。撮像装置３０は、輝度Ｙおよび色差Ｃｂ，Ｃｒの画像を、色差フォーマットの種類を示す情報を付加して画像符号化装置１００に出力する。なお、画像符号化装置１００が受ける画像は、静止画像でもよいし、毎秒数コマから数十コマのフレームレートで撮影された動画でもよい。また、４：２：２形式の色差フォーマットの場合、撮像装置３０は、例えば、水平方向が１９２０画素、垂直方向が１０８０画素等の画像を、同じ画素数の輝度Ｙの画像と、水平方向の画素数を半分にした色差Ｃｂ，Ｃｒの画像とに変換し、変換した画像を出力する。また、撮像装置３０が画像符号化装置１００に接続されたが、これに限定されない。例えば、撮影された動画等の画像を同等の色差フォーマットで格納したハードディスク装置あるいは光ディスク等のリムーバブルディスクが装着可能な光学ドライブ装置等の記憶装置が画像符号化装置１００に接続されてもよい。この場合、画像符号化装置１００は、画像を示すデジタル信号を、撮像装置３０の代わりに画像符号化装置１００に接続された記憶装置から受ける。

例えば、記憶装置４０は、ハードディスク装置あるいは光ディスク等のリムーバブルディスクが装着可能な光学ドライブ装置等であり、画像符号化装置１００により符号化された画像を、予め割り当てられた格納領域に格納する。なお、符号化された画像は、記憶装置４０に格納されたが、ネットワーク等に送信されてもよい。

例えば、予測部１０は、撮像装置３０から受けた輝度Ｙおよび色差Ｃｂ，Ｃｒの画像のそれぞれを輝度Ｙと色差Ｃｂ，Ｃｒとで異なる形状を有する処理単位ごとに、輝度Ｙおよび色差Ｃｂ，Ｃｒの画像のイントラ予測の予測方向を求める。例えば、予測部１０は、求めた色差Ｃｂ，Ｃｒの画像の予測方向が予め設定された所定の方向である場合、求めた予測方向と逆向きの輝度Ｙで定義された予測方向を用いて処理単位における色差Ｃｂ，Ｃｒの画像をイントラ予測する。すなわち、予測部１０は、求めた色差Ｃｂ，Ｃｒの画像の予測方向が所定の方向である場合、求めた予測方向を、輝度Ｙのイントラ予測で定義された予測方向の中で予測された方向と逆向きの予測方向を用いて置き換える。なお、予測方向の置き換えについては、図４から図６を用いて説明する。また、予測部１０は、求めた予測方向または置き換え後の輝度Ｙの予測方向を用いてイントラ予測を行い、色差Ｃｂ，Ｃｒの画像における処理単位に対応する予測画像を生成する。そして、予測部１０は、生成した予測画像と処理単位との差分を示す差分画像および予測画像の生成に用いた予測方向を、イントラ予測の結果として、符号化部２０に出力する。予測部１０の動作については、図２から図６で説明する。

ここで、例えば、色差フォーマットが４：２：２の場合、ＨＥＶＣの規格で規定された輝度Ｙの処理単位の形状は、１６画素×１６画素、３２画素×３２画素および６４画素×６４画素のいずれかの縦方向と横方向との画像数が同数の形状である。一方、色差Ｃｂ，Ｃｒの処理単位の形状は、８画素×１６画素、１６画素×３２画素および３２画素×６４画素のいずれかの横方向の画素数に比べて縦方向の画素数が多い形状である。

符号化部２０は、予測部１０によるイントラ予測により、輝度Ｙの画像における処理単位及び色差Ｃｂ，Ｃｒの画像における処理単位ごとに求められた差分画像を符号化する。符号化部２０の動作については、図３から図５で説明する。

ここで、例えば、ＨＥＶＣの規格では、輝度Ｙおよび色差Ｃｂ，Ｃｒの画像イントラ予測する処理単位として、４種類のブロックが規定されている。４種類のブロックには、ＣＴＵ（Cording Tree Unit）、ＣＵ（Cording Unit）、ＰＵ（Prediction Unit）およびＴＵ（Transform Unit）がある。

図２および図３は、４種類のブロックの関係の例を示す。なお、図２および図３は、輝度Ｙの画像における処理単位の例を示すが、色差Ｃｂ，Ｃｒの画像における処理単位として生成されるブロック相互の関係は、ブロックの縦方向の画素数が横方向の２倍である点を除き同様である。

例えば、ＣＴＵ６０は、ＨＥＶＣの規格において符号化処理の処理単位を示すブロックであり、図１に示した予測部１０により輝度Ｙの画像を分割することで生成される処理単位に相当する。また、ＣＴＵ６０は、ＣＴＵ６０を４分木分割して得られるＣＵ６５（６５（１）−６５（３））の集合体である。

例えば、ＣＵ６５（１）は、ＣＴＵ６０を４分木分割したブロックである。また、ＣＵ６５（２）は、ＣＵ６５（１）の一つを４分木分割したブロックであり、ＣＵ６５（３）は、ＣＵ６５（２）の一つを４分木分割したブロックである。例えば、ＣＴＵ６０が被写体の動きあるいはエッジ量が所定値以上の複雑な絵柄を示す場合、ＣＴＵ６０内の位置に応じて、予測誤差が最小となる予測方向が変化する。すなわち、予測部１０は、複雑な絵柄を示すＣＴＵ６０について、予測誤差が最小となる１つの予測方向を特定することが困難となる。ＣＴＵ６０が複雑な絵柄を示す場合を想定して、予測部１０は、ＣＴＵ６０を４分木分割し、ＣＵ６５（１）からＣＵ６５（３）ごとに予測誤差が最小となる予測方向を求める。なお、輝度ＹのＣＵ６５（１）は、８画素×８画素、１６画素×１６画素および３２画素×３２画素のいずれかの大きさを有する。また、色差Ｃｂ，ＣｒのＣＵ６５（１）は、４画素×８画素、８画素×１６画素または１６画素×３２画素のいずれかの大きさを有する。なお、輝度ＹのＣＵ６５（２）は、８画素×８画素または１６画素×１６画素の大きさを有し、輝度ＹのＣＵ６５（３）は、８画素×８画素の大きさを有する。また、色差Ｃｂ，ＣｒのＣＵ６５（２）は、４画素×８画素または８画素×１６画素の大きさを有し、色差Ｃｂ，ＣｒのＣＵ６５（３）は、４画素×８画素の大きさを有する。

例えば、図３に示すＴＵ７０−７２は、ＣＵ６５（１）のブロックに含まれ、符号化部２０における直交変換で用いられる基本単位である。ＴＵ７０−７２は、ＣＵ６５（１）のブロックを４分木分割したブロックであり、ＣＵ６５（１）の大きさに応じて、４画素×４画素、８画素×８画素、１６画素×１６画素および３２画素×３２画素のいずれかの大きさを有する。

例えば、図３に示すＰＵ８０（８０（１）−８０（８））は、ＣＵ６５（１）に含まれ、予測部２０におけるイントラ予測等の予測処理で用いられる基本単位である。ＰＵ８０は、ＨＥＶＣの規格に規定される方式で分割される。すなわち、ＰＵ８０（１）は、ＣＵ６５（１）と同じ大きさを有するブロックであり、ＰＵ８０（２）は、ＣＵ６５（１）を４分木分割した４つのブロックを有する。また、ＰＵ８０（３）は、ＣＵ６５（１）を垂直方向に２等分した２つのブロックを有し、ＰＵ８０（４）は、ＣＵ６５（１）を水平方向に２等分した２つのブロックを有する。ＰＵ８０（５）は、ＣＵ６５（１）を垂直方向に１：３で分割した２つのブロックを有し、ＰＵ８０（６）は、ＣＵ６５（１）を垂直方向に３：１で分割した２つのブロックを有する。また、ＰＵ８０（７）は、ＣＵ６５（１）を水平方向に１：３で分割した２つのブロックを有し、ＰＵ８０（８）は、ＣＵ６５（１）を水平方向に３：１で分割した２つのブロックを有する。なお、予測部２０は、イントラ予測においてＰＵ８０（１）およびＰＵ８０（２）を用いる。

例えば、ＨＥＶＣの規格におけるイントラ予測では、予め定義された３５通りの予測モードを有する。予測部１０は、ＣＴＵ６０に含まれるＰＵ８０の処理単位ごとに、３５通りの予測モードのそれぞれで予測画像を求める。そして、予測部１０は、求めた予測画像とＰＵ８０における画像との間の差分から求められる予測誤差に基づいて、例えば、最小の予測誤差を与える１つの予測モードを選択する。３５通りの予測モードには、画素補間で予測画像を生成するＰｌａｎａｒ予測、周囲の画素の平均値を予測画像とするＤＣ（Direct Current）予測が含まれる。さらに、３５通りの予測モードには、３３通りの方向のいずれかで選択された方向にある画素を用いて予測画像を生成する方向性（Angular）予測が含まれる。そして、Ｐｌａｎａｒ予測は予測モード０、ＤＣ予測は予測モード１、方向性予測は方向に応じて予測モード２−３４と称される。なお、予測部１０は、輝度Ｙおよび色差Ｃｂ，Ｃｒの予測モードが互いに一致する場合、色差Ｃｂ，Ｃｒの予測モードとして輝度Ｙの予測モードを選択する。これは、ＤＭ（Direct Mode）モードと称される。一方、予測部１０は、輝度Ｙと色差Ｃｂ，Ｃｒとの予測モードが互いに異なる場合、色差Ｃｂ，Ｃｒの予測モードとして、輝度Ｙとは独立にＰｌａｎａｒ予測、ＤＣ予測、水平方向予測（予測モード１０）、垂直方向予測（予測モード２６）および予測モード３４の中から選択する。予測部１０によるＰｌａｎａｒ予測、ＤＣ予測および方向性予測の動作については、図４から図６で説明する。

図４は、ＨＥＶＣの規格における方向性予測モードで定義された３３通りの予測方向の例を示す。図４（ａ）は、例えば、輝度のＰＵ８０において予め定義された３３通りの予測方向を示し、図４（ｂ）は、色差Ｃｂ，ＣｒのＰＵ８０において予め定義された３３通りの予測方向を示す。以下の説明において、図４に示した各予測方向の向きは、矢印Ｄａ、Ｄｂでそれぞれ示した水平方向の右向きを０度の方向とし、反時計回りに０度から３６０度の角度で定義される。

図４（ａ）に示すように、４：２：２の色差フォーマットでは、輝度Ｙの画像に含まれるＰＵ８０は正方形の形状を有し、色差Ｃｂ，Ｃｒの画像に含まれるＰＵ８０は、輝度ＹのＰＵ８０を水平方向に半分にした長方形の形状を有する。このため、輝度Ｙについてのイントラ予測で用いる予測モード２−３４の各々は、時計回りに２２５度から４５度の方向を示すのに対し、色差Ｃｂ，Ｃｒのイントラ予測に用いる予測モード２−３４の各々は、２４３度から６３度の方向を示す。すなわち、予測モード１０（１８０度）および予測モード２６（９０度）以外の予測モードは、輝度Ｙと色差Ｃｂ，Ｃｒとのそれぞれにおけるイントラ予測で、同じ番号の方向性予測モードにより示される角度の間にずれが生じる。そこで、ＨＥＶＣの規格では、輝度Ｙおよび色差Ｃｂ，Ｃｒの各々のイントラ予測で用いられる各予測モードを示す角度の間のずれを考慮して、色差Ｃｂ，Ｃｒのイントラ予測における各予測モードを置き換えるための補正テーブルが予め定義されている。

図５は、ＨＥＶＣの規格における補正テーブル１１０の例を示す。補正テーブル１１０は、色差の予測モードの格納領域と輝度の予測モードの格納領域とを有する。色差の予測モードの格納領域には、色差Ｃｂ，Ｃｒについてのイントラ予測において定義された予測モード２−３４を示す番号が格納される。また、輝度の予測モードの格納領域には、対応する色差Ｃｂ，Ｃｒの予測モードの置き換えに用いられる輝度Ｙの予測モードを示す番号が格納される。補正テーブル１１０では、予測モード１０（１８０度）と予測モード２６（９０度）を除き、色差Ｃｂ，Ｃｒにおける予測モード２−９，１１−２５，２７−３４は、輝度Ｙの予測モード２−８，１２−２５，２７−３１のいずれかで置き換えられることを示す。ここで、輝度Ｙについてのイントラ予測では、２４３度から２２５度の方向を示す予測モードが定義されていないことから、図５に示した補正テーブル１１０では、色差予測モード２−５は、１つの輝度Ｙの予測モード２に置き換えられる。

しかしながら、色差Ｃｂ，Ｃｒの予測モード２−５に対応する予測方向は角度２４３度から２２５度の範囲であるため、輝度Ｙの予測モード２の予測方向の角度２２５度とのずれは、色差Ｃｂ，Ｃｒの予測モード４，３，２の順に大きくなる。そして、角度のずれが大きくなれば、予測部１０による色差Ｃｂ，Ｃｒについてのイントラ予測の予測誤差は大きくなり、符号化部２０による画像の符号化の符号量が増加するとともに、復号された際の画像の品質が低下する。

ここで、輝度ＹのＰＵ８０は、２４３度から２２５度の方向に対応した予測モードを有しないが、２４３度から２２５度の方向と逆向きの６３度から４５度の方向を示す予測モード３１−３４を有する。そこで、図１に示した予測部１０は、図５に示した補正テーブル１１０の代わりに、色差Ｃｂ，Ｃｒの予測モード２−５を輝度Ｙの予測モード３１−３４にそれぞれに対応付ける、修正された補正テーブルを用いる。

図６は、修正された補正テーブル１２０の例を示す。補正テーブル１２０は、図５に示した補正テーブル１１０と同様に、色差の予測モードの格納領域と輝度の予測モードの格納領域とを有する。色差の予測モードの格納領域には、色差Ｃｂ，Ｃｒの予測モード２−３４を示す番号が格納される。また、輝度の予測モードの格納領域には、対応する色差Ｃｂ，Ｃｒの予測モードの置き換えに用いられる輝度Ｙの予測モードを示す番号が格納される。補正テーブル１２０では、色差Ｃｂ，Ｃｒの予測モード２−５のそれぞれが、網掛けの領域で示すように、輝度Ｙの予測モード３１−３４のそれぞれに対応付けられる。なお、色差Ｃｂ，Ｃｒの予測モード６−３４については、図５に示した補正テーブル１１０と同様に、輝度Ｙの予測モード３−３１のいずれかで対応付けられる。色差Ｃｂ，Ｃｒの予測モード２−５が示す方向は、予測部１０において予測方向の置き換えを行う所定の第１方向の一例であり、輝度Ｙの予測モード３１−３４が示す予測方向は、所定の第１方向と逆向きの輝度Ｙで定義された予測方向の一例である。

図７は、図１に示した予測部１０がＰＵ８０の予測画像を生成する処理の例を示す。例えば、図７に示したＰＵ８０は、縦方向にＮ個および横方向にＮ個の画素８５（８５（１，１）−８５（Ｎ，Ｎ））を有する輝度Ｙの画像における処理単位である。なお、色差Ｃｂ，Ｃｒの場合、ＰＵ８０は、縦方向にＮ個および横方向に２分のＮ個の画素８５を有する処理単位である。画素９０（９０（１）−９０（２Ｎ））および画素９２は、既に符号化部２０により符号化されたＰＵ８０の左側の垂直方向に隣接する画素であり、“左隣接画素”と称される。また、画素９５（９５（１）−９５（２Ｎ））および画素９２は、既に符号化部２０により符号化されたＰＵ８０の上側の水平方向に隣接する画素であり、“上隣接画素”と称される。なお、画素９２は、左隣接画素および上隣接画素の両方に含まれる。なお、ＰＵ８０が図３に示したＰＵ８０（２）の場合には、４分木分割された各ブロックについて左隣接画素および上隣接画素が適用される。

予測部１０は、例えば、Ｐｌａｎａｒ予測の予測モード０を選択した場合、画素８５（ｉ，ｊ）の画素値を、画素９０（ｊ）と画素９５（Ｎ＋１）および画素９０（Ｎ＋１）と画素９５（ｉ）との画素値を用いた線形の平均値から予測する。なお、ｉ，ｊは、１からＮの正の整数である。一方、予測部１０は、ＤＣ予測の予測モード１を選択した場合、画素９２を除く画素９０（１）−９０（Ｎ）と画素９５（１）−９５（Ｎ）との平均値を画素８５（ｉ，ｊ）の画素値と予測する。また、予測部１０は、方向性予測の予測モード２−３４のいずれかを選択した場合、画素８５（ｉ，ｊ）の位置から選択した予測モードが示す方向にある画素９０，９２，９５のいずれかの画素値を、画素８５（ｉ，ｊ）の画素値と予測する。例えば、予測部１０は、予測モード２が選択された場合に、画素８５（ｉ，ｊ）から角度２２５度の方向にある画素９０（ｉ＋ｊ）の画素値を、画素８５（ｉ，ｊ）の画素値と予測する。なお、例えば、予測部１０は、予測モードごとに、ＰＵ８０に含まれる全ての画素８５の画素値を予測し、予測した画素値を有する予測画像とＰＵ８０における画像とを差分した予測誤差の差分画像を求める。予測部１０は、求めたＰＵ８０における差分画像を符号化した場合の符号量をコストとして求め、求めたコストが最小となる予測モードを選択する。

なお、色差Ｃｂ，Ｃｒのイントラ予測は、ＰＵ８０の形状が長方形である点、および、図８で説明するように、ＤＭモードの場合に補正テーブル１１０，１２０のいずれかを用いた予測モードの置き換えを行う点を除き、輝度Ｙのイントラ予測と同様である。つまり、ＤＭモードが選択された場合の色差Ｃｂ，Ｃｒのイントラ予測は、補正テーブル１１０，１２０のいずれかを用いて置き換えを行った後の予測モードで示される角度の方向にある画素９０，９２，９５の画素値を用いて行われる。

例えば、予測部１０は、輝度Ｙおよび色差Ｃｂ，Ｃｒの各ＰＵ８０における画素８５の画素値を予測した後、予測された画素８５の画素値を用いＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの予測画像を生成する。予測部１０は、輝度Ｙおよび色差Ｃｂ，Ｃｒの各々において、生成した予測画像とＣＴＵ６０の処理単位における画像とを差分し、差分画像を算出する。予測部１０は、算出した差分画像と各ＰＵ８０における予測モードを示す情報とを符号化部２０に出力する。

例えば、符号化部２０は、予測部１０から受けた輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像に対してＴＵ７０−７２のサイズに応じたＤＣＴ（Discrete Cosine Transform）変換あるいはアダマール変換等の直交変換を施す。そして、符号化部２０は、各差分画像の周波数成分を求める。符号化部２０は、例えば、画像符号化装置１００に含まれるＲＯＭ（Read Only Memory）等の記憶部に格納された量子化テーブルを用い、求めた各差分画像の周波数成分を量子化する。符号化部２０は、例えば、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）を用いて、量子化された周波数成分を各ＰＵ８０における予測モードを示す情報とともに符号化する。符号化部２０は、例えば、全てのＣＴＵ６０の処理単位における輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像について符号化した後、輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像の符号化で得られた符号化データを記憶装置５０に出力する。

図８は、図１に示した画像符号化装置１００における符号化処理の例を示す。図８に示したステップＳ１０からステップＳ１７の動作は、画像符号化装置１００に含まれるプロセッサ等の制御部が画像符号化プログラムを実行することにより実現される。すなわち、図８は、画像符号化プログラムおよび画像符号化方法の一実施形態を示す。なお、図８に示す処理は、画像符号化装置１００に搭載されるハードウェアにより実行されてもよい。この場合、図１に示した予測部１０および符号化部２０は、画像符号化装置１００内に配置される回路により実現される。

ステップＳ１０において、予測部１０は、図１において説明したように、撮像装置３０より輝度Ｙおよび色差Ｃｂ，Ｃｒの画像を受信する。

次に、ステップＳ１１において、予測部１０は、図２、図３および図７において説明したように、輝度Ｙの画像と形状が異なる色差Ｃｂ，Ｃｒの処理単位であるＣＴＵ６０ごとに、受信した色差Ｃｂ，Ｃｒの各画像におけるイントラ予測の予測モードを求める。なお、予測部１０は、例えば、色差Ｃｂ，Ｃｒの予測モードの予測と並行して、輝度Ｙの処理単位であるＣＴＵ６０ごとに、輝度Ｙの画像におけるイントラ予測の予測モードを求める。また、予測部１０は、輝度Ｙの処理単位であるＣＴＵ６０ごとにイントラ予測の予測モードを求める処理を、色差Ｃｂ，Ｃｒの予測モードの処理に先立って実行してもよい。

次に、ステップＳ１２において、予測部１０は、図４から図６で説明したように、ステップＳ１１で求めたＣＴＵ６０に含まれるＰＵ８０での色差Ｃｂ，Ｃｒの画像の予測モードが、対応するＰＵ８０での輝度Ｙの画像の予測モードと一致するか否かを判定する。例えば、予測部１０は、求めた色差Ｃｂ，Ｃｒと輝度Ｙとの画像の予測モードが一致する場合（ＹＥＳ）、処理をステップＳ１３に移行する。一方、予測部１０は、求めた色差Ｃｂ，Ｃｒと輝度Ｙとの予測モードが一致しない場合（ＮＯ）、色差Ｃｂ，Ｃｒの予測モードとして、予測誤差が最小となるＰｌａｎａｒ予測、ＤＣ予測、水平方向予測、垂直方向予測および予測モード３４のいずれかを選択する。そして、予測部１０は、処理をステップＳ１５に移行する。

次に、ステップＳ１３において、予測部１０は、図４から図６で説明したように、ステップＳ１１で求めたＣＴＵ６０に含まれるＰＵ８０における色差Ｃｂ，Ｃｒの画像の予測モードが、予測モード２−５のいずれかであるか否かを判定する。予測部１０は、ＰＵ８０における色差Ｃｂ，Ｃｒの画像の予測モードが、予測モード２−５のいずれかの場合（ＹＥＳ）、処理をステップＳ１４に移行する。一方、予測モード２−５でない場合（ＮＯ）、図５に示した補正テーブル１１０に基づいて、予測部１０は、ＰＵ８０における色差Ｃｂ，Ｃｒの画像の予測モードを、ＤＭモードで輝度Ｙの予測モードに置き換える。そして、予測部１０は、処理をステップＳ１５に移行する。

ステップＳ１４において、予測部１０は、図５および図６で説明したように、補正テーブル１２０に基づいて、ＰＵ８０における色差Ｃｂ，Ｃｒの画像について求めた予測モードを、逆向きの方向を示す輝度Ｙの予測モード３１−３４のいずれかに置き換える。

ステップＳ１５において、予測部１０は、図７において説明したように、選択した予測モードに基づいて、色差Ｃｂ，Ｃｒの画像に対するイントラ予測を行う。例えば、予測部１０は、色差Ｃｂ，ＣｒのＣＴＵ６０に含まれる各ＰＵ８０における画素８５の画素値を予測した後、予測した画素８５の画素値を用い、ＣＴＵ６０の処理単位における色差Ｃｂ，Ｃｒの予測画像を生成する。予測部１０は、色差Ｃｂ，Ｃｒそれぞれについて、生成した予測画像とＣＴＵ６０における画像とを差分し、色差Ｃｂ，ＣｒのＣＴＵ６０における差分画像を算出する。予測部１０は、算出した差分画像と各ＰＵ８０における予測モードを示す情報とを符号化部２０に出力する。なお、予測部１０は、ＣＴＵ６０における輝度Ｙの画像に対するイントラ予測を並行して実行する。

次に、ステップＳ１６において、符号化部２０は、図１および図７において説明したように、イントラ予測した処理単位のＣＴＵ６０における色差Ｃｂ，Ｃｒの各差分画像を符号化する。例えば、符号化部２０は、受けたＣＴＵ６０における色差Ｃｂ，Ｃｒの各差分画像に対してＴＵ７０−７２のサイズに応じＤＣＴ変換等の直交変換を施し、差分画像の周波数成分を求める。符号化部２０は、画像符号化装置１００に含まれるＲＯＭ等の記憶部に格納された量子化テーブルを用い、求めた差分画像の周波数成分を量子化し、ＣＡＢＡＣを用い量子化された周波数成分を各ＰＵ８０における予測モードを示す情報とともに符号化する。なお、符号化部２０は、イントラ予測した処理単位のＣＴＵ６０における輝度Ｙの画像の符号化を並行して実行する。

次に、ステップＳ１７において、符号化部２０は、全ての処理単位のＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像に対し符号化処理を行ったか否かを判定する。符号化部２０は、全てのＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像に対して符号化した場合（ＹＥＳ）、符号化した各画像のデータを記憶装置４０に出力し、記憶装置４０に予め割り当てられた格納領域に格納させる。一方、符号化部２０は、全てのＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像に対し符号化していない場合（ＮＯ）、次のＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像を符号化するために、処理をステップＳ１１に移行する。

そして、画像符号化装置１００は、符号化の処理を終了する。なお、図８の処理のフローは、撮像装置３０から画像を受ける度に実行される。

以上、この実施形態では、予測部１０は、輝度Ｙの画像の形状とは異なる処理単位であるＣＴＵ６０に含まれるＰＵ８０ごとに、色差Ｃｂ，Ｃｒの各画像におけるイントラ予測の予測モードを求める。予測部１０は、求めたＰＵ８０における色差Ｃｂ，Ｃｒの各画像の予測モードが予測モード２−５のいずれかの場合、求めた予測モードとは逆向きの方向を示す輝度Ｙの予測モード３１−３４のいずれかに置き換える。そして、予測部１０は、置き換え後の輝度Ｙの予測モードでＰＵ８０における色差Ｃｂ，Ｃｒの画像のイントラ予測を行う。図４から図６で説明したように、求めた色差Ｃｂ，Ｃｒの予測モード２−５が示す方向と、置き換え後の輝度Ｙの予測モード３１−３４が示す方向とのずれは、１８０度程度となる。しかしながら、例えば、ＰＵ８０における絵柄が予測モード２−５の方向のエッジを多く含む場合などに、輝度Ｙの予測モード３１−３４を用いた場合の予測誤差は、色差Ｃｂ，Ｃｒの予測モード２−５を輝度Ｙの予測モード２に置き換える場合と比べて小さくなる。したがって、画像符号化装置１００は、従来と比べて画像を効率良く符号化することができる。

図９は、画像符号化装置の別実施形態を示す。図９に示す画像符号化装置１００の各要素のうち、図１に示した画像符号化装置１００の要素と同一または同様の機能を有するものについては、同一の符号を付し詳細な説明は省略する。

画像符号化装置１００は、メモリ１４０および制御部１５０を含む。また、画像符号化装置１００は、キーボードあるいはタッチパネル等の入力装置を含む。画像符号化装置１００は、有線または無線を介して撮像装置３０および記憶装置４０に接続される。

メモリ１４０は、ＲＯＭあるいはフレームメモリ等を含み、制御部１５０が実行する画像符号化プログラム、図５に示した補正テーブル１１０、および図６に示した補正テーブル１２０を格納する格納領域を有する。また、メモリ１４０は、画像符号化装置１００が受信する画像が動画の場合、１フレーム前の画像を格納する格納領域を有する。

例えば、制御部１５０は、プログラムを実行するプロセッサ等を含み、プロセッサがメモリ１４０の画像符号化プログラムを実行することで、分割部１１、判定部１２、イントラ予測部１３、インター予測部１４、切替部１５および生成部１６として動作する。さらに、制御部１５０は、プログラムを実行することで、減算部１７、符号化部２０ａ、変換部２１、逆変換部２２および加算部２３として動作する。分割部１１、判定部１２、イントラ予測部１３、生成部１６および減算部１７は、図１に示した予測部１０の別例である。

例えば、分割部１１は、撮像装置３０から受けた輝度Ｙおよび色差Ｃｂ，Ｃｒの画像のそれぞれを、予め設定された符号化の４：２：２あるいは４：２：０等の色差フォーマットに応じた形状を有する処理単位に分割する。そして、分割部１１は、符号化の色差フォーマットを示す情報とともに、分割した処理単位の輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像をラスタスキャンの順に判定部１２、イントラ予測部１３、インター予測部１４および減算部１７にそれぞれ出力する。なお、分割部１１は、入力装置を介して、ユーザより予め符号化の色差フォーマットを示す情報を受け、受けた符号化の色差フォーマットを示す情報を設定してもよい。また、分割部１１は、撮像装置３０から、撮像装置３０に設定された色差フォーマットに従って生成された後の画像を受けてもよい。撮像装置３０と分割部１１とに設定された色差フォーマットが互いに異なる場合、分割部１１は、拡大または縮小フィルタを用い、受信した輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像を符号化の色差フォーマットに応じた形状に変換することが好ましい。

例えば、判定部１２は、分割部１１から受信した符号化の色差フォーマットを示す情報に基づいて、符号化の色差フォーマットが４：２：２か否かを判定する。判定部１２は、判定の結果をイントラ予測部１３に出力する。

例えば、イントラ予測部１３は、処理単位のＣＴＵ６０に含まれる各ＰＵ８０の色差Ｃｂ，Ｃｒの画像におけるイントラ予測の予測モードを求める。イントラ予測部１３は、図７において説明したように、各ＰＵ８０において求めた予測モードに基づいて、ＣＴＵ６０の処理単位における色差Ｃｂ，Ｃｒの画像を示す予測画像を生成する。なお、イントラ予測部１３は、ＰＵ８０で求めた色差Ｃｂ，Ｃｒの予測モードの予測方向が図４（ｂ）に示した予測モード２−５の場合、予測モードを、逆向きを示す輝度Ｙの予測モード３１−３４に置き換える処理を行う。そして、イントラ予測部１３は、置き換え後の輝度Ｙの予測モードを用いＣＴＵ６０での色差Ｃｂ，Ｃｒの画像を示す予測画像を生成する。また、イントラ予測部１３は、各ＣＴＵ６０での色差Ｃｂ，Ｃｒの画像に対するイントラ予測と並行して、各ＣＴＵ６０での輝度Ｙの画像に対応するイントラ予測を行う。

例えば、イントラ予測部１３は、ＣＴＵ６０に含まれる各ＰＵ８０において輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像から求めた予測モードを示す情報の符号量を求める。また、イントラ予測部１３は、輝度Ｙおよび色差Ｃｂ，Ｃｒごとに、ＣＴＵ６０における画像とイントラ予測により求めた予測画像との差分の絶対値和の符号量を求める。イントラ予測部１３は、求めた差分の絶対値和と予測モードを示す情報との符号量を加算し、加算した値をコストとして切替部１５に出力する。イントラ予測部１３の動作については、図１０で説明する。

例えば、インター予測部１４は、撮像装置３０からの画像が動画の場合、分割部１１より受けたＣＴＵ６０の処理単位の輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像と、メモリ１４０に格納された１フレーム前の画像とを用いてインター予測を行う。例えば、インター予測部１４は、輝度Ｙおよび色差Ｃｂ，Ｃｒごとに、メモリ１４０に格納された１フレーム前の画像を読み出す。インター予測部１４は、分割部１１より受けたＣＴＵ６０の画像と読み出した１フレーム前の画像とを、図３に示したＰＵ８０（１）−８０（８）のいずれかのブロックで相関度が高い部分を検索する。そして、インター予測部１４は、検索した相関度が高いＰＵ８０を基準にして、２つの画像間の変位を示す動きベクトルを求めるとともに、２つの画像の差分の絶対値和を求める。インター予測部１４は、求めた動きベクトルと差分の絶対値和との符号量をそれぞれ求め、求めた符号量を加算した値をコストとして切替部１５に出力する。

例えば、切替部１５は、イントラ予測部１３とインター予測部１４とから受けたコストを比較し、コストが小さいイントラ予測またはインター予測を、ＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像に対する予測処理として選択する。

例えば、生成部１６は、切替部１５により選択されたイントラ予測またはインター予測に基づいて、分割部１１より受けたＣＴＵ６０の処理単位における画像に対する予測画像を生成する。例えば、生成部１６は、イントラ予測が選択された場合、輝度Ｙおよび色差Ｃｂ，Ｃｒごとに、ＣＴＵ６０に含まれる各ＰＵ８０における左隣接画素の画素９０，９２および上隣接画素の画素９２，９５の画素値をメモリ１４０より読み込む。生成部１６は、イントラ予測部１３により求められた輝度Ｙおよび色差Ｃｂ，Ｃｒの各予測モードと読み込んだ画素９０，９２，９５の画素値とを用い、図７に示したＰＵ８０に含まれる各画素８５の画素値を予測する。生成部１６は、予測した画素８５の画素値を用いて、ＣＴＵ６０での輝度Ｙおよび色差Ｃｂ，Ｃｒの各予測画像を生成する。生成部１６は、生成した輝度Ｙおよび色差Ｃｂ，Ｃｒの各予測画像を減算部１７に出力する。

一方、生成部１６は、例えば、インター予測が選択された場合、１フレーム前の輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像をメモリ１４０より読み込む。生成部１６は、読み込んだ１フレーム前の画像と、ＣＴＵ６０に含まれる各ＰＵ８０の輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像において求めた動きベクトルとを用い、ＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの予測画像を生成する。生成部１６は、生成した輝度Ｙおよび色差Ｃｂ，Ｃｒの各予測画像を減算部１７に出力する。

例えば、減算部１７は、分割部１１より受けたＣＴＵ６０の処理単位の輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像と、生成部１６により生成された輝度Ｙおよび色差Ｃｂ，Ｃｒの各予測画像とを差分し、差分画像を算出する。減算部１７は、算出した輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像を変換部２１に出力する。

例えば、変換部２１は、減算部１７より受けたＣＴＵ６０の処理単位の輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像に対し、図３に示したＴＵ７０−７２のサイズに応じたＤＣＴ変換あるいはアダマール変換等の直交変換を施し、各差分画像の周波数成分を求める。変換部２１は、例えば、メモリ１４０に格納された量子化テーブルを用い、輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像の周波数成分を量子化する。変換部２１は、量子化した輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像の周波数成分を符号化部２０ａおよび逆変換部２２に出力する。

例えば、符号化部２０ａは、例えば、ＣＡＢＡＣを用いて、量子化された輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像の周波数成分を各ＰＵ８０における予測モードを示す情報とともに符号化する。符号化部２０ａは、全てのＣＴＵ６０の処理単位の輝度Ｙおよび色差Ｃｂ，Ｃｒの画像について符号化した後、符号化した各画像のデータを記憶装置４０に出力する。

例えば、逆変換部２２は、メモリ１４０に格納された量子化テーブルを用い、変換部２１により量子化されたＣＴＵ６０の処理単位における輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像の周波数成分を逆量子化する。逆変換部２２は、逆量子化された輝度Ｙおよび色差Ｃｂ，Ｃｒの各周波数成分に対して、図３に示したＴＵ７０−７２のサイズに応じた逆ＤＣＴ変換等の逆直交変換を施し、ＣＴＵ６０の処理単位における輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像を復号する。逆変換部２２は、復号した輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像を加算部２３に出力する。

例えば、加算部２３は、輝度Ｙおよび色差Ｃｂ，Ｃｒごとに、ＣＴＵ６０の処理単位における生成部１６により生成された予測画像と逆変換部２２により復号された差分画像とを加算し、ＣＴＵ６０における元の輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像を生成する。加算部２３は、生成したＣＴＵ６０の処理単位における元の輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像をメモリ１４０に予め割り当てられた格納領域に格納する。

図１０は、ＨＥＶＣの規格における輝度Ｙの方向性予測モードで定義された３３通りの予測方向の例を示す。以下の説明において、図１０に示した各予測方向の向きは、矢印Ｄａでそれぞれ示した水平方向の右向きを０度の方向とし、反時計回りに０度から３６０度の角度θで定義される。

図１０に示すように、６４画素×６４画素の正方形の輝度ＹのＰＵ８０の中心を原点とする場合、予測モード２の予測方向は（−３２，３２）、予測モード３の予測方向は（−３２，２６）、予測モード４の予測方向は（−３２，２１）のベクトルで表される。また、予測モード５の予測方向は（−３２，１７）、予測モード６の予測方向は（−３２，１３）、予測モード７の予測方向は（−３２，９）、予測モード８の予測方向は（−３２，５）のベクトルで表される。また、予測モード９の予測方向は（−３２，２）、予測モード１０の予測方向は（−３２，０）、予測モード１１の予測方向は（−３２，−２）、予測モード１２の予測方向は（−３２，−５）のベクトルで表される。予測モード１３の予測方向は（−３２，−９）、予測モード１４の予測方向は（−３２，−１３）、予測モード１５の予測方向は（−３２，−１７）、予測モード１６の予測方向は（−３２，−２１）のベクトルで表される。予測モード１７の予測方向は（−３２，−２６）、予測モード１８の予測方向は（−３２，−３２）、予測モード１９の予測方向は（−２６，−３２）、予測モード２０の予測方向は（−２１，−３２）のベクトルで表される。

また、予測モード２１の予測方向は（−１７，−３２）、予測モード２２の予測方向は（−１３，−３２）、予測モード２３の予測方向は（−９，−３２）、予測モード２４の予測方向は（−５，−３２）のベクトルで表される。予測モード２５の予測方向は（−２，−３２）、予測モード２６の予測方向は（０，−３２）、予測モード２７の予測方向は（２，−３２）のベクトルで表される。予測モード２８の予測方向は（５，−３２）、予測モード２９の予測方向は（９，−３２）、予測モード３０の予測方向は（１３，−３２）、予測モード３１の予測方向は（１７，−３２）のベクトルで表される。予測モード３２の予測方向は（２１，−３２）、予測モード３３の予測方向は（２６，−３２）、予測モード３４の予測方向は（３２，−３２）のベクトルで表される。なお、図１０に示したＰＵ８０は６４画素×６４画素としたが、３２画素×３２画素等の大きさのＰＵ８０についても同様である。

一方、例えば、３２画素×６４画素の長方形の色差Ｃｂ，ＣｒのＰＵ８０において、例えば、色差Ｃｂ，Ｃｒの予測モード２の予測方向は（−１６，３２）のベクトルで表される。また、色差Ｃｂ，Ｃｒの予測モード３の予測方向は（−１６，２６）、予測モード４の予測方向は（−１６，２１）、予測モード５の予測方向は（−１６，１７）のベクトルで表される。そして、色差Ｃｂ，Ｃｒの各予測モード２−５のベクトルの傾きは、０．５，０．６，０．８，０．９であり、輝度Ｙの各予測モード３１−３４のベクトルの傾きは、０．５，０．７，０．８，１．０であり、互いに近似している。すなわち、色差Ｃｂ，Ｃｒの各予測モード２−５は、図５に示した補正テーブル１１０のように１つの輝度Ｙの予測モード２にするより、図６に示した補正テーブル１２０のように逆向きの輝度Ｙの予測モード３１−３４の各々にするため、方向のずれを小さくなる。そして、イントラ予測部１３は、ＰＵ８０での色差Ｃｂ，Ｃｒの予測モード２−５を輝度Ｙの予測モード３１−３４に置き換える場合、置き換えた輝度Ｙの予測モードの方向にある上隣接画素９２，９５を用い、ＰＵ８０での色差Ｃｂ，Ｃｒの予測画像を生成する。ただし、輝度Ｙの予測モード３１−３４が示す方向は、色差Ｃｂ，Ｃｒの予測モードにおいて定義されていないため、例えば、イントラ予測部１３は、式（１）−（４）を用い、置き換えた輝度Ｙの予測モードに応じて上隣接画素９２，９５の画素数Ｌａを調整する。
色差Ｃｂ，Ｃｒの予測モード２に対応する輝度Ｙの予測モード３１：
Ｌａ＝（２Ｎ＋１）×（３３＋１７）／６５＝（２Ｎ＋１）×５０／６５ …（１）
色差Ｃｂ，Ｃｒの予測モード３に対応する輝度Ｙの予測モード３２：
Ｌａ＝（２Ｎ＋１）×（３３＋２１）／６５＝（２Ｎ＋１）×５４／６５ …（２）
色差Ｃｂ，Ｃｒの予測モード４に対応する輝度Ｙの予測モード３３：
Ｌａ＝（２Ｎ＋１）×（３３＋２６）／６５＝（２Ｎ＋１）×５９／６５ …（３）
色差Ｃｂ，Ｃｒの予測モード５に対応する輝度Ｙの予測モード３４：
Ｌａ＝（２Ｎ＋１）×（３３＋３２）／６５＝（２Ｎ＋１） …（４）
ここで、“３３”の値は、Ｎが３２画素の場合に、図１０に示す輝度Ｙの予測モード１８から予測モード２６までの予測方向にある上隣接画素の画素９２，９５の画素数を示す。“１７”、“２１”、“２６”および“３２”の値は、Ｎが３２画素の場合に、輝度Ｙの予測モード２６と各予測モード３１−３４との予測方向の間にある上隣接画素の画素９５の画素数を示す。

例えば、Ｎが４画素の場合、色差Ｃｂ，Ｃｒの予測モード２−５に対応する、逆向きの輝度Ｙの予測モード３１−３４それぞれの上隣接画素の画素９２，９５の画素数Ｌａは、７画素、７画素、８画素および９画素となる。また、Ｎが８画素の場合、色差Ｃｂ，Ｃｒの予測モード２−５に対応する輝度Ｙの予測モード３１−３４それぞれの上隣接画素の画素９２，９５の画素数Ｌａは、１３画素、１４画素、１５画素および１７画素となる。Ｎが１６画素の場合、色差Ｃｂ，Ｃｒの予測モード２−５に対応する輝度Ｙの予測モード３１−３４それぞれの上隣接画素の画素９２，９５の画素数Ｌａは、２５画素、２８画素、３０画素および３３画素となる。Ｎが３２画素の場合、色差Ｃｂ，Ｃｒの予測モード２−５に対応する輝度Ｙの予測モード３１−３４それぞれの上隣接画素の画素９２，９５の画素数Ｌａは、５０画素、５４画素、５９画素および６５画素となる。Ｎが６４画素の場合、色差Ｃｂ，Ｃｒの予測モード２−５に対応する輝度Ｙの予測モード３１−３４それぞれの上隣接画素の画素９２，９５の画素数Ｌａは、９９画素、１０７画素、１１７画素および１２９画素となる。

なお、イントラ予測部１３は、例えば、ＰＵ８０における色差Ｃｂ，Ｃｒの画像を貫くように色差Ｃｂ，Ｃｒの予測モードが示す方向にエッジ等が一様に分布している場合に、求めた色差Ｃｂ，Ｃｒの予測モード２−５を輝度Ｙの予測モード３１−３４に置き換える。そこで、イントラ予測部１３は、色差Ｃｂ，Ｃｒの予測モード２−５の置き換えに先立って、ＰＵ８０における色差Ｃｂ，Ｃｒの画像の特徴を調べるため、左隣接画素の画素９０が示す被写体の特徴と上隣接画素の画素９５が示す被写体の特徴との類似性を評価する。例えば、イントラ予測部１３は、式（５）を用い、左隣接画素の画素９０の画素値と上隣接画素の画素９５の画素値との差分から互いの被写体の類似性を示す評価値Ｈを算出する（ｊは１からＬａの正の整数）。なお、画素９２は、上隣接画素とともに左隣接画素でもあることから、式（５）では、画素９２同士の差分を除外している。また、左隣接画素の画素９０，９２の画素数は２Ｎ＋１個であり、上隣接画素の画素９２，９５の画素数は、式（１）−（４）のいずれかで算出される２Ｎ＋１以下のＬａ個である。そこで、イントラ予測部１３は、式（５）の計算にあたり、予め縮小フィルタを用い、左隣接画素の画素９０，９２の画素数を２Ｎ＋１個からＬａ個に減少させる。

例えば、イントラ予測部１３は、算出した評価値Ｈが閾値Ｔｈ以下の場合、左隣接画素の画素９０と上隣接画素の画素９５との画素値の差が小さいことから、左隣接画素の画素９０と上隣接画素の画素９５とにおける被写体は類似性を示すと評価する。この場合に、イントラ予測部１３は、ＰＵ８０における色差Ｃｂ，Ｃｒの画像において予測モード２−５の方向のエッジが一様に分布していると判定する。そして、イントラ予測部１３は、求めた色差Ｃｂ，Ｃｒの予測モード２−５を、補正テーブル１２０に基づいて、逆向きの方向を示す輝度Ｙの予測モード３１−３４のいずれかに置き換える。イントラ予測部１３は、置き換えた輝度Ｙの予測モードと上隣接画素の画素９５の画素値とを用い、画素８５の画素値を予測する。

一方、イントラ予測部１３は、算出した評価値Ｈが閾値Ｔｈより大きい場合、左隣接画素の画素９０と上隣接画素の画素９５との画素値の差が大きいことから、左隣接画素の画素９０と上隣接画素の画素９５との被写体の類似性がないと評価する。この場合に、イントラ予測部１３は、ＰＵ８０における色差Ｃｂ，Ｃｒの画像では、予測モード２−５の方向のエッジが一様に分布していないと判定する。そして、イントラ予測部１３は、求めた色差Ｃｂ，Ｃｒの予測モード２−５を、従来の補正テーブル１１０に基づいて、輝度Ｙの予測モード２に置き換える。イントラ予測部１３は、輝度Ｙの予測モード２と左隣接画素の画素９０の画素値とを用い、画素８５の画素値を予測する。なお、評価値Ｈに基づく類似性の判定に用いる閾値Ｔｈは、評価に用いる上隣接画素の画素数Ｌａに応じて適宜設定される。

図１１および図１２は、図９に示した画像符号化装置１００における符号化処理の例を示す。図１１および図１２に示したステップＳ２０からステップＳ４１の動作は、制御部１５０が画像符号化プログラムを実行することにより実現される。すなわち、図１１および図１２は、画像符号化プログラムおよび画像符号化方法の別実施形態を示す。なお、図１１および図１２に示す処理は、画像符号化装置１００に搭載されるハードウェアにより実行されてもよい。この場合、図９に示した分割部１１、判定部１２、イントラ予測部１３、インター予測部１４、切替部１５、生成部１６、減算部１７、符号化部２０ａ、変換部２１、逆変換部２２および加算部２３は、画像符号化装置１００内に配置される回路により実現される。

ステップＳ２０において、分割部１１は、図９において説明したように、撮像装置３０より輝度Ｙおよび色差Ｃｂ，Ｃｒの画像を受信する。

次に、ステップＳ２１において、分割部１１は、図９において説明したように、受信した輝度Ｙおよび色差Ｃｂ，Ｃｒの画像のそれぞれを、予め設定された符号化の色差フォーマットに応じた形状を有する処理単位に分割する。分割部１１は、符号化の色差フォーマットを示す情報とともに、分割した処理単位の輝度Ｙおよび色差Ｃｂ，Ｃｒの画像を、ラスタスキャンの順に、判定部１２、イントラ予測部１３、インター予測部１４および減算部１７にそれぞれ出力する。

次に、ステップＳ２２において、判定部１２は、図９において説明したように、受信した符号化の色差フォーマットを示す情報に基づいて、符号化の色差フォーマットが４：２：２か否かを判定する。判定部１２は、符号化の色差フォーマットが４：２：２の場合（ＹＥＳ）、処理をステップＳ２３に移行する。一方、判定部１２は、符号化の色差フォーマットが４：２：０あるいは４：４：４等の４：２：２以外の場合（ＮＯ）、処理をステップＳ３０に移行する。

ステップＳ２３において、イントラ予測部１３は、図９において説明したように、処理単位のＣＴＵ６０に含まれる各ＰＵ８０の色差Ｃｂ，Ｃｒの画像におけるイントラ予測の予測モードを求める。また、イントラ予測部１３は、色差Ｃｂ，Ｃｒの予測モードの予測と並行して、ＣＴＵ６０に含まれる各ＰＵ８０の輝度Ｙの画像におけるイントラ予測の予測モードを求める。なお、イントラ予測部１３は、輝度Ｙの画像におけるイントラ予測の予測モードを求める処理を、色差Ｃｂ，Ｃｒの予測モードの処理に先立って実行してもよい。

次に、ステップＳ２４において、イントラ予測部１３は、ステップＳ２３においてＰＵ８０で求めた色差Ｃｂ，Ｃｒの画像の予測モードが、対応するＰＵ８０で求めた輝度Ｙの画像の予測モードと一致するか否かを判定する。イントラ予測部１３は、ＰＵ８０における色差Ｃｂ，Ｃｒと輝度Ｙとの画像の予測モードが一致する場合（ＹＥＳ）、処理をステップＳ２５に移行する。一方、イントラ予測部１３は、互いに一致しない場合（ＮＯ）、ＰＵ８０での色差Ｃｂ，Ｃｒの画像の予測モードとして、Ｐｌａｎａｒ予測、ＤＣ予測、水平方向予測、垂直方向予測および予測モード３４のうち予測誤差が最小となる予測モードを選択する。そして、イントラ予測部１３は、処理をステップＳ３２に移行する。

ステップＳ２５において、イントラ予測部１３は、図１０において説明したように、ＰＵ８０において求めた色差Ｃｂ，Ｃｒの画像の予測モードが予測モード２−５のいずれかであるか否かを判定する。イントラ予測部１３は、ＰＵ８０における色差Ｃｂ，Ｃｒの画像の予測モードが予測モード２−５のいずれかの場合（ＹＥＳ）、処理をステップＳ２６に移行する。一方、イントラ予測部１３は、ＰＵ８０における色差Ｃｂ，Ｃｒの画像の予測モードが予測モード２−５でない場合（ＮＯ）、補正テーブル１１０に基づいて、ＰＵ８０での色差Ｃｂ，Ｃｒの画像の予測モードを、ＤＭモードで輝度Ｙの予測モードに置き換える。そして、イントラ予測部１３は、処理をステップＳ３２に移行する。

ステップＳ２６において、イントラ予測部１３は、図１０において説明したように、求めた色差Ｃｂ，Ｃｒの予測モード２−５を輝度Ｙの予測モード３１−３４で置き換えるにあたり、式（１）−（４）を用い上隣接画素の画素９２，９５の画素数Ｌａを調整する。

次に、ステップＳ２７において、イントラ予測部１３は、図１０において説明したように、式（５）を用い、ＰＵ８０での色差Ｃｂ，Ｃｒの画像の左隣接画素の画素９０と上隣接画素の画素９５とが示す被写体の特徴の類似性を示す評価値Ｈを算出する。

次に、ステップＳ２８において、イントラ予測部１３は、図１０において説明したように、算出した評価値Ｈと閾値Ｔｈとの比較から、左隣接画素の画素９０と上隣接画素の画素９５とが示す被写体の類似性を判定する。例えば、イントラ予測部１３は、算出した評価値Ｈが閾値Ｔｈ以下の場合、左隣接画素の画素９０と上隣接画素の画素９５とにおける被写体は類似性を示し同じ被写体と評価し（ＹＥＳ）、処理をステップＳ２９に移行する。一方、イントラ予測部１３は、算出した評価値Ｈが閾値Ｔｈより大きい場合、左隣接画素の画素９０と上隣接画素の画素９５との被写体の類似性がなく互いに異なる被写体と評価する（ＮＯ）。イントラ予測部１３は、補正テーブル１１０に基づいて、ＰＵ８０において求めた色差Ｃｂ，Ｃｒの画像の予測モード２−５をＤＭモードで輝度Ｙの予測モード２に置き換える。そして、イントラ予測部１３は、処理をステップＳ３２に移行する。

ステップＳ２９において、イントラ予測部１３は、図１０において説明したように、補正テーブル１２０に基づいて、ＰＵ８０における色差Ｃｂ，Ｃｒの画像の予測モードを、ＤＭモードで輝度Ｙの予測モード３１−３４のいずれかに置き換える。そして、イントラ予測部１３は、処理をステップＳ３２に移行する。

ステップＳ３０において、イントラ予測部１３は、図９において説明したように、輝度Ｙと同じ形状を有する処理単位のＣＴＵ６０に含まれる各ＰＵ８０における色差Ｃｂ，Ｃｒの画像のイントラ予測の予測モードを求める。また、イントラ予測部１３は、色差Ｃｂ，Ｃｒの予測モードの予測と並行して、対応するＣＴＵ６０に含まれる各ＰＵ８０での輝度Ｙの画像のイントラ予測の予測モードを求める。なお、イントラ予測部１３は、輝度Ｙの処理単位であるＣＴＵ６０ごとにイントラ予測の予測モードを求める処理を、色差Ｃｂ，Ｃｒの予測モードの処理に先立って実行してもよい。

次に、ステップＳ３１において、イントラ予測部１３は、ステップＳ３０においてＰＵ８０で求めた色差Ｃｂ，Ｃｒの画像の予測モードを、対応するＰＵ８０で求めた輝度Ｙの予測モードに応じて選択する。例えば、イントラ予測部１３は、求めた色差Ｃｂ，Ｃｒと輝度Ｙとの予測モードが一致する場合、ＰＵ８０での色差Ｃｂ，Ｃｒの画像の予測モードとして、ＤＭモードで求めた輝度Ｙの予測モードを選択する。一方、イントラ予測部１３は、予測モードが互いに一致しない場合、ＰＵ８０での色差Ｃｂ，Ｃｒの画像の予測モードとして、予測誤差が最小となるＰｌａｎａｒ予測、ＤＣ予測、水平方向予測、垂直方向予測および予測モード３４のいずれかを選択する。そして、イントラ予測部１３は、処理をステップＳ３２に移行する。

ステップＳ３２において、イントラ予測部１３は、各ＰＵ８０において選択した輝度Ｙおよび色差Ｃｂ，Ｃｒの画像における予測モードに基づいて予測画像を生成し、生成した予測画像を用いてイントラ予測におけるコストを算出する。例えば、イントラ予測部１３は、各ＰＵ８０で選択した輝度Ｙおよび色差Ｃｂ，Ｃｒの画像の予測モードを示す情報の符号量と、輝度Ｙおよび色差Ｃｂ，Ｃｒごとに、ＣＴＵ６０における画像とイントラ予測による予測画像との差分の絶対値和の符号量を求める。イントラ予測部１３は、求めた差分の絶対値和と予測モードを示す情報との符号量を加算し、加算した値をコストとして算出する。イントラ予測部１３は、算出したコストを切替部１５に出力する。

次に、ステップＳ３３において、インター予測部１４は、図９において説明したように、分割部１１より受けたＣＴＵ６０の輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像と、メモリ１４０に格納され１フレーム前の画像とを用いインター予測におけるコストを算出する。例えば、インター予測部１４は、輝度Ｙおよび色差Ｃｂ，Ｃｒごとに、メモリ１４０に格納された１フレーム前の画像を読み出す。インター予測部１４は、分割部１１より受けたＣＴＵ６０の画像と読み出した１フレーム前の画像とを、図３に示したＰＵ８０のいずれかのブロックで相関度が高い部分を検索する。インター予測部１４は、検索した相関度が高いＰＵ８０を基準にして、２つの画像間の変位を示す動きベクトルと、２つの画像の差分の絶対値和とを求める。インター予測部１４は、求めた動きベクトルと差分の絶対値和との符号量をそれぞれ求め、求めた符号量を加算した値をコストとして算出する。インター予測部１４は、算出したコストを切替部１５に出力する。

次に、ステップＳ３４において、切替部１５は、図９において説明したように、イントラ予測部１３とインター予測部１４とから受けたコストを比較し、コストが小さい予測処理を選択する。

次に、ステップＳ３５において、生成部１６は、図９において説明したように、選択されたイントラ予測またはインター予測に基づいて、ＣＴＵ６０の処理単位における輝度Ｙおよび色差Ｃｂ，Ｃｒの各予測画像を生成する。

次に、ステップＳ３６において、減算部１７は、図９において説明したように、分割部１１より受けたＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像と、生成部１６により生成された輝度Ｙおよび色差Ｃｂ，Ｃｒの各予測画像とを差分する。減算部１７は、差分した輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像を変換部２１に出力する。

次に、ステップＳ３７において、変換部２１は、図９において説明したように、ＣＴＵ６０の処理単位の輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像に対してＤＣＴ変換等の直交変換を施し、各差分画像の周波数成分を求める。例えば、変換部２１は、メモリ１４０に格納された量子化テーブルを用い、輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像の周波数成分を量子化する。そして、変換部２１は、量子化した輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像の周波数成分を符号化部２０ａおよび逆変換部２２に出力する。

次に、ステップＳ３８において、逆変換部２２は、図９において説明したように、変換部２１により量子化されたＣＴＵ６０の輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像の周波数成分と、メモリ１４０に格納された量子化テーブルとを用い、各差分画像を復号する。逆変換部２２は、ＣＴＵ６０の処理単位における復号した輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像を加算部２３に出力する。

次に、ステップＳ３９において、加算部２３は、図９において説明したように、生成部１６により生成された予測画像と逆変換部２２により復号された差分画像とを加算し、ＣＴＵ６０の処理単位における元の輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像を生成する。加算部２３は、生成した元の輝度Ｙおよび色差Ｃｂ，Ｃｒの画像をメモリ１４０に予め割り当てられた格納領域に格納する。

次に、ステップＳ４０において、符号化部２０ａは、図９において説明したように、ＣＡＢＡＣを用いて、量子化された輝度Ｙおよび色差Ｃｂ，Ｃｒの各差分画像の周波数成分を、各ＰＵ８０における予測モードを示す情報とともに符号化する。

次に、ステップＳ４１において、符号化部２０ａは、全ての処理単位のＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像に対し符号化処理を行ったか否かを判定する。符号化部２０ａは、全てのＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像に対して符号化した場合（ＹＥＳ）、符号化した各画像のデータを記憶装置４０に出力し、記憶装置４０に予め割り当てられた格納領域に格納させる。一方、符号化部２０ａは、全てのＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像に対し符号化していない場合（ＮＯ）、次のＣＴＵ６０における輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像を符号化するために、処理をステップＳ２２に移行する。

そして、画像符号化装置１００は、符号化の処理を終了する。なお、図１１および図１２の処理のフローは、撮像装置３０から画像を受ける度に実行される。

以上、この実施形態では、イントラ予測部１３は、輝度Ｙの画像の形状とは異なる処理単位であるＣＴＵ６０に含まれるＰＵ８０ごとに、色差Ｃｂ，Ｃｒの各画像におけるイントラ予測の予測モードを求める。イントラ予測部１３は、ＰＵ８０での色差Ｃｂ，Ｃｒの画像の予測モードとして予測モード２−５のいずれかを求めた場合、左隣接画素と上隣接画素とが示す被写体の特徴の類似性に応じて、逆向き方向を示す輝度Ｙの予測モード３１−３４のいずれかに置き換える。イントラ予測部１３は、置き換えた輝度Ｙの予測モードでＰＵ８０における色差Ｃｂ，Ｃｒの画像のイントラ予測を行う。図１０で説明したように、求めた色差Ｃｂ，Ｃｒの予測モード２−５が示す方向と、逆向きの輝度Ｙの予測モード３１−３４が示す方向とのずれは、色差Ｃｂ，Ｃｒの予測モード２−５を輝度Ｙの予測モード２に置き換える場合と比べて小さくなる。したがって、上隣接画素の画像と左隣接画素の画像との相関が高い場合に、色差Ｃｂ，Ｃｒの予測モード２−５を輝度の予測モード３１−３４で置き換えることで、画像符号化装置１００は、従来と比べて画像を効率良く符号化することができる。

なお、ステップＳ２３からステップＳ３２までのイントラ予測部１３の処理と、ステップＳ３３のインター予測部１４の処理とは、図１１および図１２に示した順序とは逆の順番で実行されてもよいし、並列に実行されてもよい。

なお、イントラ予測部１３は、式（５）を用い、左隣接画素の画素９０が示す被写体の特徴と上隣接画素の画素９５が示す被写体の特徴との類似性を示す評価値Ｈを算出したが、これに限定されない。例えば、イントラ予測部１３は、式（６）を用い、左隣接画素の画素９０が示す被写体の特徴と上隣接画素の画素９５が示す被写体の特徴との類似性を示す評価値Ｈを算出してもよい。

ここで、係数α（ｊ）は、重み付け係数を示し、画素９０（ｊ）または画素９５（ｊ）を起点にして予測モードが示す方向にＰＵ８０を横切る線分の長さ、または線分上にある画素８５の画素数に応じて決定される。これは、ＰＵ８０を横切る線分が長いほど、あるいは線分上にある画素８５の画素数が多いほど、ＰＵ８０における予測画像の生成に影響を与えるためである。すなわち、イントラ予測部１３は、ＰＵ８０を横切る線分の長さまたは線分上にある画素８５の画素数に応じて重み付けされた評価値Ｈを算出することで、左隣接画素と上隣接画素との被写体の類似性を、式（５）を用いる場合より正確に評価することができる。

なお、画像符号化装置１００は、撮像装置３０から受ける画像を動画としたが、静止画でもよい。例えば、画像符号化装置１００は、画像が静止画の場合、ステップＳ３２、ステップＳ３７およびステップＳ３８の処理を省略するとともに、ステップＳ３３において、切替部１５にイントラ予測を選択させるように制御する。

図１３は、画像符号化装置の別実施形態を示す。図１３に示す画像符号化装置１００の各要素のうち、図９に示した画像符号化装置１００の要素と同一または同様の機能を有するものについては、同一の符号を付し詳細な説明は省略する。

画像符号化装置１００は、メモリ１４０および制御部１５０ａを含む。また、画像符号化装置１００は、キーボードあるいはタッチパネル等の入力装置を含む。画像符号化装置１００は、撮像装置３０および記憶装置４０に接続される。

例えば、制御部１５０ａは、プログラムを実行するプロセッサ等を含み、プロセッサがメモリ１４０の画像符号化プログラムを実行することで、分割部１１、判定部１２、イントラ予測部１３ａ、インター予測部１４、切替部１５および生成部１６として動作する。さらに、制御部１５０ａは、プログラムを実行することで、減算部１７、符号化部２０ａ、変換部２１、逆変換部２２および加算部２３として動作する。

例えば、イントラ予測部１３ａは、処理単位のＣＴＵ６０に含まれる各ＰＵ８０の輝度Ｙの画像におけるイントラ予測の予測モードを求める。イントラ予測部１３ａは、ＰＵ８０での色差Ｃｂ，Ｃｒの画像の予測モードとして、対応するＰＵ８０で求めた輝度Ｙの画像の予測モード、Ｐｌａｎａｒ予測、ＤＣ予測、水平方向予測、垂直方向予測、予測モード３４のうち予測誤差が最小の予測モードを選択する。

ところで、図５において説明したように、輝度Ｙと色差Ｃｂ，Ｃｒとの処理単位の形状が互いに異なる場合、色差Ｃｂ，Ｃｒの予測モード２−５が示す予測方向に対応する輝度Ｙの予測モードがない。換言すれば、輝度Ｙの予測モード３１−３４が示す予測方向に対応する色差Ｃｂ，Ｃｒの予測モードがない。そこで、イントラ予測部１３ａは、輝度Ｙの画像で求めた予測モードが予測モード３１−３４の場合、色差Ｃｂ，Ｃｒの画像の予測モードを、図６に示した補正テーブル１２０に基づいて、逆向きの方向を示す色差Ｃｂ，Ｃｒの予測モード２−５に置き換えを行う。予測モードの置き換え処理を行うにあたり、イントラ予測部１３ａは、図１０で説明したようにして、ＰＵ８０における色差Ｃｂ，Ｃｒの画像の特徴を判別する。例えば、イントラ予測部１３ａは、式（５）を用い、ＰＵ８０における色差Ｃｂ，Ｃｒの画像の左隣接画素の画素９０が示す被写体の特徴と上隣接画素の画素９５が示す被写体の特徴との類似性を評価する。なお、ＰＵ８０における色差Ｃｂ，Ｃｒの画像の特徴を判別するために用いる上隣接画素の画素９２，９５の画素数Ｌａは、式（１）−（４）を用いて調整される。

イントラ予測部１３ａは、評価値Ｈの値が閾値Ｔｈ以下の場合、左隣接画素の画素９０と上隣接画素の画素９５とにおける被写体が類似性を示す、すなわちＰＵ８０における色差Ｃｂ，Ｃｒの画像は図１０で説明した特徴を有すると評価する。イントラ予測部１３ａは、補正テーブル１２０に基づいて、ＰＵ８０で求めた輝度Ｙの画像の予測モード３１−３４を、逆向きの方向を示す色差Ｃｂ，Ｃｒの予測モード２−５のいずれかに置き換える。イントラ予測部１３ａは、置き換え後の色差Ｃｂ，Ｃｒの予測モード、Ｐｌａｎａｒ予測、ＤＣ予測、水平方向予測、垂直方向予測および予測モード３４のうち予測誤差が最小の予測モードを、ＰＵ８０の色差Ｃｂ，Ｃｒの画像における予測モードとして選択する。一方、イントラ予測部１３ａは、評価値Ｈの値が閾値Ｔｈより大きい場合、左隣接画素の画素９０と上隣接画素の画素９５とにおける被写体の類似性がないと評価する。そして、イントラ予測部１３ａは、Ｐｌａｎａｒ予測、ＤＣ予測、水平方向予測、垂直方向予測および予測モード３４のうち符号量が最小となる予測モードを、ＰＵ８０の色差Ｃｂ，Ｃｒの画像における予測モードとして選択する。

図１４および図１５は、図１３に示した画像符号化装置１００における符号化処理の例を示す。なお、図１４および図１５に示したステップの動作のうち、図１１および図１２に示したステップと同様の処理を示すものについては、同一のステップ番号を付し、詳細な説明は省略する。図１４および図１５に示したステップＳ２０からステップＳ２２、ステップＳ５０からステップＳ５６およびステップＳ３０からステップＳ４１の動作は、制御部１５０ａが画像符号化プログラムを実行することにより実現される。すなわち、図１４および図１５は、画像符号化プログラムおよび画像符号化方法の別実施形態を示す。なお、図１４および図１５に示す処理は、画像符号化装置１００に搭載されるハードウェアにより実行されてもよい。この場合、図１３に示した分割部１１、判定部１２、イントラ予測部１３ａ、インター予測部１４、切替部１５、生成部１６および減算部１７は、画像符号化装置１００内に配置される回路により実現される。また、図１３に示した符号化部２０ａ、変換部２１、逆変換部２２および加算部２３は、画像符号化装置１００内に配置される回路により実現される。

図１４に示すステップＳ２０からステップＳ２２の処理は、図１１で説明した処理と同等であるため、詳細な説明は省略する。ただし、ステップＳ２２において、判定部１２は、符号化の色差フォーマットが４：２：２の場合（ＹＥＳ）、処理をステップＳ５０に移行する。一方、判定部１２は、符号化の色差フォーマットが４：２：０あるいは４：４：４等の４：２：２以外の場合（ＮＯ）、処理をステップＳ３０に移行する。

そして、ステップＳ５０において、イントラ予測部１３ａは、図１３において説明したように、ＣＴＵ６０に含まれる各ＰＵ８０において、輝度Ｙの画像におけるイントラ予測の予測モードを求める。

次に、ステップＳ５１において、イントラ予測部１３ａは、図１３において説明したように、ステップＳ５０で求めたＰＵ８０における輝度Ｙの画像の予測モードが予測モード３１−３４のいずれであるか否かを判定する。例えば、イントラ予測部１３ａは、輝度Ｙの画像の予測モードが予測モード３１−３４のいずれかの場合（ＹＥＳ）、処理をステップＳ５２へ移行する。一方、イントラ予測部１３ａは、輝度Ｙの画像の予測モードが予測モード３１−３４でない場合、処理をステップＳ５６に移行する。

ステップＳ５２において、イントラ予測部１３ａは、図１３において説明したように、画像の特徴を判別するために、上隣接画素の画素９２，９５の画素数Ｌａを、式（１）−（４）を用い調整する。

次に、ステップＳ５３において、イントラ予測部１３ａは、図１３において説明したように、式（５）を用い、ＰＵ８０での色差Ｃｂ，Ｃｒの画像の左隣接画素の画素９０と上隣接画素の画素９５とが示す被写体の特徴の類似性を示す評価値Ｈを算出する。

次に、ステップＳ５４において、イントラ予測部１３ａは、図１３において説明したように、算出した評価値Ｈと閾値Ｔｈとの比較から、左隣接画素の画素９０と上隣接画素の画素９５とが示す被写体の特徴の類似性を判定する。例えば、イントラ予測部１３ａは、算出した評価値Ｈが閾値Ｔｈ以下の場合、左隣接画素の画素９０と上隣接画素の画素９５とにおける被写体が類似性を示し同じ被写体と評価し（ＹＥＳ）、処理をステップＳ５５に移行する。一方、イントラ予測部１３ａは、算出した評価値Ｈが閾値Ｔｈより大きい場合、左隣接画素の画素９０と上隣接画素の画素９５とにおける被写体の類似性がなく互いに異なる被写体と評価する（ＮＯ）。そして、イントラ予測部１３ａは、Ｐｌａｎａｒ予測、ＤＣ予測、水平方向予測、垂直方向予測および予測モード３４のうち、予測誤差が最小となるＰＵ８０における色差Ｃｂ，Ｃｒの画像の予測モードを選択し、処理をステップＳ３２に移行する。

ステップＳ５５において、イントラ予測部１３ａは、図１３において説明したように、補正テーブル１２０に基づいて、求めた輝度Ｙの予測モード３１−３４を、逆向きの方向を示す色差Ｃｂ，Ｃｒの予測モード２−５のいずれかで置き換える。

図１５に示すステップＳ５６において、イントラ予測部１３ａは、図１３において説明したように、ＣＴＵ６０に含まれる各ＰＵ８０の色差Ｃｂ，Ｃｒの画像におけるイントラ予測の予測モードを選択する。例えば、イントラ予測部１３ａは、色差Ｃｂ，Ｃｒの画像の予測モードとして、ステップＳ５１で求めた輝度Ｙの画像の予測モード、Ｐｌａｎａｒ予測、ＤＣ予測、水平方向予測、垂直方向予測および予測モード３４のうち、予測誤差が最小の予測モードを選択する。あるいは、イントラ予測部１３ａは、ステップＳ５５で置き換えた色差Ｃｂ，Ｃｒの予測モード、Ｐｌａｎａｒ予測、ＤＣ予測、水平方向予測、垂直方向予測および予測モード３４のうち、予測誤差が最小の予測モードを色差Ｃｂ，Ｃｒの画像の予測モードとする。イントラ予測部１３ａは、ステップＳ３２に移行する。

そして、画像符号化装置１００は、ステップＳ３２からステップＳ４１の処理を実行する。なお、ステップＳ３２からステップＳ４１の処理は、図１２で説明した処理と同等であるため、詳細な説明は省略する。また、図１４および図１５の処理のフローは、撮像装置３０から画像を受ける度に実行される。

以上、この実施形態では、イントラ予測部１３ａは、色差Ｃｂ，Ｃｒの画像の形状とは異なる処理単位であるＣＴＵ６０に含まれるＰＵ８０ごとに、輝度Ｙの画像におけるイントラ予測の予測モードを求める。イントラ予測部１３ａは、ＰＵ８０での輝度Ｙの画像において予測モード３１−３４のいずれかを求めた場合、左隣接画素と上隣接画素とが示す被写体の特徴の類似性に応じて、逆向きの方向を示す色差Ｃｂ，Ｃｒの予測モード２−５のいずれかに置き換える。イントラ予測部１３ａは、置き換えた色差Ｃｂ，Ｃｒの予測モードでＰＵ８０における色差Ｃｂ，Ｃｒの画像のイントラ予測を行う。これにより、イントラ予測部１３ａは、求めた輝度Ｙの予測モードが予測モード３１−３４の場合でも、ＤＭモードで色差Ｃｂ，Ｃｒの予測モードを選択することができ、画像符号化装置１００は、従来と比べて画像を効率良く符号化することができる。

なお、ステップＳ５０からステップＳ５６およびステップＳ３０からステップＳ３２のイントラ予測部１３ａの処理と、ステップＳ３３のインター予測部１４の処理とは、図１４から図１５に示した順序とは逆の順番で実行されてもよいし、並列に実行されてもよい。

なお、イントラ予測部１３ａは、式（５）を用い、左隣接画素の画素９０が示す被写体の特徴と上隣接画素の画素９５が示す被写体の特徴との類似性を示す評価値Ｈを算出したが、これに限定されず、例えば、式（６）を用いて評価値Ｈを算出してもよい。

なお、画像符号化装置１００は、撮像装置３０から受ける画像を動画としたが、静止画でもよい。例えば、画像符号化装置１００は、画像が静止画の場合、ステップＳ３３、ステップＳ３８およびステップＳ３９の処理を省略するとともに、ステップＳ３４において、切替部１５にイントラ予測を選択させるように制御する。

図１６は、図１、図９および図１３に示した画像符号化装置１００のハードウェア構成の例を示す。なお、図１６に示す各要素のうち、図１、図９および図１３に示した要素と同等のものについては同一の符号を付して示し、詳細な説明は省略する。

コンピュータ装置２００は、プロセッサ２１０、カメラインタフェース２２０、入出力インタフェース２３０、光学ドライブ装置２４０、メモリ２５０およびハードディスク装置２６０を含む。プロセッサ２１０、カメラインタフェース２２０、入出力インタフェース２３０、光学ドライブ装置２４０、メモリ２５０およびハードディスク装置２６０は、バスを介し互いに接続される。また、プロセッサ２１０、カメラインタフェース２２０、入出力インタフェース２３０、メモリ２５０は、画像符号化装置１００に含まれる。

コンピュータ装置２００は、カメラインタフェース２２０を介して、例えば、撮像装置３０に接続される。プロセッサ２１０は、カメラインタフェース２２０を介して、撮像装置３０により撮像された被写体の画像を受信する。なお、図１６では、撮像装置３０は、コンピュータ装置２００の外部に配置されるが、例えば、コンピュータ装置２００の内部に配置されてもよい。

入力装置３００は、例えば、キーボード、タッチパネルあるいはマウス等である。コンピュータ装置２００のユーザは、入力装置３００を操作し、例えば、画像の符号化処理の開始あるいは終了の指示、または符号化の色差フォーマットの設定等を行う。

また、出力装置４００は、有機ＥＬや液晶等のディスプレイあるいはプリンタ等を含む。出力装置４００は、プロセッサ２１０の制御により撮像装置３０により撮影された画像を表示あるいは印刷等する。

光学ドライブ装置２４０は、光ディスク等のリムーバブルディスク２４５を装着可能であり、装着したリムーバブルディスク２４５に記録された情報の読み出しおよび記録を行う。

また、ハードディスク装置２６０は、コンピュータ装置２００のオペレーティングシステムとともに、プロセッサ２１０が符号化処理を実行するためのアプリケーションプログラムを格納する。また、メモリ２５０やハードディスク装置２６０は、図５に示した補正テーブル１１０および図６に示した補正テーブル１２０を予め格納する。

なお、符号化処理を実行するためのアプリケーションプログラムは、例えば、リムーバブルディスク２４５に記録して頒布することができる。そして、リムーバブルディスク２４５が光学ドライブ装置２４０に装着され、プロセッサ２１０が読み込み処理を行うことにより、符号化処理を実行するためのアプリケーションプログラムは、メモリ２５０やハードディスク装置２６０に格納されてもよい。また、コンピュータ装置２００は、コンピュータ装置２００に含まれるネットワークインタフェースを介し、ネットワークから符号化処理を実行するためのアプリケーションプログラムをダウンロードし、メモリ２５０やハードディスク装置２６０に格納してもよい。

また、プロセッサ２１０は、符号化処理のアプリケーションプログラムを実行することで、図１に示した予測部１０および符号化部２０として機能する。また、プロセッサ２１０は、符号化処理のアプリケーションプログラムを実行することで、図９に示した分割部１１、判定部１２、イントラ予測部１３、インター予測部１４、切替部１５および生成部１６として機能する。さらに、プロセッサ２１０は、符号化処理のアプリケーションプログラムを実行することで、図９に示した減算部１７、符号化部２０ａ、変換部２１、逆変換部２２および加算部２３として機能する。また、プロセッサ２１０は、符号化処理のアプリケーションプログラムを実行することで、図１３に示した分割部１１、判定部１２、イントラ予測部１３ａ、インター予測部１４、切替部１５および生成部１６として機能する。さらに、プロセッサ２１０は、符号化処理のアプリケーションプログラムを実行することで、図１３に示した減算部１７、符号化部２０ａ、変換部２１、逆変換部２２および加算部２３として機能する。

つまり、画像符号化装置１００は、プロセッサ２１０、カメラインタフェース２２０、入出力インタフェース２３０、メモリ２５０の協働によって実現する。

符号化処理のアプリケーションプログラムは、撮像装置３０から受けた輝度Ｙおよび色差Ｃｂ，Ｃｒの各画像を、符号化の色差フォーマットに応じた形状の処理単位で予測誤差が最小となる予測方向を求める処理をプロセッサ２１０に実行させるプログラムを含む。符号化処理のアプリケーションプログラムは、求めた色差Ｃｂ，Ｃｒの予測方向が所定の予測方向の場合、求めた予測方向と逆向きの輝度Ｙで定義された予測方向で色差Ｃｂ，Ｃｒの画像をイントラ予測する処理をプロセッサ２１０に実行させるプログラムを含む。また、符号化処理のアプリケーションプログラムは、イントラ予測の結果に基づいて色差Ｃｂ，Ｃｒの画像を符号化する処理をプロセッサ２１０に実行させるプログラムを含む。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０…予測部；１１…分割部；１２…判定部；１３，１３ａ…イントラ予測部；１４…インター予測部；１５…切替部；１６…生成部；１７…減算部；２０，２０ａ…符号化部；２１…変換部；２２…逆変換部；２３…加算部；３０…撮像装置；４０…記憶装置；６０…ＣＴＵ；６５（１）−６５（３）…ＣＵ；７０−７２…ＴＵ；８０（１）−８０（８）…ＰＵ；８５（１，１）−８５（Ｎ，Ｎ），９０（１）−９０（２Ｎ），９２，９５（１）−９５（２Ｎ）…画素；１００…画像符号化装置；１１０，１２０…補正テーブル；２００…コンピュータ装置；２１０…プロセッサ；２２０…カメラインタフェース；２３０…入出力インタフェース；２４０…光学ドライブ装置；２４５…リムーバブルディスク；２５０…メモリ；２６０…ハードディスク装置；３００…入力装置；４００…出力装置

Claims (8)

1. 輝度の画像と異なる形状の色差の画像におけるイントラ予測の予測方向を処理単位ごとに求め、
   求めた前記予測方向が前記輝度のイントラ予測で対応する方向が定義されない第１方向の場合に、前記第１方向と逆向きを示す方向に対応する前記輝度のイントラ予測で定義された第２方向で前記処理単位における前記色差の画像をイントラ予測し、
   前記イントラ予測の結果に基づいて前記色差の画像を符号化する
   ことを特徴とする画像符号化方法。
2. 請求項１に記載の画像符号化方法において、
   求めた前記予測方向が前記第１方向の場合に、
   前記色差の前記処理単位の垂直方向の境界に沿って隣接する複数の第１画素が示す被写体の特徴と前記色差の前記処理単位の水平方向の境界に沿って隣接する複数の第２画素が示す被写体の特徴との類似性を示す評価値を算出し、
   算出した前記評価値が前記複数の第１画素と前記複数の第２画素とにおける被写体の類似を示す場合、前記第２方向を用いて前記処理単位における前記色差の画像をイントラ予測する
   ことを特徴とする画像符号化方法。
3. 請求項２に記載の画像符号化方法において、
   前記評価値の算出に用いる前記第２画素の数を、求めた前記予測方向に応じて調整することを特徴とする画像符号化方法。
4. 色差の画像と異なる形状の輝度の画像におけるイントラ予測の予測方向を処理単位ごとに求め、
   求めた前記予測方向が前記色差のイントラ予測で対応する方向が定義されない第１方向の場合に、前記第１方向と逆向きを示す方向に対応する前記色差のイントラ予測で定義された第２方向で前記処理単位における前記色差の画像をイントラ予測し、
   前記イントラ予測の結果に基づいて前記色差の画像を符号化する
   ことを特徴とする画像符号化方法。
5. 輝度の画像と異なる形状の色差の画像におけるイントラ予測の予測方向を処理単位ごとに求め、求めた前記予測方向が前記輝度のイントラ予測で対応する方向が定義されない第１方向の場合に、前記第１方向と逆向きを示す方向に対応する前記輝度のイントラ予測で定義された第２方向で前記処理単位における前記色差の画像をイントラ予測する予測部と、
   前記イントラ予測の結果に基づいて前記色差の画像を符号化する符号化部と、
   を備えることを特徴とする画像符号化装置。
6. 色差の画像と異なる形状の輝度の画像におけるイントラ予測の予測方向を処理単位ごとに求め、求めた前記予測方向が前記色差のイントラ予測で対応する方向が定義されない第１方向の場合に、前記第１方向と逆向きを示す方向に対応する前記色差のイントラ予測で定義された第２方向で前記処理単位における前記色差の画像をイントラ予測する予測部と、
   前記イントラ予測の結果に基づいて前記色差の画像を符号化する符号化部と、
   を備えることを特徴とする画像符号化装置。
7. 輝度の画像と異なる形状の色差の画像におけるイントラ予測の予測方向を処理単位ごとに求め、
   求めた前記予測方向が前記輝度のイントラ予測で対応する方向が定義されない第１方向の場合に、前記第１方向と逆向きを示す方向に対応する前記輝度のイントラ予測で定義された第２方向で前記処理単位における前記色差の画像をイントラ予測し、
   イントラ予測の結果に基づいて前記色差の画像を符号化する
   処理をコンピュータに実行させる画像符号化プログラム。
8. 色差の画像と異なる形状の輝度の画像におけるイントラ予測の予測方向を処理単位ごとに求め、
   求めた前記予測方向が前記色差のイントラ予測で対応する方向が定義されない第１方向の場合に、前記第１方向と逆向きを示す方向に対応する前記色差のイントラ予測で定義された第２方向で前記処理単位における前記色差の画像をイントラ予測し、
   イントラ予測の結果に基づいて前記色差の画像を符号化する
   処理をコンピュータに実行させる画像符号化プログラム。

Images