JPWO2010101063A1 - 画像処理装置および方法 - Google Patents

Abstract

本発明は、圧縮効率を向上させることができるようにする画像処理装置および方法に関する。画素値Ａ乃至Ｄの水平画素平均値AveHが算出され、水平画素分散値DistHが算出される。画素値Ｉ乃至Ｊの垂直画素平均値AveVが算出され、垂直画素分散値DistVが算出される。水平画素分散値DistHが閾値ThHより小さく、垂直画素分散値DistVが閾値ThVより大きい場合、画素ａ乃至ｐからなる対象ブロックにモード１が適用される。水平画素分散値DistHが閾値ThHより大きく、垂直画素分散値DistVが閾値ThVより小さい場合、対象ブロックにモード０が適用される。本発明は、例えば、H．264/AVC方式で符号化する画像符号化装置に適用することができる。

Description

本発明は、画像処理装置および方法に関し、特に、圧縮効率を向上させるようにした画像処理装置および方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。

特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。

さらに、近年、当初テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。

ところで、H．264/AVC方式が、従来のMPEG2方式などに比して高い符号化効率を実現する要因の１つとして、次に説明するイントラ予測方式による予測精度の向上が挙げられる。

H．264/AVC方式において、輝度信号については、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードが定められている。色差信号については、４種類の８×８画素のブロック単位のイントラ予測モードが定められている。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。

さらに、輝度信号の４×４画素のイントラ予測モードおよび８×８画素のイントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つの予測モードが定義される。輝度信号の１６×１６画素のイントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される（非特許文献１の”8.3 Intra Prediction”参照）。

したがって、特に、輝度信号の４×４画素のイントラ予測モード（イントラ４×４予測モードとも称する）においては、１６個のそれぞれのブロックに対して、どの予測モードであるかを示す情報を復号側に送らなければならないため、符号化効率が低下していた。

そこで、非特許文献２においては、イントラ予測に先立ち、隣接画素の分散が閾値以下である場合には、符号化対象のブロックに対する予測モードをDC予測とし、どの予測モードであるかを示す情報に必要なビットを伝送しないことが提案されている。

"ITU-T Recommendation H.264 Advanced video coding for generic audiovisual", November 2007

"Adaptive intra mode bit skip in intra coding",VCEG-AJ11,ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG), 8-10 Oct 2008

ところで、非特許文献２においては、モード番号(CodeNumber)＝２であるDC予測に関するモードビットを削減することしか提案されていない。

しかしながら、H．264/AVC方式においては、DC予測よりも小さいモード番号＝０，１がそれぞれ設定されているVertical予測およびHorizontal予測の出現確率の方が高い。したがって、符号化効率の低下に対する、Vertical予測およびHorizontal予測であるかを示す情報に必要なモードビットの影響は大きい。

本発明は、このような状況に鑑みてなされたものであり、Vertical予測およびHorizontal予測に関するモードビットを削減することで、さらなる符号化効率を改善するものである。

本発明の第１の側面の画像処理装置は、イントラ予測の対象ブロックの上部に位置する隣接画素値の分散値である水平画素分散値を受信する水平画素分散値受信手段と、前記対象ブロックの左部に位置する隣接画素値の分散値である垂直画素分散値を受信する垂直画素分散値受信手段と、前記水平画素分散値受信手段により受信された前記水平画素分散値が、予め設定された水平方向の閾値よりも大きく、かつ、前記垂直画素分散値受信手段により受信された前記垂直画素分散値が、予め設定された垂直方向の閾値よりも小さい場合、前記対象ブロックに、垂直予測モードを適用する予測モード適用判定手段と、前記予測モード適用判定手段により適用された予測モードで、前記対象ブロックの予測画像を生成するイントラ予測手段と、前記対象ブロックの画像と前記イントラ予測手段により生成された前記予測画像との差分を符号化する符号化手段とを備える。

前記予測モード適用判定手段は、前記水平画素分散値受信手段により受信された前記水平画素分散値が、前記水平方向の閾値よりも小さく、かつ、前記垂直画素分散値受信手段により受信された前記垂直画素分散値が、前記垂直方向の閾値よりも大きい場合、前記対象ブロックに、水平予測モードを適用することができる。

前記垂直方向の閾値および前記水平方向の閾値が、前記対象ブロックに対する量子化パラメータの関数として定義される。

前記垂直方向の閾値および前記水平方向の閾値には、前記量子化パラメータが大きいほど、より大きな値が設定される。

前記水平画素分散値を算出する水平画素分散値算出手段と、前記垂直画素分散値を算出する垂直画素分散値算出手段とをさらに備えることができる。

本発明の第１の側面の画像処理方法は、画像処理装置が、イントラ予測の対象ブロックの上部に位置する隣接画素値の分散値である水平画素分散値を受信し、前記対象ブロックの左部に位置する隣接画素値の分散値である垂直画素分散値を受信し、受信された前記水平画素分散値が、予め設定された水平方向の閾値よりも大きく、かつ、受信された前記垂直画素分散値が、予め設定された垂直方向の閾値よりも小さい場合、前記対象ブロックに、垂直予測モードを適用し、適用された予測モードで、前記対象ブロックの予測画像を生成し、前記対象ブロックの画像と生成された前記予測画像との差分を符号化するステップを含む。

本発明の第２の側面の画像処理装置は、符号化されているイントラ予測の対象ブロックの画像を復号する復号手段と、前記対象ブロックの上部に位置する隣接画素値の分散値である水平画素分散値を受信する水平画素分散値受信手段と、前記対象ブロックの左部に位置する隣接画素値の分散値である垂直画素分散値を受信する垂直画素分散値受信手段と、前記垂直画素分散値受信手段により受信された前記垂直画素分散値が、予め設定された垂直方向の閾値よりも小さく、かつ、前記水平画素分散値受信手段により受信された前記水平画素分散値が、予め設定された水平方向の閾値よりも大きい場合、前記対象ブロックに、垂直予測モードを適用する予測モード適用判定手段と、前記予測モード適用判定手段により適用された予測モードで、前記対象ブロックの予測画像を生成するイントラ予測手段と、前記復号手段により復号された前記画像と前記イントラ予測手段により生成された前記予測画像を加算する演算手段とを備える。

前記予測モード適用判定手段は、前記水平画素分散値受信手段により受信された前記水平画素分散値が、前記水平方向の閾値よりも小さく、かつ、前記垂直画素分散値受信手段により受信された前記垂直画素分散値が、前記垂直方向の閾値よりも大きい場合、前記対象ブロックに、水平予測モードを適用することができる。

前記垂直方向の閾値および前記水平方向の閾値が、前記対象ブロックに対する量子化パラメータの関数として定義される。

前記垂直方向の閾値および前記水平方向の閾値には、前記量子化パラメータが大きいほど、より大きな値が設定される。

前記水平画素分散値を算出する水平画素分散値算出手段と、前記垂直画素分散値を算出する垂直画素分散値算出手段とをさらに備える。

本発明の第２の側面の画像処理方法は、画像処理装置が、符号化されているイントラ予測の対象ブロックの画像を復号し、前記対象ブロックの上部に位置する隣接画素値の分散値である水平画素分散値を受信し、前記対象ブロックの左部に位置する隣接画素値の分散値である垂直画素分散値を受信し、受信された前記水平画素分散値が、予め設定された水平方向の閾値よりも大きく、かつ、受信された前記垂直画素分散値が、予め設定された垂直方向の閾値よりも小さい場合、前記対象ブロックに、垂直予測モードを適用し、適用された予測モードで、前記対象ブロックの予測画像を生成し、復号された前記画像と生成された前記予測画像を加算するステップを含む。

本発明の第１の側面においては、イントラ予測の対象ブロックの上部に位置する隣接画素値の分散値である水平画素分散値が受信され、前記対象ブロックの左部に位置する隣接画素値の分散値である垂直画素分散値が受信される。受信された前記水平画素分散値が、予め設定された水平方向の閾値よりも大きく、かつ、受信された前記垂直画素分散値が、予め設定された垂直方向の閾値よりも小さい場合、前記対象ブロックに、垂直予測モードが適用される。そして、適用された予測モードで、前記対象ブロックの予測画像が生成され、前記対象ブロックの画像と生成された前記予測画像との差分が符号化される。

本発明の第２の側面においては、符号化されているイントラ予測の対象ブロックの画像が復号され、イントラ予測の対象ブロックの上部に位置する隣接画素値の分散値である水平画素分散値が受信され、前記対象ブロックの左部に位置する隣接画素値の分散値である垂直画素分散値が受信される。受信された前記水平画素分散値が、予め設定された水平方向の閾値よりも大きく、かつ、受信された前記垂直画素分散値が、予め設定された垂直方向の閾値よりも小さい場合、前記対象ブロックに、垂直予測モードが適用される。そして、適用された予測モードで、前記対象ブロックの予測画像が生成され、復号された前記画像と生成された前記予測画像が加算される。

なお、上述の画像処理装置のそれぞれは、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。

本発明の第１の側面によれば、画像を符号化することができる。また、本発明の第１の側面によれば、符号化効率を向上させることができる。

本発明の第２の側面によれば、画像を復号することができる。また、本発明の第２の側面によれば、符号化効率を向上させることができる。

本発明を適用した画像符号化装置の一実施の形態の構成を示すブロック図である。 水平垂直予測判定部の構成例を示すブロック図である。 図１の画像符号化装置の符号化処理を説明するフローチャートである。 図３のステップＳ２１の予測処理を説明するフローチャートである。 １６×１６画素のイントラ予測モードの場合の処理順序を説明する図である。 輝度信号の４×４画素のイントラ予測モードの種類を示す図である。 輝度信号の４×４画素のイントラ予測モードの種類を示す図である。 ４×４画素のイントラ予測の方向を説明する図である。 ４×４画素のイントラ予測を説明する図である。 輝度信号の４×４画素のイントラ予測モードの符号化を説明する図である。 輝度信号の８×８画素のイントラ予測モードの種類を示す図である。 輝度信号の８×８画素のイントラ予測モードの種類を示す図である。 輝度信号の１６×１６画素のイントラ予測モードの種類を示す図である。 輝度信号の１６×１６画素のイントラ予測モードの種類を示す図である。 １６×１６画素のイントラ予測を説明する図である。 色差信号のイントラ予測モードの種類を示す図である。 図４のステップＳ３１のイントラ水平垂直予測判定処理を説明するフローチャートである。 量子化パラメータについて説明する図である。 図４のステップＳ３２のイントラ予測処理を説明するフローチャートである。 図４のステップＳ３３のインター動き予測処理を説明するフローチャートである。 本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。 図２１の画像復号装置の復号処理を説明するフローチャートである。 図２２のステップＳ１３８の予測処理を説明するフローチャートである。 図２３のステップＳ１７５のイントラ水平垂直予測判定処理を説明するフローチャートである。 拡張されたブロックサイズの例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。

以下、図を参照して本発明の実施の形態について説明する。

［画像符号化装置の構成例］
図１は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。

この画像符号化装置５１は、例えば、H．264及びMPEG-4 Part10（Advanced Video Coding）（以下H．264/AVCと記す）方式で画像を圧縮符号化する。

図１の例において、画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、水平垂直予測判定部７５、動き予測・補償部７６、予測画像選択部７７、およびレート制御部７８により構成されている。

Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。

演算部６３は、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部７７により選択されたイントラ予測部７４からの予測画像または動き予測・補償部７６からの予測画像を減算し、その差分情報を直交変換部６４に出力する。直交変換部６４は、演算部６３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部６５は直交変換部６４が出力する変換係数を量子化する。

量子化部６５の出力となる、量子化された変換係数は、可逆符号化部６６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。

可逆符号化部６６は、イントラ予測を示す情報をイントラ予測部７４から取得し、インター予測モードを示す情報などを動き予測・補償部７６から取得する。なお、イントラ予測を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。

可逆符号化部６６は、量子化された変換係数を符号化するとともに、イントラ予測を示す情報や、インター予測モードを示す情報などを符号化し、圧縮画像におけるヘッダ情報の一部とする。可逆符号化部６６は、符号化したデータを蓄積バッファ６７に供給して蓄積させる。

例えば、可逆符号化部６６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ６７は、可逆符号化部６６から供給されたデータを、H．264/AVC方式で符号化された圧縮画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、さらに逆直交変換部６９において逆直交変換される。逆直交変換された出力は演算部７０により予測画像選択部７７から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ７１は、復号された画像のブロック歪を除去した後、フレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。

スイッチ７３はフレームメモリ７２に蓄積された参照画像を動き予測・補償部７６またはイントラ予測部７４に出力する。

この画像符号化装置５１においては、例えば、画面並べ替えバッファ６２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部７４に供給される。また、画面並べ替えバッファ６２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測・補償部７６に供給される。

イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像とフレームメモリ７２から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。

輝度信号のイントラ予測モードには、処理するブロック単位がそれぞれ異なる、イントラ４×４予測モード、イントラ８×８予測モード、およびイントラ１６×１６予測モードがある。イントラ予測モードの詳細は、図５以降で後述される。

このとき、イントラ４×４予測モードについては、水平垂直予測判定部７５からの適用モード情報に応じた予測モードのイントラ予測処理が行われる。

すなわち、水平垂直予測判定部７５により対象ブロックに、予測モードのうちモード０またはモード１が適用された場合には、イントラ予測部７４は、適用されたモード０またはモード１によるイントラ予測処理を行い、予測画像を生成する。水平垂直予測判定部７５により対象ブロックに、予測モードのうちモード０およびモード１のどちらも適用されなかった場合には、イントラ予測部７４は、他のイントラ予測モードの場合と同様なイントラ予測処理を行い、予測画像を生成する。

なお、これらの処理のため、イントラ予測部７４は、イントラ４×４予測モードの対象ブロックの隣接画素の情報（画素値）を、水平垂直予測判定部７５に供給し、水平垂直予測判定部７５からの適用モード情報を受け取る。

イントラ予測部７４は、予測画像を生成したイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。

イントラ予測部７４は、予測画像選択部７７により最適イントラ予測モードで生成された予測画像が選択された場合、最適イントラ予測モードを示す情報を、可逆符号化部６６に供給する。なお、このとき、最適イントラ予測モードが、水平垂直予測判定部７５により適用されたモード０またはモード１のイントラ４×４予測モードである場合、イントラ予測部７４は、最適イントラ予測モードを示す情報を、可逆符号化部６６に供給しない。

可逆符号化部６６は、イントラ予測部７４から情報が送られてきた場合には、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。

水平垂直予測判定部７５は、イントラ予測の対象ブロックの上部隣接画素の画素値の平均値と、左部隣接画素の画素値の平均値を算出し、それらを用いて、さらに、上部隣接画素の画素値の分散値と、左部隣接画素の画素値の分散値を算出する。

水平垂直予測判定部７５は、算出した上部隣接画素の分散値と予め設定された水平方向の閾値との比較結果、および、算出した左部隣接画素の分散値と予め設定された垂直方向の閾値との比較結果に応じた予測モードを、対象ブロックに適用する。対象ブロックに対する適用したモードを示す適用モードの情報は、イントラ予測部７４に供給される。

動き予測・補償部７６は、候補となる全てのインター予測モードの動き予測・補償処理を行う。すなわち、動き予測・補償部７６には、画面並べ替えバッファ６２から読み出されたインター処理する画像と、スイッチ７３を介してフレームメモリ７２から参照画像が供給される。動き予測・補償部７６は、インター処理する画像と参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出し、動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。

また、動き予測・補償部７６は、候補となる全てのインター予測モードに対してコスト関数値を算出する。動き予測・補償部７６は、算出したコスト関数値のうち、最小値を与える予測モードを、最適インター予測モードとして決定する。

動き予測・補償部７６は、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。動き予測・補償部７６は、予測画像選択部７７により最適インター予測モードで生成された予測画像が選択された場合、最適インター予測モードを示す情報（インター予測モード情報）を可逆符号化部６６に出力する。

なお、必要であれば、動きベクトル情報、フラグ情報、参照フレーム情報なども可逆符号化部６６に出力される。可逆符号化部６６は、動き予測・補償部７６からの情報をやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。

予測画像選択部７７は、イントラ予測部７４または動き予測・補償部７６より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部７７は、決定された最適予測モードの予測画像を選択し、演算部６３，７０に供給する。このとき、予測画像選択部７７は、予測画像の選択情報を、イントラ予測部７４または動き予測・補償部７６に供給する。

レート制御部７８は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。

［水平垂直予測判定部の構成例］
図２は、水平垂直予測判定部の詳細な構成例を示すブロック図である。

図２の例の場合、水平垂直予測判定部７５は、水平隣接画素平均算出部８１、垂直隣接画素平均算出部８２、水平隣接画素分散算出部８３、垂直隣接画素分散算出部８４、および予測モード適用判定部８５により構成されている。

水平隣接画素平均算出部８１には、イントラ予測部７４から、イントラ４×４予測モードの場合の対象ブロックの上部隣接画素の画素値が入力される。水平隣接画素平均算出部８１は、入力された上部隣接画素の画素値を用いて、上部隣接画素の画素値の平均値である水平画素平均値を算出し、算出した水平画素平均値を水平隣接画素分散算出部８３に供給する。

垂直隣接画素平均算出部８２には、イントラ予測部７４から、イントラ４×４予測モードの場合の対象ブロックの左部隣接画素の画素値が入力される。垂直隣接画素平均算出部８２は、入力された左部隣接画素の画素値を用いて、左部隣接画素の画素値の平均値である垂直画素平均値を算出し、算出した垂直画素平均値を垂直隣接画素分散算出部８４に供給する。

水平隣接画素分散算出部８３は、水平隣接画素平均算出部８１からの水平画素平均値を用いて、上部隣接画素の画素値の分散値である水平画素分散値を算出し、算出した水平画素分散値を予測モード適用判定部８５に供給する。

垂直隣接画素分散算出部８４は、垂直隣接画素平均算出部８２からの垂直画素平均値を用いて、左部隣接画素の画素値の分散値である垂直画素分散値を算出し、算出した垂直画素分散値を予測モード適用判定部８５に供給する。

予測モード適用判定部８５は、水平隣接画素分散算出部８３からの水平画素分散値と垂直隣接画素分散算出部８４からの垂直画素分散値を受信する。予測モード適用判定部８５は、水平隣接画素分散算出部８３から受信した水平画素分散値と、予め設定された水平方向の閾値とを比較し、垂直隣接画素分散算出部８４から受信した垂直画素分散値と、予め設定された垂直方向の閾値とを比較する。

予測モード適用判定部８５は、水平画素分散値が水平方向の閾値よりも大きく、垂直画素分散値が垂直方向の閾値よりも小さい場合、対象ブロックに、予測モードとして、モード０（Vertical Prediction）を適用する。

予測モード適用判定部８５は、水平画素分散値が水平方向の閾値よりも小さく、垂直画素分散値が垂直方向の閾値よりも大きい場合、対象ブロックに、予測モードとして、モード１（Horizontal Prediction）を適用する。なお、これらのモード０およびモード１の詳細に関しては、図６および図７を参照して後述する。

上述した比較結果以外の場合には、予測モード適用判定部８５は、対象ブロックに、通常の予測モードを適用する。すなわち、この場合、イントラ４×４予測モードの９種類の予測モードで動き予測、補償が行われ、コスト関数値が算出され、その中から、コスト関数値の小さい、最適なイントラ予測モードが選定される。

［画像符号化装置の符号化処理の説明］
次に、図３のフローチャートを参照して、図１の画像符号化装置５１の符号化処理について説明する。

ステップＳ１１において、Ａ／Ｄ変換部６１は入力された画像をＡ／Ｄ変換する。ステップＳ１２において、画面並べ替えバッファ６２は、Ａ／Ｄ変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１３において、演算部６３は、ステップＳ１２で並び替えられた画像と予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部７６から、イントラ予測する場合はイントラ予測部７４から、それぞれ予測画像選択部７７を介して演算部６３に供給される。

差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１４において、直交変換部６４は演算部６３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５において、量子化部６５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２５の処理で説明されるように、レートが制御される。

以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１６において、逆量子化部６８は量子化部６５により量子化された変換係数を量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は逆量子化部６８により逆量子化された変換係数を直交変換部６４の特性に対応する特性で逆直交変換する。

ステップＳ１８において、演算部７０は、予測画像選択部７７を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部６３への入力に対応する画像）を生成する。ステップＳ１９においてデブロックフィルタ７１は、演算部７０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２０においてフレームメモリ７２は、フィルタリングされた画像を記憶する。なお、フレームメモリ７２にはデブロックフィルタ７１によりフィルタ処理されていない画像も演算部７０から供給され、記憶される。

ステップＳ２１において、イントラ予測部７４および動き予測・補償部７６は、それぞれ画像の予測処理を行う。すなわち、ステップＳ２１において、イントラ予測部７４は、イントラ予測モードのイントラ予測処理を行う。動き予測・補償部７６は、インター予測モードの動き予測・補償処理を行う。このとき、イントラ予測部７４は、イントラ４×４予測モードについては、水平垂直予測判定部７５からの適用モード情報に応じた予測モードのイントラ予測処理を行う。

ステップＳ２１における予測処理の詳細は、図４を参照して後述するが、この処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部７７に供給される。

また、算出されたコスト関数値に基づいて、インター予測モードの中から、最適インター予測モードが決定され、最適インター予測モードで生成された予測画像とそのコスト関数値が、予測画像選択部７７に供給される。

ステップＳ２２において、予測画像選択部７７は、イントラ予測部７４および動き予測・補償部７６より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部７７は、決定した最適予測モードの予測画像を選択し、演算部６３，７０に供給する。この予測画像が、上述したように、ステップＳ１３，Ｓ１８の演算に利用される。

なお、この予測画像の選択情報は、イントラ予測部７４または動き予測・補償部７６に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部７４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部６６に供給する。このとき、最適イントラ予測モードが、水平垂直予測判定部７５により適用されたイントラ４×４予測モードのモード０またはモード１である場合には、最適イントラ予測モードを示す情報は可逆符号化部６６には供給されない。

すなわち、最適イントラ予測モードが、水平垂直予測判定部７５により適用されたイントラ４×４予測モードのモード０またはモード１である場合、マクロブロック毎のイントラ４×４予測モードであるという情報は、復号側に送られる。これに対して、対象ブロック毎のモード０またはモード１であるという情報は、復号側に送られない。これにより、圧縮画像中における予測モード情報を低減することができる。

最適インター予測モードの予測画像が選択された場合、動き予測・補償部７６は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部６６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報やフラグ情報、参照フレーム情報などがあげられる。すなわち、最適インター予測モードとして、インター予測モードによる予測画像が選択されているときには、動き予測・補償部７６は、インター予測モード情報、動きベクトル情報、参照フレーム情報を可逆符号化部６６に出力する。

ステップＳ２３において、可逆符号化部６６は量子化部６５より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。このとき、上述したステップＳ２２において可逆符号化部６６に入力された、イントラ予測部７４からのイントラ予測モード情報、または、動き予測・補償部７６からの最適インター予測モードに応じた情報なども符号化され、ヘッダ情報に付加される。

ステップＳ２４において蓄積バッファ６７は差分画像を圧縮画像として蓄積する。蓄積バッファ６７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ２５においてレート制御部７８は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。

［予測処理の説明］
次に、図４のフローチャートを参照して、図３のステップＳ２１における予測処理を説明する。

画面並べ替えバッファ６２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ７２から読み出され、スイッチ７３を介してイントラ予測部７４に供給される。

イントラ予測部７４は、イントラ４×４予測モードについての対象ブロックの隣接画素の情報（画素値）を、水平垂直予測判定部７５に供給する。これに対応して、水平垂直予測判定部７５は、ステップＳ３１において、イントラ水平垂直予測判定処理を行う。

ステップＳ３１におけるイントラ水平垂直予測判定処理の詳細は、図１７を参照して後述するが、この処理により、イントラ４×４予測モードについての対象ブロックに、予測モードとして、モード０またはモード１が適用される。モード０またはモード１が適用されなかった場合には、対象ブロックに、通常の予測モードが適用される。この予測モードについての適用モード情報は、イントラ予測部７４に供給される。

ステップＳ３２において、イントラ予測部７４は、供給された画像を用いて、処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。

ステップＳ３２におけるイントラ予測処理の詳細は、図１９を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われる。なお、イントラ４×４予測モードについては、水平垂直予測判定部７５からの適用モード情報に応じてイントラ予測処理が行われる。

そして、候補となる全てのイントラ予測モードに対してコスト関数値が算出され、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択される。その後、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部７７に供給される。

画面並べ替えバッファ６２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ７２から読み出され、スイッチ７３を介して動き予測・補償部７６に供給される。これらの画像に基づいて、ステップＳ３３において、動き予測・補償部７６はインター動き予測処理を行う。すなわち、動き予測・補償部７６は、フレームメモリ７２から供給される画像を参照して、候補となる全てのインター予測モードの動き予測処理を行う。

ステップＳ３３におけるインター動き予測処理の詳細は、図２０を参照して後述するが、この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。

ステップＳ３４において、動き予測・補償部７６は、ステップＳ３３において算出されたインター予測モードに対してのコスト関数値を比較し、最小値を与える予測モードを、最適インター予測モードとして決定する。そして、動き予測・補償部７６は、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。

［Ｈ．２６４／ＡＶＣ方式におけるイントラ予測処理の説明］
次に、Ｈ．２６４／ＡＶＣ方式で定められているイントラ予測の各モードについて説明する。

まず、輝度信号に対するイントラ予測モードについて説明する。輝度信号のイントラ予測モードには、イントラ４×４予測モード、イントラ８×８予測モード、およびイントラ１６×１６予測モードの３通りの方式が定められている。これは、ブロック単位を定めるモードであり、マクロブロック毎に設定される。また、色差信号に対しては、マクロブロック毎に輝度信号とは独立したイントラ予測モードを設定することが可能である。

さらに、イントラ４×４予測モードの場合、４×４画素の対象ブロック毎に、９種類の予測モードから１つの予測モードを設定することができる。イントラ８×８予測モードの場合、８×８画素の対象ブロック毎に、９種類の予測モードから１つの予測モードを設定することができる。また、イントラ１６×１６予測モードの場合、１６×１６画素の対象マクロブロックに対して、４種類の予測モードから１つの予測モードを設定することができる。

なお、以下、イントラ４×４予測モード、イントラ８×８予測モード、およびイントラ１６×１６予測モードは、それぞれ、４×４画素のイントラ予測モード、８×８画素のイントラ予測モード、および１６×１６画素のイントラ予測モードとも適宜称する。

図５の例において、各ブロックに付されている数字−１乃至２５は、その各ブロックのビットストリーム順（復号側における処理順）を表している。なお、輝度信号については、マクロブロックが４×４画素に分割されて、４×４画素のＤＣＴが行われる。そして、イントラ１６×１６予測モードの場合のみ、−１のブロックに示されるように、各ブロックの直流成分を集めて、４×４行列が生成され、これに対して、さらに、直交変換が施される。

一方、色差信号については、マクロブロックが４×４画素に分割され、４×４画素のＤＣＴが行われた後に、１６および１７の各ブロックに示されるように、各ブロックの直流成分を集めて、２×２行列が生成され、これに対して、さらに、直交変換が施される。

なお、このことは、イントラ８×８予測モードに関しては、ハイプロファイルまたはそれ以上のプロファイルで、対象マクロブロックに、８×８直交変換が施される場合についてのみ適用可能である。

図６および図７は、９種類の輝度信号の４×４画素のイントラ予測モード(Intra_4x4_pred_mode)を示す図である。平均値（ＤＣ）予測を示すモード２以外の８種類の各モードは、それぞれ、図８の番号０，１，３乃至８で示される方向に対応している。

９種類のIntra_4x4_pred_modeについて、図９を参照して説明する。図９の例において、画素ａ乃至ｐは、イントラ処理される対象ブロックの画素を表し、画素値Ａ乃至Ｍは、隣接ブロックに属する画素の画素値を表している。すなわち、画素ａ乃至ｐは、画面並べ替えバッファ６２から読み出された処理対象の画像であり、画素値Ａ乃至Ｍは、フレームメモリ７２から読み出され、参照される復号済みの画像の画素値である。

図６および図７に示す各イントラ予測モードの場合、画素ａ乃至ｐの予測画素値は、隣接ブロックに属する画素の画素値Ａ乃至Ｍを用いて、以下のように生成される。なお、画素値が“available”であるとは、画枠の端であったり、あるいは、まだ符号化されていないなどの理由がなく、利用可能であることを表す。これに対して、画素値が“unavailable”であるとは、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により利用可能ではないことを表す。

モード０はVertical Prediction mode（垂直予測モード）であり、画素値Ａ乃至Ｄが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１）のように生成される。

画素ａ, ｅ, ｉ, ｍの予測画素値 ＝ Ａ
画素ｂ, ｆ, ｊ, ｎの予測画素値 ＝ Ｂ
画素ｃ, ｇ, ｋ, ｏの予測画素値 ＝ Ｃ
画素ｄ, ｈ, ｌ, ｐの予測画素値 ＝ Ｄ ・・・（１）

モード１はHorizontal Prediction mode（水平予測モード）であり、画素値Ｉ乃至Ｌが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（２）のように生成される。

画素ａ, ｂ, ｃ, ｄの予測画素値 ＝ Ｉ
画素ｅ, ｆ, ｇ, ｈの予測画素値 ＝ Ｊ
画素ｉ, ｊ, ｋ, ｌの予測画素値 ＝ Ｋ
画素ｍ, ｎ, ｏ, ｐの予測画素値 ＝ Ｌ ・・・（２）

モード２はDC Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌが全て “available” である時、予測画素値は式（３）のように生成される。

（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ＋４） ＞＞ ３ ・・・（３）

また、画素値Ａ,Ｂ,Ｃ,Ｄが全て “unavailable” である時、予測画素値は式（４）のように生成される。

（Ｉ＋Ｊ＋Ｋ＋Ｌ＋２） ＞＞ ２ ・・・（４）

また、画素値Ｉ,Ｊ,Ｋ,Ｌが全て “unavailable” である時、予測画素値は式（５）のように生成される。

（Ａ＋Ｂ＋Ｃ＋Ｄ＋２） ＞＞ ２ ・・・（５）

なお、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌが全て“unavailable” である時、１２８を予測画素値として用いる。

モード３はDiagonal_Down_Left Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（６）のように生成される。

画素ａの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｂ，ｅの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
画素ｃ，ｆ，ｉの予測画素値 ＝ （Ｃ＋２Ｄ＋Ｅ＋２） ＞＞ ２
画素ｄ，ｇ，ｊ，ｍの予測画素値 ＝ （Ｄ＋２Ｅ＋Ｆ＋２） ＞＞ ２
画素ｈ，ｋ，ｎの予測画素値 ＝ （Ｅ＋２Ｆ＋Ｇ＋２） ＞＞ ２
画素ｌ，ｏの予測画素値 ＝ （Ｆ＋２Ｇ＋Ｈ＋２） ＞＞ ２
画素ｐの予測画素値 ＝ （Ｇ＋３Ｈ＋２） ＞＞ ２
・・・（６）

モード４はDiagonal_Down_Right Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（７）のように生成される。

画素ｍの予測画素値 ＝ （Ｊ＋２Ｋ＋Ｌ＋２） ＞＞ ２
画素ｉ，ｎの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
画素ｅ，ｊ，ｏの予測画素値 ＝ （Ｍ＋２Ｉ＋Ｊ＋２） ＞＞ ２
画素ａ，ｆ，ｋ，ｐの予測画素値 ＝ （Ａ＋２Ｍ＋Ｉ＋２） ＞＞ ２
画素ｂ，ｇ，ｌの予測画素値 ＝ （Ｍ＋２Ａ＋Ｂ＋２） ＞＞ ２
画素ｃ，ｈの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｄの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
・・・（７）

モード５はDiagonal_Vertical_Right Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（８）のように生成される。

画素ａ，ｊの予測画素値 ＝ （Ｍ＋Ａ＋１） ＞＞ １
画素ｂ，ｋの予測画素値 ＝ （Ａ＋Ｂ＋１） ＞＞ １
画素ｃ，ｌの予測画素値 ＝ （Ｂ＋Ｃ＋１） ＞＞ １
画素ｄの予測画素値 ＝ （Ｃ＋Ｄ＋１） ＞＞ １
画素ｅ，ｎの予測画素値 ＝ （Ｉ＋２Ｍ＋Ａ＋２） ＞＞ ２
画素ｆ，ｏの予測画素値 ＝ （Ｍ＋２Ａ＋Ｂ＋２） ＞＞ ２
画素ｇ，ｐの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｈの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
画素ｉの予測画素値 ＝ （Ｍ＋２Ｉ＋Ｊ＋２） ＞＞ ２
画素ｍの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
・・・（８）

モード６はHorizontal_Down Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（９）のように生成される。

画素ａ，ｇの予測画素値 ＝ （Ｍ＋Ｉ＋１） ＞＞ １
画素ｂ，ｈの予測画素値 ＝ （Ｉ＋２Ｍ＋Ａ＋２） ＞＞ ２
画素ｃの予測画素値 ＝ （Ｍ＋２Ａ＋Ｂ＋２） ＞＞ ２
画素ｄの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｅ，ｋの予測画素値 ＝ （Ｉ＋Ｊ＋１） ＞＞ １
画素ｆ，ｌの予測画素値 ＝ （Ｍ＋２Ｉ＋Ｊ＋２） ＞＞ ２
画素ｉ，ｏの予測画素値 ＝ （Ｊ＋Ｋ＋１） ＞＞ １
画素ｊ，ｐの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
画素ｍの予測画素値 ＝ （Ｋ＋Ｌ＋１） ＞＞ １
画素ｎの予測画素値 ＝ （Ｊ＋２Ｋ＋Ｌ＋２） ＞＞ ２
・・・（９）

モード７は、Vertical_Left Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１０）のように生成される。

画素ａの予測画素値 ＝ （Ａ＋Ｂ＋１） ＞＞ １
画素ｂ，ｉの予測画素値 ＝ （Ｂ＋Ｃ＋１） ＞＞ １
画素ｃ，ｊの予測画素値 ＝ （Ｃ＋Ｄ＋１） ＞＞ １
画素ｄ，ｋの予測画素値 ＝ （Ｄ＋Ｅ＋１） ＞＞ １
画素ｌの予測画素値 ＝ （Ｅ＋Ｆ＋１） ＞＞ １
画素ｅの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｆ，ｍの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
画素ｇ，ｎの予測画素値 ＝ （Ｃ＋２Ｄ＋Ｅ＋２） ＞＞ ２
画素ｈ，ｏの予測画素値 ＝ （Ｄ＋２Ｅ＋Ｆ＋２） ＞＞ ２
画素ｐの予測画素値 ＝ （Ｅ＋２Ｆ＋Ｇ＋２） ＞＞ ２
・・・（１０）

モード８は、Horizontal_Up Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１１）のように生成される。

画素ａの予測画素値 ＝ （Ｉ＋Ｊ＋１） ＞＞ １
画素ｂの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
画素ｃ，ｅの予測画素値 ＝ （Ｊ＋Ｋ＋１） ＞＞ １
画素ｄ，ｆの予測画素値 ＝ （Ｊ＋２Ｋ＋Ｌ＋２） ＞＞ ２
画素ｇ，ｉの予測画素値 ＝ （Ｋ＋Ｌ＋１） ＞＞ １
画素ｈ，ｊの予測画素値 ＝ （Ｋ＋３Ｌ＋２） ＞＞ ２
画素ｋ，ｌ，ｍ，ｎ，ｏ，ｐの予測画素値 ＝ Ｌ
・・・（１１）

次に、図１０を参照して、輝度信号の４×４画素のイントラ予測モード(Intra_4x4_pred_mode)の符号化方式について説明する。図１０の例において、４×４画素からなり、符号化対象となる対象ブロックＣが示されており、対象ブロックＣに隣接する４×４画素からなるブロックＡおよびブロックＢが示されている。

この場合、対象ブロックＣにおけるIntra_4x4_pred_modeと、ブロックＡおよびブロックＢにおけるIntra_4x4_pred_modeとは高い相関があると考えられる。この相関性を用いて、次のように符号化処理を行うことにより、より高い符号化効率を実現することができる。

すなわち、図１０の例において、ブロックＡおよびブロックＢにおけるIntra_4x4_pred_modeを、それぞれ、Intra_4x4_pred_modeAおよびIntra_4x4_pred_modeBとして、MostProbableModeを次の式（１２）と定義する。

MostProbableMode=Min(Intra_4x4_pred_modeA, Intra_4x4_pred_modeB)
・・・（１２）

すなわち、ブロックＡおよびブロックＢのうち、より小さなmode_numberを割り当てられている方をMostProbableModeとする。

ビットストリーム中には、対象ブロックＣに対するパラメータとして、prev_intra4x4_pred_mode_flag[luma4x4BlkIdx] および rem_intra4x4_pred_mode[luma4x4BlkIdx] という２つの値が定義されており、次の式（１３）に示される擬似コードに基づく処理により、復号処理が行われ、対象ブロックＣに対するIntra_4x4_pred_mode、Intra4x4PredMode[luma4x4BlkIdx] の値を得ることができる。

if(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])
Intra4x4PredMode[luma4x4BlkIdx] = MostProbableMode
else
if(rem_intra4x4_pred_mode[luma4x4BlkIdx] < MostProbableMode)
Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx]
else
Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx] + 1
・・・（１３）

次に、８×８画素のイントラ予測モードについて説明する。図１１および図１２は、９種類の輝度信号の８×８画素のイントラ予測モード(Intra_8x8_pred_mode)を示す図である。

対象の８×８ブロックにおける画素値を、p[x,y](0≦x≦7;0≦y≦7)とし、隣接ブロックの画素値をp[-1,-1],…,p[-1,15],p[-1,0],…,[p-1,7]のように表すものとする。

８×８画素のイントラ予測モードについては、予測値を生成するに先立ち、隣接画素にローパスフィルタリング処理が施される。ここで、ローパスフィルタリング処理前の画素値を、p[-1,-1],…,p[-1,15],p[-1,0],…p[-1,7]、処理後の画素値をp'[-1,-1],…,p'[-1,15],p'[-1,0],…p'[-1,7]と表すとする。

まず、p'[0,-1]は、p[-1,-1] が “available” である場合には、次の式（１４）のように算出され、“not available” である場合には、次の式（１５）のように算出される。

p'[0,-1] = (p[-1,-1] + 2*p[0,-1] + p[1,-1] + 2) >> 2
・・・（１４）
p'[0,-1] = (3*p[0,-1] + p[1,-1] + 2) >> 2
・・・（１５）

p'[x,-1] (x=0,…,7)は、次の式（１６）のように算出される。

p'[x,-1] = (p[x-1,-1] + 2*p[x,-1] + p[x+1,-1] + 2) >>2
・・・（１６）

p'[x,-1] (x=8,…,15)は、p[x,-1] (x=8,…,15) が “available” である場合には、次の式（１７）のように算出される。

p'[x,-1] = (p[x-1,-1] + 2*p[x,-1] + p[x+1,-1] + 2) >>2
p'[15,-1] = (p[14,-1] + 3*p[15,-1] + 2) >>2
・・・（１７）

p'[-1,-1]は、p[-1,-1]が “available” である場合には、以下のように算出される。すなわち、p'[-1,-1]は、p[0,-1]及びp[-1,0]の双方がavailableである場合には、式（１８）のように算出され、p[-1,0] が “unavailable” である場合には、式（１９）のように算出される。また、p'[-1,-1]は、p[0,-1] が “unavailable” である場合には、式（２０）のように算出される。

p'[-1,-1] = (p[0,-1] + 2*p[-1,-1] + p[-1,0] + 2) >>2
・・・（１８）
p'[-1,-1] = (3*p[-1,-1] + p[0,-1] + 2) >>2
・・・（１９）
p'[-1,-1] = (3*p[-1,-1] + p[-1,0] + 2) >>2
・・・（２０）

p'[-1,y] (y=0, … ,7) は、p[-1,y] (y=0, … ,7) が “available” の時、以下のように算出される。すなわち、まず、p'[-1,0]は、p[-1,-1]が “available” である場合には、次の式（２１）のように算出され、“unavailable” である場合には、式（２２）のように算出される。

p'[-1,0] = (p[-1,-1] + 2*p[-1,0] + p[-1,1] + 2) >>2
・・・（２１）
p'[-1,0] = (3*p[-1,0] + p[-1,1] + 2) >>2
・・・（２２）

また、p'[-1,y] (y=1,…,6)は、次の式（２３）のように算出され、p'[-1,7]は、式（２４）のように算出される。

p[-1,y] = (p[-1,y-1] + 2*p[-1,y] + p[-1,y+1] + 2) >>2
・・・（２３）
p'[-1,7] = (p[-1,6] + 3*p[-1,7] + 2) >>2
・・・（２４）

このように算出されたp'を用いて、図１１および図１２に示される各イントラ予測モードにおける予測値は以下のように生成される。

モード０はVertical Prediction modeであり、p[x,-1] (x=0, … ,7) が “available” である時のみ適用される。予測値pred8x8_L[x,y]は、次の式（２５）のように生成される。

pred8x8_L[x,y] = p'[x,-1] x,y=0,...,7
・・・（２５）

モード１はHorizontal Prediction modeであり、p[-1,y] (y=0, … ,7) が “available” である時のみ適用される。予測値pred8x8_L[x,y]は、次の式（２６）のように生成される。

pred8x8_L[x,y] = p'[-1,y] x,y=0,...,7
・・・（２６）

モード２はDC Prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が “available” である場合には、予測値pred8x8_L[x,y]は、次の式（２７）のように生成される。

p[x,-1] (x=0, … ,7) は “available” であるが、 p[-1,y] (y=0, … ,7) が “unavailable” である場合には、予測値pred8x8_L[x,y]は、次の式（２８）のように生成される。

p[x,-1] (x=0, … ,7) は “unavailable” であるが、 p[-1,y] (y=0, … ,7) が “available” である場合には、予測値pred8x8_L[x,y]は、次の式（２９）のように生成される。

p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が “unavailable” である場合には、予測値pred8x8_L[x,y]は、次の式（３０）のように生成される。

pred8x8_L[x,y] = 128
・・・（３０）
ただし、式（３０）は、8ビット入力の場合を表している。

モード３はDiagonal_Down_Left_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Diagonal_Down_Left_prediction modeは、p[x,-1], x=0,…,15が “available” の時のみ適用され、x=7かつy=7である予測画素値は、次の式（３１）のように生成され、その他の予測画素値は、次の式（３２）のように生成される。

pred8x8_L[x,y] = (p'[14,-1] + 3*p[15,-1] + 2) >> 2
・・・（３１）
red8x8_L[x,y] = (p'[x+y,-1] + 2*p'[x+y+1,-1] + p'[x+y+2,-1] + 2) >> 2
・・・（３２）

モード４はDiagonal_Down_Right_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Diagonal_Down_Right_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=0,…,7が “available”の時のみ適用され、x > y である予測画素値は、次の式（３３）のように生成され、x < y である予測画素値は、次の式（３４）のように生成される。また、x = y である予測画素値は、次の式（３５）のように生成される。

pred8x8_L[x,y] = (p'[x-y-2,-1] + 2*p'[x-y-1,-1] + p'[x-y,-1] + 2) >> 2
・・・（３３）
pred8x8_L[x,y] = (p'[-1,y-x-2] + 2*p'[-1,y-x-1] + p'[-1,y-x] + 2) >> 2
・・・（３４）
pred8x8_L[x,y] = (p'[0,-1] + 2*p'[-1,-1] + p'[-1,0] + 2) >> 2
・・・（３５）

モード５はVertical_Right_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Vertical_Right_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が “available”の時のみ適用される。今、zVRを、次の式（３６）のよ
うに定義する。

zVR = 2*x - y
・・・（３６）

この時、zVRが、0,2,4,6,8,10,12,14の場合には、画素予測値は、次の式（３７）のように生成され、zVRが1,3,5,7,9,11,13の場合には、画素予測値は、次の式（３８）のように生成される。

pred8x8_L[x,y] = (p'[x-(y>>1)-1,-1] + p'[x-(y>>1),-1] + 1) >> 1
・・・（３７）
pred8x8_L[x,y]
= (p'[x-(y>>1)-2,-1] + 2*p'[x-(y>>1)-1,-1] + p'[x-(y>>1),-1] + 2) >> 2
・・・（３８）

また、zVRが-1の場合には、画素予測値は、次の式（３９）のように生成され、これ以外の場合、すなわち、zVRが-2,-3,-4,-5,-6,-7の場合には、画素予測値は、次の式（４０）のように生成される。

pred8x8_L[x,y] = (p'[-1,0] + 2*p'[-1,-1] + p'[0,-1] + 2) >> 2
・・・（３９）
pred8x8_L[x,y] = (p'[-1,y-2*x-1] + 2*p'[-1,y-2*x-2] + p'[-1,y-2*x-3] + 2) >> 2
・・・（４０）

モード６はHorizontal_Down_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Horizontal_Down_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が “available”の時のみ適用される。今、zVRを次の式（４１）のように定義するものとする。

zHD = 2*y - x
・・・（４１）

この時、zHDが0,2,4,6,8,10,12,14の場合には、予測画素値は、次の式（４２）のように生成され、zHDが1,3,5,7,9,11,13の場合には、予測画素値は、次の式（４３）のように生成される。

pred8x8_L[x,y] = (p'[-1,y-(x>>1)-1] + p'[-1,y-(x>>1) + 1] >> 1
・・・（４２）
pred8x8_L[x,y]
= (p'[-1,y-(x>>1)-2] + 2*p'[-1,y-(x>>1)-1] + p'[-1,y-(x>>1)] + 2) >> 2
・・・（４３）

また、zHDが-1の場合には、予測画素値は、次の式（４４）のように生成され、zHDがこれ以外の値の場合、すなわち、-2,-3,-4,-5,-6,-7の場合には、予測画素値は、次の式（４５）のように生成される。

pred8x8_L[x,y] = (p'[-1,0] + 2*p[-1,-1] + p'[0,-1] + 2) >> 2
・・・（４４）
pred8x8_L[x,y] = (p'[x-2*y-1,-1] + 2*p'[x-2*y-2,-1] + p'[x-2*y-3,-1] + 2) >> 2
・・・（４５）

モード７はVertical_Left_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Vertical_Left_prediction modeは、p[x,-1], x=0,…,15が “available” の時のみ適用され、y=0,2,4,6の場合、予測画素値は、次の式（４６）のように生成され、それ以外の場合、すなわち、y=1,3,5,7の場合、予測画素値は、次の式（４７）のように生成される。

pred8x8_L[x,y] = (p'[x+(y>>1),-1] + p'[x+(y>>1)+1,-1] + 1) >> 1
・・・（４６）
pred8x8_L[x,y]
= (p'[x+(y>>1),-1] + 2*p'[x+(y>>1)+1,-1] + p'[x+(y>>1)+2,-1] + 2) >> 2
・・・（４７）

モード８はHorizontal_Up_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Horizontal_Up_prediction modeは、p[-1,y], y=0,…,7 が “available” の時のみ適用される。以下では、zHUを次の式（４８）のように定義する。

zHU = x + 2*y
・・・（４８）

zHUの値が0,2,4,6,8,10,12の場合、予測画素値は、次の式（４９）のように生成され、zHUの値が1,3,5,7,9,11の場合、予測画素値は、次の式（５０）のように生成される。

pred8x8_L[x,y] = (p'[-1,y+(x>>1)] + p'[-1,y+(x>>1)+1] + 1) >> 1
・・・（４９）
pred8x8_L[x,y] = (p'[-1,y+(x>>1)]
・・・（５０）

また、zHUの値が13の場合、予測画素値は、次の式（５１）のように生成され、それ以外の場合、すなわち、zHUの値が13より大きい場合、予測画素値は、次の式（５２）のように生成される。

pred8x8_L[x,y] = (p'[-1,6] + 3*p'[-1,7] + 2) >> 2
・・・（５１）
pred8x8_L[x,y] = p'[-1,7]
・・・（５２）

次に、１６×１６画素のイントラ予測モードについて説明する。図１３および図１４は、４種類の輝度信号の１６×１６画素のイントラ予測モード(Intra_16x16_pred_mode)を示す図である。

４種類のイントラ予測モードについて、図１５を参照して説明する。図１５の例において、イントラ処理される対象マクロブロックＡが示されており、P(x,y);x,y=-1,0,…,15は、対象マクロブロックＡに隣接する画素の画素値を表している。

モード０は、Vertical Prediction modeであり、P(x,-1); x,y=-1,0,…,15が “available” である時のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５３）のように生成される。

Pred(x,y) = P(x,-1);x,y=0,…,15
・・・（５３）

モード１はHorizontal Prediction modeであり、P(-1,y); x,y=-1,0,…,15が “available” である時のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５４）のように生成される。

Pred(x,y) = P(-1,y);x,y=0,…,15
・・・（５４）

モード２はDC Prediction modeであり、P(x,-1)およびP(-1,y); x,y=-1,0,…,15が全て “available” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５５）のように生成される。

また、P(x,-1); x,y=-1,0,…,15が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５６）のように生成される。

P(-1,y); x,y=-1,0,…,15が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５７）のように生成される。

P(x,-1)およびP(-1,y); x,y=-1,0,…,15が全て “unavailable” である場合には、予測画素値として１２８を用いる。

モード３はPlane Prediction modeであり、P(x,-1)及びP(-1,y); x,y=-1,0,…,15が全て “available” の場合のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５８）のように生成される。

次に、色差信号に対するイントラ予測モードについて説明する。図１６は、４種類の色差信号のイントラ予測モード(Intra_chroma_pred_mode)を示す図である。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。色差信号に対するイントラ予測モードは、上述した輝度信号の１６×１６画素のイントラ予測モードに順ずる。

ただし、輝度信号の１６×１６画素のイントラ予測モードが、１６×１６画素のブロックを対象としているのに対し、色差信号に対するイントラ予測モードは、８×８画素のブロックを対象としている。さらに、上述した図１３と図１６に示されるように、両者においてモード番号は対応していない。

ここで、図１５を参照して上述した輝度信号の１６×１６画素のイントラ予測モードの対象マクロブロックＡの画素値および隣接する画素値の定義に準じる。例えば、イントラ処理される対象マクロブロックＡ（色差信号の場合は、８×８画素）に隣接する画素の画素値をP(x,y);x,y=-1,0,…,7とする。

モード０はDC Prediction modeであり、P(x,-1)およびP(-1,y); x,y=-1,0,…,7が全て “available” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５９）のように生成される。

また、P(-1,y) ; x,y=-1,0,…,7が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６０）のように生成される。

また、P(x,-1) ; x,y=-1,0,…,7が “unavailable”である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６１）のように生成される。

モード１はHorizontal Prediction modeであり、P(-1,y) ; x,y=-1,0,…,7が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６２）のように生成される。

Pred(x,y) = P(-1,y);x,y=0,…,7
・・・（６２）

モード２はVertical Prediction modeであり、P(x,-1) ; x,y=-1,0,…,7が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６３）のように生成される。

Pred(x,y) = P(x,-1);x,y=0,…,7
・・・（６３）

モード３はPlane Prediction modeであり、P(x,-1)及びP(-1,y) ; x,y=-1,0,…,7 が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６４）のように生成される。

以上のように、輝度信号のイントラ予測モードには、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがある。このブロック単位のモードは、マクロブロック単位毎に設定される。色差信号のイントラ予測モードには、４種類の８×８画素のブロック単位の予測モードがある。この色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。

また、輝度信号の４×４画素のイントラ予測モード（イントラ４×４予測モード）および８×８画素のイントラ予測モード（イントラ８×８予測モード）については、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが設定される。輝度信号の１６×１６画素のイントラ予測モード（イントラ１６×１６予測モード）と色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが設定される。

なお、予測モードの種類は、上述した図８の番号０，１，３乃至８で示される方向に対応している。予測モード２は平均値予測である。

ここで、上述した各イントラ予測モード（イントラ４×４予測モード、イントラ８×８予測モード、イントラ１６×１６予測モード、色差信号の予測モード）において、予測モードの種類を表すモード番号(CodeNumber)は、使用頻度が多い順となっている。すなわち、予測モードの種類を表す番号が小さい番号であるほど、対応する予測モードの使用頻度が多いことを表している。

［イントラ水平垂直予測判定処理の説明］
次に、図１７のフローチャートを参照して、図４のステップＳ３１におけるイントラ水平垂直予測判定処理を説明する。なお、図１７の例においては、わかりやすくするため、上述した図９を適宜参照して説明する。

ステップＳ４１において、水平隣接画素平均算出部８１は、図９の画素値Ａ乃至Ｄの水平画素平均値AveHを算出し、水平隣接画素分散算出部８３は、水平画素平均値AveHを用いて、水平画素分散値DistHを算出する。

ステップＳ４１の処理を、具体的に説明すると、水平隣接画素平均算出部８１には、イントラ予測部７４から、イントラ４×４予測モードの場合の対象ブロックの上部隣接画素の画素値が入力される。例えば、図９の画素ａ乃至ｐが対象ブロックの画素を表している場合、対象ブロックの上部に隣接する画素の画素値Ａ乃至Ｄが水平隣接画素平均算出部８１に入力される。

水平隣接画素平均算出部８１は、画素値Ａ乃至Ｄを用いて、水平画素平均値AveHを算出し、算出した水平画素平均値AveHを、水平隣接画素分散算出部８３に供給する。水平隣接画素分散算出部８３は、水平画素平均値AveHを用いて、水平画素分散値DistHを算出し、算出した水平画素分散値DistHを予測モード適用判定部８５に供給する。これに対応して、予測モード適用判定部８５は、水平隣接画素分散算出部８３からの水平画素分散値DistHを受信する。

ステップＳ４２において、垂直隣接画素平均算出部８２は、図９の画素値Ｉ乃至Ｊの垂直画素平均値AveVを算出し、垂直隣接画素分散算出部８４は、垂直画素平均値AveVを用いて、垂直画素分散値DistVを算出する。

ステップＳ４２の処理を、具体的に説明すると、垂直隣接画素平均算出部８２には、イントラ予測部７４から、イントラ４×４の場合の対象ブロックの左部隣接画素の画素値が入力される。例えば、図９の画素ａ乃至ｐが対象ブロックの画素を表している場合、対象ブロックの左部に隣接する画素の画素値Ｉ乃至Ｊが垂直隣接画素平均算出部８２に入力される。

垂直隣接画素平均算出部８２は、画素値Ｉ乃至Ｊを用いて、垂直画素平均値AveVを算出し、算出した垂直画素平均値AveVを、垂直隣接画素分散算出部８４に供給する。垂直隣接画素分散算出部８４は、垂直画素平均値AveVを用いて、垂直画素分散値DistVを算出し、算出した垂直画素分散値DistVを予測モード適用判定部８５に供給する。これに対応して、予測モード適用判定部８５は、垂直隣接画素分散算出部８４からの垂直画素分散値DistVを受信する。

ステップＳ４３において、予測モード適用判定部８５は、水平隣接画素分散算出部８３から受信した、水平画素分散値DistHが、予め設定された水平方向の閾値ThHよりも小さいか否かを判定する。すなわち、予測モード適用判定部８５は、次の式（６５）を満たすか否かを判定する。

DistH ＜ ThH
・・・（６５）

ステップＳ４３において、水平画素分散値DistHが、水平方向の閾値ThHよりも小さいと判定された場合、処理は、ステップＳ４４に進む。ステップＳ４４において、予測モード適用判定部８５は、さらに、垂直隣接画素分散算出部８４から受信した垂直画素分散値DistVが予め設定された垂直方向の閾値ThVよりも小さいか否かを判定する。すなわち、予測モード適用判定部８５は、次の式（６６）を満たすか否かを判定する。

DistV ＜ ThV
・・・（６６）

ステップＳ４４において、垂直画素分散値DistVが垂直方向の閾値ThVよりも大きいと判定された場合、処理は、ステップＳ４５に進む。この場合、図９の画素値Ｉ乃至Ｊの分散値は大きいが、図９の画素値Ａ乃至Ｄの分散値は小さい。すなわち、対象ブロックに含まれる画素ａ乃至ｐの画素値は、水平方向の画素値の相関が高く、図６および図７におけるモード１（Horizontal Prediction）が選ばれやすくなると考えられる。したがって、予測モード適用判定部８５は、ステップＳ４５において、対象ブロックに、モード１（Horizontal Prediction）を適用する。

ステップＳ４４において、垂直画素分散値DistVが垂直方向の閾値ThVよりも小さいと判定された場合、処理は、ステップＳ４６に進む。この場合には、水平方向および垂直方向の画素値のうちどちらの相関が高いか判定できない。したがって、予測モード適用判定部８５は、ステップＳ４６において、対象ブロックに、通常の予測モードを適用する。

予測モード適用判定部８５により通常の予測モードが適用された場合には、イントラ予測部７４において、イントラ４×４予測モードの９種類の予測モードで動き予測、補償が行われ、その中から、最適なイントラ予測モードが選定される。

一方、ステップＳ４３において、水平画素分散値DistHが、水平方向の閾値ThHよりも大きいと判定された場合、処理は、ステップＳ４７に進む。ステップＳ４７において、予測モード適用判定部８５は、さらに、垂直画素分散値DistVが予め設定された垂直方向の閾値ThVよりも小さいか否かを判定する。

ステップＳ４４において、垂直画素分散値DistVが垂直方向の閾値ThVよりも大きいと判定された場合、処理は、ステップＳ４６に進む。この場合には、水平方向および垂直方向の画素値のうちどちらの相関も高いとは言えない。したがって、予測モード適用判定部８５は、ステップＳ４６において、対象ブロックに、通常の予測モードを適用する。

ステップＳ４７において、垂直画素分散値DistVが垂直方向の閾値ThVよりも小さいと判定された場合、処理は、ステップＳ４８に進む。

この場合、図９の画素値Ｉ乃至Ｊの分散値は小さいが、図９の画素値Ａ乃至Ｄの分散値は大きい。すなわち、対象ブロックに含まれる画素ａ乃至ｐの画素値は、垂直方向の画素値の相関が高く、図６および図７におけるモード０（Vertical Prediction）が選ばれやすくなると考えられる。したがって、予測モード適用判定部８５は、ステップＳ４８において、対象ブロックに、モード０（Vertical Prediction）を適用する。

ステップＳ４５、Ｓ４６、およびＳ４８において対象ブロックに対して適用されたモードを示す適用モードの情報は、イントラ予測部７４に供給される。

以上のように、イントラ４×４予測モードの場合に、イントラ予測に先立って、対象ブロックの隣接画素から、対象ブロックへのモード０またはモード１の適用を決定するようにした。対象ブロックの隣接画素は、対象ブロックより前に符号化される復号画像の一部であるので、この判定処理は、図２１の画像復号装置１０１で同様に実行することができる。

したがって、図１７のイントラ水平垂直予測判定処理により対象ブロックにモード０またはモード１が適用された場合には、復号側への符号化情報（圧縮画像）に、イントラ４×４の予測モードの種類を示す予測モード情報を付加する必要がない。

すなわち、イントラ４×４予測モードの場合に、符号化情報から、対象ブロック毎に必要であったモード０またはモード１を示す予測モード情報（モードビット）を削減することができる。

なお、上述したように、モード０およびモード１は、９種類の予測モードの中で使用頻度が最も多いモードである。このことから、非特許文献２に記載の発明よりも、さらに大きな符号化効率の改善を実現することができる。

［閾値の例］
図１８は、閾値の例を示す図である。図１８の例においては、縦軸が水平方向の閾値ThHと水平方向の閾値ThVを表し、横軸が量子化パラメータQPを表すグラフが示されている。

水平画素分散値DistHと比較される水平方向の閾値ThHと、垂直画素分散値DistVと比較される水平方向の閾値ThVは、図１８のグラフに示すように、圧縮画像中の量子化パラメータQPの関数として定義される。

すなわち、QPが大きくなるほど、水平方向の閾値ThHと水平方向の閾値ThVの値を大きくすることができるので、より低ビットレート時における情報量のオーバーヘッドを削減し、符号化効率を改善することができる。

［イントラ予測処理の説明］
次に、図１９のフローチャートを参照して、図４のステップＳ３２におけるイントラ予測処理を説明する。なお、図１９の例においては、輝度信号の場合を例として説明する。

イントラ予測部７４は、ステップＳ５１において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対してイントラ予測を行う。

上述したように、イントラ４×４予測モードとイントラ８×８予測モードには、９種類の予測モードがあり、それぞれブロック毎に１つの予測モードを定義することができる。イントラ１６×１６予測モードと色差信号のイントラ予測モードには、４種類の予測モードがあり、１つのマクロブロックに対して１つの予測モードを定義することができる。

イントラ予測部７４は、処理対象のブロックの画素を、フレームメモリ７２から読み出され、スイッチ７３を介して供給される復号済みの画像を参照して、各イントラ予測モードのすべての種類の予測モードで、イントラ予測する。これにより、各イントラ予測モードのすべての種類の予測モードでの予測画像が生成される。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。

イントラ予測部７４は、ステップＳ５２において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対するコスト関数値を算出する。ここで、コスト関数値としては、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて行う。これらのモードは、H．264/AVC方式における参照ソフトウエアであるＪＭ(Joint Model)で定められている。

すなわち、High Complexity モードにおいては、ステップＳ４１の処理として、候補となる全ての予測モードに対して、仮に符号化処理までが行われる。そして、次の式（６７）で表わされるコスト関数値が各予測モードに対して算出され、その最小値を与える予測モードが最適予測モードであるとして選択される。

Cost(Mode) = D + λ・R ・・・（６７）
Dは、原画像と復号画像の差分（歪）、Rは、直交変換係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

一方、Low Complexity モードにおいては、ステップＳ４１の処理として、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報、フラグ情報などのヘッダビットまでが算出される。そして、次の式（６８）で表わされるコスト関数値が各予測モードに対して算出され、その最小値を与える予測モードが最適予測モードであるとして選択される。

Cost(Mode) = D + QPtoQuant(QP)・Header_Bit ・・・（６８）
Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するのみで、符号化処理および復号処理を行う必要がないため、演算量が少なくて済む。

イントラ予測部７４は、ステップＳ５３において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して、それぞれ最適モードを決定する。すなわち、上述したように、イントラ４×４予測モードおよびイントラ８×８予測モードの場合には、予測モードの種類が９種類あり、イントラ１６×１６予測モードの場合には、予測モードの種類が４種類ある。したがって、イントラ予測部７４は、ステップＳ４２において算出されたコスト関数値に基づいて、それらの中から、最適イントラ４×４予測モード、最適イントラ８×８予測モード、最適イントラ１６×１６予測モードを決定する。

なお、４×４画素のイントラ予測モードの場合には、イントラ予測部７４には、水平垂直予測判定部７５からの適用モード情報が供給される。したがって、ステップＳ５１においては、４×４画素のイントラ予測モードの場合には、予測モード適用判定部８５による比較結果に応じた予測モードでのイントラ予測が行われる。

すなわち、予測モード適用判定部８５により対象ブロックに通常の予測モードが適用された場合、上述したステップＳ５１、Ｓ５２、およびＳ５３の処理が行われる。

これに対して、予測モード適用判定部８５により対象ブロックにモード０またはモード１が適用された場合、４×４画素のイントラ予測モードについては、ステップＳ５１において、モード０またはモード１でのイントラ予測が行われる。また、ステップＳ５２において、モード０またはモード１でのイントラ予測に対するコスト関数値が算出され、Ｓ５３において、モード０またはモード１が４×４画素のイントラ予測モードにおいて、最適モードであると決定される。

イントラ予測部７４は、ステップＳ５４において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して決定された各最適モードの中から、ステップＳ５２において算出されたコスト関数値に基づいて、最適イントラ予測モードを選択する。すなわち、４×４画素、８×８画素、および１６×１６画素に対して決定された各最適モードの中から、コスト関数値が最小値であるモードを、最適イントラ予測モードとして選択する。そして、イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値とを、予測画像選択部７７に供給する。

［画像符号化装置のインター動き予測処理の説明］
次に、図２０のフローチャートを参照して、図４のステップＳ３３のインター動き予測処理について説明する。

動き予測・補償部７６は、ステップＳ６１において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、各インター予測モードの処理対象のブロックについて、動きベクトルと参照画像がそれぞれ決定される。

動き予測・補償部７６は、ステップＳ６２において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードについて、ステップＳ６１で決定された動きベクトルに基づいて、参照画像に動き予測と補償処理を行う。この動き予測と補償処理により、各インター予測モードでの予測画像が生成される。

動き予測・補償部７６は、ステップＳ６３において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して決定された動きベクトルについて、圧縮画像に付加するための動きベクトル情報を生成する。

生成された動きベクトル情報は、次のステップＳ６４におけるコスト関数値算出の際にも用いられ、最終的に予測画像選択部７７により対応する予測画像が選択された場合には、予測モード情報および参照フレーム情報とともに、可逆符号化部６６へ出力される。

動き予測・補償部７６は、ステップＳ６４において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して、上述した式（６７）または式（６８）で示されるコスト関数値を算出する。ここで算出されたコスト関数値は、上述した図４のステップＳ３４で最適インター予測モードを決定する際に用いられる。

符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。

［画像復号装置の構成例］
図１４は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。

画像復号装置１０１は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、水平垂直予測判定部１２２、動き予測・補償部１２３、およびスイッチ１２４により構成されている。

蓄積バッファ１１１は伝送されてきた圧縮画像を蓄積する。可逆復号部１１２は、蓄積バッファ１１１より供給された、図１の可逆符号化部６６により符号化された情報を、可逆符号化部６６の符号化方式に対応する方式で復号する。逆量子化部１１３は可逆復号部１１２により復号された画像を、図１の量子化部６５の量子化方式に対応する方式で逆量子化する。逆直交変換部１１４は、図１の直交変換部６４の直交変換方式に対応する方式で逆量子化部１１３の出力を逆直交変換する。

逆直交変換された出力は演算部１１５によりスイッチ１２４から供給される予測画像と加算されて復号される。デブロックフィルタ１１６は、復号された画像のブロック歪を除去した後、フレームメモリ１１９に供給し、蓄積させるとともに、画面並べ替えバッファ１１７に出力する。

画面並べ替えバッファ１１７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。

スイッチ１２０は、インター処理される画像と参照される画像をフレームメモリ１１９から読み出し、動き予測・補償部１２３に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１１９から読み出し、イントラ予測部１２１に供給する。

イントラ予測部１２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報が可逆復号部１１２から供給される。イントラ予測部１２１は、この情報に基づいて、予測画像を生成し、生成した予測画像を、スイッチ１２４に出力する。

このとき、イントラ４×４予測モードについては、水平垂直予測判定部１２２からの適用モード情報に応じた予測モードのイントラ予測処理が行われる。

すなわち、水平垂直予測判定部１２２により対象ブロックにモード０またはモード１が適用された場合には、イントラ予測部１２１は、イントラ４×４予測モードについて、適用されたモード０またはモード１によるイントラ予測処理を行い、予測画像を生成する。水平垂直予測判定部１２２により対象ブロックにモード０およびモード１のどちらも適用されなかった場合には、イントラ予測部１２１は、可逆復号部１１２のイントラ予測モードに基づいたイントラ予測処理を行い、予測画像を生成する。つまり、対象ブロックにモード０およびモード１のどちらも適用されなかった場合には、イントラ４×４予測モードについても、他のイントラ予測モードの場合と同様の処理が行われる。

なお、これらの処理のため、イントラ予測部１２１は、イントラ予測の対象ブロックの隣接画素の情報（画素値）を、水平垂直予測判定部１２２に供給し、水平垂直予測判定部１２２からの適用モード情報を受け取る。

水平垂直予測判定部１２２は、図１の水平垂直予測判定部７５と基本的に同様な処理を行う。すなわち、水平垂直予測判定部１２２は、イントラ予測の対象ブロックの上部隣接画素の画素値の平均値と、左部隣接画素の画素値の平均値を算出し、それらを用いて、さらに、上部隣接画素の画素値の分散値と、左部隣接画素の画素値の分散値を算出する。

水平垂直予測判定部１２２は、算出した上部隣接画素の分散値と予め設定された水平方向の閾値との比較結果、および、算出した左部隣接画素の分散値と予め設定された垂直方向の閾値との比較結果に応じたイントラ予測モードを、対象ブロックに適用する。対象ブロックに対する適用したモードを示す適用モードの情報は、イントラ予測部１２１に供給される。

なお、水平垂直予測判定部１２２は、図１の水平垂直予測判定部７５と同様に構成される。したがって、以下、水平垂直予測判定部１２２の説明を行う場合も、図２に示した水平垂直予測判定部１２２の機能ブロックを用いて説明する。すなわち、水平垂直予測判定部１２２も、水平隣接画素平均算出部８１、垂直隣接画素平均算出部８２、水平隣接画素分散算出部８３、垂直隣接画素分散算出部８４、および予測モード適用判定部８５により構成される。

動き予測・補償部１２３には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報）が可逆復号部１１２から供給される。インター予測モードを示す情報が供給された場合、動き予測・補償部１２３は、動きベクトル情報と参照フレーム情報に基づいて画像に動き予測と補償処理を施し、予測画像を生成する。動き予測・補償部１２３は、インター予測モードにより生成された予測画像をスイッチ１２４に出力する。

スイッチ１２４は、動き予測・補償部１２３またはイントラ予測部１２１により生成された予測画像を選択し、演算部１１５に供給する。

［画像復号装置の復号処理の説明］
次に、図２２のフローチャートを参照して、画像復号装置１０１が実行する復号処理について説明する。

ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた画像を蓄積する。ステップＳ１３２において、可逆復号部１１２は、蓄積バッファ１１１から供給される圧縮画像を復号する。すなわち、図１の可逆符号化部６６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。

このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モードを示す情報）、フラグ情報も復号される。

すなわち、予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部１２１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報は、動き予測・補償部１２３に供給される。

ここで、画像符号化装置５１の水平垂直予測判定部７５により適用されたモード０またはモード１のイントラ４×４予測モードの場合には予測モードの種類を示す情報は、送られてこない。なお、通常のイントラ予測モードの処理により、モード０またはモード１が最適イントラ予測モードであるとされる場合もあり、この場合、モード０またはモード１のイントラ４×４予測モードであっても、予測モードの種類を示す情報は送られてくる。

ステップＳ１３３において、逆量子化部１１３は可逆復号部１１２により復号された変換係数を、図１の量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１３４において逆直交変換部１１４は逆量子化部１１３により逆量子化された変換係数を、図１の直交変換部６４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部６４の入力（演算部６３の出力）に対応する差分情報が復号されたことになる。

ステップＳ１３５において、演算部１１５は、後述するステップＳ１４１の処理で選択され、スイッチ１２４を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１３６においてデブロックフィルタ１１６は、演算部１１５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７においてフレームメモリ１１９は、フィルタリングされた画像を記憶する。

ステップＳ１３８において、イントラ予測部１２１、および動き予測・補償部１２３は、可逆復号部１１２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。

すなわち、可逆復号部１１２からイントラ予測モード情報が供給された場合、イントラ予測部１２１は、イントラ予測モードのイントラ予測処理を行う。このとき、イントラ予測部１２１は、イントラ４×４予測モードについては、水平垂直予測判定部１２２からの適用モード情報に応じたイントラ予測モードのイントラ予測処理を行う。また、可逆復号部１１２からインター予測モード情報が供給された場合、動き予測・補償部１２３は、インター予測モードの動き予測・補償処理を行う。

ステップＳ１３８における予測処理の詳細は、図２３を参照して後述するが、この処理により、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２３により生成された予測画像がスイッチ１２４に供給される。

ステップＳ１３９において、スイッチ１２４は予測画像を選択する。すなわち、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２３により生成された予測画像供給される。したがって、供給された予測画像が選択されて演算部１１５に供給され、上述したように、ステップＳ１３４において逆直交変換部１１４の出力と加算される。

ステップＳ１４０において、画面並べ替えバッファ１１７は並べ替えを行う。すなわち画像符号化装置５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ１４１において、Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

［予測処理の説明］
次に、図２３のフローチャートを参照して、図２２のステップＳ１３８の予測処理を説明する。

イントラ予測部１２１は、ステップＳ１７１において、対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部１１２からイントラ予測モード情報がイントラ予測部１２１に供給されると、イントラ予測部１２１は、ステップ１７１において、対象ブロックがイントラ符号化されていると判定し、処理は、ステップＳ１７２に進む。

イントラ予測部１２１は、ステップＳ１７２において、イントラ４×４予測モードであるか否かを判定する。ステップＳ１７２において、イントラ４×４予測モードではないと判定された場合、すなわち、イントラ８×８または１６×１６予測モードである場合、処理は、ステップＳ１７３に進む。

イントラ予測部１２１は、ステップＳ１７３において、イントラ予測モード情報を取得し、ステップＳ１７４において、イントラ予測を行う。

すなわち、処理対象の画像がイントラ処理される画像である場合、必要な画像がフレームメモリ１１９から読み出され、スイッチ１２０を介してイントラ予測部１２１に供給される。ステップＳ１７４において、イントラ予測部１２１は、ステップＳ１７３で取得したイントラ予測モード情報に従ってイントラ予測し、予測画像を生成する。生成された予測画像は、スイッチ１２４に出力される。

ステップＳ１７２において、イントラ４×４予測モードであると判定された場合、処理は、ステップＳ１７５に進む。

イントラ予測部１２１および水平垂直予測判定部１２２は、ステップＳ１７５において、イントラ水平垂直予測判定処理を行う。ステップＳ１７５におけるイントラ水平垂直予測判定処理の詳細は、図２４を参照して後述するが、この処理により、イントラ４×４予測モードについての対象ブロックに、予測モードとして、モード０またはモード１が適用される。モード０またはモード１が適用されなかった場合には、対象ブロックに、通常の予測モードが適用される。この予測モードについての適用モード情報は、イントラ予測部１２２に供給され、適用された予測モードでのイントラ予測が行われ、予測画像が生成される。そして、生成された予測画像は、スイッチ１２４に出力される。

一方、ステップＳ１７１において、イントラ符号化されていないと判定された場合、処理は、ステップＳ１７６に進む。

処理対象の画像がインター処理される画像である場合、可逆復号部１１２からインター予測モード情報、参照フレーム情報、動きベクトル情報が動き予測・補償部１２３に供給される。ステップＳ１７６において、動き予測・補償部１２３は、可逆復号部１１２からのインター予測モード情報、参照フレーム情報、動きベクトル情報などを取得する。

そして、動き予測・補償部１２３は、ステップＳ１７７において、インター動き予測を行う。すなわち、処理対象の画像がインター予測処理される画像である場合、必要な画像がフレームメモリ１１９から読み出され、スイッチ１２０を介して動き予測・補償部１２３に供給される。ステップＳ１７７において動き予測・補償部１２３は、ステップＳ１７６で取得した動きベクトルに基づいて、インター予測モードの動き予測をし、予測画像を生成する。生成した予測画像は、スイッチ１２４に出力される。

［イントラ水平垂直予測判定処理の説明］
図２４は、図２３のステップＳ１７５のイントラ水平垂直予測判定処理を説明するフローチャートである。なお、図２４のステップＳ１９１乃至Ｓ１９４、およびＳ１９８の処理は、図１７のステップＳ４１乃至Ｓ４４、およびＳ４７の処理と基本的に同様の処理を行うため、繰り返しになるのでその詳細な説明は省略する。また、図２４の例においても、わかりやすくするため、上述した図９を適宜参照して説明する。

ステップＳ１９１において、水平隣接画素平均算出部８１は、図９の画素値Ａ乃至Ｄの水平画素平均値AveHを算出し、水平隣接画素分散算出部８３は、水平画素平均値AveHを用いて、水平画素分散値DistHを算出する。水平隣接画素分散算出部８３は、算出した水平画素分散値DistHを予測モード適用判定部８５に供給する。これに対応して、予測モード適用判定部８５は、水平隣接画素分散算出部８３からの水平画素分散値DistHを受信する。

ステップＳ１９２において、垂直隣接画素平均算出部８２は、図９の画素値Ｉ乃至Ｊを用いて、垂直画素平均値AveVを算出し、垂直隣接画素分散算出部８４は、垂直画素平均値AveVを用いて、垂直画素分散値DistVを算出する。垂直隣接画素分散算出部８４は、算出した垂直画素分散値DistVを予測モード適用判定部８５に供給する。これに対応して、予測モード適用判定部８５は、垂直隣接画素分散算出部８４からの垂直画素分散値DistVを受信する。

ステップＳ１９３において、予測モード適用判定部８５は、水平隣接画素分散算出部８３から受信した水平画素分散値DistHが、予め設定された水平方向の閾値ThHよりも小さいか否かを判定する。すなわち、予測モード適用判定部８５は、上述した式（６５）を満たすか否かを判定する。

ステップＳ１９３において、水平画素分散値DistHが、水平方向の閾値ThHよりも小さいと判定された場合、処理は、ステップＳ１９４に進む。ステップＳ１９４において、予測モード適用判定部８５は、さらに、垂直隣接画素分散算出部８４から受信した垂直画素分散値DistVが予め設定された垂直方向の閾値ThVよりも小さいか否かを判定する。すなわち、予測モード適用判定部８５は、上述した式（６６）を満たすか否かを判定する。

ステップＳ１９４において、垂直画素分散値DistVが垂直方向の閾値ThVよりも大きいと判定された場合、処理は、ステップＳ１９５に進む。ステップＳ１９５において、予測モード適用判定部８５は、対象ブロックに、モード１（Horizontal Prediction）を適用し、イントラ予測部１２１は、適用されたモード１でイントラ予測を行う。

すなわち、図９の対象ブロックに含まれる画素ａ乃至ｐの画素値は、水平方向の画素値の相関が高く、図６および図７におけるモード１（Horizontal Prediction）が選ばれやすくなると考えられる。したがって、予測モード適用判定部１２２は、対象ブロックに、モード１（Horizontal Prediction）を適用する。対象ブロックに適用したモード１を示す適用モードの情報は、イントラ予測部１２１に供給される。イントラ予測部１２１は、適用モードの情報に基づいて、モード１のイントラ予測を行い、予測画像を生成する。生成した予測画像は、スイッチ１２４に出力される。

ステップＳ１９４において、垂直画素分散値DistVが垂直方向の閾値ThVよりも小さいと判定された場合、処理は、ステップＳ１９６に進む。この場合には、水平方向および垂直方向の画素値のうちどちらの相関が高いか判定できない。したがって、予測モード適用判定部１２２は、ステップＳ１９６において、対象ブロックに、通常の予測モードを適用し、イントラ予測部１２１は、イントラ予測モード情報を取得する。

すなわち、対象ブロックに適用した通常の予測モードを示す適用モードの情報は、イントラ予測部１２１に供給される。イントラ予測部１２１は、適用モードの情報に基づいて、通常のイントラ予測を行うために、イントラ予測モード情報を取得する。

そして、イントラ予測部１２１は、ステップＳ１９７において、ステップＳ１９６において取得したイントラ予測モード情報に従ってイントラ予測し、予測画像を生成する。生成された予測画像は、スイッチ１２４に出力される。

一方、ステップＳ１９３において、水平画素分散値DistHが、水平方向の閾値ThHよりも大きいと判定された場合、処理は、ステップＳ１９８に進む。ステップＳ１９８において、予測モード適用判定部８５は、さらに、垂直画素分散値DistVが予め設定された垂直方向の閾値ThVよりも小さいか否かを判定する。

ステップＳ１９８において、垂直画素分散値DistVが垂直方向の閾値ThVよりも大きいと判定された場合、処理は、ステップＳ１９６に進む。この場合には、水平方向および垂直方向の画素値のうちどちらの相関も高いとは言えない。したがって、予測モード適用判定部８５は、ステップＳ１９６において、対象ブロックに、通常の予測モードを適用するので、イントラ予測部１２１は、イントラ予測モード情報を取得する。

そして、イントラ予測部１２１は、ステップＳ１９７において、ステップＳ１９６において取得したイントラ予測モード情報に従ってイントラ予測し、予測画像を生成する。生成された予測画像は、スイッチ１２４に出力される。

ステップＳ１９８において、垂直画素分散値DistVが垂直方向の閾値ThVよりも小さいと判定された場合、処理は、ステップＳ１９９に進む。ステップＳ１９９において、予測モード適用判定部１２２は、対象ブロックに、モード０（Vertical Prediction）を適用し、イントラ予測部１２１は、適用されたモード１でイントラ予測を行う。

すなわち、図９の対象ブロックに含まれる画素ａ乃至ｐの画素値は、垂直方向の画素値の相関が高く、図６および図７におけるモード０（Vertical Prediction）が選ばれやすくなると考えられる。したがって、予測モード適用判定部１２２は、対象ブロックに、モード０（Vertical Prediction）を適用する。対象ブロックに適用したモード０を示す適用モードの情報は、イントラ予測部１２１に供給される。イントラ予測部１２１は、適用モードの情報に基づいて、モード０のイントラ予測を行い、予測画像を生成する。生成した予測画像は、スイッチ１２４に出力される。

以上のように、画像符号化装置５１および画像復号装置１０１の両方において、イントラ４×４予測モードの場合に、対象ブロックの隣接画素から、対象ブロックへのモード０またはモード１の適用を決定するようにした。

これにより、イントラ水平垂直予測判定処理により対象ブロックにモード０またはモード１が適用された場合には、復号側への圧縮画像に、イントラ４×４の予測モードの種類を示す予測モード情報を付加する必要がない。

すなわち、イントラ４×４予測モードの場合に、圧縮画像から、対象ブロック毎に必要であったモード０またはモード１を示す予測モード情報（モードビット）を削減することができる。

さらに、モード０およびモード１は、９種類の予測モードの中で使用頻度が最も多いモードであるので、非特許文献２に記載の発明よりも、さらに大きな符号化効率の改善、および向上を実現することができる。

なお、上記説明においては、輝度信号のイントラ４×４予測モードの場合に対象ブロックの隣接画素値を用いてモード０またはモード１の適用を判定する例を説明したが、本発明は、イントラ８×８やイントラ１６×１６予測モードの場合にも適用することができる。また、本発明は、色差信号のイントラ予測モードの場合にも適用することができる。

また、上記説明においては、マクロブロックの大きさが、１６×１６画素の場合について説明してきたが、本発明は、”Video Coding Using Extended Block Sizes”,VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 - Contribution 123, Jan 2009に記載の拡張されたマクロブロックサイズに対しても適用することが可能である。

図２５は、拡張されたマクロブロックサイズの例を示す図である。上記提案では、マクロブロックサイズが３２×３２画素に拡張されている。

図２５の上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。図２５の中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。また、図２５の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。

すなわち、３２×３２画素のマクロブロックは、図２５の上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。

また、上段の右側に示される１６×１６画素のブロックは、H．264/AVC方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。

さらに、中段の右側に示される８×８画素のブロックは、H．264/AVC方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。

このような階層構造を採用することにより、拡張されたマクロブロックサイズにおいては、１６×１６画素のブロック以下に関してH．264/AVC方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。

以上のように提案される拡張されたマクロブロックサイズにも、本発明を適用することができる。

以上においては、符号化方式としてH．264/AVC方式を用いるようにしたが、本発明はこれに限らず、隣接画素を用いたイントラ予測を行う、その他の符号化方式／復号方式を適用することができる。

なお、本発明は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、およびドライブ３１０が接続されている。

入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３１１を駆動する。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５及びバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した画像符号化装置５１や画像復号装置１０１は、任意の電子機器に適用することができる。以下にその例について説明する。

図２７は、本発明を適用した画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。

図２７に示されるテレビジョン受像機１３００は、地上波チューナ１３１３、ビデオデコーダ１３１５、映像信号処理回路１３１８、グラフィック生成回路１３１９、パネル駆動回路１３２０、および表示パネル１３２１を有する。

地上波チューナ１３１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ１３１５に供給する。ビデオデコーダ１３１５は、地上波チューナ１３１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路１３１８に供給する。

映像信号処理回路１３１８は、ビデオデコーダ１３１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路１３１９に供給する。

グラフィック生成回路１３１９は、表示パネル１３２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路１３２０に供給する。また、グラフィック生成回路１３１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路１３２０に供給するといった処理も適宜行う。

パネル駆動回路１３２０は、グラフィック生成回路１３１９から供給されたデータに基づいて表示パネル１３２１を駆動し、番組の映像や上述した各種の画面を表示パネル１３２１に表示させる。

表示パネル１３２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路１３２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機１３００は、音声A/D（Analog/Digital)変換回路１３１４、音声信号処理回路１３２２、エコーキャンセル／音声合成回路１３２３、音声増幅回路１３２４、およびスピーカ１３２５も有する。

地上波チューナ１３１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ１３１３は、取得した音声信号を音声A/D変換回路１３１４に供給する。

音声A/D変換回路１３１４は、地上波チューナ１３１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路１３２２に供給する。

音声信号処理回路１３２２は、音声A/D変換回路１３１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路１３２３に供給する。

エコーキャンセル／音声合成回路１３２３は、音声信号処理回路１３２２から供給された音声データを音声増幅回路１３２４に供給する。

音声増幅回路１３２４は、エコーキャンセル／音声合成回路１３２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ１３２５から出力させる。

さらに、テレビジョン受像機１３００は、デジタルチューナ１３１６およびMPEGデコーダ１３１７も有する。

デジタルチューナ１３１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ１３１７に供給する。

MPEGデコーダ１３１７は、デジタルチューナ１３１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ１３１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路１３２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路１３１８に供給する。また、MPEGデコーダ１３１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU１３３２に供給する。

テレビジョン受像機１３００は、このように映像パケットをデコードするMPEGデコーダ１３１７として、上述した画像復号装置１０１を用いる。したがって、MPEGデコーダ１３１７は、画像復号装置１０１の場合と同様に、Vertical予測およびHorizontal予測に関するモードビットを削減することができる。これにより、符号化効率を向上させることができる。

MPEGデコーダ１３１７から供給された映像データは、ビデオデコーダ１３１５から供給された映像データの場合と同様に、映像信号処理回路１３１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路１３１９において、生成された映像データ等が適宜重畳され、パネル駆動回路１３２０を介して表示パネル１３２１に供給され、その画像が表示される。

MPEGデコーダ１３１７から供給された音声データは、音声A/D変換回路１３１４から供給された音声データの場合と同様に、音声信号処理回路１３２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路１３２３を介して音声増幅回路１３２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ１３２５から出力される。

また、テレビジョン受像機１３００は、マイクロホン１３２６、およびA/D変換回路１３２７も有する。

A/D変換回路１３２７は、音声会話用のものとしてテレビジョン受像機１３００に設けられるマイクロホン１３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路１３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路１３２３に供給する。

エコーキャンセル／音声合成回路１３２３は、テレビジョン受像機１３００のユーザ（ユーザＡ）の音声のデータがA/D変換回路１３２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路１３２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１３２４を介してスピーカ１３２５より出力させる。

さらに、テレビジョン受像機１３００は、音声コーデック１３２８、内部バス１３２９、SDRAM（Synchronous Dynamic Random Access Memory)１３３０、フラッシュメモリ１３３１、CPU１３３２、USB（Universal Serial Bus) I/F１３３３、およびネットワークI/F１３３４も有する。

A/D変換回路１３２７は、音声会話用のものとしてテレビジョン受像機１３００に設けられるマイクロホン１３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路１３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック１３２８に供給する。

音声コーデック１３２８は、A/D変換回路１３２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス１３２９を介してネットワークI/F１３３４に供給する。

ネットワークI/F１３３４は、ネットワーク端子１３３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F１３３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック１３２８から供給された音声データを送信する。また、ネットワークI/F１３３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子１３３５を介して受信し、それを、内部バス１３２９を介して音声コーデック１３２８に供給する。

音声コーデック１３２８は、ネットワークI/F１３３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路１３２３に供給する。

エコーキャンセル／音声合成回路１３２３は、音声コーデック１３２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１３２４を介してスピーカ１３２５より出力させる。

SDRAM１３３０は、CPU１３３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ１３３１は、CPU１３３２により実行されるプログラムを記憶する。フラッシュメモリ１３３１に記憶されているプログラムは、テレビジョン受像機１３００の起動時などの所定のタイミングでCPU１３３２により読み出される。フラッシュメモリ１３３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ１３３１には、CPU１３３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ１３３１は、例えばCPU１３３２の制御により、そのMPEG-TSを、内部バス１３２９を介してMPEGデコーダ１３１７に供給する。

MPEGデコーダ１３１７は、デジタルチューナ１３１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機１３００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ１３１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機１３００は、リモートコントローラ１３５１から送信される赤外線信号を受光する受光部１３３７も有する。

受光部１３３７は、リモートコントローラ１３５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU１３３２に出力する。

CPU１３３２は、フラッシュメモリ１３３１に記憶されているプログラムを実行し、受光部１３３７から供給される制御コードなどに応じてテレビジョン受像機１３００の全体の動作を制御する。CPU１３３２とテレビジョン受像機１３００の各部は、図示せぬ経路を介して接続されている。

USB I/F１３３３は、USB端子１３３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機１３００の外部の機器との間でデータの送受信を行う。ネットワークI/F１３３４は、ネットワーク端子１３３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

テレビジョン受像機１３００は、MPEGデコーダ１３１７として画像復号装置１０１を用いることにより、符号化効率を向上することができる。その結果として、テレビジョン受像機１３００は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より高精細な復号画像を得て、表示することができる。

図２８は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。

図２８に示される携帯電話機１４００は、各部を統括的に制御するようになされた主制御部１４５０、電源回路部１４５１、操作入力制御部１４５２、画像エンコーダ１４５３、カメラI/F部１４５４、LCD制御部１４５５、画像デコーダ１４５６、多重分離部１４５７、記録再生部１４６２、変復調回路部１４５８、および音声コーデック１４５９を有する。これらは、バス１４６０を介して互いに接続されている。

また、携帯電話機１４００は、操作キー１４１９、CCD（Charge Coupled Devices）カメラ１４１６、液晶ディスプレイ１４１８、記憶部１４２３、送受信回路部１４６３、アンテナ１４１４、マイクロホン（マイク）１４２１、およびスピーカ１４１７を有する。

電源回路部１４５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機１４００を動作可能な状態に起動する。

携帯電話機１４００は、CPU、ROMおよびRAM等でなる主制御部１４５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機１４００は、マイクロホン（マイク）１４２１で集音した音声信号を、音声コーデック１４５９によってデジタル音声データに変換し、これを変復調回路部１４５８でスペクトラム拡散処理し、送受信回路部１４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１４００は、その変換処理により得られた送信用信号を、アンテナ１４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機１４００は、アンテナ１４１４で受信した受信信号を送受信回路部１４６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部１４５８でスペクトラム逆拡散処理し、音声コーデック１４５９によってアナログ音声信号に変換する。携帯電話機１４００は、その変換して得られたアナログ音声信号をスピーカ１４１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機１４００は、操作キー１４１９の操作によって入力された電子メールのテキストデータを、操作入力制御部１４５２において受け付ける。携帯電話機１４００は、そのテキストデータを主制御部１４５０において処理し、LCD制御部１４５５を介して、画像として液晶ディスプレイ１４１８に表示させる。

また、携帯電話機１４００は、主制御部１４５０において、操作入力制御部１４５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機１４００は、その電子メールデータを、変復調回路部１４５８でスペクトラム拡散処理し、送受信回路部１４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１４００は、その変換処理により得られた送信用信号を、アンテナ１４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機１４００は、基地局から送信された信号を、アンテナ１４１４を介して送受信回路部１４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１４００は、その受信信号を変復調回路部１４５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機１４００は、復元された電子メールデータを、LCD制御部１４５５を介して液晶ディスプレイ１４１８に表示する。

なお、携帯電話機１４００は、受信した電子メールデータを、記録再生部１４６２を介して、記憶部１４２３に記録する（記憶させる）ことも可能である。

この記憶部１４２３は、書き換え可能な任意の記憶媒体である。記憶部１４２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機１４００は、撮像によりCCDカメラ１４１６で画像データを生成する。CCDカメラ１４１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部１４５４を介して、画像エンコーダ１４５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。

携帯電話機１４００は、このような処理を行う画像エンコーダ１４５３として、上述した画像符号化装置５１を用いる。したがって、画像エンコーダ１４５３は、画像符号化装置５１の場合と同様に、Vertical予測およびHorizontal予測に関するモードビットを削減することができる。これにより、符号化効率を向上させることができる。

なお、携帯電話機１４００は、このとき同時に、CCDカメラ１４１６で撮像中にマイクロホン（マイク）１４２１で集音した音声を、音声コーデック１４５９においてアナログデジタル変換し、さらに符号化する。

携帯電話機１４００は、多重分離部１４５７において、画像エンコーダ１４５３から供給された符号化画像データと、音声コーデック１４５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機１４００は、その結果得られる多重化データを、変復調回路部１４５８でスペクトラム拡散処理し、送受信回路部１４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１４００は、その変換処理により得られた送信用信号を、アンテナ１４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機１４００は、CCDカメラ１４１６で生成した画像データを、画像エンコーダ１４５３を介さずに、LCD制御部１４５５を介して液晶ディスプレイ１４１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機１４００は、基地局から送信された信号を、アンテナ１４１４を介して送受信回路部１４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１４００は、その受信信号を変復調回路部１４５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機１４００は、多重分離部１４５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機１４００は、画像デコーダ１４５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部１４５５を介して液晶ディスプレイ１４１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ１４１８に表示される。

携帯電話機１４００は、このような処理を行う画像デコーダ１４５６として、上述した画像復号装置１０１を用いる。したがって、画像デコーダ１４５６は、画像復号装置１０１の場合と同様に、Vertical予測およびHorizontal予測に関するモードビットを削減することができる。これにより、符号化効率を向上させることができる。

このとき、携帯電話機１４００は、同時に、音声コーデック１４５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ１４１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、電子メールの場合と同様に、携帯電話機１４００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部１４６２を介して、記憶部１４２３に記録する（記憶させる）ことも可能である。

また、携帯電話機１４００は、主制御部１４５０において、撮像されてCCDカメラ１４１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機１４００は、赤外線通信部１４８１で赤外線により外部の機器と通信することができる。

携帯電話機１４００は、画像エンコーダ１４５３として画像符号化装置５１を用いることにより、例えばCCDカメラ１４１６において生成された画像データを符号化して生成する符号化データの符号化効率を向上させることができる。結果として、携帯電話機１４００は、符号化効率のよい符号化データ（画像データ）を、他の装置に提供することができる。

また、携帯電話機１４００は、画像デコーダ１４５６として画像復号装置１０１を用いることにより、精度の高い予測画像を生成することができる。その結果として、携帯電話機１４００は、例えば、簡易ホームページにリンクされた動画像ファイルから、より高精細な復号画像を得て、表示することができる。

なお、以上において、携帯電話機１４００が、CCDカメラ１４１６を用いるように説明したが、このCCDカメラ１４１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機１４００は、CCDカメラ１４１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機１４００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機１４００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機１４００の場合と同様に、画像符号化装置５１および画像復号装置１０１を適用することができる。

図２９は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。

図２９に示されるハードディスクレコーダ（HDDレコーダ）１５００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

ハードディスクレコーダ１５００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ１５００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

さらに、ハードディスクレコーダ１５００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ１５６０に供給し、モニタ１５６０の画面にその画像を表示させる。また、ハードディスクレコーダ１５００は、モニタ１５６０のスピーカよりその音声を出力させることができる。

ハードディスクレコーダ１５００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ１５６０に供給し、モニタ１５６０の画面にその画像を表示させる。また、ハードディスクレコーダ１５００は、モニタ１５６０のスピーカよりその音声を出力させることもできる。

もちろん、この他の動作も可能である。

図２９に示されるように、ハードディスクレコーダ１５００は、受信部１５２１、復調部１５２２、デマルチプレクサ１５２３、オーディオデコーダ１５２４、ビデオデコーダ１５２５、およびレコーダ制御部１５２６を有する。ハードディスクレコーダ１５００は、さらに、EPGデータメモリ１５２７、プログラムメモリ１５２８、ワークメモリ１５２９、ディスプレイコンバータ１５３０、OSD（On Screen Display）制御部１５３１、ディスプレイ制御部１５３２、記録再生部１５３３、D/Aコンバータ１５３４、および通信部１５３５を有する。

また、ディスプレイコンバータ１５３０は、ビデオエンコーダ１５４１を有する。記録再生部１５３３は、エンコーダ１５５１およびデコーダ１５５２を有する。

受信部１５２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部１５２６に出力する。レコーダ制御部１５２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ１５２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部１５２６は、このとき、ワークメモリ１５２９を必要に応じて使用する。

通信部１５３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部１５３５は、レコーダ制御部１５２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部１５２２は、チューナより供給された信号を、復調し、デマルチプレクサ１５２３に出力する。デマルチプレクサ１５２３は、復調部１５２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ１５２４、ビデオデコーダ１５２５、またはレコーダ制御部１５２６に出力する。

オーディオデコーダ１５２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部１５３３に出力する。ビデオデコーダ１５２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ１５３０に出力する。レコーダ制御部１５２６は、入力されたEPGデータをEPGデータメモリ１５２７に供給し、記憶させる。

ディスプレイコンバータ１５３０は、ビデオデコーダ１５２５またはレコーダ制御部１５２６より供給されたビデオデータを、ビデオエンコーダ１５４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部１５３３に出力する。また、ディスプレイコンバータ１５３０は、ビデオデコーダ１５２５またはレコーダ制御部１５２６より供給されるビデオデータの画面のサイズを、モニタ１５６０のサイズに対応するサイズに変換する。ディスプレイコンバータ１５３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ１５４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部１５３２に出力する。

ディスプレイ制御部１５３２は、レコーダ制御部１５２６の制御のもと、OSD（On Screen Display）制御部１５３１が出力したOSD信号を、ディスプレイコンバータ１５３０より入力されたビデオ信号に重畳し、モニタ１５６０のディスプレイに出力し、表示させる。

モニタ１５６０にはまた、オーディオデコーダ１５２４が出力したオーディオデータが、D/Aコンバータ１５３４によりアナログ信号に変換されて供給されている。モニタ１５６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部１５３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部１５３３は、例えば、オーディオデコーダ１５２４より供給されるオーディオデータを、エンコーダ１５５１によりMPEG方式でエンコードする。また、記録再生部１５３３は、ディスプレイコンバータ１５３０のビデオエンコーダ１５４１より供給されるビデオデータを、エンコーダ１５５１によりMPEG方式でエンコードする。記録再生部１５３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部１５３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部１５３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部１５３３は、デコーダ１５５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部１５３３は、復号したオーディオデータをD/A変換し、モニタ１５６０のスピーカに出力する。また、記録再生部１５３３は、復号したビデオデータをD/A変換し、モニタ１５６０のディスプレイに出力する。

レコーダ制御部１５２６は、受信部１５２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ１５２７から最新のEPGデータを読み出し、それをOSD制御部１５３１に供給する。OSD制御部１５３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部１５３２に出力する。ディスプレイ制御部１５３２は、OSD制御部１５３１より入力されたビデオデータをモニタ１５６０のディスプレイに出力し、表示させる。これにより、モニタ１５６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ１５００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部１５３５は、レコーダ制御部１５２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部１５２６に供給する。レコーダ制御部１５２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部１５３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部１５２６および記録再生部１５３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部１５２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ１５３０に供給する。ディスプレイコンバータ１５３０は、ビデオデコーダ１５２５から供給されるビデオデータと同様に、レコーダ制御部１５２６から供給されるビデオデータを処理し、ディスプレイ制御部１５３２を介してモニタ１５６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部１５２６が、復号したオーディオデータを、D/Aコンバータ１５３４を介してモニタ１５６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部１５２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ１５２７に供給する。

以上のようなハードディスクレコーダ１５００は、ビデオデコーダ１５２５、デコーダ１５５２、およびレコーダ制御部１５２６に内蔵されるデコーダとして画像復号装置１０１を用いる。したがって、ビデオデコーダ１５２５、デコーダ１５５２、およびレコーダ制御部１５２６に内蔵されるデコーダは、画像復号装置１０１の場合と同様に、Vertical予測およびHorizontal予測に関するモードビットを削減することができる。これにより、符号化効率を向上させることができる。

したがって、ハードディスクレコーダ１５００は、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ１５００は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部１５３３のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、モニタ１５６０に表示させることができる。

また、ハードディスクレコーダ１５００は、エンコーダ１５５１として画像符号化装置５１を用いる。したがって、エンコーダ１５５１は、画像符号化装置５１の場合と同様に、Vertical予測およびHorizontal予測に関するモードビットを削減することができる。これにより、符号化効率を向上させることができる。

したがって、ハードディスクレコーダ１５００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ１５００は、ハードディスクの記憶領域をより効率よく使用することができる。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ１５００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ１５００の場合と同様に、画像符号化装置５１および画像復号装置１０１を適用することができる。

図３０は、本発明を適用した画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。

図３０に示されるカメラ１６００は、被写体を撮像し、被写体の画像をLCD１６１６に表示させたり、それを画像データとして、記録メディア１６３３に記録したりする。

レンズブロック１６１１は、光（すなわち、被写体の映像）を、CCD/CMOS１６１２に入射させる。CCD/CMOS１６１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１６１３に供給する。

カメラ信号処理部１６１３は、CCD/CMOS１６１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１６１４に供給する。画像信号処理部１６１４は、コントローラ１６２１の制御の下、カメラ信号処理部１６１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１６４１で例えばMPEG方式により符号化したりする。画像信号処理部１６１４は、画像信号を符号化して生成した符号化データを、デコーダ１６１５に供給する。さらに、画像信号処理部１６１４は、オンスクリーンディスプレイ（OSD）１６２０において生成された表示用データを取得し、それをデコーダ１６１５に供給する。

以上の処理において、カメラ信号処理部１６１３は、バス１６１７を介して接続されるDRAM（Dynamic Random Access Memory）１６１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１６１８に保持させる。

デコーダ１６１５は、画像信号処理部１６１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１６１６に供給する。また、デコーダ１６１５は、画像信号処理部１６１４から供給された表示用データをLCD１６１６に供給する。LCD１６１６は、デコーダ１６１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

オンスクリーンディスプレイ１６２０は、コントローラ１６２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１６１７を介して画像信号処理部１６１４に出力する。

コントローラ１６２１は、ユーザが操作部１６２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１６１７を介して、画像信号処理部１６１４、DRAM１６１８、外部インタフェース１６１９、オンスクリーンディスプレイ１６２０、およびメディアドライブ１６２３等を制御する。FLASH ROM１６２４には、コントローラ１６２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ１６２１は、画像信号処理部１６１４やデコーダ１６１５に代わって、DRAM１６１８に記憶されている画像データを符号化したり、DRAM１６１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１６２１は、画像信号処理部１６１４やデコーダ１６１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１６１４やデコーダ１６１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部１６２２から画像印刷の開始が指示された場合、コントローラ１６２１は、DRAM１６１８から画像データを読み出し、それを、バス１６１７を介して外部インタフェース１６１９に接続されるプリンタ１６３４に供給して印刷させる。

さらに、例えば、操作部１６２２から画像記録が指示された場合、コントローラ１６２１は、DRAM１６１８から符号化データを読み出し、それを、バス１６１７を介してメディアドライブ１６２３に装着される記録メディア１６３３に供給して記憶させる。

記録メディア１６３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１６３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ１６２３と記録メディア１６３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース１６１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１６３４と接続される。また、外部インタフェース１６１９には、必要に応じてドライブ１６３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１６３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１６２４にインストールされる。

さらに、外部インタフェース１６１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１６２１は、例えば、操作部１６２２からの指示に従って、DRAM１６１８から符号化データを読み出し、それを外部インタフェース１６１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１６２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１６１９を介して取得し、それをDRAM１６１８に保持させたり、画像信号処理部１６１４に供給したりすることができる。

以上のようなカメラ１６００は、デコーダ１６１５として画像復号装置１０１を用いる。したがって、デコーダ１６１５は、画像復号装置１０１の場合と同様に、Vertical予測およびHorizontal予測に関するモードビットを削減することができる。これにより、符号化効率を向上させることができる。

したがって、カメラ１６００は、精度の高い予測画像を生成することができる。その結果として、カメラ１６００は、例えば、CCD/CMOS１６１２において生成された画像データや、DRAM１６１８または記録メディア１６３３から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、LCD１６１６に表示させることができる。

また、カメラ１６００は、エンコーダ１６４１として画像符号化装置５１を用いる。したがって、エンコーダ１６４１は、画像符号化装置５１の場合と同様に、Vertical予測およびHorizontal予測に関するモードビットを削減することができる。これにより、符号化効率を向上させることができる。

したがって、カメラ１６００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ１６００は、DRAM１６１８や記録メディア１６３３の記憶領域をより効率よく使用することができる。

なお、コントローラ１６２１が行う復号処理に画像復号装置１０１の復号方法を適用するようにしてもよい。同様に、コントローラ１６２１が行う符号化処理に画像符号化装置５１の符号化方法を適用するようにしてもよい。

また、カメラ１６００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、画像符号化装置５１および画像復号装置１０１は、上述した装置以外の装置やシステムにも適用可能である。

５１ 画像符号化装置， ６６ 可逆符号化部， ７４ イントラ予測部， ７５ 水平垂直予測判定部， ７６ 動き予測・補償部， ７７ 予測画像選択部， ８１ 水平隣接画素平均算出部， ８２ 垂直隣接画素平均算出部， ８３ 水平隣接画素分散算出部， ８４ 垂直隣接画素分散算出部， ８５ 予測モード適用判定部， １０１ 画像復号装置， １１２ 可逆復号部， １２１ イントラ予測部， １２２ 水平垂直予測判定部， １２３ 動き予測・補償部， １２４ スイッチ

対象の８×８ブロックにおける画素値を、p[x,y]（0≦x≦7;0≦y≦7)とし、隣接ブロックの画素値をp[-1,-1],…,p[-1,15],p[-1,0],…,p[-1,7]のように表すものとする。

この時、zVRが、0,2,4,6,8,10,12,14の場合には、予測画素値は、次の式（３７）のように生成され、zVRが1,3,5,7,9,11,13の場合には、予測画素値は、次の式（３８）のように生成される。

pred8x8_L[x,y] = （p'[x-（y>>1)-1,-1] + p'[x-（y>>1),-1] + 1) >> 1
・・・（３７）
pred8x8_L[x,y]
= （p'[x-（y>>1)-2,-1] + 2*p'[x-（y>>1)-1,-1] + p'[x-（y>>1),-1] + 2) >> 2 ・・・（３８）

また、zVRが-1の場合には、予測画素値は、次の式（３９）のように生成され、これ以外の場合、すなわち、zVRが-2,-3,-4,-5,-6,-7の場合には、予測画素値は、次の式（４０）のように生成される。

pred8x8_L[x,y] = （p'[-1,0] + 2*p'[-1,-1] + p'[0,-1] + 2) >> 2
・・・（３９）
pred8x8_L[x,y] = （p'[-1,y-2*x-1] + 2*p'[-1,y-2*x-2] + p'[-1,y-2*x-3] + 2) >> 2 ・・・（４０）

モード６はHorizontal_Down_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Horizontal_Down_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が “available”の時のみ適用される。今、zHDを次の式（４１）のように定義するものとする。

zHD = 2*y - x
・・・（４１）

この時、zHDが0,2,4,6,8,10,12,14の場合には、予測画素値は、次の式（４２）のように生成され、zHDが1,3,5,7,9,11,13の場合には、予測画素値は、次の式（４３）のように生成される。

pred8x8_L[x,y] = （p'[-1,y-（x>>1)-1] + p'[-1,y-（x>>1)] + 1) >> 1
・・・（４２）
pred8x8_L[x,y]
= （p'[-1,y-（x>>1)-2] + 2*p'[-1,y-（x>>1)-1] + p'[-1,y-（x>>1)] + 2) >> 2 ・・・（４３）

zHUの値が0,2,4,6,8,10,12の場合、予測画素値は、次の式（４９）のように生成され、zHUの値が1,3,5,7,9,11の場合、予測画素値は、次の式（５０）のように生成される。

pred8x8_L[x,y] = （p'[-1,y+（x>>1)] + p'[-1,y+（x>>1)+1] + 1) >> 1
・・・（４９）
pred8x8_L[x,y] = （p'[-1,y+（x>>1)] + 2*p'[-1, y+（x>>1)+1] + p'[-1, y+（x>>1)+2] + 2) >> 2
・・・（５０）

ステップＳ４７において、垂直画素分散値DistVが垂直方向の閾値ThVよりも大きいと判定された場合、処理は、ステップＳ４６に進む。この場合には、水平方向および垂直方向の画素値のうちどちらの相関も高いとは言えない。したがって、予測モード適用判定部８５は、ステップＳ４６において、対象ブロックに、通常の予測モードを適用する。

［閾値の例］
図１８は、閾値の例を示す図である。図１８の例においては、縦軸が水平方向の閾値ThHと垂直方向の閾値ThVを表し、横軸が量子化パラメータQPを表すグラフが示されている。

水平画素分散値DistHと比較される水平方向の閾値ThHと、垂直画素分散値DistVと比較される垂直方向の閾値ThVは、図１８のグラフに示すように、圧縮画像中の量子化パラメータQPの関数として定義される。

すなわち、QPが大きくなるほど、水平方向の閾値ThHと垂直方向の閾値ThVの値を大きくすることができるので、より低ビットレート時における情報量のオーバーヘッドを削減し、符号化効率を改善することができる。

すなわち、High Complexity モードにおいては、ステップＳ５２の処理として、候補となる全ての予測モードに対して、仮に符号化処理までが行われる。そして、次の式（６７）で表わされるコスト関数値が各予測モードに対して算出され、その最小値を与える予測モードが最適予測モードであるとして選択される。

一方、Low Complexity モードにおいては、ステップＳ５２の処理として、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報、フラグ情報などのヘッダビットまでが算出される。そして、次の式（６８）で表わされるコスト関数値が各予測モードに対して算出され、その最小値を与える予測モードが最適予測モードであるとして選択される。

イントラ予測部７４は、ステップＳ５３において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して、それぞれ最適モードを決定する。すなわち、上述したように、イントラ４×４予測モードおよびイントラ８×８予測モードの場合には、予測モードの種類が９種類あり、イントラ１６×１６予測モードの場合には、予測モードの種類が４種類ある。したがって、イントラ予測部７４は、ステップＳ５２において算出されたコスト関数値に基づいて、それらの中から、最適イントラ４×４予測モード、最適イントラ８×８予測モード、最適イントラ１６×１６予測モードを決定する。

［画像復号装置の構成例］
図２１は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。

ステップＳ１３５において、演算部１１５は、後述するステップＳ１３９の処理で選択され、スイッチ１２４を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１３６においてデブロックフィルタ１１６は、演算部１１５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７においてフレームメモリ１１９は、フィルタリングされた画像を記憶する。

ステップＳ１３９において、スイッチ１２４は予測画像を選択する。すなわち、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２３により生成された予測画像供給される。したがって、供給された予測画像が選択されて演算部１１５に供給され、上述したように、ステップＳ１３５において逆直交変換部１１４の出力と加算される。

イントラ予測部１２１および水平垂直予測判定部１２２は、ステップＳ１７５において、イントラ水平垂直予測判定処理を行う。ステップＳ１７５におけるイントラ水平垂直予測判定処理の詳細は、図２４を参照して後述するが、この処理により、イントラ４×４予測モードについての対象ブロックに、予測モードとして、モード０またはモード１が適用される。モード０またはモード１が適用されなかった場合には、対象ブロックに、通常の予測モードが適用される。この予測モードについての適用モード情報は、イントラ予測部１２１に供給され、適用された予測モードでのイントラ予測が行われ、予測画像が生成される。そして、生成された予測画像は、スイッチ１２４に出力される。

すなわち、図９の対象ブロックに含まれる画素ａ乃至ｐの画素値は、水平方向の画素値の相関が高く、図６および図７におけるモード１（Horizontal Prediction）が選ばれやすくなると考えられる。したがって、予測モード適用判定部８５は、対象ブロックに、モード１（Horizontal Prediction）を適用する。対象ブロックに適用したモード１を示す適用モードの情報は、イントラ予測部１２１に供給される。イントラ予測部１２１は、適用モードの情報に基づいて、モード１のイントラ予測を行い、予測画像を生成する。生成した予測画像は、スイッチ１２４に出力される。

ステップＳ１９４において、垂直画素分散値DistVが垂直方向の閾値ThVよりも小さいと判定された場合、処理は、ステップＳ１９６に進む。この場合には、水平方向および垂直方向の画素値のうちどちらの相関が高いか判定できない。したがって、予測モード適用判定部８５は、ステップＳ１９６において、対象ブロックに、通常の予測モードを適用し、イントラ予測部１２１は、イントラ予測モード情報を取得する。

ステップＳ１９８において、垂直画素分散値DistVが垂直方向の閾値ThVよりも小さいと判定された場合、処理は、ステップＳ１９９に進む。ステップＳ１９９において、予測モード適用判定部８５は、対象ブロックに、モード０（Vertical Prediction）を適用し、イントラ予測部１２１は、適用されたモード０でイントラ予測を行う。

すなわち、図９の対象ブロックに含まれる画素ａ乃至ｐの画素値は、垂直方向の画素値の相関が高く、図６および図７におけるモード０（Vertical Prediction）が選ばれやすくなると考えられる。したがって、予測モード適用判定部８５は、対象ブロックに、モード０（Vertical Prediction）を適用する。対象ブロックに適用したモード０を示す適用モードの情報は、イントラ予測部１２１に供給される。イントラ予測部１２１は、適用モードの情報に基づいて、モード０のイントラ予測を行い、予測画像を生成する。生成した予測画像は、スイッチ１２４に出力される。

Claims (12)

1. イントラ予測の対象ブロックの上部に位置する隣接画素値の分散値である水平画素分散値を受信する水平画素分散値受信手段と、
   前記対象ブロックの左部に位置する隣接画素値の分散値である垂直画素分散値を受信する垂直画素分散値受信手段と、
   前記水平画素分散値受信手段により受信された前記水平画素分散値が、予め設定された水平方向の閾値よりも大きく、かつ、前記垂直画素分散値受信手段により受信された前記垂直画素分散値が、予め設定された垂直方向の閾値よりも小さい場合、前記対象ブロックに、垂直予測モードを適用する予測モード適用判定手段と、
   前記予測モード適用判定手段により適用された予測モードで、前記対象ブロックの予測画像を生成するイントラ予測手段と、
   前記対象ブロックの画像と前記イントラ予測手段により生成された前記予測画像との差分を符号化する符号化手段と
   を備える画像処理装置。
2. 前記予測モード適用判定手段は、前記水平画素分散値受信手段により受信された前記水平画素分散値が、前記水平方向の閾値よりも小さく、かつ、前記垂直画素分散値受信手段により受信された前記垂直画素分散値が、前記垂直方向の閾値よりも大きい場合、前記対象ブロックに、水平予測モードを適用する
   請求項１に記載の画像処理装置。
3. 前記垂直方向の閾値および前記水平方向の閾値が、前記対象ブロックに対する量子化パラメータの関数として定義される
   請求項２に記載の画像処理装置。
4. 前記垂直方向の閾値および前記水平方向の閾値には、前記量子化パラメータが大きいほど、より大きな値が設定される
   請求項３に記載の画像処理装置。
5. 前記水平画素分散値を算出する水平画素分散値算出手段と、
   前記垂直画素分散値を算出する垂直画素分散値算出手段と
   をさらに備える請求項１に記載の画像処理装置。
6. 画像処理装置が、
   イントラ予測の対象ブロックの上部に位置する隣接画素値の分散値である水平画素分散値を受信し、
   前記対象ブロックの左部に位置する隣接画素値の分散値である垂直画素分散値を受信し、
   受信された前記水平画素分散値が、予め設定された水平方向の閾値よりも大きく、かつ、受信された前記垂直画素分散値が、予め設定された垂直方向の閾値よりも小さい場合、前記対象ブロックに、垂直予測モードを適用し、
   適用された予測モードで、前記対象ブロックの予測画像を生成し、
   前記対象ブロックの画像と生成された前記予測画像との差分を符号化するステップを
   含む画像処理方法。
7. 符号化されているイントラ予測の対象ブロックの画像を復号する復号手段と、
   前記対象ブロックの上部に位置する隣接画素値の分散値である水平画素分散値を受信する水平画素分散値受信手段と、
   前記対象ブロックの左部に位置する隣接画素値の分散値である垂直画素分散値を受信する垂直画素分散値受信手段と、
   前記垂直画素分散値受信手段により受信された前記垂直画素分散値が、予め設定された垂直方向の閾値よりも小さく、かつ、前記水平画素分散値受信手段により受信された前記水平画素分散値が、予め設定された水平方向の閾値よりも大きい場合、前記対象ブロックに、垂直予測モードを適用する予測モード適用判定手段と、
   前記予測モード適用判定手段により適用された予測モードで、前記対象ブロックの予測画像を生成するイントラ予測手段と、
   前記復号手段により復号された前記画像と前記イントラ予測手段により生成された前記予測画像を加算する演算手段と
   を備える画像処理装置。
8. 前記予測モード適用判定手段は、前記水平画素分散値受信手段により受信された前記水平画素分散値が、前記水平方向の閾値よりも小さく、かつ、前記垂直画素分散値受信手段により受信された前記垂直画素分散値が、前記垂直方向の閾値よりも大きい場合、前記対象ブロックに、水平予測モードを適用する
   請求項７に記載の画像処理装置。
9. 前記垂直方向の閾値および前記水平方向の閾値が、前記対象ブロックに対する量子化パラメータの関数として定義される
   請求項８に記載の画像処理装置。
10. 前記垂直方向の閾値および前記水平方向の閾値には、前記量子化パラメータが大きいほど、より大きな値が設定される
    請求項９に記載の画像処理装置。
11. 前記水平画素分散値を算出する水平画素分散値算出手段と、
    前記垂直画素分散値を算出する垂直画素分散値算出手段と
    をさらに備える請求項７に記載の画像処理装置。
12. 画像処理装置が、符号化されているイントラ予測の対象ブロックの画像を復号し、
    前記対象ブロックの上部に位置する隣接画素値の分散値である水平画素分散値を受信し、
    前記対象ブロックの左部に位置する隣接画素値の分散値である垂直画素分散値を受信し、
    受信された前記水平画素分散値が、予め設定された水平方向の閾値よりも大きく、かつ、受信された前記垂直画素分散値が、予め設定された垂直方向の閾値よりも小さい場合、前記対象ブロックに、垂直予測モードを適用し、
    適用された予測モードで、前記対象ブロックの予測画像を生成し、
    復号された前記画像と生成された前記予測画像を加算するステップを
    含む画像処理方法。

Images