JPWO2010087157A1 - 画像符号化方法及び画像復号方法 - Google Patents

Abstract

より高い符号化効率が達成され、符号化歪みが抑制され、かつ、多大な処理量を必要としないように、画像及び映像データを符号化する。画像データをブロック毎に符号化する画像符号化方法であって、選択予測モードに基づいた予測に従って対象ブロックを符号化する符号化ステップ（Ｓ１０１）と、複数の予測モード候補から推定予測モードを決定する推定ステップと、選択予測モードを復元するためのモード情報と符号化された対象ブロックとを出力する出力ステップ（Ｓ１０８）とを含み、推定ステップは、エッジを検出するエッジ検出ステップ（Ｓ１０３）と、検出されたエッジに基づいて予測モード候補の数を減らす候補限定ステップ（Ｓ１０５）と、減らされた数の予測モード候補から推定予測モードを決定する予測モード推定ステップ（Ｓ１０６）と、推定予測モードと選択予測モードとに基づいてモード情報を生成するモード情報生成ステップ（Ｓ１０７）とを含む。

Description

本発明は、より良い符号化効率で画像及び映像データを圧縮符号化する画像符号化方法と、圧縮符号化された画像及び映像データを復号する画像復号方法と、対応する画像符号化装置及び画像復号装置とに関する。

インターネットを介したビデオ会議、デジタルビデオ放送、及び、映像コンテンツのストリーミングを含む、例えば、ビデオ・オン・デマンドタイプのサービスのためのアプリケーションの数は右肩上がりであり、これらのアプリケーションは、映像情報の送信に頼っている。映像データが送信され、又は、記録される時、かなりの量のデータは、限られたバンド幅の従来の伝送路を通って送信され、又は、限られたデータ容量の従来の記憶媒体に記憶される。従来の伝送チャネル及び記憶媒体に映像情報を送信及び記憶するためには、デジタルデータの量を圧縮又は削減することが不可欠である。

そこで、映像データの圧縮のために、複数の映像符号化規格が開発されている。このような映像符号化規格は、例えば、Ｈ．２６ｘで示されるＩＴＵ−Ｔ規格、及び、ＭＰＥＧ−ｘで示されるＩＳＯ／ＩＥＣ規格である。最新かつ最も進んだ映像符号化規格は、現在、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣで示される規格である（非特許文献１参照）。

これらの規格のほとんどの基礎をなす符号化アプローチは、以下の（ａ）〜（ｄ）で示される主な段階を含む予測符号化に基づいている。

（ａ）映像フレームのそれぞれをブロックレベルでデータ圧縮するために、映像フレームを画素のブロックに分割する。

（ｂ）先に符号化された映像データから個々のブロックを予測することで、時間的及び空間的冗長性を特定する。

（ｃ）映像データから予測データを減ずることで、特定された冗長性を除去する。

（ｄ）フーリエ変換、量子化、及び、エントロピー符号化によって、残りのデータを圧縮する。

現在の映像符号化規格では、各マクロブロックを予測するのに用いられる予測モードがブロック毎に異なる。ほとんどの映像符号化規格は、前に符号化及び復号されたフレームから映像データを予測するために動き検出及び動き補償を用いる（インターフレーム予測）。あるいは、ブロックデータは、同じフレームの隣接するブロックから予測されてもよい（イントラフレーム予測）。Ｈ．２６４／ＡＶＣ規格は、例えば、予測のために用いられる参照画素に対して、又は、画素が外挿される方向に対して、いくつかの異なるイントラフレーム予測モードを定義する。

図１Ａは、従来のＨ．２６４／ＡＶＣ規格に従ったイントラ予測推定が適用される対象ブロックと参照画素との関係の一例を示す図である。また、図１Ｂは、従来のＨ．２６４／ＡＶＣ規格に従ったイントラ予測モードセットに含まれる予測方向を示す図である。

図１Ａに示すように、４×４画素の対象ブロック１０は、予測される対象ブロック１０の上と左とに位置する１３個の参照画素２０を外挿することで予測される。この予測により、対象ブロック１０に対応する予測ブロックが生成される。このとき、外挿を実行するために、図１Ｂに示される８個の取り得る外挿方向（イントラ予測方向）から１つが選択される。すなわち、８個の外挿方向のそれぞれを示す８個の方向予測モードから１つの方向予測モードが選択される。あるいは、ＤＣ予測モードが選択されてもよい。ＤＣ予測モードでは、対象ブロック１０を予測するために参照画素２０の平均値を用いる。

このように複数ある予測モードのうち、どの予測モードを用いて予測するかをマクロブロック毎に選択し、選択された予測モードに関連する情報とともに、符号化された対象ブロックは、エントロピー符号化によって圧縮され、伝送される。現在の映像符号化規格では、選択された予測モードに関連する情報として、予め規格で決められたルールに基づいて推定値を予測する。例えば、Ｈ．２６４／ＡＶＣ規格で定められたイントラ予測モードを示す情報の場合、イントラ予測モードの推定値は、既に符号化された周囲のブロックのイントラ予測モードのうち、予測の方法を示す番号の小さい番号として決められている。

そして、予測される推定値と符号化対象の情報とが同じ場合には、同じであることを示すフラグのみを伝送し、推定値と符号化対象の情報とが異なる場合には、符号化対象の情報を伝送する。例えば、イントラ予測モードの推定値と、実際に符号化時に選択された予測モードとが同じである場合は、フラグのみを伝送し、異なる場合には、選択された予測モードを復元するための情報を伝送する。

図２は、従来のＨ．２６４／ＡＶＣ規格に従った画像符号化装置の構成のうち、予測モードを推定する推定部の詳細な構成の一例を示す図である。また、図３は、従来のＨ．２６４／ＡＶＣ規格に従った画像復号装置の構成のうち、予測モードを復元する復元部の詳細な構成の一例を示す図である。

図２に示すように、推定部５１０は、符号化モード（イントラ予測モード又はインター予測モード）を示す符号化モード情報ＳＭＤが入力される。例えば、イントラピクチャ予測符号化が符号化モードとして選択された場合、符号化モード情報ＳＭＤは、イントラ予測モードを示す情報（イントラ予測ブロックサイズ、イントラ予測方向など）である。一方で、インターピクチャ予測符号化が符号化モードとして選択された場合、符号化モード情報ＳＭＤは、位置情報（動きベクトル）ＭＶである。

予測モード格納メモリ５１１は、入力された符号化モード情報ＳＭＤを格納するメモリである。予測モード候補取得部５１２は、予測モード格納メモリ５１１から入力される、既に符号化された符号化モード情報の中から、予め決められた手段で予測モード推定値候補を取得する。

予測モード推定部５１３は、予測モード推定値候補の中から予測モード推定値ＭＰＭを決定し、決定した予測モード推定値ＭＰＭを出力する。減算部５１４は、符号化の対象ブロックの符号化モード情報ＳＭＤから、各情報に対応する予測モード推定値ＭＰＭを減算した信号である差分予測モード値ＤＭＤを出力する。

信号設定部５１５は、差分予測モード値ＤＭＤが０となる場合は、予測モード推定値と同じであることを示すフラグを符号化予測モード関連信号ＳＳＭＤにセットする。また、差分予測モード値ＤＭＤが０ではない場合には、差分予測モード値ＤＭＤを示す情報を符号化予測モード関連信号ＳＳＭＤとして出力する。

可変長符号化部５２０は、符号化予測モード関連信号ＳＳＭＤをエントロピー符号化し、ビットストリームとして出力する。

また、図３に示すように、可変長復号部６１０は、入力されたビットストリームを復号することで、量子化周波数変換係数ＱＴと、符号化予測モード関連情報ＳＳＭＤとを出力する。

復元部６２０は、符号化予測モード関連信号ＳＳＭＤが入力され、符号化モード情報ＳＭＤ（復号に用いられる、符号化モードＭＤと、イントラ予測モードＩＰＭを示す情報又は位置情報（動きベクトル）ＭＶ）を出力する。具体的には、信号判定部６２１は、符号化予測モード関連信号ＳＳＭＤが入力され、符号化予測モード関連信号ＳＳＭＤが予測モード推定値と同じであることを示すフラグであれば、差分予測モード値ＤＭＤを０として出力する。また、それ以外の場合には、符号化予測モード関連信号ＳＳＭＤに含まれる差分予測モード値ＤＭＤを出力する。

予測モード格納メモリ６２３は、入力された符号化モードＭＤと、イントラ予測モードＩＰＭを示す情報（イントラ予測ブロックサイズ、イントラ予測方向など）又は位置情報（動きベクトル）ＭＶとを格納するメモリである。予測モード候補取得部６２４は、予測モード格納メモリ６２３から、既に復号された符号化モードＭＤと、イントラ予測モードＩＰＭを示す情報又は位置情報（動きベクトル）ＭＶとの中から、予め決められた手段で複数の予測モード推定値候補を取得する。

予測モード推定部６２５は、複数の予測モード推定値候補の中から、予測モード推定値ＭＰＭを決定し、決定した予測モード推定値ＭＰＭを出力する。加算部６２２は、差分予測モード値ＤＭＤと予測モード推定値ＭＰＭとを加算した結果を、符号化モード情報ＳＭＤとして出力する。

一例として、４×４画素のブロックサイズに対するＨ．２６４／ＡＶＣ規格での予測モード候補取得部５１２及び６２４、並びに、予測モード推定部５１３及び６２５において、予測モード推定値ＭＰＭの推定方法を、図１Ａを用いて説明する。

予測モード候補取得部５１２及び６２４は、符号化及び復号ステップにおいて、４×４画素の対象ブロック１０に対して、既に符号化（又は復号）済みの周囲ブロック３０のイントラ予測モードＩＰＭ＿Ａと、周囲ブロック４０のイントラ予測モードＩＰＭ＿Ｂとを取得する。そして、予測モード推定部５１３及び６２５は、ＩＰＭ＿ＡとＩＰＭ＿Ｂとの値の小さい方のモードを予測モード推定値ＭＰＭとして設定する。

一方、エッジ検出を利用した、映像データの圧縮のための映像符号化方法も提案されており、エッジ検出が符号化装置及び復号装置に含まれることもある（非特許文献２）。

ＩＳＯ／ＩＥＣ １４４９６−１０「ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」 ２００８ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ「ＨＩＧＨ ＰＲＥＣＩＳＩＯＮ ＥＤＧＥ ＰＲＥＤＩＣＴＩＯＮ ＦＯＲ ＩＮＴＲＡ ＣＯＤＩＮＧ」

しかしながら、上記従来技術では、以下に示す課題がある。

上記従来技術では、符号化対象ブロックの予測モードの推定において、対象ブロックと周囲ブロックとの類似性を評価していない。このため、周囲ブロックの画像の特徴と、対象ブロックの画像の特徴とが異なる場合には、イントラ推定予測モードが、選択された選択予測モードと一致しにくい。これにより、推定結果が一致しなかったために、推定予測モードとは異なる予測モードを示す情報を伝送する必要があり、符号量が多くなる、又は、符号化画像内に歪みが生じるという課題がある。

一方で、予測モードの推定値と選択された予測モードとを一致させた場合は、対象ブロックの特徴と周囲ブロックの特徴とが異なるため、周囲ブロックからの予測性能が悪くなり、符号量が多くなる、又は、符号化画像内に歪みが生じるという課題がある。具体的には、以下の通りである。

従来のＨ．２６４／ＡＶＣ規格で定められたイントラ予測モード推定では、候補となる予測モードは、対象ブロックの周囲ブロックの符号化に用いられた予測モードである。予測モード推定部において、予測モード推定値は、予測モード候補のモード番号（図１Ｂに示す番号、及び、平均値予測（ＤＣ予測モード）を示す番号２）の小さい番号のものが選択される。

したがって、対象ブロックの推定予測モードは、いずれかの周囲ブロックの予測モードと一致する。しかし、周囲ブロックの画像の特徴と対象ブロックの画像の特徴とが異なる場合、対象ブロックの予測モードは、予測モードの推定結果（推定予測モード）とは一致しにくい。すなわち、復号器側に送信すべき、予測モードを示す情報の符号量は大きくなる。あるいは、予測モードの推定結果と対象ブロックの予測モードとを一致させた場合、対象ブロックの特徴とは異なる特徴をもつ周囲ブロックの予測モードを使うことにより、予測ブロックと対象ブロックとの差分値が大きくなり、符号量が大きくなる。

一方、予測モード候補の数を増やし、予測モード推定を行うことで予測モード推定の予測性能を上げることが考えられる。一例を挙げると、予測モード候補として予め決められた全ての予測モードを設定する。予測モード推定部では、予め決められた全ての予測モードに対し、周辺ブロックの画像の特徴を判定する。

例えば、周辺ブロックに対して、さらに周辺のブロックから予測ブロックを生成し、周囲ブロックと周囲ブロックの予測ブロックとの差分を評価することで、イントラ推定予測モードを決定する。上記の手段により、予測モード推定の予測効率は上がるが、処理量が大きくなる。また、この手段であっても対象ブロックと周囲ブロックとの関係性を評価していないため、周囲ブロックの特徴と対象ブロックの画像の特徴とが異なる場合には、Ｈ．２６４／ＡＶＣ規格の手段と同様に予測性能は悪くなる。

そこで、本発明は、上記課題を解決するためになされたものであって、より高い符号化効率が達成され、符号化歪みが抑制され、かつ、多大な処理量を必要としないように、画像及び映像データを符号化する画像符号化方法、及び、符号化された画像及び映像データを復号する画像復号方法を提供することを目的とする。

上記課題を解決するため、本発明の画像復号方法は、予測モードに基づいた予測に従って画像データをブロック毎に符号化することで生成された符号化画像データを復号する画像復号方法であって、符号化時に実行された予測モードの推定結果を示すモード情報に基づいて、符号化時の予測に用いた予測モードである選択予測モードを復元する復元ステップと、前記選択予測モードに基づいた予測に従って、前記符号化画像データの対象ブロックを復号することで、復号ブロックを生成する復号ステップとを含み、前記復元ステップは、既に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、前記エッジ検出ステップにおいて検出されたエッジに基づいて、予め定められた複数の予測モード候補の数を減らす候補限定ステップと、前記候補限定ステップにおいて減らされた数の前記予測モード候補の中から１つの予測モードを推定予測モードとして決定する予測モード推定ステップと、前記モード情報と前記推定予測モードとに基づいて、前記選択予測モードを復元する予測モード復元ステップとを含む。

これにより、対象ブロックの周囲のブロックにおいて検出されたエッジの方向が対象ブロックを向いているか評価をすることができる。このため、特に対象ピクチャがシャープなエッジを含む場合には、エッジが周囲ブロックから対象ブロックに繋がっているかどうかを調べることによって、周囲のブロックとの相関性を判定することができ、当該判定結果に基づいて、予測モード候補の数を減らすことができるので、予測モード推定に必要な処理量を削減することができる。また、単純に周囲のブロックの予測モード値から推定するよりも適切な、予測モード推定値を決定することができる。したがって、対象ブロックに対する予測モード値と、予測モード推定値の差分が小さくなるので、符号化効率を高めることができ、符号化歪みを抑制することができる。

また、前記モード情報は、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとが一致したことを示すフラグ情報、又は、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとの差分を示す差分情報であり、前記予測モード復元ステップでは、前記モード情報が、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとが一致したことを示すフラグ情報である場合、前記推定予測モードを前記選択予測モードとして決定し、前記モード情報が、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとの差分を示す差分情報である場合、前記差分と前記推定予測モードとを加算することで、前記選択予測モードを復元してもよい。

これにより、予測に用いた予測モードと推定された予測モードとが一致した場合には、一致したことを示すフラグ情報をビットストリームに含めるだけでよいので、符号量を削減することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジの方向に基づいて、前記複数の予測モード候補の数を減らしてもよい。

また、前記複数の予測モード候補は、予め定義された複数の方向予測モードを含み、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジの方向から最も離れた方向の方向予測モードを前記複数の予測モード候補から除外することで、前記複数の予測モード候補の数を減らしてもよい。

これにより、エッジの方向とは離れた方向予測モードを候補から除外することにより、方向予測モードの数を減らすことができるので、予測モード推定に必要な処理量を削減することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された２つ以上のエッジの方向のばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記複数の予測モード候補の数を減らしてもよい。

これにより、例えば、検出されたエッジ間のばらつきが小さい場合には、検出されたエッジの方向を重視した予測モード候補に絞り込むことができるので、エッジの方向を重視した予測モード推定値を決定することができ、より適切な推定値を算出することができる。

また、前記複数の予測モード候補は、前記対象ブロックの周囲に位置する複数の復号ブロックを生成する際に用いた複数の予測モードを含み、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジに基づいて、演算対象である前記複数の復号ブロックの数を減らすことで、前記複数の予測モード候補の数を減らしてもよい。

これにより、例えば、予測モード推定ステップにおいて、複数の周囲ブロックに対して予測モード推定のための演算を行う場合、エッジが検出された周囲ブロックに限定して予測モード推定のための演算を行うことで、演算量を抑制することができる。なお、エッジが検出された周囲ブロックは、対象ブロックとの関連性が強いことが考えられるため、より適切な予測モード推定値を算出することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいてエッジが検出されなかった復号ブロックを演算対象から除外することで前記複数の復号ブロックの数を減らしてもよい。

これにより、エッジが検出されたブロックに演算対象を絞り込むことができるので、予測モード推定に必要な処理量を削減することができる。また、エッジを含む周囲ブロックとの関係が強いことを利用するので、より適切な予測モード推定値を算出することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジのうち、最大ノルムを有する最大エッジを決定し、前記最大エッジが検出された復号ブロックに演算対象を限定することで、前記複数の復号ブロックの数を減らしてもよい。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジの方向の水平成分が垂直成分より大きい場合、前記対象ブロックの左側に位置する復号ブロックに演算対象を限定し、前記エッジ検出ステップにおいて検出されたエッジの方向の垂直成分が水平成分より大きい場合、前記対象ブロックの上側に位置する復号ブロックに演算対象を限定することで、前記複数の復号ブロックの数を減らしてもよい。

また、本発明の画像符号化方法は、画像データをブロック毎に符号化する画像符号化方法であって、予め定められた複数の予測モード候補の中から選択された選択予測モードに基づいた予測に従って、前記画像データの対象ブロックを符号化する符号化ステップと、符号化された対象ブロックを復号することで、復号ブロックを生成する復号ステップと、前記複数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する推定ステップと、前記選択予測モードを復元するためのモード情報を、前記符号化された対象ブロックとともに出力する出力ステップとを含み、前記推定ステップは、既に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、前記エッジ検出ステップにおいて検出されたエッジに基づいて、前記複数の予測モード候補の数を減らす候補限定ステップと、前記候補限定ステップにおいて減らされた数の前記予測モード候補の中から、所定の方法に従って前記推定予測モードを決定する予測モード推定ステップと、前記推定予測モードと前記選択予測モードとに基づいて前記モード情報を生成するモード情報生成ステップとを含む。

これにより、対象ブロックの周囲のブロックにおいて検出されたエッジの方向が対象ブロックを向いているか評価をすることができる。このため、特に対象ピクチャがシャープなエッジを含む場合には、エッジが周囲ブロックから対象ブロックに繋がっているかどうかを調べることによって、周囲のブロックとの相関性を判定することができ、当該判定結果に基づいて、予測モード候補の数を減らすことができるので、予測モード推定に必要な処理量を削減することができる。また、単純に周囲のブロックの予測モード値から推定するよりも適切な、予測モード推定値を決定することができる。したがって、対象ブロックに対する予測モード値と、予測モード推定値の差分が小さくなるので、符号化効率を高めることができ、符号化歪みを抑制することができる。

また、前記モード情報生成ステップでは、前記推定予測モードと前記選択予測モードとを比較し、前記推定予測モードと前記選択予測モードとが一致する場合には、一致したことを示すフラグを前記モード情報として生成し、前記推定予測モードと前記選択予測モードとが一致しない場合には、前記推定予測モードと前記選択予測モードとの差分を示す差分情報を前記モード情報として生成してもよい。

これにより、予測に用いた予測モードと推定された予測モードとが一致した場合には、一致したことを示すフラグ情報をビットストリームに含めるだけでよいので、符号量を削減することができる。

また、前記複数の予測モード候補は、予め定義された複数の方向予測モードを含み、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジの方向から最も離れた方向の方向予測モードを前記複数の予測モード候補から除外することで、前記複数の予測モード候補の数を減らしてもよい。

これにより、エッジの方向とは離れた方向予測モードを候補から除外することにより、方向予測モードの数を減らすことができるので、予測モード推定に必要な処理量を削減することができる。

また、前記複数の予測モード候補は、前記対象ブロックの周囲に位置する複数の復号ブロックを生成する際に用いた複数の予測モードを含み、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジに基づいて、演算対象である前記複数の復号ブロックの数を減らすことで、前記複数の予測モード候補の数を減らしてもよい。

これにより、例えば、予測モード推定ステップにおいて、複数の周囲ブロックに対して予測モード推定のための演算を行う場合、エッジが検出された周囲ブロックに限定して予測モード推定のための演算を行うことで、演算量を抑制することができる。なお、エッジが検出された周囲ブロックは、対象ブロックとの関連性が強いことが考えられるため、より適切な予測モード推定値を算出することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいてエッジが検出されなかった復号ブロックを演算対象から除外することで前記複数の復号ブロックの数を減らしてもよい。

これにより、エッジが検出されたブロックに演算対象を絞り込むことができるので、予測モード推定に必要な処理量を削減することができる。また、エッジを含む周囲ブロックとの関係が強いことを利用するので、より適切な予測モード推定値を算出することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジの方向の水平成分が垂直成分より大きい場合、前記対象ブロックの左側に位置する復号ブロックに演算対象を限定し、前記エッジ検出ステップにおいて検出されたエッジの方向の垂直成分が水平成分より大きい場合、前記対象ブロックの上側に位置する復号ブロックに演算対象を限定することで、前記複数の復号ブロックの数を減らしてもよい。

なお、本発明は、画像符号化方法及び画像復号方法として実現できるだけではなく、当該画像符号化方法及び画像復号方法に含まれるそれぞれのステップを処理部とする画像符号化装置及び画像復号装置として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

また、上記の画像符号化装置及び画像復号装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。

本発明によれば、処理量の増加を抑制しながら、予測モード推定値をより正確に予測することができるので、符号化歪みを抑制し、かつ、符号化効率を高めることができる。

図１Ａは、従来のＨ．２６４／ＡＶＣ規格に従ったイントラ予測推定が適用される対象ブロックと参照画素との関係の一例を示す図である。 図１Ｂは、従来のＨ．２６４／ＡＶＣ規格に従ったイントラ予測モードセットに含まれる予測方向を示す図である。 図２は、従来のＨ．２６４／ＡＶＣ規格に従った画像符号化装置の構成のうち、推定部の詳細な構成の一例を示す図である。 図３は、従来のＨ．２６４／ＡＶＣ規格に従った画像復号装置の構成のうち、復元部の詳細な構成の一例を示す図である。 図４は、本実施の形態の画像符号化装置の構成の一例を示すブロック図である。 図５は、本実施の形態のハイブリッド符号化を行う画像符号化装置の詳細な構成の一例を示すブロック図である。 図６は、本実施の形態の画像符号化装置が備える推定部の詳細な構成の一例を示すブロック図である。 図７Ａは、エッジを検出し、検出したエッジの方向を推定する方法を示す概略図である。 図７Ｂは、エッジを検出し、検出したエッジの属しているブロックを示す概略図である。 図８は、本実施の形態の画像符号化装置の動作の一例を示すフローチャートである。 図９は、本実施の形態の画像復号装置の構成の一例を示すブロック図である。 図１０は、本実施の形態の画像復号装置の詳細な構成の一例を示すブロック図である。 図１１は、本実施の形態の画像復号装置が備える復元部の詳細な構成の一例を示すブロック図である。 図１２は、本実施の形態の画像復号装置の動作の一例を示すフローチャートである。 図１３は、本実施の形態におけるエッジ検出処理の一例を示すフローチャートである。 図１４は、本実施の形態における予測モードの推定処理の一例を示すフローチャートである。 図１５Ａは、本実施の形態におけるエッジの方向から予測モード候補を限定する方法の一例を示す概略図である。 図１５Ｂは、本実施の形態におけるエッジが検出された位置から予測モード候補を限定する方法の一例を示す概略図である。 図１６は、本実施の形態におけるエッジの角度の算出処理の一例を示すフローチャートである。 図１７は、本実施の形態における予測モードの推定処理の異なる一例を示すフローチャートである。 図１８は、本実施の形態における予測モードの推定処理の異なる一例を示すフローチャートである。 図１９Ａは、本実施の形態におけるエッジが検出された位置から演算対象を限定する方法の一例を示す概略図である。 図１９Ｂは、本実施の形態におけるエッジの方向から演算対象を限定する方法の一例を示す概略図である。 図２０は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。 図２１は、携帯電話の外観を示す図である。 図２２は、携帯電話の構成例を示すブロック図である。 図２３は、デジタル放送用システムの全体構成の一例を示す模式図である。 図２４は、テレビの構成例を示すブロック図である。 図２５は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。 図２６は、光ディスクである記録メディアの構造例を示す図である。 図２７は、各実施の形態に係る画像符号化方法及び画像復号方法を実現する集積回路の構成例を示すブロック図である。

（実施の形態１）
本実施の形態の画像符号化装置は、画像及び映像データを符号化する際に、対象ブロックの周囲に位置する周囲ブロックに含まれるエッジを検出し、検出したエッジに基づいて、複数の予測モード候補の数を減らし、減らされた数の予測モード候補から１つの予測モードを推定予測モードとして決定することを特徴とする。

また、本実施の形態の画像復号装置は、符号化された画像及び映像データを復号する際に、周囲ブロックに含まれるエッジを検出し、検出したエッジに基づいて、複数の予測モード候補の数を減らし、減らされた数の予測モード候補から１つの予測モードを推定予測モードとして決定し、決定した推定予測モードと、符号化器側から送信されるモード情報とに基づいて、予測ブロックの生成に用いる予測モードを復元することを特徴とする。

つまり、本実施の形態では、推定予測モードを決定する際に、エッジに基づいて予測モード候補の数を限定するので、推定予測モードと、実際に予測ブロックを生成する際に選択された選択予測モードとの適合率を高めることができるとともに、予測モード推定に必要な演算量を抑制することができる。

まず、本実施の形態の画像符号化装置の構成について説明する。

図４は、本実施の形態の画像符号化装置１００の構成の一例を示すブロック図である。

画像符号化装置１００は、入力される画像及び映像データをブロック毎に符号化する。図４に示すように、画像符号化装置１００は、符号化部１１０と、復号部１２０と、出力部１３０と、推定部１４０とを備える。

符号化部１１０は、画像及び映像データを構成する複数のブロックの１つである対象ブロックを、複数の予測モード候補から選択された選択予測モードを用いた予測に従って符号化する。

複数の予測モード候補は、予測を行う際に選択されうる全ての予測モードであり、例えば、予め定義された８つの方向予測モード（図１Ｂ参照）、参照画素の平均値を利用するＤＣ予測モード、周囲ブロック内に検出されたエッジの方向を示すエッジ予測モードなどを含んでいる。予測モードとは、予測画像を参照するための画像の参照先を示す情報である。

復号部１２０は、符号化部１１０によって符号化された対象ブロックを復号することで、復号ブロックを生成する。

出力部１３０は、符号化部１１０によって用いられた選択予測モードを復元するためのモード情報を、符号化部１１０によって符号化された対象ブロックとともに、ビットストリームとして出力する。

推定部１４０は、複数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する。図４に示すように、推定部１４０は、エッジベクトル判定部１４１と、候補限定部１４２と、予測モード推定部１４３と、モード情報生成部１４４とを備える。

エッジベクトル判定部１４１は、本発明に係るエッジ検出部の一例であって、対象ブロックの符号化処理より前に符号化及び復号されることで生成された復号ブロック内のエッジを検出する。例えば、エッジベクトル判定部１４１は、対象ブロックの周囲に位置する復号ブロックである周囲ブロック内のエッジを検出する。

候補限定部１４２は、エッジベクトル判定部１４１によって検出されたエッジに基づいて、複数の予測モード候補の数を減らす。例えば、候補限定部１４２は、検出されたエッジの方向、又は、検出されたエッジの画素位置に基づいて、複数の予測モード候補の数を減らす。

また、例えば、複数の予測モード候補が、周囲ブロックを生成する際に用いた複数の予測モードを含んでいる場合、すなわち、予測モード推定部１４３が、周囲ブロックの予測モードを予測モード候補として、推定予測モードを決定する場合、候補限定部１４２は、検出されたエッジに基づいて、演算対象である複数の周囲ブロックの数を減らすことで、複数の予測モード候補の数を減らしてもよい。

予測モード推定部１４３は、候補限定部１４２によって減らされた数の予測モード候補から、推定予測モードを決定する。

モード情報生成部１４４は、予測モード推定部１４３によって決定された推定予測モードと、符号化部１１０によって選択された選択予測モードとに基づいてモード情報を生成する。

以上の構成により、本実施の形態の画像符号化装置１００は、周囲ブロック内に検出されるエッジに基づいて、複数の予測モード候補の数を少なくし、少なくなった数の予測モード候補（限定予測モード候補）の中から対象ブロックの推定予測モードを決定することを特徴とする。すなわち、本実施の形態の画像符号化装置１００は、候補の絞り込みと絞り込まれた候補からの推定値の決定との２段階の処理で、推定予測モードを決定することを特徴とする。

一例としては、予測モード候補が、８個の方向予測モードとＤＣ予測モードとエッジ予測モードとの計１０個である場合において、画像符号化装置１００は、１０個の予測モード候補を、検出されたエッジの方向に近い２個の方向予測モードとエッジ予測モードとの計３個の予測モード候補に限定する。そして、画像符号化装置１００は、限定された３個の予測モード候補の中から推定予測モード候補を決定する。

以下では、本実施の形態の画像符号化装置１００が備える各処理部の詳細な構成及び動作について説明する。

図５は、本実施の形態の画像符号化装置１００の詳細な構成の一例を示すブロック図である。画像符号化装置１００は、ハイブリッド符号化を行う画像符号化装置である。

図５に示すように、画像符号化装置１００は、符号化部１１０と、復号部１２０と、出力部１３０と、推定部１４０と、フレームメモリ１５０と、参照ピクチャメモリ１６０と、制御部１７０とを備える。なお、図４と同じ構成については、同じ参照符号を付している。

また、図５に示すように、符号化部１１０は、減算部１１１と、周波数変換部１１２と、量子化部１１３と、イントラ予測モード決定部１１４と、動き検出部１１５と、イントラ予測部１１６と、動き補償部１１７と、スイッチ１１８及び１１９とを備える。復号部１２０は、逆量子化部１２１と、逆周波数変換部１２２と、加算部１２３とを備える。出力部１３０は、可変長符号化部１３１を備える。

なお、推定部１４０の詳細な構成については、図６を用いて後で説明する。

以下では、画像符号化装置１００が複数のフレームから構成される入力映像データを符号化するときの動作に沿って、各処理部の処理について説明する。

入力映像データの各ピクチャは、フレームメモリ１５０に格納される。各ピクチャは、複数のブロックに分割され、フレームメモリ１５０からブロック単位で（例えば、水平１６画素、垂直１６画素のマクロブロック単位で）出力される。なお、入力映像データは、プログレッシブ形式及びインターレース形式のいずれでもよい。

各マクロブロックは、イントラ又はインター予測モードのいずれかで符号化される。まず、対象マクロブロックがイントラ予測モードで符号化される場合について説明する。

イントラ予測モード（イントラフレーム予測）の場合、フレームメモリ１５０から出力されたマクロブロックは、イントラ予測モード決定部１１４に入力される（このとき、スイッチ１１８は、制御部１７０によって端子“ａ”に接続される）。イントラ予測モード決定部１１４は、入力されたマクロブロックにどのようにイントラ予測を実行するかを決定する。

具体的には、イントラ予測モード決定部１１４は、イントラ予測モード（ＩＰＭ：Ｉｎｔｒａ−Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅ）として、イントラ予測ブロックサイズ（以下のサイズの１つ：水平４画素×垂直４画素、水平８画素×垂直８画素、水平１６画素×垂直１６画素）と、イントラ予測方向とを決定する必要がある。例えば、イントラ予測モード決定部１１４は、対象ブロックを符号化することで発生する符号量が所定の閾値より小さくなるような、イントラ予測ブロックサイズ及びイントラ予測方向を決定する。より好ましくは、イントラ予測モード決定部１１４は、発生する符号量が最も小さくなるような、イントラ予測ブロックサイズ及びイントラ予測方向を決定する。

例えば、図１Ａに示す対象ブロック１０（水平４画素×垂直４画素）は、参照画素２０を用いて、８つの予め定義されたイントラ予測方向のいずれか１つに従って、予測されてもよい。ここで、イントラ予測に用いられる参照画素２０（図１Ａで対角方向の網掛けされた四角）は、既に符号化及び復号され、参照ピクチャメモリ１６０に格納されている。決定されたイントラ予測モードＩＰＭを示す情報は、イントラ予測部１１６と推定部１４０とに出力される。

イントラ予測部１１６は、イントラ予測モード決定部１１４によって決定されたイントラ予測モードＩＰＭに基づいて、参照ピクチャメモリ１６０からイントラ予測に用いられる参照画素（イントラ参照画素）を取得する。そして、イントラ予測部１１６は、参照画素の画素値からイントラ予測された画像ＩＰを生成し、生成したイントラ予測画像ＩＰを減算部１１１に出力する（このとき、スイッチ１１９は、制御部１７０によって端子“ａ”に接続される）。

減算部１１１は、フレームメモリ１５０から入力映像データに含まれるピクチャのマクロブロック（対象マクロブロック）と、イントラ予測部１１６によって生成されたイントラ予測画像ＩＰとを受け取る。そして、減算部１１１は、対象マクロブロックとイントラ予測画像ＩＰとの差分（予測残差とも記載）を算出することで差分画像を生成し、生成した差分画像を周波数変換部１１２に出力する。

周波数変換部１１２は、減算部１１１によって生成された差分画像に、離散コサイン変換などの周波数変換を実行することで周波数変換係数を生成し、生成した周波数変換係数を出力する。

量子化部１１３は、周波数変換部１１２によって生成された周波数変換係数の量子化を行い、量子化された周波数変換係数ＱＴを出力する。ここで、量子化は、予め定められた値（量子化ステップ）によって周波数変換係数を割り算する処理である。この量子化ステップは、制御部１７０によって与えられるとする（量子化ステップは、制御部１７０に入力される制御信号ＣＴＬに含まれてもよい）。量子化周波数変換係数ＱＴは、可変長符号化部１３１と逆量子化部１２１とに出力される。

逆量子化部１２１は、量子化周波数変換係数ＱＴを逆量子化し、逆量子化した周波数変換係数を逆周波数変換部１２２に出力する。このとき、量子化部１１３による量子化時に用いられた量子化ステップと同じ量子化ステップが、制御部１７０から逆量子化部１２１に入力される。

逆周波数変換部１２２は、逆量子化された周波数変換係数を逆周波数変換することで復号された差分画像ＬＤＤを生成する。逆周波数変換部１２２は、生成した復号差分画像ＬＤＤを加算部１２３に出力する。

加算部１２３は、復号差分画像ＬＤＤをイントラ予測画像ＩＰ（又は、インター予測モードの場合は、後述するインター予測画像）ＭＰに加算することで、復号画像ＬＤを生成する。加算部１２３は、生成した復号画像ＬＤを参照ピクチャメモリ１６０に格納する。参照ピクチャメモリ１６０に格納された復号画像ＬＤは、参照画像として後の符号化に用いられる。

可変長符号化部１３１は、量子化部１１３から入力される量子化周波数変換係数ＱＴに可変長符号化を実行し、かつ、イントラ予測モード決定部１１４から推定部１４０を介して入力されるイントラ予測モードＩＰＭを示す情報を同様に処理し、符号化シーケンスとしても参照されるビットストリームを出力する。前述の通り、推定部１４０の詳細な構成については、図６を用いて後で説明する。

ここで、可変長符号化部１３１が用いる可変長符号化方法の１つの方法として、動画像を符号化する国際規格Ｈ．２６４で採用されるコンテキスト適応型算術符号化方法がある。コンテキスト適応型算術符号化方法は、可変長符号化の対象データと、既に可変長符号化（コンテキスト適応型）が実行されたデータとに従って、算術符号化するために用いられる確率テーブルを切り替える方法である。この場合、可変長符号化部１３１は確率テーブルを保持するメモリを備える。

なお、可変長符号化部１３１は、コンテキスト適応型可変長符号化方法を用いて、量子化周波数変換係数ＱＴを可変長符号化してもよい。

次に、対象マクロブロックがインター予測モードで符号化される場合について説明する。

インター予測モード（インターフレーム予測）の場合、フレームメモリ１５０から出力されるマクロブロックは、動き検出部１１５に入力される（このとき、スイッチ１１８は、制御部１７０によって端子“ｂ”に接続される）。動き検出部１１５は、入力されたマクロブロックの、参照ピクチャ（参照ピクチャメモリ１６０に保持された再構成されたピクチャで、符号化されるピクチャとは異なるピクチャ）に対する動き情報（位置情報（動きベクトル））を検出する。

なお、動き検出では、以下に示す位置情報（動きベクトル）が一般的には動き情報として検出される。すなわち、符号化される対象ブロックと予測画像との最小差分値と、位置情報（動きベクトル）の符号量の重みの最小和とを有する位置情報（動きベクトル）である。検出された位置情報（動きベクトル）は、対象ブロックに対する動き情報として、動き補償部１１７と推定部１４０とに出力される。

動き補償部１１７は、動き検出部１１５によって検出された動き（位置情報（動きベクトル））に基づいて、インター予測に用いられる参照画素（インター参照画素）を参照ピクチャメモリ１６０から取得する。そして、動き補償部１１７は、インター予測画像ＭＰを生成し、生成したインター予測画像ＭＰを減算部１１１に出力する（このとき、スイッチ１１９は、制御部１７０によって端子“ｂ”に接続される）。

減算部１１１と、周波数変換部１１２と、量子化部１１３と、逆量子化部１２１と、逆周波数変換部１２２と、加算部１２３とによって実行される処理は、イントラ予測の場合に説明した処理と同じである。それゆえに、これらの処理についての説明はここでは省略する。

可変長符号化部１３１は、量子化部１１３から入力される量子化周波数変換係数ＱＴに可変長符号化を実行し、かつ、推定部１４０から出力される符号化モードＭＤを示す情報とイントラ予測モードＩＰＭ又は動き情報（位置情報（動きベクトル））ＭＶを示す情報とを含むモード情報とに可変長符号化を実行し、ビットストリームを出力する。前述の通り、推定部１４０の詳細な構成については、図６を用いて後で説明する。

ここで、可変長符号化部１３１が、コンテキスト適応型算術符号化を用いて動き情報（位置情報（動きベクトル））ＭＶを符号化する場合、可変長符号化部１３１は確率テーブルを保持するメモリを備える。

モード情報は、映像データを符号化する処理において符号化器（画像符号化装置１００）側で実行された予測を復号器（例えば、後述する画像復号装置３００（図９参照））側で再現するために、復号器によって必要とされる情報のフルセットを含む。それゆえに、モード情報は、マクロブロック毎に符号化モード、すなわち、イントラ及びインター予測のいずれが適用されたかを定義する。さらに、モード情報は、マクロブロックがどのようにサブ分割されたかについての情報を含む。Ｈ．２６４／ＡＶＣによると、１６×１６画素からなるマクロブロックは、例えば、イントラ予測の場合に、さらに、８×８又は４×４画素のブロックにサブ分割されてもよい。

符号化モードに依存して、モード情報は、さらに、動き補償に用いられる位置情報（位置情報（動きベクトル））のセット、又は、対象ブロックをイントラ予測するのに適用されたイントラ予測モードを特定する情報を含んでいる。

なお、符号化モード（イントラ予測モード又はインター予測モード）の選択は、制御部１７０が行っている。

例えば、制御部１７０は、イントラ予測モードＩＰＭと復号画像ＬＤとに基づいて生成されるインター予測画像ＩＰ、又は、位置情報（動きベクトル）ＭＶと復号画像ＬＤとに基づいて生成されるインター予測画像ＭＰと、対象ブロック画像ＩＭＧとをそれぞれ比較することで、符号化モードを選択する。制御部１７０は、一般的に、生成されるビット量と符号化歪みとの重み和が最も小さくなる値を有する符号化モードを選択する。

例えば、制御部１７０は、Ｈ．２６４規格のビットレートと符号化歪みとを用いたコスト関数が、対象ブロックを符号化するための最良の予測モードを決定するために用いてもよい。それぞれの予測モードに対して、差分画像が、直交変換され、量子化され、可変長符号化される。そして、それぞれの予測モードに対して、ビットレートと符号化歪みとが計算される。なお、コスト関数として、例えば、（式１）で示されるラグランジュコスト関数Ｊが用いられる。

（式１）において、Ｒは、差分画像（予測残差とも記載）と予測モード情報とを符号化するのに用いられるビットレートであり、Ｄは、符号化歪みであり、λは、符号化するのに選択される量子化パラメータＱＰに応じて算出されるラグランジュ乗数である。制御部１７０は、コスト関数Ｊが最も低くなる予測モードを、対象ブロックを予測する際の予測モードとして選択する。

なお、制御部１７０は、最適な予測モードを選択するためにコスト関数Ｊを一時的に格納するメモリを備える。

図６は、本実施の形態の推定部１４０の詳細な構成の一例を示す図である。同図に示すように、推定部１４０は、エッジベクトル判定部１４１と、候補限定部１４２と、予測モード推定部１４３と、モード情報生成部１４４とを備える。なお、図４と同じ構成については、同じ参照符号を付している。

また、図６に示すように、エッジベクトル判定部１４１は、エッジ検出部２０１と、方向判定部２０２と、ノルム判定部２０３と、エッジベクトル格納メモリ２０４とを備える。候補限定部１４２は、予測モード格納メモリ２１１と、予測モード候補限定部２１２と、予測モード候補取得部２１３とを備える。モード情報生成部１４４は、減算部２２１と、信号設定部２２２とを備える。

なお、推定部１４０には、制御部１７０によって選択された符号化モード（イントラ予測モード又はインター予測モード）を示す符号化モード情報ＳＭＤが入力される。例えば、イントラピクチャ予測符号化が符号化モードとして選択された場合、符号化モード情報ＳＭＤは、イントラ予測モードＩＰＭを示す情報（イントラ予測ブロックサイズ、イントラ予測方向など）である。一方で、インターピクチャ予測符号化が符号化モードとして選択された場合、符号化モード情報ＳＭＤは、位置情報（動きベクトル）ＭＶである。

予測モード格納メモリ２１１は、入力された符号化モード情報ＳＭＤを格納するメモリである。予測モード候補取得部２１３は、予測モード格納メモリ２１１から、既に符号化された符号化モード情報の中から、予め決められた手段で複数の予測モード推定値候補を取得する。

このとき、予測モード候補取得部２１３は、予測モード候補限定部２１２から入力される限定情報に従って、予測モード推定値候補の取得を制限される。予測モード候補限定部２１２は、エッジベクトル判定部１４１によるエッジ検出処理の結果に基づいて、予測モード候補の数、又は、演算範囲を限定する限定情報を生成し、予測モード候補取得部２１３に出力する。予測モード候補取得部２１３は、限定された数の予測モード推定値候補を予測モード格納メモリ２１１から取得する。

予測モード推定部１４３は、限定された数の予測モード推定値候補の中から、エッジベクトル判定部１４１から出力されるエッジベクトル情報に基づいて予測モード推定値ＭＰＭを決定し、決定した予測モード推定値ＭＰＭを出力する。なお、エッジベクトル判定部１４１の詳細な構成と、予測モード推定部１４３の動作とについては後で詳しく説明する。

減算部２２１は、符号化の対象ブロックの符号化モード情報ＳＭＤから、各情報に対応する予測モード推定値ＭＰＭを減算した信号である差分予測モード値ＤＭＤを出力する。信号設定部２２２は、差分予測モード値ＤＭＤが０となる場合は、予測モード推定値と同じであることを示すフラグを符号化予測モード関連信号ＳＳＭＤにセットして出力する。また、差分予測モード値ＤＭＤが０ではない場合には、差分予測モード値ＤＭＤを示す情報を符号化予測モード関連信号ＳＳＭＤとして出力する。

このように、モード情報生成部１４４は、モード情報の一例である符号化予測モード関連信号ＳＳＭＤを生成する。以上に示すように、モード情報生成部１４４は、推定予測モード（予測モード推定値ＭＰＭ）と選択予測モード（符号化モード情報ＳＭＤ）とを比較し、推定予測モードと選択予測モードとが一致する場合には、一致したことを示すフラグをモード情報として生成し、推定予測モードと選択予測モードとが一致しない場合には、推定予測モードと選択予測モードとの差分を示す差分情報（差分予測モード値ＤＭＤ）をモード情報として生成する。

可変長符号化部１３１は、符号化予測モード関連信号ＳＳＭＤをエントロピー符号化し、ビットストリームとして出力する。

続いて、エッジベクトル判定部１４１の詳細な構成について説明する。

エッジ検出部２０１は、復号画像ＬＤを参照ピクチャメモリ１６０から読み出し、読み出した画像に含まれるエッジを検出する。例えば、エッジ検出部２０１は、参照画像の勾配ベクトル場を算出し、エッジの最大値を与える勾配のノルムを評価することによって検出する。エッジの方向は、対応する勾配の方向に直交するベクトルの方向である。

なお、エッジ検出処理に用いられる参照画像は、対象ブロックに直接隣接するブロックに属する画素のうち、既に符号化及び復号されているブロックに含まれる画素である。勾配値は、（式２）に示す垂直及び水平ソーベル演算子を用いて近接画素で算出される。

エッジ検出部２０１は、画素毎に、垂直ソーベル演算子及び水平ソーベル演算子を用いることで、対応する画素の垂直方向及び水平方向の勾配の大きさ（勾配値）をそれぞれ算出する。算出した垂直方向及び水平方向の勾配値のベクトル合成などを行うことで、画素毎に勾配の方向が決定される。

図７Ａは、エッジを検出し、検出したエッジの方向を推定する方法を示す概略図である。

左斜め下方向に網掛けされた領域は、勾配を計算するために考慮される周囲ブロック５０の画素位置を示す。エッジ検出部２０１は、図７Ａの左斜め下方向に網掛けされた画素のそれぞれに対して、（式２）を用いて勾配値を算出する。そして、エッジ検出部２０１は、算出した勾配値に基づいて勾配の方向を算出し、勾配の方向に直交する方向をエッジの方向として決定する。このとき、勾配の方向に直交する方向のベクトルをエッジベクトルと記載する。なお、エッジベクトルのノルムは、例えば、当該エッジベクトルが検出された画素の勾配ベクトルのノルムと同じである。

また、図７Ｂは、エッジの属するブロックを示す概略図である。

例えば、エッジ検出窓７０で表される範囲の画素に対してエッジ検出を行った結果は、エッジ６２の画素位置のエッジとして扱う。すなわち、この場合、エッジ６２の属するブロックは、４×４画素のブロックで表される周囲ブロック８０となる。

図６に戻ると、方向判定部２０２は、エッジ検出部２０１によって検出されたエッジの方向が、予測モード推定の対象ブロックを指しているか否かを判定する。例えば、図７Ａに示すエッジ６０が検出された場合、エッジ６０の延長線が対象ブロック１０に含まれるので、方向判定部２０２は、エッジ６０は予測モード推定の対象ブロック１０を指していると判定する。一方で、図７Ａに示すエッジ６１が検出された場合、エッジ６１の延長線は対象ブロック１０に含まれないので、方向判定部２０２は、エッジ６１は予測モード推定の対象ブロック１０を指していないと判定する。

ノルム判定部２０３は、方向判定部２０２によって予測モード推定の対象ブロックを指していると判定されたエッジのノルムを算出し、算出したノルムが予め定められた閾値より大きいか否かを判定する。エッジのノルムとは、エッジベクトル又は勾配ベクトルのノルムである。ノルム判定部２０３は、算出したノルムが閾値より大きい場合に、エッジは検出されたと判定する。また、ノルム判定部２０３は、算出したノルムが閾値以下の場合に、エッジは検出されなかったと判定する。なお、このときに用いられる閾値は、例えば、異なる最大ベクトルノルムと、シャープなエッジ及び滑らかな領域の両方を含む異なるシーケンスとの違いの比較に基づいて、経験的に選択される。

エッジベクトル格納メモリ２０４は、ノルム判定部２０３によってエッジと判定されたエッジの位置情報とエッジベクトルとを格納するメモリである。予測モード候補限定部２１２は、エッジベクトル格納メモリ２０４に格納されたエッジベクトルに基づいて、複数の予測モード候補の数を減らす。また、予測モード推定部１４３は、エッジが検出されたか否かに応じて、予測モード候補取得部２１３から得られる、限定された数の予測モード推定値候補からの予測モード推定値を決定する。

ここで、予測モード推定部１４３が、エッジベクトル判定部１４１によって検出されたエッジに基づいて、限定された数の予測モード候補の中から予測モード推定値を決定する処理について説明する。

具体的には、エッジベクトルのノルムが閾値以下の場合、すなわち、エッジが検出されない場合には、予測モード推定部１４３は、予測モード候補取得部２１３から出力される、限定された数の予測モード候補から、従来と同様に予め決められた方法で決定する。予め決められた方法とは、イントラ予測モード推定値に対しては、Ｈ．２６４映像符号化規格で決められる、周囲ブロックの予測モードのうち小さい符号化モード番号を有するモードの番号を予測モード推定値ＭＰＭとして決定する。一方、インター符号化モードにおける位置情報予測値に対しては、Ｈ．２６４映像符号化規格で決められる、周囲ブロックの位置情報に対して、メディアンを掛けた値を予測モード推定値ＭＰＭとして決定する。

エッジベクトル（又は、勾配ベクトル）のノルムが閾値より大きい場合、すなわち、エッジが検出された場合、予測モード推定部１４３は、イントラ予測モード推定値に対して、予測モード候補取得部２１３から出力される、限定された数の予測モード候補から、最大のノルムを有するエッジに属する周囲ブロックの予測モードの番号を予測モード推定値ＭＰＭとして決定する。インター符号化モードにおける位置情報推定値に対しては、同様に最大のノルムを有するエッジに属する周囲ブロックの位置情報値を予測モード推定値ＭＰＭとして決定する。

なお、予測モード推定部１４３は、エッジ以外の情報に基づいて予測モード推定値ＭＰＭを決定してもよい。例えば、エッジの有無に関わらず、予測モード推定部１４３は、従来のように、周囲ブロックの予測モードのうち小さい符号化モード番号を有するモードの番号を予測モード推定値ＭＰＭとして決定してもよい。

続いて、本実施の形態の画像符号化装置１００の動作について説明する。

図８は、本実施の形態の画像符号化装置１００の動作の一例を示すフローチャートである。

まず、符号化部１１０は、複数の予測モード候補から選択された選択予測モードを用いた予測に従って、対象ブロックを符号化する（Ｓ１０１）。具体的には、符号化部１１０は、選択予測モードを用いて予測ブロックを生成し、生成した予測ブロックと対象ブロックとの差分（予測誤差）を変換及び量子化する。

次に、復号部１２０は、符号化された対象ブロックを復号することで、復号ブロックを生成する（Ｓ１０２）。具体的には、復号部１２０は、変換及び量子化された予測誤差を逆量子化及び逆変換することで、復号差分ブロックを生成し、生成した復号差分ブロックと上記予測ブロックとを加算することで、復号ブロックを生成する。生成された復号ブロックは、参照ピクチャメモリ１６０に格納される。

次に、エッジベクトル判定部１４１は、エッジ検出処理を実行する（Ｓ１０３）。具体的には、エッジベクトル判定部１４１は、対象ブロックの周囲に位置する、前に生成された復号ブロックに含まれるエッジを検出する。エッジ検出処理の具体的な動作については、後で説明する。

エッジ検出処理によってエッジが検出された場合（Ｓ１０４でＹｅｓ）、候補限定部１４２は、検出されたエッジに基づいて、複数の予測モード候補の数を減らす（Ｓ１０５）。例えば、候補限定部１４２は、検出されたエッジの角度（すなわち、方向）、又は、エッジが検出された画素位置に基づいて、複数の予測モード候補の数を減らす。

そして、予測モード推定部１４３は、減らされた数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する（Ｓ１０６）。なお、エッジ検出処理によってエッジが検出されなかった場合（Ｓ１０４でＮｏ）、予測モード推定部１４３は、全ての数の予測モード候補の中から推定予測モードを決定する。

次に、モード情報生成部１４４は、決定された推定予測モードと選択予測モードとに基づいて、選択予測モードを復元するためのモード情報を生成する（Ｓ１０７）。

最後に、出力部１３０は、モード情報と符号化された対象ブロックとを、ビットストリームとして出力する（Ｓ１０８）。例えば、出力部１３０が備える可変長符号化部１３１は、変換及び量子化された予測誤差と、モード情報とをエントロピー符号化する。

以上のように、本実施の形態の画像符号化装置１００は、対象ブロックの推定値を決定する際に、エッジ検出の結果に従って予測モード候補の数を限定し、限定した数の予測モード候補の中から推定値を決定する。そして、決定した推定値と、対象ブロックの予測ブロックを生成する際に用いられた予測モードを示す値との差分を算出することによって、実際に符号化する値を決定する。

次に、本実施の形態の画像復号装置３００の構成について説明する。

図９は、本実施の形態の画像復号装置３００の構成の一例を示すブロック図である。

画像復号装置３００は、予測モードを用いた予測に従って画像データをブロック毎に符号化することで生成された符号化画像データを復号する。図９に示すように、画像復号装置３００は、復号部３１０と、復元部３２０とを備える。

復号部３１０は、復元部３２０によって復元された選択予測モードを用いた予測に従って、符号化画像データを構成する複数のブロックの１つである対象ブロックを復号することで、復号ブロックを生成する。生成された復号ブロックは、画像及び映像データとして出力される。なお、複数の予測モード候補は、符号化器側と同様に、予測を行う際に選択されうる全ての予測モードであり、例えば、８個の方向予測モード、ＤＣ予測モード及びエッジ予測モードなどを含んでいる。

復元部３２０は、符号化時に選択された予測モードを復元するためのモード情報に基づいて、複数の予測モード候補から選択予測モードを復元する。なお、モード情報は、符号化時に実行された予測モードの推定結果を示す情報である。図９に示すように、復元部３２０は、エッジベクトル判定部３２１と、候補限定部３２２と、予測モード推定部３２３と、予測モード復元部３２４とを備える。

エッジベクトル判定部３２１は、本発明に係るエッジ検出部の一例であって、対象ブロックの復号処理より前に復号されることで生成された復号ブロック内のエッジを検出する。例えば、エッジベクトル判定部３２１は、対象ブロックの周囲に位置する復号ブロックである周囲ブロック内のエッジを検出する。

候補限定部３２２は、エッジベクトル判定部３２１によって検出されたエッジに基づいて、複数の予測モード候補の数を減らす。例えば、候補限定部３２２は、検出されたエッジの方向、又は、検出されたエッジの画素位置に基づいて、複数の予測モード候補の数を減らす。

また、例えば、複数の予測モード候補が、周囲ブロックを生成する際に用いた複数の予測モードを含んでいる場合、すなわち、予測モード推定部３２３が、周囲ブロックの予測モードを予測モード候補として、推定予測モードを決定する場合、候補限定部３２２は、検出されたエッジに基づいて、演算対象である複数の周囲ブロックの数を減らすことで、複数の予測モード候補の数を減らしてもよい。

予測モード推定部３２３は、候補限定部３２２によって減らされた数の予測モード候補から、推定予測モードを決定する。

予測モード復元部３２４は、推定予測モードとモード情報とに基づいて選択予測モードを復元する。

以上の構成により、本実施の形態の画像復号装置３００は、周囲ブロック内に検出されるエッジに基づいて、複数の予測モード候補の数を少なくし、少なくなった数の予測モード候補（限定予測モード候補）の中から対象ブロックの推定予測モード候補を決定することを特徴とする。すなわち、本実施の形態の画像復号装置３００は、候補の絞り込みと絞り込まれた候補からの推定値の決定との２段階の処理で、推定予測モードを決定することを特徴とする。

以下では、本実施の形態の画像復号装置３００が備える各処理部の詳細な構成及び動作について説明する。

図１０は、本実施の形態の画像復号装置３００の詳細な構成の一例を示すブロック図である。同図に示すように、画像復号装置３００は、復号部３１０と、復元部３２０と、可変長復号部３３０と、制御部３４０とを備える。

また、図１０に示すように、復号部３１０は、逆量子化部３１１と、逆周波数変換部３１２と、加算部３１３と、フレームメモリ３１４と、スイッチ３１５と、イントラ予測部３１６と、動き補償部３１７と、スイッチ３１８とを備える。なお、復元部３２０の詳細な構成については、図１１を用いて後で説明する。

以下では、画像復号装置３００が、ビットストリーム（符号化された映像データ）を復号するときの動作に沿って、各処理部の処理について説明する。本実施の形態の画像復号装置３００は、予測残差を含む符号化映像データをブロック毎にイントラ又はインターフレーム予測符号化ブロックのいずれかとして復号し、映像データ又は画像データとして出力する。

可変長復号部３３０は、ビットストリームを予め決められた手段に基づき可変長復号し、量子化周波数変換係数ＱＴと、符号化予測モード関連信号ＳＳＭＤとを出力する。復元部３２０は、符号化予測モード関連信号ＳＳＭＤと既に復号された画像信号ＬＤとが入力され、符号化モードＭＤと、イントラ予測モードＩＰＭ又は位置情報（動きベクトル）ＭＶとを示す情報を出力する。なお、前述の通り、復元部３２０の詳細な構成については、図１１を用いて後で説明する。

符号化モードＭＤは、制御部３４０に入力され、イントラ予測モードＩＰＭ又は位置情報（動きベクトル）ＭＶを示す情報は、スイッチ３１５に入力され、量子化周波数変換係数ＱＴは、逆量子化部３１１に入力される。

制御部３４０は、符号化モードＭＤに基づいてスイッチ３１５及び３１８を制御する。符号化モードＭＤがイントラ予測符号化を示す場合、スイッチ３１５は、端子“ａ”に接続され、イントラ予測モードＩＰＭを示す情報がイントラ予測部３１６に入力される。符号化モードＭＤがインター予測符号化を示す場合、スイッチ３１５は、端子“ｂ”に接続され、位置情報（動きベクトル）ＭＶが動き補償部３１７に入力される。

対象ブロックがイントラ予測符号化ブロックの場合、スイッチ３１５及び３１８は、端子“ａ”に接続される。そして、イントラ予測モードＩＰＭを示す情報は、イントラ予測部３１６に入力され、量子化周波数変換係数ＱＴは、逆量子化部３１１に入力される。なお、量子化周波数変換係数ＱＴが、符号化器（例えば、画像符号化装置１００）によって符号化された予測誤差に相当する。

イントラ予測部３１６は、入力されたイントラ予測モードに基づいて、イントラ予測参照画素をフレームメモリ３１４から取得し、イントラ予測された画像（予測ブロック）を生成し、加算部３１３にイントラ予測画像を出力する。

逆量子化部３１１は、量子化周波数変換係数ＱＴを逆量子化し、逆量子化した周波数変換係数を逆周波数変換部３１２に出力する。そして、逆周波数変換部３１２は、逆量子化された周波数変換係数を逆周波数変換することで、復号された差分画像ＬＤＤを生成する。逆周波数変換部３１２は、生成した復号差分画像ＬＤＤを加算部３１３に出力する。

加算部３１３は、復号差分画像ＬＤＤとイントラ予測画像ＩＰとを加算することで、復号画像ＬＤを生成する。生成した復号画像ＬＤは、フレームメモリ３１４に格納される。なお、フレームメモリ３１４に格納された復号画像は、後の復号で参照ピクチャとして用いられる。また、復号画像は、復号映像データを成すように出力される。

対象ブロックがインター予測ブロックの場合、スイッチ３１５及び３１６は、端子“ｂ”に接続される。そして、位置情報（動きベクトル）ＭＶを示す情報が動き補償部３１７に入力され、量子化周波数変換係数ＱＴが逆量子化部３１１に入力される。

動き補償部３１７は、入力された位置情報（動きベクトル）ＭＶに基づいて、参照画素をフレームメモリ３１４から取得し、予測されたピクチャを生成し、加算部３１３に予測ピクチャを出力する。

逆量子化部３１１、逆周波数変換部３１２及び加算部３１３の処理は、イントラ予測ブロックの場合に説明した処理と同じである。復号画像ＬＤは、フレームメモリ３１４に格納される。フレームメモリ３１４に格納された復号画像は、後の復号で参照ピクチャとして用いられる。また、復号画像は、復号映像データを成すように出力される。

続いて、本実施の形態の復元部３２０の詳細な構成について図１１を用いて説明する。

図１１は、本実施の形態の復元部３２０の詳細な構成の一例を示す図である。同図及び図９に示すように、復元部３２０は、エッジベクトル判定部３２１と、候補限定部３２２と、予測モード推定部３２３と、予測モード復元部３２４とを備える。

また、エッジベクトル判定部３２１は、エッジ検出部４０１と、方向判定部４０２と、ノルム判定部４０３と、エッジベクトル格納メモリ４０４とを備える。また、候補限定部３２２は、予測モード格納メモリ４１１と、予測モード候補限定部４１２と、予測モード候補取得部４１３とを備える。また、予測モード復元部３２４は、信号判定部４２１と、加算部４２２とを備える。

復元部３２０は、符号化予測モード関連信号ＳＳＭＤと、既に復号された画像信号ＬＤとが入力され、符号化モードＭＤと、イントラ予測モードＩＰＭ又は位置情報（動きベクトル）ＭＶとを示す情報を符号化モード情報ＳＭＤとして出力する。

具体的には、信号判定部４２１は、入力された符号化予測モード関連信号ＳＳＭＤが予測モード推定値と同じであることを示すフラグであれば、差分予測モード値ＤＭＤを０として出力する。また、それ以外の場合には、符号化予測モード関連信号ＳＳＭＤに含まれる差分予測モード値ＤＭＤを出力する。

予測モード格納メモリ４１１は、入力された符号化モードＭＤと、イントラ予測モードＩＰＭを示す情報（イントラ予測ブロックサイズ、イントラ予測方向など）又は位置情報（動きベクトル）ＭＶとを格納するメモリである。予測モード候補取得部４１３は、予測モード格納メモリ４１１から、既に復号された符号化モードＭＤと、イントラ予測モードＩＰＭを示す情報又は位置情報（動きベクトル）ＭＶとの中から、予め決められた手段で複数の予測モード推定値候補を取得する。

このとき、予測モード候補取得部４１３は、予測モード候補限定部４１２から入力される限定情報に従って、予測モード推定値候補の取得を制限される。予測モード候補限定部４１２は、エッジベクトル判定部３２１によるエッジ検出処理の結果に基づいて、予測モード候補の数、又は、演算範囲を限定する限定情報を生成し、予測モード候補取得部４１３に出力する。予測モード候補取得部４１３は、限定された数の予測モード推定値候補を予測モード格納メモリ４１１から取得する。

予測モード推定部３２３は、限定された数の予測モード推定値候補の中から、エッジベクトル判定部３２１から出力されるエッジベクトル情報に基づいて、予測モード推定値ＭＰＭを決定し、決定した予測モード推定値ＭＰＭを出力する。加算部４２２は、差分予測モード値ＤＭＤと予測モード推定値ＭＰＭとを加算した結果を、符号化モード情報ＳＭＤとして出力する。

このように、予測モード復元部３２４は、モード情報の一例である符号化予測モード関連信号ＳＳＭＤがフラグ情報である場合、推定予測モード（予測モード推定値ＭＰＭ）を選択予測モード（符号化モード情報ＳＭＤ）として決定し、推定予測モードと選択予測モードとの差分を示す差分情報（差分予測モード値ＤＭＤ）である場合、差分と推定予測モードとを加算することで選択予測モードを復元する。

なお、エッジベクトル判定部３２１の詳細な構成と、予測モード推定部３２３の動作については後で詳しく説明する。

エッジベクトル判定部３２１は、上述のように、エッジ検出部４０１と、方向判定部４０２と、ノルム判定部４０３と、エッジベクトル格納メモリ４０４とを備える。

エッジ検出部４０１は、既に復号された画像信号ＬＤを読み出し、読み出した画像に含まれるエッジを検出する。具体的なエッジ検出処理は、エッジ検出部２０１と同様である。

方向判定部４０２は、エッジ検出部４０１によって検出されたエッジの方向が、予測モード推定の対象のブロックを指しているか否かを判定する。具体的なエッジの方向判定処理は、方向判定部２０２と同様である。

ノルム判定部４０３は、エッジ検出部４０１によって予測モード推定の対象ブロックを指していると判定されたエッジのノルムを算出し、算出したノルムが予め定められた閾値より大きいか否かを判定する。なお、このときに用いられる閾値は、符号化時のノルム判定処理で用いられた閾値と同じ閾値であることが望ましい。したがって、閾値が装置に固有の値で無い場合は、符号化装置から送信される。具体的なノルム判定処理は、ノルム判定部２０３と同様である。

エッジベクトル格納メモリ４０４は、ノルム判定部４０３によってエッジと判定されたエッジの位置情報とエッジベクトルとを格納するメモリである。予測モード候補限定部４１２は、エッジベクトル格納メモリ４０４に格納されたエッジベクトルに基づいて、複数の予測モード候補の数を減らす。また、予測モード推定部３２３は、対象ブロックの予測モードを推定する際に、エッジが検出されたか否かに応じて、予測モード候補取得部４１３から得られる、予測モード推定値候補からの予測モード推定値を決定する。

ここで、予測モード推定部３２３が、エッジベクトル判定部３２１によって検出されたエッジに基づいて、限定された数の予測モード候補の中から予測モード推定値を決定する処理について説明する。

具体的には、エッジベクトルのノルムが閾値以下の場合、すなわち、エッジが検出されない場合には、予測モード推定部３２３は、予測モード候補取得部４１３から出力される、限定された数の予測モード候補から、従来と同様に予め決められた方法で決定する。予め決められた方法とは、イントラ予測モード推定値に対しては、Ｈ．２６４映像符号化規格で決められる、周囲ブロックの予測モードのうち小さい符号化モード番号を有するモードの番号を予測モード推定値ＭＰＭとして決定する。一方、インター符号化モードにおける位置情報予測値に対しては、Ｈ．２６４映像符号化規格で決められる、周囲ブロックの位置情報に対して、メディアンを掛けた値を予測モード推定値ＭＰＭとして決定する。

エッジベクトル（又は、勾配ベクトル）のノルムが閾値より大きい場合、すなわち、エッジが検出された場合、予測モード推定部３２３は、イントラ予測モード推定値に対して、予測モード候補取得部４１３から出力される、限定された数の予測モード候補から、最大のノルムを有するエッジに属する周囲ブロックの予測モードの番号を予測モード推定値ＭＰＭとして決定する。インター符号化モードにおける位置情報推定値に対しては、同様に最大のノルムを有するエッジに属する周囲ブロックの位置情報値を予測モード推定値ＭＰＭとして決定する。

なお、予測モード推定部３２３は、エッジ以外の情報に基づいて予測モード推定値ＭＰＭを決定してもよい。例えば、エッジの有無に関わらず、予測モード推定部３２３は、従来のように、周囲ブロックの予測モードのうち小さい符号化モード番号を有するモードの番号を予測モード推定値ＭＰＭとして決定してもよい。

次に、本実施の形態の画像復号装置３００の動作について説明する。

図１２は、本実施の形態の画像復号装置３００の動作の一例を示すフローチャートである。

まず、エッジベクトル判定部３２１は、エッジ検出処理を行う（Ｓ２０１）。対象ブロックの周囲に位置する、既に生成された復号ブロックに含まれるエッジを検出する。エッジ検出処理の具体的な動作については、後で説明する。

エッジ検出処理によってエッジが検出された場合（Ｓ２０１でＹｅｓ）、候補限定部３２２は、検出されたエッジに基づいて、複数の予測モード候補の数を減らす（Ｓ２０２）。例えば、候補限定部３２２は、検出されたエッジの角度（すなわち、方向）、又は、エッジが検出された画素位置に基づいて、複数の予測モード候補の数を減らす。

そして、予測モード推定部３２３は、減らされた数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する（Ｓ２０４）。なお、エッジ検出処理によってエッジが検出されなかった場合（Ｓ２０３でＮｏ）、予測モード推定部３２３は、全ての数の予測モード候補の中から推定予測モードを決定する。

次に、予測モード復元部３２４は、予測モード推定部３２３によって決定された推定予測モードとモード情報とに基づいて、選択予測モードを復元する（Ｓ２０５）。具体的には、モード情報が、選択予測モードと推定予測モードとが一致することを示すフラグである場合は、予測モード復元部３２４は、推定予測モードを選択予測モードとして復元する。

また、モード情報が、フラグではない場合は、モード情報に含まれる情報と推定予測モードとに基づいて選択予測モードを決定する。例えば、モード情報が、推定予測モードと、符号化時に用いられた予測モードとの差分情報を含む場合、当該差分情報と推定予測モードとを加算することで、選択予測モードを復元する。

そして、復号部３１０は、復元された選択予測モードを用いた予測に従って、対象ブロックを復号することで、復号ブロックを生成する（Ｓ２０６）。

以上のように、本実施の形態の画像復号装置３００は、対象ブロックの推定値を決定する際に、エッジ検出の結果に従って予測モード候補の数を限定し、限定した数の予測モード候補の中から推定値を決定する。そして、決定した推定値と、対象ブロックの差分モード情報とを加算することによって、実際に復号するときに用いる予測モードを決定する。

以下では、本実施の形態の画像符号化装置１００及び画像復号装置３００のそれぞれに共通する動作について説明する。具体的には、エッジ検出処理（Ｓ１０３及びＳ２０１）と、当該エッジ検出処理の結果に基づいた予測モード候補の限定処理（Ｓ１０５及びＳ２０３）と、予測モードの推定処理（Ｓ１０６及びＳ２０４）とについて説明する。

まず、エッジ検出処理について図１３を用いて説明する。図１３は、本実施の形態のエッジ検出処理の一例を示すフローチャートである。なお、以下では、画像符号化装置１００が実行するエッジ検出処理（Ｓ１０３）について説明する。

エッジ検出処理は、勾配を算出するために考慮される全ての画素（例えば、図７Ａの左斜め下方向に網掛けされた画素）に対して実行されるので、エッジ検出部２０１は、勾配を算出する処理の対象となる画素を選択し、選択した画素の画素位置を設定する（Ｓ３０１）。

エッジ検出部２０１は、対象画素位置の勾配ベクトルを（式２）のソーベル演算子を適用することで算出する（Ｓ３０２）。そして、エッジ検出部２０１は、算出した勾配ベクトルに直交するエッジベクトルを算出し、算出したエッジベクトルの方向を検出する（Ｓ３０３）。なお、エッジベクトルのノルムは、例えば、勾配ベクトルのノルムに等しい。

次に、方向判定部２０２は、算出された勾配が対象ブロックを横切るエッジを示すか否か、すなわち、勾配ベクトルに直交するエッジベクトルが予測の対象ブロックを指しているか否かを判定する（Ｓ３０４）。なお、エッジベクトルが対象ブロックを指しているとは、エッジベクトルの延長線が対象ブロックを通過することである。

エッジベクトルが予測の対象ブロックを指していない場合であって（Ｓ３０４でＮｏ）、かつ、次の画素がある場合（Ｓ３０５でＹｅｓ）、処理は、次の画素に進む。すなわち、次の画素を新たな対象画素として、対象画素位置の設定（Ｓ３０１）から繰り返される。

エッジベクトルが予測の対象ブロックを指している場合には（Ｓ３０４でＹｅｓ）、ノルム判定部２０３は、勾配ベクトルのノルムを算出する（Ｓ３０６）。そして、ノルム判定部２０３は、算出したノルムが予め定められた閾値より大きいか否かを判定する（Ｓ３０７）。

算出したノルムが閾値以下である場合（Ｓ３０７でＮｏ）、かつ、次の画素がある場合（Ｓ３０５でＹｅｓ）、処理は次の画素に進む。すなわち、次の画素を新たな対象画素として、対象画素位置の設定（Ｓ３０１）から繰り返される。

算出したノルムが閾値より大きい場合には（Ｓ３０７でＹｅｓ）、ノルム判定部２０３は、算出したノルムが、前に決定された全ての勾配ベクトルのうち最大ノルムを有する勾配ベクトルのノルムより大きいか否かを判定する（Ｓ３０８）。算出したノルムが最大ノルムより大きい場合は（Ｓ３０８でＹｅｓ）、当該勾配ベクトルを、新たな最大ベクトルとして設定する（Ｓ３０９）。

そして、算出したノルムと最大ノルムとの比較結果に関わらず、ノルム判定部２０３は、画素のベクトルと位置とをエッジベクトル格納メモリ２０４に格納する（Ｓ３１０）。このとき、メモリに格納する画素のベクトルは、エッジベクトルであることが望ましい。また、メモリは、例えば、ノルム判定部２０３の内部に備えるメモリであってもよい。

そして、次の画素がある場合（Ｓ３０５でＹｅｓ）、処理は次の画素に進む。すなわち、次の画素を新たな対象画素として、対象画素位置の設定（Ｓ３０１）から繰り返される。

以上のようにして、対象ブロック（対象ブロック１０）の周囲に位置する周囲ブロック（周囲ブロック５０）に含まれる画素であって、エッジ検出処理の対象となる全ての画素（図７Ａの左斜め下方向に網掛けされた画素）に対して、エッジ検出処理が実行され、エッジが検出された画素の位置と、そのエッジベクトルとがメモリに格納される。

なお、上述のエッジ検出処理を画像復号装置３００が実行する場合も同様である。具体的には、エッジ検出部２０１、方向判定部２０２、ノルム判定部２０３及びエッジベクトル格納メモリ２０４のそれぞれが行う処理を、エッジ検出部４０１、方向判定部４０２、ノルム判定部４０３及びエッジベクトル格納メモリ４０４がそれぞれ実行する。

続いて、本実施の形態の推定部１４０及び復元部３２０の動作について図１４を用いて説明する。具体的には、推定部１４０及び復元部３２０が行う予測モードの推定処理について説明する。

図１４は、本実施の形態の推定部１４０及び復元部３２０が行う予測モードの推定処理の一例を示すフローチャートである。具体的には、図１４は、予測モード候補の数を限定することで、演算処理量を削減し、かつ適切な予測モード推定値を決定する処理を示すフローチャートである。なお、以下では、画像符号化装置１００が備える推定部１４０が実行する処理について説明する。

まず始めに、図１３のエッジ検出処理が、エッジ検出部２０１、方向判定部２０２、ノルム判定部２０３及びエッジベクトル格納メモリ２０４によって実行される（Ｓ４０１）。次に、予測モード推定部１４３は、少なくとも１つのエッジベクトルが格納されているか、すなわち、対象ブロックを指すエッジに対応する方向で閾値より大きなノルムを有するベクトルがあるか否かを判定する（Ｓ４０２）。

なお、ステップＳ４０１及びＳ４０２はそれぞれ、図８に示すステップＳ１０３及びＳ１０４に相当する。

エッジベクトルが１つも格納されていない場合、すなわち、エッジが検出されなかった場合（Ｓ４０２でＮｏ）、予測モード推定部１４３は、従来の予測モード推定値決定方法により予測モードの推定値を決定する（Ｓ４０３）。ここで、従来の予測モード推定値決定方法とは、周囲ブロックの予測モードから所定の方法で予測モード推定値を決定する方法である。

少なくとも１つのエッジベクトルが格納されている場合、すなわち、エッジが検出された場合（Ｓ４０２でＹｅｓ）、エッジベクトル判定部１４１は、エッジ角度算出処理を行うことで、エッジの角度を算出する（Ｓ４０４）。エッジ角度算出処理の具体的な動作については、図１６を用いて後で説明する。

予測モード候補限定部２１２は、算出したエッジの角度と、予め決められた方向予測モードの角度とを比較し、角度の最も近い２つの方向予測モードを選択し、選択した２つの方向予測モードを示す情報を、限定情報として予測モード候補取得部２１３に出力する（Ｓ４０５）。ここで、角度の最も近い２つの方向予測モードとは、例えば、図１５Ａに示すように、算出されたエッジベクトルの角度が、水平から右下方向に対して１０度傾いている場合であって、Ｈ．２６４規格の方向予測モードと比較する場合は、図１Ｂで示される予測モード番号、１と６が、２つの方向予測モードとして出力される。

このように、予測モード候補限定部２１２は、８個の方向予測モードを２個の方向予測モードに限定することで、予測モード候補の数を減らしている。なお、２個の方向予測モードに限定するのではなく、予測モード候補限定部２１２は、８個より少なくすればよい。つまり、予測モード候補限定部２１２は、検出されたエッジの方向から最も離れた方向の方向予測モードを候補から除外することで、複数の予測モード候補の数を少なくすればよい。

また、予測モード候補限定部２１２は、エッジが検出されたブロックの位置に基づいて、予測モード候補を限定してもよい。具体的には、図１Ｂで示される予測モードのうち、予測モード番号８は対象ブロックの左側の周辺ブロックからの予測であり、予測モード番号３は対象ブロックの上側の周辺ブロックからの予測である。例えば、図１５Ｂに示すように、エッジ検出処理において検出されたエッジベクトルのうち、上側の周辺ブロックに属するエッジベクトルが多い場合には、上側の周辺ブロックからの予測である、予測モード番号３、７、０、５、４、６に限定してもよい。また、同様に左側のブロックに属するエッジベクトルが多い場合には、左側の周辺ブロックからの予測である、予測モード番号５、４、６、１、８に限定してもよい。

予測モード推定部１４３は、予測モード候補取得部２１３から、限定された予測モード、すなわち、エッジベクトルの角度に近い２つの方向予測モードと、予め決められた方向予測モード以外の予測モード候補（例えば、エッジ予測モードなど）の中から、予測モード推定値を決定する（Ｓ４０６）。

以上は、画像符号化装置１００での予測モード推定値を決定する処理についての説明であるが、画像復号装置３００についても、画像符号化装置１００と同様の処理となる。エッジベクトル判定部１４１、予測モード候補限定部２１２、予測モード格納メモリ２１１、予測モード候補取得部２１３及び予測モード推定部１４３のそれぞれが実行する処理が、エッジベクトル判定部３２１、予測モード候補限定部４１２、予測モード格納メモリ４１１、予測モード候補取得部４１３及び予測モード推定部３２３によって実行される。

ここで、予測モード候補から予測モード推定値を決定する方法の一例を説明する。例えば、予測モード候補として、全ての予測モードとし、判定領域としては、対象ブロックの上部、左部分にある周囲ブロックとする。予測モード推定部１４３は、判定領域のブロックに対して、全ての予測モードで取り得る予測ブロックを、さらに周囲のブロックを用いることにより生成し、生成された予測ブロックと、予測ブロックに対応する符号化及び復号済みの復号ブロックとの差分を算出する。そして、予測モード推定部１４３は、算出した差分が最も小さくなる予測ブロックを生成した予測モードを、予測モード推定値として決定する。

これは、画像の空間連続性から周囲ブロックの結果から対象ブロックの結果を予測する方法であるが、処理量は非常に多い。ここで、図１４で示した予測モード候補限定部２１２により、予測モードの候補数を限定することで、処理量を削減することができ、かつ、エッジの連続性から、さらに画像の空間連続性の強い領域のみを用いて対象ブロックの予測モード推定値を決定できるため、精度の向上が期待できる。

続いて、エッジ検出結果に基づいて、検出されたエッジの角度を算出する処理について説明する。エッジの角度算出処理の概要は以下の通りである。

周囲ブロックに含まれる、勾配の算出処理の対象となる画素毎に、勾配が算出され、エッジベクトル判定部１４１は、最大ノルムを有するベクトルと、最大ノルムを有するベクトルが得られた画素に隣接する画素のベクトルとを用いてエッジの角度を算出する。具体的には、隣接画素のそれぞれに対して、対応するエッジベクトル（又は勾配ベクトル）のノルムと、最大ベクトルのノルムとを比較する。

隣接画素のエッジベクトルのノルムが、最大ベクトルのノルムの５０％より大きい場合のみ、当該隣接画素のエッジベクトルを利用するためにエッジベクトル格納メモリ２０４に格納する。そして、エッジベクトル判定部１４１は、メモリに格納された最大ベクトルと周囲ベクトルとのそれぞれの角度の平均を、エッジ方向の角度αとして算出する。具体的には、以下の図１６に示すフローチャートに従って実行される。

図１６は、本実施の形態においてエッジの角度を算出する処理の一例を示すフローチャートである。なお、エッジの角度算出処理は、図１３を用いて説明したエッジ検出処理の結果に依存する。図１３に示すエッジ検出処理を行った結果、閾値より大きいと判定された１つ以上のエッジベクトルと対応する画素の位置とが、エッジベクトル格納メモリ２０４に格納される。

ノルム判定部２０３は、エッジ検出処理で検出された最大エッジベクトルの角度を算出し、エッジベクトル格納メモリ２０４に格納する（Ｓ５０１）。そして、以下の処理は、最大エッジベクトルが算出された画素に隣接する全ての画素に対して実行される（Ｓ５０２）。すなわち、ノルム判定部２０３は、最大エッジベクトルが検出された画素に隣接する画素のうち、１つの画素の位置を対象画素位置に設定して、以下の処理を行う。

次に、ノルム判定部２０３は、対象画素位置に対応するエッジベクトルがエッジベクトル格納メモリ２０４に格納されているか否かを判定する（Ｓ５０３）。すなわち、ノルム判定部２０３は、閾値より大きいノルムを有し、かつ、対象ブロックを指すエッジベクトルが格納されているか否かを判定する。

エッジベクトルが格納されている場合（Ｓ５０３でＹｅｓ）、ノルム判定部２０３は、このエッジベクトルのノルムを算出する（Ｓ５０４）。そして、ノルム判定部２０３は、算出したノルムと最大エッジベクトルのノルムとを比較する（Ｓ５０５）。算出したノルムが最大ノルムの５０％より大きい場合（Ｓ５０５でＹｅｓ）、ノルム判定部２０３は、対象画素位置のエッジベクトルの角度を算出し、算出した角度をエッジベクトル格納メモリ２０４に格納する（Ｓ５０６）。

以上の処理（Ｓ５０３〜Ｓ５０６）を全ての対象画素位置に対して実行する。次の画素がない場合、すなわち、全ての対象画素位置に対して処理が終了した場合（Ｓ５０７でＮｏ）、ノルム判定部２０３は、エッジベクトル格納メモリ２０４に格納された角度を平均することで、エッジの角度を算出する（Ｓ５０８）。

なお、図１６に示すような、検出したエッジの角度を決定する上述の処理は、単なる例示である。本発明は、エッジを検出し、又は、その方向を決定するいかなる特定の方法にも限定されない。例えば、エッジの角度は、最大エッジベクトルのみの方向から決定されてもよい。あるいは、より多く又はより少ない数の近接するベクトル、又は、エッジに沿った他のベクトルの方向から決定されてもよい。また、メモリに格納するベクトルはエッジベクトルであるとしたが、勾配ベクトルであってもよい。

ここで、エッジベクトルに基づかない従来の予測モード推定値を決定する方法について、一例を挙げて説明する。従来は、イントラ符号化のイントラ予測モードに対する予測モード推定値の場合、周囲ブロックの予測モードを示す番号のうち、小さい番号の予測モードの番号を予測モード推定値として決定する。一方、インター符号化の位置情報に対する予測モード推定値の場合、周囲ブロックの位置情報のうち、同じ参照フレーム上の位置情報を示している周囲ブロックを取り出し、複数の周囲ブロックの位置情報の値に対して、メディアン値を算出し、算出したメディアン値を予測モード推定値として決定する。なお、本発明では、エッジベクトルに基づかない予測モード推定値の決定方法については、これに限定しない。

以下では、予測モード推定値について、さらに詳細を説明する。例えば、（式１）で示されるラグランジュコスト関数Ｊを用いて、低ビットレートで符号化する場合、量子化パラメータＱＰが大きくなるため、ラグランジュ乗数も大きくなる。このため、（式１）のＲ、すなわち、符号化するのに用いられるビットレートが、ラグランジュコスト関数Ｊに対して相対的に重要になる。すなわち、符号化歪みＤよりもビットレートＲ（符号量）が重視される。

したがって、（式１）に示すコスト関数を考慮した符号化を行う場合、イントラ符号化の際は、実際のイントラ予測に用いられるイントラ予測モードが、イントラ予測モードの推定値と同じになるように、符号化モードの選択が行われる。なぜなら、イントラ予測モードの推定値とイントラ予測モードとが同じであれば、ビットストリーム内には、イントラ予測モードがイントラ予測モード推定値と同じであることを示すフラグだけになるため、発生する符号量が小さいためである。このため、イントラ予測モードの推定値と同じイントラ予測モードで、符号化歪みＤを小さくできることが、低ビットレートで符号化する場合に重要になる。

そこで、本実施の形態では、エッジ情報を利用して、予測モード推定値を決定するための候補となる予測モード候補の数を少なくする。これにより、予測モード推定値と、実際に予測に用いられた予測モードとが同じになる可能性を高めることができ、符号量を削減することができる。また、予測モード候補の数を少なくすることで、処理量を削減することができる。

さらに、エッジ情報を利用して対象ブロックと周囲ブロックの相関性を判定し、相関性の高い周囲ブロックの予測モードを用いることで、イントラ予測モードの推定値と同じイントラ予測モードで、符号化歪みＤを小さくすることができ、低ビットレートの場合にも符号化歪みを抑制することができる。

一方、同様にインター符号化の際は、実際のインター予測に用いられる位置情報が、位置情報の推定値と同じになるように動き検出が行われる。この場合も同様に、エッジ情報を利用して対象ブロックと周囲ブロックの相関性を判定し、相関性の高い周囲ブロックの位置情報を用いる、又は、重みを付けることで、位置情報の推定値と同じ、又は、近い位置情報で、符号化歪みＤを小さくすることができ、低ビットレートの場合にも符号化歪みを抑制することができる。

以上、本発明の画像符号化装置、画像復号装置及び対応する方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。

例えば、本実施の形態によれば、ソーベル演算子を用いて勾配を算出することで、エッジの検出を行った。しかしながら、本発明は、この点には限定されない。代わりに、検出されたエッジの方向性が算出されれば、どのようなエッジ検出ツールが用いられてもよい。ソーベル演算子は、可能なエッジ検出技術の一例に過ぎない。例えば、（式３）に示すプレウィット演算子を用いてもよい。

また、ローパスフィルタ（ＬＰＦ：Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）処理を行ったブロックに対して勾配を算出してもよい。具体的には、ローパスフィルタを構成するフィルタ係数とソーベル演算子又はプレウィット演算子とを畳み込んだ演算子を用いて勾配を算出することができる。

したがって、例えば、本実施の形態では、エッジ検出部２０１又は４０１は、ソーベル演算子のみ、プレウィット演算子のみ、ソーベル演算子とローパスフィルタとの合成フィルタ、又は、プレウィット演算子とローパスフィルタとの合成フィルタの４種類の中から選択して、勾配を算出してもよい。いずれのフィルタを選択するかは、例えば、外部からのユーザの指示、又は、対象ピクチャの特徴に基づいて決定される。例えば、対象ピクチャに多くのノイズが含まれる場合、すなわち、対象ピクチャが平坦な画像でない場合は、ローパスフィルタを含むフィルタを用いる。

また、本実施の形態の画像符号化装置１００又は画像復号装置３００では、ノルム判定部２０３又は４０３は、予め定められた閾値を用いてノルムの判定を行ったのに対して、シーケンス、ピクチャ、スライス、又は、ブロック単位で閾値を決定してもよい。なお、この場合、決定した閾値をビットストリームに含めることで復号器側に伝送する必要がある。例えば、閾値を決定する単位に応じて、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、又は、スライスヘッダ（ＳＨ）などに閾値を示す情報は含められる。

また、上述したように、複数の予測モード候補には、非特許文献２で用いられているエッジ予測モードが含まれていてもよい。エッジ予測モードとは、検出されたエッジの方向に周辺ブロックの画素値を内挿又は外挿することで、イントラ予測を行うイントラ予測モードの１つである。このエッジ予測モードに対しても、適した予測モードの推定値決定を行うことができる。ここで説明する予測モード推定値の決定方法は、イントラ符号化モードの場合である。予測モード推定部１４３は、エッジ検出処理によりエッジ検出され、エッジが検出されなければ、従来の予測モード推定値決定方法により、予測モード推定値を決定する。

また、本実施の形態では、エッジの方向（角度）、又は、エッジが検出された画素を含むブロックの位置に基づいて、予測モード候補の数を減らしたが、２つ以上のエッジが検出された場合は、当該２つ以上のエッジのばらつき度合いに基づいて、予測モードの数を減らしてもよい。ばらつき度合いは、例えば、エッジベクトルの分散値である。

例えば、予測モード候補限定部２１２は、エッジが検出され、かつ、２つ以上のエッジベクトルが格納されていれば、格納されたエッジベクトルの分散値を算出する。分散値が予め決められた閾値より小さければ、エッジ方向はシャープなエッジがあるとして、例えば、８個の方向予測モードを予測モード候補から除外することで、エッジ予測モードを含む予測モード候補に限定する。

一方、分散値が閾値よりも大きければ、図１６で説明したエッジ角度の算出処理を行い、算出されたエッジ角度に最も近い角度の予め決められた方向予測方式（Ｈ．２６４規格方式の場合、図１Ｂで示した８個の方向予測モード）の２つを含む予測モード候補に限定する。また、エッジが１つの場合にも、シャープなエッジがあるとして、エッジ予測モードを含む予測モード候補に限定する。

具体的には、以下の図１７に示すフローチャートに従って実行される。

まず始めに、図１３のエッジ検出処理が、エッジ検出部２０１、方向判定部２０２、ノルム判定部２０３及びエッジベクトル格納メモリ２０４によって実行される（Ｓ６０１）。次に、予測モード推定部１４３は、少なくとも１つのエッジベクトルが格納されているか、すなわち、対象ブロックを指すエッジに対応する方向で閾値より大きなノルムを有するベクトルがあるか否かを判定する（Ｓ６０２）。

エッジベクトルが１つも格納されていない場合、すなわち、エッジが検出されなかった場合（Ｓ６０２でＮｏ）、予測モード推定部１４３は、従来の予測モード推定値決定方法により予測モードの推定値を決定する（Ｓ６０３）。

少なくとも１つのエッジベクトルが格納されている場合、すなわち、エッジが検出された場合（Ｓ６０２でＹｅｓ）、予測モード推定部１４３は、格納されたエッジベクトルに対して、ばらつき度合いの一例である分散値を算出する（Ｓ６０４）。そして、ベクトルをＸ成分、Ｙ成分に分解し、それぞれの大きさに対しての分散値の和を算出する。

算出した分散値が、予め決められた閾値よりも小さい場合（Ｓ６０５でＮｏ）、エッジ方向によるイントラ予測モードを予測モード推定値として決定する（Ｓ６０６）。なお、エッジベクトルが１つしか格納されていない場合、分散値は０となるため、常にエッジ方向によるイントラ予測モードを予測モード推定値として決定される。

一方、分散値が、予め決められた閾値よりも大きい場合（Ｓ６０５でＹｅｓ）、エッジベクトル判定部１４１は、図１６のエッジ角度算出処理を行うことで、エッジの角度を算出する（Ｓ６０７）。そして、予測モード候補限定部２１２は、当該分散値とエッジの角度とに基づいて予測モード候補を限定する（Ｓ６０８）。例えば、予測モード候補限定部２１２は、複数の予測モード候補の中から、ＤＣ予測モードと２つの方向予測モードとに予測モード候補を限定する。２つの方向予測モードは、算出されたエッジの角度に最も近い２つの方向予測モードである。

そして、予測モード推定部１４３は、限定された予測モード候補の中から予測モード推定値を決定する（Ｓ６０９）。

なお、分散値が大きいということは、周囲ブロックには様々な方向及び大きさのエッジが含まれていることを示している。このため、一意の方向を利用する方向予測モード及びエッジ予測モードではなく、画素値の平均を用いるＤＣ予測モードを予測モード候補に含めている。

以上は、画像符号化装置１００での予測モード推定値を決定する処理についての説明であるが、画像復号装置３００についても、画像符号化装置１００と同様の処理となる。エッジベクトル判定部１４１、予測モード候補限定部２１２、予測モード格納メモリ２１１、予測モード候補取得部２１３及び予測モード推定部１４３のそれぞれが実行する処理が、エッジベクトル判定部３２１、予測モード候補限定部４１２、予測モード格納メモリ４１１、予測モード候補取得部４１３及び予測モード推定部３２３によって実行される。

なお、ばらつき度合いの一例である分散値の算出（Ｓ６０４）については、別の方法をとってもよい。例えば、格納された全てのベクトルに対して、エッジの角度を算出し、全てのベクトルのエッジ角度の平均値とを比較し、角度の一番離れているベクトルとの差、すなわち、角度の差に対して、閾値比較（Ｓ６０５）を行ってもよい。

この方法を用いると、図１７の方法と比べて、１つのベクトルが大きく平均と異なる場合に、エッジ方向によるイントラ予測であるエッジ予測モードを予測モード推定値に選択しない。なぜなら、１つのベクトルが大きく別の角度を向いている場合には、シャープなエッジに対して効果の高いエッジ方向によるイントラ予測では、符号化効率は上がらないためである。これにより、１つのベクトルが大きく別の角度を向いている場合に対して、より適した予測モード推定値の決定ができる。

この方法を用いることで、エッジの方向から方向予測モードが予測できるため、さらに予測モード推定値の推定精度の向上が期待できる。

また、符号化方式が、エッジ方向を利用したイントラ予測モードを含まない場合には、分散値の値に関わらず、エッジ角度を算出し、予め決められた方向予測方式の１つを予測モード推定値として決定してもよい。また、エッジが検出されない場合には、対象ブロックが平坦であると仮定できるため、従来の予測モード推定値決定方法を用いず、周辺ブロックの平均値を予測ブロックとして用いるＤＣモードを予測モード推定値として決定してもよい。このようにすることで、処理量が低減することができ、かつ周辺ブロックの特徴を予測モード推定値の決定に用いているため、符号化歪みの低減も期待できる。

また、予測モード推定値を決定するために用いる処理領域を限定することで、予測モード候補の数を減らしてもよい。図１８は、本実施の形態の推定部１４０及び復元部３２０が行う予測モードの推定処理の異なる一例を示すフローチャートである。具体的には、図１８は、予測モード候補から予測モード推定値を決定することに用いる処理領域を限定することで、演算処理量を削減し、かつ適切な予測モード推定値を決定する処理を示すフローチャートである。なお、以下では、画像符号化装置１００が備える推定部１４０が実行する処理について説明する。

まず始めに、図１３のエッジ検出処理が、エッジ検出部２０１、方向判定部２０２、ノルム判定部２０３及びエッジベクトル格納メモリ２０４によって実行される（Ｓ７０１）。次に、予測モード推定部１４３は、少なくとも１つのエッジベクトルが格納されているか、すなわち、対象ブロックを指すエッジに対応する方向で閾値より大きなノルムを有するベクトルがあるか否かを判定する（Ｓ７０２）。

なお、ステップＳ７０１及びＳ７０２はそれぞれ、図８に示すステップＳ１０３及びＳ１０４に相当する。

少なくとも１つのエッジベクトルが格納されている場合、すなわち、エッジが検出された場合（Ｓ７０２でＹｅｓ）、予測モード候補限定部２１２は、格納されたエッジベクトルの属するブロックの画素位置を限定情報として、予測モード候補取得部２１３に出力する（Ｓ７０３）。予測モード推定部１４３は、予測モード候補取得部２１３から、限定された領域、すなわち、エッジベクトルが属しているブロック領域を用いて、予測モード推定値を決定する（Ｓ７０４）。

エッジベクトルが１つも格納されていない場合、すなわち、エッジが検出されなかった場合（Ｓ７０２でＮｏ）、予測モード推定部１４３は、従来の予測モード推定値決定方法により予測モードの推定値を決定する（Ｓ７０５）。

以上のように、予測モード候補の数そのものを限定するのではなく、判定領域を限定してもよい。つまり、判定領域毎に予測モード候補が存在するので、判定領域を限定することで、予測モード候補の数を少なくすることができる。

以上は、画像符号化装置１００での予測モード推定値を決定する処理についての説明であるが、画像復号装置３００についても、画像符号化装置と同様の処理となる。エッジベクトル判定部１４１、予測モード候補限定部２１２、予測モード格納メモリ２１１、予測モード候補取得部２１３及び予測モード推定部１４３のそれぞれが実行する処理が、エッジベクトル判定部３２１、予測モード候補限定部４１２、予測モード格納メモリ４１１、予測モード候補取得部４１３及び予測モード推定部３２３によって実行される。

ここで、予測モード候補から予測モード推定値を決定する方法の一例を説明する。例えば、予測モード候補として全ての予測モードとし、判定領域としては、対象ブロックの上部及び左部分にある周囲ブロックとする。

予測モード推定部１４３は、判定領域のブロックに対して、全ての予測モードで取り得る予測ブロックを、さらに周囲のブロックを用いることにより生成する。そして、予測モード推定部１４３は、生成された予測ブロックと、予測ブロックに対応する符号化及び復号済みの復号ブロックとの差分を算出し、算出した差分が最も小さくなる予測ブロックを生成した予測モードを、予測モード推定値に決定する。

これは、画像の空間連続性から周囲ブロックの結果から対象ブロックの結果を予測する方法であるが、処理量は非常に多い。そこで、図６で示した予測モード候補限定部２１２により、図１９Ａに示すように、エッジベクトルの属している画素領域に前述の判定領域を限定することで、処理量を削減することができる。つまり、予測モード候補限定部２１２は、エッジが検出されなかった周囲ブロックを演算対象から除外することで、複数の予測モード候補の数を減らすことができる。

さらに、エッジの連続性から、さらに画像の空間連続性の強い領域のみを用いて対象ブロックの予測モード推定値を決定できるため、精度の向上が期待できる。

また、予測モード候補限定部２１２は、最大ノルムを有する最大エッジが検出された周囲ブロックに演算対象を限定することで、複数の予測モード候補の数を減らしてもよい。最大エッジは、図１３に示すフローチャートに従って決定される。

また、検出されたエッジベクトルの方向に基づいて、演算対象である判定領域を限定してもよい。例えば、図１９Ｂに示すように、検出されたエッジベクトルの水平成分が垂直成分より大きい場合、対象ブロック１０の左側に位置する周囲ブロック（すなわち、左と左上の周囲ブロック）のみを判定領域としてもよい。また、検出されたエッジベクトルの垂直成分が水平成分より大きい場合、対象ブロック１０の上側に位置する周囲ブロック（すなわち、左上、上、右上の周囲ブロック）のみを判定領域としてもよい。

なお、本発明では、エッジ検出の結果から、算出に用いる領域を限定することを除いて、予測モード候補からの予測モード推定値の決定に関する算出方法については、これに限定しない。

以上のようにして、本実施の形態の画像符号化装置１００、画像復号装置３００は、エッジが検出されたか否かに応じて、予測モード推定値を決定する。すなわち、エッジが検出された場合は、エッジベクトルを基準に予測モード推定値を決定する方法により予測モード推定値を決定し、エッジが検出されない場合は、従来のエッジベクトルに基づかないで、予測モード候補から予測モード推定値を決定する方法により予測モード推定値を決定する。

なお、予測モード候補から予測モード推定値を決定する方法において、決定のための判定領域を限定する方式（図１８のフローチャートで示した方式）と、候補となる予測モードの数を限定する方式（図１４のフローチャートで示した方式）とを組み合わせてもよい。組み合わせることで、さらなる処理量の削減が期待できる。

なお、本発明では、エッジ検出の結果から、算出に用いる領域を限定することを除いて、予測モード候補からの予測モード推定値の決定に関する算出方法については、これに限定しない。

本実施の形態の画像符号化装置及び画像復号装置は、画像及び映像データを符号化及び復号する際に、対象ブロックの周囲に位置する周囲ブロックに含まれるエッジを検出し、検出したエッジの方向により、対象ブロックと周囲ブロックとの関係を評価することができ、これを予測モードの推定に利用することができる。つまり、本実施の形態では、符号化予測モード情報を符号化する際に、エッジの方向を考慮に入れた予測モードの推定を行うことができる。

なお、本実施の形態では、推定部１４０及び復元部３２０は、常にエッジベクトル判定部１４１及び３２１を用いていたが、外部からエッジ検出フラグを受け取ってもよい。エッジ検出フラグは、エッジ検出処理の有効又は無効を切り替えるためのフラグである。例えば、シーケンス、ピクチャ、又はスライス単位でエッジ検出処理の有効又は無効を切り替えることができる。

これにより、本発明の効果が充分に得られない平坦な画像などに対しては、エッジ検出処理を無効にすることができるので、画像符号化装置１００に対する処理負担を軽減し、符号化処理の速度を高めることができる。

また、エッジ検出フラグを復号器側にも伝送するので、復号器側で、エッジ検出処理が行われていないビットストリームに対してエッジ検出処理が行われることを防ぐことができる。

なお、エッジベクトル判定部１４１で用いられた閾値をビットストリームに含めてもよい。閾値を示す情報は、例えば、ＳＰＳ、ＰＰＳ、ＳＨなどに含められる。

閾値は、例えば、画像特徴量を算出することで決定する。画像特徴量は、例えば、エッジ検出処理が行われる画像の分散、強度などである。例えば、分散が大きいほど、ノルム判定に用いる閾値が大きな値になるように決定する。分散が大きいということは、画像に多くのノイズが含まれることであり、エッジが誤検出されてしまう可能性が大きくなる。したがって、ノルム判定に用いる閾値を大きくすることで、エッジの誤検出される可能性を小さくすることができる。

また、前のピクチャに対するエッジ検出処理の結果に基づいて、閾値を決定してもよい。例えば、前のピクチャに対して異なる方向のエッジが多く検出されるほど、閾値が大きな値になるように決定する。異なる方向のエッジが多く検出されるということは、ノイズなどの影響で正確なエッジが検出されていない可能性があるので、ノルム判定に用いる閾値を大きくすることで、エッジが誤検出される可能性を小さくすることができる。

これにより、閾値を適応的に変更することができるので、より適切な閾値を決定することができ、より適切な予測ブロックを生成することができる。これにより、符号化歪みなどを削減することができる。

なお、本実施の形態の画像符号化装置１００及び画像復号装置３００では、エッジ検出処理を行うために、図１Ａに示す参照画素２０だけではなく、参照画素２０を含むブロックに含まれる全画素のデータを、参照ピクチャメモリ１６０及びフレームメモリ３１４に格納する必要がある。これに対して、周囲のブロックを復号すると同時に、すなわち、勾配の算出に必要な参照画素の画素値が得られると同時に、勾配の算出処理を行い、勾配の算出処理結果だけを参照ピクチャメモリ１６０及びフレームメモリ３１４、又は、他のメモリに格納してもよい。

このとき、例えば、閾値を超えたノルム（又は、勾配値）のみを格納することで、よりメモリ資源を節約することができる。あるいは、各ブロックの最大のノルムとその画素位置のみを格納してもよい。この場合、算出したノルム（又は、勾配値）を参照ピクチャメモリ１６０及びフレームメモリ３１４、又は、エッジベクトル格納メモリ２０４及び４０４などに格納する。

これにより、画像符号化装置１００及び画像復号装置３００が備えるメモリ資源を有効に利用することができる。

また、予測値を算出する上述の方法は、検出されたエッジの方向を正式に考慮に入れて、本発明の範囲内で、いかなる他の方法に置き換えられてもよい。具体的には、上記の説明で用いた参照画素より多くの参照画素、又は、別の参照画素を、予測される対象ブロックに近接する参照画素の代わりに用いてもよい。

また、本発明は、Ｈ．２６４映像符号化規格に限定されず、非特許文献２のエッジ方向を利用したイントラ予測モード（エッジ予測モード）など、上述の従来のイントラ予測モード予測値、位置情報（動きベクトル）予測値に限定されない。事実、発明の予測モード推定方法は、いかなるブロックベースの映像符号化器に用いられてもよい。

また、本発明の予測モード推定方法におけるエッジ検出部は、映像符号化方式の一部の機能と共有してもよい。例えば、エッジ予測モードを含む映像符号化方式に、本発明を適用することで、エッジ検出部を共に用いることができ、リソースを有効利用できる。

また、本発明は、映像符号化アプリケーションに限られず、ブロックベースの静止画像符号化に用いられてもよい。

また、本発明は、上述したように、画像符号化装置、画像復号装置及びこれらの方法として実現できるだけではなく、本実施の形態の画像符号化方法及び画像復号方法のそれぞれをコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。

また、本発明は、画像符号化装置及び画像復号装置のそれぞれを構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。

要約すると、本発明は、画像及び映像データの符号化及び復号に関し、特に、予測に必要な情報を、前に符号化及び復号されたブロックの情報から推測する予測値推測方法に関する。この予測値推測方法によれば、シャープなエッジが対象ブロックに向かっている場合には、エッジの連続性からブロック間の相関性を考慮に入れることで、より信頼性の高い予測値推測が行われる。

（実施の形態２）
上記実施の形態で示した画像符号化方法又は画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記実施の形態で示した画像符号化方法及び画像復号方法の応用例とそれを用いたシステムを説明する。

図２０は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２及び電話網ｅｘ１０４、及び、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図２０のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、又は、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像及び／又は動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理及び復号処理は、一般的にコンピュータｅｘ１１１及び各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用及び画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理及び復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利又は設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図２１は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータ又は復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換え及び消去が可能な不揮発性メモリであるＥＥＰＲＯＭの一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図２２を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２及び操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６及び音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、音声出力部ｅｘ６０８を介してこれを出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データを、カメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３及びＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を、音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これを、ＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図２３に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置又は画像復号装置を組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データ又はそれらのデータが多重化されたビットストリームが電波を介して通信又は放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、衛星放送受信設備をもつ家庭のアンテナｅｘ２０４はこの電波を受信し、テレビ（受信機）ｅｘ３００又はセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置はビットストリームを復号してこれを再生する。また、記録媒体であるＣＤ及びＤＶＤ等の記録メディアｅｘ２１５、ｅｘ２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で、衛星ｅｘ２０２又は基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データ又はそれらのデータが多重化された符号化ビットストリームを読み取り復号する、又は、記録メディアｅｘ２１５に、音声データ、映像データ又はそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置又は画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、符号化ビットストリームが記録された記録メディアｅｘ２１５により、他の装置及びシステム等は、映像信号を再生することができる。例えば、他の再生装置ｅｘ２１２は、符号化ビットストリームがコピーされた記録メディアｅｘ２１４を用いて、モニタｅｘ２１３に映像信号を再生することができる。

また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図２４は、上記実施の形態で説明した画像復号方法及び画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４又はケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、又は、出力するチューナｅｘ３０１と、受信した符号化データを復調する、又は、生成された符号化データを外部に送信するために変調する変調／復調部ｅｘ３０２と、復調した映像データと音声データとを分離する、又は、符号化された映像データと音声データとを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、又は、それぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号された音声信号を出力するスピーカｅｘ３０７、復号された映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号及び映像信号を符号化し、外部に送信又は記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２と多重／分離部ｅｘ３０３との間等でもシステムのオーバフロー及びアンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送及び記録メディア等から音声データ及び映像データを取得する以外に、マイク及びカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は、上記の符号化処理、多重化、及び、外部出力ができる構成として説明したが、これらの全ての処理を行うことはできず、上記受信、復号処理、及び、外部出力のうちいずれかのみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、又は、書き込む場合には、上記復号処理又は符号化処理はテレビｅｘ３００及びリーダ／レコーダｅｘ２１８のうちいずれかで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込み又は書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２５に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報及び記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出し及び書き込みの処理は、システム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成及び追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３及びサーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図２６に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録及び再生を行う装置は、情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３の内周又は外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データ又はそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所に様々な異なる波長の色の光を用いて情報を記録したり、様々な角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図２４に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１及び携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器及び復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器及びシステムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明は、上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。

（実施の形態３）
上記各実施の形態で示した画像符号化方法及び装置、画像復号方法及び装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２７に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３及びストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７及びカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量及び処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化及び／又は映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、又は、記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して得た符号化データ、又は、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量及び処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声データの復号及び／又は映像データの復号を行う。ここで映像信号の復号処理は、上記実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号は、メモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５及びテレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ、又は、ＬＳＩ内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、本発明に係る符号化方法、符号化装置、復号方法及び復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施した形態、及び、異なる実施の形態における構成要素及びステップ等を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。

本発明の画像符号化方法及び画像復号方法は、符号化効率をより高めることができるという効果を奏し、例えば、デジタルカメラ、デジタルテレビ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）レコーダなどに利用することができる。

１０ 対象ブロック
２０ 参照画素
３０、４０、５０、８０ 周囲ブロック
６０、６１、６２ エッジ
７０ エッジ検出窓
１００ 画像符号化装置
１１０ 符号化部
１１１、２２１、５１４ 減算部
１１２ 周波数変換部
１１３ 量子化部
１１４ イントラ予測モード決定部
１１５ 動き検出部
１１６、３１６ イントラ予測部
１１７、３１７ 動き補償部
１１８、１１９、３１５、３１８ スイッチ
１２０ 復号部
１２１、３１１ 逆量子化部
１２２、３１２ 逆周波数変換部
１２３、３１３、４２２、６２２ 加算部
１３０ 出力部
１３１、５２０ 可変長符号化部
１４０、５１０ 推定部
１４１、３２１ エッジベクトル判定部
１４２、３２２ 候補限定部
１４３、３２３、５１３、６２５ 予測モード推定部
１４４ モード情報生成部
１５０、３１４ フレームメモリ
１６０ 参照ピクチャメモリ
１７０、３４０ 制御部
２０１、４０１ エッジ検出部
２０２、４０２ 方向判定部
２０３、４０３ ノルム判定部
２０４、４０４ エッジベクトル格納メモリ
２１１、４１１、５１１、６２３ 予測モード格納メモリ
２１２、４１２ 予測モード候補限定部
２１３、４１３、５１２、６２４ 予測モード候補取得部
２２２、５１５ 信号設定部
３００ 画像復号装置
３１０ 復号部
３２０、６２０ 復元部
３２４ 予測モード復元部
３３０、６１０ 可変長復号部
４２１、６２１ 信号判定部
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３、ｅｘ１１６ カメラ
ｅｘ１１４ カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５、ｅｘ６０１ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３、ｅｘ２１９ モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６、ｅｘ６０７ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６、ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８、ｅｘ６０２ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０、ｅｘ５０１ 制御部
ｅｘ３１１、ｅｘ５０５、ｅｘ７１０ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４、ｅｘ６０６ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インターフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４、ｅｘ５０８ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ６０３ カメラ部
ｅｘ６０４ 操作キー
ｅｘ６０５ 音声入力部
ｅｘ６０８ 音声出力部
ｅｘ７０１ 送受信回路部
ｅｘ７０２ ＬＣＤ制御部
ｅｘ７０３ カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４ 操作入力制御部
ｅｘ７０５ 音声処理部
ｅｘ７０６ 変復調回路部
ｅｘ７０７ 記録再生部
ｅｘ７０８ 多重分離部
ｅｘ７０９ 画像復号部
ｅｘ７１１ 主制御部
ｅｘ７１２ 画像符号化部
ｅｘ７１３ 同期バス

本発明は、より良い符号化効率で画像及び映像データを圧縮符号化する画像符号化方法と、圧縮符号化された画像及び映像データを復号する画像復号方法と、対応する画像符号化装置及び画像復号装置とに関する。

インターネットを介したビデオ会議、デジタルビデオ放送、及び、映像コンテンツのストリーミングを含む、例えば、ビデオ・オン・デマンドタイプのサービスのためのアプリケーションの数は右肩上がりであり、これらのアプリケーションは、映像情報の送信に頼っている。映像データが送信され、又は、記録される時、かなりの量のデータは、限られたバンド幅の従来の伝送路を通って送信され、又は、限られたデータ容量の従来の記憶媒体に記憶される。従来の伝送チャネル及び記憶媒体に映像情報を送信及び記憶するためには、デジタルデータの量を圧縮又は削減することが不可欠である。

そこで、映像データの圧縮のために、複数の映像符号化規格が開発されている。このような映像符号化規格は、例えば、Ｈ．２６ｘで示されるＩＴＵ−Ｔ規格、及び、ＭＰＥＧ−ｘで示されるＩＳＯ／ＩＥＣ規格である。最新かつ最も進んだ映像符号化規格は、現在、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣで示される規格である（非特許文献１参照）。

これらの規格のほとんどの基礎をなす符号化アプローチは、以下の（ａ）〜（ｄ）で示される主な段階を含む予測符号化に基づいている。

（ａ）映像フレームのそれぞれをブロックレベルでデータ圧縮するために、映像フレームを画素のブロックに分割する。

（ｂ）先に符号化された映像データから個々のブロックを予測することで、時間的及び空間的冗長性を特定する。

（ｃ）映像データから予測データを減ずることで、特定された冗長性を除去する。

（ｄ）フーリエ変換、量子化、及び、エントロピー符号化によって、残りのデータを圧縮する。

現在の映像符号化規格では、各マクロブロックを予測するのに用いられる予測モードがブロック毎に異なる。ほとんどの映像符号化規格は、前に符号化及び復号されたフレームから映像データを予測するために動き検出及び動き補償を用いる（インターフレーム予測）。あるいは、ブロックデータは、同じフレームの隣接するブロックから予測されてもよい（イントラフレーム予測）。Ｈ．２６４／ＡＶＣ規格は、例えば、予測のために用いられる参照画素に対して、又は、画素が外挿される方向に対して、いくつかの異なるイントラフレーム予測モードを定義する。

図１Ａは、従来のＨ．２６４／ＡＶＣ規格に従ったイントラ予測推定が適用される対象ブロックと参照画素との関係の一例を示す図である。また、図１Ｂは、従来のＨ．２６４／ＡＶＣ規格に従ったイントラ予測モードセットに含まれる予測方向を示す図である。

図１Ａに示すように、４×４画素の対象ブロック１０は、予測される対象ブロック１０の上と左とに位置する１３個の参照画素２０を外挿することで予測される。この予測により、対象ブロック１０に対応する予測ブロックが生成される。このとき、外挿を実行するために、図１Ｂに示される８個の取り得る外挿方向（イントラ予測方向）から１つが選択される。すなわち、８個の外挿方向のそれぞれを示す８個の方向予測モードから１つの方向予測モードが選択される。あるいは、ＤＣ予測モードが選択されてもよい。ＤＣ予測モードでは、対象ブロック１０を予測するために参照画素２０の平均値を用いる。

このように複数ある予測モードのうち、どの予測モードを用いて予測するかをマクロブロック毎に選択し、選択された予測モードに関連する情報とともに、符号化された対象ブロックは、エントロピー符号化によって圧縮され、伝送される。現在の映像符号化規格では、選択された予測モードに関連する情報として、予め規格で決められたルールに基づいて推定値を予測する。例えば、Ｈ．２６４／ＡＶＣ規格で定められたイントラ予測モードを示す情報の場合、イントラ予測モードの推定値は、既に符号化された周囲のブロックのイントラ予測モードのうち、予測の方法を示す番号の小さい番号として決められている。

そして、予測される推定値と符号化対象の情報とが同じ場合には、同じであることを示すフラグのみを伝送し、推定値と符号化対象の情報とが異なる場合には、符号化対象の情報を伝送する。例えば、イントラ予測モードの推定値と、実際に符号化時に選択された予測モードとが同じである場合は、フラグのみを伝送し、異なる場合には、選択された予測モードを復元するための情報を伝送する。

図２は、従来のＨ．２６４／ＡＶＣ規格に従った画像符号化装置の構成のうち、予測モードを推定する推定部の詳細な構成の一例を示す図である。また、図３は、従来のＨ．２６４／ＡＶＣ規格に従った画像復号装置の構成のうち、予測モードを復元する復元部の詳細な構成の一例を示す図である。

図２に示すように、推定部５１０は、符号化モード（イントラ予測モード又はインター予測モード）を示す符号化モード情報ＳＭＤが入力される。例えば、イントラピクチャ予測符号化が符号化モードとして選択された場合、符号化モード情報ＳＭＤは、イントラ予測モードを示す情報（イントラ予測ブロックサイズ、イントラ予測方向など）である。一方で、インターピクチャ予測符号化が符号化モードとして選択された場合、符号化モード情報ＳＭＤは、位置情報（動きベクトル）ＭＶである。

予測モード格納メモリ５１１は、入力された符号化モード情報ＳＭＤを格納するメモリである。予測モード候補取得部５１２は、予測モード格納メモリ５１１から入力される、既に符号化された符号化モード情報の中から、予め決められた手段で予測モード推定値候補を取得する。

予測モード推定部５１３は、予測モード推定値候補の中から予測モード推定値ＭＰＭを決定し、決定した予測モード推定値ＭＰＭを出力する。減算部５１４は、符号化の対象ブロックの符号化モード情報ＳＭＤから、各情報に対応する予測モード推定値ＭＰＭを減算した信号である差分予測モード値ＤＭＤを出力する。

信号設定部５１５は、差分予測モード値ＤＭＤが０となる場合は、予測モード推定値と同じであることを示すフラグを符号化予測モード関連信号ＳＳＭＤにセットする。また、差分予測モード値ＤＭＤが０ではない場合には、差分予測モード値ＤＭＤを示す情報を符号化予測モード関連信号ＳＳＭＤとして出力する。

可変長符号化部５２０は、符号化予測モード関連信号ＳＳＭＤをエントロピー符号化し、ビットストリームとして出力する。

また、図３に示すように、可変長復号部６１０は、入力されたビットストリームを復号することで、量子化周波数変換係数ＱＴと、符号化予測モード関連情報ＳＳＭＤとを出力する。

復元部６２０は、符号化予測モード関連信号ＳＳＭＤが入力され、符号化モード情報ＳＭＤ（復号に用いられる、符号化モードＭＤと、イントラ予測モードＩＰＭを示す情報又は位置情報（動きベクトル）ＭＶ）を出力する。具体的には、信号判定部６２１は、符号化予測モード関連信号ＳＳＭＤが入力され、符号化予測モード関連信号ＳＳＭＤが予測モード推定値と同じであることを示すフラグであれば、差分予測モード値ＤＭＤを０として出力する。また、それ以外の場合には、符号化予測モード関連信号ＳＳＭＤに含まれる差分予測モード値ＤＭＤを出力する。

予測モード格納メモリ６２３は、入力された符号化モードＭＤと、イントラ予測モードＩＰＭを示す情報（イントラ予測ブロックサイズ、イントラ予測方向など）又は位置情報（動きベクトル）ＭＶとを格納するメモリである。予測モード候補取得部６２４は、予測モード格納メモリ６２３から、既に復号された符号化モードＭＤと、イントラ予測モードＩＰＭを示す情報又は位置情報（動きベクトル）ＭＶとの中から、予め決められた手段で複数の予測モード推定値候補を取得する。

予測モード推定部６２５は、複数の予測モード推定値候補の中から、予測モード推定値ＭＰＭを決定し、決定した予測モード推定値ＭＰＭを出力する。加算部６２２は、差分予測モード値ＤＭＤと予測モード推定値ＭＰＭとを加算した結果を、符号化モード情報ＳＭＤとして出力する。

一例として、４×４画素のブロックサイズに対するＨ．２６４／ＡＶＣ規格での予測モード候補取得部５１２及び６２４、並びに、予測モード推定部５１３及び６２５において、予測モード推定値ＭＰＭの推定方法を、図１Ａを用いて説明する。

予測モード候補取得部５１２及び６２４は、符号化及び復号ステップにおいて、４×４画素の対象ブロック１０に対して、既に符号化（又は復号）済みの周囲ブロック３０のイントラ予測モードＩＰＭ＿Ａと、周囲ブロック４０のイントラ予測モードＩＰＭ＿Ｂとを取得する。そして、予測モード推定部５１３及び６２５は、ＩＰＭ＿ＡとＩＰＭ＿Ｂとの値の小さい方のモードを予測モード推定値ＭＰＭとして設定する。

一方、エッジ検出を利用した、映像データの圧縮のための映像符号化方法も提案されており、エッジ検出が符号化装置及び復号装置に含まれることもある（非特許文献２）。

ＩＳＯ／ＩＥＣ １４４９６−１０「ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」 ２００８ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ「ＨＩＧＨ ＰＲＥＣＩＳＩＯＮ ＥＤＧＥ ＰＲＥＤＩＣＴＩＯＮ ＦＯＲ ＩＮＴＲＡ ＣＯＤＩＮＧ」

しかしながら、上記従来技術では、以下に示す課題がある。

上記従来技術では、符号化対象ブロックの予測モードの推定において、対象ブロックと周囲ブロックとの類似性を評価していない。このため、周囲ブロックの画像の特徴と、対象ブロックの画像の特徴とが異なる場合には、イントラ推定予測モードが、選択された選択予測モードと一致しにくい。これにより、推定結果が一致しなかったために、推定予測モードとは異なる予測モードを示す情報を伝送する必要があり、符号量が多くなる、又は、符号化画像内に歪みが生じるという課題がある。

一方で、予測モードの推定値と選択された予測モードとを一致させた場合は、対象ブロックの特徴と周囲ブロックの特徴とが異なるため、周囲ブロックからの予測性能が悪くなり、符号量が多くなる、又は、符号化画像内に歪みが生じるという課題がある。具体的には、以下の通りである。

従来のＨ．２６４／ＡＶＣ規格で定められたイントラ予測モード推定では、候補となる予測モードは、対象ブロックの周囲ブロックの符号化に用いられた予測モードである。予測モード推定部において、予測モード推定値は、予測モード候補のモード番号（図１Ｂに示す番号、及び、平均値予測（ＤＣ予測モード）を示す番号２）の小さい番号のものが選択される。

したがって、対象ブロックの推定予測モードは、いずれかの周囲ブロックの予測モードと一致する。しかし、周囲ブロックの画像の特徴と対象ブロックの画像の特徴とが異なる場合、対象ブロックの予測モードは、予測モードの推定結果（推定予測モード）とは一致しにくい。すなわち、復号器側に送信すべき、予測モードを示す情報の符号量は大きくなる。あるいは、予測モードの推定結果と対象ブロックの予測モードとを一致させた場合、対象ブロックの特徴とは異なる特徴をもつ周囲ブロックの予測モードを使うことにより、予測ブロックと対象ブロックとの差分値が大きくなり、符号量が大きくなる。

一方、予測モード候補の数を増やし、予測モード推定を行うことで予測モード推定の予測性能を上げることが考えられる。一例を挙げると、予測モード候補として予め決められた全ての予測モードを設定する。予測モード推定部では、予め決められた全ての予測モードに対し、周辺ブロックの画像の特徴を判定する。

例えば、周辺ブロックに対して、さらに周辺のブロックから予測ブロックを生成し、周囲ブロックと周囲ブロックの予測ブロックとの差分を評価することで、イントラ推定予測モードを決定する。上記の手段により、予測モード推定の予測効率は上がるが、処理量が大きくなる。また、この手段であっても対象ブロックと周囲ブロックとの関係性を評価していないため、周囲ブロックの特徴と対象ブロックの画像の特徴とが異なる場合には、Ｈ．２６４／ＡＶＣ規格の手段と同様に予測性能は悪くなる。

そこで、本発明は、上記課題を解決するためになされたものであって、より高い符号化効率が達成され、符号化歪みが抑制され、かつ、多大な処理量を必要としないように、画像及び映像データを符号化する画像符号化方法、及び、符号化された画像及び映像データを復号する画像復号方法を提供することを目的とする。

上記課題を解決するため、本発明の画像復号方法は、予測モードに基づいた予測に従って画像データをブロック毎に符号化することで生成された符号化画像データを復号する画像復号方法であって、符号化時に実行された予測モードの推定結果を示すモード情報に基づいて、符号化時の予測に用いた予測モードである選択予測モードを復元する復元ステップと、前記選択予測モードに基づいた予測に従って、前記符号化画像データの対象ブロックを復号することで、復号ブロックを生成する復号ステップとを含み、前記復元ステップは、既に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、前記エッジ検出ステップにおいて検出されたエッジに基づいて、予め定められた複数の予測モード候補の数を減らす候補限定ステップと、前記候補限定ステップにおいて減らされた数の前記予測モード候補の中から１つの予測モードを推定予測モードとして決定する予測モード推定ステップと、前記モード情報と前記推定予測モードとに基づいて、前記選択予測モードを復元する予測モード復元ステップとを含む。

これにより、対象ブロックの周囲のブロックにおいて検出されたエッジの方向が対象ブロックを向いているか評価をすることができる。このため、特に対象ピクチャがシャープなエッジを含む場合には、エッジが周囲ブロックから対象ブロックに繋がっているかどうかを調べることによって、周囲のブロックとの相関性を判定することができ、当該判定結果に基づいて、予測モード候補の数を減らすことができるので、予測モード推定に必要な処理量を削減することができる。また、単純に周囲のブロックの予測モード値から推定するよりも適切な、予測モード推定値を決定することができる。したがって、対象ブロックに対する予測モード値と、予測モード推定値の差分が小さくなるので、符号化効率を高めることができ、符号化歪みを抑制することができる。

また、前記モード情報は、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとが一致したことを示すフラグ情報、又は、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとの差分を示す差分情報であり、前記予測モード復元ステップでは、前記モード情報が、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとが一致したことを示すフラグ情報である場合、前記推定予測モードを前記選択予測モードとして決定し、前記モード情報が、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとの差分を示す差分情報である場合、前記差分と前記推定予測モードとを加算することで、前記選択予測モードを復元してもよい。

これにより、予測に用いた予測モードと推定された予測モードとが一致した場合には、一致したことを示すフラグ情報をビットストリームに含めるだけでよいので、符号量を削減することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジの方向に基づいて、前記複数の予測モード候補の数を減らしてもよい。

また、前記複数の予測モード候補は、予め定義された複数の方向予測モードを含み、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジの方向から最も離れた方向の方向予測モードを前記複数の予測モード候補から除外することで、前記複数の予測モード候補の数を減らしてもよい。

これにより、エッジの方向とは離れた方向予測モードを候補から除外することにより、方向予測モードの数を減らすことができるので、予測モード推定に必要な処理量を削減することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された２つ以上のエッジの方向のばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記複数の予測モード候補の数を減らしてもよい。

これにより、例えば、検出されたエッジ間のばらつきが小さい場合には、検出されたエッジの方向を重視した予測モード候補に絞り込むことができるので、エッジの方向を重視した予測モード推定値を決定することができ、より適切な推定値を算出することができる。

また、前記複数の予測モード候補は、前記対象ブロックの周囲に位置する複数の復号ブロックを生成する際に用いた複数の予測モードを含み、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジに基づいて、演算対象である前記複数の復号ブロックの数を減らすことで、前記複数の予測モード候補の数を減らしてもよい。

これにより、例えば、予測モード推定ステップにおいて、複数の周囲ブロックに対して予測モード推定のための演算を行う場合、エッジが検出された周囲ブロックに限定して予測モード推定のための演算を行うことで、演算量を抑制することができる。なお、エッジが検出された周囲ブロックは、対象ブロックとの関連性が強いことが考えられるため、より適切な予測モード推定値を算出することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいてエッジが検出されなかった復号ブロックを演算対象から除外することで前記複数の復号ブロックの数を減らしてもよい。

これにより、エッジが検出されたブロックに演算対象を絞り込むことができるので、予測モード推定に必要な処理量を削減することができる。また、エッジを含む周囲ブロックとの関係が強いことを利用するので、より適切な予測モード推定値を算出することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジのうち、最大ノルムを有する最大エッジを決定し、前記最大エッジが検出された復号ブロックに演算対象を限定することで、前記複数の復号ブロックの数を減らしてもよい。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジの方向の水平成分が垂直成分より大きい場合、前記対象ブロックの左側に位置する復号ブロックに演算対象を限定し、前記エッジ検出ステップにおいて検出されたエッジの方向の垂直成分が水平成分より大きい場合、前記対象ブロックの上側に位置する復号ブロックに演算対象を限定することで、前記複数の復号ブロックの数を減らしてもよい。

また、本発明の画像符号化方法は、画像データをブロック毎に符号化する画像符号化方法であって、予め定められた複数の予測モード候補の中から選択された選択予測モードに基づいた予測に従って、前記画像データの対象ブロックを符号化する符号化ステップと、符号化された対象ブロックを復号することで、復号ブロックを生成する復号ステップと、前記複数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する推定ステップと、前記選択予測モードを復元するためのモード情報を、前記符号化された対象ブロックとともに出力する出力ステップとを含み、前記推定ステップは、既に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、前記エッジ検出ステップにおいて検出されたエッジに基づいて、前記複数の予測モード候補の数を減らす候補限定ステップと、前記候補限定ステップにおいて減らされた数の前記予測モード候補の中から、所定の方法に従って前記推定予測モードを決定する予測モード推定ステップと、前記推定予測モードと前記選択予測モードとに基づいて前記モード情報を生成するモード情報生成ステップとを含む。

これにより、対象ブロックの周囲のブロックにおいて検出されたエッジの方向が対象ブロックを向いているか評価をすることができる。このため、特に対象ピクチャがシャープなエッジを含む場合には、エッジが周囲ブロックから対象ブロックに繋がっているかどうかを調べることによって、周囲のブロックとの相関性を判定することができ、当該判定結果に基づいて、予測モード候補の数を減らすことができるので、予測モード推定に必要な処理量を削減することができる。また、単純に周囲のブロックの予測モード値から推定するよりも適切な、予測モード推定値を決定することができる。したがって、対象ブロックに対する予測モード値と、予測モード推定値の差分が小さくなるので、符号化効率を高めることができ、符号化歪みを抑制することができる。

また、前記モード情報生成ステップでは、前記推定予測モードと前記選択予測モードとを比較し、前記推定予測モードと前記選択予測モードとが一致する場合には、一致したことを示すフラグを前記モード情報として生成し、前記推定予測モードと前記選択予測モードとが一致しない場合には、前記推定予測モードと前記選択予測モードとの差分を示す差分情報を前記モード情報として生成してもよい。

これにより、予測に用いた予測モードと推定された予測モードとが一致した場合には、一致したことを示すフラグ情報をビットストリームに含めるだけでよいので、符号量を削減することができる。

また、前記複数の予測モード候補は、予め定義された複数の方向予測モードを含み、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジの方向から最も離れた方向の方向予測モードを前記複数の予測モード候補から除外することで、前記複数の予測モード候補の数を減らしてもよい。

これにより、エッジの方向とは離れた方向予測モードを候補から除外することにより、方向予測モードの数を減らすことができるので、予測モード推定に必要な処理量を削減することができる。

また、前記複数の予測モード候補は、前記対象ブロックの周囲に位置する複数の復号ブロックを生成する際に用いた複数の予測モードを含み、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジに基づいて、演算対象である前記複数の復号ブロックの数を減らすことで、前記複数の予測モード候補の数を減らしてもよい。

これにより、例えば、予測モード推定ステップにおいて、複数の周囲ブロックに対して予測モード推定のための演算を行う場合、エッジが検出された周囲ブロックに限定して予測モード推定のための演算を行うことで、演算量を抑制することができる。なお、エッジが検出された周囲ブロックは、対象ブロックとの関連性が強いことが考えられるため、より適切な予測モード推定値を算出することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいてエッジが検出されなかった復号ブロックを演算対象から除外することで前記複数の復号ブロックの数を減らしてもよい。

これにより、エッジが検出されたブロックに演算対象を絞り込むことができるので、予測モード推定に必要な処理量を削減することができる。また、エッジを含む周囲ブロックとの関係が強いことを利用するので、より適切な予測モード推定値を算出することができる。

また、前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジの方向の水平成分が垂直成分より大きい場合、前記対象ブロックの左側に位置する復号ブロックに演算対象を限定し、前記エッジ検出ステップにおいて検出されたエッジの方向の垂直成分が水平成分より大きい場合、前記対象ブロックの上側に位置する復号ブロックに演算対象を限定することで、前記複数の復号ブロックの数を減らしてもよい。

なお、本発明は、画像符号化方法及び画像復号方法として実現できるだけではなく、当該画像符号化方法及び画像復号方法に含まれるそれぞれのステップを処理部とする画像符号化装置及び画像復号装置として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

また、上記の画像符号化装置及び画像復号装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。

本発明によれば、処理量の増加を抑制しながら、予測モード推定値をより正確に予測することができるので、符号化歪みを抑制し、かつ、符号化効率を高めることができる。

図１Ａは、従来のＨ．２６４／ＡＶＣ規格に従ったイントラ予測推定が適用される対象ブロックと参照画素との関係の一例を示す図である。 図１Ｂは、従来のＨ．２６４／ＡＶＣ規格に従ったイントラ予測モードセットに含まれる予測方向を示す図である。 図２は、従来のＨ．２６４／ＡＶＣ規格に従った画像符号化装置の構成のうち、推定部の詳細な構成の一例を示す図である。 図３は、従来のＨ．２６４／ＡＶＣ規格に従った画像復号装置の構成のうち、復元部の詳細な構成の一例を示す図である。 図４は、本実施の形態の画像符号化装置の構成の一例を示すブロック図である。 図５は、本実施の形態のハイブリッド符号化を行う画像符号化装置の詳細な構成の一例を示すブロック図である。 図６は、本実施の形態の画像符号化装置が備える推定部の詳細な構成の一例を示すブロック図である。 図７Ａは、エッジを検出し、検出したエッジの方向を推定する方法を示す概略図である。 図７Ｂは、エッジを検出し、検出したエッジの属しているブロックを示す概略図である。 図８は、本実施の形態の画像符号化装置の動作の一例を示すフローチャートである。 図９は、本実施の形態の画像復号装置の構成の一例を示すブロック図である。 図１０は、本実施の形態の画像復号装置の詳細な構成の一例を示すブロック図である。 図１１は、本実施の形態の画像復号装置が備える復元部の詳細な構成の一例を示すブロック図である。 図１２は、本実施の形態の画像復号装置の動作の一例を示すフローチャートである。 図１３は、本実施の形態におけるエッジ検出処理の一例を示すフローチャートである。 図１４は、本実施の形態における予測モードの推定処理の一例を示すフローチャートである。 図１５Ａは、本実施の形態におけるエッジの方向から予測モード候補を限定する方法の一例を示す概略図である。 図１５Ｂは、本実施の形態におけるエッジが検出された位置から予測モード候補を限定する方法の一例を示す概略図である。 図１６は、本実施の形態におけるエッジの角度の算出処理の一例を示すフローチャートである。 図１７は、本実施の形態における予測モードの推定処理の異なる一例を示すフローチャートである。 図１８は、本実施の形態における予測モードの推定処理の異なる一例を示すフローチャートである。 図１９Ａは、本実施の形態におけるエッジが検出された位置から演算対象を限定する方法の一例を示す概略図である。 図１９Ｂは、本実施の形態におけるエッジの方向から演算対象を限定する方法の一例を示す概略図である。 図２０は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。 図２１は、携帯電話の外観を示す図である。 図２２は、携帯電話の構成例を示すブロック図である。 図２３は、デジタル放送用システムの全体構成の一例を示す模式図である。 図２４は、テレビの構成例を示すブロック図である。 図２５は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。 図２６は、光ディスクである記録メディアの構造例を示す図である。 図２７は、各実施の形態に係る画像符号化方法及び画像復号方法を実現する集積回路の構成例を示すブロック図である。

（実施の形態１）
本実施の形態の画像符号化装置は、画像及び映像データを符号化する際に、対象ブロックの周囲に位置する周囲ブロックに含まれるエッジを検出し、検出したエッジに基づいて、複数の予測モード候補の数を減らし、減らされた数の予測モード候補から１つの予測モードを推定予測モードとして決定することを特徴とする。

また、本実施の形態の画像復号装置は、符号化された画像及び映像データを復号する際に、周囲ブロックに含まれるエッジを検出し、検出したエッジに基づいて、複数の予測モード候補の数を減らし、減らされた数の予測モード候補から１つの予測モードを推定予測モードとして決定し、決定した推定予測モードと、符号化器側から送信されるモード情報とに基づいて、予測ブロックの生成に用いる予測モードを復元することを特徴とする。

つまり、本実施の形態では、推定予測モードを決定する際に、エッジに基づいて予測モード候補の数を限定するので、推定予測モードと、実際に予測ブロックを生成する際に選択された選択予測モードとの適合率を高めることができるとともに、予測モード推定に必要な演算量を抑制することができる。

まず、本実施の形態の画像符号化装置の構成について説明する。

図４は、本実施の形態の画像符号化装置１００の構成の一例を示すブロック図である。

画像符号化装置１００は、入力される画像及び映像データをブロック毎に符号化する。図４に示すように、画像符号化装置１００は、符号化部１１０と、復号部１２０と、出力部１３０と、推定部１４０とを備える。

符号化部１１０は、画像及び映像データを構成する複数のブロックの１つである対象ブロックを、複数の予測モード候補から選択された選択予測モードを用いた予測に従って符号化する。

複数の予測モード候補は、予測を行う際に選択されうる全ての予測モードであり、例えば、予め定義された８つの方向予測モード（図１Ｂ参照）、参照画素の平均値を利用するＤＣ予測モード、周囲ブロック内に検出されたエッジの方向を示すエッジ予測モードなどを含んでいる。予測モードとは、予測画像を参照するための画像の参照先を示す情報である。

復号部１２０は、符号化部１１０によって符号化された対象ブロックを復号することで、復号ブロックを生成する。

出力部１３０は、符号化部１１０によって用いられた選択予測モードを復元するためのモード情報を、符号化部１１０によって符号化された対象ブロックとともに、ビットストリームとして出力する。

推定部１４０は、複数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する。図４に示すように、推定部１４０は、エッジベクトル判定部１４１と、候補限定部１４２と、予測モード推定部１４３と、モード情報生成部１４４とを備える。

エッジベクトル判定部１４１は、本発明に係るエッジ検出部の一例であって、対象ブロックの符号化処理より前に符号化及び復号されることで生成された復号ブロック内のエッジを検出する。例えば、エッジベクトル判定部１４１は、対象ブロックの周囲に位置する復号ブロックである周囲ブロック内のエッジを検出する。

候補限定部１４２は、エッジベクトル判定部１４１によって検出されたエッジに基づいて、複数の予測モード候補の数を減らす。例えば、候補限定部１４２は、検出されたエッジの方向、又は、検出されたエッジの画素位置に基づいて、複数の予測モード候補の数を減らす。

また、例えば、複数の予測モード候補が、周囲ブロックを生成する際に用いた複数の予測モードを含んでいる場合、すなわち、予測モード推定部１４３が、周囲ブロックの予測モードを予測モード候補として、推定予測モードを決定する場合、候補限定部１４２は、検出されたエッジに基づいて、演算対象である複数の周囲ブロックの数を減らすことで、複数の予測モード候補の数を減らしてもよい。

予測モード推定部１４３は、候補限定部１４２によって減らされた数の予測モード候補から、推定予測モードを決定する。

モード情報生成部１４４は、予測モード推定部１４３によって決定された推定予測モードと、符号化部１１０によって選択された選択予測モードとに基づいてモード情報を生成する。

以上の構成により、本実施の形態の画像符号化装置１００は、周囲ブロック内に検出されるエッジに基づいて、複数の予測モード候補の数を少なくし、少なくなった数の予測モード候補（限定予測モード候補）の中から対象ブロックの推定予測モードを決定することを特徴とする。すなわち、本実施の形態の画像符号化装置１００は、候補の絞り込みと絞り込まれた候補からの推定値の決定との２段階の処理で、推定予測モードを決定することを特徴とする。

一例としては、予測モード候補が、８個の方向予測モードとＤＣ予測モードとエッジ予測モードとの計１０個である場合において、画像符号化装置１００は、１０個の予測モード候補を、検出されたエッジの方向に近い２個の方向予測モードとエッジ予測モードとの計３個の予測モード候補に限定する。そして、画像符号化装置１００は、限定された３個の予測モード候補の中から推定予測モード候補を決定する。

以下では、本実施の形態の画像符号化装置１００が備える各処理部の詳細な構成及び動作について説明する。

図５は、本実施の形態の画像符号化装置１００の詳細な構成の一例を示すブロック図である。画像符号化装置１００は、ハイブリッド符号化を行う画像符号化装置である。

図５に示すように、画像符号化装置１００は、符号化部１１０と、復号部１２０と、出力部１３０と、推定部１４０と、フレームメモリ１５０と、参照ピクチャメモリ１６０と、制御部１７０とを備える。なお、図４と同じ構成については、同じ参照符号を付している。

また、図５に示すように、符号化部１１０は、減算部１１１と、周波数変換部１１２と、量子化部１１３と、イントラ予測モード決定部１１４と、動き検出部１１５と、イントラ予測部１１６と、動き補償部１１７と、スイッチ１１８及び１１９とを備える。復号部１２０は、逆量子化部１２１と、逆周波数変換部１２２と、加算部１２３とを備える。出力部１３０は、可変長符号化部１３１を備える。

なお、推定部１４０の詳細な構成については、図６を用いて後で説明する。

以下では、画像符号化装置１００が複数のフレームから構成される入力映像データを符号化するときの動作に沿って、各処理部の処理について説明する。

入力映像データの各ピクチャは、フレームメモリ１５０に格納される。各ピクチャは、複数のブロックに分割され、フレームメモリ１５０からブロック単位で（例えば、水平１６画素、垂直１６画素のマクロブロック単位で）出力される。なお、入力映像データは、プログレッシブ形式及びインターレース形式のいずれでもよい。

各マクロブロックは、イントラ又はインター予測モードのいずれかで符号化される。まず、対象マクロブロックがイントラ予測モードで符号化される場合について説明する。

イントラ予測モード（イントラフレーム予測）の場合、フレームメモリ１５０から出力されたマクロブロックは、イントラ予測モード決定部１１４に入力される（このとき、スイッチ１１８は、制御部１７０によって端子“ａ”に接続される）。イントラ予測モード決定部１１４は、入力されたマクロブロックにどのようにイントラ予測を実行するかを決定する。

具体的には、イントラ予測モード決定部１１４は、イントラ予測モード（ＩＰＭ：Ｉｎｔｒａ−Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅ）として、イントラ予測ブロックサイズ（以下のサイズの１つ：水平４画素×垂直４画素、水平８画素×垂直８画素、水平１６画素×垂直１６画素）と、イントラ予測方向とを決定する必要がある。例えば、イントラ予測モード決定部１１４は、対象ブロックを符号化することで発生する符号量が所定の閾値より小さくなるような、イントラ予測ブロックサイズ及びイントラ予測方向を決定する。より好ましくは、イントラ予測モード決定部１１４は、発生する符号量が最も小さくなるような、イントラ予測ブロックサイズ及びイントラ予測方向を決定する。

例えば、図１Ａに示す対象ブロック１０（水平４画素×垂直４画素）は、参照画素２０を用いて、８つの予め定義されたイントラ予測方向のいずれか１つに従って、予測されてもよい。ここで、イントラ予測に用いられる参照画素２０（図１Ａで対角方向の網掛けされた四角）は、既に符号化及び復号され、参照ピクチャメモリ１６０に格納されている。決定されたイントラ予測モードＩＰＭを示す情報は、イントラ予測部１１６と推定部１４０とに出力される。

イントラ予測部１１６は、イントラ予測モード決定部１１４によって決定されたイントラ予測モードＩＰＭに基づいて、参照ピクチャメモリ１６０からイントラ予測に用いられる参照画素（イントラ参照画素）を取得する。そして、イントラ予測部１１６は、参照画素の画素値からイントラ予測された画像ＩＰを生成し、生成したイントラ予測画像ＩＰを減算部１１１に出力する（このとき、スイッチ１１９は、制御部１７０によって端子“ａ”に接続される）。

減算部１１１は、フレームメモリ１５０から入力映像データに含まれるピクチャのマクロブロック（対象マクロブロック）と、イントラ予測部１１６によって生成されたイントラ予測画像ＩＰとを受け取る。そして、減算部１１１は、対象マクロブロックとイントラ予測画像ＩＰとの差分（予測残差とも記載）を算出することで差分画像を生成し、生成した差分画像を周波数変換部１１２に出力する。

周波数変換部１１２は、減算部１１１によって生成された差分画像に、離散コサイン変換などの周波数変換を実行することで周波数変換係数を生成し、生成した周波数変換係数を出力する。

量子化部１１３は、周波数変換部１１２によって生成された周波数変換係数の量子化を行い、量子化された周波数変換係数ＱＴを出力する。ここで、量子化は、予め定められた値（量子化ステップ）によって周波数変換係数を割り算する処理である。この量子化ステップは、制御部１７０によって与えられるとする（量子化ステップは、制御部１７０に入力される制御信号ＣＴＬに含まれてもよい）。量子化周波数変換係数ＱＴは、可変長符号化部１３１と逆量子化部１２１とに出力される。

逆量子化部１２１は、量子化周波数変換係数ＱＴを逆量子化し、逆量子化した周波数変換係数を逆周波数変換部１２２に出力する。このとき、量子化部１１３による量子化時に用いられた量子化ステップと同じ量子化ステップが、制御部１７０から逆量子化部１２１に入力される。

逆周波数変換部１２２は、逆量子化された周波数変換係数を逆周波数変換することで復号された差分画像ＬＤＤを生成する。逆周波数変換部１２２は、生成した復号差分画像ＬＤＤを加算部１２３に出力する。

加算部１２３は、復号差分画像ＬＤＤをイントラ予測画像ＩＰ（又は、インター予測モードの場合は、後述するインター予測画像）ＭＰに加算することで、復号画像ＬＤを生成する。加算部１２３は、生成した復号画像ＬＤを参照ピクチャメモリ１６０に格納する。参照ピクチャメモリ１６０に格納された復号画像ＬＤは、参照画像として後の符号化に用いられる。

可変長符号化部１３１は、量子化部１１３から入力される量子化周波数変換係数ＱＴに可変長符号化を実行し、かつ、イントラ予測モード決定部１１４から推定部１４０を介して入力されるイントラ予測モードＩＰＭを示す情報を同様に処理し、符号化シーケンスとしても参照されるビットストリームを出力する。前述の通り、推定部１４０の詳細な構成については、図６を用いて後で説明する。

ここで、可変長符号化部１３１が用いる可変長符号化方法の１つの方法として、動画像を符号化する国際規格Ｈ．２６４で採用されるコンテキスト適応型算術符号化方法がある。コンテキスト適応型算術符号化方法は、可変長符号化の対象データと、既に可変長符号化（コンテキスト適応型）が実行されたデータとに従って、算術符号化するために用いられる確率テーブルを切り替える方法である。この場合、可変長符号化部１３１は確率テーブルを保持するメモリを備える。

なお、可変長符号化部１３１は、コンテキスト適応型可変長符号化方法を用いて、量子化周波数変換係数ＱＴを可変長符号化してもよい。

次に、対象マクロブロックがインター予測モードで符号化される場合について説明する。

インター予測モード（インターフレーム予測）の場合、フレームメモリ１５０から出力されるマクロブロックは、動き検出部１１５に入力される（このとき、スイッチ１１８は、制御部１７０によって端子“ｂ”に接続される）。動き検出部１１５は、入力されたマクロブロックの、参照ピクチャ（参照ピクチャメモリ１６０に保持された再構成されたピクチャで、符号化されるピクチャとは異なるピクチャ）に対する動き情報（位置情報（動きベクトル））を検出する。

なお、動き検出では、以下に示す位置情報（動きベクトル）が一般的には動き情報として検出される。すなわち、符号化される対象ブロックと予測画像との最小差分値と、位置情報（動きベクトル）の符号量の重みの最小和とを有する位置情報（動きベクトル）である。検出された位置情報（動きベクトル）は、対象ブロックに対する動き情報として、動き補償部１１７と推定部１４０とに出力される。

動き補償部１１７は、動き検出部１１５によって検出された動き（位置情報（動きベクトル））に基づいて、インター予測に用いられる参照画素（インター参照画素）を参照ピクチャメモリ１６０から取得する。そして、動き補償部１１７は、インター予測画像ＭＰを生成し、生成したインター予測画像ＭＰを減算部１１１に出力する（このとき、スイッチ１１９は、制御部１７０によって端子“ｂ”に接続される）。

減算部１１１と、周波数変換部１１２と、量子化部１１３と、逆量子化部１２１と、逆周波数変換部１２２と、加算部１２３とによって実行される処理は、イントラ予測の場合に説明した処理と同じである。それゆえに、これらの処理についての説明はここでは省略する。

可変長符号化部１３１は、量子化部１１３から入力される量子化周波数変換係数ＱＴに可変長符号化を実行し、かつ、推定部１４０から出力される符号化モードＭＤを示す情報とイントラ予測モードＩＰＭ又は動き情報（位置情報（動きベクトル））ＭＶを示す情報とを含むモード情報とに可変長符号化を実行し、ビットストリームを出力する。前述の通り、推定部１４０の詳細な構成については、図６を用いて後で説明する。

ここで、可変長符号化部１３１が、コンテキスト適応型算術符号化を用いて動き情報（位置情報（動きベクトル））ＭＶを符号化する場合、可変長符号化部１３１は確率テーブルを保持するメモリを備える。

モード情報は、映像データを符号化する処理において符号化器（画像符号化装置１００）側で実行された予測を復号器（例えば、後述する画像復号装置３００（図９参照））側で再現するために、復号器によって必要とされる情報のフルセットを含む。それゆえに、モード情報は、マクロブロック毎に符号化モード、すなわち、イントラ及びインター予測のいずれが適用されたかを定義する。さらに、モード情報は、マクロブロックがどのようにサブ分割されたかについての情報を含む。Ｈ．２６４／ＡＶＣによると、１６×１６画素からなるマクロブロックは、例えば、イントラ予測の場合に、さらに、８×８又は４×４画素のブロックにサブ分割されてもよい。

符号化モードに依存して、モード情報は、さらに、動き補償に用いられる位置情報（位置情報（動きベクトル））のセット、又は、対象ブロックをイントラ予測するのに適用されたイントラ予測モードを特定する情報を含んでいる。

なお、符号化モード（イントラ予測モード又はインター予測モード）の選択は、制御部１７０が行っている。

例えば、制御部１７０は、イントラ予測モードＩＰＭと復号画像ＬＤとに基づいて生成されるインター予測画像ＩＰ、又は、位置情報（動きベクトル）ＭＶと復号画像ＬＤとに基づいて生成されるインター予測画像ＭＰと、対象ブロック画像ＩＭＧとをそれぞれ比較することで、符号化モードを選択する。制御部１７０は、一般的に、生成されるビット量と符号化歪みとの重み和が最も小さくなる値を有する符号化モードを選択する。

例えば、制御部１７０は、Ｈ．２６４規格のビットレートと符号化歪みとを用いたコスト関数が、対象ブロックを符号化するための最良の予測モードを決定するために用いてもよい。それぞれの予測モードに対して、差分画像が、直交変換され、量子化され、可変長符号化される。そして、それぞれの予測モードに対して、ビットレートと符号化歪みとが計算される。なお、コスト関数として、例えば、（式１）で示されるラグランジュコスト関数Ｊが用いられる。

（式１）において、Ｒは、差分画像（予測残差とも記載）と予測モード情報とを符号化するのに用いられるビットレートであり、Ｄは、符号化歪みであり、λは、符号化するのに選択される量子化パラメータＱＰに応じて算出されるラグランジュ乗数である。制御部１７０は、コスト関数Ｊが最も低くなる予測モードを、対象ブロックを予測する際の予測モードとして選択する。

なお、制御部１７０は、最適な予測モードを選択するためにコスト関数Ｊを一時的に格納するメモリを備える。

図６は、本実施の形態の推定部１４０の詳細な構成の一例を示す図である。同図に示すように、推定部１４０は、エッジベクトル判定部１４１と、候補限定部１４２と、予測モード推定部１４３と、モード情報生成部１４４とを備える。なお、図４と同じ構成については、同じ参照符号を付している。

また、図６に示すように、エッジベクトル判定部１４１は、エッジ検出部２０１と、方向判定部２０２と、ノルム判定部２０３と、エッジベクトル格納メモリ２０４とを備える。候補限定部１４２は、予測モード格納メモリ２１１と、予測モード候補限定部２１２と、予測モード候補取得部２１３とを備える。モード情報生成部１４４は、減算部２２１と、信号設定部２２２とを備える。

なお、推定部１４０には、制御部１７０によって選択された符号化モード（イントラ予測モード又はインター予測モード）を示す符号化モード情報ＳＭＤが入力される。例えば、イントラピクチャ予測符号化が符号化モードとして選択された場合、符号化モード情報ＳＭＤは、イントラ予測モードＩＰＭを示す情報（イントラ予測ブロックサイズ、イントラ予測方向など）である。一方で、インターピクチャ予測符号化が符号化モードとして選択された場合、符号化モード情報ＳＭＤは、位置情報（動きベクトル）ＭＶである。

予測モード格納メモリ２１１は、入力された符号化モード情報ＳＭＤを格納するメモリである。予測モード候補取得部２１３は、予測モード格納メモリ２１１から、既に符号化された符号化モード情報の中から、予め決められた手段で複数の予測モード推定値候補を取得する。

このとき、予測モード候補取得部２１３は、予測モード候補限定部２１２から入力される限定情報に従って、予測モード推定値候補の取得を制限される。予測モード候補限定部２１２は、エッジベクトル判定部１４１によるエッジ検出処理の結果に基づいて、予測モード候補の数、又は、演算範囲を限定する限定情報を生成し、予測モード候補取得部２１３に出力する。予測モード候補取得部２１３は、限定された数の予測モード推定値候補を予測モード格納メモリ２１１から取得する。

予測モード推定部１４３は、限定された数の予測モード推定値候補の中から、エッジベクトル判定部１４１から出力されるエッジベクトル情報に基づいて予測モード推定値ＭＰＭを決定し、決定した予測モード推定値ＭＰＭを出力する。なお、エッジベクトル判定部１４１の詳細な構成と、予測モード推定部１４３の動作とについては後で詳しく説明する。

減算部２２１は、符号化の対象ブロックの符号化モード情報ＳＭＤから、各情報に対応する予測モード推定値ＭＰＭを減算した信号である差分予測モード値ＤＭＤを出力する。信号設定部２２２は、差分予測モード値ＤＭＤが０となる場合は、予測モード推定値と同じであることを示すフラグを符号化予測モード関連信号ＳＳＭＤにセットして出力する。また、差分予測モード値ＤＭＤが０ではない場合には、差分予測モード値ＤＭＤを示す情報を符号化予測モード関連信号ＳＳＭＤとして出力する。

このように、モード情報生成部１４４は、モード情報の一例である符号化予測モード関連信号ＳＳＭＤを生成する。以上に示すように、モード情報生成部１４４は、推定予測モード（予測モード推定値ＭＰＭ）と選択予測モード（符号化モード情報ＳＭＤ）とを比較し、推定予測モードと選択予測モードとが一致する場合には、一致したことを示すフラグをモード情報として生成し、推定予測モードと選択予測モードとが一致しない場合には、推定予測モードと選択予測モードとの差分を示す差分情報（差分予測モード値ＤＭＤ）をモード情報として生成する。

可変長符号化部１３１は、符号化予測モード関連信号ＳＳＭＤをエントロピー符号化し、ビットストリームとして出力する。

続いて、エッジベクトル判定部１４１の詳細な構成について説明する。

エッジ検出部２０１は、復号画像ＬＤを参照ピクチャメモリ１６０から読み出し、読み出した画像に含まれるエッジを検出する。例えば、エッジ検出部２０１は、参照画像の勾配ベクトル場を算出し、エッジの最大値を与える勾配のノルムを評価することによって検出する。エッジの方向は、対応する勾配の方向に直交するベクトルの方向である。

なお、エッジ検出処理に用いられる参照画像は、対象ブロックに直接隣接するブロックに属する画素のうち、既に符号化及び復号されているブロックに含まれる画素である。勾配値は、（式２）に示す垂直及び水平ソーベル演算子を用いて近接画素で算出される。

エッジ検出部２０１は、画素毎に、垂直ソーベル演算子及び水平ソーベル演算子を用いることで、対応する画素の垂直方向及び水平方向の勾配の大きさ（勾配値）をそれぞれ算出する。算出した垂直方向及び水平方向の勾配値のベクトル合成などを行うことで、画素毎に勾配の方向が決定される。

図７Ａは、エッジを検出し、検出したエッジの方向を推定する方法を示す概略図である。

左斜め下方向に網掛けされた領域は、勾配を計算するために考慮される周囲ブロック５０の画素位置を示す。エッジ検出部２０１は、図７Ａの左斜め下方向に網掛けされた画素のそれぞれに対して、（式２）を用いて勾配値を算出する。そして、エッジ検出部２０１は、算出した勾配値に基づいて勾配の方向を算出し、勾配の方向に直交する方向をエッジの方向として決定する。このとき、勾配の方向に直交する方向のベクトルをエッジベクトルと記載する。なお、エッジベクトルのノルムは、例えば、当該エッジベクトルが検出された画素の勾配ベクトルのノルムと同じである。

また、図７Ｂは、エッジの属するブロックを示す概略図である。

例えば、エッジ検出窓７０で表される範囲の画素に対してエッジ検出を行った結果は、エッジ６２の画素位置のエッジとして扱う。すなわち、この場合、エッジ６２の属するブロックは、４×４画素のブロックで表される周囲ブロック８０となる。

図６に戻ると、方向判定部２０２は、エッジ検出部２０１によって検出されたエッジの方向が、予測モード推定の対象ブロックを指しているか否かを判定する。例えば、図７Ａに示すエッジ６０が検出された場合、エッジ６０の延長線が対象ブロック１０に含まれるので、方向判定部２０２は、エッジ６０は予測モード推定の対象ブロック１０を指していると判定する。一方で、図７Ａに示すエッジ６１が検出された場合、エッジ６１の延長線は対象ブロック１０に含まれないので、方向判定部２０２は、エッジ６１は予測モード推定の対象ブロック１０を指していないと判定する。

ノルム判定部２０３は、方向判定部２０２によって予測モード推定の対象ブロックを指していると判定されたエッジのノルムを算出し、算出したノルムが予め定められた閾値より大きいか否かを判定する。エッジのノルムとは、エッジベクトル又は勾配ベクトルのノルムである。ノルム判定部２０３は、算出したノルムが閾値より大きい場合に、エッジは検出されたと判定する。また、ノルム判定部２０３は、算出したノルムが閾値以下の場合に、エッジは検出されなかったと判定する。なお、このときに用いられる閾値は、例えば、異なる最大ベクトルノルムと、シャープなエッジ及び滑らかな領域の両方を含む異なるシーケンスとの違いの比較に基づいて、経験的に選択される。

エッジベクトル格納メモリ２０４は、ノルム判定部２０３によってエッジと判定されたエッジの位置情報とエッジベクトルとを格納するメモリである。予測モード候補限定部２１２は、エッジベクトル格納メモリ２０４に格納されたエッジベクトルに基づいて、複数の予測モード候補の数を減らす。また、予測モード推定部１４３は、エッジが検出されたか否かに応じて、予測モード候補取得部２１３から得られる、限定された数の予測モード推定値候補からの予測モード推定値を決定する。

ここで、予測モード推定部１４３が、エッジベクトル判定部１４１によって検出されたエッジに基づいて、限定された数の予測モード候補の中から予測モード推定値を決定する処理について説明する。

具体的には、エッジベクトルのノルムが閾値以下の場合、すなわち、エッジが検出されない場合には、予測モード推定部１４３は、予測モード候補取得部２１３から出力される、限定された数の予測モード候補から、従来と同様に予め決められた方法で決定する。予め決められた方法とは、イントラ予測モード推定値に対しては、Ｈ．２６４映像符号化規格で決められる、周囲ブロックの予測モードのうち小さい符号化モード番号を有するモードの番号を予測モード推定値ＭＰＭとして決定する。一方、インター符号化モードにおける位置情報予測値に対しては、Ｈ．２６４映像符号化規格で決められる、周囲ブロックの位置情報に対して、メディアンを掛けた値を予測モード推定値ＭＰＭとして決定する。

エッジベクトル（又は、勾配ベクトル）のノルムが閾値より大きい場合、すなわち、エッジが検出された場合、予測モード推定部１４３は、イントラ予測モード推定値に対して、予測モード候補取得部２１３から出力される、限定された数の予測モード候補から、最大のノルムを有するエッジに属する周囲ブロックの予測モードの番号を予測モード推定値ＭＰＭとして決定する。インター符号化モードにおける位置情報推定値に対しては、同様に最大のノルムを有するエッジに属する周囲ブロックの位置情報値を予測モード推定値ＭＰＭとして決定する。

なお、予測モード推定部１４３は、エッジ以外の情報に基づいて予測モード推定値ＭＰＭを決定してもよい。例えば、エッジの有無に関わらず、予測モード推定部１４３は、従来のように、周囲ブロックの予測モードのうち小さい符号化モード番号を有するモードの番号を予測モード推定値ＭＰＭとして決定してもよい。

続いて、本実施の形態の画像符号化装置１００の動作について説明する。

図８は、本実施の形態の画像符号化装置１００の動作の一例を示すフローチャートである。

まず、符号化部１１０は、複数の予測モード候補から選択された選択予測モードを用いた予測に従って、対象ブロックを符号化する（Ｓ１０１）。具体的には、符号化部１１０は、選択予測モードを用いて予測ブロックを生成し、生成した予測ブロックと対象ブロックとの差分（予測誤差）を変換及び量子化する。

次に、復号部１２０は、符号化された対象ブロックを復号することで、復号ブロックを生成する（Ｓ１０２）。具体的には、復号部１２０は、変換及び量子化された予測誤差を逆量子化及び逆変換することで、復号差分ブロックを生成し、生成した復号差分ブロックと上記予測ブロックとを加算することで、復号ブロックを生成する。生成された復号ブロックは、参照ピクチャメモリ１６０に格納される。

次に、エッジベクトル判定部１４１は、エッジ検出処理を実行する（Ｓ１０３）。具体的には、エッジベクトル判定部１４１は、対象ブロックの周囲に位置する、前に生成された復号ブロックに含まれるエッジを検出する。エッジ検出処理の具体的な動作については、後で説明する。

エッジ検出処理によってエッジが検出された場合（Ｓ１０４でＹｅｓ）、候補限定部１４２は、検出されたエッジに基づいて、複数の予測モード候補の数を減らす（Ｓ１０５）。例えば、候補限定部１４２は、検出されたエッジの角度（すなわち、方向）、又は、エッジが検出された画素位置に基づいて、複数の予測モード候補の数を減らす。

そして、予測モード推定部１４３は、減らされた数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する（Ｓ１０６）。なお、エッジ検出処理によってエッジが検出されなかった場合（Ｓ１０４でＮｏ）、予測モード推定部１４３は、全ての数の予測モード候補の中から推定予測モードを決定する。

次に、モード情報生成部１４４は、決定された推定予測モードと選択予測モードとに基づいて、選択予測モードを復元するためのモード情報を生成する（Ｓ１０７）。

最後に、出力部１３０は、モード情報と符号化された対象ブロックとを、ビットストリームとして出力する（Ｓ１０８）。例えば、出力部１３０が備える可変長符号化部１３１は、変換及び量子化された予測誤差と、モード情報とをエントロピー符号化する。

以上のように、本実施の形態の画像符号化装置１００は、対象ブロックの推定値を決定する際に、エッジ検出の結果に従って予測モード候補の数を限定し、限定した数の予測モード候補の中から推定値を決定する。そして、決定した推定値と、対象ブロックの予測ブロックを生成する際に用いられた予測モードを示す値との差分を算出することによって、実際に符号化する値を決定する。

次に、本実施の形態の画像復号装置３００の構成について説明する。

図９は、本実施の形態の画像復号装置３００の構成の一例を示すブロック図である。

画像復号装置３００は、予測モードを用いた予測に従って画像データをブロック毎に符号化することで生成された符号化画像データを復号する。図９に示すように、画像復号装置３００は、復号部３１０と、復元部３２０とを備える。

復号部３１０は、復元部３２０によって復元された選択予測モードを用いた予測に従って、符号化画像データを構成する複数のブロックの１つである対象ブロックを復号することで、復号ブロックを生成する。生成された復号ブロックは、画像及び映像データとして出力される。なお、複数の予測モード候補は、符号化器側と同様に、予測を行う際に選択されうる全ての予測モードであり、例えば、８個の方向予測モード、ＤＣ予測モード及びエッジ予測モードなどを含んでいる。

復元部３２０は、符号化時に選択された予測モードを復元するためのモード情報に基づいて、複数の予測モード候補から選択予測モードを復元する。なお、モード情報は、符号化時に実行された予測モードの推定結果を示す情報である。図９に示すように、復元部３２０は、エッジベクトル判定部３２１と、候補限定部３２２と、予測モード推定部３２３と、予測モード復元部３２４とを備える。

エッジベクトル判定部３２１は、本発明に係るエッジ検出部の一例であって、対象ブロックの復号処理より前に復号されることで生成された復号ブロック内のエッジを検出する。例えば、エッジベクトル判定部３２１は、対象ブロックの周囲に位置する復号ブロックである周囲ブロック内のエッジを検出する。

候補限定部３２２は、エッジベクトル判定部３２１によって検出されたエッジに基づいて、複数の予測モード候補の数を減らす。例えば、候補限定部３２２は、検出されたエッジの方向、又は、検出されたエッジの画素位置に基づいて、複数の予測モード候補の数を減らす。

また、例えば、複数の予測モード候補が、周囲ブロックを生成する際に用いた複数の予測モードを含んでいる場合、すなわち、予測モード推定部３２３が、周囲ブロックの予測モードを予測モード候補として、推定予測モードを決定する場合、候補限定部３２２は、検出されたエッジに基づいて、演算対象である複数の周囲ブロックの数を減らすことで、複数の予測モード候補の数を減らしてもよい。

予測モード推定部３２３は、候補限定部３２２によって減らされた数の予測モード候補から、推定予測モードを決定する。

予測モード復元部３２４は、推定予測モードとモード情報とに基づいて選択予測モードを復元する。

以上の構成により、本実施の形態の画像復号装置３００は、周囲ブロック内に検出されるエッジに基づいて、複数の予測モード候補の数を少なくし、少なくなった数の予測モード候補（限定予測モード候補）の中から対象ブロックの推定予測モード候補を決定することを特徴とする。すなわち、本実施の形態の画像復号装置３００は、候補の絞り込みと絞り込まれた候補からの推定値の決定との２段階の処理で、推定予測モードを決定することを特徴とする。

以下では、本実施の形態の画像復号装置３００が備える各処理部の詳細な構成及び動作について説明する。

図１０は、本実施の形態の画像復号装置３００の詳細な構成の一例を示すブロック図である。同図に示すように、画像復号装置３００は、復号部３１０と、復元部３２０と、可変長復号部３３０と、制御部３４０とを備える。

また、図１０に示すように、復号部３１０は、逆量子化部３１１と、逆周波数変換部３１２と、加算部３１３と、フレームメモリ３１４と、スイッチ３１５と、イントラ予測部３１６と、動き補償部３１７と、スイッチ３１８とを備える。なお、復元部３２０の詳細な構成については、図１１を用いて後で説明する。

以下では、画像復号装置３００が、ビットストリーム（符号化された映像データ）を復号するときの動作に沿って、各処理部の処理について説明する。本実施の形態の画像復号装置３００は、予測残差を含む符号化映像データをブロック毎にイントラ又はインターフレーム予測符号化ブロックのいずれかとして復号し、映像データ又は画像データとして出力する。

可変長復号部３３０は、ビットストリームを予め決められた手段に基づき可変長復号し、量子化周波数変換係数ＱＴと、符号化予測モード関連信号ＳＳＭＤとを出力する。復元部３２０は、符号化予測モード関連信号ＳＳＭＤと既に復号された画像信号ＬＤとが入力され、符号化モードＭＤと、イントラ予測モードＩＰＭ又は位置情報（動きベクトル）ＭＶとを示す情報を出力する。なお、前述の通り、復元部３２０の詳細な構成については、図１１を用いて後で説明する。

符号化モードＭＤは、制御部３４０に入力され、イントラ予測モードＩＰＭ又は位置情報（動きベクトル）ＭＶを示す情報は、スイッチ３１５に入力され、量子化周波数変換係数ＱＴは、逆量子化部３１１に入力される。

制御部３４０は、符号化モードＭＤに基づいてスイッチ３１５及び３１８を制御する。符号化モードＭＤがイントラ予測符号化を示す場合、スイッチ３１５は、端子“ａ”に接続され、イントラ予測モードＩＰＭを示す情報がイントラ予測部３１６に入力される。符号化モードＭＤがインター予測符号化を示す場合、スイッチ３１５は、端子“ｂ”に接続され、位置情報（動きベクトル）ＭＶが動き補償部３１７に入力される。

対象ブロックがイントラ予測符号化ブロックの場合、スイッチ３１５及び３１８は、端子“ａ”に接続される。そして、イントラ予測モードＩＰＭを示す情報は、イントラ予測部３１６に入力され、量子化周波数変換係数ＱＴは、逆量子化部３１１に入力される。なお、量子化周波数変換係数ＱＴが、符号化器（例えば、画像符号化装置１００）によって符号化された予測誤差に相当する。

イントラ予測部３１６は、入力されたイントラ予測モードに基づいて、イントラ予測参照画素をフレームメモリ３１４から取得し、イントラ予測された画像（予測ブロック）を生成し、加算部３１３にイントラ予測画像を出力する。

逆量子化部３１１は、量子化周波数変換係数ＱＴを逆量子化し、逆量子化した周波数変換係数を逆周波数変換部３１２に出力する。そして、逆周波数変換部３１２は、逆量子化された周波数変換係数を逆周波数変換することで、復号された差分画像ＬＤＤを生成する。逆周波数変換部３１２は、生成した復号差分画像ＬＤＤを加算部３１３に出力する。

加算部３１３は、復号差分画像ＬＤＤとイントラ予測画像ＩＰとを加算することで、復号画像ＬＤを生成する。生成した復号画像ＬＤは、フレームメモリ３１４に格納される。なお、フレームメモリ３１４に格納された復号画像は、後の復号で参照ピクチャとして用いられる。また、復号画像は、復号映像データを成すように出力される。

対象ブロックがインター予測ブロックの場合、スイッチ３１５及び３１６は、端子“ｂ”に接続される。そして、位置情報（動きベクトル）ＭＶを示す情報が動き補償部３１７に入力され、量子化周波数変換係数ＱＴが逆量子化部３１１に入力される。

動き補償部３１７は、入力された位置情報（動きベクトル）ＭＶに基づいて、参照画素をフレームメモリ３１４から取得し、予測されたピクチャを生成し、加算部３１３に予測ピクチャを出力する。

逆量子化部３１１、逆周波数変換部３１２及び加算部３１３の処理は、イントラ予測ブロックの場合に説明した処理と同じである。復号画像ＬＤは、フレームメモリ３１４に格納される。フレームメモリ３１４に格納された復号画像は、後の復号で参照ピクチャとして用いられる。また、復号画像は、復号映像データを成すように出力される。

続いて、本実施の形態の復元部３２０の詳細な構成について図１１を用いて説明する。

図１１は、本実施の形態の復元部３２０の詳細な構成の一例を示す図である。同図及び図９に示すように、復元部３２０は、エッジベクトル判定部３２１と、候補限定部３２２と、予測モード推定部３２３と、予測モード復元部３２４とを備える。

また、エッジベクトル判定部３２１は、エッジ検出部４０１と、方向判定部４０２と、ノルム判定部４０３と、エッジベクトル格納メモリ４０４とを備える。また、候補限定部３２２は、予測モード格納メモリ４１１と、予測モード候補限定部４１２と、予測モード候補取得部４１３とを備える。また、予測モード復元部３２４は、信号判定部４２１と、加算部４２２とを備える。

復元部３２０は、符号化予測モード関連信号ＳＳＭＤと、既に復号された画像信号ＬＤとが入力され、符号化モードＭＤと、イントラ予測モードＩＰＭ又は位置情報（動きベクトル）ＭＶとを示す情報を符号化モード情報ＳＭＤとして出力する。

具体的には、信号判定部４２１は、入力された符号化予測モード関連信号ＳＳＭＤが予測モード推定値と同じであることを示すフラグであれば、差分予測モード値ＤＭＤを０として出力する。また、それ以外の場合には、符号化予測モード関連信号ＳＳＭＤに含まれる差分予測モード値ＤＭＤを出力する。

予測モード格納メモリ４１１は、入力された符号化モードＭＤと、イントラ予測モードＩＰＭを示す情報（イントラ予測ブロックサイズ、イントラ予測方向など）又は位置情報（動きベクトル）ＭＶとを格納するメモリである。予測モード候補取得部４１３は、予測モード格納メモリ４１１から、既に復号された符号化モードＭＤと、イントラ予測モードＩＰＭを示す情報又は位置情報（動きベクトル）ＭＶとの中から、予め決められた手段で複数の予測モード推定値候補を取得する。

このとき、予測モード候補取得部４１３は、予測モード候補限定部４１２から入力される限定情報に従って、予測モード推定値候補の取得を制限される。予測モード候補限定部４１２は、エッジベクトル判定部３２１によるエッジ検出処理の結果に基づいて、予測モード候補の数、又は、演算範囲を限定する限定情報を生成し、予測モード候補取得部４１３に出力する。予測モード候補取得部４１３は、限定された数の予測モード推定値候補を予測モード格納メモリ４１１から取得する。

予測モード推定部３２３は、限定された数の予測モード推定値候補の中から、エッジベクトル判定部３２１から出力されるエッジベクトル情報に基づいて、予測モード推定値ＭＰＭを決定し、決定した予測モード推定値ＭＰＭを出力する。加算部４２２は、差分予測モード値ＤＭＤと予測モード推定値ＭＰＭとを加算した結果を、符号化モード情報ＳＭＤとして出力する。

このように、予測モード復元部３２４は、モード情報の一例である符号化予測モード関連信号ＳＳＭＤがフラグ情報である場合、推定予測モード（予測モード推定値ＭＰＭ）を選択予測モード（符号化モード情報ＳＭＤ）として決定し、推定予測モードと選択予測モードとの差分を示す差分情報（差分予測モード値ＤＭＤ）である場合、差分と推定予測モードとを加算することで選択予測モードを復元する。

なお、エッジベクトル判定部３２１の詳細な構成と、予測モード推定部３２３の動作については後で詳しく説明する。

エッジベクトル判定部３２１は、上述のように、エッジ検出部４０１と、方向判定部４０２と、ノルム判定部４０３と、エッジベクトル格納メモリ４０４とを備える。

エッジ検出部４０１は、既に復号された画像信号ＬＤを読み出し、読み出した画像に含まれるエッジを検出する。具体的なエッジ検出処理は、エッジ検出部２０１と同様である。

方向判定部４０２は、エッジ検出部４０１によって検出されたエッジの方向が、予測モード推定の対象のブロックを指しているか否かを判定する。具体的なエッジの方向判定処理は、方向判定部２０２と同様である。

ノルム判定部４０３は、エッジ検出部４０１によって予測モード推定の対象ブロックを指していると判定されたエッジのノルムを算出し、算出したノルムが予め定められた閾値より大きいか否かを判定する。なお、このときに用いられる閾値は、符号化時のノルム判定処理で用いられた閾値と同じ閾値であることが望ましい。したがって、閾値が装置に固有の値で無い場合は、符号化装置から送信される。具体的なノルム判定処理は、ノルム判定部２０３と同様である。

エッジベクトル格納メモリ４０４は、ノルム判定部４０３によってエッジと判定されたエッジの位置情報とエッジベクトルとを格納するメモリである。予測モード候補限定部４１２は、エッジベクトル格納メモリ４０４に格納されたエッジベクトルに基づいて、複数の予測モード候補の数を減らす。また、予測モード推定部３２３は、対象ブロックの予測モードを推定する際に、エッジが検出されたか否かに応じて、予測モード候補取得部４１３から得られる、予測モード推定値候補からの予測モード推定値を決定する。

ここで、予測モード推定部３２３が、エッジベクトル判定部３２１によって検出されたエッジに基づいて、限定された数の予測モード候補の中から予測モード推定値を決定する処理について説明する。

具体的には、エッジベクトルのノルムが閾値以下の場合、すなわち、エッジが検出されない場合には、予測モード推定部３２３は、予測モード候補取得部４１３から出力される、限定された数の予測モード候補から、従来と同様に予め決められた方法で決定する。予め決められた方法とは、イントラ予測モード推定値に対しては、Ｈ．２６４映像符号化規格で決められる、周囲ブロックの予測モードのうち小さい符号化モード番号を有するモードの番号を予測モード推定値ＭＰＭとして決定する。一方、インター符号化モードにおける位置情報予測値に対しては、Ｈ．２６４映像符号化規格で決められる、周囲ブロックの位置情報に対して、メディアンを掛けた値を予測モード推定値ＭＰＭとして決定する。

エッジベクトル（又は、勾配ベクトル）のノルムが閾値より大きい場合、すなわち、エッジが検出された場合、予測モード推定部３２３は、イントラ予測モード推定値に対して、予測モード候補取得部４１３から出力される、限定された数の予測モード候補から、最大のノルムを有するエッジに属する周囲ブロックの予測モードの番号を予測モード推定値ＭＰＭとして決定する。インター符号化モードにおける位置情報推定値に対しては、同様に最大のノルムを有するエッジに属する周囲ブロックの位置情報値を予測モード推定値ＭＰＭとして決定する。

なお、予測モード推定部３２３は、エッジ以外の情報に基づいて予測モード推定値ＭＰＭを決定してもよい。例えば、エッジの有無に関わらず、予測モード推定部３２３は、従来のように、周囲ブロックの予測モードのうち小さい符号化モード番号を有するモードの番号を予測モード推定値ＭＰＭとして決定してもよい。

次に、本実施の形態の画像復号装置３００の動作について説明する。

図１２は、本実施の形態の画像復号装置３００の動作の一例を示すフローチャートである。

まず、エッジベクトル判定部３２１は、エッジ検出処理を行う（Ｓ２０１）。対象ブロックの周囲に位置する、既に生成された復号ブロックに含まれるエッジを検出する。エッジ検出処理の具体的な動作については、後で説明する。

エッジ検出処理によってエッジが検出された場合（Ｓ２０１でＹｅｓ）、候補限定部３２２は、検出されたエッジに基づいて、複数の予測モード候補の数を減らす（Ｓ２０２）。例えば、候補限定部３２２は、検出されたエッジの角度（すなわち、方向）、又は、エッジが検出された画素位置に基づいて、複数の予測モード候補の数を減らす。

そして、予測モード推定部３２３は、減らされた数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する（Ｓ２０４）。なお、エッジ検出処理によってエッジが検出されなかった場合（Ｓ２０３でＮｏ）、予測モード推定部３２３は、全ての数の予測モード候補の中から推定予測モードを決定する。

次に、予測モード復元部３２４は、予測モード推定部３２３によって決定された推定予測モードとモード情報とに基づいて、選択予測モードを復元する（Ｓ２０５）。具体的には、モード情報が、選択予測モードと推定予測モードとが一致することを示すフラグである場合は、予測モード復元部３２４は、推定予測モードを選択予測モードとして復元する。

また、モード情報が、フラグではない場合は、モード情報に含まれる情報と推定予測モードとに基づいて選択予測モードを決定する。例えば、モード情報が、推定予測モードと、符号化時に用いられた予測モードとの差分情報を含む場合、当該差分情報と推定予測モードとを加算することで、選択予測モードを復元する。

そして、復号部３１０は、復元された選択予測モードを用いた予測に従って、対象ブロックを復号することで、復号ブロックを生成する（Ｓ２０６）。

以上のように、本実施の形態の画像復号装置３００は、対象ブロックの推定値を決定する際に、エッジ検出の結果に従って予測モード候補の数を限定し、限定した数の予測モード候補の中から推定値を決定する。そして、決定した推定値と、対象ブロックの差分モード情報とを加算することによって、実際に復号するときに用いる予測モードを決定する。

以下では、本実施の形態の画像符号化装置１００及び画像復号装置３００のそれぞれに共通する動作について説明する。具体的には、エッジ検出処理（Ｓ１０３及びＳ２０１）と、当該エッジ検出処理の結果に基づいた予測モード候補の限定処理（Ｓ１０５及びＳ２０３）と、予測モードの推定処理（Ｓ１０６及びＳ２０４）とについて説明する。

まず、エッジ検出処理について図１３を用いて説明する。図１３は、本実施の形態のエッジ検出処理の一例を示すフローチャートである。なお、以下では、画像符号化装置１００が実行するエッジ検出処理（Ｓ１０３）について説明する。

エッジ検出処理は、勾配を算出するために考慮される全ての画素（例えば、図７Ａの左斜め下方向に網掛けされた画素）に対して実行されるので、エッジ検出部２０１は、勾配を算出する処理の対象となる画素を選択し、選択した画素の画素位置を設定する（Ｓ３０１）。

エッジ検出部２０１は、対象画素位置の勾配ベクトルを（式２）のソーベル演算子を適用することで算出する（Ｓ３０２）。そして、エッジ検出部２０１は、算出した勾配ベクトルに直交するエッジベクトルを算出し、算出したエッジベクトルの方向を検出する（Ｓ３０３）。なお、エッジベクトルのノルムは、例えば、勾配ベクトルのノルムに等しい。

次に、方向判定部２０２は、算出された勾配が対象ブロックを横切るエッジを示すか否か、すなわち、勾配ベクトルに直交するエッジベクトルが予測の対象ブロックを指しているか否かを判定する（Ｓ３０４）。なお、エッジベクトルが対象ブロックを指しているとは、エッジベクトルの延長線が対象ブロックを通過することである。

エッジベクトルが予測の対象ブロックを指していない場合であって（Ｓ３０４でＮｏ）、かつ、次の画素がある場合（Ｓ３０５でＹｅｓ）、処理は、次の画素に進む。すなわち、次の画素を新たな対象画素として、対象画素位置の設定（Ｓ３０１）から繰り返される。

エッジベクトルが予測の対象ブロックを指している場合には（Ｓ３０４でＹｅｓ）、ノルム判定部２０３は、勾配ベクトルのノルムを算出する（Ｓ３０６）。そして、ノルム判定部２０３は、算出したノルムが予め定められた閾値より大きいか否かを判定する（Ｓ３０７）。

算出したノルムが閾値以下である場合（Ｓ３０７でＮｏ）、かつ、次の画素がある場合（Ｓ３０５でＹｅｓ）、処理は次の画素に進む。すなわち、次の画素を新たな対象画素として、対象画素位置の設定（Ｓ３０１）から繰り返される。

算出したノルムが閾値より大きい場合には（Ｓ３０７でＹｅｓ）、ノルム判定部２０３は、算出したノルムが、前に決定された全ての勾配ベクトルのうち最大ノルムを有する勾配ベクトルのノルムより大きいか否かを判定する（Ｓ３０８）。算出したノルムが最大ノルムより大きい場合は（Ｓ３０８でＹｅｓ）、当該勾配ベクトルを、新たな最大ベクトルとして設定する（Ｓ３０９）。

そして、算出したノルムと最大ノルムとの比較結果に関わらず、ノルム判定部２０３は、画素のベクトルと位置とをエッジベクトル格納メモリ２０４に格納する（Ｓ３１０）。このとき、メモリに格納する画素のベクトルは、エッジベクトルであることが望ましい。また、メモリは、例えば、ノルム判定部２０３の内部に備えるメモリであってもよい。

そして、次の画素がある場合（Ｓ３０５でＹｅｓ）、処理は次の画素に進む。すなわち、次の画素を新たな対象画素として、対象画素位置の設定（Ｓ３０１）から繰り返される。

以上のようにして、対象ブロック（対象ブロック１０）の周囲に位置する周囲ブロック（周囲ブロック５０）に含まれる画素であって、エッジ検出処理の対象となる全ての画素（図７Ａの左斜め下方向に網掛けされた画素）に対して、エッジ検出処理が実行され、エッジが検出された画素の位置と、そのエッジベクトルとがメモリに格納される。

なお、上述のエッジ検出処理を画像復号装置３００が実行する場合も同様である。具体的には、エッジ検出部２０１、方向判定部２０２、ノルム判定部２０３及びエッジベクトル格納メモリ２０４のそれぞれが行う処理を、エッジ検出部４０１、方向判定部４０２、ノルム判定部４０３及びエッジベクトル格納メモリ４０４がそれぞれ実行する。

続いて、本実施の形態の推定部１４０及び復元部３２０の動作について図１４を用いて説明する。具体的には、推定部１４０及び復元部３２０が行う予測モードの推定処理について説明する。

図１４は、本実施の形態の推定部１４０及び復元部３２０が行う予測モードの推定処理の一例を示すフローチャートである。具体的には、図１４は、予測モード候補の数を限定することで、演算処理量を削減し、かつ適切な予測モード推定値を決定する処理を示すフローチャートである。なお、以下では、画像符号化装置１００が備える推定部１４０が実行する処理について説明する。

まず始めに、図１３のエッジ検出処理が、エッジ検出部２０１、方向判定部２０２、ノルム判定部２０３及びエッジベクトル格納メモリ２０４によって実行される（Ｓ４０１）。次に、予測モード推定部１４３は、少なくとも１つのエッジベクトルが格納されているか、すなわち、対象ブロックを指すエッジに対応する方向で閾値より大きなノルムを有するベクトルがあるか否かを判定する（Ｓ４０２）。

なお、ステップＳ４０１及びＳ４０２はそれぞれ、図８に示すステップＳ１０３及びＳ１０４に相当する。

エッジベクトルが１つも格納されていない場合、すなわち、エッジが検出されなかった場合（Ｓ４０２でＮｏ）、予測モード推定部１４３は、従来の予測モード推定値決定方法により予測モードの推定値を決定する（Ｓ４０３）。ここで、従来の予測モード推定値決定方法とは、周囲ブロックの予測モードから所定の方法で予測モード推定値を決定する方法である。

少なくとも１つのエッジベクトルが格納されている場合、すなわち、エッジが検出された場合（Ｓ４０２でＹｅｓ）、エッジベクトル判定部１４１は、エッジ角度算出処理を行うことで、エッジの角度を算出する（Ｓ４０４）。エッジ角度算出処理の具体的な動作については、図１６を用いて後で説明する。

予測モード候補限定部２１２は、算出したエッジの角度と、予め決められた方向予測モードの角度とを比較し、角度の最も近い２つの方向予測モードを選択し、選択した２つの方向予測モードを示す情報を、限定情報として予測モード候補取得部２１３に出力する（Ｓ４０５）。ここで、角度の最も近い２つの方向予測モードとは、例えば、図１５Ａに示すように、算出されたエッジベクトルの角度が、水平から右下方向に対して１０度傾いている場合であって、Ｈ．２６４規格の方向予測モードと比較する場合は、図１Ｂで示される予測モード番号、１と６が、２つの方向予測モードとして出力される。

このように、予測モード候補限定部２１２は、８個の方向予測モードを２個の方向予測モードに限定することで、予測モード候補の数を減らしている。なお、２個の方向予測モードに限定するのではなく、予測モード候補限定部２１２は、８個より少なくすればよい。つまり、予測モード候補限定部２１２は、検出されたエッジの方向から最も離れた方向の方向予測モードを候補から除外することで、複数の予測モード候補の数を少なくすればよい。

また、予測モード候補限定部２１２は、エッジが検出されたブロックの位置に基づいて、予測モード候補を限定してもよい。具体的には、図１Ｂで示される予測モードのうち、予測モード番号８は対象ブロックの左側の周辺ブロックからの予測であり、予測モード番号３は対象ブロックの上側の周辺ブロックからの予測である。例えば、図１５Ｂに示すように、エッジ検出処理において検出されたエッジベクトルのうち、上側の周辺ブロックに属するエッジベクトルが多い場合には、上側の周辺ブロックからの予測である、予測モード番号３、７、０、５、４、６に限定してもよい。また、同様に左側のブロックに属するエッジベクトルが多い場合には、左側の周辺ブロックからの予測である、予測モード番号５、４、６、１、８に限定してもよい。

予測モード推定部１４３は、予測モード候補取得部２１３から、限定された予測モード、すなわち、エッジベクトルの角度に近い２つの方向予測モードと、予め決められた方向予測モード以外の予測モード候補（例えば、エッジ予測モードなど）の中から、予測モード推定値を決定する（Ｓ４０６）。

以上は、画像符号化装置１００での予測モード推定値を決定する処理についての説明であるが、画像復号装置３００についても、画像符号化装置１００と同様の処理となる。エッジベクトル判定部１４１、予測モード候補限定部２１２、予測モード格納メモリ２１１、予測モード候補取得部２１３及び予測モード推定部１４３のそれぞれが実行する処理が、エッジベクトル判定部３２１、予測モード候補限定部４１２、予測モード格納メモリ４１１、予測モード候補取得部４１３及び予測モード推定部３２３によって実行される。

ここで、予測モード候補から予測モード推定値を決定する方法の一例を説明する。例えば、予測モード候補として、全ての予測モードとし、判定領域としては、対象ブロックの上部、左部分にある周囲ブロックとする。予測モード推定部１４３は、判定領域のブロックに対して、全ての予測モードで取り得る予測ブロックを、さらに周囲のブロックを用いることにより生成し、生成された予測ブロックと、予測ブロックに対応する符号化及び復号済みの復号ブロックとの差分を算出する。そして、予測モード推定部１４３は、算出した差分が最も小さくなる予測ブロックを生成した予測モードを、予測モード推定値として決定する。

これは、画像の空間連続性から周囲ブロックの結果から対象ブロックの結果を予測する方法であるが、処理量は非常に多い。ここで、図１４で示した予測モード候補限定部２１２により、予測モードの候補数を限定することで、処理量を削減することができ、かつ、エッジの連続性から、さらに画像の空間連続性の強い領域のみを用いて対象ブロックの予測モード推定値を決定できるため、精度の向上が期待できる。

続いて、エッジ検出結果に基づいて、検出されたエッジの角度を算出する処理について説明する。エッジの角度算出処理の概要は以下の通りである。

周囲ブロックに含まれる、勾配の算出処理の対象となる画素毎に、勾配が算出され、エッジベクトル判定部１４１は、最大ノルムを有するベクトルと、最大ノルムを有するベクトルが得られた画素に隣接する画素のベクトルとを用いてエッジの角度を算出する。具体的には、隣接画素のそれぞれに対して、対応するエッジベクトル（又は勾配ベクトル）のノルムと、最大ベクトルのノルムとを比較する。

隣接画素のエッジベクトルのノルムが、最大ベクトルのノルムの５０％より大きい場合のみ、当該隣接画素のエッジベクトルを利用するためにエッジベクトル格納メモリ２０４に格納する。そして、エッジベクトル判定部１４１は、メモリに格納された最大ベクトルと周囲ベクトルとのそれぞれの角度の平均を、エッジ方向の角度αとして算出する。具体的には、以下の図１６に示すフローチャートに従って実行される。

図１６は、本実施の形態においてエッジの角度を算出する処理の一例を示すフローチャートである。なお、エッジの角度算出処理は、図１３を用いて説明したエッジ検出処理の結果に依存する。図１３に示すエッジ検出処理を行った結果、閾値より大きいと判定された１つ以上のエッジベクトルと対応する画素の位置とが、エッジベクトル格納メモリ２０４に格納される。

ノルム判定部２０３は、エッジ検出処理で検出された最大エッジベクトルの角度を算出し、エッジベクトル格納メモリ２０４に格納する（Ｓ５０１）。そして、以下の処理は、最大エッジベクトルが算出された画素に隣接する全ての画素に対して実行される（Ｓ５０２）。すなわち、ノルム判定部２０３は、最大エッジベクトルが検出された画素に隣接する画素のうち、１つの画素の位置を対象画素位置に設定して、以下の処理を行う。

次に、ノルム判定部２０３は、対象画素位置に対応するエッジベクトルがエッジベクトル格納メモリ２０４に格納されているか否かを判定する（Ｓ５０３）。すなわち、ノルム判定部２０３は、閾値より大きいノルムを有し、かつ、対象ブロックを指すエッジベクトルが格納されているか否かを判定する。

エッジベクトルが格納されている場合（Ｓ５０３でＹｅｓ）、ノルム判定部２０３は、このエッジベクトルのノルムを算出する（Ｓ５０４）。そして、ノルム判定部２０３は、算出したノルムと最大エッジベクトルのノルムとを比較する（Ｓ５０５）。算出したノルムが最大ノルムの５０％より大きい場合（Ｓ５０５でＹｅｓ）、ノルム判定部２０３は、対象画素位置のエッジベクトルの角度を算出し、算出した角度をエッジベクトル格納メモリ２０４に格納する（Ｓ５０６）。

以上の処理（Ｓ５０３〜Ｓ５０６）を全ての対象画素位置に対して実行する。次の画素がない場合、すなわち、全ての対象画素位置に対して処理が終了した場合（Ｓ５０７でＮｏ）、ノルム判定部２０３は、エッジベクトル格納メモリ２０４に格納された角度を平均することで、エッジの角度を算出する（Ｓ５０８）。

なお、図１６に示すような、検出したエッジの角度を決定する上述の処理は、単なる例示である。本発明は、エッジを検出し、又は、その方向を決定するいかなる特定の方法にも限定されない。例えば、エッジの角度は、最大エッジベクトルのみの方向から決定されてもよい。あるいは、より多く又はより少ない数の近接するベクトル、又は、エッジに沿った他のベクトルの方向から決定されてもよい。また、メモリに格納するベクトルはエッジベクトルであるとしたが、勾配ベクトルであってもよい。

ここで、エッジベクトルに基づかない従来の予測モード推定値を決定する方法について、一例を挙げて説明する。従来は、イントラ符号化のイントラ予測モードに対する予測モード推定値の場合、周囲ブロックの予測モードを示す番号のうち、小さい番号の予測モードの番号を予測モード推定値として決定する。一方、インター符号化の位置情報に対する予測モード推定値の場合、周囲ブロックの位置情報のうち、同じ参照フレーム上の位置情報を示している周囲ブロックを取り出し、複数の周囲ブロックの位置情報の値に対して、メディアン値を算出し、算出したメディアン値を予測モード推定値として決定する。なお、本発明では、エッジベクトルに基づかない予測モード推定値の決定方法については、これに限定しない。

以下では、予測モード推定値について、さらに詳細を説明する。例えば、（式１）で示されるラグランジュコスト関数Ｊを用いて、低ビットレートで符号化する場合、量子化パラメータＱＰが大きくなるため、ラグランジュ乗数も大きくなる。このため、（式１）のＲ、すなわち、符号化するのに用いられるビットレートが、ラグランジュコスト関数Ｊに対して相対的に重要になる。すなわち、符号化歪みＤよりもビットレートＲ（符号量）が重視される。

したがって、（式１）に示すコスト関数を考慮した符号化を行う場合、イントラ符号化の際は、実際のイントラ予測に用いられるイントラ予測モードが、イントラ予測モードの推定値と同じになるように、符号化モードの選択が行われる。なぜなら、イントラ予測モードの推定値とイントラ予測モードとが同じであれば、ビットストリーム内には、イントラ予測モードがイントラ予測モード推定値と同じであることを示すフラグだけになるため、発生する符号量が小さいためである。このため、イントラ予測モードの推定値と同じイントラ予測モードで、符号化歪みＤを小さくできることが、低ビットレートで符号化する場合に重要になる。

そこで、本実施の形態では、エッジ情報を利用して、予測モード推定値を決定するための候補となる予測モード候補の数を少なくする。これにより、予測モード推定値と、実際に予測に用いられた予測モードとが同じになる可能性を高めることができ、符号量を削減することができる。また、予測モード候補の数を少なくすることで、処理量を削減することができる。

さらに、エッジ情報を利用して対象ブロックと周囲ブロックの相関性を判定し、相関性の高い周囲ブロックの予測モードを用いることで、イントラ予測モードの推定値と同じイントラ予測モードで、符号化歪みＤを小さくすることができ、低ビットレートの場合にも符号化歪みを抑制することができる。

一方、同様にインター符号化の際は、実際のインター予測に用いられる位置情報が、位置情報の推定値と同じになるように動き検出が行われる。この場合も同様に、エッジ情報を利用して対象ブロックと周囲ブロックの相関性を判定し、相関性の高い周囲ブロックの位置情報を用いる、又は、重みを付けることで、位置情報の推定値と同じ、又は、近い位置情報で、符号化歪みＤを小さくすることができ、低ビットレートの場合にも符号化歪みを抑制することができる。

以上、本発明の画像符号化装置、画像復号装置及び対応する方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。

例えば、本実施の形態によれば、ソーベル演算子を用いて勾配を算出することで、エッジの検出を行った。しかしながら、本発明は、この点には限定されない。代わりに、検出されたエッジの方向性が算出されれば、どのようなエッジ検出ツールが用いられてもよい。ソーベル演算子は、可能なエッジ検出技術の一例に過ぎない。例えば、（式３）に示すプレウィット演算子を用いてもよい。

また、ローパスフィルタ（ＬＰＦ：Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）処理を行ったブロックに対して勾配を算出してもよい。具体的には、ローパスフィルタを構成するフィルタ係数とソーベル演算子又はプレウィット演算子とを畳み込んだ演算子を用いて勾配を算出することができる。

したがって、例えば、本実施の形態では、エッジ検出部２０１又は４０１は、ソーベル演算子のみ、プレウィット演算子のみ、ソーベル演算子とローパスフィルタとの合成フィルタ、又は、プレウィット演算子とローパスフィルタとの合成フィルタの４種類の中から選択して、勾配を算出してもよい。いずれのフィルタを選択するかは、例えば、外部からのユーザの指示、又は、対象ピクチャの特徴に基づいて決定される。例えば、対象ピクチャに多くのノイズが含まれる場合、すなわち、対象ピクチャが平坦な画像でない場合は、ローパスフィルタを含むフィルタを用いる。

また、本実施の形態の画像符号化装置１００又は画像復号装置３００では、ノルム判定部２０３又は４０３は、予め定められた閾値を用いてノルムの判定を行ったのに対して、シーケンス、ピクチャ、スライス、又は、ブロック単位で閾値を決定してもよい。なお、この場合、決定した閾値をビットストリームに含めることで復号器側に伝送する必要がある。例えば、閾値を決定する単位に応じて、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、又は、スライスヘッダ（ＳＨ）などに閾値を示す情報は含められる。

また、上述したように、複数の予測モード候補には、非特許文献２で用いられているエッジ予測モードが含まれていてもよい。エッジ予測モードとは、検出されたエッジの方向に周辺ブロックの画素値を内挿又は外挿することで、イントラ予測を行うイントラ予測モードの１つである。このエッジ予測モードに対しても、適した予測モードの推定値決定を行うことができる。ここで説明する予測モード推定値の決定方法は、イントラ符号化モードの場合である。予測モード推定部１４３は、エッジ検出処理によりエッジ検出され、エッジが検出されなければ、従来の予測モード推定値決定方法により、予測モード推定値を決定する。

また、本実施の形態では、エッジの方向（角度）、又は、エッジが検出された画素を含むブロックの位置に基づいて、予測モード候補の数を減らしたが、２つ以上のエッジが検出された場合は、当該２つ以上のエッジのばらつき度合いに基づいて、予測モードの数を減らしてもよい。ばらつき度合いは、例えば、エッジベクトルの分散値である。

例えば、予測モード候補限定部２１２は、エッジが検出され、かつ、２つ以上のエッジベクトルが格納されていれば、格納されたエッジベクトルの分散値を算出する。分散値が予め決められた閾値より小さければ、エッジ方向はシャープなエッジがあるとして、例えば、８個の方向予測モードを予測モード候補から除外することで、エッジ予測モードを含む予測モード候補に限定する。

一方、分散値が閾値よりも大きければ、図１６で説明したエッジ角度の算出処理を行い、算出されたエッジ角度に最も近い角度の予め決められた方向予測方式（Ｈ．２６４規格方式の場合、図１Ｂで示した８個の方向予測モード）の２つを含む予測モード候補に限定する。また、エッジが１つの場合にも、シャープなエッジがあるとして、エッジ予測モードを含む予測モード候補に限定する。

具体的には、以下の図１７に示すフローチャートに従って実行される。

まず始めに、図１３のエッジ検出処理が、エッジ検出部２０１、方向判定部２０２、ノルム判定部２０３及びエッジベクトル格納メモリ２０４によって実行される（Ｓ６０１）。次に、予測モード推定部１４３は、少なくとも１つのエッジベクトルが格納されているか、すなわち、対象ブロックを指すエッジに対応する方向で閾値より大きなノルムを有するベクトルがあるか否かを判定する（Ｓ６０２）。

エッジベクトルが１つも格納されていない場合、すなわち、エッジが検出されなかった場合（Ｓ６０２でＮｏ）、予測モード推定部１４３は、従来の予測モード推定値決定方法により予測モードの推定値を決定する（Ｓ６０３）。

少なくとも１つのエッジベクトルが格納されている場合、すなわち、エッジが検出された場合（Ｓ６０２でＹｅｓ）、予測モード推定部１４３は、格納されたエッジベクトルに対して、ばらつき度合いの一例である分散値を算出する（Ｓ６０４）。そして、ベクトルをＸ成分、Ｙ成分に分解し、それぞれの大きさに対しての分散値の和を算出する。

算出した分散値が、予め決められた閾値よりも小さい場合（Ｓ６０５でＮｏ）、エッジ方向によるイントラ予測モードを予測モード推定値として決定する（Ｓ６０６）。なお、エッジベクトルが１つしか格納されていない場合、分散値は０となるため、常にエッジ方向によるイントラ予測モードを予測モード推定値として決定される。

一方、分散値が、予め決められた閾値よりも大きい場合（Ｓ６０５でＹｅｓ）、エッジベクトル判定部１４１は、図１６のエッジ角度算出処理を行うことで、エッジの角度を算出する（Ｓ６０７）。そして、予測モード候補限定部２１２は、当該分散値とエッジの角度とに基づいて予測モード候補を限定する（Ｓ６０８）。例えば、予測モード候補限定部２１２は、複数の予測モード候補の中から、ＤＣ予測モードと２つの方向予測モードとに予測モード候補を限定する。２つの方向予測モードは、算出されたエッジの角度に最も近い２つの方向予測モードである。

そして、予測モード推定部１４３は、限定された予測モード候補の中から予測モード推定値を決定する（Ｓ６０９）。

なお、分散値が大きいということは、周囲ブロックには様々な方向及び大きさのエッジが含まれていることを示している。このため、一意の方向を利用する方向予測モード及びエッジ予測モードではなく、画素値の平均を用いるＤＣ予測モードを予測モード候補に含めている。

以上は、画像符号化装置１００での予測モード推定値を決定する処理についての説明であるが、画像復号装置３００についても、画像符号化装置１００と同様の処理となる。エッジベクトル判定部１４１、予測モード候補限定部２１２、予測モード格納メモリ２１１、予測モード候補取得部２１３及び予測モード推定部１４３のそれぞれが実行する処理が、エッジベクトル判定部３２１、予測モード候補限定部４１２、予測モード格納メモリ４１１、予測モード候補取得部４１３及び予測モード推定部３２３によって実行される。

なお、ばらつき度合いの一例である分散値の算出（Ｓ６０４）については、別の方法をとってもよい。例えば、格納された全てのベクトルに対して、エッジの角度を算出し、全てのベクトルのエッジ角度の平均値とを比較し、角度の一番離れているベクトルとの差、すなわち、角度の差に対して、閾値比較（Ｓ６０５）を行ってもよい。

この方法を用いると、図１７の方法と比べて、１つのベクトルが大きく平均と異なる場合に、エッジ方向によるイントラ予測であるエッジ予測モードを予測モード推定値に選択しない。なぜなら、１つのベクトルが大きく別の角度を向いている場合には、シャープなエッジに対して効果の高いエッジ方向によるイントラ予測では、符号化効率は上がらないためである。これにより、１つのベクトルが大きく別の角度を向いている場合に対して、より適した予測モード推定値の決定ができる。

この方法を用いることで、エッジの方向から方向予測モードが予測できるため、さらに予測モード推定値の推定精度の向上が期待できる。

また、符号化方式が、エッジ方向を利用したイントラ予測モードを含まない場合には、分散値の値に関わらず、エッジ角度を算出し、予め決められた方向予測方式の１つを予測モード推定値として決定してもよい。また、エッジが検出されない場合には、対象ブロックが平坦であると仮定できるため、従来の予測モード推定値決定方法を用いず、周辺ブロックの平均値を予測ブロックとして用いるＤＣモードを予測モード推定値として決定してもよい。このようにすることで、処理量が低減することができ、かつ周辺ブロックの特徴を予測モード推定値の決定に用いているため、符号化歪みの低減も期待できる。

また、予測モード推定値を決定するために用いる処理領域を限定することで、予測モード候補の数を減らしてもよい。図１８は、本実施の形態の推定部１４０及び復元部３２０が行う予測モードの推定処理の異なる一例を示すフローチャートである。具体的には、図１８は、予測モード候補から予測モード推定値を決定することに用いる処理領域を限定することで、演算処理量を削減し、かつ適切な予測モード推定値を決定する処理を示すフローチャートである。なお、以下では、画像符号化装置１００が備える推定部１４０が実行する処理について説明する。

まず始めに、図１３のエッジ検出処理が、エッジ検出部２０１、方向判定部２０２、ノルム判定部２０３及びエッジベクトル格納メモリ２０４によって実行される（Ｓ７０１）。次に、予測モード推定部１４３は、少なくとも１つのエッジベクトルが格納されているか、すなわち、対象ブロックを指すエッジに対応する方向で閾値より大きなノルムを有するベクトルがあるか否かを判定する（Ｓ７０２）。

なお、ステップＳ７０１及びＳ７０２はそれぞれ、図８に示すステップＳ１０３及びＳ１０４に相当する。

少なくとも１つのエッジベクトルが格納されている場合、すなわち、エッジが検出された場合（Ｓ７０２でＹｅｓ）、予測モード候補限定部２１２は、格納されたエッジベクトルの属するブロックの画素位置を限定情報として、予測モード候補取得部２１３に出力する（Ｓ７０３）。予測モード推定部１４３は、予測モード候補取得部２１３から、限定された領域、すなわち、エッジベクトルが属しているブロック領域を用いて、予測モード推定値を決定する（Ｓ７０４）。

エッジベクトルが１つも格納されていない場合、すなわち、エッジが検出されなかった場合（Ｓ７０２でＮｏ）、予測モード推定部１４３は、従来の予測モード推定値決定方法により予測モードの推定値を決定する（Ｓ７０５）。

以上のように、予測モード候補の数そのものを限定するのではなく、判定領域を限定してもよい。つまり、判定領域毎に予測モード候補が存在するので、判定領域を限定することで、予測モード候補の数を少なくすることができる。

以上は、画像符号化装置１００での予測モード推定値を決定する処理についての説明であるが、画像復号装置３００についても、画像符号化装置と同様の処理となる。エッジベクトル判定部１４１、予測モード候補限定部２１２、予測モード格納メモリ２１１、予測モード候補取得部２１３及び予測モード推定部１４３のそれぞれが実行する処理が、エッジベクトル判定部３２１、予測モード候補限定部４１２、予測モード格納メモリ４１１、予測モード候補取得部４１３及び予測モード推定部３２３によって実行される。

ここで、予測モード候補から予測モード推定値を決定する方法の一例を説明する。例えば、予測モード候補として全ての予測モードとし、判定領域としては、対象ブロックの上部及び左部分にある周囲ブロックとする。

予測モード推定部１４３は、判定領域のブロックに対して、全ての予測モードで取り得る予測ブロックを、さらに周囲のブロックを用いることにより生成する。そして、予測モード推定部１４３は、生成された予測ブロックと、予測ブロックに対応する符号化及び復号済みの復号ブロックとの差分を算出し、算出した差分が最も小さくなる予測ブロックを生成した予測モードを、予測モード推定値に決定する。

これは、画像の空間連続性から周囲ブロックの結果から対象ブロックの結果を予測する方法であるが、処理量は非常に多い。そこで、図６で示した予測モード候補限定部２１２により、図１９Ａに示すように、エッジベクトルの属している画素領域に前述の判定領域を限定することで、処理量を削減することができる。つまり、予測モード候補限定部２１２は、エッジが検出されなかった周囲ブロックを演算対象から除外することで、複数の予測モード候補の数を減らすことができる。

さらに、エッジの連続性から、さらに画像の空間連続性の強い領域のみを用いて対象ブロックの予測モード推定値を決定できるため、精度の向上が期待できる。

また、予測モード候補限定部２１２は、最大ノルムを有する最大エッジが検出された周囲ブロックに演算対象を限定することで、複数の予測モード候補の数を減らしてもよい。最大エッジは、図１３に示すフローチャートに従って決定される。

また、検出されたエッジベクトルの方向に基づいて、演算対象である判定領域を限定してもよい。例えば、図１９Ｂに示すように、検出されたエッジベクトルの水平成分が垂直成分より大きい場合、対象ブロック１０の左側に位置する周囲ブロック（すなわち、左と左上の周囲ブロック）のみを判定領域としてもよい。また、検出されたエッジベクトルの垂直成分が水平成分より大きい場合、対象ブロック１０の上側に位置する周囲ブロック（すなわち、左上、上、右上の周囲ブロック）のみを判定領域としてもよい。

なお、本発明では、エッジ検出の結果から、算出に用いる領域を限定することを除いて、予測モード候補からの予測モード推定値の決定に関する算出方法については、これに限定しない。

以上のようにして、本実施の形態の画像符号化装置１００、画像復号装置３００は、エッジが検出されたか否かに応じて、予測モード推定値を決定する。すなわち、エッジが検出された場合は、エッジベクトルを基準に予測モード推定値を決定する方法により予測モード推定値を決定し、エッジが検出されない場合は、従来のエッジベクトルに基づかないで、予測モード候補から予測モード推定値を決定する方法により予測モード推定値を決定する。

なお、予測モード候補から予測モード推定値を決定する方法において、決定のための判定領域を限定する方式（図１８のフローチャートで示した方式）と、候補となる予測モードの数を限定する方式（図１４のフローチャートで示した方式）とを組み合わせてもよい。組み合わせることで、さらなる処理量の削減が期待できる。

なお、本発明では、エッジ検出の結果から、算出に用いる領域を限定することを除いて、予測モード候補からの予測モード推定値の決定に関する算出方法については、これに限定しない。

本実施の形態の画像符号化装置及び画像復号装置は、画像及び映像データを符号化及び復号する際に、対象ブロックの周囲に位置する周囲ブロックに含まれるエッジを検出し、検出したエッジの方向により、対象ブロックと周囲ブロックとの関係を評価することができ、これを予測モードの推定に利用することができる。つまり、本実施の形態では、符号化予測モード情報を符号化する際に、エッジの方向を考慮に入れた予測モードの推定を行うことができる。

なお、本実施の形態では、推定部１４０及び復元部３２０は、常にエッジベクトル判定部１４１及び３２１を用いていたが、外部からエッジ検出フラグを受け取ってもよい。エッジ検出フラグは、エッジ検出処理の有効又は無効を切り替えるためのフラグである。例えば、シーケンス、ピクチャ、又はスライス単位でエッジ検出処理の有効又は無効を切り替えることができる。

これにより、本発明の効果が充分に得られない平坦な画像などに対しては、エッジ検出処理を無効にすることができるので、画像符号化装置１００に対する処理負担を軽減し、符号化処理の速度を高めることができる。

また、エッジ検出フラグを復号器側にも伝送するので、復号器側で、エッジ検出処理が行われていないビットストリームに対してエッジ検出処理が行われることを防ぐことができる。

なお、エッジベクトル判定部１４１で用いられた閾値をビットストリームに含めてもよい。閾値を示す情報は、例えば、ＳＰＳ、ＰＰＳ、ＳＨなどに含められる。

閾値は、例えば、画像特徴量を算出することで決定する。画像特徴量は、例えば、エッジ検出処理が行われる画像の分散、強度などである。例えば、分散が大きいほど、ノルム判定に用いる閾値が大きな値になるように決定する。分散が大きいということは、画像に多くのノイズが含まれることであり、エッジが誤検出されてしまう可能性が大きくなる。したがって、ノルム判定に用いる閾値を大きくすることで、エッジの誤検出される可能性を小さくすることができる。

また、前のピクチャに対するエッジ検出処理の結果に基づいて、閾値を決定してもよい。例えば、前のピクチャに対して異なる方向のエッジが多く検出されるほど、閾値が大きな値になるように決定する。異なる方向のエッジが多く検出されるということは、ノイズなどの影響で正確なエッジが検出されていない可能性があるので、ノルム判定に用いる閾値を大きくすることで、エッジが誤検出される可能性を小さくすることができる。

これにより、閾値を適応的に変更することができるので、より適切な閾値を決定することができ、より適切な予測ブロックを生成することができる。これにより、符号化歪みなどを削減することができる。

なお、本実施の形態の画像符号化装置１００及び画像復号装置３００では、エッジ検出処理を行うために、図１Ａに示す参照画素２０だけではなく、参照画素２０を含むブロックに含まれる全画素のデータを、参照ピクチャメモリ１６０及びフレームメモリ３１４に格納する必要がある。これに対して、周囲のブロックを復号すると同時に、すなわち、勾配の算出に必要な参照画素の画素値が得られると同時に、勾配の算出処理を行い、勾配の算出処理結果だけを参照ピクチャメモリ１６０及びフレームメモリ３１４、又は、他のメモリに格納してもよい。

このとき、例えば、閾値を超えたノルム（又は、勾配値）のみを格納することで、よりメモリ資源を節約することができる。あるいは、各ブロックの最大のノルムとその画素位置のみを格納してもよい。この場合、算出したノルム（又は、勾配値）を参照ピクチャメモリ１６０及びフレームメモリ３１４、又は、エッジベクトル格納メモリ２０４及び４０４などに格納する。

これにより、画像符号化装置１００及び画像復号装置３００が備えるメモリ資源を有効に利用することができる。

また、予測値を算出する上述の方法は、検出されたエッジの方向を正式に考慮に入れて、本発明の範囲内で、いかなる他の方法に置き換えられてもよい。具体的には、上記の説明で用いた参照画素より多くの参照画素、又は、別の参照画素を、予測される対象ブロックに近接する参照画素の代わりに用いてもよい。

また、本発明は、Ｈ．２６４映像符号化規格に限定されず、非特許文献２のエッジ方向を利用したイントラ予測モード（エッジ予測モード）など、上述の従来のイントラ予測モード予測値、位置情報（動きベクトル）予測値に限定されない。事実、発明の予測モード推定方法は、いかなるブロックベースの映像符号化器に用いられてもよい。

また、本発明の予測モード推定方法におけるエッジ検出部は、映像符号化方式の一部の機能と共有してもよい。例えば、エッジ予測モードを含む映像符号化方式に、本発明を適用することで、エッジ検出部を共に用いることができ、リソースを有効利用できる。

また、本発明は、映像符号化アプリケーションに限られず、ブロックベースの静止画像符号化に用いられてもよい。

また、本発明は、上述したように、画像符号化装置、画像復号装置及びこれらの方法として実現できるだけではなく、本実施の形態の画像符号化方法及び画像復号方法のそれぞれをコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。

また、本発明は、画像符号化装置及び画像復号装置のそれぞれを構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。

要約すると、本発明は、画像及び映像データの符号化及び復号に関し、特に、予測に必要な情報を、前に符号化及び復号されたブロックの情報から推測する予測値推測方法に関する。この予測値推測方法によれば、シャープなエッジが対象ブロックに向かっている場合には、エッジの連続性からブロック間の相関性を考慮に入れることで、より信頼性の高い予測値推測が行われる。

（実施の形態２）
上記実施の形態で示した画像符号化方法又は画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記実施の形態で示した画像符号化方法及び画像復号方法の応用例とそれを用いたシステムを説明する。

図２０は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２及び電話網ｅｘ１０４、及び、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図２０のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、又は、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像及び／又は動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理及び復号処理は、一般的にコンピュータｅｘ１１１及び各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用及び画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理及び復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利又は設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図２１は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータ又は復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換え及び消去が可能な不揮発性メモリであるＥＥＰＲＯＭの一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図２２を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２及び操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６及び音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、音声出力部ｅｘ６０８を介してこれを出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データを、カメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３及びＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を、音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これを、ＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図２３に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置又は画像復号装置を組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データ又はそれらのデータが多重化されたビットストリームが電波を介して通信又は放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、衛星放送受信設備をもつ家庭のアンテナｅｘ２０４はこの電波を受信し、テレビ（受信機）ｅｘ３００又はセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置はビットストリームを復号してこれを再生する。また、記録媒体であるＣＤ及びＤＶＤ等の記録メディアｅｘ２１５、ｅｘ２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で、衛星ｅｘ２０２又は基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データ又はそれらのデータが多重化された符号化ビットストリームを読み取り復号する、又は、記録メディアｅｘ２１５に、音声データ、映像データ又はそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置又は画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、符号化ビットストリームが記録された記録メディアｅｘ２１５により、他の装置及びシステム等は、映像信号を再生することができる。例えば、他の再生装置ｅｘ２１２は、符号化ビットストリームがコピーされた記録メディアｅｘ２１４を用いて、モニタｅｘ２１３に映像信号を再生することができる。

また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図２４は、上記実施の形態で説明した画像復号方法及び画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４又はケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、又は、出力するチューナｅｘ３０１と、受信した符号化データを復調する、又は、生成された符号化データを外部に送信するために変調する変調／復調部ｅｘ３０２と、復調した映像データと音声データとを分離する、又は、符号化された映像データと音声データとを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、又は、それぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号された音声信号を出力するスピーカｅｘ３０７、復号された映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号及び映像信号を符号化し、外部に送信又は記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２と多重／分離部ｅｘ３０３との間等でもシステムのオーバフロー及びアンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送及び記録メディア等から音声データ及び映像データを取得する以外に、マイク及びカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は、上記の符号化処理、多重化、及び、外部出力ができる構成として説明したが、これらの全ての処理を行うことはできず、上記受信、復号処理、及び、外部出力のうちいずれかのみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、又は、書き込む場合には、上記復号処理又は符号化処理はテレビｅｘ３００及びリーダ／レコーダｅｘ２１８のうちいずれかで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込み又は書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２５に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報及び記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出し及び書き込みの処理は、システム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成及び追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３及びサーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図２６に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録及び再生を行う装置は、情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３の内周又は外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データ又はそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所に様々な異なる波長の色の光を用いて情報を記録したり、様々な角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図２４に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１及び携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器及び復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器及びシステムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明は、上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。

（実施の形態３）
上記各実施の形態で示した画像符号化方法及び装置、画像復号方法及び装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２７に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３及びストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７及びカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量及び処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化及び／又は映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、又は、記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して得た符号化データ、又は、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量及び処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声データの復号及び／又は映像データの復号を行う。ここで映像信号の復号処理は、上記実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号は、メモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５及びテレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ、又は、ＬＳＩ内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、本発明に係る符号化方法、符号化装置、復号方法及び復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施した形態、及び、異なる実施の形態における構成要素及びステップ等を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。

本発明の画像符号化方法及び画像復号方法は、符号化効率をより高めることができるという効果を奏し、例えば、デジタルカメラ、デジタルテレビ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）レコーダなどに利用することができる。

１０ 対象ブロック
２０ 参照画素
３０、４０、５０、８０ 周囲ブロック
６０、６１、６２ エッジ
７０ エッジ検出窓
１００ 画像符号化装置
１１０ 符号化部
１１１、２２１、５１４ 減算部
１１２ 周波数変換部
１１３ 量子化部
１１４ イントラ予測モード決定部
１１５ 動き検出部
１１６、３１６ イントラ予測部
１１７、３１７ 動き補償部
１１８、１１９、３１５、３１８ スイッチ
１２０ 復号部
１２１、３１１ 逆量子化部
１２２、３１２ 逆周波数変換部
１２３、３１３、４２２、６２２ 加算部
１３０ 出力部
１３１、５２０ 可変長符号化部
１４０、５１０ 推定部
１４１、３２１ エッジベクトル判定部
１４２、３２２ 候補限定部
１４３、３２３、５１３、６２５ 予測モード推定部
１４４ モード情報生成部
１５０、３１４ フレームメモリ
１６０ 参照ピクチャメモリ
１７０、３４０ 制御部
２０１、４０１ エッジ検出部
２０２、４０２ 方向判定部
２０３、４０３ ノルム判定部
２０４、４０４ エッジベクトル格納メモリ
２１１、４１１、５１１、６２３ 予測モード格納メモリ
２１２、４１２ 予測モード候補限定部
２１３、４１３、５１２、６２４ 予測モード候補取得部
２２２、５１５ 信号設定部
３００ 画像復号装置
３１０ 復号部
３２０、６２０ 復元部
３２４ 予測モード復元部
３３０、６１０ 可変長復号部
４２１、６２１ 信号判定部
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３、ｅｘ１１６ カメラ
ｅｘ１１４ カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５、ｅｘ６０１ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３、ｅｘ２１９ モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６、ｅｘ６０７ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６、ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８、ｅｘ６０２ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０、ｅｘ５０１ 制御部
ｅｘ３１１、ｅｘ５０５、ｅｘ７１０ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４、ｅｘ６０６ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インターフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４、ｅｘ５０８ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ６０３ カメラ部
ｅｘ６０４ 操作キー
ｅｘ６０５ 音声入力部
ｅｘ６０８ 音声出力部
ｅｘ７０１ 送受信回路部
ｅｘ７０２ ＬＣＤ制御部
ｅｘ７０３ カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４ 操作入力制御部
ｅｘ７０５ 音声処理部
ｅｘ７０６ 変復調回路部
ｅｘ７０７ 記録再生部
ｅｘ７０８ 多重分離部
ｅｘ７０９ 画像復号部
ｅｘ７１１ 主制御部
ｅｘ７１２ 画像符号化部
ｅｘ７１３ 同期バス

Claims (21)

1. 予測モードに基づいた予測に従って画像データをブロック毎に符号化することで生成された符号化画像データを復号する画像復号方法であって、
   符号化時に実行された予測モードの推定結果を示すモード情報に基づいて、符号化時の予測に用いた予測モードである選択予測モードを復元する復元ステップと、
   前記選択予測モードに基づいた予測に従って、前記符号化画像データの対象ブロックを復号することで、復号ブロックを生成する復号ステップとを含み、
   前記復元ステップは、
   既に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
   前記エッジ検出ステップにおいて検出されたエッジに基づいて、予め定められた複数の予測モード候補の数を減らす候補限定ステップと、
   前記候補限定ステップにおいて減らされた数の前記予測モード候補の中から１つの予測モードを推定予測モードとして決定する予測モード推定ステップと、
   前記モード情報と前記推定予測モードとに基づいて、前記選択予測モードを復元する予測モード復元ステップとを含む
   画像復号方法。
2. 前記モード情報は、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとが一致したことを示すフラグ情報、又は、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとの差分を示す差分情報であり、
   前記予測モード復元ステップでは、
   前記モード情報が、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとが一致したことを示すフラグ情報である場合、前記推定予測モードを前記選択予測モードとして決定し、前記モード情報が、符号化時の予測に用いた予測モードと符号化時に推定された予測モードとの差分を示す差分情報である場合、前記差分と前記推定予測モードとを加算することで、前記選択予測モードを復元する
   請求項１記載の画像復号方法。
3. 前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジの方向に基づいて、前記複数の予測モード候補の数を減らす
   請求項２記載の画像復号方法。
4. 前記複数の予測モード候補は、予め定義された複数の方向予測モードを含み、
   前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジの方向から最も離れた方向の方向予測モードを前記複数の予測モード候補から除外することで、前記複数の予測モード候補の数を減らす
   請求項３記載の画像復号方法。
5. 前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された２つ以上のエッジの方向のばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記複数の予測モード候補の数を減らす
   請求項３記載の画像復号方法。
6. 前記複数の予測モード候補は、前記対象ブロックの周囲に位置する複数の復号ブロックを生成する際に用いた複数の予測モードを含み、
   前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジに基づいて、演算対象である前記複数の復号ブロックの数を減らすことで、前記複数の予測モード候補の数を減らす
   請求項２記載の画像復号方法。
7. 前記候補限定ステップでは、前記エッジ検出ステップにおいてエッジが検出されなかった復号ブロックを演算対象から除外することで前記複数の復号ブロックの数を減らす
   請求項６記載の画像復号方法。
8. 前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジのうち、最大ノルムを有する最大エッジを決定し、前記最大エッジが検出された復号ブロックに演算対象を限定することで、前記複数の復号ブロックの数を減らす
   請求項７記載の画像復号方法。
9. 前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジの方向の水平成分が垂直成分より大きい場合、前記対象ブロックの左側に位置する復号ブロックに演算対象を限定し、前記エッジ検出ステップにおいて検出されたエッジの方向の垂直成分が水平成分より大きい場合、前記対象ブロックの上側に位置する復号ブロックに演算対象を限定することで、前記複数の復号ブロックの数を減らす
   請求項６記載の画像復号方法。
10. 画像データをブロック毎に符号化する画像符号化方法であって、
    予め定められた複数の予測モード候補の中から選択された選択予測モードに基づいた予測に従って、前記画像データの対象ブロックを符号化する符号化ステップと、
    符号化された対象ブロックを復号することで、復号ブロックを生成する復号ステップと、
    前記複数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する推定ステップと、
    前記選択予測モードを復元するためのモード情報を、前記符号化された対象ブロックとともに出力する出力ステップとを含み、
    前記推定ステップは、
    既に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
    前記エッジ検出ステップにおいて検出されたエッジに基づいて、前記複数の予測モード候補の数を減らす候補限定ステップと、
    前記候補限定ステップにおいて減らされた数の前記予測モード候補の中から、所定の方法に従って前記推定予測モードを決定する予測モード推定ステップと、
    前記推定予測モードと前記選択予測モードとに基づいて前記モード情報を生成するモード情報生成ステップとを含む
    画像符号化方法。
11. 前記モード情報生成ステップでは、
    前記推定予測モードと前記選択予測モードとを比較し、前記推定予測モードと前記選択予測モードとが一致する場合には、一致したことを示すフラグを前記モード情報として生成し、前記推定予測モードと前記選択予測モードとが一致しない場合には、前記推定予測モードと前記選択予測モードとの差分を示す差分情報を前記モード情報として生成する
    請求項１０記載の画像符号化方法。
12. 前記複数の予測モード候補は、予め定義された複数の方向予測モードを含み、
    前記候補限定ステップでは、前記エッジ検出ステップにおいて検出された１つ以上のエッジの方向から最も離れた方向の方向予測モードを前記複数の予測モード候補から除外することで、前記複数の予測モード候補の数を減らす
    請求項１１記載の画像符号化方法。
13. 前記複数の予測モード候補は、前記対象ブロックの周囲に位置する複数の復号ブロックを生成する際に用いた複数の予測モードを含み、
    前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジに基づいて、演算対象である前記複数の復号ブロックの数を減らすことで、前記複数の予測モード候補の数を減らす
    請求項１１記載の画像符号化方法。
14. 前記候補限定ステップでは、前記エッジ検出ステップにおいてエッジが検出されなかった復号ブロックを演算対象から除外することで前記複数の復号ブロックの数を減らす
    請求項１３記載の画像符号化方法。
15. 前記候補限定ステップでは、前記エッジ検出ステップにおいて検出されたエッジの方向の水平成分が垂直成分より大きい場合、前記対象ブロックの左側に位置する復号ブロックに演算対象を限定し、前記エッジ検出ステップにおいて検出されたエッジの方向の垂直成分が水平成分より大きい場合、前記対象ブロックの上側に位置する復号ブロックに演算対象を限定することで、前記複数の復号ブロックの数を減らす
    請求項１３記載の画像符号化方法。
16. 予測モードに基づいた予測に従って画像データをブロック毎に符号化することで生成された符号化画像データを復号する画像復号装置であって、
    符号化時に実行された予測モードの推定結果を示すモード情報に基づいて、符号化時の予測に用いた予測モードである選択予測モードを復元する復元部と、
    前記選択予測モードに基づいた予測に従って、前記符号化画像データの対象ブロックを復号することで、復号ブロックを生成する復号部とを備え、
    前記復元部は、
    既に生成された復号ブロック内のエッジを検出するエッジ検出部と、
    前記エッジ検出部によって検出されたエッジに基づいて、予め定められた複数の予測モード候補の数を減らす候補限定部と、
    前記候補限定部によって減らされた数の前記予測モード候補の中から１つの予測モードを推定予測モードとして決定する予測モード推定部と、
    前記モード情報と前記推定予測モードとに基づいて、前記選択予測モードを復元する予測モード復元部とを備える
    画像復号装置。
17. 画像データをブロック毎に符号化する画像符号化装置であって、
    予め定められた複数の予測モード候補の中から選択された選択予測モードに基づいた予測に従って、前記画像データの対象ブロックを符号化する符号化部と、
    符号化された対象ブロックを復号することで、復号ブロックを生成する復号部と、
    前記複数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する推定部と、
    前記選択予測モードを復元するためのモード情報を、前記符号化された対象ブロックとともに出力する出力部とを含み、
    前記推定部は、
    既に生成された復号ブロック内のエッジを検出するエッジ検出部と、
    前記エッジ検出部によって検出されたエッジに基づいて、前記複数の予測モード候補の数を減らす候補限定部と、
    前記候補限定部によって減らされた数の前記予測モード候補の中から、所定の方法に従って前記推定予測モードを決定する予測モード推定部と、
    前記推定予測モードと前記選択予測モードとに基づいて前記モード情報を生成するモード情報生成部とを含む
    画像符号化装置。
18. 予測モードに基づいた予測に従って画像データをブロック毎に符号化することで生成された符号化画像データを復号する画像復号方法をコンピュータに実行させるためのプログラムであって、
    前記画像復号方法は、
    符号化時に実行された予測モードの推定結果を示すモード情報に基づいて、符号化時の予測に用いた予測モードである選択予測モードを復元する復元ステップと、
    前記選択予測モードに基づいた予測に従って、前記符号化画像データの対象ブロックを復号することで、復号ブロックを生成する復号ステップとを含み、
    前記復元ステップは、
    既に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
    前記エッジ検出ステップにおいて検出されたエッジに基づいて、予め定められた複数の予測モード候補の数を減らす候補限定ステップと、
    前記候補限定ステップにおいて減らされた数の前記予測モード候補の中から１つの予測モードを推定予測モードとして決定する予測モード推定ステップと、
    前記モード情報と前記推定予測モードとに基づいて、前記選択予測モードを復元する予測モード復元ステップとを含む
    プログラム。
19. 画像データをブロック毎に符号化する画像符号化方法をコンピュータに実行させるためのプログラムであって、
    前記画像符号化方法は、
    予め定められた複数の予測モード候補の中から選択された選択予測モードに基づいた予測に従って、前記画像データの対象ブロックを符号化する符号化ステップと、
    符号化された対象ブロックを復号することで、復号ブロックを生成する復号ステップと、
    前記複数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する推定ステップと、
    前記選択予測モードを復元するためのモード情報を、前記符号化された対象ブロックとともに出力する出力ステップとを含み、
    前記推定ステップは、
    既に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
    前記エッジ検出ステップにおいて検出されたエッジに基づいて、前記複数の予測モード候補の数を減らす候補限定ステップと、
    前記候補限定ステップにおいて減らされた数の前記予測モード候補の中から、所定の方法に従って前記推定予測モードを決定する予測モード推定ステップと、
    前記推定予測モードと前記選択予測モードとに基づいて前記モード情報を生成するモード情報生成ステップとを含む
    プログラム。
20. 予測モードに基づいた予測に従って画像データをブロック毎に符号化することで生成された符号化画像データを復号する集積回路であって、
    符号化時に実行された予測モードの推定結果を示すモード情報に基づいて、符号化時の予測に用いた予測モードである選択予測モードを復元する復元部と、
    前記選択予測モードに基づいた予測に従って、前記符号化画像データの対象ブロックを復号することで、復号ブロックを生成する復号部とを備え、
    前記復元部は、
    既に生成された復号ブロック内のエッジを検出するエッジ検出部と、
    前記エッジ検出部によって検出されたエッジに基づいて、予め定められた複数の予測モード候補の数を減らす候補限定部と、
    前記候補限定部によって減らされた数の前記予測モード候補の中から１つの予測モードを推定予測モードとして決定する予測モード推定部と、
    前記モード情報と前記推定予測モードとに基づいて、前記選択予測モードを復元する予測モード復元部とを備える
    集積回路。
21. 画像データをブロック毎に符号化する集積回路であって、
    予め定められた複数の予測モード候補の中から選択された選択予測モードに基づいた予測に従って、前記画像データの対象ブロックを符号化する符号化部と、
    符号化された対象ブロックを復号することで、復号ブロックを生成する復号部と、
    前記複数の予測モード候補の中から１つの予測モードを推定予測モードとして決定する推定部と、
    前記選択予測モードを復元するためのモード情報を、前記符号化された対象ブロックとともに出力する出力部とを含み、
    前記推定部は、
    既に生成された復号ブロック内のエッジを検出するエッジ検出部と、
    前記エッジ検出部によって検出されたエッジに基づいて、前記複数の予測モード候補の数を減らす候補限定部と、
    前記候補限定部によって減らされた数の前記予測モード候補の中から、所定の方法に従って前記推定予測モードを決定する予測モード推定部と、
    前記推定予測モードと前記選択予測モードとに基づいて前記モード情報を生成するモード情報生成部とを含む
    集積回路。
    

Images