JP5514130B2 - テクスチャ解析装置、イントラ予測モード判定装置及びイントラ予測装置、並びにこれらのプログラム - Google Patents

Description

本発明は、テクスチャ画像を分析するテクスチャ解析装置、このテクスチャ解析装置によって分析した結果をイントラ予測やパターン認識へ応用したイントラ予測モード判定装置及びイントラ予測装置、並びにこれらのプログラムに関する。

従来、画像のテクスチャを解析する技法として、画像のフラクタル特徴に基づく技法（例えば、特許文献１参照）や、エッジ検出に基づく技法が提案されている（例えば、特許文献２参照）。

テクスチャ解析の目的としては、該解析結果に基づくパターン認識によりコンクリート等の欠陥を検出する技法（例えば、特許文献２参照）や、画像符号化に応用する技法が挙げられる（例えば、特許文献３参照）。

イントラ予測の技法としては、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式等において規格化されている。イントラ予測に予測対象ブロックの画素値を、該予測対象ブロックに隣接する画素群の画素値に基づいて予測する技法がある（例えば、特許文献４参照）。また、予測対象ブロックの画素値を、その隣接画素群から特定方向について予測する技法がある（例えば、特許文献５参照）。さらに、予測対象ブロックの隣接画素と、予測対象ブロックから１画素を超える距離に存在する画素との対に基づき、予測対象ブロックの予測を行う技法がある（例えば、特許文献６参照）。

特開平５−２８２６６号公報 特開平６−６０１８２号公報 特許第４４５０８２８号明細書 特開２００９−４９９６９号公報 特開２００８−２４５０８８号公報 特開２００８−２７１３７１号公報

前述したように、画像のテクスチャ解析を行うことは構造物表面の欠陥検出や画像符号化など様々な分野で要求されている。しかし、従来のテクスチャ解析技法は、テクスチャ毎に領域を分割したり、そのテクスチャが何であるかを認識したりすることを目的としていた。例えば、特許文献２の技法では、観測された画像からコンクリートのひびを検出するよう設計されているため、このテクスチャ解析結果に基づいて、隣接領域のテクスチャを予測するという目的には則していない。

一方、特許文献３の技法では、画像のテクスチャ解析を行い、この解析結果から予測対象ブロックを予測し、画像合成的にはめ込みを行うことで、符号化効率の改善を図っている。しかし、特許文献３の技法は、主観的な画質向上を目指して、画像合成的にテクスチャをはめ込むものであるから、実際の符号化対象の入力画像と、復号後に得られる出力画像との間で、信号波形(位相、振幅)としての類似性は全く保証されない。

一方、信号波形の類似性を重視する画像符号化技法においては、入力画像(または、動き補償後の残差画像)を複数のブロックに分割し、ある注目ブロック(予測ブロック)の画素値を、すでに符号化済みの周囲の画素値群から内外挿補間することで予測を行う。その後、画像符号化技法は、この予測結果と入力画像(または、動き補償後の残差画像)との残差をエントロピー符号化する。例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４規格のイントラ予測では予測対象ブロックの周辺画素からの０次ホールドでの予測を行うが、最適な予測方向を複数試行の結果、レート対歪みの観点で特定している。この予測処理では最適な予測方向の決定が行われるが、その最適な予測方向を示す情報（予測モードの情報）の伝送が必要である。このため、イントラ予測における最適な予測方向に関して、復号済みの参照画素のテクスチャを分析して予測対象ブロックの相関方向を検出できれば、予測モードの情報の伝送負荷を減少させることができる。

しかし、精度よく簡易な方式で予測対象ブロックの相関方向を検出するテクスチャ解析技法はなかった。とりわけ、画像符号化のイントラ予測に利用可能なテクスチャ解析技法は存在しなかった。従来のテクスチャ解析技法では、相関演算により特定の方向のテクスチャの存在を検出することはできたが、排他的にその方向のみに強い相関を持つか否かを評価するものではなかった。

特に、エッジ検出を通じて排他的に強い相関の方向を求める技法はあったが、ある領域内で大局的に特定の方向に強い相関を持つか否かを評価するものではなかった。

本発明の目的は、上述の問題に鑑みて為されたものであり、テクスチャ画像を分析するテクスチャ解析装置、このテクスチャ解析装置によって分析した結果をイントラ予測やパターン認識へ応用したイントラ予測モード判定装置及びイントラ予測装置、並びにこれらのプログラムを提供することにある。

本発明のテクスチャ解析装置は、入力画像のスペクトルを演算し、空間スペクトル画像を生成するスペクトル演算部と、前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査する走査制御部と、当該走査された空間周波数におけるスペクトルを集計する集計部と、当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定する最適化処理部と、を備えることを特徴とする。

本発明のテクスチャ解析装置によれば、入力画像の各方位に沿った空間周波数を走査することで、入力画像の空間周波数の繰り返し波形の存在の度合を求めて集計して、繰り返し波形の存在の度合の最も強いまたは最も弱い方位を探索して評価するため、高精度のテクスチャ方位の情報を得ることができるようになる。

また、本発明のイントラ予測モード判定装置は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測モード判定装置であって、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像としてテクスチャ方位の情報を出力する本発明によるテクスチャ解析装置と、前記テクスチャ解析装置によって決定されるテクスチャ方位の情報を予め定めた所定数の予測モードの方位のうちのいずれか１つに割り当て、割り当てた予測モードの方位に関する推定予測モードの識別子を生成する判定部と、を備えることを特徴とする。

本発明のイントラ予測モード判定装置によれば、特定の方向に沿った予測を行う複数の予測モードの中から、適した方位の予測モードを本発明に係るテクスチャ方位の情報に応じて決定することができ、イントラ予測の予測精度を向上させることができるようになる。

また、本発明の第１態様のイントラ予測装置は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する本発明のイントラ予測モード判定装置と、前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測する予測部と、を備えることを特徴とする。

本発明の第１態様のイントラ予測装置によれば、イントラ予測対象のブロック画像の周囲の参照領域画像における参照領域のテクスチャ方位に沿って予測する方向を決定するため、当該周囲の参照領域の波形を本発明に係るテクスチャ方位の情報によって延長するようイントラ予測を行うことになり、この結果、参照領域画像からイントラ予測対象のブロック画像に貫入するような画素値パターンを精度よく近似することができるようになる。

また、本発明の第２態様のイントラ予測装置は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する本発明のイントラ予測モード判定装置と、予め定めたレート歪み特性に基づいて前記複数の予測モードの中から１つの予測モードを最適予測モードとして決定して当該予測画像を生成するとともに、当該最適予測モードの識別子を前記推定予測モードの識別子と同一の記述形態で生成するＲＤ最適化処理部と、前記推定予測モードの識別子と前記最適予測モードの識別子を用いて当該記述形態を疎表現化した、予測モードの疎表現化記述子を生成する予測モード記述子疎表現化部と、を備えることを特徴とする。

本発明の第２態様のイントラ予測装置によれば、予め用意した複数の予測モードの中からレート歪み特性の観点で最適な予測モードを決定する一方で、本発明に係るイントラ予測モード判定装置により決定される予測モードを求め、最適予測モードの識別子の記述形態を推定予測モードの識別子の記述形態で変化させることができ、換言すれば、単に最適予測モードの識別子を伝送するよりも記述形態を疎表現化した態様で予測モードの情報を伝送することが可能となる。特に、最適予測モードの識別子と推定予測モードの識別子との間に非零の相関がある状況においては、符号化側及び復号側の双方でイントラ予測モード判定装置を具備することにより、符号化側と復号側との間の当該識別子の伝送が圧縮可能となり、実質的な伝送符号量を削減することができるようになる。

また、本発明の第３態様のイントラ予測装置は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する本発明のイントラ予測モード判定装置と、前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測し、予測画像の初期値として設定する予測画像初期値設定部と、前記参照領域画像と、当該初期値が設定されたイントラ予測対象のブロック画像からなる処理ブロックを生成する処理ブロック生成部と、前記処理ブロックの画像に対して直交変換を施す直交変換部と、前記直交変換部によって生成される直交変換係数を、高周波領域において元の値よりも小さい値に修正する係数修正部と、前記修正された直交変換係数に対して逆直交変換を施す逆直交変換部と、前記逆直交変換部によって生成される画像のうち、前記参照領域画像の画像領域における画素値を前記参照領域画像の元の画素値に修正する画像修正部と、前記直交変換部、前記係数修正部及び前記逆直交変換部による一連の処理を、当該参照領域画像の画像領域における画素値の修正が所定の修正量以下となるまで所定回数以内で繰返す分岐部と、当該繰り返しによって得られる最終的な処理ブロックの画像から、イントラ予測対象のブロック画像を抽出して予測画像を生成する予測画像抽出部と、を備えることを特徴とする。

本発明の第３態様のイントラ予測装置によれば、本発明に係るイントラ予測モード判定装置により決定される予測モードから予測画像の初期値を設定し、さらに、当該周囲の参照領域の波形を参照画像領域における細かい領域制御で収束演算することを可能とするために、より高精度の参照画像を早い収束速度で求めることができるようになる。

本発明のプログラムは、コンピュータに、入力画像のスペクトルを演算し、空間スペクトル画像を生成するステップと、前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査するステップと、当該走査された空間周波数におけるスペクトルを集計するステップと、当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定するステップと、を実行させるためのプログラムである。

本発明のプログラムは、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測モード判定装置として構成するコンピュータに、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像として、当該入力画像のスペクトルを演算し、空間スペクトル画像を生成するステップと、前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査するステップと、当該走査された空間周波数におけるスペクトルを集計するステップと、当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定するステップと、当該決定されるテクスチャ方位の情報を予め定めた所定数の予測モードの方位のうちのいずれか１つに割り当て、割り当てた予測モードの方位に関する推定予測モードの識別子を生成するステップと、を実行させるためのプログラムである。

本発明のプログラムは、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測装置として構成するコンピュータに、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像として、当該入力画像のスペクトルを演算し、空間スペクトル画像を生成するステップと、前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査するステップと、当該走査された空間周波数におけるスペクトルを集計するステップと、当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定するステップと、当該決定されるテクスチャ方位の情報を予め定めた所定数の予測モードの方位のうちのいずれか１つに割り当て、割り当てた予測モードの方位に関する推定予測モードの識別子を生成するステップと、前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測するステップと、を実行させるためのプログラムである。

本発明のプログラムは、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測装置として構成するコンピュータに、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像として、当該入力画像のスペクトルを演算し、空間スペクトル画像を生成するステップと、前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査するステップと、当該走査された空間周波数におけるスペクトルを集計するステップと、当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定するステップと、当該決定されるテクスチャ方位の情報を予め定めた所定数の予測モードの方位のうちのいずれか１つに割り当て、割り当てた予測モードの方位に関する推定予測モードの識別子を生成するステップと、予め定めたレート歪み特性に基づいて前記複数の予測モードの中から１つの予測モードを最適予測モードとして決定して当該予測画像を生成するとともに、当該最適予測モードの識別子を前記推定予測モードの識別子と同一の記述形態で生成するステップと、前記推定予測モードの識別子と前記最適予測モードの識別子を用いて当該記述形態を疎表現化した、予測モードの疎表現化記述子を生成するステップと、を実行させるためのプログラムである。

本発明のプログラムは、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測装置として構成するコンピュータに、（ａ）イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像として、当該入力画像のスペクトルを演算し、空間スペクトル画像を生成するステップと、（ｂ）前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査するステップと、（ｃ）当該走査された空間周波数におけるスペクトルを集計するステップと、（ｄ）当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定するステップと、（ｅ）当該決定されるテクスチャ方位の情報を予め定めた所定数の予測モードの方位のうちのいずれか１つに割り当て、割り当てた予測モードの方位に関する推定予測モードの識別子を生成するステップと、（ｆ）前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測し、予測画像の初期値として設定するステップと、（ｇ）前記参照領域画像と、当該初期値が設定されたイントラ予測対象のブロック画像からなる処理ブロックを生成するステップと、（ｈ）前記処理ブロックの画像に対して直交変換を施すステップと、（ｉ）前記ステップ（ｈ）によって生成される直交変換係数を、高周波領域において元の値よりも小さい値に修正するステップと、（ｊ）前記修正された直交変換係数に対して逆直交変換を施すステップと、（ｋ）前記ステップ（ｊ）によって生成される画像のうち、前記参照領域画像の画像領域における画素値を前記参照領域画像の元の画素値に修正するステップと、（ｌ）前記ステップ（ｈ）、前記ステップ（ｉ）及び前記ステップ（ｊ）による一連の処理を、当該参照領域画像の画像領域における画素値の修正が所定の修正量以下となるまで所定回数以内で繰返すステップと、（ｍ）当該繰り返しによって得られる最終的な処理ブロックの画像から、イントラ予測対象のブロック画像を抽出して予測画像を生成するステップと、を実行させるためのプログラムである。

本発明によれば、テクスチャの特徴解析として、隣接領域に対する相関を方位別に算出して高精度に評価することができるので、特に、イントラ予測の予測モードの予測に応用することで符号化効率をより向上させることができる。

本発明による一実施例のテクスチャ解析装置のブロック図である。 （ａ），（ｂ）は、本発明による一実施例のテクスチャ解析装置における処理対象の入力画像を例示する図である。 （ａ），（ｂ）は、本発明による一実施例のテクスチャ解析装置における空間スペクトル画像に対するラジアル走査の一例を示す図である。 （ａ），（ｂ）は、本発明による一実施例のテクスチャ解析装置における空間スペクトル画像に対するラジアル走査の別例を示す図である。 本発明による一実施例のテクスチャ解析装置における空間周波数に関して離散化された空間スペクトル画像の標本点群のテーブル例を示す図である。 本発明による一実施例のテクスチャ解析装置の動作フロー図である。 本発明による一実施例のイントラ予測モード判定装置のブロック図である。 既存のイントラ予測における複数の予測モードの例を示す図である。 本発明による第１態様のイントラ予測装置の実施例を示す図である。 本発明による符号化側の第２態様のイントラ予測装置の実施例を示す図である。 本発明による復号側の第２態様のイントラ予測装置の実施例を示す図である。 本発明による第３態様のイントラ予測装置の構成を示すブロック図である。 本発明による第３態様のイントラ予測装置の処理を説明する図である。 （ａ），（ｃ）は、本発明による第３態様のイントラ予測装置で行う処理の単位となる処理ブロックＰを例示する図であり、（ｂ），（ｄ）は、本発明による第３態様のイントラ予測装置で行う処理の単位となる処理ブロックＰの周波数領域を示す図である。 本発明による第３態様の符号化側イントラ予測装置を備える符号化器の構成を示すブロック図である。 本発明による第３態様の復号側イントラ予測装置を備える復号器の構成を示すブロック図である。

以下、図面を参照して、本発明による一実施例のテクスチャ解析装置、本発明による一実施例のイントラ予測モード判定装置、及び、本発明による３つの実施例のイントラ予測装置についてそれぞれ説明する。

〔テクスチャ解析装置〕
図１は、本発明による一実施例のテクスチャ解析装置のブロック図である。本実施例のテクスチャ解析装置１は、入力画像について解析してテクスチャ方位の情報を出力する装置であり、スペクトル演算部１０と、走査制御部１１と、集計部１２と、最適化処理部１３とを備える。尚、テクスチャ解析装置１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、テクスチャ解析装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。

尚、入力画像Ｌは、正方形の画像であっても任意形状の画像であっても構わない。例えば、スペクトル演算部１０は、入力画像Ｌ内にＫ個（Ｋは自然数）の正方形のブロックＢ^（ｋ）（ｋ＝０，１，・・・，Ｋ−１）を設定して、ブロックごとに処理を行うよう動作させてもよい。

例えば、図２（ａ），（ｂ）は、本発明による一実施例のテクスチャ解析装置における処理対象の入力画像を例示する図である。図２（ａ）に示すように、入力画像Ｌが正方形の場合には、入力画像Ｌ全体を１個のブロックＢ^（０）とみなして処理する。また、例えば、入力画像Ｌが非正方形の場合には、図２（ｂ）に示すように、複数の正方形のブロックＢ^（ｋ）を入力画像Ｌの画像領域に空間的に覆い尽くすように設定するのが好適であるが、必ずしも入力画像Ｌの全体が複数のブロックＢ^（ｋ）によって完全に覆い尽くされる必要もない。

また、複数の正方形のブロックＢ^（ｋ）のブロック同士は、重なりがあっても重なりがなくても構わない。入力画像Ｌの画像領域形状を固定にした場合でも、この固定した画像領域形状内に完全には包含されないブロックが存在してもよく、例えば画像中の端部処理などで、入力画像Ｌの画像領域形状内に完全には包含されない画素又はブロックについては、入力画像Ｌの画像領域の外側に対応する画素をパディングによって適当な値を埋め込むものとする。例えば、テクスチャ解析装置１を、映像符号化のイントラ予測に利用する場合には、図２（ｂ）に示すような逆Ｌ字型の復号済みの画像領域を入力画像Ｌとして利用することができる。

スペクトル演算部１０は、入力画像Ｌのスペクトルを演算し、空間スペクトル画像Ｐを生成して集計部１２に送出する。

走査制御部１１は、空間スペクトル画像について予め定めた原点（例えば、（ｕ，ｖ）＝（０，０）の点）からの方位ごとに所定の走査パターンで空間周波数を走査し、集計部１２に対して走査する空間周波数の情報を送出するとともに、最適化処理部１３に対して走査する空間周波数の情報に対応する方位の情報を送出する。尚、走査する空間周波数の情報及び対応する方位の情報は、予め対応付けたテーブルを保持しておくのが好適である。

集計部１２は、空間スペクトル画像について、当該走査された空間周波数におけるスペクトルを集計し、集計結果を最適化処理部１３に送出する。

最適化処理部１３は、当該空間周波数ごとの集計結果の集計値のうちの最大値及び／又は最小値を判別し、当該最大値及び／又は当該最小値に該当する方位の情報をテクスチャ方位として決定する。ここで、集計値のうちの最大値をもつテクスチャ方位は、その方位に対して直交する方位に強い相関を持つことが推定され、集計値のうちの最小値をもつテクスチャ方位は、その方位に対して平行する方位に強い相関を持つことが推定されることから、集計値のうちの最大値か又は最小値のいずれか一方をテクスチャ方位の情報として決定することができるほか、集計値のうちの最大値から推定する方位と集計値のうちの最小値から推定する方位の双方を加味して強い相関を持つ方位をテクスチャ方位の情報として決定することができる。

図６は、本発明による一実施例のテクスチャ解析装置の動作フロー図である。テクスチャ解析装置１には、解析対象の画像ブロックＢ^（ｋ）が入力される（Ｓ１）。

スペクトル演算部１０は、入力画像の各ブロックＢ^（ｋ）に対しスペクトルを演算し、空間周波数領域への写像を行う（Ｓ２）。この写像は、例えば、離散フーリエ変換、離散コサイン変換、離散サイン変換、アダマール変換、スラント変換などの線形変換によることが可能である。また、これらの線形変換を近似する変換（例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４に用いられる整数変換など）を用いてもよい。

例えば、スペクトル演算部１０は、離散フーリエ変換によって各ブロックＢ^（ｋ）のスペクトル画像Ｓ^（ｋ）を求める。ブロックＢ^（ｋ）の大きさをＭ×Ｍ画素（Ｍは自然数）とする。ブロックＢ^（ｋ）は行列表現とし、ブロック内の画像座標（ｉ，ｊ）における画素値（例えば、輝度値）を行列のｊ行ｉ列成分Ｂ^（ｋ） _ｊ，ｉに対応づける。スペクトル画像Ｓ^（ｋ）の大きさもＭ×Ｍ画素とし、空間周波数（ｕ，ｖ）におけるスペクトル値を行列Ｓ^（ｋ）のｖ行ｕ列成分Ｓ^（ｋ） _ｖ，ｕに対応づける。

このとき、式（１）のフーリエ変換行列を用いて、式（２）により、スペクトル画像Ｓ^（ｋ）を得ることができる。

なお、式（１）におけるjは虚数単位である。

さらに、スペクトル演算部１０は、式（３）に示すように、スペクトル画像Ｓ^（ｋ）の複素共役とスペクトル画像Ｓ^（ｋ）とのアダマール積により出力すべき空間スペクトル画像Ｐを求める（Ｓ３）。

ここに、上線は複素共役、白丸はアダマール積を表す。すなわち成分ごとに、式（４）に示す演算を行うことで空間スペクトル画像Ｐを生成することができる。

尚、式（４）の演算は、ブロック数Ｋが１のときには、式（５）のように示すことができる。

式（３）〜式（５）は、ブロックごとに求めたパワースペクトル画像を、全ブロックについて成分ごとに総和をとったものである。

走査制御部１１は、スペクトル画像Ｐ上において方位θを変化させつつ、各方位θの場合について動径方向の走査（ラジアル走査）を行ない、最適化処理部１３に対して、現在走査している方位θを出力するとともに、集計部１２に対して、方位θの直線上にある空間周波数値（ベクトル）を順次出力して集計させる（Ｓ４，Ｓ５）。尚、方位θの直線上にある空間周波数値とは、方位θの直線上における所定間隔の標本点相当値を云うものであり、例えば、実直線上にない標本点の空間周波数値については、当該直線近傍の空間周波数値（つまり、空間周波数の量子化に起因する誤差を許容した直線近傍の空間周波数値）を用いればよい。

例えば、スペクトル演算部１０は、Ｍ×Ｍ画素のブロックに対するフーリエ変換に基づいてパワースペクトルの空間スペクトル画像Ｐを得た場合、スペクトルは水平及び垂直の各空間周波数に関して、いずれも周期Ｍの周期波形となる。図３（ａ），（ｂ）は、本発明による一実施例のテクスチャ解析装置における空間スペクトル画像に対するラジアル走査の一例を示す図であり、方位θの当該ラジアル走査の走査線Ｒ（θ）が示されている。

図３（ａ），（ｂ）に示すように、走査制御部１１は、原点を中心として１８０度をなす２方向の半直線又は線分上を走査するものとして構成することができる。他の例として、図４（ａ），（ｂ）は、本発明による一実施例のテクスチャ解析装置における空間スペクトル画像に対するラジアル走査の別例を示す図であり、原点を中心として一方向の半直線又は線分上を走査するものとして構成することができる。

なお、空間周波数に関して離散化された空間スペクトル画像Ｐの標本点群の中から、各方位θについて、それぞれ走査すべき標本点を予めテーブル化しておき、走査制御部１１がテーブル参照によって順次選択すべき標本点群を決定するよう構成してもよい。すなわち、例えば、図５に示す方位θ_０〜θ_１１の場合のように、各方位θについて空間スペクトル画像Ｐ中において走査すべき標本点（黒点部分）を予め定めておき、これら標本点群の空間周波数をテーブルに記憶しておく。そして、走査制御部１１は、方位θを順次変化させつつ、各方位０に関するテーブル内のレコードを参照し、該レコードに記憶されている空間周波数値をさらに順次出力する。

このように、集計部１２は、走査制御部１１でラジアル走査されていく各空間周波数（ｕ，ｖ）∈Ｒ（θ）におけるスペクトル値Ｐ（ｕ，ｖ）を集計し、集計値Ｔ(θ)を出力する。集計の方法として、例えば、式（６）に示す総和演算によることができる。

また、集計部１２は、重み付き総和演算で集計するように構成することもでき、例えば、空間周波数（ｕ，ｖ）毎に予め定義された重みｗ(ｕ，ｖ)を用い、式（７）によって集計値Ｔ(θ)を求める。

また、ブロックの大きさＭを法とする剰余類において−ｖと合同な０以上Ｍ未満の整数をμ(v)としたときに、集計部１２は、式（８）又は式（９）によって集計値Ｔ(θ)を求めるように構成することができる。

式（８）及び式（９）は、方位θにおけるスペクトル値の和と方位θ＋π／２におけるスペクトル値の和の比に相当する。

最適化処理部１３は、集計値Ｔ（θ）が最大及び／又は最小となる方位θを求め、この方位θに基づいて出力すべきテクスチャ方位φを算出する（Ｓ６）。

例えば、最適化処理部１３は、式（１０）によって集計値Ｔ(θ)が最大となる方位θを求め、方位θと直交する方位をテクスチャ方位φとして出力する。

尚、テクスチャ方位φが０以上π未満となるよう、式（１１）によりテクスチャ方位φを求めてもよい。

また、例えば、最適化処理部１３は、集計値Ｔ（θ）が最小となる方位θを求め、この方位θをテクスチャ方位φとして出力することができ、演算負担を軽減して直ちに出力することができる。さらに、集計値Ｔ（θ）が最小となる方位θと、集計値Ｔ（θ）が最大となる方位θのそれぞれから求めたテクスチャ方位φの平均（２乗平均を含む）として決定し、最終的なテクスチャ方位φとして出力するように構成することができ、より高確度のテクスチャ方位φを決定することができる。

さらに、例えば、最適化処理部１３は、集計値Ｔ(θ)の最大値が所定の閾値に満たない
場合、及び／又は、集計値Ｔ（θ）の最小値が所定の閾値を超える場合に、テクスチャ方位φとして、「該当なし」の旨を表す値を出力するように構成するのが好適である。

このように、本実施例のテクスチャ解析装置１によれば、走査制御部１１によって入力画像の各方位に沿った空間周波数を走査することで、集計部１２によって入力画像の空間周波数の繰り返し波形の存在の度合を求めて集計して、最適化処理部１３によって繰り返し波形の存在の度合の最も強いまたは最も弱い方位を探索して評価するため、高精度のテクスチャ方位の情報を得ることができるようになる。

次に、本発明による一実施例のイントラ予測モード判定装置について説明する。

〔イントラ予測モード判定装置〕
図７は、本発明による一実施例のイントラ予測モード判定装置のブロック図である。 図８に、既存のイントラ予測における複数の予測モードの例を示す。Ａ〜Ｍの画素部分が参照領域であり、白の部分が予測領域である。本実施例のイントラ予測モード判定装置２は、上述した本実施例のテクスチャ解析装置１を具備している。

イントラ予測とは、画像符号化や映像符号化において、すでに復号可能な部分画像の情報から、これから符号化すべき部分画像の信号を予測する技術である。予測の元となる領域を参照領域、参照領域の画像を参照領域画像、予測すべき領域を予測領域、予測領域における予測された画像を予測画像、予測領域における元の画像を実画像として、それぞれ説明する。

本実施例のイントラ予測モード判定装置２は、複数のイントラ予測の予測モードの中から、最適なイントラ予測モードを推定し、推定予測モードの識別子を出力する装置である。

イントラ予測の予測モードの識別子をzとする。予測モードｚ＝２以外に記した矢印は、予測の方向性（方位）を表す。例えば、予測モードｚ＝０では、上隣の画素値を垂直下奉公に外挿補間する。例えば、参照領域内のＡの画素の値を、そのまま下側に延長するように外挿を行う。また、予測モードｚ＝１は、右方向への外挿補間である。予測方法ｚ＝２は、画素Ａ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ及びＬの平均値で予測ブロックを埋める。予測モードｚ＝３〜８は、矢印に示す方位の斜め方向の予測である。具体的な演算方法の例については、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式（ＩＳＯ／ＩＥＣ１４４９６−１０／ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４）を参照されたい。

イントラ予測モード判定装置２は、前述したテクスチャ解析装置１と、判定部２１と、予測モード記憶部２２とを備える。予測モード記憶部２２は、イントラ予測対象のブロック画像に対して図８に示すような複数の予測モードの情報を保持している。尚、イントラ予測モード判定装置２として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予測モード判定装置２の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。

判定部２１は、テクスチャ解析装置１から出力されるテクスチャ方位の情報に基づき、予め定めた規則によってテクスチャ方位の情報を予測モード記憶部２２に保持される予め定めた所定数の予測モードの方位のうちのいずれか１つに割り当て、割り当てた予測モードの方位に関する推定予測モードの識別子を生成して出力する。

例えば、判定部２１は、テクスチャ解析装置１から出力されたテクスチャ方位φを近似する方向性の外挿又は内挿を行う予測モードの識別子ｚを、予測モード記憶部２２に保持される予め定めた所定数の予測モードの中から選択して出力する。

例えば、判定部２１による予め定めた規則による選択例を説明するに、テクスチャ方位φ（φは０以上π未満の数値又は「該当なし」の旨を表す数値により表現されているものとする）に応じて以下の規則により推定予測モードｚを決定することができる。

・テクスチャ方位φがπ／１６未満又は１５π／１６以上の場合、ｚ＝１
・テクスチャ方位φがπ／１６以上３π／１６未満の場合、ｚ＝６
・テクスチャ方位φが３π／１６以上５π／１６未満の場合、ｚ＝４
・テクスチャ方位φが５π／１６以上７π／１６未満の場合、ｚ＝５
・テクスチャ方位φが７π／１６以上９π／１６未満の場合、ｚ＝０
・テクスチャ方位φが９π／１６以上１１π／１６未満の場合、ｚ＝７
・テクスチャ方位φが１１π／１６以上１３π／１６未満の場合、ｚ＝３
・テクスチャ方位φが１３π／１６以上１５π／１６未満の場合、ｚ＝８
・テクスチャ方位φが「該当なし」の旨を示す場合、ｚ＝２

このように、本実施例のイントラ予測モード判定装置によれば、特定の方向に沿った予測を行う複数の予測モードの中から、適した方位の予測モードをテクスチャ解析装置１からのテクスチャ方位の情報に応じて決定することができ、イントラ予測の予測精度を向上させることができるようになる。

次に、本発明に係るイントラ予測装置について説明する。前述したイントラ予測モード判定装置２の利点を生かした３つの態様のイントラ予測装置について順に説明する。尚、イントラ予測装置として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予測装置の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、同様な構成要素には同一の参照番号を付して説明する。

〔第１態様のイントラ予測装置〕
図９は、本発明による第１態様のイントラ予測装置の実施例を示す図である。第１態様のイントラ予測装置３は、イントラ予測モード判定装置２と、予測部３１とを備える。

予測部３１は、参照領域画像及び推定予測モードの識別子に基づいて、図７を参照して説明したように予測領域の画素値を予測し、予測画像を生成する。

尚、第１態様のイントラ予測装置３は、符号化側及び復号側の装置の双方に適用することができるし、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式と同様に、推定予測モードの識別子を符号化側から復号側の装置に伝送するように構成することができる。

つまり、第１態様のイントラ予測装置３によれば、イントラ予測対象のブロック画像の周囲の参照領域画像における参照領域のテクスチャ方位に沿って予測する方向を決定するため、当該周囲の参照領域の波形をテクスチャ解析装置１からのテクスチャ方位の情報に基づいて延長するようイントラ予測を行うことになり、この結果、参照領域画像からイントラ予測対象のブロック画像に貫入するような画素値パターンを精度よく近似することができるようになる。

次に、本発明による第２態様のイントラ予測装置の実施例について説明する。

〔第２態様のイントラ予測装置〕
図１０及び図１１は、本発明による第２態様のイントラ予測装置の実施例を示す図である。図１０は符号化側で用いるイントラ予測装置であり、図１１は復号側で用いるイントラ予測装置である。

図１０を参照するに、第２態様の符号化側イントラ予測装置４は、前述したイントラ予測モード判定装置２と、前述した予測部３１と、予測モード識別子発生部４１と、ＲＤ最適化処理部４２と、予測モード記述子疎表現化部４３とを備える。

予測モード識別子発生部４１は、図８で例示した予測モードの識別子ｚ＝０〜８を予測部３１及びＲＤ最適化処理部４２に順次出力する。

予測部３１は、予測モード識別子発生部４１から出力された予測モードの識別子に応じて参照領域画像から予測領域の予測画像を生成し、各予測モードの識別子に対応する予測画像をＲＤ最適化処理部４２に送出する。

ＲＤ最適化処理部４２は、予測領域の実画像と各予測モードによる予測画像とを比較し、ＲＤ（Rate-Distortion）規範（ビットレートと画質劣化に基づく予め定めた尺度）が最適なものとなる予測モードを特定し、特定した予測モードの識別子を最適予測モードの識別子として予測モード記述子疎表現化部４３に出力する。尚、ＲＤ最適化処理部４２は、最適予測モードの識別子に対応する予測領域の予測画像を出力する。

一方、イントラ予測モード判定装置２は、前述したように、参照領域画像から最適と推定される予測モードの識別子を推定予測モードの識別子として予測モード記述子疎表現化部４３に出力する。尚、最適予測モードの識別子を推定予測モードの識別子と同一の記述形態であり、例えば、ｚ＝０〜８の識別子であれば、最適予測モードの識別子を推定予測モードの識別子の双方は方位ごとに３ｂｉｔで表すことができる。

予測モード記述子疎表現化部４３は、最適予測モードの識別子と、推定予測モードの識別子を用いて当該記述形態を疎表現化した、予測モードの疎表現化記述子を生成して出力する。これにより、最適予測モードの識別子の記述形態を推定予測モードの識別子の記述形態で変化させ、エントロピーの小さい記述子を生成することができる。

例えば、予測モード記述子疎表現化部４３は、最適予測モードの識別子と、推定予測モードの識別子との数値としての差分を演算し、その結果を予測モードの疎表現化記述子として出力する。

図１１を参照するに、第２態様の復号側イントラ予測装置４ｂは、前述したイントラ予測モード判定装置２と、前述した予測部３１と、最適予測モード識別子生成部４２ｂとを備える。

最適予測モード識別子生成部４２ｂは、予測モード記述子疎表現化部４３から予測モードの疎表現化記述子をうけとり、イントラ予測モード判定装置２からの推定予測モードの識別子を用いて、最適予測モードの識別子を復元し、予測部３１に送出する。

図１１に示す予測部３１は、最適予測モード識別子生成部４２ｂからの最適予測モードの識別子に応じて参照領域画像から予測領域の予測画像を生成する。

第２態様のイントラ予測装置４，４ｂによれば、予め用意した複数の予測モードの中からレート歪み特性の観点で最適な予測モードを決定する一方で、本発明に係るイントラ予測モード判定装置により決定される予測モードを求め、最適予測モードの識別子の記述形態を推定予測モードの識別子の記述形態で変化させることができ、換言すれば、単に最適予測モードの識別子を伝送するよりも記述形態を疎表現化した態様で予測モードの情報を伝送することが可能となる。特に、最適予測モードの識別子と推定予測モードの識別子との間に非零の相関がある状況においては、符号化側及び復号側の双方でイントラ予測モード判定装置を具備することにより、符号化側と復号側との間の当該識別子の伝送が圧縮可能となり、実質的な伝送符号量を削減することができるようになる。

次に、本発明による第３態様のイントラ予測装置の実施例について説明する。

〔第３態様のイントラ予測装置〕
図１２は、本発明による第３態様のイントラ予測装置の構成を示すブロック図である。第３態様のイントラ予測装置５は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定してそれにより予測画像の初期値を生成し、これに対して繰り返し処理を適用して最終的な予測画像を生成する装置であり、イントラ予測モード判定装置２と、制御パラメータ設定部５１と、予測画像初期値設定部５２と、処理ブロック生成部５３と、直交変換部５４と、係数修正部５５と、逆直交変換部５６と、分岐部５７と、画像修正部５８と、予測画像抽出部５９とを備える。

イントラ予測モード判定装置２は、前述と同様に、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する。

制御パラメータ設定部５１は、イントラ予測モード判定装置２から推定予測モードの識別子の情報を取得し、予測画像初期値設定部５２に送出するとともに、後述するように、分岐部５７に対する繰返し処理の回数の設定、処理ブロック生成部５３に対する参照領域画像の可変の画像領域の設定、係数修正部５５に対する高周波領域における修正量の設定、及び、逆直交変換部５６における修正された直交変換係数に対する基底の設定等の制御パラメータの設定を行う。尚、符号化側で第３態様のイントラ予測装置を用いる場合、これらの制御パラメータを復号側に出力することができる。一方、復号側で第３態様のイントラ予測装置を用いる場合、これらの制御パラメータを受信して第３態様のイントラ予測装置の設定に用いることができる。

予測画像初期値設定部５２は、推定予測モードの識別子によって指示される予測モードによって前記参照領域画像からイントラ予測対象のブロック画像を予測し、予測画像の初期値として設定する。

処理ブロック生成部５３は、参照領域画像と、当該初期値が設定されたイントラ予測対象のブロック画像からなる処理ブロックを生成する。

直交変換部５４は、処理ブロックの画像に対して直交変換を施す。

係数修正部５５は、直交変換部５４によって生成される直交変換係数を、高周波領域において元の値よりも小さい値に修正する。

逆直交変換部５６は、修正された直交変換係数に対して逆直交変換を施す。

画像修正部５８は、逆直交変換部５６によって生成される画像のうち、参照領域画像の画像領域における画素値を参照領域画像の元の画素値に修正する。

分岐部５７は、直交変換部５４、係数修正部５５及び逆直交変換部５６による一連の処理を、当該参照領域画像の画像領域における画素値の修正が所定の修正量以下となるまで所定回数以内で繰返す。例えば、分岐部５７は、直交変換部５４、係数修正部５５及び逆直交変換部５６による一連の処理の繰り返しを終了する所定の条件（つまり、繰り返し処理を行う際の現在の画素値と繰り返し処理を行う前の元の復号済みの画像の画素値との差分値が所定の閾値以下であるという条件）を満たすか否かを判定し、該所定の条件を満たしていないと判定した場合には、該一連の処理を繰り返し実行させるために逆直交変換部５４によって生成された画像を画像修正部５８に供給し、該所定の条件を満たしていると判定した場合には、該一連の処理の繰り返しを終了して逆直交変換部５６によって生成された画像を予測画像抽出部５９に供給する。

予測画像抽出部５９は、当該繰り返しによって得られる最終的な処理ブロックの画像から、イントラ予測対象のブロック画像を抽出して予測画像を生成する。

第３態様のイントラ予測装置５は、上記の繰り返し処理を行うことで、より一層、交流成分の不連続性を低減することができる。

図１３は、本発明による第３態様のイントラ予測装置５の処理を説明する図である。また、図１４（ａ）及び図１４（ｃ）は、イントラ予測装置５で行う処理の単位となる処理ブロックＰを例示する図である。図１４（ｂ）及び図１４（ｄ）は、処理ブロックＰの周波数領域を示す図であり、左上の領域は低周波成分を示し、右下の領域は高周波成分を示す。画像ブロックＸは、イントラ予測の対象となる画像ブロック（以下、「予測ブロック」という）である。画像ブロックＤ，Ｂ，Ａは、符号化された後に復号された画像ブロックであり、予測ブロックの画素値を予測するために参照領域画像（以下、「参照ブロック」という）である。また、以下の説明において、参照ブロックＤ，Ｂ，Ａ内の画像をそれぞれ参照領域画像ｄ，ｂ，ａといい、予測ブロックＸ内の画像を予測画像ｘという。

各ブロックのサイズは予め設定されており、図１４（ａ）に示すように、参照ブロックＤはｋ画素×ｍライン、参照ブロックＢはｌ画素×ｍライン、参照ブロックＡはｋ画素×ｎライン、予測ブロックＸはｌ画素×ｎライン、処理ブロックＰは（ｋ＋ｌ）画素×（ｍ＋ｎ）ラインである。

まず、第３態様のイントラ予測装置５は、予測画像初期値設定部５２によって、推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測し、予測画像の初期値として設定する（Ｓ１０１）。

次に、処理ブロック生成部５３によって、図１４（ａ）に示すように、参照ブロックＤ，Ｂ，Ａと初期値が設定された予測ブロックＸからなる処理ブロックＰを生成する（Ｓ１０２）。

次に、直交変換部５４によって、処理ブロックの画像に対して直交変換を施す（Ｓ１０３）。

次に、係数修正部５５によって生成される直交変換係数を、高周波領域において元の値よりも小さい値に修正する（Ｓ１０４）。次に、逆直交変換部５６によって、修正された直交変換係数に対して逆直交変換を施す（Ｓ１０５）。

尚、係数修正部５５は、参照ブロックＤ，Ｂ，Ａと予測ブロックＸの境界領域において、参照領域画像ｄ，ｂ，ａと予測画像ｘとの間に交流的な連続性をもたせる（不連続性を低減する）ために、処理ブロックＰの高周波成分を抑圧するため、直交変換部５４から入力される直交変換係数のうち、図１４（ｂ）に示すように、高周波領域である係数修正領域Ｈの直交変換係数の絶対値を元の値よりも小さい値に修正する。係数修正領域Ｈ内の係数の数ｈは、１≦ｈ＜（ｋ＋ｌ）×（ｍ＋ｎ）である。そして、修正した直交変換係数は逆直交変換部５６に出力される。修正する値は、０とするのが高周波成分を除去するのに好適である。また、直交変換が修正される係数修正領域Ｈは、図１４（ｄ）に示すように、正方形状又は長方形状としてもよい。

また、係数修正部１４は、後述する繰り返し処理によりＮ回目の処理を行う場合には、最高次の直交変換係数から順にｈ_Ｎ個の直交変換係数の絶対値を元の値よりも小さい値に修正する（Ｓ１０６）。ここで、係数修正領域Ｈを所定の値に修正するという制約条件を徐々に緩和させるために、処理を繰り返すごとに、繰り返し後の係数修正領域Ｈの面積を繰り返し前の面積以下とし、ｈ_１≧ｈ_２≧…≧ｈ_Ｎとするのが好適である。

次に、画像修正部５８によって、逆直交変換部５６によって生成される画像のうち、参照領域画像の画像領域における画素値を参照領域画像の元の画素値に修正する（Ｓ１０７）。

分岐部５７によって、直交変換部５４、係数修正部５５及び逆直交変換部５６による一連の処理を、当該参照領域画像の画像領域における画素値の修正が所定の修正量以下となるまで所定回数以内で繰返されると、予測画像抽出部５９は、当該繰り返しによって得られる最終的な処理ブロックの画像から、イントラ予測対象のブロック画像を抽出して予測画像を生成する（Ｓ１０８）。

尚、分岐部５７は、上記の直交変換、直交変換係数の修正、逆直交変換という一連の処理を繰り返すか否かを判定する。例えば、繰り返し回数が所定の回数以下の場合には、繰り返し処理を実行させるために、逆直交変換部５６から入力される画像を画像修正部５７に出力し、繰り返し回数が所定の回数を超えた場合には、繰り返し処理を終了して逆直交変換部５６から入力される画像を予測画像抽出部５９に出力する。

また、分岐部５７における別の判定方法として、参照ブロックＤ，Ｂ，Ａ内の領域について、現在の画素値と繰り返し処理を行う前の元の復号済みの画像の画素値との差分値を算出し、この差分値が閾値以上の場合には繰り返し処理を実行させるために、逆直交変換部５６から入力される画像を画像修正部５８に出力し、閾値より小さい場合には繰り返し処理を終了して逆直交変換部５６から入力される画像を予測画像抽出部５９に出力するようにしてもよい。差分値を算出する対象となる参照ブロックＤ，Ｂ，Ａ内の領域は、以下に説明する、画像修正部５８で修正する画像修正領域Ｇとするのが好適である。また、この判定方法による場合でも、繰り返し回数を制限するために、繰り返しの上限回数を設けるのが好適である。

すなわち、画像修正部５８は、境界領域において、元の参照領域画像ｄ，ｂ，ａと予測画像ｘとの間に交流的な連続性をもたせるために、分岐部５７から入力される画像を修正する。高次の直交変換係数の絶対値を元の値よりも小さい値に修正して逆直交変換を行うことにより、参照ブロックＤ，Ｂ，Ａと予測ブロックＸとの境界領域における画素値の不連続性が緩和されるが、参照ブロックＤ，Ｂ，Ａの画素値は元の値から変化している。そのため、例えば、図１４（ｃ）に示すように、参照ブロックＤ，Ｂ，Ａ内のうち、予測ブロックＸに隣接する画像修正領域Ｇの画素値を、参照ブロックＤ，Ｂ，Ａの元の画素値に修正する。画像修正領域Ｇ内の画素数ｇは、１≦ｇ≦ｋ×ｍ＋ｌ×ｍ＋ｋ×ｎである。そして、画素値を修正した後の処理ブロックＰを直交変換部５４に出力する。

画像修正部５８は、繰り返し処理によりＮ回目の処理を行う場合には、参照ブロックＤ，Ｂ，Ａのうち、ｇ_Ｎ個の画素からなる画像修正領域Ｇを元の画素値に修正する。ここで、参照領域画像ｄ，ｂ，ａが演算により変化した場合には元の値に修正するという制約条件を徐々に緩和させるために、処理を繰り返すごとに、繰り返し後の画像修正領域Ｇの面積を繰り返し前の面積以下とし、ｇ_１≧ｇ_２≧…≧ｇ_Ｎとするのが好適である。

次に、本発明による第１態様〜第３態様のイントラ予測装置は、符号化器及び復号器に適用することができ、代表的に、本発明による第３態様のイントラ予測装置５を備える符号化器について説明する。

［符号化器］
図１５は、本発明による第３態様の符号化側イントラ予測装置５を備える符号化器６の構成を示すブロック図である。本発明に係る符号化器６は、本発明による第３態様のイントラ予測装置５と、減算部６１と、直交変換部６２と、量子化部６３と、エントロピー符号化部６４と、逆量子化部６５と、逆直交変換部６６と、動き補償予測とイントラ予測の切り替えを行う切替えスイッチ６７と、加算部６８と、メモリ６９と、動き補償予測部７０とを備える。

動き補償予測部７０は、動き補償予測の場合に、入力画像に対して、メモリ６９から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替えスイッチ６７を介して減算部６１及び加算部６８に出力する。また、動き補償予測部７０は、動き情報（動きベクトル等）をエントロピー符号化部６４に出力する。

減算部６１は、入力画像と、動き補償予測部７０又はイントラ予測装置５からの予測画像との差分画像を生成して直交変換部６２に出力する。

直交変換部６２は、減算部６１から供給される差分画像に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、直交変換係数を量子化部６３に出力する。

量子化部６３は、直交変換部６２から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、エントロピー符号化部６４及び逆量子化部６５に出力する。

エントロピー符号化部６４は、量子化部６３から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部７０から入力される動き情報もエントロピー符号化を施して外部に出力する。

つまり、本発明に係る符号器２は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の符号器と比較して、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の符号器におけるイントラ予測部に代えて本発明による第３態様のイントラ予測装置５を備える点で相違するが、動作は従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の符号器と同様である。

第３態様のイントラ予測装置５は、逆量子化部６５、逆直交変換部６６及び加算部６８を経てメモリ６９に格納された参照領域画像を入力して予測画像を生成し、切替えスイッチ６７を介して減算部６１及び加算部６８に出力する。制御パラメータは、エントロピー符号化部６４にて符号化される。

［復号器］
図１６は、本発明による第３態様の復号側イントラ予測装置５を備える復号器７の構成を示すブロック図である。復号器７は、第３態様の復号側イントラ予測装置５と、エントロピー復号部７１と、逆量子化部７２と、逆直交変換部７３と、加算部７４と、メモリ７５と、動き補償予測部７６と、切替えスイッチ７７と、画像信号再構成部７８とを備える。復号器７は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の復号器と比較して、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の復号器のイントラ予測部に代えて、本発明による第３態様の復号側イントラ予測装置５を備える点で相違する。

エントロピー復号部７１は、フレーム間予測で符号化されたビットストリームを入力して、エントロピー復号処理を施し逆量子化部７２に出力するとともに、動き情報を復号して動き補償予測部７６に出力する。動き補償予測部７６は、動き補償予測の場合の予測画像を生成し、復号側イントラ予測装置５は、イントラ予測の場合の予測画像を生成する。さらに、符号化器側から制御パラメータが伝送された場合には、制御パラメータを復号して復号側イントラ予測装置５に出力する。

逆量子化部７２は、エントロピー復号部７１から入力される量子化された直交変換係数に対して逆量子化処理を施して逆直交変換部７３に出力する。

逆直交変換部７３は、逆量子化部７２から入力される差分画像の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分画像を加算部７４に出力する。

加算部７４は、逆直交変換部７３から得られる当該差分画像と、動き補償予測部５６から入力される予測画像又は本発明による第３態様の復号側イントラ予測装置５から入力される予測画像とを加算して画像信号再構成部７８に送出する。

画像信号再構成部７８は、加算部７４から得られるコンポーネント信号から画像を復元する。

このように、本発明に係る第３態様のイントラ予測装置５は、本発明に係る第１及び第２態様のイントラ予測装置も同様に、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の符号化器及び復号器に大きな変更無く適用することが可能である。

本発明によれば、テクスチャの特徴解析として、隣接領域に対する相関を方位別に算出して高精度に評価することができるので、特に、イントラ予測の用途に有用である。

１ テクスチャ解析装置
２ イントラ予測モード判定装置
３ イントラ予測装置
４ イントラ予測装置
５ イントラ予測装置
１０ スペクトル演算部
１１ 走査制御部
１２ 集計部
１３ 最適化処理部
２１ 判定部
２２ 予測モード記憶部
３１ 予測部
４１ 予測モード識別子発生部
４２ ＲＤ最適化処理部
４３ 予測モード記述子疎表現化部
４ｂ イントラ予測装置
４２ｂ 最適予測モード識別子生成部
５１ 制御パラメータ設定部
５２ 予測画像初期値設定部
５３ 処理ブロック生成部
５４ 直交変換部
５５ 係数修正部
５６ 逆直交変換部
５７ 分岐部
５８ 画像修正部
５９ 予測画像抽出部

Claims (10)

1. 入力画像のスペクトルを演算し、空間スペクトル画像を生成するスペクトル演算部と、
   前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査する走査制御部と、
   当該走査された空間周波数におけるスペクトルを集計する集計部と、
   当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定する最適化処理部と、
   を備えることを特徴とするテクスチャ解析装置。
2. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測モード判定装置であって、
   イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像としてテクスチャ方位の情報を出力する請求項１に記載のテクスチャ解析装置と、
   前記テクスチャ解析装置によって決定されるテクスチャ方位の情報を予め定めた所定数の予測モードの方位のうちのいずれか１つに割り当て、割り当てた予測モードの方位に関する推定予測モードの識別子を生成する判定部と、
   を備えることを特徴とするイントラ予測モード判定装置。
3. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、
   イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する請求項２に記載のイントラ予測モード判定装置と、
   前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測する予測部と、
   を備えることを特徴とするイントラ予測装置。
4. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、
   イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する請求項２に記載のイントラ予測モード判定装置と、
   予め定めたレート歪み特性に基づいて前記複数の予測モードの中から１つの予測モードを最適予測モードとして決定して当該予測画像を生成するとともに、当該最適予測モードの識別子を前記推定予測モードの識別子と同一の記述形態で生成するＲＤ最適化処理部と、
   前記推定予測モードの識別子と前記最適予測モードの識別子を用いて当該記述形態を疎表現化した、予測モードの疎表現化記述子を生成する予測モード記述子疎表現化部と、
   を備えることを特徴とするイントラ予測装置。
5. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、
   イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する請求項２に記載のイントラ予測モード判定装置と、
   前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測し、予測画像の初期値として設定する予測画像初期値設定部と、
   前記参照領域画像と、当該初期値が設定されたイントラ予測対象のブロック画像からなる処理ブロックを生成する処理ブロック生成部と、
   前記処理ブロックの画像に対して直交変換を施す直交変換部と、
   前記直交変換部によって生成される直交変換係数を、高周波領域において元の値よりも小さい値に修正する係数修正部と、
   前記修正された直交変換係数に対して逆直交変換を施す逆直交変換部と、
   前記逆直交変換部によって生成される画像のうち、前記参照領域画像の画像領域における画素値を前記参照領域画像の元の画素値に修正する画像修正部と、
   前記直交変換部、前記係数修正部及び前記逆直交変換部による一連の処理を、当該参照領域画像の画像領域における画素値の修正が所定の修正量以下となるまで所定回数以内で繰返す分岐部と、
   当該繰り返しによって得られる最終的な処理ブロックの画像から、イントラ予測対象のブロック画像を抽出して予測画像を生成する予測画像抽出部と、
   を備えることを特徴とするイントラ予測装置。
6. コンピュータに、
   入力画像のスペクトルを演算し、空間スペクトル画像を生成するステップと、
   前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査するステップと、
   当該走査された空間周波数におけるスペクトルを集計するステップと、
   当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定するステップと、
   を実行させるためのプログラム。
7. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測モード判定装置として構成するコンピュータに、
   イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像として、当該入力画像のスペクトルを演算し、空間スペクトル画像を生成するステップと、
   前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査するステップと、
   当該走査された空間周波数におけるスペクトルを集計するステップと、
   当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定するステップと、
   当該決定されるテクスチャ方位の情報を予め定めた所定数の予測モードの方位のうちのいずれか１つに割り当て、割り当てた予測モードの方位に関する推定予測モードの識別子を生成するステップと、
   を実行させるためのプログラム。
8. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測装置として構成するコンピュータに、
   イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像として、当該入力画像のスペクトルを演算し、空間スペクトル画像を生成するステップと、
   前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査するステップと、
   当該走査された空間周波数におけるスペクトルを集計するステップと、
   当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定するステップと、
   当該決定されるテクスチャ方位の情報を予め定めた所定数の予測モードの方位のうちのいずれか１つに割り当て、割り当てた予測モードの方位に関する推定予測モードの識別子を生成するステップと、
   前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測するステップと、
   を実行させるためのプログラム。
9. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測装置として構成するコンピュータに、
   イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像として、当該入力画像のスペクトルを演算し、空間スペクトル画像を生成するステップと、
   前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査するステップと、
   当該走査された空間周波数におけるスペクトルを集計するステップと、
   当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定するステップと、
   当該決定されるテクスチャ方位の情報を予め定めた所定数の予測モードの方位のうちのいずれか１つに割り当て、割り当てた予測モードの方位に関する推定予測モードの識別子を生成するステップと、
   予め定めたレート歪み特性に基づいて前記複数の予測モードの中から１つの予測モードを最適予測モードとして決定して当該予測画像を生成するとともに、当該最適予測モードの識別子を前記推定予測モードの識別子と同一の記述形態で生成するステップと、
   前記推定予測モードの識別子と前記最適予測モードの識別子を用いて当該記述形態を疎表現化した、予測モードの疎表現化記述子を生成するステップと、
   を実行させるためのプログラム。
10. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測装置として構成するコンピュータに、
    （ａ）イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像として、当該入力画像のスペクトルを演算し、空間スペクトル画像を生成するステップと、
    （ｂ）前記空間スペクトル画像について方位ごとに所定の走査パターンで空間周波数を走査するステップと、
    （ｃ）当該走査された空間周波数におけるスペクトルを集計するステップと、
    （ｄ）当該集計した結果の集計値のうちの最大値及び／又は最小値を判別し、前記最大値及び／又は前記最小値に該当する当該方位の情報をテクスチャ方位として決定するステップと、
    （ｅ）当該決定されるテクスチャ方位の情報を予め定めた所定数の予測モードの方位のうちのいずれか１つに割り当て、割り当てた予測モードの方位に関する推定予測モードの識別子を生成するステップと、
    （ｆ）前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測し、予測画像の初期値として設定するステップと、
    （ｇ）前記参照領域画像と、当該初期値が設定されたイントラ予測対象のブロック画像からなる処理ブロックを生成するステップと、
    （ｈ）前記処理ブロックの画像に対して直交変換を施すステップと、
    （ｉ）前記ステップ（ｈ）によって生成される直交変換係数を、高周波領域において元の値よりも小さい値に修正するステップと、
    （ｊ）前記修正された直交変換係数に対して逆直交変換を施すステップと、
    （ｋ）前記ステップ（ｊ）によって生成される画像のうち、前記参照領域画像の画像領域における画素値を前記参照領域画像の元の画素値に修正するステップと、
    （ｌ）前記ステップ（ｈ）、前記ステップ（ｉ）及び前記ステップ（ｊ）による一連の処理を、当該参照領域画像の画像領域における画素値の修正が所定の修正量以下となるまで所定回数以内で繰返すステップと、
    （ｍ）当該繰り返しによって得られる最終的な処理ブロックの画像から、イントラ予測対象のブロック画像を抽出して予測画像を生成するステップと、
    を実行させるためのプログラム。

Images