JP5509106B2 - テクスチャ解析装置、イントラ予測モード判定装置及びイントラ予測装置、並びにこれらのプログラム - Google Patents

Description

本発明は、入力画像の方向別の相関を解析するテクスチャ解析装置、このテクスチャ解析装置によって解析した結果をイントラ予測やパターン認識へ応用したイントラ予測モード判定装置及びイントラ予測装置、並びにこれらのプログラムに関する。

従来、画像のテクスチャを解析する技法として、画像のフラクタル特徴に基づく技法（例えば、特許文献１参照）や、エッジ検出に基づく技法が提案されている（例えば、特許文献２参照）。

テクスチャ解析の目的としては、該解析結果に基づくパターン認識によりコンクリート等の欠陥を検出する技法（例えば、特許文献２参照）や、画像符号化に応用する技法が挙げられる（例えば、特許文献３参照）。

イントラ予測の技法としては、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式等において規格化されている。また、予測対象ブロックの画素値を、該予測対象ブロックに隣接する画素群の画素値に基づいて予測する技法がある（例えば、特許文献４参照）。また、予測対象ブロックの画素値を、その隣接画素群から特定方向について予測する技法がある（例えば、特許文献５参照）。さらに、予測対象ブロックの隣接画素と、予測対象ブロックから１画素を超える距離に存在する画素との対に基づき、予測対象ブロックの予測を行う技法がある（例えば、特許文献６参照）。

特開平５−２８２６６号公報 特開平６−６０１８２号公報 特許第４４５０８２８号公報 特開２００９−４９９６９号公報 特開２００８−２４５０８８号公報 特開２００８−２７１３７１号公報

前述したように、画像のテクスチャ解析を行うことは欠陥検出や画像符号化など様々な分野で要求されている。しかし、従来のテクスチャ解析技法は、テクスチャ毎に領域を分割したり、そのテクスチャが何であるかを認識したりすることを目的としていた。例えば、特許文献２の技法では、観測された画像からコンクリートのひびを検出するよう設計されているため、このテクスチャ解析結果に基づいて、隣接領域のテクスチャを予測するという目的には則していない。

一方、特許文献３の技法では、画像のテクスチャ解析を行い、この解析結果から予測対象ブロックを予測し、画像合成的にはめ込みを行うことで、符号化効率の改善を図っている。しかし、特許文献３の技法は、主観的な画質向上を目指して、画像合成的にテクスチャをはめ込むものであるから、実際の符号化対象の入力画像と、復号後に得られる出力画像との間で、信号波形(位相、振幅)としての類似性は全く保証されない。

一方、信号波形の類似性を重視する画像符号化技法において、入力画像(又は動き補償後の残差画像)を複数のブロックに分割し、ある注目ブロック(予測ブロック)の画素値を、すでに符号化済みの周囲の画素値群から内外挿補間することで予測を行う。その後、画像符号化技法は、この予測結果と入力画像(又は動き補償後の残差画像)との残差をエントロピー符号化する。例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４規格のイントラ予測では予測対象ブロックの周辺画素からの０次ホールドでの予測を行うが、最適な予測方向を複数試行の結果、レート対歪みの観点で特定している。この予測処理では最適な予測方向の決定が行われるが、その最適な予測方向を示す情報（予測モードの情報）の伝送が必要である。このため、イントラ予測における最適な予測方向に関して、復号済みの参照画素のテクスチャを分析して予測対象ブロックの相関方向を検出できれば、予測モードの情報の伝送負荷を減少させることができる。

つまり、精度良く簡易な方式で予測対象ブロックの相関方向を検出するテクスチャ解析技法はなかった。とりわけ、画像符号化のイントラ予測に利用可能なテクスチャ解析技法は存在しなかった。従来のテクスチャ解析技法では、相関演算により特定の方向のテクスチャの存在を検出することはできたが、排他的にその方向のみに強い相関を持つか否かを評価するものではなかった。

特に、エッジ検出を通じて排他的に強い相関の方向を求める技法はあったが、ある領域内で大局的に特定の方向に強い相関を持つか否かを評価するものではなかった。

本発明の目的は、上述の問題に鑑みて為されたものであり、入力画像の方向別の相関を解析するテクスチャ解析装置、このテクスチャ解析装置によって分析した結果をイントラ予測やパターン認識へ応用したイントラ予測モード判定装置及びイントラ予測装置、並びにこれらのプログラムを提供することにある。

上記課題を解決するため、本発明に係るテクスチャ解析装置は、入力画像の方向別の相関を解析するテクスチャ解析装置であって、入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出する相関算出部と、前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出する相関比算出部と、前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するテクスチャ方向決定部と、を備えることを特徴とする。

さらに、本発明に係るテクスチャ解析装置において、前記相関算出部は、前記複数の方向を記憶する方向記憶部と、前記方向記憶部に記憶された複数の方向に沿った変位量をずらし量として生成するずらし量生成部と、前記入力画像の位置を前記ずらし量だけ並進してずらしたずらし画像を生成するずらし画像生成部と、前記基準方向について、前記入力画像及び前記ずらし画像の間の相関を算出する基準方向相関算出部と、前記直交方向について、前記入力画像及び前記ずらし画像の間の相関を算出する直交方向相関算出部と、を備えることを特徴とする。

さらに、本発明に係るテクスチャ解析装置において、前記基準方向相関算出部は、前記基準方向について、前記入力画像及び前記ずらし画像の間の相関を、自己相関により算出し、前記直交方向相関算出部は、前記直交方向について、前記入力画像及び前記ずらし画像の間の相関を、自己相関により算出することを特徴とする。

さらに、本発明に係るテクスチャ解析装置において、前記ずらし画像生成部は、前記ずらし画像を、前記入力画像が繰り返し連続されるものとして生成することを特徴とする。

また、上記課題を解決するため、本発明に係るイントラ予測モード判定装置は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測モード判定装置であって、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像としてテクスチャ方向を出力する請求項１〜４のいずれか一項に記載のテクスチャ解析装置と、前記テクスチャ解析装置によって決定されるテクスチャ方向を、予め定めた所定数の予測モードの方向のうちのいずれか１つに割り当て、割り当てた予測モードの方向に関する推定予測モードの識別子を生成する判定部と、を備えることを特徴とする。

また、上記課題を解決するため、本発明に係る第１態様のイントラ予測装置は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する請求項５に記載のイントラ予測モード判定装置と、前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測する予測部と、を備えることを特徴とする。

また、上記課題を解決するため、本発明に係る第２態様のイントラ予測装置は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する請求項５に記載のイントラ予測モード判定装置と、予め定めたレート歪み特性に基づいて前記複数の予測モードの中から１つの予測モードを最適予測モードとして決定して当該予測画像を生成するとともに、当該最適予測モードの識別子を前記推定予測モードの識別子と同一の記述形態で生成するＲＤ最適化処理部と、前記推定予測モードの識別子と前記最適予測モードの識別子を用いて当該記述形態を疎表現化した、予測モードの疎表現化記述子を生成する予測モード記述子疎表現化部と、を備えることを特徴とする。

また、上記課題を解決するため、本発明に係る第３態様のイントラ予測装置は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する請求項５に記載のイントラ予測モード判定装置と、前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測し、予測画像の初期値として設定する予測画像初期値設定部と、前記参照領域画像と、前記初期値が設定されたイントラ予測対象のブロック画像からなる処理ブロックを生成する処理ブロック生成部と、前記処理ブロックの画像に対して直交変換を施して直交変換係数を生成する直交変換部と、前記直交変換部によって生成された直交変換係数の絶対値を、高周波領域において元の値よりも小さい値に修正する係数修正部と、前記修正された直交変換係数に対して逆直交変換を施して画像を生成する逆直交変換部と、前記逆直交変換部によって生成された画像のうち、前記参照領域画像の画像領域を元の復号済みの画像の画素値に修正し、該修正した画像を前記直交変換部に供給する画像修正部と、前記逆直交変換部によって生成された画像から予測ブロックの画像を抽出して予測画像を生成する予測画像抽出部と、前記画像修正部、前記直交変換部、前記係数修正部、及び前記逆直交変換部による一連の処理の繰り返しを終了する所定の条件を満たすか否かを判定し、該所定の条件を満たしていないと判定した場合には、該一連の処理を繰り返し実行させるために前記逆直交変換部によって生成された画像を前記画像修正部に供給し、該所定の条件を満たしていると判定した場合には、該一連の処理の繰り返しを終了して前記逆直交変換部によって生成された画像を前記予測画像抽出部に供給する分岐部と、を備えることを特徴とする。

また、本発明は、入力画像の方向別の相関を解析するテクスチャ解析装置として構成するコンピュータに、入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出するステップと、前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出するステップと、前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するステップと、を実行させるためのプログラムとしても特徴付けられる。

また、本発明は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測モード判定装置として構成するコンピュータに、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像とし、該入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出するステップと、前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出するステップと、前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するステップと、前記決定されたテクスチャ方向を、予め定めた所定数の予測モードの方向のうちのいずれか１つに割り当て、割り当てた予測モードの方向に関する推定予測モードの識別子を生成するステップと、を実行させるためのプログラムとしても特徴付けられる。

また、本発明は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測装置として構成するコンピュータに、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像とし、該入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出するステップと、前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出するステップと、前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するステップと、前記決定されたテクスチャ方向を、予め定めた所定数の予測モードの方向のうちのいずれか１つに割り当て、割り当てた予測モードの方向に関する推定予測モードの識別子を生成するステップと、前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測するステップと、を実行させるためのプログラムとしても特徴付けられる。

また、本発明は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置として構成するコンピュータに、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像とし、該入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出するステップと、前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出するステップと、前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するステップと、前記決定されたテクスチャ方向を、予め定めた所定数の予測モードの方向のうちのいずれか１つに割り当て、割り当てた予測モードの方向に関する推定予測モードの識別子を生成するステップと、予め定めたレート歪み特性に基づいて前記複数の予測モードの中から１つの予測モードを最適予測モードとして決定して当該予測画像を生成するとともに、当該最適予測モードの識別子を前記推定予測モードの識別子と同一の記述形態で生成するステップと、前記推定予測モードの識別子と前記最適予測モードの識別子を用いて当該記述形態を疎表現化した、予測モードの疎表現化記述子を生成するステップと、を実行させるためのプログラムとしても特徴付けられる。

また、本発明は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置として構成するコンピュータに、（ａ）イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像とし、該入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出するステップと、（ｂ）前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出するステップと、（ｃ）前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するステップと、（ｄ）前記決定されたテクスチャ方向を、予め定めた所定数の予測モードの方向のうちのいずれか１つに割り当て、割り当てた予測モードの方向に関する推定予測モードの識別子を生成するステップと、（ｅ）前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測し、予測画像の初期値として設定するステップと、（ｆ）前記参照ブロックと、前記初期値が設定された予測ブロックからなる処理ブロックを生成するステップと、（ｇ）前記処理ブロックの画像に対して直交変換を施して直交変換係数を生成するステップと、（ｈ）前記ステップ（ｇ）によって生成された直交変換係数の絶対値を、高周波領域において元の値よりも小さい値に修正するステップと、（ｉ）前記ステップ（ｈ）によって修正された直交変換係数に対して逆直交変換を施して画像を生成するステップと、（ｊ）前記ステップ（ｇ）からステップ（ｉ）の一連の処理の繰り返しを終了する所定の条件を満たすか否かを判定するステップと、（ｋ）前記ステップ（ｊ）により、前記所定の条件を満たしていないと判定した場合には、前記ステップ（ｉ）によって生成された画像のうち、前記参照ブロック内の画像領域を、元の復号済みの画像の画素値に修正し、前記ステップ（ｇ）から当該ステップ（ｊ）を繰り返し行うステップと、（ｌ）前記ステップ（ｊ）により、前記所定の条件を満たしていると判定した場合には、前記一連の処理の繰り返しを終了して前記ステップ（ｉ）によって生成された画像から予測ブロックの画像を抽出して予測画像を生成するステップと、を実行させるためのプログラムとしても特徴付けられる。

本発明によれば、テクスチャの特徴解析として、隣接領域に対する相関を方向別に算出して高精度に評価することができるので、特に、イントラ予測の予測モードの推定に応用することで符号化効率をより向上させることができる。

本発明による一実施例のテクスチャ解析装置の構成を示すブロック図である。 本発明による一実施例のテクスチャ解析装置の動作を示すフローチャートである。 本発明による一実施例のテクスチャ解析装置の位相ずらしを説明する図である。 本発明による一実施例のテクスチャ解析装置の方向の設定例を説明する図である。 本発明による一実施例のイントラ予測モード判定装置の構成を示すブロック図である。 従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式における４画素×４ライン単位で予測する場合の予測モードを示す図である。 本発明による一実施例のイントラ予測装置で行う処理の単位となる処理ブロックを例示する図である。 本発明による第１態様のイントラ予測装置の構成を示すブロック図である。 本発明による第２態様の符号化側のイントラ予測装置の構成を示すブロック図である。 本発明による第２態様の復号側のイントラ予測装置の構成を示すブロック図である。 本発明による第３態様の復号側のイントラ予測装置の構成を示すブロック図である。 本発明による第３態様のイントラ予測装置の動作を示すフローチャートである。 本発明による第３態様のイントラ予測装置の動作を説明する図である。 本発明による第３態様のイントラ予測装置を備える符号化器の構成を示すブロック図である。 本発明による第３態様のイントラ予測装置を備える復号器の構成を示すブロック図である。

以下、図面を参照して、本発明による一実施例のテクスチャ解析装置、イントラ予測モード判定装置、及び、イントラ予測装置についてそれぞれ説明する。

〔テクスチャ解析装置〕
図１は、本実施例のテクスチャ解析装置の構成を示すブロック図である。テクスチャ解析装置１は、入力画像を解析してテクスチャの相関が最大となる方向（以下、テクスチャ方向と称する）を出力する装置である。テクスチャ解析装置１は、相関算出部１０と、相関比算出部１１と、テクスチャ方向決定部１２とを備える。

相関算出部１０は、入力画像に対して、予め設定された複数の方向についてそれぞれ相関を算出する。より詳細には、相関算出部１０は、方向記憶部１０１と、ずらし量生成部１０２と、ずらし画像生成部１０３と、ｎ（ｎ≧２）個の基準方向相関算出部１０４（１０４−１〜１０４−ｎ）と、ｎ個の直交方向相関算出部１０５（１０５−１〜１０５−ｎ）とを備える。

方向記憶部１０１は、入力画像の方向別の相関（類似度）を解析するために、複数の方向を記憶する。複数の方向は、複数の基準方向と、複数の基準方向にそれぞれ直交する複数の直交方向とからなる。

ずらし量生成部１０２は、方向記憶部１０１に記憶された複数の方向に沿った変位量をずらし量として生成し、ずらし画像生成部１０３に出力する。

ずらし画像生成部１０３は、入力画像の位置を、ずらし量生成部１０２から入力されるずらし量だけ並進してずらした画像（以下、ずらし画像と称する）を生成し、基準方向についてずらしたずらし画像を基準方向相関算出部１０４に出力し、直交方向についてずらしたずらし画像を直交方向相関算出部１０５に出力する。

基準方向相関算出部１０４は、入力画像及びずらし画像生成部１０３から入力される基準方向にずらしたずらし画像の間の相関を算出し、相関比算出部１１に出力する。

直交方向相関算出部１０５は、入力画像及びずらし画像生成部１０３から入力される直交方向にずらしたずらし画像の間の相関を算出し、相関比算出部１１に出力する。

相関比算出部１１は、基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出する。ここで、所定の方向の相関及び所定の方向に直交する方向の相関の比を相関比と定義する。より詳細には、相関比算出部１１は、ｎ個の方向別相関比算出部１１（１１１−１〜１１１−ｎ）を備える。

方向別相関比算出部１１１は、基準方向相関算出部１０４から入力される基準方向の相関、及び直交方向相関算出部１０５から入力される直交方向の相関の比を算出し、テクスチャ方向決定部１２に出力する。

テクスチャ方向決定部１２は、方向別相関比算出部１１１−１〜１１１−ｎから入力される各方向についての相関比のうち、最大の相関比を選択し、このときの基準方向をテクスチャ方向として決定する。最大の相関比が所定の閾値未満である場合には、テクスチャ方向が存在しない旨の情報を出力してもよい。また、ｎの値を大きくすることによって、より精度の高いテクスチャ方向を検出することができる。

次に、このように構成されるテクスチャ解析装置１の動作について説明する。図２は、テクスチャ解析装置１の動作を示すフローチャートである。ステップＳ１０１では、テクスチャ解析装置１は、解析対象となる画像を入力する。

ステップＳ１０２では、テクスチャ解析装置１は、相関算出部１０により、方向記憶部１０１に記憶された複数の方向について相関を算出する。図３は、ずらし量生成部１０２及びずらし画像生成部１０３における位相ずらしを説明する図である。ずらし量生成部１０２は、方向記憶部１０１に記憶された方向が角度θである場合、

となる（Δｘ，Δｙ）をずらし量として決定する。ずらし画像生成部１０３は、入力画像Ｉを（Δｘ，Δｙ）だけずらしたずらし画像Ｉ’を生成する。例えば、図３に示すように、θ＝６０°のとき

であるため、（Δｘ，Δｙ）＝（１，２）とし、入力画像Ｉを（１，２）だけずらしたずらし画像Ｉ’を生成する。

基準方向相関算出部１０４は、入力画像及びずらし画像の自己相関により相関を算出する。座標（ｘ，ｙ）の画素値をｇ（ｘ，ｙ）としたとき、自己相関は、次式（１）により算出できる。また、演算処理を簡易化するために、次式（２）により自己相関を算出してもよい。

Ｌ１（θ）＝Σ｛ｇ（ｘ，ｙ）・ｇ（ｘ＋Δｘ，ｙ＋Δｙ）｝ （１）
Ｌ２（θ）＝Σ‖ｇ（ｘ，ｙ）−ｇ（ｘ＋Δｘ，ｙ＋Δｙ）‖ （２）
式（１）及び（２）において、Σは入力画像中の全ての画素について演算を行うことを意味する。また、式（２）において、‖はノルムを意味し、ノルムは自乗や絶対値等を用いることができる。

なお、入力画像に対してずらし画像のはみ出す領域については、０次ホールドや鏡像により未定義の画素を埋める方法も適用可能であるが、同じ画像が繰り返されていることを仮定して未定義の画素を埋めることが、テクスチャの方向性をくずさない意味において好適である。

図４は、テクスチャ解析装置１の方向の設定例を説明する図である。図中の四角は画素を示しており、一部の画素には画素を識別するための識別番号０〜３１を付している。設定可能な方向を、識別番号を用いて説明すると、画像サイズが３×３画素の場合は、識別番号１−５，２−６，３−７，４−８の４方向を設定可能である。画像サイズが５×５画素の場合は、上記４方向に識別番号９−１３，１０−１４，１１−１５，１２−１６の４方向を加えた８方向を設定可能である。同様に、画像サイズが７×７画素の場合は１６方向を設定可能である。このように、解析対象の画像サイズが大きくなるにつれて、設定可能な方向の数は増加する。

識別番号０に対して、識別番号１及び５は、向きは逆ではあるが方向は同じなので、識別番号１−５方向の相関Ｌの値を、識別番号０−１方向の相関値及び識別番号０−５方向の相関値の一方の値としてもよいし、両方の平均値としてもよい。

テクスチャ解析装置１は、基準方向相関算出部１０４で角度θ方向の相関Ｌ（θ）を算出したとき、直交方向相関算出部１０５により、角度（θ＋９０°）方向の相関Ｌ（θ＋９０°）を算出する。例えば、基準方向相関算出部１０４−ｋで識別番号１−５方向の相関Ｌ（９０°）を算出した場合には、直交方向相関算出部１０５−ｋは識別番号３−７方向の相関Ｌ（１８０°）を算出する。

ステップＳ１０３では、テクスチャ解析装置１は、方向別相関比算出部１３により、ステップＳ１０２にて算出した相関Ｌ（θ）と相関Ｌ（θ＋９０°）の比である相関比を算出する。

ステップＳ１０４では、テクスチャ解析装置１は、テクスチャ方向決定部１２により、ステップＳ１０３で算出した各方向についての相関比のうち、最大の相関比を選択し、相関比が最大となる基準方向をテクスチャ方向として出力する。なお、式（１）によりＬ１（θ）を求めた場合、値が大きいほど相関が大きいことを示し、式（２）によりＬ２（θ）を求めた場合、値が大きいほど相関が小さいことを示す。よって、相関の算出に式（１）を用いた場合には相関比をＬ１（θ）／Ｌ１（θ＋９０°）とし、相関の算出に式（２）を用いた場合には相関比をＬ２（θ＋９０°）／Ｌ２（θ）とする。

なお、テクスチャ解析装置１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、テクスチャ解析装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。

〔イントラ予測モード判定装置〕
次に、本発明による一実施例のイントラ予測モード判定装置について説明する。図５は、本実施例のイントラ予測モード判定装置の構成を示すブロック図である。イントラ予測モード判定装置２は、複数のイントラ予測の予測モードの中から、最適なイントラ予測モードを推定し、推定予測モードの識別子を出力する装置である。イントラ予測モード判定装置２は、前述したテクスチャ解析装置１と、判定部２１と、予測モード記憶部２２とを備える。

予測モード記憶部２２は、複数の予測モードの情報を保持している。一例として、図６に、既存のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式におけるイントラ予測の予測モードを示す。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式におけるイントラ予測は、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ライン単位で行われ、複数種類の予測方向のモード（予測モード）（例えば、４画素×４ライン単位の予測については９種類）の中から最適な予測方向を選択する。図６は、４画素×４ライン単位で予測する場合の予測モードを示す図である。図中のＡ〜Ｍは復号済みの画素を示し、矢印は予測方向を示している。（ａ）の予測モード０では垂直方向予測、（ｂ）の予測モード１では水平方向予測、（ｃ）の予測モード２ではＤＣ予測、（ｄ）の予測モード３では対角左下方向予測、（ｅ）の予測モード４では対角右下方向予測、（ｆ）の予測モード５では垂直右方向予測、（ｇ）の予測モード６では水平下方向予測、（ｈ）の予測モード７では垂直左方向予測、（ｉ）の予測モード８では水平上方向予測を行う。

判定部２１は、予め定めた規則に従って、テクスチャ解析装置１から入力されるテクスチャ方向を予測モード記憶部２２に保持される予め定められた予測モードのうちのいずれか１つに割り当て、割り当てた予測モードを示す推定予測モードの識別子ｚを生成して出力する。すなわち、図６に示す予測モードに割り当てる場合には、テクスチャ方向により示される方向に対し、予測モード０〜８のうち最も近い方向の予測モードを割り当て、予測モードの識別子ｚ＝０〜８を出力する。テクスチャ解析装置１からテクスチャ方向が存在しない旨の情報が入力された場合には、図６に例示する予測モードを使用するとき、予測モードの識別子ｚ＝２とする。

テクスチャ解析装置１で検出する相関方向の数と予測モードの方向の数とは一致している必要はない。例えば、検出方向数が少ない場合には、検出された相関比の大きさをもとに、中間に位置する方向の相関比を内挿予測して判定に用いることも可能である。また、検出方向と予測モードの方向とが一致しない場合にも、内挿を用いた評価により最適なイントラ予測方向を推定することも可能である。

図７は、イントラ予測装置で行う処理の単位となる処理ブロックＰを例示する図である。一般にイントラ予測では、画像ブロックＸを予測するのに、画像ブロックＤ，Ｂ，Ａを参照する。そのため、テクスチャ解析装置１は、参照領域の相関方向の検出を行う際に、参照領域と相関を算出する方向とを関連付けて、画像ブロックＢを参照領域とする場合には垂直に近い方向（例えば、４５°〜１３５°）、画像ブロックＡを参照領域とする場合には水平に近い方向（例えば、−４５°〜４５°）について相関を算出するのが効率的である。

なお、イントラ予測モード判定装置２として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予測モード判定装置２の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

このように、本実施例のイントラ予測モード判定装置２によれば、特定の方向に沿った予測を行う複数の予測モードの中から、適した方向の予測モードをテクスチャ解析装置１からのテクスチャ方向に従って決定することができ、イントラ予測の予測精度を向上させることができるようになる。

〔第１態様のイントラ予測装置〕
次に、前述したイントラ予測モード判定装置２の利点を生かした３つの態様のイントラ予測装置について順に説明する。また、同様な構成要素には同一の参照番号を付して説明する。

図８は、第１態様のイントラ予測装置の構成を示すブロック図である。第１態様のイントラ予測装置３は、イントラ予測モード判定装置２と、予測部３１とを備える。

予測部３１は、参照領域画像、及びイントラ予測モード判定装置２から入力される推定予測モードの識別子に基づいて、予測領域の画素値を予測し、予測画像を生成する。

なお、第１態様のイントラ予測装置３は、符号化側及び復号側の装置の双方に適用することができるし、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式と同様に、推定予測モードの識別子を符号化側から復号側の装置に伝送するように構成することができる。

つまり、第１態様のイントラ予測装置３によれば、イントラ予測対象のブロック画像の周囲の参照領域画像における参照領域のテクスチャ方向に沿って予測する方向を決定するため、当該周囲の参照領域の波形をテクスチャ解析装置１からのテクスチャ方向の情報に基づいて延長するようイントラ予測を行うことになり、この結果、参照領域画像からイントラ予測対象のブロック画像に貫入するような画素値パターンを精度良く近似することができるようになる。

〔第２態様のイントラ予測装置〕
次に、本発明による第２態様のイントラ予測装置の実施例について説明する。図９及び図１０は、第２態様のイントラ予測装置の構成を示すブロック図である。図９は符号化側で用いるイントラ予測装置を示しており、図１０は復号側で用いるイントラ予測装置を示している。

図９を参照するに、第２態様の符号化側イントラ予測装置４は、前述したイントラ予測モード判定装置２と、前述した予測部３１と、予測モード識別子発生部４１と、ＲＤ最適化処理部４２と、予測モード記述子疎表現化部４３とを備える。

予測モード識別子発生部４１は、予測モードの識別子ｚ（図６に例示する予測モードを使用するとき、ｚ＝０〜８）を予測部３１及びＲＤ最適化処理部４２に順次出力する。

予測部３１は、予測モード識別子発生部４１から入力された予測モードの識別子に応じて参照領域画像から予測領域の予測画像を生成し、各予測モードの識別子に対応する予測画像をＲＤ最適化処理部４２に送出する。

ＲＤ最適化処理部４２は、予測領域の実画像と各予測モードによる予測画像とを比較し、ＲＤ（Rate-Distortion）規範（ビットレートと画質劣化に基づく予め定めた尺度）が最適なものとなる予測モードを特定し、特定した予測モードの識別子を最適予測モードの識別子として予測モード記述子疎表現化部４３に出力する。なお、ＲＤ最適化処理部４２は、最適予測モードの識別子に対応する予測領域の予測画像を出力する。

一方、イントラ予測モード判定装置２は、前述したように、参照領域画像から最適と推定される予測モードの識別子を推定予測モードの識別子として予測モード記述子疎表現化部４３に出力する。なお、最適予測モードの識別子及び推定予測モードの識別子は同一の記述形態であり、例えば、ｚ＝０〜８の識別子であれば、最適予測モードの識別子及び推定予測モードの識別子の双方は方向ごとに３ｂｉｔで表すことができる。

予測モード記述子疎表現化部４３は、ＲＤ最適化処理部４２から入力される最適予測モードの識別子、及びイントラ予測モード判定装置２から入力される推定予測モードの識別子を用いて当該記述形態を疎表現化した、予測モードの疎表現化記述子を生成して出力する。これにより、最適予測モードの識別子の記述形態を推定予測モードの識別子の記述形態で変化させ、エントロピーの小さい記述子を生成することができる。

例えば、予測モード記述子疎表現化部４３は、最適予測モードの識別子と、推定予測モードの識別子との数値としての差分を演算し、その結果を予測モードの疎表現化記述子として出力する。

次に、図１０を参照するに、第２態様の復号側イントラ予測装置４ｂは、前述したイントラ予測モード判定装置２と、前述した予測部３１と、最適予測モード識別子生成部４２ｂとを備える。

最適予測モード識別子生成部４２ｂは、符号化側の予測モード記述子疎表現化部４３から予測モードの疎表現化記述子を受け取り、イントラ予測モード判定装置２からの推定予測モードの識別子を用いて、最適予測モードの識別子を復元し、予測部３１に送出する。

図１０に示す予測部３１は、最適予測モード識別子生成部４２ｂから入力される最適予測モードの識別子に応じて、参照領域画像から予測領域の予測画像を生成する。

第２態様のイントラ予測装置４，４ｂによれば、予め用意した複数の予測モードの中からレート歪み特性の観点で最適な予測モードを決定する一方で、本発明に係るイントラ予測モード判定装置２により決定される予測モードを求め、最適予測モードの識別子の記述形態を推定予測モードの識別子の記述形態で変化させることができ、換言すれば、単に最適予測モードの識別子を伝送するよりも記述形態を疎表現化した態様で予測モードの情報を伝送することが可能となる。最適予測モードの識別子と推定予測モードの識別子との間には高い相関があると考えられ、符号化側及び復号側の双方でイントラ予測モード判定装置２を具備することにより、符号化側と復号側との間の当該識別子の伝送が圧縮可能となり、実質的な伝送符号量を削減することができるようになる。

〔第３態様のイントラ予測装置〕
次に、本発明による第３態様のイントラ予測装置の実施例について説明する。図１１は、第３態様のイントラ予測装置の構成を示すブロック図である。第３態様のイントラ予測装置５は、イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定してそれにより予測画像の初期値を生成し、これに対して繰り返し処理を適用して最終的な予測画像を生成する装置であり、イントラ予測モード判定装置２と、制御パラメータ設定部５１と、予測画像初期値設定部５２と、処理ブロック生成部５３と、直交変換部５４と、係数修正部５５と、逆直交変換部５６と、分岐部５７と、画像修正部５８と、予測画像抽出部５９とを備える。

イントラ予測モード判定装置２は、前述と同様に、イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する。

制御パラメータ設定部５１は、イントラ予測モード判定装置２から推定予測モードの識別子の情報を取得し、予測画像初期値設定部５２に送出するとともに、後述するように、分岐部５７に対する繰返し処理の回数の設定、処理ブロック生成部５３に対する参照領域画像の可変の画像領域の設定、係数修正部５５に対する高周波領域における修正量の設定、及び、逆直交変換部５６における修正された直交変換係数に対する基底の設定等の制御パラメータの設定を行う。なお、符号化側でも第３態様のイントラ予測装置５を用いる場合には、参照領域及び予測領域を規定するパラメータ、繰り返し処理を規定するパラメータを固定値とすることで、制御パラメータを符号化側から復号側に送信する必要が無くなり、伝送符号量を削減することができる。

予測画像初期値設定部５２は、推定予測モードの識別子によって指示される予測モードによって前記参照領域画像からイントラ予測対象のブロック画像を予測し、予測画像の初期値として設定する。

処理ブロック生成部５３は、参照領域画像と、当該初期値が設定されたイントラ予測対象のブロック画像からなる処理ブロックを生成し、直交変換部５４に出力する。

直交変換部５４は、処理ブロック生成部５３から入力される処理ブロックの画像に対して直交変換を施し、導出した直交変換係数を係数修正部５５に出力する。

係数修正部５５は、直交変換部５４から入力される直交変換係数を、高周波領域において元の値よりも小さい値に修正し、逆直交変換部５６に出力する。

逆直交変換部５６は、係数修正部５５から入力される修正された直交変換係数に対して逆直交変換を施して画像を生成し、この画像を分岐部５７に出力する。

分岐部５７は、後述する画像の修正、及び上記の直交変換、直交変換係数の修正、逆直交変換という一連の処理を繰り返すか否かを判定する。繰り返し処理を実行する場合には、逆直交変換部５６から入力される画像を画像修正部５８に出力し、繰り返し処理を終了する場合には、逆直交変換部５６から入力される画像を予測画像抽出部５９に出力する。

画像修正部５８は、逆直交変換部５６によって生成される画像のうち、参照領域画像の画像領域における画素値を参照領域画像の元の画素値に修正する。

予測画像抽出部５９は、分岐部５７から入力される、当該繰り返しによって得られる最終的な処理ブロックの画像から、イントラ予測対象のブロック画像を抽出して予測画像を生成する。

第３態様のイントラ予測装置５は、上記の繰り返し処理を行うことで、より一層、交流成分の不連続性を低減することができる。

次に、このように構成される第３態様のイントラ予測装置５の動作について説明する。図１２は、第３態様のイントラ予測装置５の動作を示すフローチャートである。また、図１３（ａ）及び図１３（ｃ）は、イントラ予測装置５で行う処理の単位となる処理ブロックＰを例示する図である。図１３（ｂ）及び図１３（ｄ）は、処理ブロックＰの周波数領域を示す図であり、左上の領域は低周波成分を示し、右下の領域は高周波成分を示す。画像ブロックＸは、イントラ予測の対象となる画像ブロック（予測ブロック）である。画像ブロックＤ，Ｂ，Ａは、符号化された後に復号された画像ブロックであり、予測ブロックの画素値を予測するための参照領域となる画像ブロック（参照ブロック）である。また、以下の説明において、参照ブロックＤ，Ｂ，Ａ内の画像をそれぞれ参照領域画像ｄ，ｂ，ａといい、予測ブロックＸ内の画像を予測画像ｘという。

各ブロックのサイズは予め設定されており、図１３（ａ）に示すように、参照ブロックＤはｋ画素×ｍライン、参照ブロックＢはｌ画素×ｍライン、参照ブロックＡはｋ画素×ｎライン、予測ブロックＸはｌ画素×ｎライン、処理ブロックＰは（ｋ＋ｌ）画素×（ｍ＋ｎ）ラインである。

ステップＳ２０１では、イントラ予測モード判定装置２によって、参照領域画像を解析して推定予測モードの識別子を生成する。

ステップＳ２０２では、予測画像初期値設定部５２によって、推定予測モードの識別子により指示される予測モードに応じて前記参照領域画像から前記イントラ予測対象のブロック画像を予測し、予測画像の初期値として設定する。

ステップＳ２０３では、処理ブロック生成部５３によって、図１３（ａ）に示すように、参照ブロックＤ，Ｂ，Ａと初期値が設定された予測ブロックＸからなる処理ブロックＰを生成する。

ステップＳ２０４では、直交変換部５４によって、処理ブロックＰの画像に対して直交変換を施す。

ステップＳ２０５では、係数修正部５５によって、ステップＳ２０４にて生成される直交変換係数を、高周波領域において元の値よりも小さい値に修正する。

係数修正部５５は、参照ブロックＤ，Ｂ，Ａと予測ブロックＸの境界領域において、参照領域画像ｄ，ｂ，ａと予測画像ｘとの間に交流的な連続性をもたせる（不連続性を低減する）ために、処理ブロックＰの高周波成分を抑圧するため、直交変換部５４から入力される直交変換係数のうち、図１３（ｂ）に示すように、高周波領域である係数修正領域Ｈの直交変換係数の絶対値を元の値よりも小さい値に修正する。係数修正領域Ｈ内の係数の数ｈは、１≦ｈ＜（ｋ＋ｌ）×（ｍ＋ｎ）である。修正する値は、０とするのが高周波成分を除去するのに好適である。また、直交変換が修正される係数修正領域Ｈは、図１３（ｄ）に示すように、正方形状又は長方形状としてもよい。

係数修正部５５は、後述する繰り返し処理によりｎ回目の処理を行う場合には、最高次の直交変換係数から順にｈｎ個の直交変換係数の絶対値を元の値よりも小さい値に修正する。ここで、係数修正領域Ｈを所定の値に修正するという制約条件を徐々に緩和させるために、処理を繰り返すごとに、繰り返し後の係数修正領域Ｈの面積を繰り返し前の面積以下とし、ｈ１≧ｈ２≧…≧ｈｎとするのが好適である。

ステップＳ２０６では、逆直交変換部５６によって、ステップＳ２０５にて修正された直交変換係数に対して逆直交変換を施す。

ステップＳ２０７では、分岐部５７によりステップＳ２０４からステップＳ２０６の処理が所定回数繰り返して行われたか否かを判定する。繰り返しが所定回数に達していないと判定した場合には処理をステップＳ１０８に進め、繰り返しが所定回数に達していると判定した場合には処理をステップＳ１０９に進める。

また、分岐部５７における別の判定方法として、参照領域について、現在の画素値と繰り返し処理を行う前の元の復号済みの画像の画素値との差分値を算出し、この差分値が閾値以上の場合には繰り返し処理を実行させるために、逆直交変換部５６から入力される画像を画像修正部５８に出力し、閾値より小さい場合には繰り返し処理を終了して逆直交変換部５６から入力される画像を予測画像抽出部５９に出力するようにしてもよい。また、この判定方法による場合でも、繰り返し回数を制限するために、繰り返しの上限回数を設けるのが好適である。

高次の直交変換係数の絶対値を元の値よりも小さい値に修正して逆直交変換を行うことにより、参照ブロックＤ，Ｂ，Ａと予測ブロックＸとの境界領域における画素値の不連続性が緩和されるが、参照ブロックＤ，Ｂ，Ａの画素値は元の値から変化している。そのため、ステップＳ２０８では、画像修正部５８により、例えば、図１３（ｃ）に示すように、参照ブロックＤ，Ｂ，Ａ内のうち、予測ブロックＸに隣接する画像修正領域Ｇの画素値を、参照ブロックＤ，Ｂ，Ａの元の画素値に修正する。画像修正領域Ｇ内の画素数ｇは、１≦ｇ≦ｋ×ｍ＋ｌ×ｍ＋ｋ×ｎである。そして、画素値を修正した後の処理ブロックＰを直交変換部５４に出力する。

画像修正部５８は、繰り返し処理によりｎ回目の処理を行う場合には、参照ブロックＤ，Ｂ，Ａのうち、ｇｎ個の画素からなる画像修正領域Ｇを元の画素値に修正する。ここで、参照画像ｄ，ｂ，ａが演算により変化した場合には元の値に修正するという制約条件を徐々に緩和させるために、処理を繰り返すごとに、繰り返し後の画像修正領域Ｇの面積を繰り返し前の面積以下とし、ｇ１≧ｇ２≧…≧ｇｎとするのが好適である。

ステップＳ２０９では、分岐部５７によって、直交変換部５４、係数修正部５５及び逆直交変換部５６による一連の処理を、当該参照領域画像の画像領域における画素値の修正が所定の修正量以下となるまで所定回数以内で繰返されると、予測画像抽出部５９は、当該繰り返しによって得られる最終的な処理ブロックＰの画像から、イントラ予測対象のブロック画像を抽出して予測画像を生成する。

なお、イントラ予測装置として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予測装置の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

［符号化器］
本発明による第１態様〜第３態様のイントラ予測装置は、符号化器及び復号器に適用することができる。次に、代表的に、本発明による第３態様のイントラ予測装置５を備える符号化器について説明する。

図１４は、第３態様の符号化側イントラ予測装置５を備える符号化器６の構成を示すブロック図である。符号化器６は、第３態様のイントラ予測装置５と、減算部６１と、直交変換部６２と、量子化部６３と、エントロピー符号化部６４と、逆量子化部６５と、逆直交変換部６６と、動き補償予測とイントラ予測の切り替えを行う切替えスイッチ６７と、加算部６８と、メモリ６９と、動き補償予測部７０とを備える。

動き補償予測部７０は、動き補償予測の場合に、入力画像に対して、メモリ６９から取得する参照領域画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替えスイッチ６７を介して減算部６１及び加算部６８に出力する。また、動き補償予測部７０は、動き情報（動きベクトル等）をエントロピー符号化部６４に出力する。

減算部６１は、入力画像と、動き補償予測部７０又はイントラ予測装置５からの予測画像との差分画像を生成して直交変換部６２に出力する。

直交変換部６２は、減算部６１から供給される差分画像に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ；Discrete Cosine Transform）を施し、直交変換係数を量子化部６３に出力する。

量子化部６３は、直交変換部６２から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、エントロピー符号化部６４及び逆量子化部６５に出力する。

エントロピー符号化部６４は、量子化部６３から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部７０から入力される動き情報もエントロピー符号化を施して外部に出力する。

逆量子化部６５は、量子化部６３から入力される量子化された直交変換係数について逆量子化処理を行って逆直交変換部６６に出力する。

逆直交変換部６６は、逆量子化部６５から入力された直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；Inverse Discrete Cosine Transform）を施し、加算部６８に出力する。

加算部６８は、逆直交変換部６６から得られる逆直交変換した画像と、動き補償予測部７０又はイントラ予測装置５から得られる予測画像とを加算処理して復号画像を生成し、フレームメモリ６９に出力する。

切替えスイッチ６７は、動き補償予測とイントラ予測とを切替える。

第３態様のイントラ予測装置５は、逆量子化部６５、逆直交変換部６６及び加算部６８を経てメモリ６９に格納された参照領域画像を入力して予測画像を生成し、切替えスイッチ６７を介して減算部６１及び加算部６８に出力する。制御パラメータは、エントロピー符号化部６４にて符号化される。

つまり、本発明に係る符号器２は、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の符号器と比較して、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の符号器におけるイントラ予測部に代えて本発明による第３態様のイントラ予測装置５を備える点で相違するが、動作は従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の符号器と同様である。

［復号器］
図１５は、第３態様の復号側イントラ予測装置５を備える復号器７の構成を示すブロック図である。復号器７は、第３態様の復号側イントラ予測装置５と、エントロピー復号部７１と、逆量子化部７２と、逆直交変換部７３と、加算部７４と、メモリ７５と、動き補償予測部７６と、切替えスイッチ７７とを備える。復号器７は、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の復号器と比較して、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の復号器のイントラ予測部に代えて、第３態様の復号側イントラ予測装置５を備える点で相違する。

エントロピー復号部７１は、フレーム間予測で符号化されたビットストリームを入力して、エントロピー復号処理を施し逆量子化部７２に出力するとともに、動き情報を復号して動き補償予測部７６に出力する。動き補償予測部７６は、動き補償予測の場合の予測画像を生成し、復号側イントラ予測装置５は、イントラ予測の場合の予測画像を生成する。さらに、符号化器側から制御パラメータが伝送された場合には、制御パラメータを復号して復号側イントラ予測装置５に出力する。

逆量子化部７２は、エントロピー復号部７１から入力される量子化された直交変換係数に対して逆量子化処理を施して逆直交変換部７３に出力する。

逆直交変換部７３は、逆量子化部７２から入力される差分画像の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分画像を加算部７４に出力する。

加算部７４は、逆直交変換部７３から得られる当該差分画像と、動き補償予測部７６から入力される予測画像又は第３態様の復号側イントラ予測装置５から入力される予測画像とを加算して画像信号を外部に出力する。

動き補償予測部７６は、メモリ７５から得られる参照領域画像とエントロピー復号部７１から得られる動きベクトルとを用いて予測画像を生成し、切替えスイッチ７７を介して加算部７４に出力する。

第３態様のイントラ予測装置５は、逆量子化部７２及び逆直交変換部７３を経てメモリ７５に格納された参照領域画像を入力して予測画像を生成し、切替えスイッチ７７を介して加算部７４に出力する。

このように、本発明に係る第３態様のイントラ予測装置５は、本発明に係る第１及び第２態様のイントラ予測装置３，４，４ｂも同様に、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の符号化器及び復号器に大きな変更無く適用することが可能である。そして、参照画素と予測画素との間で交流成分の連続性が損なわれない予測を行うことができ、復号済みの画像に含まれる符号化歪みや原画像に含まれる雑音成分の影響の少ない予測を行うことができる。

本発明によれば、テクスチャの特徴解析として、隣接領域に対する相関を方向別に算出して高精度に評価することができるので、特に、イントラ予測の用途に有用である。

１ テクスチャ解析装置
２ イントラ予測モード判定装置
３，４，４ｂ，５ イントラ予測装置
１０ 相関算出部
１１ 相関比算出部
１２ テクスチャ方向決定部
１０１ 方向記憶部
１０２ ずらし量生成部
１０３ ずらし画像生成部
１０４（１０４−１〜１０４−ｎ） 基準方向相関算出部
１０５（１０５−１〜１０５−ｎ） 直交方向相関算出部
２１ 判定部
２２ 予測モード記憶部
３１ 予測部
４１ 予測モード識別子発生部
４２ ＲＤ最適化処理部
４２ｂ 最適予測モード識別子生成部
４３ 予測モード記述子疎表現化部
５１ 制御パラメータ設定部
５２ 予測画像初期値設定部
５３ 処理ブロック生成部
５４ 直交変換部
５５ 係数修正部
５６ 逆直交変換部
５７ 分岐部
５８ 画像修正部
５９ 予測画像抽出部

Claims (13)

1. 入力画像の方向別の相関を解析するテクスチャ解析装置であって、
   入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出する相関算出部と、
   前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出する相関比算出部と、
   前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するテクスチャ方向決定部と、
   を備えることを特徴とするテクスチャ解析装置。
2. 前記相関算出部は、
   前記複数の方向を記憶する方向記憶部と、
   前記方向記憶部に記憶された複数の方向に沿った変位量をずらし量として生成するずらし量生成部と、
   前記入力画像の位置を前記ずらし量だけ並進してずらしたずらし画像を生成するずらし画像生成部と、
   前記基準方向について、前記入力画像及び前記ずらし画像の間の相関を算出する基準方向相関算出部と、
   前記直交方向について、前記入力画像及び前記ずらし画像の間の相関を算出する直交方向相関算出部と、
   を備えることを特徴とする、請求項１に記載のテクスチャ解析装置。
3. 前記基準方向相関算出部は、前記基準方向について、前記入力画像及び前記ずらし画像の間の相関を、自己相関により算出し、
   前記直交方向相関算出部は、前記直交方向について、前記入力画像及び前記ずらし画像の間の相関を、自己相関により算出する
   ことを特徴とする、請求項２に記載のテクスチャ解析装置。
4. 前記ずらし画像生成部は、前記ずらし画像を、前記入力画像が繰り返し連続されるものとして生成することを特徴とする、請求項３に記載のテクスチャ解析装置。
5. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測モード判定装置であって、
   イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像としてテクスチャ方向を出力する請求項１〜４のいずれか一項に記載のテクスチャ解析装置と、
   前記テクスチャ解析装置によって決定されるテクスチャ方向を、予め定めた所定数の予測モードの方向のうちのいずれか１つに割り当て、割り当てた予測モードの方向に関する推定予測モードの識別子を生成する判定部と、
   を備えることを特徴とするイントラ予測モード判定装置。
6. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、
   イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する請求項５に記載のイントラ予測モード判定装置と、
   前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測する予測部と、
   を備えることを特徴とするイントラ予測装置。
7. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、
   イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する請求項５に記載のイントラ予測モード判定装置と、
   予め定めたレート歪み特性に基づいて前記複数の予測モードの中から１つの予測モードを最適予測モードとして決定して当該予測画像を生成するとともに、当該最適予測モードの識別子を前記推定予測モードの識別子と同一の記述形態で生成するＲＤ最適化処理部と、
   前記推定予測モードの識別子と前記最適予測モードの識別子を用いて当該記述形態を疎表現化した、予測モードの疎表現化記述子を生成する予測モード記述子疎表現化部と、
   を備えることを特徴とするイントラ予測装置。
8. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置であって、
   イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力して、当該推定予測モードの識別子を生成する請求項５に記載のイントラ予測モード判定装置と、
   前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測し、予測画像の初期値として設定する予測画像初期値設定部と、
   前記参照領域画像と、前記初期値が設定されたイントラ予測対象のブロック画像からなる処理ブロックを生成する処理ブロック生成部と、
   前記処理ブロックの画像に対して直交変換を施して直交変換係数を生成する直交変換部と、
   前記直交変換部によって生成された直交変換係数の絶対値を、高周波領域において元の値よりも小さい値に修正する係数修正部と、
   前記修正された直交変換係数に対して逆直交変換を施して画像を生成する逆直交変換部と、
   前記逆直交変換部によって生成された画像のうち、前記参照領域画像の画像領域を元の復号済みの画像の画素値に修正し、該修正した画像を前記直交変換部に供給する画像修正部と、
   前記逆直交変換部によって生成された画像から予測ブロックの画像を抽出して予測画像を生成する予測画像抽出部と、
   前記画像修正部、前記直交変換部、前記係数修正部、及び前記逆直交変換部による一連の処理の繰り返しを終了する所定の条件を満たすか否かを判定し、該所定の条件を満たしていないと判定した場合には、該一連の処理を繰り返し実行させるために前記逆直交変換部によって生成された画像を前記画像修正部に供給し、該所定の条件を満たしていると判定した場合には、該一連の処理の繰り返しを終了して前記逆直交変換部によって生成された画像を前記予測画像抽出部に供給する分岐部と、
   を備えることを特徴とするイントラ予測装置。
9. 入力画像の方向別の相関を解析するテクスチャ解析装置として構成するコンピュータに、
   入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出するステップと、
   前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出するステップと、
   前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するステップと、
   を実行させるためのプログラム。
10. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測モード判定装置として構成するコンピュータに、
    イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像とし、該入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出するステップと、
    前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出するステップと、
    前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するステップと、
    前記決定されたテクスチャ方向を、予め定めた所定数の予測モードの方向のうちのいずれか１つに割り当て、割り当てた予測モードの方向に関する推定予測モードの識別子を生成するステップと、
    を実行させるためのプログラム。
11. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定するイントラ予測装置として構成するコンピュータに、
    イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像とし、該入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出するステップと、
    前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出するステップと、
    前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するステップと、
    前記決定されたテクスチャ方向を、予め定めた所定数の予測モードの方向のうちのいずれか１つに割り当て、割り当てた予測モードの方向に関する推定予測モードの識別子を生成するステップと、
    前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測するステップと、
    を実行させるためのプログラム。
12. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置として構成するコンピュータに、
    イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像とし、該入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出するステップと、
    前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出するステップと、
    前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するステップと、
    前記決定されたテクスチャ方向を、予め定めた所定数の予測モードの方向のうちのいずれか１つに割り当て、割り当てた予測モードの方向に関する推定予測モードの識別子を生成するステップと、
    予め定めたレート歪み特性に基づいて前記複数の予測モードの中から１つの予測モードを最適予測モードとして決定して当該予測画像を生成するとともに、当該最適予測モードの識別子を前記推定予測モードの識別子と同一の記述形態で生成するステップと、
    前記推定予測モードの識別子と前記最適予測モードの識別子を用いて当該記述形態を疎表現化した、予測モードの疎表現化記述子を生成するステップと、
    を実行させるためのプログラム。
13. イントラ予測対象のブロック画像に対して複数の予測モードの中から１つの予測モードを決定し、予測画像を生成するイントラ予測装置として構成するコンピュータに、
    （ａ）イントラ予測対象のブロック画像の予測に用いる参照領域画像を入力画像とし、該入力画像に対して、基準方向及び該基準方向に直交する直交方向の対を複数有する複数の方向について、それぞれ相関を算出するステップと、
    （ｂ）前記基準方向及び直交方向の対ごとに、基準方向の相関及び直交方向の相関の相関比を算出するステップと、
    （ｃ）前記算出された相関比が最大となる基準方向をテクスチャ方向として決定するステップと、
    （ｄ）前記決定されたテクスチャ方向を、予め定めた所定数の予測モードの方向のうちのいずれか１つに割り当て、割り当てた予測モードの方向に関する推定予測モードの識別子を生成するステップと、
    （ｅ）前記推定予測モードの識別子によって指示される予測モードによって前記参照領域画像から前記イントラ予測対象のブロック画像を予測し、予測画像の初期値として設定するステップと、
    （ｆ）前記参照ブロックと、前記初期値が設定された予測ブロックからなる処理ブロックを生成するステップと、
    （ｇ）前記処理ブロックの画像に対して直交変換を施して直交変換係数を生成するステップと、
    （ｈ）前記ステップ（ｇ）によって生成された直交変換係数の絶対値を、高周波領域において元の値よりも小さい値に修正するステップと、
    （ｉ）前記ステップ（ｈ）によって修正された直交変換係数に対して逆直交変換を施して画像を生成するステップと、
    （ｊ）前記ステップ（ｇ）からステップ（ｉ）の一連の処理の繰り返しを終了する所定の条件を満たすか否かを判定するステップと、
    （ｋ）前記ステップ（ｊ）により、前記所定の条件を満たしていないと判定した場合には、前記ステップ（ｉ）によって生成された画像のうち、前記参照ブロック内の画像領域を、元の復号済みの画像の画素値に修正し、前記ステップ（ｇ）から当該ステップ（ｊ）を繰り返し行うステップと、
    （ｌ）前記ステップ（ｊ）により、前記所定の条件を満たしていると判定した場合には、前記一連の処理の繰り返しを終了して前記ステップ（ｉ）によって生成された画像から予測ブロックの画像を抽出して予測画像を生成するステップと、
    を実行させるためのプログラム。

Images