JP6125331B2 - テクスチャ検出装置、テクスチャ検出方法、テクスチャ検出プログラム、および画像処理システム - Google Patents

Description

本発明はテクスチャ検出装置、テクスチャ検出方法、テクスチャ検出プログラム、および画像処理システムに関する。

画像処理技術の一つに、入力画像の中からテクスチャを検出するテクスチャ検出技術がある。例えば入力画像に対してノイズリダクション処理を行う際、テクスチャ検出技術を用いてテクスチャ領域を検出し、テクスチャ領域におけるノイズリダクション処理の強度を抑制することで、入力画像に対するノイズリダクション処理を適切に行うことができる。

非特許文献１には、濃度共起行列を用いたテクスチャ検出技術が開示されている。濃度共起行列は、画像の中の特定の２つの画素の濃度対に関する統計量である２次統計量を求める手法である。非特許文献２には、画像をバイナリコード化した局所特徴量を利用してテクスチャを検出する技術が開示されている。

特許文献１〜４には、入力画像の中から特定の目標を検出する技術が開示されている。また、特許文献５には、特徴ベクトルの変換技術が開示されている。

特開平８−１８４４０９号公報 特開平１０−２０８０３７号公報 特開２０１０−５８９０３号公報 特開平７−１３４７７４号公報 特開２００４−１９２６０３号公報

Topi Maenpaa, "The local binary pattern approach to texture analysis - extensions and applications", Finland, University of Oulu, 2003 Robert M. Haralick, Texture Features for Image Classification (1973)

非特許文献１にかかる技術では、濃度共起行列を用いてテクスチャを検出しているので、演算量が多くなるという問題があった。一方、非特許文献２にかかる技術では、画像をバイナリコード化した局所特徴量を用いているので、演算量を低減することができる。

非特許文献２にかかる技術では、入力画像を複数のブロックに分割し、ブロック毎にブロック内の各画素に対して局所特徴量を算出し、算出した局所特徴量のヒストグラムを生成している。この生成されたヒストグラムは各ブロックの特徴に対応している。例えば、画像データベースから類似画像を検索するような場合には、各々の画像から生成されたヒストグラム同士を比較することで、類似画像を検索することができる。

しかしながら、この局所特徴量のヒストグラムは、それ自体がテクスチャらしさを表しているわけではない。このため、非特許文献２にかかる技術を用いてテクスチャを検出するには、検出するテクスチャに対応したヒストグラムの情報を事前にデータベースに蓄積する必要がある。このため、事前にデータベースに蓄積されていないテクスチャについては、検出することができないという問題があった。

上記課題に鑑み本発明の目的は、任意のテクスチャを精度よく検出することが可能なテクスチャ検出装置、テクスチャ検出方法、テクスチャ検出プログラム、および画像処理システムを提供することである。

本発明にかかるテクスチャ検出装置は、入力画像に含まれる注目画素の画素値と当該注目画素の近傍に配置されている近傍画素の画素値との差分をバイナリコードに符号化した画素パターン特徴量を算出する画素パターン特徴量算出部と、前記画素パターン特徴量のばらつき量を示すばらつき特徴量を算出するばらつき特徴量算出部と、前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出するコントラスト特徴量算出部と、前記入力画像に対応した前記ばらつき特徴量および前記コントラスト特徴量のそれぞれを所定の大きさのブロックに分割するブロック分割部と、前記ブロック毎に、前記ばらつき特徴量と前記コントラスト特徴量の分布特性を示す特徴空間を生成する特徴空間生成部と、前記ブロック毎に、前記特徴空間における前記ばらつき特徴量と前記コントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出する確率算出部と、を備える。

本発明にかかるテクスチャ検出方法は、入力画像に含まれる注目画素の画素値と当該注目画素の近傍に配置されている近傍画素の画素値との差分をバイナリコードに符号化した画素パターン特徴量を算出し、前記画素パターン特徴量のばらつき量を示すばらつき特徴量を算出し、前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出し、前記入力画像に対応した前記ばらつき特徴量および前記コントラスト特徴量のそれぞれを所定の大きさのブロックに分割し、前記ブロック毎に、前記ばらつき特徴量と前記コントラスト特徴量の分布特性を示す特徴空間を生成し、前記ブロック毎に、前記特徴空間における前記ばらつき特徴量と前記コントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出する。

本発明にかかるテクスチャ検出プログラムは、入力画像に含まれる注目画素の画素値と当該注目画素の近傍に配置されている近傍画素の画素値との差分をバイナリコードに符号化した画素パターン特徴量を算出し、前記画素パターン特徴量のばらつき量を示すばらつき特徴量を算出し、前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出し、前記入力画像に対応した前記ばらつき特徴量および前記コントラスト特徴量のそれぞれを所定の大きさのブロックに分割し、前記ブロック毎に、前記ばらつき特徴量と前記コントラスト特徴量の分布特性を示す特徴空間を生成し、前記ブロック毎に、前記特徴空間における前記ばらつき特徴量と前記コントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出する、処理をコンピュータに実行させるためのテクスチャ検出プログラムである。

本発明により、任意のテクスチャを精度よく検出することが可能なテクスチャ検出装置、テクスチャ検出方法、テクスチャ検出プログラム、および画像処理システムを提供することができる。

実施の形態１にかかるテクスチャ検出装置を示すブロック図である。 テクスチャパターンの一例を示す図である。 テクスチャパターンの一例を示す図である。 実施の形態１にかかるテクスチャ検出方法を示すフローチャートである。 画像パターン特徴量算出処理を説明するための図である。 画像パターン特徴量算出処理を説明するための図である。 画像パターン特徴量算出処理を説明するための図である。 画像パターン特徴量算出処理を説明するための図である。 ブロック分割処理を説明するための図である。 入力画像に対する特徴空間の一例を示す図である（テクスチャ領域の場合）。 入力画像に対する特徴空間の一例を示す図である（非テクスチャ領域の場合）。 入力画像に対する特徴空間の一例を示す図である（平坦領域の場合）。 テクスチャ確率算出処理を示すフローチャートである。 テクスチャ判定範囲を説明するための図である。 特徴空間上の確率テーブルを説明するための図である。 実施の形態２にかかるテクスチャ検出装置を示すブロック図である。 実施の形態２にかかるテクスチャ検出方法を示すフローチャートである。 ブロック分割処理を説明するための図である。 ブロック分割処理を説明するための図である（各々のブロックサイズが２^ｎ倍の関係にある場合）。 ブロック分割処理および特徴空間生成処理を説明するためのフローチャートである。 テクスチャ確率算出処理および非テクスチャ確率算出処理を説明するためのフローチャートである。 テクスチャ判定範囲および非テクスチャ判定範囲を説明するための図である。 ブロックサイズ統合処理を示す図である。 ブロックサイズ統合処理を示すフローチャートである。 テクスチャ重み関数の一例を示す図である。 非テクスチャ重み関数の一例を示す図である。 実施の形態２にかかるテクスチャ検出方法を示すフローチャートである（並列処理の場合）。 実施の形態３にかかる画像処理システムを示すブロック図である。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態１について説明する。本実施の形態にかかるテクスチャ検出装置は、画像の局所領域における、ばらつき特徴量（例えば輝度ばらつき特徴量）とコントラスト特徴量とを同時に分析することによりテクスチャらしさを検出することを、主要な特徴としている。図１は、本実施の形態にかかるテクスチャ検出装置を示すブロック図である。図２Ａ、図２Ｂは、本実施の形態にかかるテクスチャ検出装置で検出されるテクスチャパターンの一例を示す図である。

図２Ａは、連続する繰り返しパターンのテクスチャの例であり、図２Ｂは、ランダムな模様のテクスチャの例である。図２Ａのように繰り返しパターンの場合に、テクスチャの最小構成単位をテキストンと呼ぶ。本実施の形態において、テクスチャとは、図２Ａおよび図２Ｂのように、連続した繰り返しパターン、あるいは、ランダムな模様状の特徴を持つ領域とし、文字画像はテクスチャに含まないものとする。例えば、本実施の形態にかかるテクスチャ検出装置が検出するテクスチャは、テクスチャ検出装置の後段でノイズリダクション処理が行われる場合に、不要なノイズ除去フィルタをかけたくない（マスクしたい）領域の画像であるとも言える。なお、図２Ａ、図２Ｂでは、白地に黒の模様を図示しているが、実際には背景と模様のコントラストは低いものとする。

図１に示すように、本実施の形態にかかるテクスチャ検出装置１は、画素パターン特徴量算出部１１、ばらつき特徴量算出部１２、コントラスト特徴量算出部１３、ブロック分割部１４、特徴空間生成部１５、および確率算出部１６を備える。

なお、図３に示すテクスチャ検出方法が実現できるのであれば、テクスチャ検出装置をその他の機能ブロックで構成してもよい。また、図１のテクスチャ検出装置における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成されており、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。テクスチャ検出装置の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に後述のテクスチャ検出方法（テクスチャ検出処理）を行うためのテクスチャ検出プログラムを格納し、テクスチャ検出装置の各機能を、記憶装置に格納されたテクスチャ検出プログラムをＣＰＵで実行することにより実現してもよい。

画素パターン特徴量算出部１１は、入力画像２１を入力し、入力画像２１に含まれる注目画素の画素値と当該注目画素の近傍に配置されている近傍画素の画素値との差分をバイナリコードに符号化した画素パターン特徴量を算出し、算出した画素パターン特徴量２２をばらつき特徴量算出部１２に出力する。

例えば入力画像２１は、ＹＣｂＣｒ方式やＲＧＢ方式を用いて規定されている画像信号である。本実施の形態にかかるテクスチャ検出装置１では、例えば入力画像２１として、輝度信号（ＹＣｂＣｒ方式の場合はＹ成分）を用いることができる。また画素値とは、入力画像２１の各々の画素の成分の値である。例えば、入力画像２１としてＹ成分を用いる場合、画素値はＹ成分の値である。

また本実施の形態にかかるテクスチャ検出装置１では、入力画像２１として、ＹＣｂＣｒ方式における色差信号（Ｃｂ成分、Ｃｒ成分）やＲＧＢ方式におけるＲ、Ｇ、Ｂの各成分を用いてもよい。更に、本実施の形態にかかる発明は、ＹＣｂＣｒ方式やＲＧＢ方式以外の表示方式の画像についても同様に適用することができる。つまり、各画素の輝度、色相、彩度など、任意の成分を用いることができる。

ばらつき特徴量算出部１２は、入力された画素パターン特徴量２２のばらつき量を示すばらつき特徴量を算出し、算出したばらつき特徴量２３をブロック分割部１４に出力する。例えば、ばらつき特徴量算出部１２は、注目画素における画素パターン特徴量と近傍画素における画素パターン特徴量とのハミング距離を用いてばらつき特徴量２３を算出することができる。

コントラスト特徴量算出部１３は、注目画素と近傍画素とのコントラスト量を示すコントラスト特徴量を算出し、算出したコントラスト特徴量２４をブロック分割部１４に出力する。例えば入力画像２１が輝度値である場合、コントラスト量は、注目画素の輝度値と近傍画素の輝度値の差（輝度差）となる。

ブロック分割部１４は、ばらつき特徴量２３およびコントラスト特徴量２４を入力し、ばらつき特徴量２３およびコントラスト特徴量２４のそれぞれを任意のサイズの画素ブロックに分割する。例えばブロック分割部１４は、ばらつき特徴量２３およびコントラスト特徴量２４のそれぞれを、縦ｎ×横ｍ（ｎ、ｍは整数）画素の画素ブロック（単にブロックとも言う）に分割する。

ここで、ばらつき特徴量２３およびコントラスト特徴量２４は、入力画像２１の各画素について求められる値である。よって、ばらつき特徴量２３およびコントラスト特徴量２４を任意のサイズの画素ブロックに分割するとは、入力画像２１を任意のサイズの画素ブロックに分割することと同義である。

特徴空間生成部１５は、分割された各特徴量（ばらつき特徴量およびコントラスト特徴量）２５を入力し、ブロック毎に、ばらつき特徴量とコントラスト特徴量の分布特性を示す特徴空間を生成し、生成した特徴空間２６を確率算出部１６に出力する。例えば特徴空間は、ばらつき特徴量およびコントラスト特徴量を特徴軸とする２次元の特徴空間である。

確率算出部１６は、特徴空間２６を入力し、ブロック毎に、特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出し、算出したテクスチャ確率２７を出力する。

図３は、本実施の形態に係るテクスチャ検出装置で実行されるテクスチャ検出方法（テクスチャ検出処理）を示すフローチャートである。以下で、本実施の形態について詳細に説明する。

テクスチャ検出装置１に入力画像２１が入力されると（ステップＳ１）、画素パターン特徴量算出部１１は入力画像２１に含まれる注目画素の画素値と当該注目画素の近傍に配置されている近傍画素の画素値との差分をバイナリコードに符号化した画素パターン特徴量を算出する（ステップＳ２）。

本実施の形態では、テクスチャを表現するための１つの特徴量として、ローカルバイナリコードを利用する。テクスチャを表現するためのバイナリコードとしては、非特許文献２で示されているようなローカルバイナリパターン（LBP：Local Binary Pattern）が知られている。

各画素の画素パターン特徴量（ローカルバイナリコード）は、注目画素と近傍画素との画素値（例えば、輝度）の大小を比較して２値で評価し、全近傍画素に対する評価結果を２進数の数値としてエンコードして表現する。図４は、画像パターン特徴量算出処理を説明するための図である。図４に示すように、注目画素３１の近傍（この場合は、注目画素３１の周囲）には、近傍画素３２が配置されている。注目画素をｇ_ｃ＝Ｉ（ｘ、ｙ）、近傍画素をｇ_ｐ（ｐ＝０．．．７）とすると、画素Ｉ（ｘ、ｙ）における画素パターン特徴量Ｂ_Ｒ（ｘ、ｙ）は、次の式１を用いて求めることができる。式１において、ｔｈの値はノイズの影響を抑制するためのしきい値であり、通常はｔｈ＝０である。

すなわち、注目画素ｇ_ｃと各近傍画素ｇ_ｐの輝度の差分を１ビットのｓ（ｉ）とし、各ビットに重みづけした合計が、画素パターン特徴量Ｂ_Ｒとなる。入力画像の全画素に対して、式１により画素パターン特徴量Ｂ_Ｒを求める。

図５Ａ〜図５Ｃは、画素パターン特徴量Ｂ_Ｒの算出例を示している。ここで、近傍画素は隣接していなくてもよいが、選択する近傍画素数は８画素とし、８ビットの画素パターン特徴量Ｂ_Ｒとする。図５Ａに示す例では、注目画素の輝度が６であり、左上画素から時計回り（右回り）の順に各近傍画素の輝度が、６、５、２、１、７、８、９、７である。このため、図５Ｂに示すように、注目画素と各近傍画素の大小関係によりｓ（０）＝１、ｓ（１）＝０、Ｓ（２）＝０、ｓ（３）＝０、ｓ（４）＝１、ｓ（５）＝１、ｓ（６）＝１、ｓ（７）＝１となり、８ビットのｓ（ｉ）のパターン（バイナリコードパターン）は、１１１１０００１となる。各ビットの位置に応じた重み付けを図５Ｃのようにし、各ビットを合計すると、画素パターン特徴量Ｂ_Ｒ（ｇ_ｃ）＝１＋１６＋３２＋６４＋１２８＝２４１となる。

次に、ばらつき特徴量算出部１２は、ステップＳ２において算出した各画素における画素パターン特徴量Ｂ_Ｒ（ｘ、ｙ）を用いて、ばらつき特徴量を算出する（ステップＳ３）。例えば、ばらつき特徴量算出部１２は、注目画素における画素パターン特徴量と近傍画素における画素パターン特徴量とのハミング距離を用いてばらつき特徴量を算出することができる。

ステップＳ２において算出した各画素の画素パターン特徴量Ｂ_Ｒ（ｘ、ｙ）は、注目画素ｇ_ｃと各近傍画素ｇ_ｐのテクスチャ特徴を現わしている。文字画像に代表されるようなエッジや平坦部は画素パターン特徴量の変化が少ないか一様であることが多い。一方、テクスチャは画素パターン特徴量の変化が比較的ランダムに発生する。本実施の形態では、この画素パターン特徴量の非一様性を評価するための指標値として、画素パターン特徴量のばらつき量を示すばらつき特徴量を算出する。

ステップＳ２において算出した各画素の画素パターン特徴量Ｂ_Ｒ（ｘ、ｙ）は、２値化されたテクスチャパターンを示している。このため、画素パターン特徴量Ｂ_Ｒ（ｘ、ｙ）の大小関係は、求めようとしている非一様性とは関連がない。つまり、画素パターン特徴量が６４と１２８とでは大きく値が異なっているが、バイナリコードとしての意味は０１００００００と１０００００００であり、パターンとして見ると類似している。したがって、分散を求める演算ではステップＳ２で算出した画素パターン特徴量のばらつき量を評価することができない。

そこで本実施の形態では、式２に示すように、注目画素ｇ_ｃにおける画素パターン特徴量Ｂ_Ｒ（ｇ_ｃ）と近傍画素ｇ_ｐにおける画素パターン特徴量Ｂ_Ｒ（ｇ_ｐ）とのハミング距離を積算することで、ばらつき特徴量（画素パターン特徴量のばらつき量）Ｄ_Ｒ（ｘ、ｙ）を算出する。式２において、ｄｉｓｔａｎｃｅ（ｍ、ｎ）はｍとｎのハミング距離を求める関数であり、画素パターン特徴量Ｂ_Ｒが８ビットで表現されているので０〜８の値をとる。例えば、Ｂ_Ｒ（ｇ_ｃ）＝２４１＝１０００１１１１、Ｂ_Ｒ（ｇ_０）＝１１５＝０１１１００１１のとき、ｄｉｓｔａｎｃｅ（Ｂ_Ｒ（ｇ_ｃ）、Ｂ_Ｒ（ｇ_０））＝６となる。ばらつき特徴量Ｄ_Ｒ（ｘ、ｙ）は入力画像の全画素に対して求める。

コントラスト特徴量算出部１３は、入力画像２１に含まれる注目画素と近傍画素とのコントラスト量を示すコントラスト特徴量を算出する（ステップＳ４）。例えば入力画像２１が輝度値である場合、コントラスト量は、注目画素の輝度値と近傍画素の輝度値の差（輝度差）となる。ステップＳ２で算出した画素パターン特徴量Ｂ_Ｒ（ｘ，ｙ）は、注目画素と近傍画素との輝度の大小関係の特徴を表現できるが、どの程度の輝度差があるかは表現することができない。そこで本実施の形態では、テクスチャを表現するためのもう１つの特徴量として、コントラスト特徴量を利用する。

各画素のコントラスト特徴量Ｃ_Ｒ（ｘ、ｙ）は、画素パターン特徴量と同様にして、画素Ｉ（ｘ、ｙ）における局所的なコントラスト量を次の式３を用いて求める。式３において、Ｈはｈ（ｇ_ｐ）＝ｇ_ｐとなるｇ_ｐの個数、Ｌはｌ（ｇ_ｐ）＝ｇ_ｐとなるｇ_ｐの個数である。

すなわち、注目画素ｇ_ｃよりも輝度が大きい近傍画素ｇ_ｐの平均から、注目画素ｇ_ｃよりも輝度が小さい近傍画素ｇ_ｐの平均を差し引いた値が、コントラスト特徴量Ｃ_Ｒ（ｘ、ｙ）となる。入力画像の全画素に対して、式３を用いてコントラスト特徴量Ｃ_Ｒを求める。例えば、図５Ａに示す例では、注目画素と各近傍画素の大小関係により、コントラスト特徴量Ｃ_Ｒ（ｇ_ｃ）＝（６＋７＋８＋９＋７）／５−（５＋２＋１）／３＝４．７３となる。

次に、ブロック分割部１４は、ステップＳ３で求めたばらつき特徴量２３およびステップＳ４で求めたコントラスト特徴量２４のそれぞれを任意のサイズの画素ブロックに分割する（ステップＳ５）。

図６は、ブロック分割処理を説明するための図である。ブロック分割部１４は、図６に示すように入力画像全体を一定サイズの矩形状のブロックに分割する。ここで、ばらつき特徴量およびコントラスト特徴量は、入力画像の各画素について求められる値である。よって、ばらつき特徴量およびコントラスト特徴量を任意のサイズの画素ブロックに分割するとは、入力画像を任意のサイズの画素ブロックに分割することと同義である。

ブロックサイズは任意であるが、例えば、１ブロックあたり縦１６ピクセル×横１６ピクセル（全２５６画素）とする。ブロックサイズが小さければテクスチャ検出結果の解像度が高くなる。しかし、ブロックサイズを小さくし過ぎると特徴空間生成部１５における特徴空間上の特徴量分布密度が疎になり過ぎてしまい、テクスチャ特徴の解析が困難となり誤検出の原因となる。このため、テクスチャ検出を実施する入力画像の特性に合わせてブロックサイズを決定する必要がある。例えば、図２Ａに示したテクスチャの場合は、検出したいテクスチャのテキストンの画素数に基づいてブロックサイズを設定する。なお、以降の処理（ステップＳ６、Ｓ７）については分割されたブロック単位で実行される。

次に、特徴空間生成部１５は、分割された各特徴量（ばらつき特徴量およびコントラスト特徴量）２５を入力し、ブロック毎に、ばらつき特徴量とコントラスト特徴量の分布特性を示す特徴空間を生成する（ステップＳ６）。特徴空間は、例えばばらつき特徴量およびコントラスト特徴量を特徴軸とする２次元の特徴空間である。ばらつき特徴量は式２で求めた値であるので０〜６４の範囲の値（つまり、１つの近傍画素当たりのハミング距離は０〜８であるので、８つの近傍画素のハミング距離は０〜６４）、コントラスト特徴量は式３で求めた値であるので０〜２５５の範囲の値をとる。

このとき、特徴空間生成部１５は、ばらつき特徴量の平方根およびコントラスト特徴量の二進対数を特徴軸とする特徴空間を生成してもよい。つまり、以降の特徴解析を簡単にするために、式４に示すように、各特徴軸が線形となるように各特徴量を変換してもよい。ユークリッド距離はハミング距離の平方根に比例する。よって、画素パターンばらつき特徴量Ｄ_Ｒも同様に平方根をとることで線形となる。また、人間が視覚的に感じる明るさは輝度の対数に比例する。よって、コントラスト特徴量Ｃ_Ｒも同様に対数をとることで視覚的な変化に対して線形となる。

更に、演算量を削減するために、少数点以下を切り捨てて整数値に量子化すると、式４によって算出されるコントラスト特徴量Ｃ（ｘ、ｙ）は０〜１５、ばらつき特徴量Ｄ（ｘ、ｙ）は０〜１５の範囲の特徴量となる。なお、φ（６４）のときは特徴量を１５としている。

図７Ａ〜図７Ｃは、入力画像（左）に対する特徴空間（右）の一例を示す図である。図７Ａはテクスチャ領域の特徴空間を示し、図７Ｂは非テクスチャ領域の特徴空間を示し、図７Ｃは平坦領域の特徴空間を示している。特徴空間は、横軸をばらつき特徴量Ｄ（ｘ、ｙ）、縦軸をコントラスト特徴量Ｃ（ｘ、ｙ）としており、所定のばらつき特徴量Ｄ（ｘ、ｙ）および所定のコントラスト特徴量Ｃ（ｘ、ｙ）におけるヒストグラムである。換言すると、所定のばらつき特徴量Ｄ（ｘ、ｙ）および所定のコントラスト特徴量Ｃ（ｘ、ｙ）の頻度を示している。なお、特徴空間に投影された特徴量（つまり、頻度）を特徴ベクトルと呼ぶことにする。

図７Ａに示すように、入力画像がテクスチャ領域の場合、特徴ベクトルの分布が重心座標を中心とした一定の範囲に集中する。一方、図７Ｂに示す非テクスチャ領域の場合は、特徴ベクトルの分布が一様ではなく比較的分散が大きくなる。また、図７Ｃに示す平坦領域の場合は、原点座標（０、０）付近に分布が集中する。

次に、確率算出部１６は、ブロック毎に、特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出する（ステップＳ７）。ここで、特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性とは、特徴空間に投影された特徴量（つまり、頻度）の分布特性、換言すると特徴ベクトルの分布特性である。

例えば確率算出部１６は、特徴空間における特徴ベクトルの重心座標を算出し、特徴空間におけるばらつき特徴量およびコントラスト特徴量の分布特性と、特徴ベクトルの重心座標とを用いて、テクスチャ確率を算出することができる。図７Ａに示す特徴空間のように、特徴空間の特徴ベクトルの分布が重心付近に集中している場合は、ブロック内の画像がテクスチャである可能性が高いのでテクスチャ確率を高くする。また、図７Ｂに示す特徴空間のように、重心付近から離れた座標に一定の割合で特徴ベクトルが存在する場合は、ブロック内の画像がテクスチャではない場合か、テクスチャと非テクスチャの両方を含む境界部分である可能性が高いため、テクスチャ確率を図７Ａに示す場合よりも下げるようにする。また、図７Ｃに示す特徴空間のように、重心座標が原点に近い場合には平坦領域である可能性が高いため、テクスチャ確率を低くする。

特徴空間を解析してテクスチャ確率を求める方法はいくつか考えられるが、本実施の形態では演算量を削減するために、図８のフローチャートに示す方法を用いてテクスチャ確率を算出する。図８に示すように、まず、ブロック内の全特徴ベクトルの重心座標（μ_ｘ、μ_ｙ）を、式５を用いて算出する（ステップＳ１１）。式５において、ｆ（ｘ、ｙ）は、特徴空間上の座標（ｘ、ｙ）に位置する特徴量の頻度である。ｘ軸はばらつき特徴量、ｙ軸はコントラスト特徴量とする。

次に、式６を用いて、特徴空間内の各座標について、ｘ軸、ｙ軸ごとにそれぞれ重心座標Ｍ（μ_ｘ、μ_ｙ）からの距離の絶対値δ（δ_ｘ、δ_ｙ）を算出する（ステップＳ１２）。

次に、図９に示すように、重心座標から所定の距離離れたテクスチャ判定範囲σ^＋（σ_ｘ ^＋、σ_ｙ ^＋）を設定する（ステップＳ１３）。ここで、テクスチャ判定範囲σ^＋（σ_ｘ ^＋、σ_ｙ ^＋）は事前に与えられる値である。そして、重心座標からの距離δ（δ_ｘ、δ_ｙ）がテクスチャ判定範囲σ^＋（σ_ｘ ^＋、σ_ｙ ^＋）内にあるかを判定する（ステップＳ１４）。重心座標からの距離δ（δ_ｘ、δ_ｙ）がテクスチャ判定範囲σ^＋（σ_ｘ ^＋、σ_ｙ ^＋）内にある場合（ステップＳ１４：Ｙｅｓ）、テクスチャ確率を積算する（ステップＳ１６）。例えば、当該座標（ｘ、ｙ）における特徴量の頻度のパワー値ｆ^２（ｘ、ｙ）を積算する。一方、重心座標からの距離δ（δ_ｘ、δ_ｙ）がテクスチャ判定範囲σ^＋（σ_ｘ ^＋、σ_ｙ ^＋）外にある場合（ステップＳ１４：Ｎｏ）、テクスチャ確率を積算することなく、ステップＳ１７に進む。

特徴空間の全ての座標（ｘ、ｙ）について、ステップＳ１２〜Ｓ１６の処理が終了していない場合は（ステップＳ１７：Ｎｏ）、残りの座標（ｘ、ｙ）についてステップＳ１２〜Ｓ１６の処理を繰り返す。一方、特徴空間の全ての座標（ｘ、ｙ）について、ステップＳ１２〜Ｓ１６の処理が終了した場合は、テクスチャ確率算出処理を終了する。

例えば平坦領域の画像等では、重心座標が原点付近に集中して分布する（図７Ｃ参照）。この場合、多くの特徴ベクトルがテクスチャ判定範囲内に入ってしまう。また、重心座標のコントラスト軸における座標が大きい場合には、文字などのエッジである可能性が高い。このように、特徴空間内における重心座標の位置に応じてテクスチャである確率が異なるので、特徴空間上の確率テーブル（テクスチャ確率テーブル）ＬＵＴ_ｌ（ｘ、ｙ）を事前に準備しておく（ステップＳ１５）。そしてテクスチャ確率を積算する際（ステップＳ１６）、この確率テーブルＬＵＴ_ｌ（ｘ、ｙ）を用いて当該座標（ｘ、ｙ）におけるテクスチャ確率について重み付けをする。

図１０は、特徴空間上の確率テーブルの一例を説明するための図である。図１０に示す確率テーブルでは、平坦領域である確率が高い原点付近や、エッジである確率が高い高コントラストとなる座標付近（符号３４で示す）ではテクスチャ確率を低く設定している（例えば０〜０．３程度）。一方、テクスチャ確率が高い座標付近（符号３５で示す）ではテクスチャ確率を高く設定している（例えば０．７〜１．０程度）。これらの中間の領域（符号３６で示す）では、テクスチャ確率を例えば０．３〜０．７程度に設定している。なお、図１０に示す確率テーブルは一例であり、検出するテクスチャに応じて確率テーブルを作成してもよい。また、確率テーブルは、経験的な設計値から作成してもよいし、機械学習によって統計的に作成してもよい。

テクスチャ確率は、下記の式７を用いて算出することができる。つまり、式７では、特徴空間内におけるテクスチャ判定範囲内に存在する特徴量のエネルギーを求めることで、当該ブロックのテクスチャ確率Ｔｅｘｔｕｒｅｎｅｓｓ_ＢＳを算出している。この際、確率テーブルＬＵＴ_ｌ（ｘ、ｙ）を用いて各座標（ｘ、ｙ）におけるテクスチャ確率について重み付けをしている。

以上で説明したように、確率算出部１６は、特徴空間における特徴ベクトルの重心座標を算出し、特徴空間に含まれる各々の座標と重心座標との距離を各々算出し、算出した距離が所定の範囲内（つまり、テクスチャ判定範囲内）にある座標のテクスチャ確率を各々積算することでテクスチャ確率を算出することができる。また、確率算出部１６は、テクスチャ確率を各々積算する際に、特徴空間に含まれる各々の座標毎に決定されたテクスチャ確率テーブルを参照して重み付けをしてもよい。

上記で説明したテクスチャ確率算出処理を全てのブロック（入力画像に含まれる全てのブロックに対応）について行い、ブロックごとにテクスチャ確率を保存する。入力画像のうち、テクスチャ確率が高いブロックに対応した画像ブロックがテクスチャである可能性が高いと判断することができる。

非特許文献２にかかる技術では、入力画像を複数のブロックに分割し、ブロック毎にブロック内の各画素に対して局所特徴量を算出し、算出した局所特徴量のヒストグラムを生成している。この生成されたヒストグラムは各ブロックの特徴に対応している。例えば、画像データベースから類似画像を検索するような場合には、各々の画像から生成されたヒストグラム同士を比較することで、類似画像を検索することができる。

しかしながら、この局所特徴量のヒストグラムは、それ自体がテクスチャらしさを表しているわけではない。このため、非特許文献２にかかる技術を用いてテクスチャを検出するには、検出するテクスチャに対応したヒストグラムの情報を事前にデータベースに蓄積する必要があった。このため、事前にデータベースに蓄積されていないテクスチャについては、検出することができないという問題があった。

これに対して本実施の形態にかかる発明では、ブロック毎にばらつき特徴量とコントラスト特徴量の分布特性を示す特徴空間を生成し、この特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性に基づいて、テクスチャ確率を算出している。ここで特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性は、それ自体がテクスチャらしさの情報を含んでいる。よって事前にデータベースに蓄積されていないテクスチャ（つまり、任意のテクスチャ）についても、精度よく検出することができる。

以上で説明した本実施の形態にかかる発明により、任意のテクスチャを精度よく検出することが可能なテクスチャ検出装置、テクスチャ検出方法、テクスチャ検出プログラムを提供することができる。

＜実施の形態２＞
次に、本発明の実施の形態２について説明する。図１１は、実施の形態２にかかるテクスチャ検出装置を示すブロック図である。図１１に示すように本実施の形態にかかるテクスチャ検出装置２は、画素パターン特徴量算出部１１、ばらつき特徴量算出部１２、コントラスト特徴量算出部１３、ブロック分割部４１、特徴空間生成部４２、確率算出部４３、およびブロックサイズ統合部４４を備える。なお、画素パターン特徴量算出部１１、ばらつき特徴量算出部１２、コントラスト特徴量算出部１３については、実施の形態１で説明した場合と同様であるので重複した説明は省略する。

本実施の形態にかかるテクスチャ検出装置２が備えるブロック分割部４１は、８×８分割部４１_１、１６×１６分割部４１_２、および３２×３２分割部４１_３を備える。ブロック分割部４１は、入力画像２１に対応したばらつき特徴量２３およびコントラスト特徴量２４を各々サイズが異なるブロック（８×８、１６×１６、３２×３２）にそれぞれ分割する。

図１３は、ブロック分割処理を説明するための図である。図１３に示すように、ブロック分割部１４の８×８分割部４１_１は、ばらつき特徴量２３およびコントラスト特徴量２４を、１ブロック当たり縦８ピクセル横８ピクセルのサイズの矩形状のブロックに分割する。１６×１６分割部４１_２は、ばらつき特徴量２３およびコントラスト特徴量２４を、１ブロック当たり縦１６ピクセル横１６ピクセルのサイズの矩形状のブロックに分割する。３２×３２分割部４１_３は、ばらつき特徴量２３およびコントラスト特徴量２４を、１ブロック当たり縦３２ピクセル横３２ピクセルのサイズの矩形状のブロックに分割する。各分割部４１_１〜４１_３については、実施の形態１で説明したブロック分割部１４と同様である。なお、ブロックサイズの種類は２種類以下でも、４種類以上でもよい。また各々のブロックサイズも任意に設定することができる。１つの入力画像に対して複数のサイズのブロックを混在させることはできない。

特徴空間生成部４２は、複数のサイズに分割された各特徴量（ばらつき特徴量およびコントラスト特徴量）５１を入力し、各々のサイズのブロック毎に、ばらつき特徴量とコントラスト特徴量の分布特性を示す特徴空間を生成し、生成した特徴空間５２を確率算出部４３に出力する。特徴空間は、例えばばらつき特徴量およびコントラスト特徴量を特徴軸とする２次元の特徴空間である。特徴空間生成部４２については、実施の形態１で説明した特徴空間生成部１５と同様である。

確率算出部４３は、テクスチャ確率算出部４３_１と非テクスチャ確率算出部４３_２を備える。テクスチャ確率算出部４３_１は、特徴空間５２を入力し、各々のサイズのブロック毎に、特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出する。非テクスチャ確率算出部４３_２は、特徴空間５２を入力し、各々のサイズのブロック毎に、特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性に基づいて、非テクスチャ確率を算出する。算出した値５３（テクスチャ確率および非テクスチャ確率）は、ブロックサイズ統合部４４に出力される。

ブロックサイズ統合部は、各々のサイズのブロック毎に算出したテクスチャ確率を１つのブロックサイズに統合し、テクスチャ確率（または非テクスチャ確率）５４を出力する。

図１２は、本実施の形態に係るテクスチャ検出装置２で実行されるテクスチャ検出方法（テクスチャ検出処理）を示すフローチャートである。以下で、本実施の形態について詳細に説明する。なお、図１２に示すステップＳ２１〜Ｓ２４の動作については、図３に示したステップＳ１〜Ｓ４の動作（実施の形態１参照）と同様であるので、重複した説明は省略する。

ブロック分割部４１は、ステップＳ２３で求めたばらつき特徴量２３およびステップＳ２４で求めたコントラスト特徴量２４のそれぞれを８×８サイズのブロックに分割する（ステップＳ２５）。以降の処理（ステップＳ２６〜Ｓ２８）については分割されたブロック単位で実行される。

特徴空間生成部４２は、８×８サイズに分割された各特徴量（ばらつき特徴量およびコントラスト特徴量）５１を入力し、ブロック毎に、ばらつき特徴量とコントラスト特徴量の分布特性を示す特徴空間を生成する（ステップＳ２６）。なお、特徴空間の生成方法については実施の形態１で説明した場合と同様である（図３のステップＳ６参照）。

確率算出部４３のテクスチャ確率算出部４３_１は、８×８サイズの特徴空間５２を入力し、ブロック毎に、特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出する（ステップＳ２７）。なお、テクスチャ確率の算出方法については実施の形態１で説明した場合と同様である（図３のステップＳ７参照）。

次に、確率算出部４３のテクスチャ確率算出部４３_２は、８×８サイズの特徴空間５２を入力し、ブロック毎に、特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性に基づいて、非テクスチャ確率を算出する（ステップＳ２８）。非テクスチャ確率の算出方法については後述する。

ステップＳ２６〜Ｓ２８の処理を行っていない８×８サイズのブロックがある場合は（ステップＳ２９：Ｎｏ）、残りの８×８サイズのブロックについてステップＳ２６〜Ｓ２８の処理を繰り返す。一方、８×８サイズのブロック全てについてステップＳ２６〜Ｓ２８の処理を行った場合は（ステップＳ２９：Ｙｅｓ）、ブロックサイズを８×８から１６×１６に変更する（ステップＳ３０）。この時点では、全てのサイズ（８×８、１６×１６、３２×３２）のブロックについてステップＳ２６〜Ｓ２８の処理を行っていないので（ステップＳ３１：Ｎｏ）、ステップＳ２５へと進む。

ブロック分割部４１は、ステップＳ２３で求めたばらつき特徴量２３およびステップＳ２４で求めたコントラスト特徴量２４のそれぞれを１６×１６サイズのブロックに分割する（ステップＳ２５）。以降の処理（ステップＳ２６〜Ｓ２８）については分割されたブロック単位で実行される。

特徴空間生成部４２は、１６×１６サイズに分割された各特徴量（ばらつき特徴量およびコントラスト特徴量）５１を入力し、ブロック毎に、ばらつき特徴量とコントラスト特徴量の分布特性を示す特徴空間を生成する（ステップＳ２６）。確率算出部４３のテクスチャ確率算出部４３_１は、１６×１６サイズの特徴空間５２を入力し、ブロック毎に、特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出する（ステップＳ２７）。確率算出部４３のテクスチャ確率算出部４３_２は、１６×１６サイズの特徴空間５２を入力し、ブロック毎に、特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性に基づいて、非テクスチャ確率を算出する（ステップＳ２８）。

ステップＳ２６〜Ｓ２８の処理を行っていない１６×１６サイズのブロックがある場合は（ステップＳ２９：Ｎｏ）、残りの１６×１６サイズのブロックについてステップＳ２６〜Ｓ２８の処理を繰り返す。一方、１６×１６サイズのブロック全てについてステップＳ２６〜Ｓ２８の処理を行った場合は（ステップＳ２９：Ｙｅｓ）、ブロックサイズを１６×１６から３２×３２に変更する（ステップＳ３０）。この時点では、全てのサイズ（８×８、１６×１６、３２×３２）のブロックについてステップＳ２６〜Ｓ２８の処理を行っていないので（ステップＳ３１：Ｎｏ）、ステップＳ２５へと進む。

ブロック分割部４１は、ステップＳ２３で求めたばらつき特徴量２３およびステップＳ２４で求めたコントラスト特徴量２４のそれぞれを３２×３２サイズのブロックに分割する（ステップＳ２５）。以降の処理（ステップＳ２６〜Ｓ２８）については分割されたブロック単位で実行される。

特徴空間生成部４２は、３２×３２サイズに分割された各特徴量（ばらつき特徴量およびコントラスト特徴量）５１を入力し、ブロック毎に、ばらつき特徴量とコントラスト特徴量の分布特性を示す特徴空間を生成する（ステップＳ２６）。確率算出部４３のテクスチャ確率算出部４３_１は、３２×３２サイズの特徴空間５２を入力し、ブロック毎に、特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出する（ステップＳ２７）。確率算出部４３のテクスチャ確率算出部４３_２は、３２×３２サイズの特徴空間５２を入力し、ブロック毎に、特徴空間におけるばらつき特徴量とコントラスト特徴量の分布特性に基づいて、非テクスチャ確率を算出する（ステップＳ２８）。

ステップＳ２６〜Ｓ２８の処理を行っていない３２×３２サイズのブロックがある場合は（ステップＳ２９：Ｎｏ）、残りの３２×３２サイズのブロックについてステップＳ２６〜Ｓ２８の処理を繰り返す。一方、３２×３２サイズのブロック全てについてステップＳ２６〜Ｓ２８の処理を行った場合（ステップＳ２９：Ｙｅｓ）、全てのサイズ（８×８、１６×１６、３２×３２）のブロックについてステップＳ２６〜Ｓ２８の処理を行ったので（ステップＳ３１：Ｙｅｓ）、ブロックサイズ統合処理（ステップＳ３２）を行う。

なお、上記では、８×８、１６×１６、３２×３２の順にステップＳ２６〜Ｓ２８の処理を行う場合について説明したが、ステップＳ２６〜Ｓ２８の処理を行う順番についてはこれ以外でもよい。また上記では、ブロックサイズ毎に、ブロック分割処理（ステップＳ２５）をしてから特徴空間生成処理（ステップＳ２６）を行った。しかし、図１４に示すように、各々のブロックサイズが２^ｎ倍の関係にある場合は、最小ブロックサイズ（８×８）での特徴空間の値を加算することで、他のブロックサイズの特徴空間を簡単に求めることができる。

図１５は、このような方法を用いて、各ブロックサイズの特徴空間を生成する処理を説明するためのフローチャートである。図１５に示す方法では、８×８サイズのブロックの特徴空間を用いて、１６×１６サイズのブロックの特徴空間および３２×３２サイズのブロックの特徴空間を求める方法を示している。

図１５に示すように、まず、ばらつき特徴量およびコントラスト特徴量のそれぞれを８×８サイズのブロックに分割する（ステップＳ４１）。次に、８×８サイズに分割された各特徴量（ばらつき特徴量およびコントラスト特徴量）を用いて、ブロック毎に、ばらつき特徴量とコントラスト特徴量の分布特性を示す特徴空間を生成する（ステップＳ４２）。次に、図１４に示すように、縦２ブロック、横２ブロックの計４ブロック（１６×１６）の特徴ベクトル（生成した８×８サイズの特徴空間の特徴ベクトル）を積算して、１６×１６サイズの特徴空間を生成する（ステップＳ４３）。同様に、縦４ブロック、横４ブロックの計１６ブロック（３２×３２）の特徴ベクトル（生成した８×８サイズの特徴空間の特徴ベクトル）を積算して、３２×３２サイズの特徴空間を生成する（ステップＳ４４）。

次に、非テクスチャ確率算出部４３_２における非テクスチャ確率算出処理（図１２のステップＳ２８）について詳細に説明する。図９に示した特徴空間では、特徴ベクトルの分布が広範囲に広がっている。テクスチャの場合は重心からテクスチャ判定範囲σ^＋（σ_ｘ ^＋、σ_ｙ ^＋）内に集中するという前提を考慮すると、図９に示した特徴空間のブロックにおいては、一定量の特徴ベクトルがテクスチャ判定範囲内にあることから、テクスチャと非テクスチャの両方を含んでいると推測される。このような場合は、テクスチャ確率に加えて、当該ブロックの非テクスチャ確率を算出することで更に精度よくテクスチャ検出を行うことができる。

図１６は、テクスチャ確率算出処理および非テクスチャ確率算出処理を説明するためのフローチャートである。なお、図１６に示すテクスチャ確率算出処理（ステップＳ５１〜Ｓ５６）については、図８で説明したテクスチャ確率算出処理（ステップＳ１１〜Ｓ１６）と同様であるので重複した説明は省略する。

非テクスチャ確率を求める際は、まず、図１７に示すように、重心座標から所定の距離離れた非テクスチャ判定範囲σ⁻（σ_ｘ ⁻、σ_ｙ ⁻）を設定する（ステップＳ５７）。ここで、非テクスチャ判定範囲σ⁻（σ_ｘ ⁻、σ_ｙ ⁻）は事前に与えられる値である。そして、重心座標からの距離δ（δ_ｘ、δ_ｙ）が非テクスチャ判定範囲σ⁻（σ_ｘ ⁻、σ_ｙ ⁻）よりも外にあるかを判定する（ステップＳ５８）。重心座標からの距離δ（δ_ｘ、δ_ｙ）が非テクスチャ判定範囲σ⁻（σ_ｘ ⁻、σ_ｙ ⁻）よりも外にある場合（ステップＳ５８：Ｙｅｓ）、非テクスチャ確率を積算する（ステップＳ５９）。一方、重心座標からの距離δ（δ_ｘ、δ_ｙ）が非テクスチャ判定範囲σ⁻（σ_ｘ ⁻、σ_ｙ ⁻）以内にある場合（ステップＳ５８：Ｎｏ）、非テクスチャ確率を積算することなく、ステップＳ６０に進む。

このとき、特徴ベクトルの位置が重心（つまり、最もテクスチャらしい座標）から離れているほど、非テクスチャらしさは高くなると言える。したがって、重心からの当該特徴ベクトルの座標のユークリッド距離ｄ（ｘ、ｙ）を特徴空間上の対角距離（最大距離）ｄ_ｍａｘで正規化した値を求め、この値を重みとして式８を用いて非テクスチャ確率Ｎｏｎ−ｔｅｘｔｕｒｅｎｅｓｓ_ＢＳを算出する。

特徴空間の全ての座標（ｘ、ｙ）について、ステップＳ５２〜Ｓ５９の処理が終了していない場合は（ステップＳ６０：Ｎｏ）、残りの座標（ｘ、ｙ）についてステップＳ５２〜Ｓ５９の処理を繰り返す。一方、特徴空間の全ての座標（ｘ、ｙ）について、ステップＳ５２〜Ｓ５９の処理が終了した場合は、テクスチャ確率算出処理および非テクスチャ確率算出処理を終了する。

以上で説明したように、確率算出部４３（非テクスチャ確率算出部４３_２）は、特徴空間における特徴ベクトルの重心座標を算出し、特徴空間におけるばらつき特徴量およびコントラスト特徴量の分布特性と、特徴ベクトルの重心座標とを用いて、非テクスチャ確率を算出することができる。更に、非テクスチャ確率算出部４３_２は、特徴空間における特徴ベクトルの重心座標を算出し、特徴空間に含まれる各々の座標と重心座標との距離を各々算出し、算出した距離が所定の範囲外にある座標の非テクスチャ確率を各々積算することで非テクスチャ確率を算出してもよい。

次に、ブロックサイズ統合部４４におけるブロックサイズ統合処理（図１２のステップＳ３２）について詳細に説明する。ブロックサイズ統合部４４は、複数のブロックサイズを１つのブロックサイズに統合する。統合後のブロックサイズは任意であるが、本実施の形態では図１８に示すように、８×８サイズのブロック、１６×１６サイズのブロック、および３２×３２サイズのブロックを、８×８サイズのブロック（つまり、３つのブロックサイズのうち最も小さいサイズのブロック）に統合する場合について説明する。

複数のブロックサイズを１つのブロックサイズに統合する方法としては、例えば算術平均やブロックサイズ毎に重み付けをした加重平均等を用いる方法がある。本実施の形態では、ブロックサイズ毎に算出されたテクスチャ確率と非テクスチャ確率に応じて、ブロックサイズ毎に重みを変えて平均する方法について説明する。このような方法でブロックサイズを統合することで、テクスチャを高精度に検出することができる。

図１９は、ブロックサイズ統合処理を示すフローチャートである。図１９に示すように、まず、任意のブロックサイズを選択する（ステップＳ６１）。本実施の形態では、まず、８×８サイズのブロックを選択し、その後、１６×１６サイズ、３２×３２サイズの順に処理をする場合について説明する。

次に、テクスチャ重み関数ω^＋（ｐ^＋）を設定する（ステップＳ６２）。図２０Ａは、テクスチャ重み関数の一例を示す図である。図２０Ａにおいて横軸はテクスチャ確率ｐ^＋（＝Ｔｅｘｔｕｒｅｎｅｓｓ_ＢＳ）であり、縦軸はテクスチャ重みω^＋である。図２０Ａに示すテクスチャ重み関数では、テクスチャ確率ｐ^＋が０．５付近の場合にテクスチャ重みω^＋が小さくなるようにしている。これは、テクスチャ確率ｐ^＋が０．５付近である場合は、テクスチャであるか非テクスチャであるかの判定が曖昧だからである。

次に、ステップＳ６１で選択した８×８サイズのブロックの各々について、テクスチャ重み関数ω^＋（ｐ^＋）を用いて、テクスチャ重み指数Ｗ_ＢＳ ^＋を算出する（ステップＳ６３）。テクスチャ重み指数Ｗ_ＢＳ ^＋は下記の式９を用いて算出することができる。ここで、ＢＳはブロックサイズの集合を表し、ＢＳ＝｛８×８、１６×１６、３２×３２｝である。例えばブロックサイズが８×８のときのテクスチャ重み指数Ｗ_ＢＳ ^＋は、記号Ｗ_８×８ ^＋で表される。同様に、ブロックサイズが８×８のときのテクスチャ確率ｐ_ＢＳ ^＋は、記号ｐ_８×８ ^＋で表される。ｗ_ＢＳ ^ｍｉｎ、ｗ_ＢＳ ^ｍａｘはそれぞれ、各ブロックサイズにおけるテクスチャ重み指数Ｗ_ＢＳ ^＋の最小値と最大値で、事前に決定される値である。本実施の形態では式１０に示すように、ブロックサイズが大きくなるほどテクスチャ重み指数Ｗ_ＢＳ ^＋の最大値ｗ_ＢＳ ^ｍａｘが大きくなるようにする。

次に、非テクスチャ重み関数ω⁻（ｐ⁻）を設定する（ステップＳ６４）。図２０Ｂは、非テクスチャ重み関数の一例を示す図である。図２０Ｂにおいて横軸は非テクスチャ確率ｐ⁻（＝Ｎｏｎ−ｔｅｘｔｕｒｅｎｅｓｓ_ＢＳ）であり、縦軸は非テクスチャ重みω⁻である。

次に、ステップＳ６１で選択した８×８サイズのブロックの各々について、非テクスチャ重み関数ω⁻（ｐ⁻）を用いて、非テクスチャ重み指数Ｗ_ＢＳ ⁻を算出する（ステップＳ６５）。非テクスチャ重み指数Ｗ_ＢＳ ⁻は上記の式９を用いて算出することができる。ここで、ブロックサイズが８×８のときの非テクスチャ重み指数Ｗ_ＢＳ ⁻は、記号Ｗ_８×８ ⁻で表される。同様に、ブロックサイズが８×８のときの非テクスチャ確率ｐ_ＢＳ ⁻は、記号ｐ_８×８ ⁻で表される。また、非テクスチャ重み指数Ｗ_ＢＳ ⁻は、非テクスチャ確率に応じて１．０〜２．０の範囲の値となる。換言すると、非テクスチャ重み指数Ｗ_ＢＳ ⁻は、非テクスチャ確率に応じてテクスチャ重み指数Ｗ_ＢＳ ^＋の値を１．０〜２．０倍にする係数となる。

次に、ステップＳ６３で算出したテクスチャ重み指数Ｗ_８×８ ^＋とステップＳ６５で算出した非テクスチャ重み指数Ｗ_８×８ ⁻とを乗じて、テクスチャ重み係数Ｗ_８×８を算出する（ステップＳ６６）。テクスチャ重み係数Ｗ_８×８の値はｗ_８×８ ^ｍａｘを超えないようにする。

上記のステップＳ６１〜Ｓ６６の処理を繰り返して、ブロックサイズ８×８のテクスチャ重み係数Ｗ_８×８、ブロックサイズ１６×１６のテクスチャ重み係数Ｗ_{１６×１６}、ブロックサイズ３２×３２のテクスチャ重み係数Ｗ_{３２×３２}をそれぞれ求める。全ブロックサイズのテクスチャ重み係数Ｗ_ＢＳ＝｛Ｗ_８×８、Ｗ_{１６×１６}、Ｗ_{３２×３２}｝を算出した後（ステップＳ６７：Ｙｅｓ）、式９に示すように各ブロックサイズのテクスチャ重み係数Ｗ_ＢＳを用いて各ブロックサイズのテクスチャ確率の加重平均を算出することで、最終的なテクスチャ確率Ｔｅｘｔｕｒｅｎｅｓｓを算出する（ステップＳ６８）。ここでＢＳ＝８×８、１６×１６、３２×３２であるので、Ｔｅｘｔｕｒｅｎｅｓｓ＝（Ｗ_８×８×ｐ_８×８ ^＋＋Ｗ_{１６×１６}×ｐ_{１６×１６} ^＋＋Ｗ_{３２×３２}×ｐ_{３２×３２} ^＋）／（Ｗ_８×８＋Ｗ_{１６×１６}＋Ｗ_{３２×３２}）となる。

このように本実施の形態にかかるブロックサイズ統合処理では、各々のサイズのブロック毎に算出したテクスチャ確率を加重平均することで１つのブロックサイズに統合する際、各々のサイズのブロック毎に算出したテクスチャ確率および非テクスチャ確率に応じて、各々のサイズのブロックにおけるテクスチャ重み係数Ｗ_ＢＳを決定している。このとき、非テクスチャ確率が高い場合にテクスチャ重み係数Ｗ_ＢＳを小さくしている。

本実施の形態では、式１０に示すようにｗ_ＢＳ ^ｍａｘの値をｗ_８×８ ^ｍａｘ＝１、ｗ_{１６×１６} ^ｍａｘ＝２、ｗ_{３２×３２} ^ｍａｘ＝４と設定している。よって、各々のサイズのブロックを、８×８サイズのブロックに統合しているといえる。

上記で説明したブロック統合処理を全てのブロック（入力画像に含まれる全てのブロックに対応）について行い、ブロックごとにテクスチャ確率を保存する。入力画像のうち、テクスチャ確率が高いブロックに対応した画像がテクスチャである可能性が高いと判断することができる。

本実施の形態にかかる発明では、入力画像を複数のサイズのブロックに分割し、各々のブロックサイズにおいてテクスチャ確率をそれぞれ算出し、１つのブロックサイズに統合することで、最終的なテクスチャ確率を算出している。よって、テクスチャを高精度に検出することができる。

なお、本実施の形態において、図１２に示したブロック分割処理（ステップＳ２５）、特徴空間生成処理（ステップＳ２６）、テクスチャ確率算出処理（ステップＳ２７）、および非テクスチャ確率算出処理（ステップＳ２８）は、ブロックサイズ毎に並列に処理してもよい。すなわち、図１２に示したばらつき特徴量算出（ステップＳ２３）およびコントラスト特徴量算出処理（ステップＳ２４）の後、図２１に示すように、各ブロックサイズ（８×８、１６×１６、３２×３２）において、ブロック分割処理（ステップＳ７１、Ｓ７１’、Ｓ７１’’）、特徴空間生成処理（ステップＳ７２、Ｓ７２’、Ｓ７２’’）、テクスチャ確率算出処理（ステップＳ７３、Ｓ７３’、Ｓ７３’’）、および非テクスチャ確率算出処理（ステップＳ７４、Ｓ７４’、Ｓ７４’’）を並列に処理してもよい。

また、本実施の形態において説明した非テクスチャ確率算出処理は、実施の形態１で説明したテクスチャ検出装置１において行なってもよい。つまり、実施の形態１で説明したテクスチャ検出装置１において、テクスチャ確率と非テクスチャ確率を算出し、テクスチャ確率と非テクスチャ確率とを用いて最終的なテクスチャ確率を求めるようにしてもよい。例えば、非テクスチャ確率が高くなるにつれてテクスチャ確率が小さくするようにしてもよい。

＜実施の形態３＞
次に、本発明の実施の形態３について説明する。本実施の形態では、実施の形態１、２で説明したテクスチャ検出装置を用いてノイズリダクションを行う画像処理システムについて説明する。

図２２に示すように、画像処理システム３は、画像変換部６１、テクスチャ検出装置６２、およびノイズリダクション装置６３を備える。テクスチャ検出装置６２は、実施の形態１、２で説明したテクスチャ検出装置１、２に対応している。ノイズリダクション装置６３は、テクスチャ領域マスク部６４およびノイズリダクション部６５を備える。

画像処理システム３には、画像データ（ＲＡＷ画像）７１が入力される。画像変換部６１は、入力された画像データ７１を例えばＹＣｂＣｒ方式の画像信号に変換し、変換後の画像信号７２をテクスチャ検出装置６２へ供給する。テクスチャ検出装置６２は、変換後の画像信号７２を用いて、画像データ７１に含まれるテクスチャを検出する（つまり、テクスチャ確率を求める）。例えば、テクスチャ検出装置６２は輝度成分Ｙを用いてテクスチャ確率を算出することができる。

ノイズリダクション装置６３は、入力された画像データ７１と、テクスチャ検出装置６２で算出されたテクスチャ確率７３とを入力し、テクスチャ確率７３に応じて、画像データ７１からノイズを除去したノイズ抑制画像７５を生成する。

テクスチャ領域マスク部６４は、テクスチャ検出装置６２から出力されたテクスチャ確率７３に応じて、ノイズリダクション処理の適用を除外するマスク処理を行う。テクスチャ領域マスク部６４は、画像データ７１のうち、テクスチャ確率の高い領域にマスクを設定する。テクスチャ確率が所定のしきい値以上の領域にマスクをかけてもよいし、テクスチャ確率の大きさに応じて、マスクのサイズや強さ（フィルタの強さ）を変更してもよい。

ノイズリダクション部６５は、マスク処理後の画像データ７４に対してノイズリダクション処理を行う。例えば、マスク領域を除いた領域に対しノイズリダクション処理を行う。また、マスクの強さに応じてノイズリダクション処理を行なってもよい。例えばマスクが強い場合、ノイズリダクション処理を弱くする。

通常、画像全体に対して均一にノイズリダクション処理を施すと、画像の高周波成分が失われて解像感が落ちてしまうという問題がある。テクスチャ領域は、なるべく解像感を維持したいのと、ノイズがあっても目立ちにくいことから、本実施の形態では、テクスチャ検出装置６２が検出したテクスチャ領域をマスクして、それ以外の領域のみノイズリダクション処理を行う構成にする。このとき、テクスチャ確率が低いほどノイズリダクション処理を強くするようにしてもよい。これにより、入力画像の画質劣化を抑えつつ、ノイズを効果的に除去することができる。

以上、本発明を上記実施形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。

１、２ テクスチャ検出装置
３ 画像処理システム
１１ 画素パターン特徴量算出部
１２ ばらつき特徴量算出部
１３ コントラスト特徴量算出部
１４ ブロック分割部
１５ 特徴空間生成部
１６ 確率算出部
２１ 入力画像
２２ 画素パターン特徴量
２３ ばらつき特徴量
２４ コントラスト特徴量
２５ 分割された特徴量
２６ 特徴空間
２７ テクスチャ確率
３１ 注目画素
３２ 近傍画素
４１ ブロック分割部
４１_１ ８×８分割部
４１_２ １６×１６分割部
４１_３ ３２×３２分割部
４２ 特徴空間生成部
４３ 確率算出部
４３_１ テクスチャ確率算出部
４３_２ 非テクスチャ確率算出部
４４ ブロックサイズ統合部
５１ 分割された特徴量
５２ 特徴空間
５３ テクスチャ確率および非テクスチャ確率
５４ テクスチャ確率（または非テクスチャ確率）
６１ 画像変換部
６２ テクスチャ検出装置
６３ ノイズリダクション装置
６４ テクスチャ領域マスク部
６５ ノイズリダクション部
７１ 画像データ（ＲＡＷ画像）
７２ 変換後の画像信号
７３ テクスチャ確率
７４ マスク処理後の画像データ
７５ ノイズ抑制画像

Claims (16)

1. 入力画像に含まれる注目画素の画素値と当該注目画素の近傍に配置されている近傍画素の画素値との差分をバイナリコードに符号化した画素パターン特徴量を算出する画素パターン特徴量算出部と、
   前記画素パターン特徴量のばらつき量を示すばらつき特徴量を算出するばらつき特徴量算出部と、
   前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出するコントラスト特徴量算出部と、
   前記入力画像に対応した前記ばらつき特徴量および前記コントラスト特徴量のそれぞれを所定の大きさのブロックに分割するブロック分割部と、
   前記ブロック毎に、前記ばらつき特徴量と前記コントラスト特徴量の分布特性を示す特徴空間を生成する特徴空間生成部と、
   前記ブロック毎に、前記特徴空間における前記ばらつき特徴量と前記コントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出する確率算出部と、を備える、
   テクスチャ検出装置。
2. 前記ばらつき特徴量算出部は、前記注目画素における画素パターン特徴量と前記近傍画素における画素パターン特徴量とのハミング距離を用いて前記ばらつき特徴量を算出する、請求項１に記載のテクスチャ検出装置。
3. 前記特徴空間生成部は、前記ばらつき特徴量および前記コントラスト特徴量を特徴軸とする特徴空間を生成する、請求項１または２に記載のテクスチャ検出装置。
4. 前記特徴空間生成部は、前記ばらつき特徴量の平方根および前記コントラスト特徴量の二進対数を特徴軸とする特徴空間を生成する、請求項１または２に記載のテクスチャ検出装置。
5. 前記確率算出部は、
   前記特徴空間における特徴ベクトルの重心座標を算出し、
   前記特徴空間における前記ばらつき特徴量および前記コントラスト特徴量の分布特性と、前記特徴ベクトルの重心座標とを用いて、前記テクスチャ確率を算出する、
   請求項１乃至４のいずれか一項に記載のテクスチャ検出装置。
6. 前記確率算出部は、
   前記特徴空間における特徴ベクトルの重心座標を算出し、
   前記特徴空間に含まれる各々の座標と前記重心座標との距離を各々算出し、
   前記算出した距離が所定の範囲内にある座標のテクスチャ確率を各々積算することで前記テクスチャ確率を算出する、
   請求項１乃至５のいずれか一項に記載のテクスチャ検出装置。
7. 前記確率算出部は、前記テクスチャ確率を各々積算する際に、前記特徴空間に含まれる各々の座標毎に決定されたテクスチャ確率テーブルを参照して重み付けをする、請求項６に記載のテクスチャ検出装置。
8. 前記確率算出部は、
   前記特徴空間における特徴ベクトルの重心座標を算出し、
   前記特徴空間における前記ばらつき特徴量および前記コントラスト特徴量の分布特性と、前記特徴ベクトルの重心座標とを用いて、非テクスチャ確率を算出する、
   請求項１乃至７のいずれか一項に記載のテクスチャ検出装置。
9. 前記確率算出部は、
   前記特徴空間における特徴ベクトルの重心座標を算出し、
   前記特徴空間に含まれる各々の座標と前記重心座標との距離を各々算出し、
   前記算出した距離が所定の範囲外にある座標の非テクスチャ確率を各々積算することで非テクスチャ確率を算出する、
   請求項１乃至８のいずれか一項に記載のテクスチャ検出装置。
10. 前記ブロック分割部は、前記入力画像に対応した前記ばらつき特徴量および前記コントラスト特徴量を各々サイズが異なるブロックにそれぞれ分割し、
    前記特徴空間生成部は、前記各々のサイズのブロック毎に前記ばらつき特徴量と前記コントラスト特徴量の分布特性を示す特徴空間を生成し、
    前記確率算出部は、前記各々のサイズのブロック毎に前記特徴空間における前記ばらつき特徴量と前記コントラスト特徴量の分布特性に基づいてテクスチャ確率を算出し、
    更に、前記テクスチャ検出装置は、
    前記各々のサイズのブロック毎に算出した前記テクスチャ確率を１つのブロックサイズに統合するブロックサイズ統合部を備える、
    請求項１乃至９のいずれか一項に記載のテクスチャ検出装置。
11. 前記ブロックサイズ統合部は、前記各々のサイズのブロック毎に算出した前記テクスチャ確率を重み係数を用いて加重平均することで１つのブロックサイズに統合する際、前記各々のサイズのブロック毎に算出した前記テクスチャ確率および非テクスチャ確率に応じて、前記各々のサイズのブロックにおける重み係数を決定する、請求項１０に記載のテクスチャ検出装置。
12. 前記ブロックサイズ統合部は、前記非テクスチャ確率が高い場合に前記重み係数を小さくする、請求項１１に記載のテクスチャ検出装置。
13. 請求項１乃至１２のいずれか一項に記載のテクスチャ検出装置と、
    前記テクスチャ検出装置により算出されたテクスチャ確率に応じて、前記入力画像に対してノイズリダクション処理を行うノイズリダクション装置と、を備える、
    画像処理システム。
14. 前記ノイズリダクション装置は、前記テクスチャ検出装置により算出されたテクスチャ確率が低いほど強くノイズリダクション処理を行う、請求項１３に記載の画像処理システム。
15. 入力画像に含まれる注目画素の画素値と当該注目画素の近傍に配置されている近傍画素の画素値との差分をバイナリコードに符号化した画素パターン特徴量を算出し、
    前記画素パターン特徴量のばらつき量を示すばらつき特徴量を算出し、
    前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出し、
    前記入力画像に対応した前記ばらつき特徴量および前記コントラスト特徴量のそれぞれを所定の大きさのブロックに分割し、
    前記ブロック毎に、前記ばらつき特徴量と前記コントラスト特徴量の分布特性を示す特徴空間を生成し、
    前記ブロック毎に、前記特徴空間における前記ばらつき特徴量と前記コントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出する、
    テクスチャ検出方法。
16. 入力画像に含まれる注目画素の画素値と当該注目画素の近傍に配置されている近傍画素の画素値との差分をバイナリコードに符号化した画素パターン特徴量を算出し、
    前記画素パターン特徴量のばらつき量を示すばらつき特徴量を算出し、
    前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出し、
    前記入力画像に対応した前記ばらつき特徴量および前記コントラスト特徴量のそれぞれを所定の大きさのブロックに分割し、
    前記ブロック毎に、前記ばらつき特徴量と前記コントラスト特徴量の分布特性を示す特徴空間を生成し、
    前記ブロック毎に、前記特徴空間における前記ばらつき特徴量と前記コントラスト特徴量の分布特性に基づいて、テクスチャらしさを示すテクスチャ確率を算出する、
    処理をコンピュータに実行させるためのテクスチャ検出プログラム。