JP6095050B2 - テクスチャ検出装置、テクスチャ検出方法、テクスチャ検出プログラム及び画像処理システム - Google Patents

Description

本発明は、テクスチャ検出装置、テクスチャ検出方法、テクスチャ検出プログラム及び画像処理システムに関し、特に、入力された画像に含まれるテクスチャを検出するテクスチャ検出装置、テクスチャ検出方法、テクスチャ検出プログラム及び画像処理システムに関する。

近年、テレビ受像機やパーソナルコンピュータ、スマートフォン等、デジタルの画像信号（映像信号）の表示や処理等を行う画像処理装置が広く普及しており、さらなる表示の大型化や高精細化が進められている。これに伴い、高精度な画像処理技術が望まれている。

例えば、画像処理技術として、従来から、入力画像の中からテクスチャを検出する技術が利用されている。テクスチャ検出に関する従来技術として、非特許文献１や特許文献１〜３等が知られている。

非特許文献１では、画像をバイナリコード化した局所特徴量を利用して特定のパターンを持つテクスチャの分類・領域分割を行い、テクスチャは機械学習を利用して検出している。

Topi Maenpaa, "The local binary pattern approach to texture analysis - extensions and applications", Finland, University of Oulu, 2003

特開２０１２−１４６２９９号公報 特開２０１２−１５０７３０号公報 特開２０１１−４３９９８号公報

非特許文献１などのような従来技術におけるテクスチャ検出の一般的な手法では、事前学習したデータベースにある特定パターンのテクスチャかどうかを識別することに主眼が置かれている。

従来技術では、検出したいテクスチャパターンのデータを事前学習し、画像全体の特徴量を算出し、特徴量の類似度が高い部分をひとつの領域として画像を領域分割し、識別器により、分割した領域から検出したいテクスチャパターンと類似する領域を探索する。

しかしながら、従来技術では、予め決められた特定のテクスチャパターンのみを探索する技術であるため、様々な任意のテクスチャを精度良く検出することは困難であるという問題がある。

本発明に係るテクスチャ検出装置は、入力画像における注目画素と近傍画素との輝度差分を符号化したバイナリコード特徴量を生成する輝度差分符号化部と、前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出するコントラスト算出部と、前記バイナリコード特徴量及び前記コントラスト特徴量の共起性を解析する共起性解析部と、前記共起性の解析結果に基づいてテクスチャらしさを示すテクスチャ確度を算出するテクスチャ確度算出部と、を備えるものである。

本発明に係るテクスチャ検出方法は、入力画像における注目画素と近傍画素との輝度差分を符号化したバイナリコード特徴量を生成し、前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出し、前記バイナリコード特徴量及び前記コントラスト特徴量の共起性を解析し、前記共起性の解析結果に基づいてテクスチャらしさを示すテクスチャ確度を算出するものである。

本発明に係るテクスチャ検出プログラムは、コンピュータにテクスチャ検出処理を実行させるためのテクスチャ検出プログラムであって、前記テクスチャ検出処理は、入力画像における注目画素と近傍画素との輝度差分を符号化したバイナリコード特徴量を生成し、前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出し、前記バイナリコード特徴量及び前記コントラスト特徴量の共起性を解析し、前記共起性の解析結果に基づいてテクスチャらしさを示すテクスチャ確度を算出するものである。

本発明に係る画像処理システムは、テクスチャ検出装置とノイズリダクション装置を備えた画像処理システムであって、前記テクスチャ検出装置は、入力画像における注目画素と近傍画素との輝度差分を符号化したバイナリコード特徴量を生成する輝度差分符号化部と、前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出するコントラスト算出部と、前記バイナリコード特徴量及び前記コントラスト特徴量の共起性を解析する共起性解析部と、前記共起性の解析結果に基づいてテクスチャらしさを示すテクスチャ確度を算出するテクスチャ確度算出部と、を備え、前記ノイズリダクション装置は、前記算出されたテクスチャ確度に応じて、前記入力画像に対しノイズリダクション処理を行うものである。

本発明によれば、精度良くテクスチャを検出することが可能なテクスチャ検出装置、テクスチャ検出方法、テクスチャ検出プログラム及び画像処理システムを提供することができる。

実施の形態１に係るテクスチャ検出装置で検出するテクスチャパターンの例を示す図である。 実施の形態１に係るテクスチャ検出装置の構成を示すブロック図である。 実施の形態１に係るテクスチャ検出方法を示すフローチャートである。 実施の形態１に係るローカルバイナリコードの算出方法を説明するための図である。 実施の形態１に係るテクスチャ検出方法で検出するテクスチャの特徴を説明するための表である。 実施の形態１に係るテクスチャ検出方法で検出するテクスチャのパターンを説明するための表である。 実施の形態１に係るブロック分割方法を説明するための図である。 実施の形態１に係るテクスチャ検出方法で生成されるヒストグラムの例を示す図である。 実施の形態１に係るテクスチャ検出方法で生成されるヒストグラムの例を示す図である。 実施の形態１に係るテクスチャ検出方法で生成されるヒストグラムの例を示す図である。 実施の形態１に係るテクスチャ検出方法で生成されるヒストグラムの例を示す図である。 実施の形態１に係るテクスチャ検出方法で生成されるヒストグラムの例を示す図である。 実施の形態２に係るテクスチャ検出装置の構成を示すブロック図である。 実施の形態２に係るテクスチャ検出方法を示すフローチャートである。 実施の形態２に係るテクスチャ検出方法を示すフローチャートである。 実施の形態２に係るテクスチャ検出方法で生成されるヒストグラムの例を示す図である。 実施の形態２に係るテクスチャ検出方法で生成されるヒストグラムの例を示す図である。 実施の形態３に係るテクスチャ検出方法を示すフローチャートである。 実施の形態４に係るテクスチャ検出装置の構成を示すブロック図である。

（実施の形態１）
以下、図面を参照して本発明の実施の形態１について説明する。本実施の形態に係るテクスチャ検出装置は、画像の局所領域における、輝度変化特徴とコントラスト特徴の共起を分析することによりテクスチャらしさを検出することを、主要な特徴としている。

図１は、本実施の形態に係るテクスチャ検出装置で検出するテクスチャの一例を示している。なお、図１では、白地に黒の模様を図示しているが、実際には背景と模様のコントラストは低いものとする。図１（ａ）は、連続する繰り返しパターンのテクスチャの例であり、図１（ｂ）は、ランダムな模様のテクスチャの例である。図１（ａ）のように繰り返しパターンの場合に、テクスチャの最小構成単位をテキストンと呼ぶ。本実施の形態において、テクスチャとは、図１（ａ）及び図１（ｂ）のように、連続した繰り返しパターン、あるいは、ランダムな模様状の特徴を持つ領域とし、文字画像はテクスチャに含まないものとする。例えば、本実施の形態に係るテクスチャ検出装置が検出するテクスチャは、テクスチャ検出装置の後段でノイズリダクション処理が行われる場合に、不要なノイズフィルタをかけたくない（マスクしたい）領域の画像であるとも言える。

図２は、本実施の形態に係るテクスチャ検出装置の構成を示している。図２に示すように、本実施の形態に係るテクスチャ検出装置１００は、輝度差分符号化部１１０、コントラスト算出部１２０、ブロック分割部１３０、テクスチャ／コントラスト共起性解析部１４０、テクスチャ確度算出部１５０を備えている。テクスチャ／コントラスト共起性解析部１４０は、パターン分類部１４１、ヒストグラム作成部１４２を備えており、テクスチャ確度算出部１５０は、識別器１５１、事前学習データ１５２を備えている。

なお、図３以降で説明するテクスチャ検出方法が実現できれば、その他の機能ブロックで構成してもよい。また、図２のテクスチャ検出装置における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成されており、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。テクスチャ検出装置の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に後述のテクスチャ検出方法（テクスチャ検出処理）を行うためのテクスチャ検出プログラムを格納し、テクスチャ検出装置の各機能を、記憶装置に格納されたテクスチャ検出プログラムをＣＰＵで実行することにより実現してもよい。

輝度差分符号化部１１０は、入力画像が入力され、入力画像の注目画素と近傍画素の輝度差を２値のバイナリコード特徴量（Local Binary Code:LBP、単にバイナリコードとも言う）に符号化する。入力画像は、例えば、輝度信号Ｙ、色信号Ｃｂ，Ｃｒを含むＹＣｂＣｒ方式の画像信号であるが、ＲＧＢ方式等、その他の方式の画像信号であってもよい。

コントラスト算出部１２０は、入力画像が入力され、入力画像の注目画素と近傍画素のコントラスト量（輝度差の量）であるコントラスト特徴量（ローカルコントラスト、単にコントラストとも言う）を算出する。

ブロック分割部１３０は、入力画像を任意のサイズの画素ブロックに分割する。ブロック分割部１３０は、入力画像を、縦ｎ×横ｍ（ｎ、ｍは整数）画素の画素ブロック（単にブロックとも言う）に分割する。

テクスチャ／コントラスト共起性解析部１４０は、分割された画素ブロックごとに、輝度差分符号化部１１０が生成したバイナリコード特徴量とコントラスト算出部１２０が生成したコントラスト特徴量の共起性を解析する。

パターン分類部１４１は、バイナリ特徴量をビットパターンに基づき複数の特徴パターン（輝度パターン、単にパターンとも言う）に分類する。例えば、パターン分類部１４１は、バイナリコード特徴量を特徴に応じてフラットパターン、エッジパターン、テクスチャパターン、その他のパターンに分類する。

ヒストグラム作成部（ヒストグラム生成部）１４２は、バイナリコード特徴量及びコントラスト特徴量に基づき２次元ヒストグラムを生成する。ヒストグラム作成部１４２は、分類されたパターンごとに、コントラスト特徴量の分布を示すヒストグラムを生成する。

テクスチャ確度算出部１５０は、画素ブロックごとに、テクスチャ／コントラスト共起性解析部１４０による共起性の解析結果に基づいて、テクスチャらしさを示すテクスチャ確度を算出する。例えば、テクスチャ確度（Probability）は、０〜４の５段階で表される。テクスチャ確度の値が大きいほど、テクスチャである可能性が高いことを示し、テクスチャ確度の値が小さいほど、テクスチャである可能性が低く、テクスチャ以外のエッジやフラットパターン等である可能性が高いことを示す。

事前学習データ１５２は、テクスチャ検出装置１００の記憶部に記憶されたデータである。事前学習データ１５２は、バイナリコード特徴量及びコントラスト特徴量に基づいた２次元ヒストグラムを予め識別器１５１が学習したデータであり、特に、本実施の形態で検出すべきテクスチャの２次元ヒストグラムを含む。

識別器１５１は、学習結果に基づいて画像認識を行うＳＶＭ（Support Vector Machine）である。識別器１５１は、事前学習データ１５２と、テクスチャ／コントラスト共起性解析部１４０が生成した２次元ヒストグラムとを比較し、両者の類似度を示すテクスチャ確度をテクスチャ検出結果として出力する。

図３は、本実施の形態に係るテクスチャ検出装置で実行されるテクスチャ検出方法（テクスチャ検出処理）を示している。

図３に示すように、テクスチャ検出装置１００に画像が入力されると、まず、輝度差分符号化部１１０は、入力画像のローカルバイナリコードを算出する（Ｓ１０１）。本実施の形態では、テクスチャを表現するための１つの特徴量として、ローカルバイナリコードを利用する。

各画素のローカルバイナリコード（バイナリコード特徴量）Ｂは、注目画素と近傍画素との輝度の大小を比較して２値で評価し、全近傍画素に対する評価結果を２進数の数値としてエンコードして表現する。注目画素をｇ_ｃ＝Ｉ（ｘ，ｙ），近傍画素をｇ_ｐ（ｐ＝０...７）とすると、画素Ｉ（ｘ，ｙ）におけるこのバイナリコード特徴量Ｂ（ｘ，ｙ）は、次の式１のように求めることができる。式１において、ａの値はノイズの影響を抑制するためのしきい値であり、通常はａ＝０である。

すなわち、注目画素ｇ_ｃと各近傍画素ｇ_ｐの輝度の差分を１ビットのｓ（ｉ）とし、各ビットに重みづけした合計が、バイナリコード特徴量Ｂとなる。入力画像の全画素に対して、式１によりバイナリコード特徴量Ｂを求める。

図４は、バイナリコード特徴量Ｂの算出例を示している。ここで、近傍画素は隣接していなくてもよいが、選択する近傍画素数は８画素とし、８ビットのバイナリコード特徴量Ｂとする。図４（ａ）の例では、注目画素の輝度が６であり、左上画素から時計回り（右回り）の順に各近傍画素の輝度が、６、５、２、１、７、８、９、７である。このため、図４（ｂ）に示すように、注目画素と各近傍画素の大小関係によりｓ（０）＝１、ｓ（１）＝０、Ｓ（２）＝０、ｓ（３）＝０、ｓ（４）＝１、ｓ（５）＝１、ｓ（６）＝１、ｓ（７）＝１となり、８ビットのｓ（ｉ）のパターン（バイナリコードパターン）は、１１１１０００１となる。各ビットの位置に応じた重み付けを図４（ｃ）のようにし、各ビットを合計すると、バイナリコード特徴量Ｂ（ＬＢＰ）＝１＋１６＋３２＋６４＋１２８＝２４１となる。

また、ローカルバイナリコードの算出とともに、コントラスト算出部１２０は、入力画像のローカルコントラストを算出する（Ｓ１０２）。Ｓ１０１で算出したローカルバイナリコードＢ（ｘ，ｙ）は、注目画素と近傍画素との輝度の大小関係の特徴を表現できるが、どの程度の輝度差があるかは表現することができない。そこで、本実施の形態では、テクスチャを表現するためのもう１つの特徴量として、ローカルコントラストを利用する。

各画素のローカルコントラスト（コントラスト特徴量）Ｃは、ローカルバイナリコードと同様にして、画素Ｉ（ｘ，ｙ）における局所的なコントラスト（量）を次の式２のように求める。ここで、式２において、Ｈはｈ（ｇ_ｐ）＝ｇ_ｐとなるｇ_ｐの個数、Ｌはｌ（ｇ_ｐ）＝ｇ_ｐとなるｇ_ｐの個数である。

すなわち、注目画素ｇ_ｃよりも輝度が大きい近傍画素ｇ_ｐの平均から、注目画素ｇ_ｃよりも輝度が小さい近傍画素ｇ_ｐの平均を差し引いた値が、コントラスト特徴量Ｃ（ｘ，ｙ）となる。入力画像の全画素に対して、式２によりコントラスト特徴量Ｃを求める。例えば、図４（ａ）の例では、注目画素と各近傍画素の大小関係により、コントラスト特徴量Ｃ＝（６＋７＋８＋９＋７）／５−（５＋２＋１）／３＝４．７３となる。

ここで、上記のようなバイナリコード特徴量及びコントラスト特徴量を利用したときの、テクスチャらしさ（テクスチャ確度が高い）を示す特徴を図５の表に示す。

特徴１として、テクスチャは、画素の輝度が不規則に変化するという特徴がある。特徴１に対応した上記特徴量の性質は、バイナリコード特徴量及びコントラスト特徴量のパターンが特定のパターンに偏らない性質となる。図１のようにテクスチャは繰り返しパターンとランダムパターンを含み、少なくとも局所的には不規則（ランダム）なパターンとなる。また、直線的なパターンは、文字やエッジに多いため、テクスチャではない可能性が高い。このため、バイナリコード特徴量またはコントラスト特徴量のパターンがランダムパターンの場合、テクスチャであると判断することが好ましい。

特徴２として、テクスチャは、平坦部が少ないという特徴がある。特徴２に対応した上記特徴量の性質は、バイナリコード特徴量Ｂ≠０、または、Ｂ≠２５５となる。ほぼ完全に平坦（フラット）な領域（Ｂ＝０、または、Ｂ＝２５５）は、テクスチャではないと判断し、フラットではない領域（Ｂ≠０、または、Ｂ≠２５５）は、テクスチャであると判断することが好ましい。例えば、フラットなパターンをテクスチャと判断してもよいが、ノイズリダクションを行う際のノイズフィルタのマスクを考慮すると、フラットなパターンはマスクが不要であるためテクスチャではないと判断する。

特徴３として、テクスチャは、コントラストが高くないという特徴がある。特徴３に対応した上記特徴量の性質は、コントラスト特徴量Ｃのヒストグラムにおいて、上位ビン（ｂｉｎ）の頻度が多くないという性質となる。コントラストが高い領域は文字である可能性が高い、また、文字画像はテクスチャと比較してエッジ部分のコントラストが高い。このため、コントラスト特徴量Ｃが大きくない（小さい）場合、テクスチャであると判断することが好ましい。

テクスチャの特徴に関連して、さらに、上記特徴量によるテクスチャ表現の具体例について説明する。図６は、３×３画素領域における画像の輝度特徴パターンの例を示している。図６では、ハッチングが濃いほど輝度が高いことを示している。

図６（ａ）、図６（ｂ）は、直線的で、かつ、コントラストが高いパターンである。このため、特徴１及び特徴３より、このパターンは、テクスチャである可能性が低い（テクスチャではない）と判断する。図６（ｃ）は、完全にフラットなパターンである。このため、特徴２より、このパターンは、テクスチャである可能性が低い（テクスチャはない）と判断する。

図６（ｄ）、図６（ｅ）は、ランダムなパターンであり、かつ、コントラストが低いパターンである。このため、特徴１及び特徴３より、このパターンはテクスチャである可能性が高いと判断する。図６（ｆ）は、ランダムなパターンであり、かつ、比較的コントラストが高いパターンである。この場合は、テクスチャではなく文字などである可能性が高く、特徴１及び特徴３より、このパターンはテクスチャである可能性が低い（テクスチャではない）と判断する。反対に、図６（ｇ）は、直線的なパターンであり、かつ、比較的コントラストが低いパターンである。この場合は、テクスチャの直線的な部分を示している可能性が高いため、特徴３よりテクスチャである可能性が高いと判断する。

図５及び図６のようなテクスチャの特徴と特徴量との関係から、本実施の形態では、Ｓ１０３以降で、局所領域でのバイナリコード特徴量Ｂ（ｘ，ｙ）およびコントラスト強度Ｃ（ｘ，ｙ）の共起性を調べることで、テクスチャらしさを確度表現する。一定の局所領域に限定してテクスチャらしさを算出することで、高コストな領域分割をすることなくテクスチャ領域を検出する。

すなわち、図３のＳ１０１及びＳ１０２の後、ブロック分割部１３０は、入力画像をブロック分割する（Ｓ１０３）。ブロック分割部１３０は、図７のように入力画像全体を一定サイズの矩形ブロック（画素ブロック）に分割する。ブロック分割部１３０は、入力画像を縦（Ｉ）×横（Ｊ）個のブロックに分割し、Ｉ×Ｊ個の各ブロックに対して、以降の処理が繰り返し実行される。

ブロックサイズは任意であるが、例えば、１ブロックあたり横１６ピクセル×縦１６ピクセル（全２５６画素）とする。図１（ａ）のようなテクスチャの例において、テキストンを周波数単位として考え、ひとつのテキストンパターンが１周期を表すとする。この場合、標本化定理により、テクスチャ検出には最低でも２倍のテキストンが必要であり、空間面積では４倍、つまり４テキストンが必要といえる。したがって、検出したいテクスチャのテキストンの画素数の４倍以上の面積になるようにブロックサイズを設定するのが最適である。

次いで、テクスチャ／コントラスト共起性解析部１４０のパターン分類部１４１は、ブロックごとに、バイナリコードの画素をパターンに分類する（Ｓ１０４）。パターン分類部１４１は、バイナリコード特徴量（２５６値）を、パターンによってフラットパターン、エッジパターン、テクスチャパターン、およびその他のパターンの４種類に分類する。分類方法については、図５及び図６のような法則に従って決定する。

例えば、バイナリコード特徴量のビットパターンが、ランダムの場合にテクスチャパターンと判断し、直線の場合にエッジパターンと判断し、フラットの場合にフラットパターンと判断する。その他のパターンは、判断条件によって省略してもよい。また、図５や図６のようにコントラストを考慮してパターン分類を行ってもよい。

次いで、テクスチャ／コントラスト共起性解析部１４０のヒストグラム作成部１４２は、ブロックごとに、ヒストグラムを作成する（Ｓ１０５）。ヒストグラム作成部１４２は、図８〜図１１に示すように、分類されたフラット、エッジ、テクスチャ、その他のパターンごとに、コントラストのヒストグラムを生成する。そして、図１２に示すように、これらのヒストグラムを合成して、４値の２次元ヒストグラムを作成する。すなわち、２次元ヒストグラムは、ブロック内の各画素におけるバイナリコード特徴量Ｂ（ｘ，ｙ）とコントラスト特徴量Ｃ（ｘ，ｙ）の分布（共起性）を２次元に表している。

次いで、テクスチャ確度算出部１５０は、識別器（Classifier）を生成する（Ｓ１０６）。テクスチャ確度算出部１５０は、検出すべきテクスチャの２次元ヒストグラムを事前学習データ１５２に学習させておき、Ｓ１０５で生成した２次元ヒストグラムを特徴量として識別器１５１に入力する。

次いで、テクスチャ確度算出部１５０の識別器１５１は、ブロックごとに、テクスチャ確度（Probability）を算出する（Ｓ１０７）。識別器１５１は、事前学習データ１５２の２次元ヒストグラムと、Ｓ１０５で生成された２次元ヒストグラムの類似度により、テクスチャ確度を求める。２次元ヒストグラムの類似度を判断することにより、バイナリコード特徴量Ｂ（ｘ，ｙ）およびコントラスト強度Ｃ（ｘ，ｙ）の共起性に基づいたテクスチャらしさを検出する。以上の演算を画像全体の全ブロックに対して行い、その結果をブロックごとに保存する。

以上のように、本実施の形態では、入力画像から得られる複数の特徴量によってテクスチャを検出する手法において、ブロック分割した局所領域内における、注目画素とその近傍画素との輝度変化をバイナリコーディングしたバイナリコード特徴量と、注目画素とその近傍画素間のコントラスト値のコントラスト特徴量の共起性を調べることによって、テクスチャらしさを検出することとした。これにより、テクスチャらしさを確度表現し、その際に問題となる文字などの誤検出を低減することができる。本実施形態では、識別器を用いる必要があるものの、バイナリコード特徴量及びコントラスト特徴量の共起性に基づいてテクスチャを検出するため、様々な任意のテクスチャを検出可能であり、精度よくテクスチャを検出することができる。

（実施の形態２）
以下、図面を参照して本発明の実施の形態２について説明する。本実施の形態で、実施の形態１に対し、ＳＶＭなどの識別器を用いずにテクスチャらしさを求める例である。

図１３は、本実施の形態に係るテクスチャ検出装置１００の構成を示している。図１３に示すように、本実施の形態に係るテクスチャ検出装置１００では、テクスチャ確度算出部１５０が、パターン率算出部１５３、コントラスト強度算出部１５４、パターン率／コントラスト強度判定部１５５を備えている。その他の構成は、実施の形態１の図２と同様である。

パターン率算出部１５３は、パターン分類部１４１が分類した各パターンの比率であるパターン率（特徴パターン率）を算出する。コントラスト強度算出部１５４は、コントラストのヒストグラムに基づきコントラストの強さを示すコントラスト強度を算出する。パターン率／コントラスト強度判定部（テクスチャ確度決定部）１５５は、算出したパターン率及びコントラスト強度を判定して、テクスチャ確度を決定する。

図１４は、本実施の形態に係るテクスチャ検出装置で実行されるテクスチャ検出方法（テクスチャ検出処理）を示している。図１５は、図１４のパターン率／コントラスト強度（ratio/strengthC）判定処理の詳細を示している。

Ｓ２０１〜Ｓ２０５については、実施の形態１の図３のＳ１０１〜Ｓ１０５と同様である。すなわち、入力画像のローカルバイナリコードを算出し（Ｓ２０１）、入力画像のローカルコントラストを算出し（Ｓ２０２）、入力画像をブロック分割し（Ｓ２０３）、バイナリコードをパターンに分類し（Ｓ２０４）、ヒストグラムを生成する（Ｓ２０５）。

ヒストグラムの生成では、図１６及び図１７のように、エッジパターンおよびテクスチャパターンに分類された画素のコントラスト特徴量Ｃ（ｘ，ｙ）のヒストグラムを、それぞれのパターンごとに作成する。このヒストグラムにおいて、高階級の頻度が高い場合には、ブロック内の画像のエッジまたはテクスチャと分類された部分のコントラストが高いということを示す。すなわち、図１７の例では、テクスチャの部分は比較的コントラストが高いといえる。実施の形態１のように全てのパターンのヒストグラムを生成してもよいが、本実施の形態では、コントラスト強度の算出において、エッジパターン及びテクスチャパターンのヒストグラムを使用するため、エッジパターン及びテクスチャパターンのヒストグラムのみ生成する。実施の形態１のように２次元ヒストグラムを生成する必要がないため、ヒストグラムの算出を簡略化できる。

次いで、テクスチャ確度算出部１５０のパターン率算出部１５３は、各パターンの比率（ratio）を算出する（Ｓ２０６）。パターン率算出部１５３は、フラットパターン、エッジパターンおよびテクスチャパターンの各パターンについて、ブロック内の全画素に対する割合を０〜１の範囲の値で求める。フラットパターンのフラット率（ratioFlat）の算出式を次の式３に示す。エッジパターンのエッジ率（ratioEdge）、テクスチャパターンのテクスチャ率（ratioTexture）も同様に求める。

次いで、テクスチャ確度算出部１５０のコントラスト強度算出部１５４は、各パターンのコントラスト強度（ヒストグラム強度）を算出する（Ｓ２０２）。コントラスト強度算出部１５４は、演算の簡素化のために、コントラストのヒストグラムを、次の式４によりコントラストの強さを表す０〜１の１次元のコントラスト強度（strengthC）に変換する。式４において、ｎはヒストグラムのビン数、Ｆ（ｘ）はヒストグラムのビンｘにおける頻度を示す。

次いで、図１５のパターン率／コントラスト強度（ratio/strengthC）判定処理により、パターン率及びコントラスト強度のパラメータを組み合わせて、複合的にテクスチャらしさであるテクスチャ確度（Probability）を求める。Probabilityの値が大きいほどテクスチャらしさの確度が高い。パターン率及びコントラスト強度としきい値を比較してテクスチャ確度を決定するため、実施の形態１のように識別器を用いることなく、テクスチャ確度の算出を簡略化できる。なお、図１５中の数値（しきい値）は実験的に求められた任意のパラメータであり、この数値に限定されるものではない。

すなわち、パターン率／コントラスト強度判定部１５５は、フラット率（ratioFlat）を判定し、例えば、フラット率が０．９より小さいか否か判定する（Ｓ２１１）。Ｓ２１１の判定でＮｏ（フラット率が０．９より小さくない）の場合、ほぼフラットでありテクスチャの可能性は低いため、パターン率／コントラスト強度判定部１５５は、テクスチャ確度を０に設定する（Ｓ２１２）。

Ｓ２１１の判定でＹｅｓ（フラット率が０．９より小さい）の場合、パターン率／コントラスト強度判定部１５５は、テクスチャ率（ratioTexture）を判定し、例えば、テクスチャ率が０．４より大きいか否か判定する（Ｓ２１３）。Ｓ２１３の判定でＹｅｓ（テクスチャ率が０．４より大きい）の場合、パターン率／コントラスト強度判定部１５５は、テクスチャのコントラスト強度（strengthC(Texture)）を判定し、例えば、コントラスト強度が０．２より小さいか否か判定する（Ｓ２１４）。

Ｓ２１４の判定でＮｏ（テクスチャのコントラスト強度が０．２より小さくない）場合、テクスチャの可能性はあるがコントラストが高いため、パターン率／コントラスト強度判定部１５５は、テクスチャ確度を３に設定する（Ｓ２１５）。Ｓ２１４の判定でＹｅｓ（テクスチャのコントラストム強度が０．２より小さい）の場合、テクスチャの可能性が高いため、パターン率／コントラスト強度判定部１５５は、テクスチャ確度を４に設定する（Ｓ２１６）。

Ｓ２１３の判定でＮｏ（テクスチャ率が０．４より大きくない）の場合、パターン率／コントラスト強度判定部１５５は、エッジ率（ratioEdge）とエッジのコントラスト強度（strengthC(Edge)）を判定し、例えば、エッジ率が０．２より大きく、かつ、エッジのコントラスト強度が０．２より小さいか否か判定する（Ｓ２１７）。

Ｓ２１７の判定でＮｏ（エッジ率が０．２より大きくない、または、エッジのコントラスト強度が０．２より小さくない）の場合、コントラストが高く、エッジや文字の可能性が高いため、パターン率／コントラスト強度判定部１５５は、テクスチャ確度を１に設定する（Ｓ２１８）。Ｓ２１７の判定でＹｅｓ（エッジ率が０．２より大きく、かつ、エッジのコントラスト強度が０．２より小さい）の場合、コントラストが低く、Ｓ２１８よりもテクスチャの可能性が高いため、パターン率／コントラスト強度判定部１５５は、テクスチャ確度を２に設定する（Ｓ２１６）。以上の演算を画像全体の全ブロックに対して行い、その結果をブロックごとに保存する。

以上のように、本実施の形態では、テクスチャ検出方法として、実施の形態１のような２次元の共起ヒストグラムを特徴量とした識別器を用いる方法ではなく、低次元の特徴量（パターン率及びコントラスト強度）に変換して簡易的に共起性を調べることとした。これにより、特定のパターンに限定されないテクスチャ領域を簡単な演算で検出できるため、回路規模を削減でき、低コストかつ省スペースなハードウェアで高速かつ精度のよい検出装置を構成することが可能となる。実施の形態１の方法よりも非常に高速かつ低リソースで演算でき、電子機器への実装により適した方法である。

（実施の形態３）
以下、図面を参照して本発明の実施の形態３について説明する。本実施の形態は、実施の形態１または２に対し、複数のサイズのブロックでテクスチャ検出を行う例である。本実施の形態に係るテクスチャ検出装置の構成は、実施の形態１または２と同様である。

図１８は、本実施の形態に係るテクスチャ検出方法を示している。図１８に示すように、８×８、１６×１６、３２×３２の３種類のブロックサイズでそれぞれテクスチャ検出を行い、３つの検出結果を合成して最終的な検出結果とする。ブロックサイズは、複数の任意のサイズとしてもよい。ブロック分割方法及びブロックごとのテクスチャ確度算出方法は、実施の形態１または２と同様である。

すなわち、ブロック分割部１３０が、入力画像を８×８ブロックに分割し（Ｓ３０１）、テクスチャ／コントラスト共起性解析部１４０及びテクスチャ確度算出部１５０が、分割された８×８ブロックごとにテクスチャ確度を算出する（Ｓ３０２）。また、ブロック分割部１３０が、入力画像を１６×１６ブロックに分割し（Ｓ３０３）、テクスチャ／コントラスト共起性解析部１４０及びテクスチャ確度算出部１５０が、分割された１６×１６ブロックごとにテクスチャ確度を算出する（Ｓ３０４）。さらに、ブロック分割部１３０が、入力画像を３２×３２ブロックに分割し（Ｓ３０５）、テクスチャ／コントラスト共起性解析部１４０及びテクスチャ確度算出部１５０が、分割された３２×３２ブロックごとにテクスチャ確度を算出する（Ｓ３０６）。なお、ブロック分割の順番は、３２×３２、１６×１６、８×８ブロックの順でもよいし、その他の任意の順番でよい。

その後、テクスチャ確度算出部１５０は、サイズの異なる各ブロックのテクスチャ確度を合成する（Ｓ３０７）。合成方法は、例えば算術平均などである。すなわち、各ブロックのテクスチャ確度の平均を最終的なテクスチャ確度として出力する。これにより平均的に確度が高い領域をテクスチャとして検出できる。なお、テクスチャ確度が高いブロックはテクスチャを含む可能性が高いため、サイズの異なる各ブロックのテクスチャ確度のうち、最も大きい値を出力してもよい。

このように、実施の形態１または２のテクスチャ検出において、さらに複数のブロックサイズでテクスチャ検出を行うことにより、複数のテキストンサイズをカバーした検出が可能となるため、より精度よくテクスチャを検出することができる。

（実施の形態４）
以下、図面を参照して本発明の実施の形態４について説明する。本実施の形態は、実施の形態１〜３のテクスチャ検出装置を用いてノイズリダクションを行う画像処理システムの例である。

図１９は、本実施の形態に係る画像処理システム１の構成を示している。図１９に示すように、画像処理システム１は、実施の形態１〜３のテクスチャ検出装置１００に加えて、ＹＣｂＣｒ変換部２００、ノイズリダクション装置３００を備えている。ノイズリダクション装置３００は、テクスチャ領域マスク部３０１、ノイズリダクション演算部３０２を備えている。

画像処理システム１には、ＲＡＷ画像が入力される。ＹＣｂＣｒ変換部２００は、入力されたＲＡＷ画像をＹＣｂＣｒ方式の画像信号に変換し、テクスチャ検出装置１００へ供給する。ノイズリダクション装置３００は、入力されたＲＡＷ画像と、テクスチャ検出装置１００のテクスチャ検出結果（テクスチャ確度）が入力され、テクスチャ検出結果に基づき、ＲＡＷ画像からノイズを除去したノイズ抑制画像を生成する。

テクスチャ領域マスク部３０１は、テクスチャ検出結果であるテクスチャ確度に応じて、ノイズフィルタの適用を除外するマスク処理を行う。テクスチャ領域マスク部３０１は、ＲＡＷ画像のうち、テクスチャ確度の高い領域にマスクを設定する。テクスチャ確度が所定のしきい値以上の領域にマスクをかけてもよいし、テクスチャ確度の大きさに応じて、マスクのサイズや強さ（フィルタの強さ）を変更してもよい。

ノイズリダクション演算部３０２は、ＲＡＷ画像に対し、テクスチャ領域マスク部３０１が設定したマスクに応じてノイズフィルタを適用しノイズリダクション処理を行う。例えば、マスク領域を除いた領域に対しノイズリダクションを行う。また、マスクの強さに応じたフィルタによりノイズリダクションを行う。

通常、画像全体に対して均一にノイズ抑制を施すと、画像の高周波成分が失われて解像感が落ちてしまうという問題がある。テクスチャ領域は、なるべく解像感を維持したいのと、ノイズがあっても目立ちにくいことから、本実施の形態では、テクスチャ検出装置１００が検出したテクスチャ領域をマスクして、それ以外の領域のみノイズ抑制する構成にする。より正確には、テクスチャ確度が低いほどノイズ抑制を強くするようにする。これにより、入力画像の画質劣化を抑えつつ、ノイズを効果的に除去することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１ 画像処理システム
１００ テクスチャ検出装置
１１０ 輝度差分符号化部
１２０ コントラスト算出部
１３０ ブロック分割部
１４０ テクスチャ／コントラスト共起性解析部
１４１ パターン分類部
１４２ ヒストグラム作成部
１５０ テクスチャ確度算出部
１５１ 識別器
１５２ 事前学習データ
１５３ パターン率算出部
１５４ コントラスト強度算出部
１５５ パターン率／コントラスト強度判定部
２００ ＹＣｂＣｒ変換部
３００ ノイズリダクション装置
３０１ テクスチャ領域マスク部
３０２ ノイズリダクション演算部

Claims (11)

1. 入力画像における注目画素と近傍画素との輝度差分を符号化したバイナリコード特徴量を生成する輝度差分符号化部と、
   前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出するコントラスト算出部と、
   前記バイナリコード特徴量及び前記コントラスト特徴量の共起性を解析する共起性解析部と、
   前記共起性の解析結果に基づいてテクスチャらしさを示すテクスチャ確度を算出するテクスチャ確度算出部と、
   を備え、
   前記テクスチャは、連続した繰り返しパターン、あるいは、ランダムな模様状の特徴を持つ画像であって、文字を含まない画像である、
   テクスチャ検出装置。
2. 前記共起性解析部は、
   前記バイナリコード特徴量をビットパターンに基づき複数の特徴パターンに分類するパターン分類部と、
   前記分類した特徴パターンごとの前記コントラスト特徴量の分布を示すヒストグラムを生成するヒストグラム生成部と、を備える、
   請求項１に記載のテクスチャ検出装置。
3. 前記ヒストグラム生成部は、前記分類した特徴パターンと前記コントラスト特徴量の分布との関係を示す２次元ヒストグラムを生成する、
   請求項２に記載のテクスチャ検出装置。
4. 前記テクスチャ確度算出部は、
   前記２次元ヒストグラムを予め学習した事前学習データと、
   前記事前学習データと前記入力画像から生成された前記２次元ヒストグラムとに基づいて、前記テクスチャ確度を算出する識別器と、を備える、
   請求項３に記載のテクスチャ検出装置。
5. 前記テクスチャ確度算出部は、
   所定領域内において前記特徴パターンが占める比率であるパターン率を算出するパターン率算出部と、
   前記生成したヒストグラムの分布に基づいてコントラストの強さを示すコントラスト強度を算出するコントラスト強度算出部と、
   前記パターン率及び前記コントラスト強度に基づいて、前記テクスチャ確度を決定するテクスチャ確度決定部と、を備える、
   請求項２に記載のテクスチャ検出装置。
6. 前記入力画像を所定サイズの画素ブロックに分割するブロック分割部を備え、
   前記共起性解析部は、前記分割された画素ブロックごとに前記共起性を解析し、
   前記テクスチャ確度算出部は、前記分割された画素ブロックごとに前記テクスチャ確度を算出する、
   請求項１乃至５のいずれか一項に記載のテクスチャ検出装置。
7. 前記ブロック分割部は、前記入力画像をサイズの異なる複数の前記画素ブロックに分割し、
   前記共起性解析部は、前記複数のサイズの画素ブロックごとに前記共起性を解析し、
   前記テクスチャ確度算出部は、前記複数のサイズの画素ブロックごとの前記テクスチャ確度を合成し、最終的な前記テクスチャ確度を算出する、
   請求項６に記載のテクスチャ検出装置。
8. 入力画像における注目画素と近傍画素との輝度差分を符号化したバイナリコード特徴量を生成し、
   前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出し、
   前記バイナリコード特徴量及び前記コントラスト特徴量の共起性を解析し、
   前記共起性の解析結果に基づいてテクスチャらしさを示すテクスチャ確度を算出し、
   前記テクスチャは、連続した繰り返しパターン、あるいは、ランダムな模様状の特徴を持つ画像であって、文字を含まない画像である、
   テクスチャ検出方法。
9. コンピュータにテクスチャ検出処理を実行させるためのテクスチャ検出プログラムであって、
   前記テクスチャ検出処理は、
   入力画像における注目画素と近傍画素との輝度差分を符号化したバイナリコード特徴量を生成し、
   前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出し、
   前記バイナリコード特徴量及び前記コントラスト特徴量の共起性を解析し、
   前記共起性の解析結果に基づいてテクスチャらしさを示すテクスチャ確度を算出し、
   前記テクスチャは、連続した繰り返しパターン、あるいは、ランダムな模様状の特徴を持つ画像であって、文字を含まない画像である、
   テクスチャ検出プログラム。
10. テクスチャ検出装置とノイズリダクション装置を備えた画像処理システムであって、
    前記テクスチャ検出装置は、
    入力画像における注目画素と近傍画素との輝度差分を符号化したバイナリコード特徴量を生成する輝度差分符号化部と、
    前記注目画素と前記近傍画素とのコントラスト量を示すコントラスト特徴量を算出するコントラスト算出部と、
    前記バイナリコード特徴量及び前記コントラスト特徴量の共起性を解析する共起性解析部と、
    前記共起性の解析結果に基づいてテクスチャらしさを示すテクスチャ確度を算出するテクスチャ確度算出部と、を備え、
    前記ノイズリダクション装置は、前記算出されたテクスチャ確度に応じて、前記入力画像に対しノイズリダクション処理を行い、
    前記テクスチャは、連続した繰り返しパターン、あるいは、ランダムな模様状の特徴を持つ画像であって、文字を含まない画像である、
    画像処理システム。
11. 前記ノイズリダクション装置は、前記テクスチャ確度が低いほど強くノイズリダクション処理を行う、
    請求項１０に記載の画像処理システム。

Images