JP6341650B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、特に、画像を複数の領域に分割するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、画像を意味のある複数の領域に分割する研究が行われている。例えば、非特許文献１に記載されているSegmentationタスクに関し、そのような研究がなされている。このような画像を分割する処理においては、まず、スーパーピクセルと呼ばれる隣接した複数の画素からなる小領域に画像を分割し、分割した領域から夫々特徴量を抽出して、抽出した特徴量をもとに領域の統合、分類を行う方法が一般的である。例えば、非特許文献２には、事前に学習したニューラルネットワークによって夫々の領域を空、木、道路、等のクラスに分類している。一方、前処理として用いられているスーパーピクセルを生成する方法としては、クラスタリングやグラフ表現が用いられている（例えば非特許文献３及び４参照）。

特開２００６−２２７９７３号公報

M. Everingham, L. Van Gool, C.K.I. Williams, J. Winn, and A. Zisserman. The PASCAL Visual Object Classes (VOC) challenge. International Journal of Computer Vision. vol. 88 (2), 2010 Richard Socher, Cliff Lin, Andrew Y. Ng, and Christopher D. Manning. Parsing Natural Scenes and Natural Language with Recursive Neural Networks. ICML 2011 Felzenszwalb, P., Huttenlocher, D. Efficient graph-based image segmentation. International Journal of Computer Vision. 2004 Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, and Sabine Susstrunk. SLIC Superpixels. EPFL Technical Report 149300, June 2010

しかしながら、例えば、前記非特許文献３に記載の方法により画像をスーパーピクセルに分割し、分割したスーパーピクセルに対して非特許文献２に記載のクラス分類を行う場合、以下のような問題が生じる。

まず、非特許文献３に記載の方法による領域分割の結果、スーパーピクセルの領域数が非常に多くなることがある。例えば、画像全体に木や草などのテクスチャが存在する場合、エッジ部分が分割されやすく大量の領域を生成することになる。これに対し、クラス分類のために行われる処理は非常に複雑であるため、スーパーピクセルの数が多いと処理に膨大な時間がかかってしまう。

また、領域のサイズに関しても、非特許文献３に記載の方法による領域分割は、前述のとおりテクスチャがある領域において敏感にエッジを分離する。このため、結果として領域数が増えるだけでなく小さな領域を多く生成してしまう。さらには非特許文献２に記載のクラス分類は、サイズの小さな領域に対して判別精度が低下するという問題がある。これは、クラス分類では領域から抽出する様々な特徴量でカテゴリを判別するのだが、小さい領域から抽出する特徴量は安定しないことがあるためである。例えば、画素値にノイズがある場合、サイズの大きい領域ではそのようなノイズの影響を受けないが、小さい領域においては影響を受けやすく、本来抽出したい特徴とは異なる特徴を抽出してしまうことがある。

本発明は前述の問題点に鑑み、簡単かつ高精度に画像を意味のある複数の領域に分類できるようにすることを目的としている。

そこで、本発明の画像処理装置は、入力画像を類似画素からなる複数の領域に分割する分割手段と、前記分割手段によって分割された領域のサイズを取得する取得手段と、前記分割手段によって分割された領域のテクスチャ特徴又は色特徴を抽出する抽出手段と、前記取得手段によって取得された領域のサイズに基づいて、注目する隣接する領域を結合するか否かを、前記隣接する領域のいずれのサイズも所定の閾値より大きければテクスチャ特徴を用いて判定し、前記隣接する領域の少なくとも一方のサイズが前記所定の閾値以下であれば色特徴を用いて判定するように結合判定方法を決定する決定手段と、前記抽出手段によって抽出されたテクスチャ特徴又は色特徴に基づいて、前記決定手段により決定された結合判定方法により前記隣接する領域を結合するか否かを判定する判定手段と、前記決定手段により決定された結合判定方法によって前記判定手段により前記隣接する領域を結合すると判定された場合に、前記隣接する領域を結合する結合手段と、前記結合手段によって結合された領域の種別を分類する分類手段とを備えることを特徴とする。

本発明によれば、領域の分類に多くの処理時間をかけずに、高精度に画像を意味のある複数の領域に分類することができる。

本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。 本発明の実施形態において、画像を取得して領域分類する処理手順の一例を示すフローチャートである。 ３層構造のＲＮＮ（Recursive Neural Networks）を説明するための図である。 本発明の実施形態において、領域分割する処理手順の一例を示すフローチャートである。 スーパーピクセルを結合して結合領域を得る詳細な処理手順の一例を示すフローチャートである。 ＬＢＰヒストグラムに基づいて結合判定を行う詳細な処理手順の一例を示すフローチャートである。 色平均に基づいて結合判定を行う詳細な処理手順の一例を示すフローチャートである。 スーパーピクセルに分割された画像の一例を示す図である。 スーパーピクセルごとの画素数を表すテーブルの一例を示す図である。 スーパーピクセル同士の隣接関係を表すテーブルの一例を示す図である。 ＬＢＰコードの具体的な算出方法の一例を示す図である。 ＬＢＰヒストグラムの一例を示す図である。 ＬＢＰヒストグラムに基づいて結合した後の領域の一例を示す図である。 ＬＢＰヒストグラムに基づいて結合した後の各領域の画素数を表すテーブルの一例を示す図である。 ＬＢＰヒストグラムに基づいて結合した後の各領域同士の隣接関係を表すテーブルの一例を示す図である。 色平均に基づいて結合した後の領域の一例を示す図である。 色平均に基づいて結合した後の各領域の画素数を表すテーブルの一例を示す図である。 色平均に基づいて結合した後の各領域同士の隣接関係を表すテーブルの一例を示す図である。

以下、添付図面を参照しながら本発明の好適な実施形態について説明する。本実施形態では、画像を意味のある複数の領域に分割する例を示す。

図１は、本実施形態に係る画像処理装置１００の機能構成例を示すブロック図である。
図１において、画像取得部１０１は、画像データを取得する撮像装置、及び取得した画像データを記憶する画像メモリにより構成されている。領域分割部１０２は、隣接する類似画素からなる複数の領域に画像を分割する。領域サイズ取得部１０３は、領域のサイズに関する情報を取得する。特徴抽出部１０４は、領域内の画像特徴を抽出する。結合方法決定部１０５は、隣接する領域を結合する方法を決定する。結合処理部１０６は、結合対象となる２領域を結合する。領域分類部１０７は、領域が属する種別を判別する。また、本実施形態においては、領域分割部１０２〜領域分類部１０７の構成は汎用のコンピュータにより構成されている。

以下、本実施形態の動作について説明する。本実施形態では、まず非特許文献３に記載の方法によりスーパーピクセルに分割し、次に隣接するスーパーピクセル同士を結合する。さらに非特許文献２に記載の方法により結合領域のクラスを分類する方法について説明する。

図２は、本実施形態に係る画像処理装置１００によって領域分類する処理手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、画像取得部１０１により画像を取得し、取得した画像を画像メモリに記憶する。なお、取得する画像はＲＧＢの３色に基づいたカラー画像のデータとする。

次に、ステップＳ２０２において、ステップＳ２０１で取得した画像を領域分割部１０２にて領域分割し、複数のスーパーピクセルを取得する。本ステップの処理の詳細については後述する。そして、ステップＳ２０３において、ステップＳ２０２で取得したスーパーピクセルのうち、隣接する２つのスーパーピクセルを結合して結合領域を得る。本ステップは、領域分割部１０２によって得られたスーパーピクセルについて、特徴抽出部１０４にて抽出した特徴と、領域サイズ取得部１０３にて取得した情報と、結合方法決定部１０５で決定した結合方法とに基づき、結合処理部１０６にて結合処理を行う。処理の詳細については後述する。

次に、ステップＳ２０４において、特徴抽出部１０４は後述するステップＳ２０５の領域分類で使用するための特徴量である領域分類特徴を、ステップＳ２０３で取得した結合領域から抽出する。本実施形態で抽出する領域分類特徴は、結合領域の色特徴、テクスチャ特徴、幾何特徴、及び位置特徴とする。ここで、各特徴について説明する。

色特徴は、ＲＧＢ夫々の色成分における結合領域内の平均、分散、歪度、尖度である。なお、本実施形態では色空間としてＲＧＢを用いているが、ＹＣｂＣｒ、ＣＩＥＬＡＢなど別の色空間を用いて各色特徴を求めるようにしてもよい。テクスチャ特徴は、輝度画像（前記ＹＣｂＣｒのＹ成分）を複数のスケールおよび方向でガボールフィルタ処理し、処理後の値について領域内で平均、分散、歪度、尖度を計算したものである。この他、複数のスケールでＬＯＧ（Laplacian Of Gaussan）処理を行った画像に対して結合領域内の画素の平均、分散、歪度、尖度を抽出して追加してもよい。

幾何特徴は、領域内の面積（画素数）、周長（領域境界の画素数）、各画素の位置座標を（ｘ，ｙ）で表した場合のｘ座標の二次モーメント、ｙ座標の二次モーメント、ｘｙモーメントである。位置特徴は、結合領域内の画素のｘ座標、ｙ座標夫々の重心、及び重心座標を（ｘ_g，ｙ_g）とした場合のｘ_g ²＋ｙ_g ²の値である。これらの抽出した特徴量は一つの結合領域から抽出する特徴量の数をｄとした場合、ｄ次元の特徴ベクトルとして領域毎に不図示のコンピュータのメモリに保持される。

次に、ステップＳ２０５において、領域分類部１０７は、ステップＳ２０４の領域分類特徴を抽出する処理により得た特徴量に基づき、夫々の結合領域が属するクラスを判別する。クラス判別は、図３に示すような３層構造のＲＮＮ（Recursive Neural Networks）により行う。図３において、Ｉ、Ｍ、Ｏは夫々入力層、中間層、出力層のニューロンである。ステップＳ２０４で抽出した特徴量（ｄ次元の特徴ベクトル）をＦ_rawとすると、入力層Ｉのニューロンはｄ個であり、夫々特徴ベクトルを構成する一つの特徴量を入力し、そのまま中間層Ｍに伝達する。中間層Ｍの数をｄ_mとし、出力する特徴をＦ_semとすると、特徴Ｆ_semはｄ_m次元の特徴ベクトルであり、以下の式（１）により算出される。
Ｆ_sem＝ｆ（Ｗ_bＦ_raw） ・・・（１）

但し、Ｗ_bは入力層Ｉ及び中間層Ｍの結合係数を表すｄ×ｄ_mの行列を表し、ｆはシグモイド関数を表す。出力層Ｏでは、ｄ₀個の値Ｆ_out（ｄ₀次元の特徴ベクトル）は以下の式（２）により算出され、出力される。
Ｆ_out＝Ｗ_cＦ_sem ・・・（２）

但し、Ｗ_cは中間層Ｍ及び出力層Ｏの結合係数を表すｄ_m×ｄ₀の行列を表し、ｄ₀は判別するクラスの数を表す。ここで、Ｗ_b、Ｗ_cは非特許文献２に記載されている方法を用いて事前学習により定められる。領域分類部１０７は、出力層Ｏが出力する特徴量Ｆ_outのうち、最も大きい値を返すクラスを判別結果として出力する。

次に、図２のステップＳ２０２の処理の詳細について説明する。本実施形態では、画像の領域分割処理としてグラフ表現を用いた非特許文献３の方法に従った例について説明する。

図４は、領域分割部１０２により非特許文献３に記載の方法に基づいて領域分割する処理手順の一例を示すフローチャートである。
まず、ステップＳ４０１において、入力画像の各画素を頂点とし、各画素と周囲８方向の隣接画素との組合せをエッジとするグラフを作成する。そして、ステップＳ４０２において、ステップＳ４０１で作成したグラフの全エッジの重みを算出し、エッジの重みが小さい順にソートを行う。エッジの重みｗ_ijは以下の式（３）により算出される。

但し、（Ｒ_i，Ｇ_i，Ｂ_i）、（Ｒ_j，Ｇ_j，Ｂ_j）は、それぞれエッジの頂点ｉ、ｊに対応する画素のＲＧＢ成分を表す。すなわち、ここでは２つの画素のＲＧＢ色空間での距離をエッジ重みとする。

次に、ステップＳ４０３において、ステップＳ４０１で作成したグラフからステップＳ４０２のソート結果を参照して最も小さい重みを持つエッジを選択する。そして、ステップＳ４０４において、ステップＳ４０３で選択したエッジの頂点に対応する夫々の画素について、画素を含む領域を検索し、領域同士の結合の判定を行う。ここで、初期状態においては、領域は画素そのものとする。領域同士の結合の判定は、２つの領域間の特徴量の違いと夫々の領域内の特徴量の違いとの比較に基づいて行い、ステップＳ４０２で算出したエッジ重みを利用する。領域間の違いＤｉｆ（Ｃ_i，Ｃ_j）は以下の式（４）により算出される。
Ｄｉｆ（Ｃ_i，Ｃ_j）＝ｍｉｎ ｗ_kl ・・・（４）

但し、Ｃ_i、Ｃ_jは判定する２つの領域を表し、ｍｉｎ ｗ_klは領域Ｃ_iに属する頂点（ここでは画素）ｋ及び領域Ｃ_jに属する頂点（ここでは画素）ｌのエッジのうち、ステップＳ４０２で算出したエッジ重みの最小値を表す。また、領域内の違いＭＩｎｔ（Ｃ_i，Ｃ_j）は以下の式（５）により算出される。

但し、Ｉｎｔ（Ｃ）＝ｍａｘ（ｗ_kl）であり、領域Ｃに属する２つの頂点（ここでは画素）ｋ及び頂点（ここでは画素）ｌのエッジのうち、ステップＳ４０２で算出したエッジ重みの最大値である。また、τ（Ｃ）＝Ｋｃ／｜Ｃ｜であり、｜Ｃ｜は領域Ｃの面積を表し、Ｋｃは領域同士の結合のし易さを制御するパラメータである。領域間の違いＤｉｆ（Ｃ_i，Ｃ_j）が領域内の違いＭＩｎｔ（Ｃ_i，Ｃ_j）よりも大きい場合には２つの領域の違いが大きいと判定し、結合は行わない。一方、それ以外の場合には２つの領域が類似していると判定し、領域を結合する。なお、領域を結合する場合は結合後の領域に対してＩｎｔ（Ｃ）を更新しておく。

次に、ステップＳ４０５において、全てのエッジについて処理を行ったかどうかを判定し、未処理のエッジがある場合にはステップＳ４０３に戻り、処理を繰り返す。一方、ステップＳ４０５の判定の結果、全てのエッジについて処理を行った場合には、ステップＳ４０６に処理を移す。そして、ステップＳ４０６において、全ての領域について領域の大きさを求め、所定サイズ以下の領域を周囲の領域と結合する。

次に、本実施形態の特徴である領域サイズに基づいた結合処理方法の選択について、図５に示すフローチャートを用いて詳細を説明する。なお、本実施形態では説明を簡略化するため、図８に示すように入力画像が９つのスーパーピクセルに分割されている場合について、その結合処理の方法を説明する。また、各スーパーピクセルには、Ｒ０１〜Ｒ０９の領域ＩＤが付与されているものとする。

図５は、図２のステップＳ２０３においてスーパーピクセルを結合して結合領域を得る詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、領域サイズ取得部１０３は、各スーパーピクセル内の画素数を取得する。図９には、図８に示した領域ＩＤとこれに対応する画素数との関係を表すテーブルを示す。

次に、ステップＳ５０２において、領域サイズ取得部１０３は、スーパーピクセル同士の隣接情報を取得する。まず、画像の左上から右下へ順番に画素を参照していき、隣接画素（右の画素、右下の画素、下の画素）において異なる領域ＩＤとなった場合に、この異なる領域ＩＤをチェックすることにより隣接情報を取得できる。図１０には、図８に示す画像から得られる隣接情報の一例を示す。例えば、スーパーピクセルＲ０１は、Ｒ０２、Ｒ０４、Ｒ０５と隣接するため、図１０に示すテーブルの対応する部分に、２領域が隣接することを示す情報として"○"を付与する。また、それ以外の領域とは隣接していないものとして"×"を付与する。なお、図１０に示すテーブルは、斜線を挟んで対象であるため、以降のステップでは斜線より上（あるいは下）の部分だけを参照する。

次に、ステップＳ５０３において、結合方法決定部１０５は、隣接する１組のスーパーピクセルのペアを選択する。本実施形態では、図１０に示すテーブルに基づき、領域ＩＤの順にスーパーピクセルのペアを順番に処理していく。具体的には、Ｒ０１とＲ０２、Ｒ０１とＲ０４、Ｒ０１とＲ０５、Ｒ０２とＲ０３、Ｒ０２とＲ０４・・・のように、図１０に示すテーブルの左上から右下に走査して"○"に該当するスーパーピクセルのペアを順番に選択していく。以降の説明では、本ステップで選択するスーパーピクセルのペアをそれぞれＳｐ−Ｇ１、Ｓｐ−Ｇ２と呼ぶことにする。

次に、ステップＳ５０４において、結合方法決定部１０５は、ステップＳ５０３で選択したスーパーピクセルのペアの各領域のサイズ、すなわち画素数に応じて次のステップで行う結合処理を決定するための区分けを行う。小さい領域からテクスチャ特徴を抽出してもノイズ等により安定した特徴量を得られないため、このような領域からは高次元で複雑な計算を要するテクスチャ特徴ではなく、処理が簡単な低次元の特徴量を用いて結合処理を行うようにする。

ステップＳ５０４では、Ｓｐ−Ｇ１の画素数をＳ１とし、Ｓｐ−Ｇ２の画素数をＳ２とし、閾値をＴ_hsとした場合に、以下の式（６）の条件を満たすか否かを判定する。この判定の結果、式（６）の条件を満たす場合にはステップＳ５０５に進み、そうでない場合にはステップＳ５０６に進む。
Ｓ１＞Ｔ_hs、かつＳ２＞Ｔ_hs ・・・（６）

ステップＳ５０５においては、ステップＳ５０３で選択したスーパーピクセルのペアについて、特徴抽出部１０４にて算出するＬＢＰヒストグラムに基づいて結合判定を行う。以下、図６のフローチャートを用いて処理の詳細を説明する。

図６は、図５のステップＳ５０５において、ＬＢＰヒストグラムに基づいて結合判定を行う詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、特徴抽出部１０４は、スーパーピクセル内の画像特徴としてＬＢＰ（Local Binary Pattern）コードを算出する。まず、注目画素とその隣接画素との画素値の差を調べ、差が負になる場合は"０"を割り当て、正になる場合は"１"を割り当てる。そして、所定の始点から回転するように当該"０，１"の列を取り出して８ビットの列として並べてコード化し、ＬＢＰコードを算出する。

図１１は、ＬＢＰコードの具体的な算出方法の一例を示す図である。図１１（Ａ）には、３×３からなる画素の画素値の一例を示し、図１１（Ｂ）には、注目画素を中央の画素として、隣接画素を注目画素との差に基づいて"０"または"１"に変換した結果を示す。本実施形態では、ＲＧＢ値を以下の式（７）により輝度値Ｙに変換した値を用いてＬＢＰコードを生成する。
Ｙ＝０．２９９×Ｒ＋０．５８７×０．１１４×Ｂ ・・・（７）

図１１（Ｂ）において、左上の画素を始点としてその下の画素を終点とし、図１１（Ｂ）に示す矢印の方向に０と１との列を取り出す。この結果、"０００１１１００"が図１１（Ａ）に示す画素に対するＬＢＰコードとなる。本ステップでは、ステップＳ５０５で選択した２つのスーパーピクセル内の全ての画素について、上記方法によりＬＢＰコードを算出する。

次に、ステップＳ６０２において、特徴抽出部１０４は、ステップＳ６０１で算出したＬＢＰコードに対応するスーパーピクセル内の画素数をカウントしてヒストグラムを生成する。以降、このヒストグラムをＬＢＰヒストグラムと呼ぶ。

図１２は、本実施形態におけるＬＢＰヒストグラムの一例を示す図である。本実施形態では、ＬＢＰコードとして８桁のバイナリコードを生成するため、ヒストグラムのビン数は２５６個（０から２５５まで）となる。図１２（Ａ）に示すＬＢＰヒストグラム１２０１は、各ビンに対する画素数を集計したものである。なお、以降のステップでは２つのスーパーピクセルのＬＢＰヒストグラムを比較するが、領域内の画素数がスーパーピクセル毎に異なるため、ヒストグラム値を画素数で正規化する必要がある。そこで、さらに図１２（Ｂ）に示す正規化後のＬＢＰヒストグラム１２０２を生成する。

次に、ステップＳ６０３において、結合方法決定部１０５は、ステップＳ６０２で生成した２つのスーパーピクセルのＬＢＰヒストグラムを比較し、これらのスーパーピクセルを結合するか否かを判定する。この判定は、特許文献１で示されるヒストグラムインターセクションを用いた方法で行うことができる。ヒストグラムインターセクションは、比較する２つのヒストグラムの各要素について、小さい方の値を採用し、この値について全ての要素に亘って和を求め、その和が大きければ類似度が高いと評価するものである。ｎ個のビンを含む一組のヒストグラムＩとＭとが与えられた場合のヒストグラムインターセクションに定義される類似度Ｖは次のように定義される。本実施形態では先に示した通りビン数が２５６個であるため、ｎ＝２５６として以下の式（８）を計算する。

次に、式（８）により算出した２つのスーパーピクセルの類似度Ｖを所定の閾値Ｔ_hvと比較する。類似度Ｖが閾値Ｔ_hv以上の場合は、２つのスーパーピクセルは類似するものとして、ステップＳ６０４に進む。一方、類似度Ｖが閾値未満の場合は、２つのスーパーピクセルは類似していないものとして結合処理を行わず、図５のステップＳ５０７に進む。

ステップＳ６０４においては、結合処理部１０６は、２つのスーパーピクセルを結合して新たな領域を生成する。この際、２つのスーパーピクセルの画素数を足し合わせた結果を新たな領域の画素数とする。また、新たな領域の領域ＩＤは前記２つのスーパーピクセルのどちらかを引き継ぐものとし、例えばサイズの大きい方のスーパーピクセルの領域ＩＤを引き継ぐようにする。また、ステップＳ６０１で求めた前記２つのスーパーピクセルに対応するＬＢＰコードに基づき、特徴抽出部１０４は、ステップＳ６０２で行った手順と同様に新たに生成された結合領域におけるＬＢＰヒストグラムを取得する。

図１３には、以上説明した方法により図８のＳｐ−Ｒ０１、Ｓｐ−Ｒ０２を結合処理した結果の例を示す。図１３に示す例では、Ｓｐ−Ｒ０１よりもＳｐ−Ｒ０２の領域のサイズが大きいため、新たに生成される結合領域のＩＤはＲ０２となる。なお、領域サイズ取得部１０３により、図９に示すテーブルは、結合処理により図１４に示すテーブルに更新され、同様に図１０に示すテーブルは、図１５に示すテーブルに更新される。ステップＳ６０４の処理が終わると、図５のステップＳ５０７に進む。

なお、本実施形態では、所定サイズ以上の領域の結合判定に、輝度値を用いたＬＢＰヒストグラムを使用したが、ＲＧＢ値に基づいたＬＢＰヒストグラムを生成するようにしてもよい。また、ＬＢＰ特徴以外に先に説明したガボール特徴や、テクスチャ特徴を表す複数のフィルターを組み合わせたテクストン特徴など、領域内のテクスチャ情報を表現できる特徴量であればどのようなものを用いてもよい。

図５の説明に戻り、ステップＳ５０６においては、ステップＳ５０３で選択した２つのスーパーピクセルのペアについて、色平均に基づいて結合判定を行う。以下、図７に示すフローチャートを用いて詳細を説明する。また、以下の説明では、図８のスーパーピクセルＲ０６、Ｒ０７（以降Ｓｐ−Ｒ０６、Ｓｐ−Ｒ０７と呼ぶ。）を結合判定の対象とする場合について説明する。

図７は、図５のステップＳ５０６において、色平均に基づいて結合判定を行う詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ７０１において、特徴抽出部１０４は、Ｓｐ−Ｒ０６、Ｓｐ−Ｒ０７における色平均をそれぞれ以下の式（９）により算出する。

ここで、Ａｒ、Ａｇ、ＡｂはＲ、Ｇ、Ｂ各色の平均値を表し、Ｐは注目するスーパーピクセル内の画素数を表す。また、Ｍは注目するスーパーピクセル内の全画素を表す集合を表し、Ｒｉ，Ｇｉ，Ｂｉは画素ｉのＲ、Ｇ、Ｂのそれぞれの値を表す。以下、Ｓｐ−Ｒ０６の色平均をＡｒ（Ｒ０６），Ａｇ（Ｒ０６），Ａｂ（Ｒ０６）とし、Ｓｐ−Ｒ０７の色平均をＡｒ（Ｒ０７），Ａｇ（Ｒ０７），Ａｂ（Ｒ０７）として説明する。

次に、ステップＳ７０２において、結合方法決定部１０５は、Ｓｐ−Ｒ０６、Ｓｐ−Ｒ０７の色平均の差Ｄｉｆ＿ｃを、以下の式（１０）により算出し、その結果を閾値Ｔ_hcと比較する。

この比較の結果、色平均の差Ｄｉｆ＿ｃが閾値Ｔ_hc未満である場合は、２つのスーパーピクセルは類似するものとしてステップＳ７０３に進む。一方、ステップＳ７０２の比較の結果、色平均の差Ｄｉｆ＿ｃが閾値以上である場合は、２つのスーパーピクセルは類似していないものとして結合処理をせず、図５のステップＳ５０７に進む。

前述の説明では、小さい領域の結合判定に色平均を用いているが、画素数の少ない領域に対して比較的安定した特徴量でかつ低次元のものであれば特に限定されるものではない。例えば、色の分散値や、領域境界のエッジ情報、領域内のエッジ強度平均値、分散値などを用いることができる。

ステップＳ７０３においては、結合処理部１０６は、２つのスーパーピクセルを結合して新たな領域を生成する。本ステップの処理は、ステップＳ６０４におけるＬＢＰヒストグラムを色平均に置き換えた点以外はステップＳ６０４と同様の処理となるため、説明は省略する。図１６には、図１３のＳｐ−Ｒ０６、Ｓｐ−Ｒ０７を結合処理した結果の例を示す。図１６に示す例では、Ｓｐ−Ｒ０７よりもＳｐ−Ｒ０６の領域のサイズの方が大きいため、新たに生成される領域の領域ＩＤはＲ０６となる。なお、領域サイズ取得部１０３により、図１４に示すテーブルは結合処理により図１７に示すテーブルに更新され、同様に図１５に示すテーブルは図１８に示すテーブルに更新される。ステップＳ７０３の処理が終わると、図５のステップＳ５０７に進む。

図５の説明に戻り、次に、ステップＳ５０７において、全てのスーパーピクセルのペアについて結合判定を行ったか否かを判定する。この判定の結果、未処理のスーパーピクセルのペアが残っている場合にはステップＳ５０３に戻り、全てのスーパーピクセルのペアを処理した場合には図２のステップＳ２０４に進む。

本実施形態では、全てのスーパーピクセルについて少なくとも１回の結合処理がなされたら処理を終了するような構成としている。一方、スーパーピクセルの画素数が所定値になるまでステップＳ５０３〜Ｓ５０７までの処理を繰り返すようにしてもよい。すなわち、結合領域に対して、さらに他のスーパーピクセルもしくは他の結合領域とで結合判定を行うようにしてもよい。この場合、処理回数は多くなってしまうが、結合領域として所定サイズ以上のものだけを取得できるため、後段の認識精度をより向上させることが可能となる。

以上のように本実施形態によれば、２つのスーパーピクセルを結合する際に、領域内の画素数に応じて結合処理を制御するようにした。これにより、小さい領域に対しては過剰な処理を行わず、それ以外の領域に対しては精度を重視した結合処理を行うことができる。このため、精度と処理速度とのバランスを保ちながら処理することが可能となり、結果として高精度にかつ簡単に領域の認識処理を行うことができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２ 領域分割部
１０３ 領域サイズ取得部
１０４ 特徴抽出部
１０５ 結合方法決定部
１０６ 結合処理部
１０７ 領域分類部

Claims (8)

1. 入力画像を類似画素からなる複数の領域に分割する分割手段と、
   前記分割手段によって分割された領域のサイズを取得する取得手段と、
   前記分割手段によって分割された領域のテクスチャ特徴又は色特徴を抽出する抽出手段と、
   前記取得手段によって取得された領域のサイズに基づいて、注目する隣接する領域を結合するか否かを、前記隣接する領域のいずれのサイズも所定の閾値より大きければテクスチャ特徴を用いて判定し、前記隣接する領域の少なくとも一方のサイズが前記所定の閾値以下であれば色特徴を用いて判定するように結合判定方法を決定する決定手段と、
   前記抽出手段によって抽出されたテクスチャ特徴又は色特徴に基づいて、前記決定手段により決定された結合判定方法により前記隣接する領域を結合するか否かを判定する判定手段と、
   前記決定手段により決定された結合判定方法によって前記判定手段により前記隣接する領域を結合すると判定された場合に、前記隣接する領域を結合する結合手段と、
   前記結合手段によって結合された領域の種別を分類する分類手段とを備えることを特徴とする画像処理装置。
2. 前記抽出手段は、前記取得手段によって取得された領域のサイズに応じて異なる特徴を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段は、前記領域のサイズが前記所定の閾値より大きい場合に、テクスチャ特徴を抽出することを特徴とする請求項２に記載の画像処理装置。
4. 前記テクスチャ特徴は、ＬＢＰ特徴、ガボール特徴、及びテクストン特徴のうちの少なくとも１つであることを特徴とする請求項３に記載の画像処理装置。
5. 前記結合手段により結合された領域のサイズが所定値より小さい場合に、
   前記取得手段は、前記結合された領域のサイズを取得し、
   前記抽出手段は、前記結合された領域の特徴を抽出し、
   前記決定手段は、前記結合された領域のサイズに基づいて隣接する領域を結合するか否かを判定する結合判定方法を決定し、
   前記判定手段は、前記決定手段により決定された結合判定方法により前記結合された領域と前記隣接する領域とを結合か否かを判定することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記抽出手段は、前記結合手段により結合された領域から、前記結合された領域の種別を分類するための領域分類特徴を抽出し、
   前記分類手段は、前記領域分類特徴に基づいて前記結合された領域の種別を分類することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 入力画像を類似画素からなる複数の領域に分割する分割工程と、
   前記分割工程において分割された領域のサイズを取得する取得工程と、
   前記分割工程において分割された領域のテクスチャ特徴又は色特徴を抽出する抽出工程と、
   前記取得工程において取得された領域のサイズに基づいて、注目する隣接する領域を結合するか否かを、前記隣接する領域のいずれのサイズも所定の閾値より大きければテクスチャ特徴を用いて判定し、前記隣接する領域の少なくとも一方のサイズが前記所定の閾値以下であれば色特徴を用いて判定するように結合判定方法を決定する決定工程と、
   前記抽出工程において抽出されたテクスチャ特徴又は色特徴に基づいて、前記決定工程により決定された結合判定方法により前記隣接する領域を結合するか否かを判定する判定工程と、
   前記決定工程において決定された結合判定方法によって前記判定工程において前記隣接する領域を結合すると判定された場合に、前記隣接する領域を結合する結合工程と、
   前記結合工程において結合された領域の種別を分類する分類工程とを備えることを特徴とする画像処理方法。
8. 入力画像を類似画素からなる複数の領域に分割する分割工程と、
   前記分割工程において分割された領域のサイズを取得する取得工程と、
   前記分割工程において分割された領域のテクスチャ特徴又は色特徴を抽出する抽出工程と、
   前記取得工程において取得された領域のサイズに基づいて、注目する隣接する領域を結合するか否かを、前記隣接する領域のいずれのサイズも所定の閾値より大きければテクスチャ特徴を用いて判定し、前記隣接する領域の少なくとも一方のサイズが前記所定の閾値以下であれば色特徴を用いて判定するように結合判定方法を決定する決定工程と、
   前記抽出工程において抽出されたテクスチャ特徴又は色特徴に基づいて、前記決定工程により決定された結合判定方法により前記隣接する領域を結合するか否かを判定する判定工程と、
   前記決定工程において決定された結合判定方法によって前記判定工程において前記隣接する領域を結合すると判定された場合に、前記隣接する領域を結合する結合工程と、
   前記結合工程において結合された領域の種別を分類する分類工程とをコンピュータに実行させるためのプログラム。

Images