JP6194260B2 - 画像分類装置、画像分類方法及び画像分類プログラム - Google Patents

Description

本発明は、教師データがなくとも画像に写る被写体の部分的な差異を自動検出し、検出した部分的な差異に基づく精細な画像カテゴリ分類を実現する画像分類装置、画像分類方法及び画像分類プログラムに関する。

デジタルカメラ、スマートホン等の携帯撮影デバイスの普及により、一個人が撮影するデジタル写真の枚数が急速に増大した。それに伴い、画像を利用したコミュニケーションが発達し、ＷＷＷ（World Wide Web）上には大量の画像が蓄積されている。

計算機上の画像は通常、ファイル名、作成日時や画像サイズの情報を用いた分類を行うことができる。しかし、目的の画像を探す場合等は、画像がいったい何を写しているのか、どのようなカテゴリの画像なのかといった情報が重要となる。ここでカテゴリとは、例えば、被撮影物体の種別を表す。ユーザが画像をカテゴリに分類するためには、人手によって付けられた文章によるタグによって行われることが一般的である。

また画像の特徴とカテゴリとの関係を計算機に学習させることで、画像を自動分類することも可能である。カテゴリ毎に画像の特徴を学習させるためには、学習用画像のカテゴリが既知である必要がある。従って学習用画像を用意するために、例えば予め目視で画像のカテゴリを判別しておく等、人手を必要とする。しかし、画像に対して１枚ずつ手作業で判別を行うことは、極めて手間のかかる作業である。さらに、世界中には膨大な数の物体があり、その種類は増え続けている。そのためあらゆる物体に対して、予め画像を収集し、目視でカテゴリを判別し、計算機によって学習を行うということは非常に困難である。

このように、近年のデジタル画像の作成や取得の容易化と比較し、画像のカテゴリ分類の自動化は困難であり、画像の内容に従った分類等、画像情報のみを用いた画像のカテゴリ分類が望まれている。

現在のところ、画像をカテゴリに分類する方法としては、例えば、テキストと画像で表現された情報に対して、テキストによって画像をカテゴリ情報毎に分類し、画像特徴量を用いて分類された画像をさらにグループ化する手法が知られている（例えば、特許文献１参照）。ここでカテゴリ情報は、予めカテゴリ分類したデータを学習データとして自動分類されたものであり、例えばＷＷＷ上の単語を利用して分類する。この手法の処理手順を以下に説明する。

（１）入力された文字列を取得する。
（２）取得した文字列が、例えば画像ファイル名やカテゴリ情報等、予め画像に関連付けられたテキスト情報中に存在する場合、文字列を関連テキスト情報に含む画像を取得し、関連テキストとして含むカテゴリ情報毎に分類する。
（３）関連テキストに含むカテゴリ情報毎に分類された画像群に対して、画像特徴量に基づいてグループ化する。ここで画像特徴とは、例えばＣｏｌｏｒ Ｈｉｓｔｏｇｒａｍを用いる。また画像特徴量に基づくグループ化の方法は、例えば、画像特徴量で、各画像間のユークリッド距離を求め、その距離に基づいて凝集法によりクラスタリングする。
（４）グループ化された画像を提示する。
以上により、カテゴリに分類された画像群を取得することができる。

この手法では、画像に付随するテキストやカテゴリ情報が既知でなくてはならない。しかし現在、ＷＷＷ、計算機、携帯電話等に蓄積されている画像全てがこれらの情報を持つわけではなく、画像情報のみから画像を分類することは、実用上大きな課題となっている。

画像情報のみから画像を分類する手法としては、例えば非特許文献１に記載があるＫ平均法等の、クラスタリング手法が知られている。クラスタリングは学習データを必要とせず、画像を類似したグループへ分類することができる。Ｋ平均法等のクラスタリング法によって画像を分類する手法には、例えば特許文献２に記載のものが知られている。この手法の処理手順を以下に説明する。

（１）画像データから特徴量を抽出する。抽出特徴量としては、例えば画像全体の色調、縦横比、輝度や色の分布状態、エッジの分布状態、平坦なエリアの分布状態等を用いる。
（２）複数の画像データから抽出した特徴量について互いの関連性を評価する。関連性とは、例えば、各々の画像データに関連付けられた特徴量ベクトル間の距離および角度の合計が小さいものを関連性大として評価する。
（３）取得した関連性を基に、画像データの特徴量によってクラスタリングを行う。クラスタリング手法については、公知の手法を用いる。
（４）クラスタリング結果を出力する。
以上により、学習データを用いることなく、画像を分類することができる。

しかしながら、この手法では、画像全体を特徴量ベクトルで記述し、この特徴量ベクトルに基づいてクラスタリングを実施することになるため、飽くまで画像全体の類似性を反映した分類結果しか得ることができない。すなわち、例えば図９に示すカテゴリ１とカテゴリ２のような、全体像が類似していながら、細部が異なるようなカテゴリを区別することが困難である。図９は、全体像が類似していながら細部が異なるようなカテゴリの例を示す図である。また、同じカテゴリに属する被写体であっても、サイズや画像中の位置の変化によって全体像の類似性が損なわれると、同じカテゴリであると判定することは難しい。カテゴリを区別するためには、カテゴリ間の差異を精細に検出し、差異に基づいてクラスタを生成する必要がある。

複数画像中の特徴的な細部を発見する手法としては、例えば非特許文献２に記載のある手法が知られる。この手法では、入力画像を、ＷＷＷから無造作に取得した画像と比較し、特徴的な細部を発見する。細部を発見後、発見した細部を、例えば非特許文献３に記載のある、ｂａｇ ｏｆ ｖｉｓｕａｌ ｗｏｒｄｓにおけるｖｉｓｕａｌ ｗｏｒｄｓとして用いる。そして、学習データをｖｉｓｕａｌ ｗｏｒｄｓに分解し、ｖｉｓｕａｌ ｗｏｒｄｓのヒストグラムを作成する。このヒストグラムを画像を表す特徴ベクトルとして、画像の分類を行う。従って、非特許文献２に記載の手法では、カテゴリ間の差異を検出する際には学習データが必要ないが、差異に基づいて画像を分類する際には学習データが必要となる。

特開２００６−３５０６５５号公報 特開２００１−２５６２４４号公報

Charles E.: Using the Triangle Inequality to Accelerate k-Means, 20th ICML, pp.147-153,2003. Saurabh S., Abhinav G. and Alexei A. Efros: Unsupervised Discovery of Mid-Level Discriminative Patches.In European Conference on Computer Vision,2012. Lazebnik, S., Schmid, C., Ponce, J.: Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories. In: CVPR, 2006.

このように、従来から、テキスト情報やカテゴリのラベルが付与された画像を収集し、画像の特徴を計算機に学習させることで、対象物ごとに画像を分類する手法が知られている。しかし、画像のみが蓄積されている場合には、予め目視でカテゴリを判定しておく等の人手が必要となり、実用上課題となる。特に、蓄積される画像が爆発的に増加している現在において、あらゆる画像に対して人手を介することは現実的ではなく、画像情報のみから画像を分類する手法が必要となる。

また、画像情報のみから画像を分類する手法であるクラスタリングは、画像全体の類似性を反映した分類結果しか得ることができない。すなわち、全体像が類似していながら、細部が異なるようなカテゴリを区別することが困難である。また、同じカテゴリに属する被写体であっても、サイズや画像中の位置の変化によって全体像の類似性が損なわれると、同じカテゴリであると判定することは難しい。カテゴリを区別するためには、カテゴリ間の差異を精細に検出し、差異に基づいてクラスタを生成する必要がある

本発明は、このような事情に鑑みてなされたもので、教師データがなくとも画像に写る被写体の部分的な差異を自動検出し、検出した部分的な差異に基づく精細な画像カテゴリ分類を実現する画像分類装置、画像分類方法及び画像分類プログラムを提供することを目的とする。

本発明は、画像の分類を行う画像分類装置であって、分類対象の入力画像から部分領域を算出する部分領域算出手段と、前記部分領域を分類対象画像を走査することにより前記部分領域の有無情報を取得する部分領域検出手段と、前記入力画像と部分領域をグループ化することにより前記入力画像のカテゴリを検出するカテゴリ分類手段とを備えることを特徴とする。

本発明は、前記部分領域算出手段は、前記入力画像を複数のデータセットに分割し、データセットに含まれる画像から特徴量を算出する手段と、前記データセットに含まれる画像から初期部分領域を生成し、前記初期部分領域をクラスタに分割する手段と、前記クラスタ毎にクラスタ識別器を生成し、他のデータセットに含まれる画像の部分領域へ各クラスタ識別器を適用した結果検出された部分領域を該クラスタに追加して新たなクラスタを生成して、該クラスタに含まれる前記部分領域を出力する手段とを備えることを特徴とする。

本発明は、前記部分領域検出手段は、前記部分領域毎に部分領域識別器を生成し、該部分領域識別器を用いて、前記入力画像に対してレスポンスマップを生成し、該レスポンスマップから、画像中に部分領域が存在するか否かを判定した結果に基づいて前記領域有無情報を取得することを特徴とする。

本発明は、前記カテゴリ分類手段は、前記入力画像と、前記部分領域と、前記入力画像中の部分領域の前記領域有無情報とを用いて、二部グラフを生成し、該二部グラフをグループ化することにより前記入力画像のカテゴリを検出することを特徴とする。

本発明は、画像の分類を行う画像分類装置が行う画像分類方法であって、分類対象の入力画像から部分領域を算出する部分領域算出ステップと、前記部分領域を分類対象画像を走査することにより前記部分領域の有無情報を取得する部分領域検出ステップと、前記入力画像と部分領域をグループ化することにより前記入力画像のカテゴリを検出するカテゴリ分類ステップとを有することを特徴とする。

本発明は、コンピュータを、前記画像分類装置として機能させるための画像分類プログラムである。

本発明によれば、入力画像に対して、画像情報のみから精度よくカテゴリを検出すると同時に、カテゴリに対して特徴的な部分領域を検出することができるという効果が得られる。例えば、ＷＷＷ上の通信販売における商品の詳細分類に利用できる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す画像分類装置の処理動作を示すフローチャートである。 図１に示す部分領域算出部６の処理動作を示すフローチャートである。 図１に示す部分領域検出部８の処理動作を示すフローチャートである。 レスポンスマップの一例を示す説明図である。 図１に示すカテゴリ分類部９の処理動作を示すフローチャートである。 生成した二部グラフの一例を示す説明図である。 二部グラフのグループ化の一例を示す説明図である。 全体像が類似していながら細部が異なるようなカテゴリの例を示す図である。

以下、図面を参照して、本発明の一実施形態による画像分類装置を説明する。図１は同実施形態の構成を示すブロック図である。この図に示すように、画像分類装置１は、画像入力部４と、画像記憶部５と、部分領域算出部６と、部分領域記憶部７と、部分領域検出部８と、カテゴリ分類部９と、出力部１０とを備える。

画像入力部４は、入力画像である画像２を入力して、画像記憶部５に記憶する。部分領域算出部６は、画像記憶部５に記憶されている画像を参照して部分領域を算出し、算出結果を部分領域記憶部７に記憶する。部分領域検出部８は、画像記憶部５に記憶されている画像と、部分領域記憶部７に記憶されている部分領域を読み込み、読み込んだ画像において、読み込んだ部分領域が存在するか否かを特定する。この特定した情報を領域有無情報と呼ぶ。カテゴリ分類部９は、読み込んだ画像と部分領域をノード、領域有無情報をリンクとする二部グラフとして表現される形でグループ化を行い、カテゴリを取得する。カテゴリは、グループ化された画像と部分領域を１個以上持つ。出力部１０は、カテゴリ分類部９で取得したカテゴリ３（グループ化された画像と部分領域）を出力する。

次に、図２を参照して、図１に示す画像分類装置の処理動作を説明する。図２は、図１に示す画像分類装置の処理動作を示すフローチャートである。まず、画像入力部４は、１枚以上の入力画像である画像２を取得し、画像記憶部５へ記憶する（ステップＳ１）。続いて、部分領域算出部６は、画像記憶部５に記憶されている全ての画像を読み込み、特徴的な部分領域を算出し、算出結果を部分領域記憶部７へ記憶する（ステップＳ２）。

次に、部分領域検出部８は、画像記憶部５に記憶されている画像と、部分領域記憶部７に記憶されている部分領域とを読み込み、画像中に部分領域が存在するかどうかを検出する（ステップＳ３）。続いて、カテゴリ分類部９は、画像、部分領域、領域有無情報の３つを用いて、同じ部分領域が共起する複数の画像を一つのカテゴリとしてグループ化する（ステップＳ４）。そして、出力部１０は、グループ化された画像と部分領域をカテゴリ３として出力する（ステップＳ５）。

次に、図３を参照して、図１に示す部分領域算出部６における動作を詳細に説明する。図３は、図１に示す部分領域算出部６の処理動作を示すフローチャートである。部分領域算出部６における部分領域算出処理は、非特許文献２を改良している。非特許文献２は、入力画像における特徴的な部分領域を算出する手法である。特徴的な部分領域とは、非特許文献２では、十分頻繁に現れ、かつ他の領域と十分に異なる部分領域としている。非特許文献２では、入力画像における特徴的な部分領域を算出するための比較対象として、ＷＷＷ上から無作為に抽出した多量の画像データを用いている。

そのため、入力画像に加えて多量のデータが必要となる。そして、無作為に抽出した画像との比較において特徴的な部分領域を算出するため、物体の全体像が類似した画像を入力画像とした場合には、カテゴリを分ける微細な個所を捉えることができず、誤ってカテゴリを検出してしまう恐れがあった。そのため部分領域算出部６においては、入力画像データセットに対する比較対象として、入力画像データセット自身を用いる。この改良によれば、入力として必要とする画像数を大きく削減することができる、物体の全体像が類似した画像であっても、その精細な差異を検出することができる。

まず、部分領域算出部６は、Ｘ枚の画像をＩ個の重複のない画像の集合（データセット）Ｄ１、Ｄ２、…、ＤＩに分割する（ステップＳ２１）。ここで、分割数Ｉは１以上Ｘ以下の任意の自然数を用いてよいが、例えば２などとしてもよい。簡単のため、以降では分割数Ｉ＝２であるとして説明を行う。

次に、部分領域算出部６は、データセットＤｉについて、Ｄｉの全ての画像に対して特徴量を算出する（ステップＳ２２）。ｉは１以上Ｉ以下の任意の自然数とする。画像から算出する特徴量としては、例えば、文献１に記載のＳＩＦＴ（Scale Invariant Feature Transform）、ＧＬＯＨ（Gradient Location and Orientation Histogram）、ＰＣＡ−ＳＩＦＴ、ＳＵＲＦ（Speeded Up Robust Features）や、文献２に記載のＨＯＧ（Histograms of Oriented Gradients）等を用いることができる。
文献１「本道貴行，黄瀬浩一，“大規模画像認識のための局所特徴量の性能比較”，画像の認識・理解シンポジウム（ＭＩＲＵ２００８）論文集，ＩＳ５−６，ｐｐ．５５０−５５５，２００８．」
文献２「Dalal N., Triggs B.: Histograms of oriented gradients for human detection.In CVPR,2005.」

以降では、画像から算出する特徴量にはＨＯＧを用いるものとして説明する。これにより、画像はそれぞれ、例えば４０９６次元の実数値ベクトルとして表現できる。また、４０９６次元の実数値ベクトルはＤｉの要素数だけ作成されることになる。

次に、部分領域算出部６は、Ｄｉの全ての画像から初期部分領域を生成する（ステップＳ２３）。初期部分領域の生成は、ランダムに行えばよい。この場合、例えば、任意の大きさの長方形を画像に対して１ピクセルずつずらしながら当てはめ、順に一様乱数の確率で、部分領域として生成すればよい。各部分領域は、ステップＳ２２で用いた特徴量で表現することにする。例えばＤｉの画像群を前述の特徴量（４０９６次元実数値ベクトル）で表現する場合、画像群が部分領域を１００００含むときは、４０９６×１００００の実数値の行列形式で部分領域の集合を表すことができる。抽出する初期部分領域の数は１画像当たり１５０くらいあればよい。

次に、部分領域算出部６は、初期部分領域をクラスタリングし、初期クラスタを生成する（ステップＳ２４）。ここで用いるクラスタリング手法は公知の手法が適用でき、例えば非特許文献２のＫ平均法を用いることができる。この場合、初期クラスタがＫ個生成される。クラスタ数Ｋの決定は、例えば、１以上の任意の自然数、事前の検証を行い良好な結果が得られた値等を設定すればよい。また、例えば特徴量が４０９６次元実数値ベクトル、部分領域を１００含むクラスタを、４０９６×１００の実数値の行列形式で表すこともできる。

次に、部分領域算出部６は、クラスタに含まれる部分領域数が一定数以下のクラスタを削除する（ステップＳ２５）。ここで、一定数とは１以上の自然数を用いることができる。

次に、部分領域算出部６は、クラスタ毎に学習し各クラスタ識別器を生成する（ステップＳ２６）。クラスタ識別器は１つのクラスタに対して１つ用意する。クラスタ識別器は、クラスタに含まれる部分領域の特徴量（正例）と、クラスタに含まれない全ての部分領域の特徴量（負例）との関係を学習することによって生成する。クラスタ識別器としては、例えばＳＶＭ（Support Vector Machine）を用いればよい。

次に、部分領域算出部６は、他のデータセットに含まれる画像の部分領域へ各クラスタ識別器を適用し、その結果検出された部分領域を当該クラスタに追加して新たなクラスタを生成する（ステップＳ２７）。ステップＳ２７では、データセットＤｉ＋１を用いてクラスタを再生成する。ただし、ｉがＩである場合には、Ｄｉ＋１をＤ１とする。ステップＳ２６で生成した各クラスタ識別器によって、データセットＤｉ＋１の全画像から部分領域の検出を行う。

検出は、画像に対してＴ種類の任意の大きさの長方形をずらしながら当てはめ、各長方形領域から抽出した特徴量に対してクラスタ識別器によって識別する。クラスタ識別器毎に得られた長方形領域を、部分領域として新たにクラスタに追加する。検出した部分領域すべてを用いて新たなクラスタを生成してもよい。また、これらの部分領域は、ステップＳ２６で用いたクラスタ識別器、例えばＳＶＭの識別スコアを持つ。そこで、スコア上位ｍ個の部分領域のみを新たなクラスタに追加しクラスタを生成することもできる。ここで、ｍは１以上の自然数とする。

次に、部分領域算出部６は、クラスタが収束したか否かの判定を行う（ステップＳ２８）。クラスタが収束したとは、クラスタに含まれる要素に変動がないような状態になることであり、クラスタの収束条件としては、例えば１以上の任意の自然数ｊに対して、繰り返しがｊ回行われる、クラスタのスコア上位ｊ個の部分領域に変動がないなどとすればよい。クラスタが収束している場合、ステップＳ２９へ進む。それ以外の場合、ｉの値を１増加させてステップＳ２５へ戻り処理を繰り返す。ただし、ｉがＩの場合にはｉ＝１とする。

次に、部分領域算出部６は、各クラスタに含まれる部分領域を出力する（ステップＳ２９）。出力する部分領域は、例えば、各クラスタに含まれる全ての部分領域、各クラスタから代表する１個の部分領域（例えば、識別スコアが最も高い部分領域）とすればよい。

次に、図４を参照して、図１に示す部分領域検出部８における動作を詳細に説明する。図４は、図１に示す部分領域検出部８の処理動作を示すフローチャートである。まず、部分領域検出部８は、部分領域毎に学習して部分領域識別器を生成する（ステップＳ３１）。部分領域識別器は、１つの部分領域に対して１つ用意される。部分領域識別器は、例えば、識別する対象の部分領域から抽出した特徴量（正例）と、識別対象である部分領域を除くすべての部分領域から抽出した特徴量（負例）との関係を学習することによって生成することができる。学習器としては、例えば文献３に記載のＥｘｅｍｐｌａｒ ＳＶＭを用いることができる。
文献３「Tomasz M., Abhinav G., Alexei A. Efros.: Ensemble ofExemplar-SVMs for Object Detection and Beyond. In ICCV, 2011.」

次に、部分領域検出部８は、全ての画像に対して、各部分領域がどの程度反応するかを識別し、レスポンスマップを生成する（ステップＳ３２）。レスポンスマップとは、次のようにして画像ごとに生成されるマップである。まず、画像に対してＵ種類の任意の大きさの長方形をずらしながら当てはめ、各長方形領域から抽出した特徴量を取得する。Ｕは１以上の自然数とする。次に、抽出した特徴量を部分領域識別器によって識別する。識別の結果、上記長方形を当てはめた領域に対して、識別器の学習に用いた識別器、例えばＥｘｅｍｐｌａｒ ＳＶＭのスコアが付与される。この長方形領域に対するスコアを抽出元の画像に当てはめることで、レスポンスマップが生成できる。レスポンスマップの例を、図５に示す。図５は、レスポンスマップの一例を示す説明図である。１枚の画像に対して生成されるレスポンスマップの数は、Ｕ×部分領域数となる。

次に、部分領域検出部８は、生成したレスポンスマップから、画像中に部分領域が存在するかどうかを判定し、領域有無情報を出力する（ステップＳ３３）。１枚の画像と１個の部分領域との関係に対して、Ｕ枚のレスポンスマップを入力として、判定を行うことにより領域有無情報を出力する。判定は、例えば、レスポンスマップのスコアが任意の一定値以上の場合に、部分領域が画像中に存在するとし、それ以外の場合には存在しないとすることができる。また、文献４に記載のＮｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎを用いて判定を行うこともできる。
文献４「Neubeck A., Van L. Gool: Efficient non-maximum suppression, in: ICPR, 2006.」

次に、図６を参照して、図１に示すカテゴリ分類部９における動作を詳細に説明する。図６は、図１に示すカテゴリ分類部９の処理動作を示すフローチャートである。まず、カテゴリ分類部９は、画像、部分領域と画像中の部分領域の領域有無情報を用いて、二部グラフを生成する（ステップＳ４１）。三者の関係性はグラフ表現ではなくても表現することは可能であり、例えば有無情報を０、１とした特徴ベクトル、部分領域の個数からなる特徴ベクトルを用いることができる。簡単のため、以降では二部グラフ表現を選択したものとして説明する。図７は、生成した二部グラフの一例を示す説明図である。二部グラフは、頂点集合を二つの部分集合Ａ、Ｂに分割し、全ての辺はＡの頂点とＢの頂点を結ぶグラフである。例えば、画像、部分領域をＡ、Ｂとし、画像中に部分領域が存在する場合に、対応する頂点間を辺で結ぶグラフを生成することができる。

次に、カテゴリ分類部９は、同じ部分領域が共起する複数の画像を一つのカテゴリとしてグループ化する（ステップＳ４２）。すなわち二部グラフのグループ化を行う。図８は、二部グラフのグループ化の一例を示す説明図である。グループ化は、例えば、それぞれ文献５、６、７に記載のＳｐｅｃｔｒａｌ Ｃｏ−ｃｌｕｓｔｅｒｉｎｇ、Ｂａｙｅｓｉａｎ Ｃｏ−ｃｌｕｓｔｅｒｉｎｇ、Ｉｎｆｏｒｍａｔｉｏｎ−Ｔｈｅｏｒｅｔｉｃａｌ Ｃｏ−ｃｌｕｓｔｅｒｉｎｇ等を用いることができる。
文献５「Dhillon S.:Co-clustering documents and words using bipartite spectral graph partitioning. In Proceedings of the 7th International Conference on Knowledge Discovery and Data Mining, pp.269-274, 2001.」
文献６「Shan H., Banerjee A.: Bayesian co-clustering. IEEE International Conference on Data Mining, 2008.」
文献７「Dhillon S., Mallela S., and Modha S.: Information-Theoretical Coclustering, Proc. Ninth ACM SIGKDD Int‘l Conf.Knowledge Discovery and Data Mining, pp. 89-98, 2003.」

クラスタ数Ｃの決定には、例えば、２以上の任意の自然数を設定すればよい。また、多くの画像中に存在する部分領域は、どのような画像に対しても頻出する部分領域であって、画像をカテゴリに分類できるほど特徴的ではない可能性が高い。そこで、Ｍ以上の画像との間に辺がある部分領域を除いてもよい。ここで、Ｍは、例えば、０以上の任意の実数αに対してα×Ｃ／｜Ａ｜、等とすればよい。

以上説明したように、画像を分類する際に、複数の画像に一定数出現する部分領域を抽出したうえで、この部分領域をある画像が含むか含まないかの関係に基づいて画像と部分領域の組としてカテゴライズするようにした。この構成により、特徴的な部分領域に基づく形での画像分類を可能とし、結果画像に関連するテキストやカテゴリを示すラベルの付与を不要とすることができる。

前述した実施形態における画像分類装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

本発明は、ＷＷＷ上の画像を検索する際の表示画像分類技術に適用可能である。

１…画像分類装置、２…画像、３…グループ化された画像と部分領域（カテゴリ）、４…画像入力部、５…画像記憶部、６…部分領域算出部、７…部分領域記憶部、８…部分領域検出部、９…カテゴリ分類部、１０…出力部

Claims (7)

1. 画像の分類を行う画像分類装置であって、
   分類対象の入力画像から部分領域を算出する部分領域算出手段と、
   前記部分領域を分類対象画像を走査することにより前記部分領域の領域有無情報を取得する部分領域検出手段と、
   前記入力画像と部分領域をグループ化することにより前記入力画像のカテゴリを検出するカテゴリ分類手段と
   を備え、
   前記部分領域算出手段は、
   前記入力画像を複数の入力画像データセットに分割し、前記入力画像データセットに含まれる画像から特徴量を算出する手段と、
   前記入力画像データセットに含まれる画像から初期部分領域を生成し、前記初期部分領域をクラスタに分割する手段と、
   前記クラスタ毎にクラスタ識別器を生成し、他の入力画像データセットに含まれる画像の部分領域へ各クラスタ識別器を適用した結果検出された部分領域を該クラスタに追加して新たなクラスタを生成して、該クラスタに含まれる前記部分領域を出力する手段と
   を備えることを特徴とする画像分類装置。
2. 画像の分類を行う画像分類装置であって、
   分類対象の入力画像から部分領域を算出する部分領域算出手段と、
   前記部分領域を分類対象画像を走査することにより前記部分領域の領域有無情報を取得する部分領域検出手段と、
   前記入力画像と部分領域をグループ化することにより前記入力画像のカテゴリを検出するカテゴリ分類手段と
   を備え、
   前記部分領域検出手段は、前記部分領域毎に部分領域識別器を生成し、該部分領域識別器を用いて、前記入力画像に対して前記部分領域数に応じたレスポンスマップを生成し、該レスポンスマップから、画像中に部分領域が存在するか否かを判定した結果に基づいて前記領域有無情報を取得することを特徴とする画像分類装置。
3. 画像の分類を行う画像分類装置であって、
   分類対象の入力画像から部分領域を算出する部分領域算出手段と、
   前記部分領域を分類対象画像を走査することにより前記部分領域の領域有無情報を取得する部分領域検出手段と、
   前記入力画像と部分領域をグループ化することにより前記入力画像のカテゴリを検出するカテゴリ分類手段と
   を備え、
   前記カテゴリ分類手段は、前記入力画像と、前記部分領域と、前記入力画像中の部分領域の前記領域有無情報とを用いて、二部グラフを生成し、該二部グラフをグループ化することにより前記入力画像のカテゴリを検出することを特徴とする画像分類装置。
4. 画像の分類を行う画像分類装置が行う画像分類方法であって、
   分類対象の入力画像から部分領域を算出する部分領域算出ステップと、
   前記部分領域を分類対象画像を走査することにより前記部分領域の領域有無情報を取得する部分領域検出ステップと、
   前記入力画像と部分領域をグループ化することにより前記入力画像のカテゴリを検出するカテゴリ分類ステップと
   を有し、
   前記部分領域算出ステップは、
   前記入力画像を複数の入力画像データセットに分割し、前記入力画像データセットに含まれる画像から特徴量を算出するステップと、
   前記入力画像データセットに含まれる画像から初期部分領域を生成し、前記初期部分領域をクラスタに分割するステップと、
   前記クラスタ毎にクラスタ識別器を生成し、他の入力画像データセットに含まれる画像の部分領域へ各クラスタ識別器を適用した結果検出された部分領域を該クラスタに追加して新たなクラスタを生成して、該クラスタに含まれる前記部分領域を出力するステップと
   を有することを特徴とする画像分類方法。
5. 画像の分類を行う画像分類装置が行う画像分類方法であって、
   分類対象の入力画像から部分領域を算出する部分領域算出ステップと、
   前記部分領域を分類対象画像を走査することにより前記部分領域の領域有無情報を取得する部分領域検出ステップと、
   前記入力画像と部分領域をグループ化することにより前記入力画像のカテゴリを検出するカテゴリ分類ステップと
   を有し、
   前記部分領域検出ステップは、前記部分領域毎に部分領域識別器を生成し、該部分領域識別器を用いて、前記入力画像に対して前記部分領域数に応じたレスポンスマップを生成し、該レスポンスマップから、画像中に部分領域が存在するか否かを判定した結果に基づいて前記領域有無情報を取得
   することを特徴とする画像分類方法。
6. 画像の分類を行う画像分類装置が行う画像分類方法であって、
   分類対象の入力画像から部分領域を算出する部分領域算出ステップと、
   前記部分領域を分類対象画像を走査することにより前記部分領域の領域有無情報を取得する部分領域検出ステップと、
   前記入力画像と部分領域をグループ化することにより前記入力画像のカテゴリを検出するカテゴリ分類ステップと
   を有し、
   前記カテゴリ分類ステップは、前記入力画像と、前記部分領域と、前記入力画像中の部分領域の前記領域有無情報とを用いて、二部グラフを生成し、該二部グラフをグループ化することにより前記入力画像のカテゴリを検出することを特徴とする画像分類方法。
   
7. コンピュータを、請求項1から３のいずれか１項に記載の画像分類装置として機能させるための画像分類プログラム。

Images