JP5890340B2 - 画像分類装置及び画像分類プログラム - Google Patents

Description

本発明は、画像の分類を行う画像分類装置及び画像分類プログラムに関する。

従来の画像分類技術は大きく２つに分けることができる。１つは画像特徴に基づく画像認識技術を用いて予め画像にタグづけをして、そのタグをもとに分類する、タグベースの分類である。もう一つはユーザの意図を反映するｒｅｌｅｖａｎｃｅ ｆｅｅｄｂａｃｋに基づく方法である。以下に、それぞれについて概要を説明する。

画像特徴を用いた分類手法として、例えば非特許文献１などに示される手法がある。この手法では、画像の特徴量から、画像に含まれる複数の物体を認識し、画像に複数のタグを付与する。そして、このタグに基づいて画像を分類する。この方法は予め画像識別手法を用いて付与されたタグに基づいて分類するため、分類基準としては、同一の組み合わせのタグを含む画像を同じカテゴリにするなど、一般の画像検索の手法を適用することになる。検索結果へのユーザの意図の反映方法としては、タグをテキストで入力するか、画像クエリとして入力するかの方法がある。ただし、テキストの場合、ユーザの考えているイメージと一致する単語がないなどの問題が生じる場合がある。また、画像クエリの場合、ユーザのイメージする画像から得られる画像特徴が、検索されるべき画像候補から得られる画像特徴と必ずしも一致せずうまく検索されない場合がある。

一方、画像特徴を用いた分類にユーザの意図を反映する手法として、例えば非特許文献２の手法がある。この手法では、クエリに対する出力結果にユーザの意図を反映するｒｅｌｅｖａｎｃｅ ｆｅｅｄｂａｃｋを行う。そして、複数のＬｏｗ−Ｌｅｖｅｌな特徴量（例えば、ＲＧＢ Ｃｏｌｏｒ Ｈｉｓｔｏｇｒａｍ、Ｅｄｇｅ Ｈｉｓｔｏｇｒａｍ、ウェーブレット係数の絶対値の平均と標準偏差）に対する重みづけを更新することで分類結果をユーザの意図に近づける。この手法では、ユーザの画像に対する印象がＬｏｗ−Ｌｅｖｅｌな特徴量の予め定義された組み合わせで十分に表現できる場合には有効である。しかし、ユーザの画像に対する分類基準が、“物体の有無”や“物体同士の配置関係”など物体やその共起関係に依存する場合、フィードバックの効果が得られない可能性がある。また、予め定義された特徴量によるフィードバックでは、カテゴリごとにユーザに入力を要求する必要がある。

G.Csurka, C.R.Dance, L.Fan, J.Willamowski and C.Bray, "Visual Categorization with Bags of Keypoints," In Workshop on Statistical Learning in Computer Vision, ECCV,pp1-22,2004 G.Ciocca, C.Cusano and R.Schettini, "Semantic Classification, Low Level Features and Relevance Feedback for Content-Based Image Retrieval", Proc. SPIE-IS/T, Vol. 7255, 2012.

このように、Ｌｏｗ−Ｌｅｖｅｌな特徴量を用いて予め分類基準を定めておく方法では、画像の特徴表現や画像中のオブジェクトとユーザの分類目的・意図との関連性を確定できない。タグベースの分類では、画像辞書を用いて機械学習手法を基に自動的にタグを付与するが、付与するタグ（カテゴリ）が固定されている。両手法とも分類基準は画一的になり、変化するユーザの分類目的・意図を反映できないという問題がある。

またフィードバックを利用した従来の分類手法は、単一のカテゴリに対する分類には有効な場合もあるが、他カテゴリへ拡張を行う際には、カテゴリ毎にユーザへフィードバックを要求する必要がある。そのため、分類の階層が多く複数のカテゴリが潜在的に存在するようなユーザ画像データベースの場合には、ユーザへの負担が大きいという問題もある。

本発明は、このような事情に鑑みてなされたもので、ユーザの負担を軽減しつつ、直接ユーザのフィードバックがないカテゴリについて自動的に分類規則を生成することにより、ユーザの分類意図を動的に反映した画像分類を行うことができる画像分類装置及び画像分類プログラムを提供することを目的とする。

本発明は、画像をクラスタに分類する画像分類装置であって、初期の分類基準に従い分類した所定のクラスタに含まれる画像を、当該クラスタを更に分類したクラスタに移動する分割指示、または分類済みの前記クラスタに画像を追加する統合指示を入力する修正指示入力手段と、前記分割指示または前記統合指示に基づいて前記クラスタを修正するクラスタ修正手段と、修正された前記クラスタに含まれる画像の共起関係を分類基準として推定する分類基準推定手段と、推定した前記分類基準に従い前記分割指示または前記統合指示の対象とならなかったクラスタを再構成するクラスタ再構成手段とを備えることを特徴とする。

本発明は、前記分類基準推定手段は、前記クラスタに含まれる画像の前景となる物体領域の特徴量の分布、または前記クラスタに含まれる画像群の特徴量の分布に極値が存在する場合に共起関係があると推定することを特徴とする。

本発明は、前記クラスタ再構成手段は、前記分割指示に従い前記クラスタを分割した場合には、推定した前記分類基準を前記分割指示の対象となったクラスタと同じ階層にあるクラスタについて適用して再構成することを特徴とする。

本発明は、コンピュータを、前記画像分類装置として機能させるための画像分類プログラムである。

本発明によれば、ユーザの負担を軽減しつつ、直接ユーザのフィードバックがないカテゴリについて自動的に分類規則を生成することにより、ユーザの分類意図を反映した画像分類を行うことができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す画像分類装置の処理動作を示すフローチャートである。 特徴空間におけるクラスタ分けを示す説明図である。 中間処理の結果の例を示す説明図である。 クラスタの統合・分割を行うことで修正する動作を示す説明図である。 クラスタの階層構造と適用範囲を示す説明図である。

以下、図面を参照して、本発明の一実施形態による画像分類装置を説明する。図１は同実施形態の構成を示すブロック図である。コンピュータ装置によって構成する画像分類装置は、画像入力部１、初期クラスタ生成部２、ユーザインタフェース部３、分類基準推定部４、クラスタ再構成部５及び自動分類結果記憶部６を備える。ユーザ画像群記憶部７には、分類対象の複数の画像が記憶されている。また、ユーザインタフェース部３には、ディスプレイ装置からなる表示装置３１と、マウスやタッチパネル等からなる入力装置３２が接続されている。

画像入力部１は、ユーザ画像群記憶部７から分類対象の画像群を入力し、初期クラスタ生成部２へ出力する。初期クラスタ生成部２は、画像入力部１から画像群が入力されると、予め定義した分類基準で画像群をクラスタリングする（分類する）。初期クラスタ生成部２は、クラスタリング結果をユーザインタフェース部３へ出力する。ユーザインタフェース部３は、初期クラスタ生成部２もしくは自動分類結果記憶部６からクラスタリング結果が入力されると、表示装置３１を使用して分類結果をユーザに提示する。ユーザインタフェース部３は、入力装置３２から入力されたユーザ指示を基にクラスタの統合・分割処理を行い、クラスタリング結果の修正を行う。ユーザインタフェース部３は、ユーザが修正したクラスタリング結果を、分類基準推定部４へ出力する。

分類基準推定部４は、ユーザが修正したクラスタリング結果に基づいて、画像群の共起関係を推定する。分類基準推定部４は、推定した画像群の共起関係をクラスタ再構成部５に出力する。クラスタ再構成部５は、分類基準推定部４から共起関係が入力されると、ユーザ未修正のクラスタに対して、共起関係に基づきクラスタを統合・分割することでユーザの意図を反映したクラスタに再構成する。クラスタ再構成部５は、再構成したクラスタを自動分類結果記憶部６に記憶する。

次に、図２、図３を参照して、図１に示す画像分類装置の処理動作を説明する。図２は、図１に示す画像分類装置の処理動作を示すフローチャートである。まず、画像入力部１は、ユーザ画像群記憶部７から画像群を入力し、初期クラスタ生成部へ出力する（ステップＳ１）。続いて、初期クラスタ生成部２は、画像入力部１から出力された画像群を、初期分類基準に基づき初期クラスタを生成し、ユーザインタフェース部３に出力する（ステップＳ２）。ここで初期分類基準について、例えばタグベース・Ｌｏｗ−Ｌｅｖｅｌな特徴量に基づく分類手法などを使ってもよい。初期分類の目的は、ユーザに対して分類基準の想起を促すヒントを提示することである。図３は、特徴空間におけるクラスタ分けを示す説明図である。図４は、中間処理の結果の例を示す説明図である。例えば、特徴空間において、画像のそれぞれから抽出した特徴から「海」というクラスタ（Ｃ１）と、「山」というクラスタ（Ｃ２）を生成した場合は、図３（ａ）に示すようにクラスタリングされることになる。

次に、ユーザインタフェース部３は、初期クラスタ生成部２もしくは自動分類結果記憶部６からクラスタリング結果が入力されると、その結果を表示装置３１に表示することにより、クラスタリング結果をユーザに提示し、ユーザの意図を満たすか否かを確認する（ステップ３１）。図４は、クラスタリング結果を示す図である。表示装置３１には、図４（ａ）に示すように、「海」の画像がクラスタＣ１、「山」の画像がクラスタＣ２として表示されることになる。ユーザは、表示装置３１に表示されたクラスタリング結果を見て自身の意図を満たしたクラスタリング結果であるかを確認する。そして、ユーザが入力装置３２を操作して、提示された結果を了承した場合は処理を終了する。

一方、ユーザは、提示された結果に了承しない場合、入力装置３２（マウスやタッチパネル等）を使用して結果に対してクラスタの統合・分割を行うことで修正する。ユーザインタフェース部３はクラスタリングの修正結果を分類基準推定部４へ出力する（ステップＳ３２、図４（ｂ））。図４（ｂ）は、ユーザの操作によってクラスタＣ１を昼間の画像であるクラスタＣ１１と、夜間の画像であるクラスタＣ１２に分けた場合の例を示している。

ここで、図５を参照して、クラスタの統合・分割を行うことでクラスタリング結果を修正する動作を説明する。ユーザは、入力装置３２を操作（クリックまたはタッチ）して、画像を所定のクラスタ（ここでは、クラスタＡ）に含めることにより統合を行う（図５（ａ））。また、ユーザは、入力装置３２を操作して、画像群を閉曲線で囲み、所定のクラスタ（ここでは、クラスタＡに含めることで統合を行う（図５（ｂ））。また、ユーザは、入力装置３２を操作して、画像を所定のクラスタ（ここでは、クラスタＡ）から外し、別のクラスタ（ここでは、クラスタＡ’）へ移動することにより分割を行う（図５（ｃ））。さらに、ユーザは、入力装置３２を操作して、画像群を閉曲線で囲み、画像を所定のクラスタ（ここでは、クラスタＡ）から外し、別のクラスタ（ここでは、クラスタＡ’）へ移動することにより分割を行う（図５（ｄ））。

図２に戻り、次に、分類基準推定部４は、ユーザインタフェース部３から修正結果が入力されると、ユーザが修正したクラスタにおける画像群の共起関係を推定し、ユーザの分類基準として抽出し、クラスタ再構成部へ出力する（ステップＳ４）。ここで共起関係の推定方法について説明する。例えば前景となる物体領域を抽出し、物体領域のみの特徴量分布を各画像間で比較してもよい。物体領域の抽出にはサリエンシーマップなどを用いることができる。もしくは、物体領域の抽出において、画像全体に対して複数の特徴量を抽出してもよい。また、特徴空間において、判別分析を用いることにより、新しいクラスタ分割基準の軸を推定するようにしてもよい。図３（ｂ）は、図３（ａ）に示すクラスタＣ１に対して、判別分析を用いて、新しいクラスタ（Ｃ１１、Ｃ１２）の分割基準の軸を推定してクラスタリングした例を示している。このように、ある特徴空間において極値をもつ特徴量が、そのクラスタをよく表す（ユーザの意図を捉えた）特徴量であるため、クラスタの分類基準として規定できる。

１つの基準として特徴量、たとえば輝度値に注目すると、図４（ｂ）に示すクラスタＣ１１は昼間の画像、クラスタＣ１２は夜間の画像と推定することができる。この時、昼間の画像と、夜間の画像の輝度値を計算すると、前者は輝度値が高く、後者は輝度値が低くなる。すなわち、各クラスタにおける輝度値に極値が存在し、前述のユーザの意図を捉えた特徴であると考えられる。ここで前者の最低値と後者の最高値の差分がユーザの分類基準として抽出することができる。また他の基準として物体に注目すると、図４（ｂ）に示すクラスタＣ１１は人を含む画像群、クラスタＣ１２は人を含まない画像群と推定でき、人の有無がユーザの分類基準となる。

次に、クラスタ再構成部５は、分類基準推定部４から共起関係の情報が入力されると、ユーザ未修正のクラスタに対して、入力された共起関係の情報に基づきクラスタの統合・分割を行い、クラスタの再構成を行う。そして、クラスタ再構成部５は、再構成したクラスタリング結果を自動分類結果記憶部６に記憶する（ステップＳ５）。クラスタ再構成部５は、クラスタの再構成の際に、例えば、特徴量として輝度値に注目して、ユーザ未修正の他クラスタの画像群に対して輝度値を求める。そして、クラスタ再構成部５は、最大輝度値と最小輝度値の差分が分類基準より大きければ、最大輝度値を持つ画像と最小輝度値を持つ画像を新たな２つのクラスタに分類する。続いて、クラスタ再構成部５は、選んだ２つの画像を除いた画像群に対して同様のクラスタ再構成処理を行い、分類基準を満たさなくなるまで繰り返す。分類基準を満たさなくなった時点で未分類の画像は、その他のクラスタとして新たなクラスタにまとめる。

また、別の例として、クラスタ再構成部５は、画像中の物体に注目すれば人がいるクラスタと、いないクラスタとに分割することができる。図３（ｃ）に示すように、図３（ａ）のクラスタＣ２を新しい分割基準（画像中に人がいる、いない）の軸に投影すると、分布が二つの山になるため、クラスタＣ２をクラスタＣ２１とクラスタＣ２２に分割することができる。このクラスタ再構成によって、図４（ｃ）に示すように、クラスタＣ２は、画像中に人物がいるクラスタＣ２１と、画像中に人がいないクラスタＣ２２に分割することができる。

次に、ユーザインタフェース部３は、再構成後のクラスタリング結果を自動分類結果記憶部６から読み出し、表示装置３１に表示して、ユーザの了承が得られるまでステップＳ３１、Ｓ３２、Ｓ４、Ｓ５の処理を繰り返す。

次に、分類基準推定部４が推定した分類基準を他の画像群に対して適用する際の適用範囲について説明する。図６はクラスタの階層構造と適用範囲を示す説明図である。クラスタリングした後のクラスタは、図６（ａ）に示すように、階層構造を持っている（図６（ａ）に示す例では４階層）。そのため、分類基準の適用範囲は限定されることになる。例えば、図６（ｂ）に示す「Ｃｉｔｙ」クラスタをユーザの操作によってサブクラスタＡとサブクラスタＢに分けたとする。ここで分類基準推定部４は、分類基準を推定する。ここで得られた推定分類基準は「Ｃｉｔｙ」クラスタと同じ親（「Ｏｕｔｄｏｏｒ」クラスタ）を持つ「Ｓｅａ」クラスタには適用するができる。しかし、階層が同じ（ここでは３階層）であっても異なる親（「Ｉｎｄｏｏｒ」クラスタ）を持つ「Ｈｏｍｅ」クラスタや「Ｏｆｆｉｃｅ」クラスタに対しては適用することができない。

同様に、ユーザが「Ｏｆｆｉｃｅ」クラスタをサブクラスタＣとサブクラスタＤに分けることにより得られる推定分類基準は、「Ｈｏｍｅ」クラスタには適用可能である。しかし、「Ｃｉｔｙ」クラスタ、「Ｓｅａ」クラスタには適用することはできない。このように、親のクラスタが同じ階層のクラスタに対して、ユーザ操作によるクラスタの分割・統合がなされていないクラスタに対して、他クラスタでのクラスタの分割・統合結果に基づく推定分類基準を用いることで、画像分類の効率化及び高精度化を図ることができる。

このように、ユーザとのインタラクションを通じ分類基準を推定し、その結果に基づきクラスタリングを繰り返すことで、ユーザの意図を反映した画像分類が実現できる。

以上説明したように、分類基準を自動的に推定する分類基準推定部４を設けることによって、ユーザとのインタラクションからユーザの画像分類基準を推定し、それに従って画像を分類することができる。これにより、画像をクラスタに分類する際に、クラスタ内の画像の共起関係からユーザの分類基準を推定し、推定した分類基準を用いてその他のクラスタも同様に分類することができ、ユーザの分類に関する意図を動的に反映した画像分類が可能となる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像分類処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

直接ユーザのフィードバックがないカテゴリについて自動的に分類規則を生成することが不可欠な用途にも適用できる。

１・・・画像入力部、２・・・初期クラスタ生成部、３・・・ユーザインタフェース部、３１・・・表示装置、３２・・・入力装置、４・・・分類基準推定部、５・・・クラスタ再構成部、６・・・自動分類結果記憶部、７・・・ユーザ画像群記憶部

Claims (4)

1. 画像をクラスタに分類する画像分類装置であって、
   初期の分類基準に従い分類した所定のクラスタに含まれる画像を、当該クラスタを更に分類したクラスタに移動する分割指示、または分類済みの前記クラスタに画像を追加する統合指示を入力する修正指示入力手段と、
   前記分割指示または前記統合指示に基づいて前記クラスタを修正するクラスタ修正手段と、
   修正された前記クラスタに含まれる画像の共起関係を分類基準として推定する分類基準推定手段と、
   推定した前記分類基準に従い前記分割指示または前記統合指示の対象とならなかったクラスタを再構成するクラスタ再構成手段と
   を備えることを特徴とする画像分類装置。
2. 前記分類基準推定手段は、
   前記クラスタに含まれる画像の前景となる物体領域の特徴量の分布、または前記クラスタに含まれる画像群の特徴量の分布に極値が存在する場合に共起関係があると推定することを特徴とする請求項１に記載の画像分類装置。
3. 前記クラスタ再構成手段は、
   前記分割指示に従い前記クラスタを分割した場合には、推定した前記分類基準を前記分割指示の対象となったクラスタと同じ階層にあるクラスタについて適用して再構成することを特徴とする請求項１に記載の画像分類装置。
4. コンピュータを、請求項１から３のいずれか１項に記載の画像分類装置として機能させるための画像分類プログラム。