JP4444633B2 - 画像分類装置、画像分類方法、および、プログラム - Google Patents

Description

本発明は、ユーザが撮影した画像を、画像中の被写体の重要度によって分類する画像の被写体分類技術に関する。

カメラ付携帯電話やデジタルカメラの普及に伴って、個人の撮影画像枚数が急速に増大し、アルバム作成やメール配信、プリントアウト等がなされている。

しかしながら、ユーザがメール配信やプリントアウトのために被撮影人物ごとに画像を分類するには、対象となる画像数が増えるほど作業負担が増大してしまう。

現在のところ、画像を被写人物別に分類する方法としては、例えば、分類対象としたい人物の画像を送信して登録作業を行った後、その人物に関しての分類を行う方法（例えば、特許文献１参照。）が知られている。

また、映像に対して事前に番組表を用いたり、検索者が登録することで、登場人物シーンを分類する方法（例えば、特許文献２参照。）も知られている。

しかし、事前の登録作業を行わなければならず、後に別の人物での検索を行いたい場合には、再登録、再分類を行わなければならなかった。

これに対し、入力された人物の登録を行わずに人物毎に分類を行うためには、入力人物の顔の特徴を特徴空間に写像したものを１パターンとしてクラスタリングする方法が考えられる。

一般的に用いられているクラスタリング手法として、最近傍法等が知られている（例えば、非特許文献１参照。）。

例えば、Ｎ個の入力パターンをそれぞれＰ１〜ＰＮとするとき、最近傍法では、パターンＰ１〜ＰＮが順番に特徴空間中に写像されるとする。このときの処理手順を以下に説明する。
（１）パターンＰ１を代表パターンとするクラスタＣ１をつくり、ｉ＝２とする。（２）パターンＰ１と、既存の各クラス他の代表パターンとの距離を調べ、クラスタＣｊまでの距離Ｄｉｊが最小で合った場合、Ｄｉｊの値によって、
（ｉ）Ｄｉｊ≦Ｔのとき、ＰｉはクラスタＣｊに属する（Ｔは閾値）。
（ｉｉ）Ｄｉｊ＞Ｔのとき、Ｐｉを代表パターンとする新しいクラスタを作る。（３）ｉ＝Ｎなら処理を終了し、その他のときはｉを１増やして（２〉に戻る。

以上により、パターンを各クラスタに分類することができる。

しかし、この手法では、個々のパターンの重要度は処理結果に反映されていない。つまり、主要人物を選びたい場合には、ユーザが各クラスタの人物を確認するか、所属パターン数によって判断する必要がある。例えば、偶然撮影された通行人も１つのクラスタとなり、１度しか撮影されなかった重要な人物のクラスタとの重要度の区別がつかない。そのため、ユーザはクラスタごとに重要な人物であるかを確認しなければならない。また、被撮影頻度を重要度とした場合には、同じ通行人が数回撮影されると、この通行人の方が主要人物よりも重要人物とされてしまうため、被写体としての重要度を誤って、分類してしまう恐れがあった。
特開２００３−２０９７９８号公報 特開２００１−１６７１１０号公報 Ｃ言語による画像処理入門、安居院猛、長尾智晴共著、昭晃堂、ＩＳＢＮ４−７８５６−３１２４−４、２０００年１１月２０日初版１刷発行

このように、従来から、ユーザが分類基準をあらかじめ登録したり、画像中から対象物を抽出し、類似画像をクラスタリングすることで、対象物ごとに画像を分類する手法が知られている。

しかし、前者では分類基準が多いほどユーザの負担が大きい。また、後者では、人物の顔領域を個人ごとにクラスタリングした場合、各個人の被写体としての重要度、すなわちその人物を対象として撮影したか否かは不明であった。

本発明はかかる事情に鑑みなされたもので、その目的は、被写体の形態から被写体の重要度を求め、被写体ごとに画像を分類する装置、方法、及びプログラムを提供することにある。

そこで、前記課題を解決するために、請求項１に記載の画像分類装置は、入力画像を該画像中の重要人物の判定に基づいて分類する画像分類装置であって、入力画像から人物の顔の領域及び前記人物の個人識別情報を抽出し、前記顔の領域が前記入力画像中に占める割合、前記顔の向き、前記顔の表情、前記顔の領域の鮮明度のいずれか複数の被写形態情報を取得する顔領域検出手段と、前記抽出された顔の領域毎に、前記被写形態情報それぞれに対し所定値による重要度の重み付けを行った和が所定の閾値より大きい場合に、前記顔の人物を重要人物と判定する重要被写体抽出手段と、前記重要被写体抽出手段により、重要人物と判定された人物を入力パターンとしてクラスタリングを行い、前記重要人物毎のクラスを作成する被写体種別分類手段と、前記被写体種別分類手段によって作成されたクラス毎に前記入力画像を分類する被写体分類手段と、を有することを特徴とする。

前記被写形態情報は被写体の重要度の指標となるものであり、請求項１では、被写形態情報により重要度を判断し、重要な被写体ごとに画像を分類することができる。前記重要度の重みは、前記重要度の指標となる特徴を、それぞれどの程度重要視するかを決めるパラメータであり、該重要度の重み付けはユーザにより可変であるため、ユーザの目的に応じて画像分類を行なうことができる。また、本装置は被写体の分類を行う被写体分類装置として使用することもできる。

また、請求項２に記載の画像分類方法は、入力画像を該画像中の重要人物の判定に基づいて分類する画像分類方法であって、顔領域検出手段が、入力画像から人物の顔の領域及び前記人物の個人識別情報を抽出し、前記顔の領域が前記入力画像中に占める割合、前記顔の向き、前記顔の表情、前記顔の領域の鮮明度のいずれか複数の被写形態情報を取得する顔領域検出ステップと、重要被写体抽出手段が、前記抽出された顔の領域毎に、前記被写形態情報それぞれに対し所定値による重要度の重み付けを行った和が所定の閾値より大きい場合に、前記顔の人物を重要人物と判定する重要被写体抽出ステップと、被写体種別分類手段が、前記重要被写体抽出手段により、重要人物と判定された人物を入力パターンとしてクラスタリングを行い、前記重要人物毎のクラスを作成する被写体種別分類ステップと、被写体分類手段が、前記被写体種別分類手段によって作成されたクラス毎に前記入力画像を分類する被写体分類ステップと、を有することを特徴とする。

前記被写形態情報は被写体の重要度の指標となるものであり、請求項２では、被写形態情報により重要度を判断し、重要な被写体ごとに画像を分類することができる。前記重要度の重みは、前記重要度の指標となる特徴を、それぞれどの程度重要視するかを決めるパラメータであり、該重要度の重み付けはユーザにより可変であるため、ユーザの目的に応じて画像分類を行なうことができる。また、本方法は被写体の分類を行う被写体分類方法として使用することもできる。

また、請求項３に記載のプログラムは、請求項１に記載の画像分類装置としてコンピュータを機能させるためのプログラムを特徴とする。

請求項３では、前記請求項１記載の画像分類装置に記載の作用効果を奏するプログラムを実現できる。

なお、前記画像分類装置に、画像入力装置と分類結果表示装置とを接続して一のシステムとして構成すること、または、画像入力手段と分類結果表示手段とを接続して一の装置として構成することが可能である。

また、分類結果表示としては、ディスプレイに表示する方法、結果をプリントアウトする方法等がある。

また、重要度の重みパラメータは、装置に予め設定しておくことができるが、分類の要求ごとにユーザが設定することが可能である。

本発明によれば、被写形態情報により重要度を判断し、重要な被写体ごとに画像を分類することができる。また、顔以外の入力パターンであっても、画像中での被写体の大きさ、向き、鮮明度等の被写形態の情報を利用することにより、同様の処理が可能である。さらに、重要度の重み付けはユーザにより可変であるため、ユーザの目的に応じた画像分類を行うことができる。

図１は、本発明の実施形態１を示す画像の画像分類装置の構成を示す図である。図１に示すように画像の画像分類装置は、被写体重要度設定部１１、被写体テーブル作成部１２、重要被写体抽出部１３、被写体種別分類部１４、被写体分類部１５から構成される。

被写体重要度設定部１１では、被写体の撮影対象としての重要度を判断するため、あらかじめ被写体の重要度の重みパラメータを設定しておく。

被写体テーブル作成部１２では、ユーザからの少なくとも１枚以上の画像群を入力し、画像毎に被写体を抽出する。また、抽出した被写体を、各被写体の抽出元画像情報と重要度の指標となる被写形態情報とを関連付け、被写体データ群テーブルを作成する。

重要被写体抽出部１３では、被写体データ群と前記設定された重要度の重みパラメータにより、各被写体の重要度を判断し、重要な被写体の抽出を行う。

被写体種別分類部１４では、抽出された重要な被写体について、同種の被写体を同一のものとして分類し、種類別仮名称を設定する（詳しくは、図７に記述）。

被写体分類部１５では、重要な被写体の分類によって設定された被写体の種類ごとに、被写体データ群を分類する（詳しくは、図７に記述）。

図２は、本発明の実施形態２を示す画像の画像分類装置の構成を示す図である。画像の画像分類装置は、被写体重要度設定部２１、被写体テーブル作成部２２、被写体種別分類部２３、重要被写体抽出部２４から構成される。

被写体重要度設定部２１では、被写体の撮影対象としての重要度を判断するため、あらかじめ被写体の重要度の重みパラメータを設定しておく。

被写体テーブル作成部２２では、ユーザからの少なくとも１枚以上の画像群を入力し、画像毎に被写体を抽出する。また、抽出した被写体を、各被写体の抽出元画像情報と重要度の指標となる被写形態情報とを関連付け、被写体データ群テーブルを作成する。

被写体種別分類部２３では、抽出された被写体データ群を、同種の被写体を同一のものとして分類し、種類別仮名称を設定する（詳しくは、図８に記述）。

重要被写体抽出部２４では、種類別に分類した後の被写体データ群から、前記設定された重要度の重みパラメータにより、各被写体の重要度を判断し、重要な被写体の抽出を行う（詳しくは、図８に記述）。

ここで、重要度の指標となる被写形態情報は、被写体がもつ画像中での大きさや向き、鮮明度等の特徴であるものとし、被写体の重要度の重みパラメータは、重要度の指標となる特徴を、それぞれどの程度重要視するかを決めるパラメータをさす。例えば、被写体の画像中での大きさを鮮明度よりも重視した場合には、前者の重みを大きくするため、大きさのパラメータを鮮明度のパラメータよりも大きくする。こうしたパラメータは、デフォルトの値を設定し、この既定値を利用してもよいし、ユーザが必要に応じて変えられるものとしてもよい。重要な被写体の判断は、重要度の指標となる特徴を重み付けし、判別関数（詳細は図４で記述）を用いて決定することができる。被写体は、個々に抽出元画像情報と被写形態情報とを持つものとし、被写体データ群テーブル（詳細は図５に記述）に登録されるものとする。

次に被写体テーブル作成部について詳しく説明する。図３は、本発明における画像の画像分類装置の被写体テーブル作成部１２、２２の構成例を示す図である。図３に示すように被写体テーブル作成部１２、２２は、顔領域検出部３１、人物領域検出部３２、テーブル作成部３３で構成される。

さらに、顔領域検出部３１は、顔領域面積取得部３４、鮮明度識別部３５、表情識別部３６、顔向き識別部３７、年齢識別部３８、性別識別部３９から構成される。

また、人物領域検出部３２は、服装識別部４０、姿勢識別部４１からなる。

分類対象となる画像については、顔領域抽出部３１により顔領域の抽出を行い、該顔領域から個人特有の特徴（以下、個人識別情報と記す）を示す情報抽出及び、画像中に占める顔領域の大きさ、画像中に占める割合、顔の上下左右の向き、鮮明度、表情、年齢、性別等の被写形態情報の取得を行う。

ここで、鮮明度には、画像のぼけや、照明の方向、影の有無などを含むものとしてもよい。

次に、人物領域検出部３２により人物領域を検出し、この人物領域から人物の服装、姿勢等の被写形態情報を抽出する。

以上抽出した情報は、抽出元画像情報とともに、顔領域の個人識別情報に関連づけて、被写体データ群テーブルに登録する。このとき、被写体データ群テーブルに、画像にあらかじめ付与されている時刻等のメタデータを加えてもよい。

顔抽出から被写体データ群テーブル作成までの処理は、入力された全画像の処理が終了するまで繰り返されるものとする。

また、被写形態情報は、重要度の重み付けパラメータを用いた関数（詳細は図４に記述）により、人物の重要度を算出する際に用いるものである。

なお、顔検出においては、例えば、Ｈ．Ｓｃｈｎｅｉｄｅｒｍａｎ，Ｔ．Ｋａｎａｄｅ．’’Ａ Ｓｔａｔｉｓｔｉｃａｌ Ｍｅｔｈｏｄ ｆｏｒ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ａｐｐｌｉｅｄ ｔｏ Ｆａｃｅｓ ａｎｄ Ｃａｒｓ’’．ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ ２０００ Ｖｏｌｕｍｅ１ Ｊｕｎｅ １３−１５，２０００）による手法などを用いても良い。

また、画像から人物領域を検出する手法に関しては、例えば特開２００２−２９８１４２号公報に記載された手法などを用いてもよい。

また、検出された顔画像の向きは、例えば特開２００１−２５０１２１号公報に記載された手法を用いてもよい。また、同手法や特開２００３−１４１５５１号公報に記載された手法を用いて計算してもよい。

また、表情識別に関しては、聞えば、松野勝弘、李七雨、辻三郎、’’ポテンシャルネットとＫＬ展開を用いた顔表情の認識’’、信学論（Ｄ−ＩＩ）、ｖｏ１．Ｊ７７−Ｄ−ＩＩ，ｎｏ．８，ｐｐ．１５９１−１６００，Ａｕｇ．１９９４．による手法などを用いてもよい。

また、年齢、性別に関しては、例えば、細井聖、瀧川えりな、川出雅人、’’ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム’’第８回画像センシングシンポジウム講演論文集Ｃ−１による手法などを用いてもよい。

次に、重要被写体抽出部における処理手順について説明する。図４は、本発明による画像の画像分類装置における重要被写体抽出部１３、２４の処理手順を例を用いて詳しく示す図である。具体的なステップは以下の通りである。

図４において、ステップ１では、重要度の重みづけのデフォルト値を設定する。

ステップ２では、被写形態情報と重要度重み付けパラメータを用いた判別関数により、人物の重要度を算出する。

ステップ３では、算出した重要度があらかじめ定めた閾値以上であるかを比較し、閾値以上であれば、ステップ４へ、それ以外はステップ５ヘすすむ。

ステップ４では、閾値以上の対象人物を重要人物として設定する。

ステップ５では、閾値に満たない対象人物を非重要人物として設定する。

ステップ６では全抽出人物の処理が終了するまで、ステップ２〜４または５を行う。

実施形態１の例の場合、重要人物は、人物別に分類した後に人物別仮名称設定する。抽出人物（重要でないと判断した人物を含む）はこの人物別に分類される。

実施形態２の例の場合、被写人物は、人物別に分類した後に人物別仮名称設定する。各人物が重要人物であるか否かは、分類後人物別に判断される。

被写体が重要であるかを判断する判別関数は、顔領域の画像中に占める割合、顔の左右方向の向き、目の開閉状態の特徴を用いる場合には、例えば以下のようなものであってもよい。

対象となる画像の顔領域の割合をｘ、対象となる人物の顔の左右方向の回転をｙ、対象となる人物の目の開閉状態をｚとするとき、該人物の被写人物としての重要度を示す判別関数ｆ（ｘ，ｙ，ｚ）は、

と表す。このとき、ｆ（ｘ，ｙ，ｚ）≧Ｔ（Ｔ：閾値）であれば、重要人物と判定する。

ここで、ａ〜ｃは重要度を左右するパラメータｘ〜ｚの重み付けを決定する係数であり、装置側ではデフォルトを設定した上で、装置使用時には既定値を利用してもよいし、ユーザによって設定し直してもよい。さらに、判別関数には、笑顔であるか否かといった表情のパラメータ等、その他の被写形態情報を加えてもよい。また、この判別関数は線形である必要はない。

次に、パラメータのユーザ入力画面について説明する。図５は、本発明による画像の画像分類装置における画像中の人物の重要度を決めるパラメータのユーザ入力画面の一例を示す図である。重要度は、画像中から検出された顔の大きさ、向き、鮮明度、表情等により決定されるものとし、この重要度を決定する関数のパラメータは、あらかじめ装置側でデフォルト値を設定してある。ただし、装置使用時にユーザによって変えられるものであってもよい。

図５中の画面１〜５はこれらパラメータの設定画面の一例である。例えば、画像中に占める顔の割合が２０％を超えるものに関して、デフォルトで設定してある値から変更しようとする場合、割合別に複数用意された選択肢の中から、２０％を超える画像を選択し、スライドバーでパラメータを調整することができる。また、こうしたパラメータ調整及び判別関数の閾値は、ユーザが検出したい画像を例にあげ、出力結果を見ながら、必要に応じてその値を変化させられるようにしてもよい（画面５）。

次に、被写体テーブル作成部で作成されるテーブルについて説明する。図６は、本発明による画像の画像分類装置における被写体テーブル作成部１２、２２で作成されるテーブルの一例を示す図である。被写体テーブルには、画像から抽出された顔の個人識別情報に、抽出元画像情報、その他抽出人物に付随する顔領域の画像中に占める割合や顔の向きといった被写形態情報を関連付けてデータベース化してあるものとする。

次に、被写体種別分類部および被写体分類部で行われる入力パターンの分類について説明する。図７、８は、本発明による画像の画像分類装置における被写体種別分類部１４、２３、および被写体分類部１５で行われる入力パターンの分類例を示す図である。

抽出された人物は、画像中にしめる大きさや顔の向き、鮮明度等によって、被写人物としての重要度が変化する。具体的には、画像中にしめる割合が大きく、正面向きで、ぼけることなく人物が写し出されている画像は、その人物を撮影対象として撮影した画像である可能性が高い。つまり、該画像において、該人物の重要度は高く、後刻検索を行おうとする場合には、その人物に関する情報が重要になる。そこで、検出された人物の画像中にしめる大きさや顔の向き、鮮明度等をパラメータ化し、閾値以上であれば重要な人物であるとする。

実施形態１による例では、重要な人物であった場合には、その人物を入力パターンとしたクラスタリングを行い、人物ごとの分類を行う。また、クラスタごとに仮称を設定し、人物名とする（図７（ａ））。また、同一画像中に１人の人物が複数含まれる可能性は低いことから、画像１枚の中に含まれている複数の顔は必ず別クラスタとして分類できることになる。

さらに、このクラスタごとに重要でない人物（以下、非重要人物と記す）を含めた抽出人物の分類を行う。

図７中の実線の円で囲まれたクラスタは●が重要人物パターン、Ｏが非重要人物パターンである。このとき、クラスタＡＡは、重要人物パターン●を代表パターンとして形成される。ただし、重要人物パターン●の分類を行った後に、その他人物の分類を行うため、クラスタＢＢのように別画像から抽出された同一人物の重要人物パターン●が複数存在する場合もある。

さらに、本手法では、重要人物である代表パターンが存在しない限り、クラスタは形成されない。同様の理由から、重要人物パターンが１つであってもクラスタＣＣは形成される。（図７（ｂ））。

具体的な例として、ツアー旅行の写真において、撮影対象となっていないツアーメンバーは複数画像の背景中に含まれる可能性があるが、図７(ｂ)中の領域７１のような状態で、クラス化されない。しかし、１度しか撮影されていなくても、撮影対象となったツアーガイドさんはクラスタＣＣという情報を付与される。

実施形態２による例では、抽出された人物を人物別に分類を行う。また、人物ごと仮称を設定し、人物名とする（図８（ａ））。ただし、認証を行うことができない解像度の人物等のクラスは形成されない。また、この場合も、同一画像中に１人の人物が複数含まれる可能性は低いことから、画像１枚の中に含まれている複数の顔は必ず別クラスタとして分類できることになる。

さらに、このクラスタごとに重要人物の抽出を行う。図８中で実線の円で囲まれたクラスタは●が重要人物パターン、○が非重要人物パターンである。このとき、クラスタＡＡからは、重要人物パターン●を代表パターンとして抽出される。重要人物パターン●が１つでも検出されたクラスタは、重要人物として設定し、１つも検出されなかったクラスタは非重要人物とする。

なお、人物別の分類に関しては、例えば特開２００３−７６９９０号公報に記載の手法を用いてもよい。

これにより、抽出順に顔特徴を代表パターンとし、この顔特徴に類似する顔の検索を行い、検出された顔をもつ人物を同一人物として分類することができる。２人目以降の分類では、分類されていない人物を代表パターン及び検索対象とすることを繰り返し、被写人物の分類を行ってもよい。

次に、被写体テーブル作成部の処理について説明する。図９は、本発明による画像の画像分類装置における被写体テーブル作成部１２、２２の処理の一部を示す図である。

入力された画像（図９（ａ））について、まず顔検出を行う。次に、顔領域から、該顔領域を含む人物の個人識別情報、画像における該顔領域の割合、顔の向き、鮮明度、表情、年齢、性別等といった特徴を抽出する。また、人物領域から該人物の服装、姿勢等を認識する（図９（ｂ））。個人識別情報は、個人に特有の特徴、例えば顔部位配置等から求める（図９（ｃ））。

また、画像中の人物の顔の位置を識別し、画像中における位置情報とする。その際、画像を複数の領域に分け、顔領域がある面積以上を占めている領域を顔がある領域として識別し、該画像中の位置情報とする（図９（ｄ））。

次に、画像分類装置における出力について説明する。図１０、１１は、本発明による画像の画像分類装置における出力の一例を示す図である。本発明による被写体分類の処理後は重要とされる被写人物毎に、画像情報や人物に付随する特徴が分類されている（図１０）。したがって、これをもとに画像毎のインデクスを作成することも可能である（図１１（ａ））。また、人物に付随する情報のいずれか１つをもとにディレクトリ分けできるものとする。

例えば、画像中に存在する人物ごとに分け、１人当たりのファイル数やサイズ等の管理を行うことができる（図１１（ｂ））。また、こうした情報をデータベース化して出力もよい（図１１（ｃ）（ｄ））。

次に、画像検索時のユーザ入力画面について説明する。図１２、１３は、本発明による画像の画像分類装置を利用した画像検索時のユーザ入力画面の一例を示す図である。ユーザは画像検索依頼時に、検索キーワードを入力するが、対象となる画像は、まず被写体ごとの分類を行い、検索はその後に行うものとする（図１２（ａ））。

画像検索依頼時、検索した画像群を入力すると同時に、図１２（ｂ）中の画面２において、検索したい画像の属するキーワードを入力する。ここで、人物に関するキーワード、撮像情報、例示画像といった検索項目を１つ以上任意に選択し、送信することによって検索条件の指定を行うものとする（画面２）。

検索結果はサムネイル画像を、図１２（ｂ）中の画面３のようにリスト表示してユーザに提示する（画面３）。

また、図１２（ｃ）は、画像検索時のキーワード指定画面の例を示す。例えば、はじめに人物画像の検索を行いたいか、人物以外の画像の検索を行いたいかを選択する（画面４）。

次に、画像を取得した日時が既知の場合には、画面５に示されるようなインターフェースを利用して、カレンダー等から日時指定入力を行う。画像中の人物構図が既知の場合にも、画像６に示されるように選択指定する。

さらに、特定の人が撮影されている画像が欲しい場合には、既存の画像中の人物の情報をもとに、例えば、画面７に示すように分類人物別のリストを作成しその人物を選択すると、選択された１人または複数の人物を含む画像データを表示させることができる（画面３）。

ここで使用する分類人物別のリストは、事前に登録を行わないため、人物の個人名ではなく、代表画像や同一人物としてクラスタリングされた画像クラスの仮名称とする。代表画像は、１つのクラスタを形成した際の代表パターンを使用して作成するものとする。複数の代表パターンが存在する場合には、いずれか１つの代表パターンとし、画像ファイル名のアルファベット順でもっとも早いもの等で決定してもよい。また、人物の表情、顔の向き、年齢、性別、。服装、姿勢等の情報が分かっている場合にも、同様の手段により選択入力できるものとする（画面８〜１４）。

このとき、画面７〜１４の情報は、画面６と関連付けて、人数に合わせて人物ごとの入力ができるものとし、人数分の反復処理を行う。これにより、２人写っている人物のうち、左側は３０代女性、右側は１０歳未満で赤い服をきてＶサインをしている男の子、といった情報を入力することができる。

ただし、画面５〜１４に示される人物情報は、既知の情報のみ使用することができるものとする。

なお、本発明は図１〜３に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図４〜１３で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。

実施形態１を示す画像の画像分類装置の構成を示す図。 実施形態２を示す画像の画像分類装置の構成を示す図。 本発明における画像の画像分類装置の被写体テーブル作成部１２、２２の構成例を示す図。 画像の画像分類装置における重要被写体抽出部１３、２４の処理手順を詳しく示す図。 画像の画像分類装置における画像中の人物の重要度を決めるパラメータのユーザ入力画面の一例を示す図。 画像の画像分類装置における被写体テーブル作成部１２、２２で作成されるテーブルの一例を示す図。 画像の画像分類装置における入力パターンの分類例を示す図。 画像の画像分類装置における入力パターンの分類例を示す図。 画像の画像分類装置における被写テーブル作成部１２、２２の処理の一部を示す図。 本発明による画像の画像分類装置における出力の一例を示す図。 本発明による画像の画像分類装置における出力の一例を示す図。 画像の画像分類装置を利用した画像検索時のユーザ入力画面の一例を示す図。 画像の画像分類装置を利用した画像検索時のユーザ入力画面の一例を示す図。

符号の説明

１１…被写体重要度設定部
１２…被写体テーブル作成部
１３…重要被写体抽出部
１４…被写体種別分類部
１５…被写体分類部
２１…被写体重要度設定部
２２…被写体テーブル作成部
２３…被写体種別分類部
２４…重要被写体抽出部
３１…顔領域抽出部
３２…人物領域検出部
３３…テーブル作成部
３４…顔領域面積取得部
３５…鮮明度識別部
３６…表情識別部
３７…顔向き識別部
３８…年齢識別部
３９…性別識別部
４０…服装識別部
４１…姿勢識別部

Claims (3)

1. 入力画像を該画像中の重要人物の判定に基づいて分類する画像分類装置であって、
   入力画像から人物の顔の領域及び前記人物の個人識別情報を抽出し、前記顔の領域が前記入力画像中に占める割合、前記顔の向き、前記顔の表情、前記顔の領域の鮮明度のいずれか複数の被写形態情報を取得する顔領域検出手段と、
   前記抽出された顔の領域毎に、前記被写形態情報それぞれに対し所定値による重要度の重み付けを行った和が所定の閾値より大きい場合に、前記顔の人物を重要人物と判定する重要被写体抽出手段と、
   前記重要被写体抽出手段により、重要人物と判定された人物を入力パターンとしてクラスタリングを行い、前記重要人物毎のクラスを作成する被写体種別分類手段と、
   前記被写体種別分類手段によって作成されたクラス毎に前記入力画像を分類する被写体分類手段と、
   を有することを特徴とする画像分類装置。
2. 入力画像を該画像中の重要人物の判定に基づいて分類する画像分類方法であって、
   顔領域検出手段が、入力画像から人物の顔の領域及び前記人物の個人識別情報を抽出し、前記顔の領域が前記入力画像中に占める割合、前記顔の向き、前記顔の表情、前記顔の領域の鮮明度のいずれか複数の被写形態情報を取得する顔領域検出ステップと、
   重要被写体抽出手段が、前記抽出された顔の領域毎に、前記被写形態情報それぞれに対し所定値による重要度の重み付けを行った和が所定の閾値より大きい場合に、前記顔の人物を重要人物と判定する重要被写体抽出ステップと、
   被写体種別分類手段が、前記重要被写体抽出手段により、重要人物と判定された人物を入力パターンとしてクラスタリングを行い、前記重要人物毎のクラスを作成する被写体種別分類ステップと、
   被写体分類手段が、前記被写体種別分類手段によって作成されたクラス毎に前記入力画像を分類する被写体分類ステップと、
   を有することを特徴とする画像分類方法。
3. 請求項１に記載の画像分類装置としてコンピュータを機能させるためのプログラム。