JP5469181B2 - 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 - Google Patents

Description

本発明は、画像を分類する画像分類装置に関する。

デジタルスチルカメラやカメラ機能付き携帯電話機等のデジタル画像撮影機器が普及し、撮影された画像を記録するためのハードディスク等の記録媒体が安価に提供されている。

一般に、デジタル画像撮影機器等のユーザ（以下、単にユーザという。）は、撮影した各画像を、大容量のハードディスク等の記録媒体に蓄積している。

蓄積している画像が大量になると、蓄積している画像の中から目的の画像を探すのが難しくなるため、ユーザによる画像の検索を容易にする目的で、各画像をいくつかのカテゴリに分類することがある。

画像を分類する技術として、例えば、特許文献１、特許文献２に記載されているように、１枚の画像からその画像の特徴を抽出し、抽出された特徴を用いてその画像を分類する技術が知られ、また、例えば、特許文献３に記載されているように、画像の撮影時刻の情報から画像を分類する技術が知られている。

特許第４２３２７７４号公報 特開２００６−３５０５４６号公報 特開２００１−３３３３５２号公報

一方、ユーザが画像を撮影する機会は、例えば、ピクニックや川釣りといった行事である場合が多く、また、ユーザが画像を鑑賞する目的は、画像が撮影された行事での出来事を、鮮明に思い出すことである場合が多い。

従って、ある行事において撮影された画像の集合といったように互いに関連のある画像の集合である画像グループに属する画像は、同一のカテゴリに分類されることが望まれる。

しかしながら、１枚の画像からその画像の特徴を抽出し、抽出された特徴を用いてその画像を分類する技術では、その画像が、その画像を含む画像グループに属する他の画像と異なる特徴を有している場合に、その画像の分類先が、その画像グループに属する他の画像の分類先と異なるカテゴリとなってしまうことがある。

例えば、分類先のカテゴリに、ピクニックというカテゴリと川釣りというカテゴリとがある場合において、ピクニックにいった時に撮影された画像からなる画像グループの中に川のほとりで遊んでいるシーンが撮影された画像があるときに、その川のほとりで遊んでいるシーンの画像だけが川釣りというカテゴリに分類され、その他の画像がピクニックというカテゴリに分類されてしまうこと等である。

また、画像の撮影時刻の情報から画像を分類する技術では、撮影時刻以外の画像の特徴に基づいて画像を分類することができない。

そこで、本発明は係る問題に鑑みてなされたものであり、撮影時刻以外の画像の特徴に基づいて、同一の画像グループに属する画像が、互いに異なるカテゴリに分類されてしまうことがないように画像を分類することができる画像分類装置を提供することを目的とする。

上記課題を解決するために本発明に係る画像分類装置は、１つの画像グループに属する画像のうち全部又は一部の２枚以上の画像についての、画像の特徴を示す画像特徴情報に基づいて、画像グループの特徴を示す画像グループ特徴情報を算出する画像グループ特徴算出部と、１つの画像グループの画像グループ特徴情報と、分類用の基準情報とに基づいて、当該画像グループを、互いに異なる複数の分類先のうちのいずれかの分類先に分類する画像グループ分類部とを備えることを特徴とする。

上述の構成を備える本発明に係る画像分類装置は、画像の撮影時刻の情報に限られない画像の特徴に基づいて算出された画像グループ特徴情報に基づいて、画像グループ単位で画像を分類することができる。

従って、この画像分類装置は、撮影時刻以外の画像の特徴に基づいて、同一の画像グループに属する画像が、互いに異なるカテゴリに分類されてしまうことがないように画像を分類することができるという効果を有する。

画像分類装置１００のハードウエア構成を示すハードウエアブロック図 画像分類装置１００の機能構成を示す機能ブロック図 画像記憶部２３１のディレクトリ構造を示すディレクトリ構造図 画像特徴情報記憶部２３２に記憶されている画像特徴情報のデータ構造図 画像グループ特徴情報記憶部２３３に記憶されている画像グループ特徴情報のデータ構造図 イベント特徴情報記憶部２３４に記憶されているイベント特徴情報のデータ構造図 画像分類装置１００の行う画像グループ分類動作のフローチャート 画像グループに属する画像を示す図 画像グループ特徴情報記憶部２３３に記憶されている画像グループ特徴情報のデータ構造図 画像分類装置１００の行うイベント特徴情報生成動作のフローチャート 画像グループ特徴情報記憶部２３３に記憶されている画像グループ特徴情報のデータ構造図 画像分類装置１２００の機能構成を示す機能ブロック図 顔対応表記憶部１２０１に記憶されている顔対応表のデータ構造図 画像グループ特徴情報記憶部１２３３に記憶されている画像グループ特徴情報のデータ構造図 イベント特徴情報記憶部１２３４に記録されているイベント特徴情報のデータ構造図 画像分類装置１２００が行う顔対応表生成動作のフローチャート 画像グループに属する画像を示す図 画像分類装置１２００の行う、画像グループ分類動作のフローチャート 画像グループに属する画像を示す図 画像グループに属する画像を示す図 画像グループに属する画像を示す図 画像分類装置２２００の機能構成を示す機能ブロック図 画像分類装置２２００が行うクラスタリング動作のフローチャート 画像分類装置２２００が行うクラスタリング動作を模式的に示す図 イベント特徴情報のデータ構造図 画像グループに属する画像を示す図 画像分類装置２７００の機能構成を示す機能ブロック図

＜実施の形態１＞
以下、本発明に係る画像分類装置の一実施形態として、複数枚の画像からなる画像グループ単位でその画像グループの特徴を示す画像グループ特徴情報を算出し、算出した画像グループ特徴情報と、画像グループの分類先であるイベントの特徴を示す情報とに基づいて、画像グループ単位で画像を互いに異なるイベントのうちのいずれかのイベントに分類する画像分類装置について説明する。

ここで画像グループとは、ユーザによって指定された複数の画像からなる画像の集合のことであって、例えば、２００９年初夏に六甲山にピクニックにいった際に撮影された画像の集合や、例えば、２００８年冬に志賀高原にスキーに行った際に撮影された画像の集合等である。

また、ここで、イベントとは、共通の特徴を持つ画像グループの内容を表すものであって、例えば、ピクニックに行った際に撮影された画像からなる画像グループの集合はピクニックというイベントに、スキーに行った際に撮影された画像からなる画像グループの集合はスキーというイベント等に分類される。

＜構成＞
＜画像分類装置１００のハードウエア構成＞
図１は、画像分類装置１００の主要なハードウエア構成を示すハードウエアブロック図である。

画像分類装置１００は、デジタル写真である画像を、ＪＰＥＧ（Joint Photographic Experts Group）方式で符号化されたデータとして記憶し、記憶する画像を分類する。

画像分類装置１００は、デジタルスチルカメラ１９２に代表される、画像を記録している機器と、着脱可能なＵＳＢケーブル１９５を介して接続し、画像を表示するためのディスプレイ１９３と、モニタケーブル１９６を介して接続し、ネットワーク１９４と接続し、ユーザからの操作コマンドを受け付けるリモコン１９７と無線通信を行い、ＳＤメモリカード１９１等で代表される外部記録媒体に対して、データの読み出しと書き込みとを行う。

画像分類装置１００は、システムＬＳＩ（Large Scale Integrated circuit）１１０と、ハードディスク装置１３０と、外部記録媒体読取書込装置１４０と、ＵＳＢ制御装置１５０と、出力装置１６０と、入力装置１７０と、通信装置１８０とから構成される。

システムＬＳＩ１１０は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ハードディスク装置インターフェース１０４と、外部記録媒体読取書込装置インターフェース１０５と、ＵＳＢ（Universal Serial Bus）制御装置インターフェース１０６と、出力装置インターフェース１０７と、入力装置インターフェース１０８と、通信装置インターフェース１０９と、デコーダ１１１と、バスライン１２０とを１つの集積回路に統合したＬＳＩであって、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０と接続する。

ＣＰＵ１０１は、バスライン１２０と接続し、ＲＯＭ１０２又はＲＡＭ１０３に記憶されているプログラムを実行することで、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０、デコーダ１１１を制御して、様々な機能、例えば、ハードディスク装置１３０から符号化された画像データを読み出して復号し、復号した画像データをディスプレイ１９３に出力する機能等を実現する。

ＲＯＭはバスライン１２０と接続し、ＣＰＵ１０１の動作を規定するプログラムと、ＣＰＵが利用するデータとを記憶している。

ＲＡＭ１０３は、バスライン１２０と接続し、ＣＰＵ１０１がプログラムを実行することに伴って発生するデータを一時的に記憶し、また、ハードディスク装置１３０、外部記録媒体読取書込装置１４０から読み取ったデータや書き込むデータ、通信装置１８０が受信したデータや送信するデータ等を一時的に記憶する。

デコーダ１１１は、符号化された画像データを復号する機能を有するＤＳＰ（Digital Signal Processor）であって、バスライン１２０と接続し、ＣＰＵ１０１によって制御され、ＪＰＥＧデコード機能を有する。

ハードディスク装置インターフェース１０４は、ハードディスク装置１３０とバスライン１２０とに接続し、ハードディスク装置１３０とバスライン１２０との信号のやり取りを仲介するものである。

外部記録媒体読取書込装置インターフェース１０５は、外部記録媒体読取書込装置１４０とバスライン１２０とに接続し、外部記録媒体読取書込装置１４０とバスライン１２０との信号のやり取りを仲介するものである。

ＵＳＢ制御装置インターフェース１０６は、ＵＳＢ制御装置１５０とバスライン１２０とに接続し、ＵＳＢ制御装置１５０とバスライン１２０との信号のやり取りを仲介するものである。

出力装置インターフェース１０７は、出力装置１６０とバスライン１２０とに接続し、出力装置１６０とバスライン１２０との信号のやり取りを仲介するものである。

入力装置インターフェース１０８は、入力装置１７０とバスライン１２０とに接続し、入力装置１７０とバスライン１２０との信号のやり取りを仲介するものである。

通信装置インターフェース１０９は、通信装置１８０とバスライン１２０とに接続し、通信装置１８０とバスライン１２０との信号のやり取りを仲介するものである。

ハードディスク装置１３０は、ハードディスク装置インターフェース１０４と接続し、ＣＰＵ１０１によって制御され、内蔵するハードディスクにデータを書き込む機能と、内蔵するハードディスクに書き込まれているデータを読み取る機能を有する。

外部記録媒体読取書込装置１４０は、外部記録媒体読取書込装置インターフェース１０５と接続し、ＣＰＵ１０１によって制御され、外部記録媒体にデータを書き込む機能と、外部記録媒体に書き込まれているデータを読み取る機能とを有する。

ここで、外部記録媒体とは、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc）、ＢＤ−Ｒ、ＢＤ−ＲＥ、ＳＤメモリカード１９１等であって、外部記録媒体読取書込装置１４０は、これら、ＤＶＤ、ＢＤ等からのデータの読み取りや、ＤＶＤ−Ｒ、ＢＤ−Ｒ、ＢＤ−ＲＥ、ＳＤメモリカード等へのデータの書き込みと読み取りとをすることができる。

ＵＳＢ制御装置１５０は、ＵＳＢ制御装置インターフェース１０６と接続し、ＣＰＵ１０１によって制御され、着脱可能なＵＳＢケーブル１９５を介して外部機器にデータを書き込む機能と、外部機器に書き込まれているデータを読み取る機能とを有する。

ここで、外部機器とは、デジタルスチルカメラ１９２、パーソナルコンピュータ、カメラ機能付き携帯電話機等の、画像を記憶する機器であって、ＵＳＢ制御装置１５０は、ＵＳＢケーブル１９５を介してこれら外部機器へのデータの書き込みと読み取りとをすることができる。

出力装置１６０は、出力装置インターフェース１０７と、モニタケーブル１９６とに接続し、ＣＰＵ１０１によって制御され、モニタケーブル１９６を介してディスプレイ１９３に表示させるデータを出力する。

入力装置１７０は、入力装置インターフェース１０８と接続し、ＣＰＵ１０１によって制御され、リモコン１９７から無線で送信されるユーザからの操作コマンドを受け付け、受け付けた操作コマンドをＣＰＵ１０１に送信する機能を有する。

通信装置１８０は、通信装置インターフェース１０９と、ネットワーク１９４とに接続し、ＣＰＵ１０１によって制御され、ネットワーク１９４を介して、外部通信機器とデータの送受信を行う機能を有する。

ここで、ネットワーク１９４とは、光通信回線、電話回線、無線回線等によって実現されており、外部通信機器や、インターネット等と接続している。

また、外部通信機器とは、外部ハードディスク装置等といった、画像や、ＣＰＵ１０１の動作を規定するプログラム等を記憶する機器であって、通信装置１８０は、ネットワーク１９４を介してこれら外部通信機器からデータの読み取りとすることができる。

以上のようなハードウエアで実現される画像分類装置１００は、ＣＰＵ１０１が、ＲＯＭ１０２又はＲＡＭ１０３に記憶されているプログラムを実行し、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０、デコーダ１１１を制御することで様々な機能を実現する。

以下、図面を用いて、画像分類装置１００の機能構成を説明する。

＜画像分類装置１００の機能構成＞
図２は、画像分類装置１００の主要な機能ブロックの構成を示す機能ブロック図である。

画像分類装置１００は、画像グループデータ受付部２０１、画像書込読出部２０２、画像特徴情報書込読出部２０３、画像グループ特徴情報書込読出部２０４、画像特徴算出部２０５、画像グループ特徴算出部２０６、イベント特徴算出部２０７、画像グループ分類部２０８、イベント特徴情報書込読出部２０９、分類結果出力部２１０、画像グループ情報受付部２１１、イベント情報受付部２１２、画像記憶部２３１、画像特徴情報記憶部２３２、画像グループ特徴情報記憶部２３３、イベント特徴情報記憶部２３４とから構成される。

画像特徴算出部２０５は、さらに、画像特徴算出制御部２２１、顔特徴量抽出部２２２、色特徴量抽出部２２３、物体特徴量抽出部２２４とから構成される。

画像グループデータ受付部２０１は、画像書込読出部２０２と接続し、２枚以上の画像からなる画像グループ２４１の画像の指定を受け付け、指定された画像群を、１つの画像グループに含まれる画像群として読み込む機能を有する。

画像グループデータ受付部２０１が画像を受け付ける場合には、外部記録媒体読取書込装置１４０経由で外部記録媒体から画像を受け付ける場合と、ＵＳＢ制御装置１５０経由で外部機器から画像を受け付ける場合と、通信装置１８０経由で外部通信機器から画像を受け付ける場合とがある。

また、画像グループデータ受付部２０１は、画像を受け付ける際に、その画像を特定するための画像ＩＤを付与する機能を有する。

画像記憶部２３１は、画像としてのデジタル写真を、ＪＰＥＧ方式で符号化された画像データとして記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。

画像記憶部２３１に記憶される各データは、ファイルシステム配下において、論理的にディレクトリ構造により管理されている。

図３は画像記憶部２３１のディレクトリ構造を示すディレクトリ構造図である。

同図に示されているように、画像記憶部２３１のディレクトリ構造は、最上位階層３１０と、第１ディレクトリ階層３２０と、第２ディレクトリ階層３３０との合計３階層からなっている。

第１ディレクトリ階層３２０には、花火イベントディレクトリ３２１、ピクニックイベントディレクトリ３２２、スキーイベントディレクトリ３２３等の複数のイベントディレクトリと、実データ保管ディレクトリ３２４とが存在する。

ここで、イベントディレクトリとは、画像グループの分類先であるイベントと同じ名前を持つディレクトリであって、同じ名前のディレクトリは１つしか存在しない。

実データ保管ディレクトリ３２４は、画像を保持するディレクトリであって、画像のデータはこの実データ保管ディレクトリ３２４のみに保持される。

第２ディレクトリ階層３３０には、Ｙ川花火大会２００４画像グループディレクトリ３３１、Ｐ社花火大会２００５画像グループディレクトリ３３２、六甲山２００９初夏画像グループディレクトリ等の複数の画像グループディレクトリが存在する。

画像グループディレクトリは、画像グループデータ受付部２０１が受け付けた画像群からなる画像グループに対応するディレクトリであって、実データ保管ディレクトリ３２４に保持されているデータのうち、その画像グループに属する全ての画像のデータのアドレスを示す情報が保持されることによって、その画像のデータがリンクされている状態となっているディレクトリである。

各画像グループディレクトリは、対応する画像グループが分類されているイベントに対応するイベントディレクトリの下に存在している。

もし、複数のイベントに分類されている画像グループが存在する場合には、分類されているイベントの数だけ、同一名称で同一の画像がリンクされているディレクトリが存在する。

再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。

画像書込読出部２０２は、画像特徴算出部２０５と、画像特徴算出制御部２２１と、画像グループ分類部２０８とに接続し、画像記憶部２３１に記憶されている画像を読み出す機能と、画像記憶部２３１に画像を書き込む機能と、画像記憶部２３１のディレクトリ構造を変更する機能と、画像データのリンクを変更する機能とを有する。

顔特徴量抽出部２２２は、画像特徴算出制御部２２１と接続し、人の顔の特徴を示す予め定められた顔のモデルを保持し、保持する顔のモデルを参照することで、１枚の画像に含まれる顔の認識を試み、認識した顔の個数と、認識した顔の領域の面積に対する画像全体の面積の面積比率とを、顔特徴量として算出する機能と、認識した認識顔それぞれに、その認識顔を特定するための顔ＩＤを、シーケンシャルに付与する機能とを有する。

ここで、顔のモデルとは、例えば、目、鼻、口等の顔を形成するパーツの輝度や、相対的な位置関係に関する情報等である。

色特徴量抽出部２２３は、画像特徴算出制御部２２１と接続し、画像に含まれる各画素について、その画素を構成する色成分、例えば、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの各輝度から、その画素の色が、例えば、黒、青、緑、白等のうちのいずれの色であるかを特定する機能と、特定された色のそれぞれに対して、その色に特定された画素数に対する画像に含まれる全画素数の比率とを、色特徴量として算出する機能を有する。

ここで、ある画素が、例えば、黒であると特定する方法としては、例えば、その画素のＲｅｄの輝度と、Ｇｒｅｅｎの輝度と、Ｂｌｕｅの輝度とが、全て１０％未満である場合に、その画素を黒であると特定するといった方法がある。

物体特徴量抽出部２２４は、画像特徴算出制御部２２１と接続し、物の特徴を示す予め定められた物のモデルと、そのモデルに対応する物の名称とを保持し、保持する物のモデルを参照することで、１枚の画像に含まれる物の認識を試み、物の認識に成功した場合に、その認識した物のモデルに対応する物の名称を、物体特徴量として算出する機能を有する。

ここで、物のモデルとは、例えば、車のモデルであれば、例えば、フロントガラス、タイヤ、ヘッドライト等の車を形成するパーツの輝度や、相対的な位置関係に関する情報等である。

画像特徴算出制御部２２１は、画像書込読出部２０２と、画像特徴情報書込読出部２０３と、顔特徴量抽出部２２２と、色特徴量抽出部２２３と、物体特徴量抽出部２２４とに接続する。

画像特徴算出制御部２２１は、画像書込読出部２０２を介して、画像記憶部２３１から１枚の画像を読み出し、読み出した１枚の画像に対して、顔特徴量抽出部２２２と、色特徴量抽出部２２３と、物体特徴量抽出部２２４とを用いて、画像特徴情報を算出する機能を有する。

画像特徴情報の詳細については後述する。

画像特徴情報記憶部２３２は、画像特徴情報を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。

図４は、画像特徴情報記憶部２３２に記憶されている画像特徴情報のデータ構造を示す図である。

同図に示されているように、画像特徴情報記憶部２３２に記憶されている各画像特徴情報は、対応する画像を示す画像ＩＤ４０１と、対応する画像の色の特徴を示す色特徴量４０３と、対応する画像に含まれる、顔特徴量抽出部２２２によって認識顔（以下、認識顔という。）の特徴を示す顔特徴量４０４と、対応する画像に含まれる認識された物の特徴を示す物体特徴量４０５とから構成される。

色特徴量４０３は、色特徴量抽出部２２３によって算出された各色の画素数比率からなり、その画像に含まれる色の特徴を示すものである。

例えば、画像ＩＤ４０１が０１００１である画像に対応する画像特徴情報の色特徴量４０３は、黒４３１が１０％、青４３２が２０％、緑４３３が６０％、白４３５が１０％の画像であることを示している。

顔特徴量４０４は、顔特徴量抽出部２２２によって算出された、各画像に含まれる認識顔毎のその認識顔の顔ＩＤとその認識顔の領域の面積比率とその認識顔の領域の座標との組と、その画像に含まれる認識顔の数である顔数４４４と、その画像に含まれる認識顔の中で最も面積比率の高い顔の面積比率である最大顔面積４４５とからなり、その画像に含まれる認識顔の特徴を示すものである。

ここで、認識顔の領域の座標は、顔特徴量抽出部２２２によって認識顔の領域を取り囲む長方形のうち、最小面積の長方形の左上の頂点の座標と右下の頂点の座標との組からなる。

例えば、画像ＩＤ４０１が０１００１である画像に対応する画像特徴情報の顔特徴量４０４は、面積比率３０％の顔０００１と、面積比率１０％の顔０００２と、面積比率２０％の顔０００３等の顔が認識され、認識顔の数は５つで、認識顔の中で最も高い顔の面積比率は０．３であることを示している。

物体特徴量４０５は、物体特徴量抽出部２２４によって算出された、各画像に含まれる認識された物の名称を示すものである。

例えば、画像ＩＤ４０１が０１００１である画像に対応する画像特徴情報の物体特徴量４０５は、その画像に車の画像が含まれていることが認識されていることを示している。

再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。

画像特徴情報書込読出部２０３は、画像特徴算出制御部２２１と、画像グループ特徴算出部２０６とに接続し、画像特徴情報記憶部２３２に対して、画像特徴情報の読み出し、書き込みを行う機能を有する。

画像グループ情報受付部２１１は、画像グループ特徴算出部２０６と接続し、画像グループの名称を受け付ける機能を有する。

画像グループ特徴算出部２０６は、画像グループ情報受付部２１１と、画像特徴情報書込読出部２０３と、画像グループ特徴情報書込読出部２０４と接続する。

画像グループ特徴算出部２０６は、画像特徴情報書込読出部２０３を介して、画像特徴情報記憶部２３２から、１つの画像グループに属する全ての画像に対応する画像特徴情報を読み出し、読み出した画像特徴情報と、画像グループ情報受付部２１１から入力される画像グループの名称とを用いて、画像グループ特徴情報を算出する機能を有する。

画像グループ特徴情報の詳細については後述する。

また、画像グループ特徴算出部２０６は、算出した画像グループ特徴情報に、その画像グループ特徴情報を特定するための画像グループＩＤを付与する機能を有する。

画像グループ特徴情報記憶部２３３は、画像グループ特徴情報を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。

図５は、画像グループ特徴情報記憶部２３３に記憶されている各画像グループ特徴情報のデータ構造を示す図である。

同図に示されているように、画像グループ特徴情報記憶部２３３に記憶されている各画像グループ特徴情報は、対応する画像グループを示す画像グループＩＤ５０１と、対応する画像グループに属する画像の色の特徴を示す色特徴量平均５０２と、対応する画像グループに属する画像の認識顔の特徴を示す顔特徴量５０３と、対応する画像グループに属する画像の物の名称を示す物体特徴量５０４と、対応する画像グループに属する画像の枚数を示す総枚数５０５と、対応する画像グループの名称を示すグループ名５０６と、対応する画像グループが分類されているイベントのイベント名を示すイベント名５０７とから構成される。

色特徴量平均５０２は、対応する画像グループに属する画像の色特徴量の平均値であり、その画像グループの色の特徴を示すものである。

例えば、画像グループＩＤが０００１である画像グループに対応する色特徴量平均５０２は、黒４２１が１０％、青５２２が２０％、緑５２３が４０％、白５２４が３０％という画像グループであることを示している。

顔特徴量５０３は、対応する画像グループに属する画像に含まれる認識顔のＩＤからなる顔ＩＤ５３１と、対応する画像グループに属する画像の最大顔面積４４５のうち最も大きなものである総最大顔面積５３２と、対応する画像グループに属する画像の顔数４４４の総和である合計顔数５３３と、認識顔を含む画像の枚数である顔枚数５３４と、対応する画像グループに属する画像の顔数４４４のうち最も大きなものである最大顔数５３５とからなり、その画像グループに含まれる認識顔の特徴を示すものである。

例えば、画像グループＩＤが０００１である画像グループに対応する顔特徴量５０３は、顔０００１、０００２、０００３等の顔が認識され、総最大顔面積は４０％であり、合計顔数５３３は７で、顔枚数５３４は２枚であって、最大顔数５３５が５であることを示している。

物体特徴量５０４は、対応する画像グループに属する画像に含まれる認識された物体の特徴を示すものである。

例えば、画像グループＩＤが０００１である画像グループに対応する物体特徴量５０４は、対応する画像グループに属する画像には、認識された車と認識された花とが存在することを示している。

グループ名５０６は、対応する画像グループの名前を示しており、ユーザによって指定されるものである。前述した画像グループディレクトリのディレクトリ名は、このグループ名５０６によって決定されたものである。

イベント名５０７は、対応する画像グループの分類先のイベントの名前を示しており、グループ名５０６によって決定された画像グループディレクトリ名のディレクトリの所属するイベントディレクトリは、このイベント名５０７によって決定されたものである。

再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。

画像グループ特徴情報書込読出部２０４は、画像グループ特徴算出部２０６と、イベント特徴算出部２０７と、画像グループ分類部２０８と接続し、画像グループ特徴情報記憶部２３３に対して画像グループ特徴情報の読み出し、書き込みを行う機能を有する。

イベント情報受付部２１２は、イベント特徴情報書込読出部２０９と接続し、イベント特徴情報を受け付ける機能を有する。

ここで、イベント特徴情報とは、画像グループをイベントに分類するための基準となる情報であって、詳細については後述する。

イベント特徴情報記憶部２３４は、イベント特徴情報を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。

図６は、イベント特徴情報記憶部２３４に記憶されているイベント特徴情報のデータ構造を示す図である。

同図に示されているように、イベント特徴情報は、画像グループを分類するための基準を示す基準情報６０１と、その基準情報６０１によって分類される分類先のイベントを示すイベント名６１１との組によって構成されている。

以下、個々の基準情報６０１とイベント名６１１との組について説明する。

黒０．４以上６０２という基準情報と、花火というイベント名との組は、花火というイベントに分類するという基準は、色特徴量平均５０２において黒が４０％以上であるということを示す。

青０．４以上６０３という基準情報と、スキューバダイビングというイベント名との組は、スキューバダイビングというイベントに分類するという基準は、色特徴量平均５０２において青が４０％以上であるということを示す。

緑０．４以上６０４という基準情報と、ピクニックというイベント名との組は、ピクニックというイベントに分類するという基準は、色特徴量平均５０２において緑が４０％以上であるということを示す。

白０．４以上６０５という基準情報とスキーと、いうイベント名との組は、スキーというイベントに分類するという基準は、色特徴量平均５０２において白が４０％以上であるということを示す。

人数５人以上６０６という基準情報と、大人数というイベント名との組は、大人数というイベントに分類するという基準は、合計顔数５３３が５以上であるということを示す。

人数４人以下６０７という基準情報と、小人数というイベント名との組は、小人数というイベントに分類するという基準は、合計顔数５３３が４以下であるとういうことを示す。

イベント特徴情報書込読出部２０９は、イベント情報受付部２１２と、イベント特徴算出部２０７と、画像グループ分類部２０８と接続し、イベント特徴情報記憶部２３４に対して、イベント特徴情報の読み出し、書き込みを行う機能を有する。

画像グループ分類部２０８は、画像書込読出部２０２と、画像グループ特徴情報書込読出部２０４と、イベント特徴情報書込読出部２０９と、分類結果出力部２１０とに接続する。

画像グループ分類部２０８は、画像グループ特徴情報書込読出部２０４を介して、画像グループ特徴情報記憶部２３３から画像グループ特徴情報を読み出し、読み出した画像グループ特徴情報と、イベント特徴情報記憶部２３４に記憶されているイベント特徴情報とに基づいて、読み出した画像グループ特徴情報に対応する画像グループを、イベントに分類する機能を有する。

イベント特徴算出部２０７は、画像グループ特徴情報書込読出部２０４と、イベント特徴情報書込読出部２０９と接続する。

イベント特徴算出部２０７は、画像グループ特徴情報書込読出部２０４を介して、画像グループ特徴情報記憶部２３３から１以上の画像グループ特徴情報を読み出し、読み出した画像グループ特徴情報を用いて、イベント特徴情報を作成する機能を有する。

分類結果出力部２１０は、画像グループ分類部２０８と接続し、画像グループ分類部が画像グループを分類した場合に、分類結果をディスプレイ１９３に表示させる機能を有する。

以上のように構成される画像分類装置１００の行う動作について、以下、図面を用いて説明する。

＜動作＞
画像分類装置１００の行う主な動作として、画像グループに属する画像を入力され、入力された画像グループをイベントに分類する画像グループ分類動作と、２以上の画像グループを指定され、指定された画像グループに共通の特徴を抽出することによって、新たにイベント特徴情報を生成するイベント特徴情報生成動作とがある。

以下、それぞれの動作について、図面を用いて説明する。

＜画像グループ分類動作＞
図７は、画像分類装置１００の行う画像グループ分類動作のフローチャートである。

リモコン１９７が、ユーザから画像グループ分類動作を開始する旨の操作を受け付けることで、画像分類装置１００は画像グループ分類動作の処理を開始する。

画像グループ分類動作の処理が開始されると、画像グループデータ受付部２０１は、１つの画像グループの画像の読み込みを開始し、画像グループ情報受付部２１１は、その画像グループの名称の受け付けを開始する（ステップＳ７００）。

画像グループデータ受付部２０１は、外部記録媒体読取書込装置１４０に装着された外部記録媒体から、又は、ＵＳＢ制御装置１５０に接続されたＵＳＢケーブル１９５を介して外部機器から、もしくは、ネットワーク１９４に接続された通信装置１８０から、画像を読み込むことができる。

ここでは、例えば、外部記憶媒体としてのＳＤメモリカード１９１に記録されている画像グループの画像を、外部記録媒体読取書込装置１４０から読み込むものとする。

画像グループデータ受付部２０１は、ＳＤメモリカード１９１に記録されている画像を１枚ずつ読み込んで、読み込んだ画像に対して、シーケンシャルに画像ＩＤを付与し、画像書込読出部を用いて、画像記憶部２３１の実データ保管ディレクトリ３２４に書き込む。

画像グループ情報受付部２１１は、ユーザからのリモコン１９７の操作によって、画像グループの名称を受け付ける。

画像を画像記憶部２３１に画像グループに属する画像が全て書き込まれると、画像特徴算出制御部２２１は、画像書込読出部２０２を用いて、画像グループデータ受付部２０１によって受け付けられた画像グループに属する画像を１枚ずつ読み出していく（ステップＳ７０５）。

顔特徴量抽出部２２２は、画像特徴算出制御部２２１によって読み出された１枚の画像について、保持する顔のモデルを参照することで、１枚の画像に含まれる顔の認識を試み、認識した顔の個数と、画像全体の面積に対する認識した顔の領域の面積の比率とを顔特徴量として算出する（ステップＳ７１０）。

色特徴量抽出部２２３は、顔特徴量抽出部２２２によって顔特徴量が算出されると、画像に含まれる各画素について、その画素の色成分の各輝度から、その画素の色を特定し、特定された色のそれぞれに対して、画像に含まれる全画素数に対するその色に特定された画素数の比率とを色特徴量として算出する（ステップＳ７１５）。

物体特徴量抽出部２２４は、色特徴量抽出部２２３によって色特徴量が算出されると、保持する物のモデルを参照することで、１枚の画像に含まれる物の認識を試み、物の認識に成功した場合に、その認識した物の名称を物体特徴量として算出する（ステップＳ７２０）。

その後、画像特徴算出制御部２２１は、算出された顔特徴量と、色特徴量と、物体特徴量とから画像特徴情報を算出して、画像特徴情報書込読出部２０３を用いて、算出した画像特徴情報を画像特徴情報記憶部２３２に書き込む（ステップＳ７２５）。

画像特徴算出制御部２２１は、画像グループデータ受付部２０１が受け付けた１つの画像グループの全ての画像に対して、画像特徴情報の算出を終了していない場合（ステップＳ７３０：Ｎｏ）には、まだ画像特徴情報の算出を終了していない画像に対して、再びステップＳ７０５の処理を開始する。

画像特徴算出制御部２２１は、画像グループデータ受付部２０１が受け付けた全ての画像に対して、画像特徴情報の算出を終了した場合（ステップＳ７３０：Ｙｅｓ）には、画像グループ特徴算出部２０６は、画像特徴情報記憶部２３２が記憶している、画像グループデータ受付部２０１が読み込んだ画像グループに属する画像に対応する全ての画像特徴情報を、画像特徴情報書込読出部２０３を用いて読み出す。

画像グループ特徴算出部２０６は、画像グループに属する画像に対応する全ての画像特徴情報を読み出すと、画像グループに属する画像の全ての認識顔のＩＤからなる顔ＩＤと、画像グループに属する画像の最大顔面積のうち最も大きなものである総最大顔面積と、画像グループに属する画像の顔数の総和である合計顔数と、認識顔を含む画像の枚数である顔枚数と、画像グループに属する画像の顔数のうち最も大きなものである最大顔数とからなる画像グループの顔特徴量を算出する（ステップＳ７３５）。

画像グループ特徴算出部２０６は、さらに、画像グループに属する画像の色特徴量の色毎の平均値を計算し、計算した色毎の平均値からなる画像グループの色特徴量平均を算出し（ステップＳ７４０）、画像グループに属する画像に含まれる認識された物体の全ての名称からなる画像グループの物体特徴量を算出する（ステップＳ７４５）。

その後、画像グループ特徴算出部２０６は、算出した画像グループの顔特徴量と、算出した画像グループの色特徴量平均と、算出した物体特徴量と、画像グループ情報受付部２１１によって受け付けられた画像グループの名称とを用いて、画像グループ特徴情報を算出して、算出した画像グループ特徴情報を、画像グループ特徴情報書込読出部２０４を用いて、画像グループ特徴情報記憶部２３３に書き込む（ステップＳ７５０）。

画像グループ分類部２０８は、画像グループ特徴情報書込読出部２０４を用いて、先ほど書き込まれた画像グループ特徴情報を読み出し、イベント特徴情報書込読出部２０９を用いて、イベント特徴情報記憶部２３４に記録されているイベント特徴情報を読み出す。

さらに、画像グループ分類部２０８は、読み出された画像グループ特徴情報とイベント特徴情報とを比較して（ステップＳ７５５）、画像グループ特徴情報を構成する構成要素の中に、イベント特徴情報を構成する基準情報を満たすものを見つける場合には、その読み出された画像グループ特徴情報に対応する画像グループが分類されるべきイベントは、その見つけた基準情報に対応するイベントであるとする。

画像グループ分類部２０８は、該当するイベント特徴情報を見つけなかった場合には、その読み出された画像グループ特徴情報に対応する画像グループが分類されるべきイベントは、その他のイベントというイベントであるとする。

画像グループ分類部２０８は、分類されるべきイベントを決定すると、画像書込読出部２０２を用いて、画像記憶部２３１の分類されるべきイベントに対応するイベントディレクトリの下に、画像グループの名称と同一名称の画像グループディレクトリを作成して、その画像グループディレクトリの下に、画像グループに属する全ての画像のデータのアドレスを示す情報を保持させることで、その画像グループに属する全ての画像のデータがリンクされている状態とすることで、画像グループを分類する（ステップＳ７６０）。

その後、分類結果出力部２１０は、画像グループ分類部２０８によって算出された分類されるべきイベントのイベント名を、画像グループ情報受付部２１１が受け付けた画像グループの名称と共にディスプレイ１９３に表示させて、画像分類装置１００は、その画像グループ分類動作を終了する。

＜画像グループ分類動作の具体例＞
以下、画像グループ分類動作についての具体例について、特にステップＳ７５５、ステップＳ７６０において、画像グループ分類部２０８が行う、画像グループを分類する処理について図面を用いて説明する。

図８（ａ）に、ユーザによって撮影された写真である画像８０１〜８０４を構成要素とする画像グループ８００を示す。
この画像グループ８００は、例えば、画像グループの名称を箱根２００８夏とする画像グループであって、画像グループＩＤが００１０であるものとする。

画像８０１〜８０４は、森の中で撮影されたものが多く、中には湖のほとりで撮影された画像８０４も含まれているが、木々の葉の色が示す面積が大きいので、画像グループ８００に含まれる画像に含まれる色としては緑が多く含まれている。

図８（ｂ）に、ユーザによって撮影された写真である画像８２１〜８２３を構成要素とする画像グループ８２０を示す。
この画像グループ８２０は、例えば、画像グループの名称をニセコ２００９冬とする画像グループであって、画像グループＩＤが００１１であるものとする。

画像８２１〜８２３は雪が積もっているスキー場を背景として撮影されたものが多いので、画像グループ８２０に含まれる画像の色としては雪の色である白が多く含まれている。

図８（ｃ）に、ユーザによって撮影された写真である画像８４１、８４２を構成要素とする画像グループ８４０を示す。

この画像グループ８４０は、例えば、画像グループの名称を宮古島２００９夏とする画像グループであって、画像グループＩＤが００１２であるものとする。

画像８４１、８４２は海の中で撮影されたものが多いので、画像グループ８４０に含まれる画像の色としては海の水の色である青が多く含まれている。

図９は、画像グループ特徴情報記憶部２３３に記憶されている、画像グループＩＤが００１０、００１１、００１２の画像グループに対応する画像グループ特徴情報のデータ構造を示す図である。

ステップＳ７５５において、画像グループ分類部２０８が、画像グループ特徴情報記憶部２３３から、画像グループＩＤが００１０である画像グループ特徴情報を読み出した場合には、読み出した画像グループＩＤが００１０である画像グループ特徴情報とイベント特徴情報記憶部２３４から読み出したイベント特徴情報（図６参照）とを比較する。

画像グループＩＤ００１０の画像グループ特徴情報は、色特徴量平均５０２において緑５２３が０．４であって、顔特徴量５０３において合計顔数５３３が７であるため、画像グループ分類部２０８は、画像グループＩＤ００１０である画像グループ特徴情報が、緑０．４以上６０４という基準情報６０１と、人数５人以上６０６という基準情報６０１とに該当すると判断し、画像グループＩＤ００１０である画像グループは、図６に示される、ピクニックというイベントと、大人数というイベントとに分類されるべきであると算出する。

その後、画像グループ分類部２０８は、画像書込読出部２０２を用いて、画像記憶部２３１のピクニックイベントディレクトリ３２２というイベントディレクトリの下に、箱根２００８夏という名称の画像グループディレクトリを作成し、作成した箱根２００８夏というディレクトリの下に、画像８０１〜８０４に対応する画像データへのリンクを作成する。

また、画像グループ分類部２０８は、画像書込読出部２０２を用いて、画像記憶部２３１の図示していない大人数というイベントディレクトリの下に、箱根２００８夏という名称の画像グループディレクトリを作成し、作成した箱根２００８夏というディレクトリの下に、画像８０１〜８０４に対応する画像データへのリンクを作成する。

ステップＳ７５５において、画像グループ分類部２０８が、画像グループ特徴情報記憶部２３３から、画像グループＩＤが００１１である画像グループ特徴情報を読み出した場合には、読み出した画像グループＩＤが００１１である画像グループ特徴情報とイベント特徴情報記憶部２３４から読み出したイベント特徴情報とを比較する。

画像グループＩＤ００１１の画像グループ特徴情報は、色特徴量平均５０２において白５２４が０．５であって、顔特徴量５０３において合計顔数５３３が４であるため、画像グループ分類部２０８は、画像グループＩＤ００１０である画像グループ特徴情報が、白０．４以上６０５という基準情報６０１と、人数４人以下６０７という基準情報６０１とに該当すると判断し、画像グループＩＤ００１１である画像グループは、スキーというイベントと、小人数というイベントとに分類されるべきであると算出する。

その後、画像グループ分類部２０８は、画像書込読出部２０２を用いて、画像記憶部２３１のスキーイベントディレクトリ３２３というイベントディレクトリの下に、ニセコ２００９冬という名称の画像グループディレクトリを作成し、作成したニセコ２００９冬というディレクトリの下に、画像８２１〜８２３に対応する画像データへのリンクを作成する。

また、画像グループ分類部２０８は、画像書込読出部２０２を用いて、画像記憶部２３１の図示していない小人数というイベントディレクトリの下に、ニセコ２００９冬という名称の画像グループディレクトリを作成し、作成したニセコ２００９冬というディレクトリの下に、画像８２１〜８２３に対応する画像データへのリンクを作成する。

ステップＳ７５５において、画像グループ分類部２０８が、画像グループ特徴情報記憶部２３３から、画像グループＩＤが００１２である画像グループ特徴情報を読み出した場合には、読み出した画像グループＩＤが００１２である画像グループ特徴情報とイベント特徴情報記憶部２３４から読み出したイベント特徴情報とを比較する。

画像グループＩＤ００１２の画像グループ特徴情報は、色特徴量平均５０２において青５２２が０．８であって、顔特徴量５０３において合計顔数５３３が２であるため、画像グループ分類部２０８は、画像グループＩＤ００１２である画像グループ特徴情報が、青０．４以上６０３という基準情報６０１と、人数４人以下６０７という基準情報６０１（図６参照）とを満たすと判断し、画像グループＩＤ００１２である画像グループは、スキューバダイビングというイベントと、小人数というイベントとに分類されるべきであると算出する。

その後、画像グループ分類部２０８は、画像書込読出部２０２を用いて、画像記憶部２３１の図示していないスキューバダイビングイベントというイベントディレクトリの下に、宮古島２００９夏という名称の画像グループディレクトリを作成し、作成した宮古島２００９夏というディレクトリの下に、画像８４１、８４２に対応する画像データへのリンクを作成する。

また、画像グループ分類部２０８は、画像書込読出部２０２を用いて、画像記憶部２３１の図示していない小人数というイベントディレクトリの下に、宮古島２００９夏という名称の画像グループディレクトリを作成し、作成した宮古島２００９夏というディレクトリの下に、画像８４１、８４２に対応する画像データへのリンクを作成する。

次に、画像分類装置１００の行う、イベント特徴情報生成動作について、図面を用いて説明する。

＜イベント特徴情報生成動作＞
図１０は、画像分類装置１００の行うイベント特徴情報生成動作のフローチャートである。

リモコン１９７が、ユーザからイベント特徴情報生成動作を開始する旨の操作を受け付けることで、イベント特徴情報生成動作を開始する。

イベント特徴情報生成動作が開始されると、画像グループ情報受付部２１１は、ユーザから、画像グループＩＤの指定を受け付け（ステップＳ１０００）、イベント情報受付部２１２は、新たに作成するイベント特徴情報に対応するイベント名を受け付ける。

画像グループ特徴算出部２０６は、画像グループ特徴情報書込読出部２０４を用いて、画像グループ特徴情報記憶部２３３から、受け付けた画像グループＩＤに対応する画像グループ特徴情報を読み出し、読み出した画像グループ特徴情報をイベント特徴算出部２０７に送る。

イベント特徴算出部２０７は、受け取った画像グループ特徴情報から、共通する特徴の算出を試みる（ステップＳ１０１０）。

ここで、イベント特徴算出部２０７の行う共通する特徴の算出とは、例えば、画像グループ特徴情報の色特徴量平均５０２のうち、ある色の値が、全ての画像グループにおいて０．４以上である場合に、その色を共通特徴とすることである。

ステップＳ１０１０において、指定された全ての画像グループに対応する画像グループ特徴情報において、色特徴量平均５０２のうち、０．４以上の割合の色が同じ色（例えば、仮にＸ色とする）である場合に（ステップＳ１０１０：Ｙｅｓ）、新たに、基準情報６０１として、Ｘ色０．４以上という基準情報を作成し、イベント情報受付部２１２によって受け付けられたイベント名を対応するイベント名とする。

イベント特徴算出部２０７は、作成した基準情報を、イベント名と対応付けて、イベント特徴情報書込読出部２０９を用いて、イベント特徴情報記憶部２３４に記憶させる（ステップＳ１０２０）。

ステップＳ１０１０において、共通する特徴を算出しなかった場合（ステップＳ１０１０：Ｎｏ）と、ステップＳ１０２０の処理が終了した場合には、画像分類装置１００は、そのイベント特徴情報生成動作を終了する。

＜イベント特徴情報生成動作の具体例＞
以下、イベント特徴情報生成動作についての具体例について、図面を用いて説明する。

図１１は、画像グループ特徴情報記憶部２３３に記憶されている、画像グループＩＤが０００１、００１０の画像グループに対応する画像グループ特徴情報のデータ構造を示す図である。

ステップＳ１０００において、画像グループ情報受付部２１１は、ユーザから、画像グループＩＤ０００１と００１０との指定を受け付け、イベント情報受付部２１２は、新たに作成するイベント特徴情報に対応するイベント名として、例えば、ピクニックを受け付けた場合に、イベント特徴算出部は２０７、画像グループ特徴情報記憶部２３３に記憶されている画像グループＩＤ０００１と００１０との画像グループ特徴情報を受け取る。

以下図１０を用いてイベント特徴情報生成動作の具体例を説明する。

イベント特徴算出部２０７は、受け取った画像グループ特徴情報から、共通する特徴の算出を試みる（ステップＳ１０１０）と、画像グループＩＤが０００１の画像グループ特徴情報における色特徴量平均５０２の緑５２３の割合が０．４であり、画像グループＩＤが００１０の画像グループ特徴情報における色特徴量平均５０２の緑５２３の割合が０．４であることから（ステップＳ１０１０：Ｙｅｓ）、共通特徴として、緑０．４以上という基準情報を作成する。

その後、イベント特徴算出部２０７は、緑０．４以上という基準情報と、ピクニックというイベント名と対応付けて、イベント特徴情報書込読出部２０９を用いて、イベント特徴情報記憶部２３４に記憶させる（ステップＳ１０２０）。

ステップＳ１０２０の処置が終了すると、画像分類装置１００は、そのイベント特徴情報生成動作を終了する。
＜実施の形態２＞
以下、本発明に係る画像分類装置の一実施形態として、実施の形態１で説明した画像分類装置１００の一部を変形し、記憶する全ての画像に含まれる認識される顔を、家族、友人、他人のいずれか１つに判定する機能が追加されている画像分類装置１２００について説明する。

また、この画像分類装置１２００の記憶する画像グループ特徴情報には、家族、友人、他人という判定に基づいた顔特徴量が含まれている。

＜構成＞
＜画像分類装置１２００のハードウエア構成＞
画像分類装置１２００のハードウエア構成は、画像分類装置１００のハードウエア構成と同一である。従って、ここでは説明を省略する。

＜画像分類装置１２００の機能構成＞
図１２は、画像分類装置１２００の主要な機能ブロック構成を示す機能ブロック図である。

実施の形態１における画像分類装置１００との相違点は、新たに、顔対応表（後述）を記憶するための記憶領域である顔対応表記憶部１２０１が追加され、画像グループ特徴情報記憶部２３３が、実施の形態１の画像グループ特徴情報とその構成要素の一部が異なる画像グループ特徴情報を記憶するためのものである画像グループ特徴情報記憶部１２３３に変形され、イベント特徴情報記憶部２３４が、実施の形態１のイベント特徴情報とその構成要素の一部が異なるイベント特徴情報を記憶するためのものであるイベント特徴情報記憶部１２３４に変形され、画像グループ特徴算出部２０６が、新たな機能（後述）を追加された画像グループ特徴算出部１２０６に変形されている点である。

以下、実施の形態１における画像分類装置１００と同一の部分の説明を省略し、上述の相違点について説明する。

画像グループ特徴算出部１２０６は、実施の形態１における画像グループ特徴算出部２０６に、新たに顔区分機能と、顔集団判定機能と、顔対応表更新機能と、顔対応表読み出し機能等とを付け加えるように変形されたものである。

顔区分機能とは、画像特徴情報記憶部２３２に記録されている画像特徴情報に含まれる全ての顔ＩＤによって示される認識顔に対して、顔の特徴を抽出し、抽出された顔の特徴に基づいて、同一人物であると判断される認識顔が同一の集合になるように、認識顔を区分し、区分された各認識顔群の集合に、その集合を特定するためのラベルを付与する機能である。

ここで、顔の特徴とは、例えば、目、鼻、口等の顔を形成するパーツの相対的な位置関係や、これらパーツの面積比率等のことである。

顔集団判定機能とは、顔区分機能が実行されることによって同一人物として区分された顔の集団が、家族、友人、又は、他人のうちのいずれかであると判定する機能である。

同一人物として区分された認識顔を家族であると判定する基準は、その同一人物として区分された認識顔が、複数の画像グループに存在する場合である。

また、同一人物として区分された認識顔を友人であると判定する基準は、その同一人物として区分された認識顔が、単一の画像グループにのみ存在し、かつ、同一人物として区分された認識顔の数が２つ以上存在する場合である。

さらに、同一人物として区分された認識顔を他人であると判定する基準は、家族でないと判定され、かつ、友人でないと判定された同一人物として区分された認識顔であって、すなわち、その同一人物として区分された認識顔が、１つしか存在しない場合である。

顔対応表更新機能とは、顔区分機能と顔集団判定機能とが実行された場合に、顔区分機能と顔集団判定機能との実行結果に基づいて、後述の顔対応表を作成し、作成した顔対応表で、顔対応表記憶部１２０１に記憶されている顔対応表を更新する機能である。

顔対応表読み出し機能とは、顔対応表記憶部１２０１に記憶されている顔対応表を読み出す機能である。

顔対応表記憶部１２０１は、顔対応表を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。

図１３は顔対応表記憶部１２０１に記憶されている顔対応表のデータ構造を示す図である。

同図に示されるように、顔対応表記憶部１２０１に記憶されている顔対応表は、同一人物であるとして区分された認識顔の集団を特定するためのラベル１３０１と、同一人物であると区分された認識顔の集団が、家族、友人、又は、他人のうちのいずれかであると判定されたかを示す判定結果１３０２と、同一人物であるとして区分された認識顔の集団に属する認識顔のＩＤを示す顔ＩＤ１３０３〜１３０５とから構成される。

例えば、ラベル１３０１がＡであるとして区分された認識顔の集団は、家族であると判定された人物の顔として区分されたものであって、顔ＩＤ０００１、顔ＩＤ０００３、顔ＩＤ０１０１等によって示される認識顔が属するものであることを示している。

図１４は、画像グループ特徴情報記憶部１２３３に記憶されている各画像グループ特徴情報のデータ構造を示す図である。

同図に示されているように、画像グループ特徴情報記憶部１２３３に記憶されている各画像グループ特徴情報は、対応する画像グループを示す画像グループＩＤ１４０１と、対応する画像グループに属する画像がグループの認識顔の特徴を示す顔特徴量１４０２と、対応する画像グループに属する画像の枚数を示す総枚数１４０３と、対応する画像グループの名称を示すグループ名１４０４と、対応する画像グループが分類されているイベントのイベント名を示すイベント名１４０５とから構成される。

顔特徴量１４０２は、家族であると判定された人物の認識顔（以後、家族の顔とよぶ。）に係る情報と、友人であると判定された人物の認識顔（以後、友人の顔とよぶ。）に係る情報と、他人であると判定された人物の認識顔（以後、他人の顔とよぶ。）に関する情報とによって構成されている。

家族の顔に係る情報は、対応する画像グループに属する画像に含まれる家族の顔の顔ＩＤである家族顔ＩＤ１４２１と、対応する画像グループに属する画像に含まれる家族の顔のうち、最も顔面積率の大きなものである家族最大顔面積１４２２と、１枚の画像の中に含まれる家族の顔の数のうち、最大の数である家族最大顔数１４２３と、対応する画像グループに属する画像の枚数に対する、家族の顔を含む画像の枚数の比率である家族顔枚数率１４２４と、１枚の画像に含まれる家族の顔の数の平均である家族顔数率１４２５と、各画像における家族の顔のうち、最も顔面積率の大きなものである家族最大顔面積率を、家族の顔を含む画像の枚数で除算したものである家族顔面積率１４２６とからなる。

もし、画像グループに属する画像の中に、家族の顔が存在しない場合には、家族顔ＩＤ１４２１は該当ＩＤなしとなり、家族最大顔面積１４２２と、家族最大顔数１４２３と、家族顔枚数率１４２４と、家族顔数率１４２５と、家族顔面積率１４２６とは０となる。

友人の顔に係る情報は、対応する画像グループに属する画像に含まれる友人の顔の顔ＩＤである友人顔ＩＤ１４３１と、対応する画像グループに属する画像に含まれる友人の顔のうち、最も顔面積率の大きなものである友人最大顔面積１４３２と、１枚の画像の中に含まれる友人の顔の数のうち、最大の数である友人最大顔数１４３３と、対応する画像グループに属する画像の枚数に対する、友人の顔を含む画像の枚数の比率である友人顔枚数率１４３４と、１枚の画像に含まれる友人の顔の数の平均である友人顔数率１４３５と、各画像における友人の顔のうち、最も顔面積率の大きなものである友人最大顔面積率を、友人の顔を含む画像の枚数で除算したものである友人顔面積率１４３６とからなる。

もし、画像グループに属する画像の中に、友人の顔が存在しない場合には、友人顔ＩＤ１４３１は該当ＩＤなしとなり、友人最大顔面積１４３２と、友人最大顔数１４３３と、友人顔枚数率１４３４と、友人顔数率１４３５と、友人顔面積率１４３６とは０となる。

他人の顔に係る情報は、対応する画像グループに属する画像に含まれる他人の顔の顔ＩＤである他人顔ＩＤ１４４１と、対応する画像グループに属する画像に含まれる他人の顔のうち、最も顔面積率の大きなものである他人最大顔面積１４４２と、１枚の画像の中に含まれる他人の顔の数のうち、最大の数である他人最大顔数１４４３と、対応する画像グループに属する画像の枚数に対する、他人の顔を含む画像の枚数の比率である他人顔枚数率１４４４と、１枚の画像に含まれる他人の顔の数の平均である他人顔数率１４４５と、各画像における友人の顔のうち、最も顔面積率の大きなものである他人最大顔面積率を、他人の顔を含む画像の枚数で除算したものである他人顔面積率１４４６とからなる。

もし、画像グループに属する画像の中に、他人の顔が存在しない場合には、他人顔ＩＤ１４４１は該当ＩＤなしとなり、他人最大顔面積１４４２と、他人最大顔数１４４３と、他人顔枚数率１４４４と、他人顔数率１４４５と、他人顔面積率１４４６とは０となる。

例えば、画像グループＩＤが００２０である画像グループに対応する顔特徴量１４０２は、家族顔ＩＤ０００１、０００２の顔が認識され、家族最大顔面積は４０％であり、家族最大顔数は２枚であり、家族顔枚数率は１００％であり、家族顔枚数率は１．５であり、家族顔面積率は３０％であり、友人の顔と他人の顔とが存在していないことを示している。

図１５は、イベント特徴情報記憶部１２３４に記録されているイベント特徴情報のデータ構造を示す図である。

同図に示されているように、イベント特徴情報は、画像グループを分類するための基準を示す基準情報１５０１と、その基準情報１５０１によって分類される分類先のイベントを示すイベント名１５１１との組によって構成されている。

以下、個々の基準情報１５０１とイベント名１５１１との組について説明する。

家族顔面積率０．１以上という基準情報と、誕生会というイベント名との組は、誕生会というイベントに分類するという基準は、家族顔面積率１４２６が１０％以上であるということを示す。

この基準は、誕生会とは、家族の誕生日を祝う場合が多く、また、誕生日を迎えた家族の顔のアップが多くなるであると想定されることに基づいている。

家族以外の顔枚数率０．５未満、家族以外の顔数率１未満、家族以外の最大顔数３未満という基準情報と、昆虫採集というイベント名との組は、昆虫採集というイベントに分類するという基準は、家族以外の顔枚数率が５０％未満で、かつ、家族以外の顔数率が１未満で、かつ、家族以外の最大顔数が３未満であるということを示す。

この基準は、昆虫採集とは、撮影対象が昆虫や背景である草木である場合が多く、撮影対象に同行する家族が入っている可能性があるが、撮影対象に家族以外の人物が入っている可能性は低いと想定されることに基づいている。

家族以外の顔枚数率０．８以上、家族以外の顔数率１．５以上、家族以外の最大顔数３以上という基準情報と、運動会というイベント名との組は、運動会というイベントに分類するという基準は、家族以外の顔枚数率が８０％以上で、かつ、家族以外の顔数率が１．５以上で、かつ、家族以外の最大顔数が３以上であるということを示す。

この基準は、運動会とは、学校で行われる行事なので、家族も撮影対象に含まれている可能性があるが、少なくとも、学校のクラスメート等といった家族以外の人物が多数撮影されていると想定されることに基づいている。

以下、上述のように構成される画像分類装置１２００の行う動作について説明する。

＜動作＞
画像分類装置１２００の行う主な動作として、実施の形態１の画像分類装置１００の行う主な動作に加えて、画像特徴情報記憶部２３２に記録されている全ての画像特徴情報に含まれる全ての顔ＩＤによって示される認識顔に対して、顔の特徴を抽出し、抽出された顔の特徴に基づいて、同一人物である顔に同一のラベルを付与し、同一のラベルを付与された顔の集団が、家族、友人、又は、他人のうちのいずれかであると判定することで顔対応表を生成し、生成した顔対応表で、顔対応表記憶部１２０１で記憶されている顔対応表を更新する顔対応表生成動作がある。

また、画像分類装置１２００の行う主な動作のうちの１つである画像グループ分類動作は、実施の形態１の画像分類装置１００の行う動作の一部が変更されたものとなっている。

以下、それぞれの動作について、図面を用いて説明する。

＜顔対応表生成動作＞
図１６は、画像分類装置１２００が行う顔対応表生成動作のフローチャートである。

画像分類装置１２００は、画像グループ分類動作において、画像グループデータ受付部２０１によって読み込まれた画像が、画像記憶部２３１に記録され、対応する画像特徴情報が、画像特徴情報記憶部２３２に記録されると、顔対応表生成動作を開始する。

顔対応表生成動作が開始されると、画像グループ特徴算出部１２０６は、画像特徴情報書込読出部２０３を用いて、画像特徴情報記憶部２３２に記憶されている全ての画像特徴情報を読み出す。

画像グループ特徴算出部１２０６は、読み出した全ての画像特徴情報から、認識顔の顔ＩＤと、その顔ＩＤによって特定される顔の領域の座標と、その顔ＩＤを含む画像特徴情報に対応する画像ＩＤとを抽出する（ステップＳ１６００）。

画像グループ特徴算出部１２０６は、画像書込読出部２０２を用いて画像記憶部２３１から、顔ＩＤを含む画像特徴情報に含まれる画像ＩＤによって特定される画像を読み出して、抽出された顔ＩＤに対応する顔の領域の座標によって特定される顔の領域の全てに対して、顔の特徴を抽出する（ステップＳ１６０３）。

画像グループ特徴算出部１２０６は、抽出した顔の特徴のうち、同じ顔の特徴を持つ顔の集団を同一人物の顔であると判断し、同一人物であると判断される認識顔が同一の集合になるように、認識顔を区分し、区分された各認識顔群の集合に、その集合を特定するためのラベルを付与する（ステップＳ１６０５）。

その後、画像グループ特徴算出部１２０６は、１つの画像グループを選択し（ステップＳ１６１０）、その画像グループの中に含まれる認識顔に付与されているラベルのうちの１つのラベルを選択し（ステップＳ１６１５）、選択したラベルが付与されている認識顔が、他の画像グループに存在するか否かを検索する（ステップＳ１６２０）。

検索した結果、選択したラベルが付与されている認識顔が、他の画像グループに存在する場合に（ステップＳ１６２０：Ｙｅｓ）、画像グループ特徴算出部１２０６は、その選択したラベルが付与されている、同一人物として区分された認識顔を家族であると判定する（ステップＳ１６２５）。

ステップＳ１６２０において、検索した結果、選択したラベルが付与されている認識顔が、他の画像グループに存在しない場合に（ステップＳ１６２０：Ｎｏ）、画像グループ特徴算出部１２０６は、さらに、その選択したラベルが付与されている認識顔が、複数存在するか否かを検索する（ステップＳ１６３０）。

検索した結果、その選択したラベルが付与されている認識顔が、複数存在する場合に（ステップＳ１６３０：Ｙｅｓ）、画像グループ特徴算出部１２０６は、その選択したラベルが付与されている、同一人物として区分された認識顔を友人であると判定する（ステップＳ１６３５）。

ステップＳ１６３０において、検索した結果、選択したラベルが付与されている認識顔が、１つしか存在しない場合に（ステップＳ１６３０：Ｎｏ）、画像グループ特徴算出部１２０６は、その選択したラベルが付与されている顔を他人であると判定する（ステップＳ１６４０）。

ステップＳ１６２５の処理が終了した場合、ステップＳ１６３５の処理が終了した場合、又は、ステップＳ１６４０の処理が終了した場合に、画像グループ特徴算出部１２０６は、選択した画像グループのラベルの中に、未選択のラベルが残っているか否かを調べ（ステップＳ１６４５）、未選択のラベルが残っている場合に（ステップＳ１６４５：Ｎｏ）、画像分類装置１２００は、未選択のラベルが無くなるまで、ステップＳ１６１５〜ステップＳ１６４５：Ｎｏの処理を繰り返す。

ステップＳ１６４５において、未選択のラベルが残っていない場合に（ステップＳ１６４５：Ｙｅｓ）、画像グループ特徴算出部１２０６は、未選択の画像グループが残っているか否かを調べ（ステップＳ１６５０）、未選択の画像グループが残っている場合に（ステップＳ１６５０：Ｎｏ）、画像分類装置１２００は、未選択の画像グループが無くなるまで、ステップＳ１６１０〜ステップＳ１６５０：Ｎｏの処理を繰り返す。

ステップＳ１６５０において、未選択の画像グループが残っていない場合に（ステップＳ１６４０：Ｙｅｓ）、画像特徴情報記憶部２３２は、ラベル毎に、そのラベルと、そのラベルに区分された顔の集団が家族、友人、又は、他人のうちのいずれかであると判断したかを示す判定結果と、そのラベルを付与された顔ＩＤとを関連付けて顔対応表を作成し、作成した顔対応表で、顔対応表記憶部１２０１に記憶されている顔対応表を更新する（ステップＳ１６５５）。

ステップＳ１６５５の処理が終了すると、画像分類装置１２００は、その顔対応表生成動作を終了する。

以下、同一人物であると区分された認識顔の集団が、家族である場合と、友人である場合と、他人である場合について、具体例を用いて補足説明を行う。

図１７は、画像グループ１７００と、画像グループ１７２０と、画像グループ１７４０とに属する画像を示す図である。

画像１７０１〜画像１７０４は、画像グループ１７００に属する画像であり、画像１７２１〜画像１７２４は、画像グループ１７２０に属する画像であり、画像１７４１、画像１７４２は、画像グループ１７４０に属する画像である。

画像に含まれる認識顔のうち、顔１７１１、顔１７１２、顔１７１５、顔１７３２、顔１７３９、顔１７５１は、画像グループ特徴算出部１２０６によって同一人物であると判定された認識顔であって、例えば、ラベルＥが付与されているものであるとする。

画像に含まれる認識顔のうち、顔１７１３、顔１７３１は、画像グループ特徴算出部１２０６によって同一人物であると判定された認識顔であって、例えば、ラベルＦが付与されているものであるとする。

画像に含まれる認識顔のうち、顔１７３３、顔１７３６、顔１７３７は、画像グループ特徴算出部１２０６によって同一人物であると判定された認識顔であって、例えば、ラベルＧが付与されているものであるとする。

画像に含まれる認識顔のうち、顔１７１４と、顔１７３４と、顔１７３５と、顔１７３８と、顔１７５２とは、それぞれ、画像グループ特徴算出部１２０６によって同一人物であると区分された認識顔が、他に存在しないものである。

以下、画像分類装置１２００に記憶されている画像が、仮に、画像１７０１〜画像１７０４、画像１７２１〜画像１７２４、画像１７４１、画像１７４２のみであるとして話を進める。

ラベルＥが付与された認識顔は、画像グループ１７００と、画像グループ１７２０と、画像グループ１７４０とに含まれているため、画像グループ特徴算出部１２０６によって、家族であると判定される。

ラベルＦが付与された認識顔は、画像グループ１７００と、画像グループ１７２０とに含まれているため、画像グループ特徴算出部１２０６によって、家族であると判定される。

ラベルＧが付与された認識顔は、画像グループ１７２０の中にのみ存在し、かつ、同一人物として区分された顔が複数あるため、画像グループ特徴算出部１２０６によって、友人であると判定される。

顔１７１４と、顔１７３４と、顔１７３５と、顔１７３８と、顔１７５２とは、それぞれ、画像グループ特徴算出部１２０６によって同一人物であると区分された認識顔が、他に存在しないものであるため、画像グループ特徴算出部１２０６によって、他人であると判定される。

次に、画像分類装置１２００の行う、画像グループ分類動作について、図面を用いて説明する。

＜画像グループ分類動作＞
図１８は、画像分類装置１２００の行う、画像グループ分類動作のフローチャートである。

リモコン１９７が、ユーザから画像グループ分類動作を開始する旨の操作を受け付けることで、画像分類装置１２００は画像グループ分類動作を開始する。

ステップＳ１８００〜ステップＳ１８３０：Ｙｅｓまでの動作は、実施の形態１の画像分類装置１００の行う画像グループ分類動作におけるステップＳ７００〜ステップＳ７３０：Ｙｅｓ（図７参照）までの動作と同一であるため、ここでは説明を省略する。

ステップＳ１８３０において、画像グループデータ受付部２０１が受け付けた全ての画像に対して、画像特徴情報の算出を終了した場合（ステップＳ１８３０：Ｙｅｓ）に、画像分類装置１２００は、上述の顔対応表生成動作を行う（ステップＳ１８３３）。

顔対応表生成動作が終了すると、画像グループ特徴算出部１２０６は、画像特徴情報記憶部２３２が記憶している、画像グループデータ受付部２０１が読み込んだ画像グループに属する画像に対応する全ての画像特徴情報を、画像特徴情報書込読出部２０３を用いて読み出す。

画像グループ特徴算出部１２０６は、画像グループに属する画像に対応する全ての画像特徴情報を読み出すと、顔対応表記憶部１２０１に記憶されている顔対応表を参照しながら、家族の顔特徴量として、対応する画像グループに属する画像に含まれる家族の顔の顔ＩＤである家族顔ＩＤ１４２１と、対応する画像グループに属する画像に含まれる家族の顔のうち、最も顔面積率の大きなものである家族最大顔面積１４２２と、１枚の画像の中に含まれる家族の顔の数のうち、最大の数である家族最大顔数１４２３と、対応する画像グループに属する画像の枚数に対する、家族の顔を含む画像の枚数の比率である家族顔枚数率１４２４と、１枚の画像に含まれる家族の顔の数の平均である家族顔数率１４２５と、各画像における家族の顔のうち、最も顔面積率の大きなものである家族最大顔面積率を、家族の顔を含む画像の枚数で除算したものである家族顔面積率１４２６とを算出する（ステップＳ１８３５）。

次に、画像グループ特徴算出部１２０６は、顔対応表記憶部１２０１に記憶されている顔対応表を参照しながら、友人の顔特徴量として、対応する画像グループに属する画像に含まれる友人の顔の顔ＩＤである友人顔ＩＤ１４３１と、対応する画像グループに属する画像に含まれる友人の顔のうち、最も顔面積率の大きなものである友人最大顔面積１４３２と、１枚の画像の中に含まれる友人の顔の数のうち、最大の数である友人最大顔数１４３３と、対応する画像グループに属する画像の枚数に対する、友人の顔を含む画像の枚数の比率である友人顔枚数率１４３４と、１枚の画像に含まれる友人の顔の数の平均である友人顔数率１４３５と、各画像における友人の顔のうち、最も顔面積率の大きなものである友人最大顔面積率を、友人の顔を含む画像の枚数で除算したものである友人顔面積率１４３６とを算出する（ステップＳ１８４０）。

さらに、画像グループ特徴算出部１２０６は、顔対応表記憶部１２０１に記憶されている顔対応表を参照しながら、他人の顔特徴量として、対応する画像グループに属する画像に含まれる他人の顔の顔ＩＤである他人顔ＩＤ１４４１と、対応する画像グループに属する画像に含まれる他人の顔のうち、最も顔面積率の大きなものである他人最大顔面積１４４２と、１枚の画像の中に含まれる他人の顔の数のうち、最大の数である他人最大顔数１４４３と、対応する画像グループに属する画像の枚数に対する、他人の顔を含む画像の枚数の比率である他人顔枚数率１４４４と、１枚の画像に含まれる他人の顔の数の平均である他人顔数率１４４５と、各画像における友人の顔のうち、最も顔面積率の大きなものである他人最大顔面積率を、他人の顔を含む画像の枚数で除算したものである他人顔面積率１４４６とを算出する（ステップＳ１８４５）。

その後、画像グループ特徴算出部１２０６は、算出した家族の顔特徴量と、算出した友人の顔特徴量と、算出した他人の顔特徴量と、画像グループ情報受付部２１１によって受け付けられた画像グループの名称とを用いて、画像グループ特徴情報を算出し、算出した画像グループ特徴情報を、画像グループ特徴情報書込読出部２０４を用いて、画像グループ特徴情報記憶部１２３３に書き込む（ステップＳ１８５０）。

画像グループ分類部２０８は、画像グループ特徴情報書込読出部２０４を用いて、先ほど書き込まれた画像グループ特徴情報を読み出し、イベント特徴情報書込読出部２０９を用いて、イベント特徴情報記憶部２３４に記録されているイベント特徴情報を読み出す。

さらに、画像グループ分類部２０８は、読み出された画像グループ特徴情報とイベント特徴情報とを比較して（ステップＳ１８５５）、画像グループ特徴情報の中に該当するイベント特徴情報を見つけることで、その画像グループ特徴情報に対応する画像グループが分類されるべきイベントを算出する。

画像グループ分類部２０８は、該当するイベント特徴情報を見つけることができなかった場合には、その画像グループ特徴情報に対応する画像グループが、その他のイベントという画像グループに分類されるべきであると算出する。

画像グループ分類部２０８は、分類されるべきイベントを算出すると、画像書込読出部２０２を用いて、画像記憶部２３１の分類されるべきイベントに対応するイベントディレクトリの下に、画像グループの名称と同一名称の画像グループディレクトリを作成して、その画像グループディレクトリの下に、画像グループに属する画像へのリンクを作成することで、画像グループを分類する（ステップＳ１８６０）。

その後、分類結果出力部２１０は、画像グループ分類部２０８によって算出された分類されるべきイベントのイベント名を、ディスプレイ１９３に表示させて、画像分類装置１２００は、その画像グループ分類動作を終了する。

＜画像グループ分類動作の具体例＞
以下、画像グループ分類動作についての具体例について、特にステップＳ１８５５、ステップＳ１８６０において、画像グループ分類部２０８が行う、画像グループを分類する処理について図面を用いて説明する。

図１９は、ユーザによって撮影された１６枚の写真である画像を構成要素とする画像グループ１９００である。

この画像グループ１９００は、例えば、画像グループの名称を甲山昆虫採集とする画像グループであって、画像グループＩＤが００２１であるとする。

これらの画像は、撮影対象としての昆虫を撮影されたものが多いため、撮影されている人の数が比較的少ないという特徴がある。

画像グループ１９００に対応する画像グループ特徴情報は、例えば、図１４中の画像グループＩＤ１４０１が００２１である画像グループ特徴情報となっているとする。

ここで、画像グループＩＤ１４０１が００２１である画像グループ特徴情報のイベント名１４０５が、昆虫採集となっているが、イベント名が決定されるまでは、このイベント名は空欄となっていて、イベント名が決定された後に初めて決定されたイベント名が付与される。

図２０は、ユーザによって撮影された３枚の写真である画像を構成要素とする画像グループ２０００である。

この画像グループ２０００は、例えば、画像グループの名称をＴ川小運動会２００９とする画像グループであって、画像グループＩＤが００２２であるとする。

これらの画像は、撮影対象として運動会に参加している小学生が多いため、撮影されている人の数は比較的多いという特徴がある。

画像グループ２０００に対応する画像グループ特徴情報は、例えば、図１４中の画像グループＩＤ１４０１が００２２である画像グループ特徴情報となっているとする。

ここで、画像グループＩＤ１４０１が００２２である画像グループ特徴情報のイベント名１４０５が、運動会となっているが、イベント名が決定されるまでは、このイベント名は空欄となっていて、イベント名が決定された後に初めて決定されたイベント名が付与される。

図２１は、ユーザによって撮影された写真である画像２１０１と画像２１０３を構成要素とする画像グループ２１００である。

この画像グループ２１００は、例えば、画像グループの名称をＡ男３才誕生日とする画像グループであって、画像グループＩＤが００２０であるとする。

認識顔２１０２と認識顔２１０４は、同一人物Ａ男であって、画像２１０１と画像２１０３とは、Ａ男の誕生パーティにおいて撮影された写真である画像である。

ここで、画像グループ特徴算出部１２０６によって、Ａ男は家族であると判定されているとする。

これらの画像は、Ａ男の顔をズームアップして撮影された画像であるため、画像に含まれる認識顔のうち、最大の面積の顔についての顔面積率は大きいという特徴がある。

画像グループ２１００に対応する画像グループ特徴情報は、例えば、図１４中の画像グループＩＤ１４０１が００２０である画像グループ特徴情報となっているとする。

ここで、画像グループＩＤ１４０１が００２０である画像グループ特徴情報のイベント名１４０５が、Ａ男３才誕生日となっているが、イベント名が決定されるまでは、このイベント名は空欄となっていて、イベント名が決定された後に初めて決定されたイベント名が付与される。

ステップＳ１８５５において、画像グループ分類部２０８が、画像グループ特徴情報記憶部２３３から、画像グループＩＤが００２１である画像グループ特徴情報を読み出した場合には、読み出した画像グループＩＤが００２１である画像グループ特徴情報とイベント特徴情報記憶部１２３４から読み出したイベント特徴情報とを比較する。

画像グループＩＤ００２１の画像グループ特徴情報は、家族以外の顔枚数率として、友人顔枚数率が０．４４であって、家族以外の顔数率として、友人顔数率が０．５６であって、家族以外の最大顔数として、友人最大顔数が２であるため、画像グループＩＤ００２１である画像グループ特徴情報は、家族以外の顔枚数率が０．５未満で、かつ、家族以外の顔数率が１未満で、かつ、家族以外の最大顔数が３未満であるという基準情報１５０１に該当すると判断し、画像グループＩＤ００２１である画像グループは、昆虫採集というイベントに分類されるべきであると判断する。

その後、画像グループ分類部２０８は、画像書込読出部２０２を用いて、画像記憶部２３１の図示していない昆虫採集イベントディレクトリというイベントディレクトリの下に、甲山昆虫採集という名称の画像グループディレクトリを作成し、作成した甲山昆虫採集というディレクトリの下に、画像グループＩＤ００２１に属する画像の画像データへのリンクを作成する。

ステップＳ１８５５において、画像グループ分類部２０８が、画像グループ特徴情報記憶部２３３から、画像グループＩＤが００２２である画像グループ特徴情報を読み出した場合には、読み出した画像グループＩＤが００２２である画像グループ特徴情報とイベント特徴情報記憶部１２３４から読み出したイベント特徴情報とを比較する。

画像グループＩＤ００２２の画像グループ特徴情報は、家族以外の顔枚数率として、他人顔枚数率が１であって、家族以外の顔数率として、他人顔数率が３であって、家族以外の最大顔数として、他人最大顔数が４であるため、画像グループＩＤ００２２である画像グループ特徴情報は、家族以外の顔枚数率が０．８以上で、かつ、家族以外の顔数率が１．５以上で、かつ、家族以外の最大顔数が３以上であるという基準情報１５０１に該当すると判断し、画像グループＩＤ００２２である画像グループは、運動会というイベントに分類されるべきであると判断する。

その後、画像グループ分類部２０８は、画像書込読出部２０２を用いて、画像記憶部２３１の図示していない運動会イベントディレクトリというイベントディレクトリの下に、Ｔ川小運動会２００９という名称の画像グループディレクトリを作成し、作成したＴ川小運動会２００９というディレクトリの下に、画像グループＩＤ００２２に属する画像の画像データへのリンクを作成する。

ステップＳ１８５５において、画像グループ分類部２０８が、画像グループ特徴情報記憶部２３３から、画像グループＩＤが００２０である画像グループ特徴情報を読み出した場合には、読み出した画像グループＩＤが００２０である画像グループ特徴情報とイベント特徴情報記憶部１２３４から読み出したイベント特徴情報とを比較する。

画像グループＩＤ００２０の画像グループ特徴情報は、家族顔面積率が０．３であるため、画像グループ分類部２０８は、画像グループＩＤ００２０である画像グループ特徴情報が、家族顔面積率０．１以上という基準情報１５０１に該当すると判断し、画像グループＩＤ００２１である画像グループは、誕生会というイベントに分類されるべきであると判断する。

その後、画像グループ分類部２０８は、画像書込読出部２０２を用いて、画像記憶部２３１の図示していない誕生日イベントディレクトリというイベントディレクトリの下に、Ａ男３才誕生日という名称の画像グループディレクトリを作成し、作成したＡ男３才誕生日というディレクトリの下に、画像グループＩＤ００２０に属する画像の画像データへのリンクを作成する。
＜実施の形態３＞
以下、本発明に係る画像分類装置の一実施形態として、実施の形態１で説明した画像分類装置１００の一部を変形し、イベント特徴情報を用いずに、画像グループを分類する画像分類装置２２００について説明する。

＜構成＞
＜画像分類装置２２００のハードウエア構成＞
画像分類装置２２００のハードウエア構成は、画像分類装置１００のハードウエア構成と同一である。従って、ここでは説明を省略する。

＜画像分類装置２２００の機能構成＞
図２２は、画像分類装置２２００の主要な機能ブロック構成を示す機能ブロック図である。

実施の形態１における画像分類装置１００との相違点は、イベント情報受付部２１２と、イベント特徴算出部２０７と、画像グループ分類部２０８と、イベント特徴情報書込読出部２０９と、イベント特徴情報記憶部２３４とが削除され、新たに、画像グループ特徴情報のみに基づいて画像グループを分類する機能を有するクラスタリング部２２０７が追加されている点である。

以下、実施の形態１における画像分類装置１００と同一の部分の説明を省略し、上述の相違点について説明する。

クラスタリング部２２０７は、画像書込読出部２０２と、画像グループ特徴情報書込読出部２０４と、分類結果出力部２１０とに接続する。

クラスタリング部２２０７は、画像グループ特徴情報書込読出部２０４を用いて、画像グループ特徴情報記憶部２３３から、複数の画像グループ特徴情報を読み出し、読み出した複数の画像グループ特徴情報に含まれる色特徴量平均における各色の画素数比率に基づいて、読み出した画像グループ特徴情報に対応する画像グループを、イベントに分類するクラスタリング機能を有する。

このクラスタリング部２２０７のクラスタリング機能の詳細については、後程、クラスタリング動作として、図面を用いて説明する。

以上のように構成される画像分類装置２２００の行う動作について、以下、図面を用いて説明する。

＜動作＞
画像分類装置２２００の行う主な動作として、実施の形態１の画像分類装置１００の行う主な動作で説明した動作以外に、イベント特徴情報を用いずに、画像グループをイベントに分類するクラスタリング動作がある。

画像分類装置２２００の行うクラスタリング動作とは、クラスタリング部２２０７が、（１）色特徴量平均における１つの色について互いに類似する値を持つ画像グループが同じクラスタになるように、画像グループ群をクラスタに分類し、（２）分類されたクラスタ毎に、未選択の色について（１）と同様の分類を行い、（３）未選択の色が無くなるまで（２）を繰り返し、（４）画像グループ群の分類先である各クラスタにイベント名を付与するという動作である。

以下、このクラスタリング動作について、図面を用いて詳細に説明する。

＜クラスタリング動作＞
図２３は、画像分類装置２２００が行うクラスタリング動作のフローチャートである。

リモコン１９７が、ユーザから、クラスタリング動作の対象となる複数の画像グループを示す複数の画像グループＩＤの指定と、クラスタリング動作を開始する旨の操作とを受け付けることで、画像分類装置２２００はクラスタリング動作の処理を開始する。

クラスタリング動作が開始されると、クラスタリング部２２０７は、ユーザによって指定された画像グループＩＤに対応する画像グループ特徴情報を、画像グループ特徴情報書込読出部２０４を用いて、画像グループ特徴情報記憶部２３３から読み出す（ステップＳ２４００）。

クラスタリング部２２０７は、読み出した画像グループ特徴情報のうち、色特徴量平均の黒の値を用いて、読み出した画像グループ特徴情報をクラスタリング（以後、黒色によるクラスタリングという。）する（ステップＳ２４０５）。

この黒色によるクラスタリングとは、（１）黒の値のうちの最小値を見つけ出し、見つけ出した最小値以上で、最小値＋クラスタリング値（ここでは仮に０．２５とし、以後、クラスタリング値とは書かずに直接０．２５の数値を記入する。）以下である黒の値を持つ画像グループを１つ目のクラスタに分類し、（２）黒の値のうちの最大値を見つけ出し、最大値−０．２５以上で、最大値以下である黒の値を持つ画像グループ特徴情報を２つ目のクラスタに分類し、（３）１つ目のクラスタ、又は、２つ目のクラスタに分類されない画像グループを３つ目のクラスタに分類することである。

ここで、クラスタリング値とは、色特徴量平均の色（ここでは黒）の値が互いに類似しているか否かを判断するための基準値であって、クラスタリング部２２０７によって予め保持されているものである。

黒色によるクラスタリングが終了すると、クラスタリング部２００７は、黒色によるクラスタリングによってクラスタリングされたクラスタのうちの１つを選択する（ステップＳ２４１０）。

クラスタリング部２００７は、選択したクラスタに含まれる画像グループ特徴情報のうち、色特徴量平均の青の値を用いて、選択したクラスタに含まれる画像グループ特徴情報をクラスタリング（以後、青色によるクラスタリングという。）する（ステップＳ２４１５）。

この青色によるクラスタリングとは、上述の黒色によるクラスタリングと同様のものであって、黒を青に入れ替えたものである。

青色によるクラスタリングが終了すると、クラスタリング部２００７は、青色によるクラスタリングによってクラスタリングされたクラスタのうちの１つを選択する（ステップＳ２４２０）。

クラスタリング部２００７は、選択したクラスタに含まれる画像グループ特徴情報のうち、色特徴量平均の緑の値を用いて、選択したクラスタに含まれる画像グループ特徴情報をクラスタリング（以後、緑色によるクラスタリングという。）する（ステップＳ２４２５）。

この緑色によるクラスタリングとは、上述の黒色によるクラスタリングと同様のものであって、黒を緑に入れ替えたものである。

緑色によるクラスタリングが終了すると、クラスタリング部２００７は緑色によるクラスタリングによってクラスタリングされたクラスタのうちの１つを選択する（ステップＳ２４３０）。

クラスタリング部２００７は、選択したクラスタに含まれる画像グループ特徴情報のうち、色特徴量平均の白の値を用いて、選択したクラスタに含まれる画像グループ特徴情報をクラスタリング（以後、白色によるクラスタリングという。）し（ステップＳ２４３５）、分類された各クラスタを、これ以上クラスタリングされることのない分類クラスタとする（ステップＳ２４４０）。

この白色によるクラスタリングとは、上述の黒色によるクラスタリングと同様のものであって、黒を白に入れ替えたものである。

ステップＳ２２４０の処理が終了すると、クラスタリング部２２０７は、緑色によるクラスタリングによるクラスタのうち、選択されていないクラスタが存在するか否かを検索し（ステップＳ２４５０）、未選択のクラスタが存在する場合には（ステップＳ２４５０：Ｙｅｓ）、その未選択のクラスタのうちの１つを選択し、未選択のクラスタが無くなるまで、ステップＳ２４３０〜ステップＳ２４５０までの処理を繰り返し実行する。

ステップＳ２４５０において、緑色によるクラスタリングによるクラスタのうち、選択されていないクラスタが存在しない場合には（ステップＳ２４５０：Ｎｏ）、クラスタリング部２２０７は、青色によるクラスタリングによるクラスタのうち、選択されていないクラスタが存在するか否かを検索し（ステップＳ２４５５）、未選択のクラスタが存在する場合には（ステップＳ２４５５：Ｙｅｓ）、その未選択のクラスタのうちの１つを選択し、未選択のクラスタが無くなるまで、ステップＳ２４２０〜ステップＳ２４５５までの処理を繰り返し実行する。

ステップＳ２４５５において、青色によるクラスタリングによるクラスタのうち、選択されていないクラスタが存在しない場合には（ステップＳ２４５５：Ｎｏ）、クラスタリング部２２０７は、黒色によるクラスタリングによるクラスタのうち、選択されていないクラスタが存在するか否かを検索し（ステップＳ２４６０）、未選択のクラスタが存在する場合には（ステップＳ２４６０：Ｙｅｓ）、その未選択のクラスタのうちの１つを選択し、未選択のクラスタが無くなるまで、ステップＳ２４１０〜ステップＳ２４６０までの処理を繰り返し実行する。

ステップＳ２４６０において、黒色によるクラスタリングによるクラスタのうち、選択されていないクラスタが存在しない場合には（ステップＳ２４６０：Ｎｏ）、分類対象の画像グループが、いずれかの分類クラスタに分類されていることになる。

従って、ステップＳ２４００〜ステップＳ２６５０：Ｎｏまでの処理で、画像グループの分類は完了しているが、さらに、各分類クラスタのイベント名を決定するために、クラスタリング部２２０７は、以下の処理を行う。

ステップＳ２４６０において、黒色によるクラスタリングによるクラスタのうち、選択されていないクラスタが存在しない場合には（ステップＳ２４６０：Ｎｏ）、クラスタリング部２２０７は、分類クラスタ毎に、その分類クラスタに分類されている画像グループにおける各色の値の平均値を算出し（ステップＳ２４６５）、分類クラスタ毎に、算出した平均値のうち、最大の平均値の色を抽出する（ステップＳ２４７０）。

その後、クラスタリング部２２０７は、分類クラスタ毎に、抽出した最大の平均値の色を、その分類クラスタのイベント名として決定し（ステップＳ２４７５）、画像分類装置２２００は、そのクラスタリング動作を終了する。

＜クラスタリング動作の具体例＞
以下、クラスタリング動作についての具体例について、図面を用いて説明する。

図２４は、画像分類装置２２００が行うクラスタリング動作を模式的に示す、クラスタリング動作の模式図である。

同図は、クラスタリング部２２０７が、画像グループ特徴情報記憶部が記憶する画像グループ特徴情報のうち、クラスタリング動作の対象である画像グループの色特徴量平均２３０１を用いて、クラスタリング動作の対象である画像グループを、黒イベント２３０２と、青イベント２３０３と、緑イベント２３０４と、白イベント２３０５とに分類することを模式的に示すものである。

同図を用いて、前述の各色によるクラスタリングについて具体的に説明する。

まず、クラスタリング部２２０７は、黒色によるクラスタリングを行う。

色特徴量平均２３０１の黒の値のうちの最小値は、画像グループ１００８に対応する０．０であるので、クラスタリング部２２０７は、０．０以上で０．２５以下の黒の値を持つ、画像グループＩＤ１００１に対応する画像グループ特徴情報（以下、画像グループ１００１という。他も同様。）と、画像グループ１００１と、画像グループ１００３と、画像グループ１００５と、画像グループ１００６と、画像グループ１００７と、画像グループ１００８とを、例えば、黒第１クラスタに分類する。

色特徴量平均２３０１の黒の値のうちの最大値は、画像グループ１００２に対応する０．６であるので、クラスタリング部２２０７は、０．３５以上で０．６以下の黒の値を持つ、画像グループ１００２と、画像グループ１００４とを、例えば、黒第２クラスタに分類する。

ここでは、３つ目のクラスタに分類される画像グループ情報は存在しない。

次に、クラスタリング部２２０７は、黒第１クラスタを選択し、青色によるクラスタリングを行う。

画像グループ１００１と、画像グループ１００３と、画像グループ１００５と、画像グループ１００６と、画像グループ１００７と、画像グループ１００８とが黒第１クラスタに分類されているので、これらの中で、色特徴量平均２３０１の青の値のうちの最小値は、画像グループ１００３と、画像グループ１００６と、画像グループ１００８とに対応する０．１であるので、クラスタリング部２２０７は、０．１以上で０．３５以下の青の値を持つ画像グループ１００３と、画像グループ１００６と、画像グループ１００７と、画像グループ１００８とを、例えば、青第１クラスタに分類する。

黒第１クラスタに分類されている画像グループのうち、色特徴量平均２３０１の青の値のうちの最大値は、画像グループ１００５に対応する０．７であるので、クラスタリング部２２０７は、０．４５以上０．７以下の青の値を持つ、画像グループ１００１と画像グループ１００５とを、例えば、青第２クラスタに分類する。

ここでは３つ目のクラスタに分類される画像グループは存在しない。

このようにして、黒色、青色、緑色、白色によるクラスタリングを繰り返すと、詳細については省略するが、全ての画像グループは、画像グループＩＤ１００６からなる第１分類クラスタと、画像グループＩＤ１００３、１００７、１００８からなる第２分類クラスタと、画像グループＩＤ１００１、１００５からなる第３分類クラスタと、画像グループＩＤ１００２、１００４からなる第４分類クラスタとに分類される。

第１分類クラスタは、その最大の平均値の色は、白の０．７となるので、第１分類クラスタのイベント名は、白イベントとなる。

第２分類クラスタは、その最大の平均値の色は、緑の０．６３となるので、第２分類クラスタのイベント名は、緑イベントとなる。

第３分類クラスタは、その最大の平均値の色は、青の０．６５となるので、第３分類クラスタのイベント名は、青イベントとなる。

第４分類クラスタは、その最大の平均値の色は、黒の０．５となるので、第４分類クラスタのイベント名は、黒イベントとなる。

このようにして、図２３に示されるように、画像分類装置２２００は、画像グループＩＤ１００１〜画像グループＩＤ１００８に対応する画像を、黒イベント２３０２、青イベント２３０３、緑イベント２３０４、白イベント２３０５のいずれかに分類することができる。
＜補足＞
以上、本発明に係る画像分類装置の一実施形態について、画像グループ分類動作と、イベント特徴情報生成動作と、顔対応表生成動作と、クラスタリング動作等を行う例について説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態に示した通りの画像分類装置に限られないことはもちろんである。
（１）実施の形態１において、画像分類装置１００が記憶する画像として、ＪＰＥＧ方式で符号化されたデータとしたが、デジタル写真をデータとして記憶することができるものであれば、ＪＰＥＧ方式以外の符号化方式、例えばＰＮＧ（Portable Network Graphics）方式やＧＩＦ（Graphics Interchange Format）方式等で符号化されたものであっても構わないし、符号化されないビットマップ方式のデータであっても構わない。

また、コンテンツとしてデジタル写真を例として示したが、デジタルデータとして記憶することができる画像であれば、例えば、スキャナで読み取った絵画のデータ等であっても構わない。
（２）実施の形態１において、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ハードディスク装置インターフェース１０４と、外部記録媒体読取書込装置インターフェース１０５と、ＵＳＢ制御装置インターフェース１０６と、出力装置インターフェース１０７と、入力装置インターフェース１０８と、通信装置インターフェース１０９と、デコーダ１１１と、バスライン１２０とが、システムＬＳＩ１１０に統合されているとしたが、必ずしも１つのＬＳＩに統合されている必要はなく、複数の集積回路等で実現されていても構わない。
（３）実施の形態１において、デコーダ１１１は、ＤＳＰであるとしたが、符号化されたデータを復号する機能があれば、必ずしもＤＳＰである必要はなく、例えば、ＣＰＵ１０１が兼用する構成であっても構わないし、ＣＰＵ１０１とは異なるＣＰＵであっても構わないし、ＡＳＩＣ等で構成される専用回路であっても構わない。
（４）実施の形態１において、入力装置１７０は、リモコン１９７から無線で送信されるユーザからの操作コマンドを受け付ける機能を有する構成であるとしたが、ユーザからの操作コマンドを受け付ける機能があれば、必ずしもリモコン１９７から無線で送信される操作コマンドを受け付ける機能を有する構成でなくても、例えば、キーボードとマウスとを備え、キーボードとマウスとを介してユーザからの操作コマンドを受け付ける機能を有する構成であっても構わないし、ボタン群を備え、ボタン群を介してユーザからの操作コマンドを受け付ける機能を有する構成等であっても構わない。
（５）実施の形態１において、画像グループデータ受付部２０１が、２枚以上の画像の指定を受け付け、指定された画像群を、１つの画像グループに含まれる画像群とするとしたが、画像と画像グループとの対応付けを取ることができれば、例えば、画像グループデータ受付部２０１は、画像データと、画像グループに属する画像のリストとを受け取り、受け取ったリストに基づいて、画像と画像グループとを対応付けるといった構成であっても構わないし、例えば、画像グループデータ受付部２０１は、画像データと、その画像データが撮影された撮影時刻の情報と、撮影時刻の情報と画像グループとの対応関係の情報とを受け取り、受け取った撮影時刻の情報に基づいて、画像と画像グループとを対応付けるといった構成であっても構わない。

また、画像と画像グループとの対応付けを取ることができれば、必ずしもユーザによって指定されることによって対応付けを取る必要はなく、既存の技術を利用して、自動で画像と画像グループとの対応付けを行う構成としても構わない。
（６）実施の形態１において、画像グループデータ受付部２０１は、読み込んだ画像に対して、シーケンシャルに画像ＩＤを付与するとしたが、画像に、画像と１対１に対応する画像ＩＤを付与することができれば、必ずしもシーケンシャルに画像ＩＤを付与しなくても構わない。
（７）実施の形態１において、色特徴量抽出部２２３が特定する色として、黒、青、緑、白としたが、これらの色に限られる必要はなく、例えば、赤、黄等であっても構わない。
（８）実施の形態１において、画像特徴算出部２０５は、顔特徴量を算出した後に色特徴量を算出し、その後、物体特徴量を算出するとしたが、顔特徴量と、色特徴量と、物体特徴量とを算出することができれば、必ずしもこの順番で各特徴量の算出を開始する必要はなく、例えば、色特徴量、顔特徴量、物体特徴量の順番で特徴量の算出を開始しても構わないし、例えば、同時に各特徴量の算出を開始するとしても構わない。
（９）実施の形態１において、色特徴量抽出部２２３は、画像に含まれる全ての画素を対象として色特徴量を算出するとしていたが、色特徴量を算出することができれば、必ずしも画像に含まれる全ての画素を対象として色特徴量を算出する必要はなく、例えば、各画素について色を特定した後、互いに同じ色に特定される画素が互いに隣接して下限閾値数以上存在する場合に限って、それらの画素を対象として、色特徴量を算出するとしても構わない。

図２６は、画像グループに属する画像を示す図である。

画像２６００は、黒に特定される下限閾値数未満の画素からなる画素群２６０１〜画素群２６０９を含んでいる。これら画素群以外に、黒に特定される画素はない。

画像２６１０は、黒に特定される下限閾値数以上の画素からなる画素群２６１１を含んでいる。

この画像グループにおいて、画像２６００に対して黒は色特徴量として抽出されないが、画像２６１０に対して黒は色特徴量として抽出される。

一般に、同じ色に特定される画素がある程度固まっている領域は、例えば、空や地面といった画像における背景の領域である場合が多い。また、画像における背景の領域には、分類先であるイベントの特徴が含まれている場合が多い。

このような構成の色特徴量抽出部２２３は、色特徴量を、画像における背景に含まれる色に基づいて算出することができるようになる。
（１０）実施の形態１において、顔のモデルは、例えば、目、鼻、口等の顔を形成するパーツの輝度や、相対的な位置関係に関する情報等であるとしたが、顔を認識することができる情報であれば、これら以外の情報であっても構わない。
（１１）実施の形態１において、画像グループ分類部２０８が行う画像グループの分類は、該当するイベントが複数ある場合には、該当するイベントの全てを分類すべきイベントとする分類であったが、例えば、イベントに優先順位を設けて、優先順位の高いイベントから順に該当するイベントを見つけていき、最初にみつかった該当するイベントのみを分類すべきイベントとするといったような、分類すべきイベントを１つのみとする分類であっても構わない。
（１２）実施の形態１において、イベント特徴算出部２０７が行う、共通する特徴の算出とは、例えば、各画像グループにおける色特徴量平均５０２のうち、０．４以上の割合の色が同じ色である場合に、その色を共通特徴とすることであるとしたが、共通する特徴の算出をすることができれば、これ以外の方法、例えば、ロジスティック回帰分析法や、ＳＶＭ（Support Vector Machine）法等の方法を用いることによって共通特徴を算出するとしても構わない。

例えば、ロジスティック回帰分析法であれば、イベント特徴算出部２０７は、画像グループとその色特徴量平均とその画像が分類されるべきイベントのイベント名（以後、正解イベントという。）との集合を受け取り、受け取った色特徴量平均を用いて正解イベントに対して学習し、正解イベント毎に、正解イベントに対応する基準情報を算出することになる。

また、ロジスティック解析法を用いると、基準情報を、例えば、色特徴量平均のうち緑色の値が０．４以上であれば、緑色イベントに８０％の確率で分類されるといったように、確率の概念を含むものとすることができる。
（１３）実施の形態２において、画像グループ特徴算出部１２０６が抽出する顔の特徴は、例えば、目、鼻、口等の顔を形成するパーツの相対的な位置関係や、これらパーツの面積比率等のことであるとしたが、顔を区分することができる顔の特徴を示すものであれば、これら以外、例えば、目の色や、ほくろの位置、肌の色等といった顔の特徴を示すものであっても構わないし、複数の顔の特徴を表すものの組み合わせであっても構わない。
（１４）実施の形態２において、同一人物として区分された認識顔を家族であると判定する基準は、その同一人物として区分された認識顔が、複数の画像グループに存在する場合であって、友人であると判定する基準は、その同一人物として区分された認識顔が、単一の画像グループにのみ存在し、かつ、同一人物として区分された認識顔の数が２つ以上存在する場合であって、他人であると判定する基準は、家族でないと判定され、かつ、友人でないと判定された同一人物として区分された認識顔であるとしたが、必ずしもこのような判定基準でなくても、例えば、同一人物として区分された認識顔を家族であると判定する基準は、その同一人物として区分された認識顔が、３つ以上の画像グループに存在する場合であって、友人であると判断する基準は、その同一人物として区分された認識顔が、２つの画像グループに存在する場合であって、他人であると判定する基準は、家族でないと判定され、かつ、友人でないと判定された同一人物として区分された認識顔であるとしても構わない。

また、区分の名称として、家族、友人、他人という名称を用いたが、必ずしも家族、友人、他人といった名称に限られる必要もない
また、例えば、予め家族に区分されるべき人物の顔の画像を登録しておいて、この登録された家族に区分されるべき人物顔の画像と同じ特徴を持つ顔の人物を家族に区分するといった方法で家族を区分しても構わないし、ユーザよる目視によって、画像に写っている人物を家族に区分するといった方法で家族を区分しても構わない。
（１５）実施の形態１において、イベント特徴情報が、図６で示されるイベント特徴情報であるとしたが、図６で示される基準情報以外の基準情報や、図６で示されるイベント名以外のイベント名を含んでいるイベント特徴情報であっても構わない。

また、実施の形態２において、イベント特徴情報が、図１５で示されるイベント特徴情報であるとしたが、図１５で示される基準情報以外の基準情報や、図１５で示されるイベント名以外のイベント名を含んでいるイベント特徴情報であっても構わない。

図６で示されるイベント特徴情報と図１５で示されるイベント特徴情報以外のイベント特徴情報の一例としてのイベント特徴情報を、図２５に示す。

同図に示されるイベント特徴情報は、（ａ）キャンプファイヤーというイベントに分類する基準は、黒０．４以上２５０１であって、かつ、他人５人以上２５１１という条件を満たす場合であり、（ｂ）花火というイベントに分類する条件は、黒０．４以上２５０１であって、かつ、他人５人未満２５１２という条件を満たす場合であり、（ｃ）プールというイベントに分類する基準は、青０．４以上０．８未満２５０２であって、かつ、他人５人以上２５１１という条件を満たす場合であり、（ｄ）釣りというイベントに分類する条件は、青０．４以上０．８未満２５０２であって、かつ、他人５人未満２５１２という条件を満たす場合であり、（ｅ）ピクニックというイベントに分類する基準は、緑０．４以上２５０３であって、かつ、他人５人以上２５１１という条件を満たす場合であり、（ｆ）昆虫採集というイベントに分類する条件は、緑０．４以上２５０３であって、かつ、他人５人未満２５１２という条件を満たす場合であり、（ｇ）アイススケートというイベントに分類する基準は、白０．４以上２５０４であって、かつ、他人５人以上２５１１という条件を満たす場合であり、（ｈ）スキーというイベントに分類する条件は、白０．４以上２５０４であって、かつ、他人５人未満２５１２という条件を満たす場合であり、（ｉ）海水浴というイベントに分類する基準は、青０．８以上２５０５であって、かつ、他人５人以上２５１１という条件を満たす場合であり、（ｊ）スキューバダイビングというイベントに分類する条件は、青０．８以上２５０５であって、かつ、他人５人未満２５１２という条件を満たす場合であり、（ｋ）運動会というイベントに分類する基準は、画像の上半分の領域において青０．４以上２５０６であって、かつ、他人５人以上２５１１という条件を満たす場合であり、（ｌ）ローラスケートというイベントに分類する条件は、画像の上半分の領域において青０．４以上２５０６であって、かつ、他人５人未満２５１２という条件を満たす場合であり、（ｍ）剣道というイベントに分類する基準は、画像の上半分の領域において青０．４未満２５０７であって、かつ、他人５人以上２５１１という条件を満たす場合であり、（ｎ）家の日常というイベントに分類する条件は、画像の上半分の領域において青０．４未満２５０７であって、かつ、他人５人未満２５１２という条件を満たす場合である。
（１６）実施の形態３において、クラスタリング部２２０７が行うイベントに分類する方法の一例として、分類対象である画像グループの色特徴量を用いて行うクラスタリング動作について説明したが、分類対象である画像グループを分類することができれば、どのような分類方法であっても構わない。例えば、色特徴量以外の特徴量を用いて行うクラスタリング動作であっても構わないし、例えば、Ｋ−ｍｅａｎｓ法等の方法を用いることによって、分類対象である画像グループを分類するとしても構わない。
（１７）実施の形態３において、クラスタリング値は０．２５であるとしたが、色特徴量平均の色の値が互いに類似しているか否かを判断するための基準となるものであれば、例えば、０．１といったように、０．２５以外の値であっても構わない。

また、クラスタリング値は、クラスタリング部２２０７が予め保持するとしたが、これ以外の構成、例えば、ユーザによってクラスタリング値は指定されるという構成であっても構わない。
（１８）実施の形態３において、クラスタリング部２２０７は、各画像グループが、１つのクラスタにのみ分類する例について説明したが、例えば、１つの画像グループを、互いに異なる２つのクラスタに分類するとしても構わない。
（１９）実施の形態１乃至３で示した、画像グループ分類動作等（図７、図１０、図１６、図１８、図２３参照）を画像分類装置のＣＰＵ、及びそのＣＰＵに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等がある。流通、頒布された制御プログラムはＣＰＵに読み出だされ得るメモリ等に格納されることにより利用に供され、そのＣＰＵがその制御プログラムを実行することにより各実施形態で示したような各種機能が実現されるようになる。なお、制御プログラムの一部を画像分類装置とは別個のプログラム実行可能な装置（ＣＰＵ）に各種通信路等を介して送信して、その別個のプログラム実行可能な装置においてその制御プログラムの一部を実行させることとしてもよい。
（２０）実施の形態１において、顔特徴量抽出部２２２は、認識した顔それぞれに、その認識顔を特定するための顔ＩＤを、シーケンシャルに付与するとしたが、重複を避けて付与することができれば、必ずしもシーケンシャルに付与しなくても構わない。
（２１）実施の形態１において、色特徴量は、画像全体に対して特徴を示すものであるとしたが、画像の色の特徴を示すものであれば、例えば、画像の上半分といったような一部分に対すものであっても構わないし、画像の左１０％の部分と画像の右１０％の部分といったように複数の一部分に対するものであっても構わない。
（２２）実施の形態２において、イベント特徴情報は、例として、図１５に示されている基準情報と、イベント名との組によって構成されるものについて示したが、図１５に示されるイベント特徴情報に限られるものではなく、例えば、家族や友人や他人の様々なパラメータを基準情報に用いたものであっても構わない。
（２３）実施の形態３において、クラスタリング部は、色特徴量平均の値によって決定されるクラスタリング値に基づいて画像グループを分類するとしたが、画像グループを分類することができれば、必ずしも、色特徴量平均の値によって決定されるクラスタリング値に基づいて分類する必要はない。

一例として、クラスタリング部は、分類先カテゴリーの各々に分類される画像グループの数が均等となるように決定されるクラスタリング値に基づいて、画像グループを分類するとしても構わない。
（２４）以下、さらに本発明の一実施形態に係る画像分類装置の構成及びその変形例と各効果について説明する。

（ａ）本発明の一実施形態に係る画像分類装置は、１つの画像グループに属する画像のうち全部又は一部の２枚以上の画像についての、画像の特徴を示す画像特徴情報に基づいて、画像グループの特徴を示す画像グループ特徴情報を算出する画像グループ特徴算出部と、１つの画像グループの画像グループ特徴情報と、分類用の基準情報とに基づいて、当該画像グループを、互いに異なる複数の分類先のうちのいずれかの分類先に分類する画像グループ分類部とを備えることを特徴とする。

このような構成にすることによって、画像の撮影時刻の情報に限られない画像の特徴に基づいて算出された画像グループ特徴情報に基づいて、画像グループ単位で画像を分類することができる。

従って、この画像分類装置は、撮影時刻以外の画像の特徴に基づいて、同一の画像グループに属する画像が、互いに異なるカテゴリに分類されてしまうことがないように画像を+分類することができるという効果を有する。

図２７は、上述の変形例における画像分類装置２７００の機能構成を示す機能ブロック図である。

同図に示される通り、画像分類装置２７００は、画像グループ特徴算出部２７０１と、画像グループ分類部２７０２とから構成される。

画像グループ特徴算出部２７０１は、画像グループ分類部２７０２と接続され、１つの画像グループに属する画像のうち全部又は一部の２枚以上の画像についての、画像の特徴を示す画像特徴情報に基づいて、画像グループの特徴を示す画像グループ特徴情報を算出する機能を有する。

この画像グループ特徴算出部２７０１は、一例として、実施の形態１（図２参照）における、画像グループ特徴情報書込読出部２０４と画像グループ特徴算出部２０６と画像グループ情報受付部２１１と画像グループ特徴情報記憶部２３３として実現される。

画像グループ分類部２７０２は、画像グループ特徴算出部２７０１と接続され、１つの画像グループの画像グループ特徴情報と、分類用の基準情報とに基づいて、当該画像グループを、互いに異なる複数の分類先のうちのいずれかの分類先に分類する機能を有する。

この画像グループ分類部２７０２は、一例として、実施の形態１（図２参照）における、画像グループ分類部２０８とイベント特徴情報書込読出部２０９と分類結果出力部２１０とイベント情報受付部２１２とイベント特徴情報記憶部２３４として実現される。

（ｂ）また、複数の画像グループ特徴情報に基づいて、前記分類用の基準情報を作成する基準情報作成部を備えるとしてもよい。

このような構成にすることによって、分類用の基準情報を自ら作成することができるようになるため、外部から基準情報を与えられなくても、画像グループを分類することができるようになるという効果を有する。

（ｃ）また、１枚の画像から当該画像の特徴を示す画像特徴情報を算出する画像特徴算出部を備え、前記画像グループ特徴算出部は、前記画像グループ特徴情報の算出を、前記画像特徴算出部によって算出された画像特徴情報に基づいて行うとしてもよい。

このような構成にすることによって、画像グループに属する画像の画像特徴情報を自ら作成することができるようになるため、外部から画像特徴情報を与えられなくても、画像グループを分類することができるようになるという効果を有する。

（ｄ）また、前記画像特徴算出部は、顔の特徴を示す予め定められた顔のモデルと照合することで画像に含まれる顔の検出を試み、画像に含まれる顔に係る情報である顔情報を算出する顔特徴算出部を含み、前記画像特徴算出部によって算出される画像特徴情報は、前記顔特徴算出部によって算出された顔情報を含み、前記画像グループ特徴算出部は、算出する画像グループ特徴情報に、顔に係る情報を含ませ、前記分類用の基準情報は、顔に係る情報を、互いに異なる分類先のうち、いずれの分類先に分類されるかを決定するための情報である顔基準情報を含み、前記画像グループ分類部は、前記画像グループの分類を、１つの画像グループの画像グループ特徴情報に含まれる顔に係る情報と、分類用の基準情報に含まれる顔基準情報とに基づいて行うとしてもよい。

このような構成にすることによって、画像グループに属する画像の被写体である人物に注目した画像グループの分類を行うことができるようになるという効果を有する。

（ｅ）また、前記顔特徴算出部は、算出する顔情報に、画像に含まれる検出した顔の領域の面積に係る情報を含ませ、前記画像グループ特徴算出部は、算出する画像グループ特徴情報に、当該画像グループ特徴情報に対応する画像グループに属する画像に含まれる、前記顔特徴算出部によって検出された顔の領域の面積に係る情報を含ませ、前記顔基準情報は、顔の領域の面積に係る情報を、互いに異なる分類先のうち、いずれの分類先に分類されるかを決定するための顔面積基準情報を含み、前記画像グループ分類部は、前記画像グループの分類を、１つの画像グループの画像グループ特徴情報に含まれる顔の領域の面積に係る情報と、分類用の基準情報に含まれる顔基準情報に含まれる顔面積基準情報とに基づいて行うとしてもよい。

人物の画像を撮影する撮影者には、関心の高い人物の顔が大きくなり、関心のあまり高くない人物の顔が小さくなるように撮影する傾向がある。

よって、顔の領域の面積は、その人物に対する、撮影者にとっての関心度を反映したものであると考えることができる。

従って、このような構成にすることによって、画像グループに属する画像の被写体である人物に対する関心度に注目した画像グループの分類を行うことができるようになるという効果を有する。

（ｆ）また、前記顔情報の検出された顔の領域の面積に係る情報とは、顔を検出された画像に含まれる認識顔の領域のうち、面積が最大の顔の領域である最大顔領域の面積を示す情報であって、前記画像グループ特徴情報に含まれる顔の領域の面積に係る情報とは、当該画像グループ特徴情報に対応する画像グループに属する画像のうちの顔を検出された画像において、当該顔を検出された画像の最大顔領域の面積の総和を、当該顔を検出された画像の枚数で除算することで得られる値を示す情報であるとしてもよい。

最大顔領域の顔は、１枚の画像の被写体である人物群のうち、撮影者にとって最も注目している人物である撮影中心人物であると考えられる。

よって、顔を検出された画像の最大顔領域の面積の総和を、当該顔を検出された画像の枚数で除算することで得られる値は、顔を検出された画像における、最も関心の高い人物に対する関心度を平均したものであると考えられる。

従って、このような構成にすることによって、画像グループに属する画像の被写体である撮影中心人物に対する関心度の平均値に注目した画像グループの分類を行うことができるようになるという効果を有する。

（ｇ）また、複数の画像グループに属する画像を記憶するための画像記憶部を備え、前記顔特徴算出部は、前記画像記憶部に記憶されている全ての画像について顔の検出を試み、前記画像記憶部に記憶されている全ての画像において前記顔特徴算出部によって検出された顔を、当該検出された顔の特徴に基づいて、複数の顔グループのうちのいずれかの顔グループに分類する顔クラスタリング部と、前記顔クラスタリング部によって同一の顔グループに分類された顔が２つ以上の画像グループに存在する顔グループを第１人物群に区分し、前記顔クラスタリング部によって同一の顔グループにクラスタリングされた顔が１つの画像グループにのみ存在し、かつ、複数存在する顔グループを第２人物群に区分し、前記第１人物群と前記第２人物群とのいずれにも属さない顔グループを第３人物群に区分する人物群区分部とを備え、前記画像グループ特徴算出部は、算出する画像グループ特徴情報に、当該画像グループ特徴情報に対応する画像グループに属する画像に含まれる、前記顔特徴算出部によって検出された顔の領域の面積のうち、前記第１人物群に属する顔の領域の面積、前記第２人物群に属する顔の領域面積、及び、前記第３人物群に属する顔の領域の面積のうち、少なくとも１つに係る情報を含ませ、前記顔基準情報は、顔の領域の面積のうち、前記第１人物群に属する顔の領域の面積、前記第２人物群に属する顔の領域面積、及び、前記第３人物群に属する顔の領域の面積のうち、少なくとも１つに係る情報を、互いに異なる分類先のうち、いずれの分類先に分類されるかを決定するための顔面積基準情報を含むとしてもよい。

このような構成にすることによって、被写体である人物を、２つ以上の画像グループに存在する第１人物群と、１つの画像グループにのみ存在し、かつ、複数存在する第２人物群と、前記第１人物群と前記第２人物群とのいずれにも属さない第３人物群とに区分し、このように区分された人物群毎の人物に対する関心度に注目した画像グループの分類を行うことができるようになるという効果を有する。

（ｈ）また、前記顔特徴算出部は、算出する顔情報に、画像に含まれる検出した顔の数に係る情報を含ませ、前記画像グループ特徴算出部は、算出する画像グループ特徴情報に、当該画像グループ特徴情報に対応する画像グループに属する画像に含まれる、前記顔特徴算出部によって検出された顔の数に係る情報を含ませ、前記顔基準情報は、顔の数に係る情報を、互いに異なる分類先のうち、いずれの分類先に分類されるかを決定するための顔数基準情報を含み、前記画像グループ分類部は、前記画像グループの分類を、１つの画像グループの画像グループ特徴情報に含まれる顔の数に係る情報と、分類用の基準情報に含まれる顔基準情報に含まれる顔数基準情報とに基づいて行うとしてもよい。

このような構成にすることによって、画像グループに属する画像の被写体である人物の数に注目した画像グループの分類を行うことができるようになるという効果を有する。

（ｉ）また、前記顔情報の検出された顔の数に係る情報とは、顔を検出された画像に含まれる検出された顔の数を示す情報であって、前記画像グループ特徴情報に含まれる顔の数に係る情報とは、当該画像グループ特徴情報に対応する画像グループに属する画像の枚数と、当該画像グループ特徴情報に対応する画像グループに属する画像のうち検出された顔を含む画像の枚数との比率を示す情報と、当該画像グループ特徴情報に対応する画像グループに属する画像のうち検出された顔を含む画像において検出された顔の数の総和を、当該画像グループ特徴情報に対応する画像グループに属する画像のうち検出された顔を含む画像の枚数で除算した値を示す情報と、当該画像グループ特徴情報に対応する画像グループに属する画像のうち検出された顔の数が最も多い画像に含まれる検出された顔の数を示す情報とのうちの、少なくとも１つの情報であるとしてもよい。

画像グループに属する画像の枚数と、検出された顔を含む画像の枚数との比率は、画像グループに属する画像のうちの、検出された顔が写っている画像の割合である。

また、検出された顔を含む画像において検出された顔の数の総和を、検出された顔を含む画像の枚数で除算した値は、検出された顔が写っている画像において、写っている検出された顔の数の平均値である。

従って、このような構成にすることによって、画像グループに属する画像のうちの、検出された顔が写っている画像の割合と、検出された顔が写っている画像において、写っている検出された顔の数の平均値と、顔の数が最も多い画像に含まれる検出された顔の数とのうちの、少なくとも１つの値に注目した画像グループの分類を行うことができるようになるという効果を有する。

（ｊ）また、複数の画像グループに属する画像を記憶するための画像記憶部を備え、前記顔特徴算出部は、前記画像記憶部に記憶されている全ての画像について顔の検出を試み、前記画像記憶部に記憶されている全ての画像において前記顔特徴算出部によって検出された顔を、当該検出された顔の特徴に基づいて、複数の顔グループのうちのいずれかの顔グループに分類する顔クラスタリング部と、前記顔クラスタリング部によって同一の顔グループに分類された顔が２つ以上の画像グループに存在する顔グループを第１人物群に区分し、前記顔クラスタリング部によって同一の顔グループにクラスタリングされた顔が１つの画像グループにのみ存在し、かつ、複数存在する顔グループを第２人物群に区分し、前記第１人物群と前記第２人物群とのいずれにも属さない顔グループを第３人物群に区分する人物群区分部とを備え、前記画像グループ特徴算出部は、算出する画像グループ特徴情報に、当該画像グループ特徴情報に対応する画像グループに属する画像に含まれる、前記顔特徴算出部によって検出された顔数のうち、前記第１人物群に属する顔の数、前記第２人物群に属する顔の数、及び、前記第３人物群に属する顔の数のうち、少なくとも１つに係る情報を含ませ、前記顔基準情報は、顔の数のうち、前記第１人物群に属する顔の数、前記第２人物群に属する顔の数、及び、前記第３人物群に属する顔の数のうち、少なくとも１つに係る情報を、互いに異なる分類先のうち、いずれの分類先に分類されるかを決定するための顔数基準情報を含むとしてもよい。

このような構成にすることによって、被写体である人物を、２つ以上の画像グループに存在する第１人物群と、１つの画像グループにのみ存在し、かつ、複数存在する第２人物群と、前記第１人物群と前記第２人物群とのいずれにも属さない第３人物群とに区分し、このように区分された人物群毎の人物の数に注目した画像グループの分類を行うことができるようになるという効果を有する。

（ｋ）また、前記画像特徴算出部は、画像に含まれる色に係る情報である色情報を算出する色特徴算出部を含み、前記画像特徴算出部によって算出される画像特徴情報は、前記色特徴算出部によって算出された色情報を含み、前記画像グループ特徴算出部は、算出する画像グループ特徴情報に、色に係る情報を含ませ、前記分類用の基準情報は、色に係る情報を、互いに異なる分類先のうち、いずれの分類先に分類されるかを決定するための情報である色基準情報を含み、前記画像グループ分類部は、前記画像グループの分類を、１つの画像グループの画像グループ特徴情報に含まれる色に係る情報と、分類用の基準情報に含まれる色基準情報とに基づいて行うとしてもよい。

このような構成にすることによって、画像グループに属する画像の色の特徴に基づいた画像グループの分類を行うことができるようになるという効果を有する。

（ｌ）また、前記画像特徴算出部は、前記色情報へ反映させる画素値を、予め定められた数以上の、互いに同じ色である、互いに隣接する画素からなる画素群を構成する画素に限って、前記算出を行うとしてもよい。

このような構成にすることによって、同じ色である画素がある程度固まって出現する、例えば、空や地面といった背景の色を、同じ色である画素がある程度固まって出現することのない、例えば、人の服といった背景以外の色から区別して色特徴量を抽出することができるという効果を有する。

（ｍ）また、本発明の一実施形態に係る画像分類装置は、画像グループに属する全部又は一部の２枚以上の画像についての、画像の特徴を示す画像特徴情報に基づいて、画像グループの特徴を示す画像グループ特徴情報を算出する画像グループ特徴算出部と、複数の画像グループの画像グループ特徴情報に基づいて、互いに類似する特徴を有する画像グループが同じ分類先に分類されるように、当該複数の画像グループを分類する画像グループ分類部とを備えることを特徴とする。

上述の構成を備える本実施の形態に係る画像分類装置は、画像の撮影時刻の情報に限られない画像の特徴に基づいて算出された画像グループ特徴情報に基づいて、画像グループ単位で画像を分類することができる。

従って、この画像分類装置は、撮影時刻以外の画像の特徴に基づいて、同一の画像グループに属する画像が、互いに異なるカテゴリに分類されてしまうことがないように画像を分類することができるという効果を有する。

本発明に係る画像分類装置は、複数のデジタル画像を記憶する機能を有する機器に広く適用することができる。

１００ 画像分類装置
２０１ 画像グループデータ受付部
２０２ 画像書込読出部
２０３ 画像特徴情報書込読出部
２０４ 画像グループ特徴情報書込読出部
２０５ 画像特徴算出部
２０６ 画像グループ特徴算出部
２０７ イベント特徴算出部
２０８ 画像グループ分類部
２０９ イベント特徴情報書込読出部
２１０ 分類結果出力部
２１１ 画像グループ情報受付部
２１２ イベント情報受付部
２３１ 画像記憶部
２３２ 画像特徴情報記憶部
２３３ 画像グループ特徴情報記憶部
２３４ イベント特徴情報記憶部
２２１ 画像特徴算出制御部
２２２ 顔特徴量抽出部
２２３ 色特徴量抽出部
２２４ 物体特徴量抽出部

Claims (11)

1. 複数の画像についてそれぞれの画像に含まれる顔の特徴を抽出し、抽出した顔の特徴に基づいて、顔のそれぞれを、同一人物と判断される顔グループのいずれかに分類する顔クラスタリング部と、
   複数の画像からなる画像グループに属する画像に含まれる顔のうちの少なくとも１つの、前記顔クラスタリング部によって分類された顔グループに基づいて、当該画像グループの特徴を示す画像グループ特徴情報を算出する画像グループ特徴算出部と、
   画像グループの画像グループ特徴情報に基づいて、当該画像グループを、互いに異なる複数の分類先のうちのいずれかの分類先に分類する画像グループ分類部と、
   各顔グループについて、当該顔グループに分類された顔の、複数の画像グループにおける分布状況に基づいて、当該顔グループが所定の人間関係を示す１以上の人物群のいずれかに属すると判定する人物群区分部とを備え、
   前記画像グループ特徴情報は、前記人物群区分部によって判定された人物群に係る情報を含み、
   前記画像グループ分類部は、前記画像グループの分類を、画像グループ特徴情報に含まれる前記人物群に係る情報に基づいて行う
   ことを特徴とする画像分類装置。
2. 前記人物群区分部は、前記判定を、前記顔クラスタリング部によって同一の顔グループに分類された顔が２つ以上の画像グループに存在する顔グループを第１の人物群に属すると判定し、前記顔クラスタリング部によって同一の顔グループにクラスタリングされた顔が１つの画像グループにのみ存在し、かつ、複数存在する顔グループを第２の人物群に属すると判定し、前記第１の人物群に属すると判定されない、かつ、前記第２の人物群に属すると判定されない顔グループを第３の人物群に属すると判定するように行う
   ことを特徴とする請求項１記載の画像分類装置。
3. 前記第１の人物群は家族を示し、前記第２の人物群は友人を示し、前記第３の人物群は他人を示す
   ことを特徴とする請求項２記載の画像分類装置。
4. 前記画像グループ特徴算出部は、前記顔グループに基づいて行う画像グループ特徴情報の算出を、当該顔グループに分類される顔のうち、対象となる画像グループに含まれる顔の面積に係る顔面積情報が、前記人物群に係る情報に含まれるように行う
   ことを特徴とする請求項１記載の画像分類装置。
5. 前記画像グループ特徴算出部は、前記顔グループに基づいて行う画像グループ特徴情報の算出を、当該顔グループに分類される顔のうち、対象となる画像グループに含まれる顔の数に係る顔数情報が、前記人物群に係る情報に含まれるように行う
   ことを特徴とする請求項１記載の画像分類装置。
6. 前記画像グループ分類部は、前記顔グループに基づいて行う画像グループの分類を、さらに、前記複数の分類先毎に定義された基準情報に基づいて行う
   ことを特徴とする請求項１記載の画像分類装置。
7. 前記画像分類装置は、さらに、
   複数の画像グループ特徴情報に基づいて、前記基準情報を作成する基準情報作成部を備える
   ことを特徴とする請求項６記載の画像分類装置。
8. 画像を分類する画像分類装置を用いて行う画像分類方法であって、
   複数の画像についてそれぞれの画像に含まれる顔の特徴を抽出し、抽出した顔の特徴に基づいて、顔のそれぞれを、同一人物と判断される顔グループのいずれかに分類する顔クラスタリングステップと、
   複数の画像からなる画像グループに属する画像に含まれる顔のうちの少なくとも１つの、前記顔クラスタリングステップによって分類された顔グループに基づいて、当該画像グループの特徴を示す画像グループ特徴情報を算出する画像グループ特徴算出ステップと、
   画像グループの画像グループ特徴情報に基づいて、当該画像グループを、互いに異なる複数の分類先のうちのいずれかの分類先に分類する画像グループ分類ステップと、
   前記顔クラスタリングステップによって分類された顔グループについて、複数の画像グループにおける、当該顔グループに分類された顔の分布状況に基づいて、当該顔グループが所定の人間関係を示す１以上の人物群のいずれかに属すると判定する人物群区分ステップとを有し、
   前記画像グループ特徴算出ステップは、前記画像グループ特徴情報の算出を、対象となる画像グループについて、前記人物群区分ステップによって判定された人物群に係る情報が、算出する画像グループ特徴情報に含まれるように行い、
   前記画像グループ分類ステップは、前記画像グループの分類を、画像グループ特徴情報に含まれる前記人物群に係る情報に基づいて行う
   ことを特徴とする画像分類方法。
9. コンピュータに、画像を分類する画像分類装置として機能させるための画像分類プログラムであって、
   コンピュータに、
   複数の画像についてそれぞれの画像に含まれる顔の特徴を抽出し、抽出した顔の特徴に基づいて、顔のそれぞれを、同一人物と判断される顔グループのいずれかに分類する顔クラスタリング部と、
   複数の画像からなる画像グループに属する画像に含まれる顔のうちの少なくとも１つの、前記顔クラスタリング部によって分類された顔グループに基づいて、当該画像グループの特徴を示す画像グループ特徴情報を算出する画像グループ特徴算出部と、
   画像グループの画像グループ特徴情報に基づいて、当該画像グループを、互いに異なる複数の分類先のうちのいずれかの分類先に分類する画像グループ分類部と、
   前記顔クラスタリング部によって分類された顔グループについて、複数の画像グループにおける、当該顔グループに分類された顔の分布状況に基づいて、当該顔グループが所定の人間関係を示す１以上の人物群のいずれかに属すると判定する人物群区分部とを備え、
   前記画像グループ特徴算出部は、前記画像グループ特徴情報の算出を、対象となる画像グループについて、前記人物群区分部によって判定された人物群に係る情報が、算出する画像グループ特徴情報に含まれるように行い、
   前記画像グループ分類部は、前記画像グループの分類を、画像グループ特徴情報に含まれる前記人物群に係る情報に基づいて行う画像分類装置として機能させる
   ことを特徴とする画像分類プログラム。
10. コンピュータに、画像を分類する画像分類装置として機能させるための画像分類プログラムを記録している記憶媒体であって、
    前記画像分類プログラムは、コンピュータに、
    複数の画像についてそれぞれの画像に含まれる顔の特徴を抽出し、抽出した顔の特徴に基づいて、顔のそれぞれを、同一人物と判断される顔グループのいずれかに分類する顔クラスタリング部と、
    複数の画像からなる画像グループに属する画像に含まれる顔のうちの少なくとも１つの、前記顔クラスタリング部によって分類された顔グループに基づいて、当該画像グループの特徴を示す画像グループ特徴情報を算出する画像グループ特徴算出部と、
    画像グループの画像グループ特徴情報に基づいて、当該画像グループを、互いに異なる複数の分類先のうちのいずれかの分類先に分類する画像グループ分類部と、
    前記顔クラスタリング部によって分類された顔グループについて、複数の画像グループにおける、当該顔グループに分類された顔の分布状況に基づいて、当該顔グループが所定の人間関係を示す１以上の人物群のいずれかに属すると判定する人物群区分部とを備え、
    前記画像グループ特徴算出部は、前記画像グループ特徴情報の算出を、対象となる画像グループについて、前記人物群区分部によって判定された人物群に係る情報が、算出する画像グループ特徴情報に含まれるように行い、
    前記画像グループ分類部は、前記画像グループの分類を、画像グループ特徴情報に含まれる前記人物群に係る情報に基づいて行う画像分類装置として機能させるプログラムである
    ことを特徴とする記憶媒体。
11. 複数の画像についてそれぞれの画像に含まれる顔の特徴を抽出し、抽出した顔の特徴に基づいて、顔のそれぞれを、同一人物と判断される顔グループのいずれかに分類する顔クラスタリング部と、
    複数の画像からなる画像グループに属する画像に含まれる顔のうちの少なくとも１つの、前記顔クラスタリング部によって分類された顔グループに基づいて、当該画像グループの特徴を示す画像グループ特徴情報を算出する画像グループ特徴算出部と、
    画像グループの画像グループ特徴情報に基づいて、当該画像グループを、互いに異なる複数の分類先のうちのいずれかの分類先に分類する画像グループ分類部と、
    前記顔クラスタリング部によって分類された顔グループについて、複数の画像グループにおける、当該顔グループに分類された顔の分布状況に基づいて、当該顔グループが所定の人間関係を示す１以上の人物群のいずれかに属すると判定する人物群区分部とを備え、
    前記画像グループ特徴算出部は、前記画像グループ特徴情報の算出を、対象となる画像グループについて、前記人物群区分部によって判定された人物群に係る情報が、算出する画像グループ特徴情報に含まれるように行い、
    前記画像グループ分類部は、前記画像グループの分類を、画像グループ特徴情報に含まれる前記人物群に係る情報に基づいて行う
    ことを特徴とする集積回路。

Images