JP5890325B2 - 画像データ処理装置、方法、プログラム及び集積回路 - Google Patents

Description

本発明は、画像を分類するための画像特徴情報を算出する画像データ処理装置に関する。

デジタルスチルカメラやカメラ機能付き携帯電話機等のデジタル画像撮影機器が普及し、撮影された画像を記録するためのハードディスク等の記録媒体が安価に提供されている。

一般に、デジタル画像撮影機器等のユーザ（以下、単にユーザという。）は、撮影した各画像を、大容量のハードディスク等の記録媒体に蓄積している。

蓄積している画像が大量になると、蓄積している画像の中から目的の画像を探すのが難しくなるため、ユーザによる画像の検索を容易にする目的で、各画像をいくつかの分類先カテゴリに分類することがある。例えば、運動会で撮影された画像を、運動会という分類先カテゴリに分類する場合等が考えられる。

画像を分類する技術として、例えば、特許文献１に記載されているように、蓄積されているそれぞれの画像からその画像の特徴である画像特徴情報を算出し、算出された画像特徴情報を用いてそれぞれの画像をそれぞれの分類先カテゴリに分類する技術が知られ、また、特許文献２に記載されているように、画像に写っている顔の数や大きさを用いてその画像を分類する技術が知られている。

特許第４２３２７７４号公報 特許第４３１５３４４号公報

ところで、ユーザが画像を撮影する機会は、例えば、海水浴やスキー旅行といった行事である場合が多く、また、ユーザが画像を鑑賞する場合には、ある行事で撮影された画像群を単位として画像を鑑賞する場合が多い。

従って、一つの行事において撮影された画像群に属する画像は、同一の分類先カテゴリに分類されることが望まれる。

しかしながら、互いに異なる行事で撮影された画像から抽出された画像特徴情報の中に、互いに類似したものが存在する場合には、それら画像のそれぞれを、本来分類されるべき分類先カテゴリに分類することが難しくなってしまうことがある。

例として、従来の画像データ処理装置が画像に多く含まれる主要色（例えば、黒、青、緑、白等）に基づき画像特徴情報を算出する場合において、海水浴で撮影された画像群Ａの画像とスキー旅行で撮影された画像群Ｂの画像とが分類対象となるときを考える。

海水浴で撮影された画像には、海の青色と砂浜の白色とが多く写り、スキー旅行で撮影された画像には、空の青色と雪の白色とが多く写ることとなる場合が多くなる。よって、この画像データ処理装置によって算出される、海水浴で撮影された画像の画像特徴情報とスキー旅行で撮影された画像の画像特徴情報とが、互いに類似したものとなってしまうことがある。

このような場合において、この従来の画像データ処理装置によって算出される画像特徴情報に基づいて画像を分類しようとするときには、海水浴で撮影された画像群Ａの画像と、スキー旅行で撮影された画像群Ｂの画像とを、互いに異なる分類先カテゴリに分類することが難しくなってしまう。

そこで、本発明は係る問題に鑑みてなされたものであり、画像を分類するための画像特徴情報を算出する画像データ処理装置であって、この画像データ処理装置から算出される画像特徴情報を用いて画像を分類する場合において、一つの行事で撮影された画像群の画像のそれぞれを同じ分類先カテゴリに分類する分類精度を、従来よりも向上させ得る画像データ処理装置を提供することを目的とする。

上記課題を解決するために本発明に係る画像データ処理装置は、画像を分類するための画像特徴情報を算出する画像データ処理装置であって、一画像に含まれる顔の領域を特定する顔特定部と、一画像の少なくとも一部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する画像特徴算出部とを備え、前記画像特徴算出部は、前記顔特定部によって特定された顔の領域の周囲の一定領域に含まれる画素に基づいて算出される画像特徴量の方が、当該一定領域に含まれない画素に基づいて算出される画像特徴量よりも、前記画像特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行うことを特徴とする。

一般に、画像の撮影者は、ある行事において人の顔を含めた画像を撮影する場合に、その行事の特徴が、その人の顔の周囲の領域に現れるように撮影する傾向がある。例えば、海水浴において、撮影者は、人の顔の周囲の領域に海の青色が多くなるように画像が撮影する傾向があり、スキー旅行においては、人の顔の周囲の領域に雪の白色が多くなるように画像が撮影する傾向がある。

上述の構成を備える本発明に係る画像データ処理装置は、行事の特長が現れやすい傾向のある人の顔の周囲の領域の画素に基づいて算出される画像特徴量を、行事の特長が表れにくい傾向のある人の顔から離れた領域の画素に基づいて算出される画像特徴量よりも、より大きく反映させて画像特徴情報を抽出する。これにより、この画像データ処理装置は、従来の画像データ処理装置よりも、行事の特長がより大きく反映された画像特徴情報を算出し得ることとなる。

従って、この画像データ処理装置は、この画像データ処理装置から算出される画像特徴情報を用いて画像を分類する場合における分類精度を、従来よりも向上させ得ることができるようになる。

画像データ処理装置１００のハードウエア構成を示すハードウエアブロック図 画像データ処理装置１００の機能構成を示す機能ブロック図 画像記憶部２３１のディレクトリ構造を示すディレクトリ構造図 各種領域を視覚的に示す模式図 特殊な状況における人周囲領域を視覚的に示す模式図 画像特徴情報のデータ構造図 画像家族シーン情報のデータ構造図 画像グループ家族シーン情報のデータ構造図 イベント特徴情報のデータ構造図 画像特徴情報生成処理のフローチャート 画像家族シーン情報生成処理のフローチャート 画像グループ家族シーン情報生成処理のフローチャート 画像グループ分類処理のフローチャート 家族のメンバーが参加する行事で撮影された画像群を示す図 従来の画像データ処理装置が生成する画像グループシーン情報のデータ構造図 ２枚の画像を示す図 画像データ処理装置１７００の機能構成を示す機能ブロック図 画像記憶部１７３１のディレクトリ構造を示すディレクトリ構造図 イベント特徴情報のデータ構造図 変形画像特徴情報生成処理のフローチャート 画像分類処理のフローチャート 画像データ処理装置２２００の機能構成を示す機能ブロック図 画像データ処理装置２３００の機能構成を示す機能ブロック図

＜実施の形態１＞
以下、本発明に係る画像データ処理装置の一実施形態として、画像に写る人物の周囲の画素の特徴を示す人周囲特徴量を算出し、算出した人周囲特徴量に基づいて、一つの行事であるイベントに関連して撮影された複数枚の画像からなる画像グループ単位で、画像を互いに異なる予め定められた複数の分類先イベントのうちのいずれかの分類先イベントに分類する画像データ処理装置１００について説明する。

ここで画像グループとは、ユーザによって指定された複数の画像からなる画像の集合のことであって、例えば、２００９年冬の北海道への旅行というイベントにて撮影された画像の集合や、例えば、２０１０年の夏の沖縄への旅行というイベントにて撮影された画像の集合等である。また、分類先イベントとは、画像グループの分類先となる分類先カテゴリのことであって、例えば、スキーに関連する画像グループの分類先となる分類先カテゴリや、例えば、海水浴に関連する画像グループの分類先となる分類先カテゴリ等がある。

＜構成＞
＜画像データ処理装置１００のハードウエア構成＞
図１は、画像データ処理装置１００の主要なハードウエア構成を示すハードウエアブロック図である。

画像データ処理装置１００は、システムＬＳＩ（Large Scale Integrated circuit）１１０と、ハードディスク装置１３０と、外部記録媒体読取書込装置１４０と、ＵＳＢ制御装置１５０と、出力装置１６０と、入力装置１７０と、通信装置１８０とから構成され、デジタル写真である画像を、ＪＰＥＧ（Joint Photographic Experts Group）方式で符号化されたデータとして記憶し、記憶する画像を分類する機能を有する。

また、画像データ処理装置１００は、デジタルスチルカメラ１９２に代表される、画像を記録している機器と着脱可能なＵＳＢケーブル１９５を介して接続し、画像を表示するためのディスプレイ１９３とモニタケーブル１９６を介して接続し、ネットワーク１９４と接続し、ユーザからの操作コマンドを受け付けるリモコン１９７と無線通信を行い、ＳＤメモリカード１９１等で代表される外部記録媒体に対して、データの読み出しと書き込みとを行う機能を有する。

システムＬＳＩ１１０は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ハードディスク装置インターフェース１０４と、外部記録媒体読取書込装置インターフェース１０５と、ＵＳＢ（Universal Serial Bus）制御装置インターフェース１０６と、出力装置インターフェース１０７と、入力装置インターフェース１０８と、通信装置インターフェース１０９と、デコーダ１１１と、バスライン１２０とを１つの集積回路に集積したＬＳＩである。このシステムＬＳＩ１１０は、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０と接続する。

ＣＰＵ１０１は、バスライン１２０と接続し、ＲＯＭ１０２又はＲＡＭ１０３に記憶されているプログラムを実行することで、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０、デコーダ１１１を制御して、様々な機能、例えば、ハードディスク装置１３０に記憶されている画像データを、ＲＡＭ１０３のメモリ領域に読み出す機能等を実現する。
から符号化された画像データを読み出して復号し、復号した画像データをディスプレイ１９３に出力する機能等を実現する。

ＲＯＭ１０２はバスライン１２０と接続し、ＣＰＵ１０１の動作を規定するプログラムと、ＣＰＵが利用するデータとを記憶する。

ＲＡＭ１０３は、バスライン１２０と接続し、ＣＰＵ１０１がプログラムを実行することに伴って発生するデータを一時的に記憶し、また、ハードディスク装置１３０、外部記録媒体読取書込装置１４０から読み取ったデータや書き込むデータ、通信装置１８０が受信したデータや送信するデータ等を一時的に記憶する。

デコーダ１１１は、符号化された画像データを復号する機能を有するＤＳＰ（Digital Signal Processor）であって、バスライン１２０と接続し、ＣＰＵ１０１によって制御され、ＪＰＥＧデコード機能を有する。

ハードディスク装置インターフェース１０４、外部記録媒体読取書込装置インターフェース１０５、ＵＳＢ制御装置インターフェース１０６、出力装置インターフェース１０７、入力装置インターフェース１０８、通信装置インターフェース１０９は、それぞれ、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０と、バスライン１２０との信号のやり取りを仲介するインターフェースである。

ハードディスク装置１３０は、ハードディスク装置インターフェース１０４と接続し、ＣＰＵ１０１によって制御され、内蔵するハードディスクにデータを書き込む機能と、内蔵するハードディスクに書き込まれているデータを読み取る機能を有する。画像データは、このハードディスク装置１３０に内蔵されるハードディスクに記憶される。

外部記録媒体読取書込装置１４０は、外部記録媒体読取書込装置インターフェース１０５と接続し、ＣＰＵ１０１によって制御され、外部記録媒体にデータを書き込む機能と、外部記録媒体に書き込まれているデータを読み取る機能とを有する。

ここで、外部記録媒体とは、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc）、ＢＤ−Ｒ、ＢＤ−ＲＥ、ＳＤメモリカード１９１等であって、外部記録媒体読取書込装置１４０は、これら、ＤＶＤ、ＢＤ等からのデータの読み取りや、ＤＶＤ−Ｒ、ＢＤ−Ｒ、ＢＤ−ＲＥ、ＳＤメモリカード等へのデータの書き込みと読み取りとをすることができる。

ＵＳＢ制御装置１５０は、ＵＳＢ制御装置インターフェース１０６と接続し、ＣＰＵ１０１によって制御され、着脱可能なＵＳＢケーブル１９５を介して外部機器にデータを書き込む機能と、外部機器に書き込まれているデータを読み取る機能とを有する。

ここで、外部機器とは、デジタルスチルカメラ１９２、パーソナルコンピュータ、カメラ機能付き携帯電話機等の、画像を記憶する機器であって、ＵＳＢ制御装置１５０は、ＵＳＢケーブル１９５を介してこれら外部機器へのデータの書き込みと読み取りとをすることができる。

出力装置１６０は、出力装置インターフェース１０７と、モニタケーブル１９６とに接続し、ＣＰＵ１０１によって制御され、モニタケーブル１９６を介してディスプレイ１９３に表示させるデータを出力する機能を有する。

入力装置１７０は、入力装置インターフェース１０８と接続し、ＣＰＵ１０１によって制御され、リモコン１９７から無線で送信されるユーザからの操作コマンドを受け付け、受け付けた操作コマンドをＣＰＵ１０１に送信する機能を有する。

通信装置１８０は、通信装置インターフェース１０９と、ネットワーク１９４とに接続し、ＣＰＵ１０１によって制御され、ネットワーク１９４を介して、外部通信機器とデータの送受信を行う機能を有する。

ここで、ネットワーク１９４とは、光通信回線、電話回線、無線回線等によって実現されており、外部通信機器や、インターネット等と接続している。

また、外部通信機器とは、外部ハードディスク装置等といった、画像や、ＣＰＵ１０１の動作を規定するプログラム等を記憶する機器であって、通信装置１８０は、ネットワーク１９４を介してこれら外部通信機器からデータの読み取りをすることができる。

以上のようなハードウエアで実現される画像データ処理装置１００は、ＣＰＵ１０１が、ＲＯＭ１０２又はＲＡＭ１０３に記憶されているプログラムを実行し、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０、デコーダ１１１を制御することで様々な機能を実現する。

以下、図面を用いて、ＣＰＵ１０１がプログラムを実行することで実現される、画像データ処理装置１００の機能構成を説明する。

＜画像データ処理装置１００の機能構成＞
図２は、画像データ処理装置１００の主要な機能ブロックの構成を示す機能ブロック図である。

画像データ処理装置１００は、画像グループデータ受付部２０１、画像書込読出部２０２、画像特徴情報書込読出部２０３、家族シーン情報書込読出部２０４、顔抽出部２０５、家族シーン情報算出部２０６、人周囲特徴量抽出部２０７、画像グループ分類部２０８、イベント特徴情報書込読出部２０９、分類結果出力部２１０、イベント名情報受付部２１１、イベント特徴情報受付部２１２、サンプル画像受付部２１３、サンプル画像書込部２１４、イベント特徴情報記憶部２３４、サンプル画像記憶部２３６とから構成される。

画像グループデータ受付部２０１は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、画像書込読出部２０２と接続し、ユーザからの、２枚以上の画像からなる画像グループ２４１の画像の指定を受け付け、受け付けた画像群を、１つの画像グループに含まれる画像群として、ＲＡＭ１０３のメモリ領域に読み込む機能と、画像を読み込む際に、その画像を特定するための画像ＩＤを付与する機能とを有する。

画像グループデータ受付部２０１が画像を読み込む場合には、外部記録媒体読取書込装置１４０経由で外部記録媒体から画像を読み込む場合と、ＵＳＢ制御装置１５０経由で外部機器から画像を読み込む場合と、通信装置１８０経由で外部通信機器から画像を読み込む場合とがある。

画像記憶部２３１は、画像としてのデジタル写真を、ＪＰＥＧ方式で符号化された画像データとして記憶するための記憶領域であって、画像書込読出部２０２に接続され、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。

画像記憶部２３１に記憶される各画像データは、画像ファイルとして、ファイルシステム配下において、論理的にディレクトリ構造により管理されている。

図３は画像記憶部２３１のディレクトリ構造を示すディレクトリ構造図である。

同図に示されているように、画像記憶部２３１のディレクトリ構造は、最上位階層３１０と、第１ディレクトリ階層３２０と、第２ディレクトリ階層３３０との合計３階層からなっている。

第１ディレクトリ階層３２０には、スキーディレクトリ３２１、海水浴ディレクトリ３２２、ピクニックディレクトリ３２３等の複数の分類先イベントディレクトリと、実データ保管ディレクトリ３２４とが存在する。

分類先イベントディレクトリは、画像グループの分類先である分類先イベントと同じ名前を持つディレクトリであって、同じ名前のディレクトリは１つしか存在しない。

実データ保管ディレクトリ３２４は、画像データを保持するディレクトリであって、画像のデータはこの実データ保管ディレクトリ３２４のみに保持される。

第２ディレクトリ階層３３０には、２０１０年冬信州旅行ディレクトリ３３１、２００９年冬北海道旅行ディレクトリ３３２、２０１０年夏沖縄旅行ディレクトリ等の複数のイベントディレクトリが存在する。

イベントディレクトリは、画像グループデータ受付部２０１が受け付けた画像群からなる画像グループに対応するディレクトリであって、実データ保管ディレクトリ３２４に保持されているデータのうち、その画像グループに属する全ての画像のデータのアドレスを示す情報が保持されることによって、その画像のデータがリンクされている状態となっているディレクトリである。

各イベントディレクトリは、対応する画像グループが分類されている分類先イベントに対応する分類先イベントディレクトリの下に存在している。

もし、複数の分類先イベントに分類されている画像グループが存在する場合には、分類されている分類先イベントの数だけ、同一名称で同一の画像がリンクされているディレクトリが存在する。

ここで、各イベントディレクトリの名称は、画像データ処理装置１００を利用するユーザによって、そのイベントディレクトリに対応する画像グループについて指定されるイベント名となっている。各イベントディレクトリの生成方法については後程＜画像グループ分類処理＞で説明する。

再び図２に戻って、画像データ処理装置１００の機能構成の説明を続ける。

画像書込読出部２０２は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、画像記憶部２３１と、画像グループデータ受付部２０１と、顔抽出部２０５と、家族シーン情報算出部２０６と、画像グループ分類部２０８とに接続し、画像記憶部２３１に記憶されている画像を読み出す機能と、画像記憶部２３１に画像を書き込む機能と、画像記憶部２３１のディレクトリ構造を変更する機能と、画像記憶部２３１の画像データのリンクを変更する機能とを有する。

サンプル画像記憶部２３６は、特定の人物（例えば家族）の顔が写っているデジタル写真であるサンプル画像を、ＪＰＥＧ方式で符号化された画像データとして記憶するための記憶領域であって、サンプル画像書込部２１４と、顔抽出部２０５とに接続され、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。

サンプル画像書込部２１４は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、サンプル画像受付部２１３と接続し、サンプル画像受付部２１３によって受け付けられたサンプル画像と人物を特定する対応顔ＩＤとを、サンプル画像記憶部２３６に書き込む機能を有する。

サンプル画像受付部２１３は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、サンプル画像書込部２１４と接続し、ユーザから、特定の人物の顔が写っているサンプル画像とその人物を特定する対応顔ＩＤとを受け付け、受け付けたサンプル画像と対応顔とを対応付けて、ＲＡＭ１０３のメモリ領域に読み込む機能と、読み込んだサンプル画像を、サンプル画像書込部２１４を用いて、サンプル画像記憶部２３６に記憶させる機能を有する。

サンプル画像受付部２１３が画像を読み込む場合には、外部記録媒体読取書込装置１４０経由で外部記録媒体から画像を読み込む場合と、ＵＳＢ制御装置１５０経由で外部機器から画像を読み込む場合と、通信装置１８０経由で外部通信機器から画像を読み込む場合とがある。

顔抽出部２０５は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、画像書込読出部２０２と、人周囲特徴量抽出部２０７と、サンプル画像記憶部２３６とに接続し、以下の３つの機能を有する。

機能１：人の顔の特徴を示す予め定められた顔のモデルを保持し、保持する顔のモデルを参照することで、１枚の画像に含まれる顔の認識を試み、顔を認識した場合に、認識した顔の領域の面積と、認識した顔の位置とを算出し、認識した顔それぞれに、その認識した顔を特定するための顔ＩＤを、シーケンシャルに付与する機能。

ここで、顔のモデルとは、例えば、目、鼻、口等の顔を形成するパーツの輝度や、相対的な位置関係に関する情報等であり、認識した顔の領域とは、例えば、認識した顔を含む、画像における水平方向の辺と画像における垂直方向の辺とを有する矩形のうち、面積が最小となる矩形の領域である。

顔抽出部２０５は、予め定められた顔のモデルとして、例えばハードディスク装置１３０の内部に保持されているものを用いる場合、外部に格納されているものを参照する場合等が考えられる。

機能２：顔を認識した場合に、画像から、その認識した顔の特徴と、サンプル画像記憶部２３６に記憶されているサンプル画像に含まれる顔の特徴とを抽出し、サンプル画像記憶部２３６に記憶されているサンプル画像の中に、その認識した顔の特徴と同じ顔の特徴を持つ画像があるとき、その認識した顔の人物を、そのサンプル画像に写っている人物と同一人物であると判断する機能。

ここで、顔の特徴とは、例えば、目、鼻、口等の顔を形成するパーツの相対的な位置関係や、これらパーツの面積比率等のことである。

機能３：顔を認識した場合に、その認識した顔の領域の下方に、体の領域を、その認識した顔の領域に対して所定のアルゴリズムで定められる矩形の領域として算出し、算出した体の領域の面積と、算出した体の領域の位置とを算出し、算出した体の領域のそれぞれに、その算出した体の領域を特定するための体ＩＤを、シーケンシャルに付与する機能。

ここで、体の領域を定める所定のアルゴリズムとは、例えば、認識した顔の領域の下方の、顔の領域の画像における水平方向の幅を１．５倍し、顔の領域の画像における垂直方向の幅を２倍した矩形の領域であって、その中心点の画像における水平方向の座標が、顔の領域の中心の画像における水平方向の座標と一致する矩形の領域を、体の領域とするアルゴリズムである。

人周囲特徴量抽出部２０７は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、顔抽出部２０５と、画像特徴情報書込読出部２０３とに接続し、以下の５つの機能を有する。

機能１：顔周囲領域を、顔抽出部２０５によって算出された顔の領域の位置に対して所定のアルゴリズムで定められる矩形の領域として算出し、算出した顔周囲領域の位置を算出する機能。

ここで、顔周囲領域を定める所定のアルゴリズムとは、例えば、顔の領域に対して、画像における水平方向の左右のそれぞれに、顔の領域の、画像における水平方向の幅を加え、画像における垂直方向の上方に、顔の領域の、画像における垂直方向の幅を加えた矩形の領域を、顔周囲領域とするアルゴリズムである。

機能２：体周囲領域を、顔抽出部２０５によって算出された顔の領域の位置に対して所定のアルゴリズムで定められる矩形の領域として算出し、算出した体周囲領域の位置を算出する機能。

ここで、体周囲領域を定める所定のアルゴリズムとは、例えば、体の領域に対して、画像における水平方向の左右のそれぞれに、顔の領域の、画像における水平方向の幅を加え、画像における垂直方向の上下のそれぞれに、顔の領域の、画像における垂直方向の幅の半分の幅を加えた矩形の領域を、体周囲領域とするアルゴリズムである。

機能３：人周囲領域を、算出した顔周囲領域と体周囲領域とに対して所定のアルゴリズムで定められる領域として算出する機能。

ここで、人周囲領域を定める所定のアルゴリズムとは、例えば、顔周囲領域と体周囲領域との少なくとも一方に含まれる領域から、顔の領域と体の領域とを除外した領域を、人周囲領域とするアルゴリズムのことである。

機能４：人周囲領域に含まれる各画素について、その画素を構成する色成分、例えば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各輝度値から、その画素の色が、予め定めているＮ個の主要色（例えば、黒、青、緑、白等）のうちのいずれの色に類似しているかを特定し、特定された色のそれぞれについて、人周囲領域に含まれる全画素数に対するその色に特定された画素数の比率を、人周囲特徴量として算出する機能。

ある画素の色がいずれの主要色に類似しているかを特定する方法としては、例えば、それぞれの主要色毎に、予め、対応するＲの輝度値の範囲とＧの輝度値の範囲とＢの輝度値の範囲とを定めておき、特定対象となる画素の、Ｒ、Ｇ、Ｂの輝度値と比較することで、その画素がいずれの主要色に類似しているかを特定する方法がある。

機能５：画像特徴情報（後述）を生成する機能。

図４は、上述の各種領域を視覚的に示す模式図である。

同図において、画像４０１は、顔４１２と体４１３とからなる人物４１１が撮影された画像である。

第１変形画像４０２には、画像４０１における、顔抽出部２０５によって算出された顔の領域４２２が示されている。第２変形画像４０３には、画像４０１における、顔抽出部２０５によって算出された体の領域４２３が示されている。第３変形画像４０４には、画像４０１における、人周囲特徴量抽出部２０７によって算出された顔周囲領域４２４が示されている。第４変形画像４０５には、画像４０１における、人周囲特徴量抽出部２０７によって算出された体周囲領域４２５が示されている。第５変形画像４０６には、画像４０１における、人周囲特徴量抽出部２０７によって算出された人周囲領域４２６が示されている。

このように、画像４０１から、顔の領域４２２、体の領域４２３、顔周囲領域４２４、体周囲領域４２５、人周囲領域４２６が算出される。

図５は、特殊な状況における人周囲領域を視覚的に示す模式図である。

同図において、画像５０１は、認識された顔を複数含む画像の例であって、ここでは、顔Ａ５１２と体Ａ５１３とからなる人物５１１と、顔Ｂ５６２と体Ｂ５６３とからなる人物５６１との２人の人物の認識された顔が含まれた画像となっている。

変形画像５０２には、画像５０１における、人周囲特徴量抽出部２０７によって算出された人周囲領域５２６が示されている。

変形画像５０２に示されるように、人周囲特徴量抽出部２０７は、顔Ａ５１２に対応する顔周囲領域と顔Ｂ５６２に対応する顔周囲領域と体Ａ５１３に対応する体周囲領域と体Ｂ５６３に対応する体周囲領域との少なくとも一つに含まれる領域から、顔Ａ５１２に対応する顔の領域と顔Ｂ５６２に対応する顔の領域と体Ａ５１３に対応する体の領域と体Ｂ５６３に対応する体の領域とを除外した領域を、人周囲領域として算出する。

このように、人周囲特徴量抽出部２０７は、一枚の画像に認識された顔が複数含まれている場合には、いずれかの顔周囲領域といずれかの体周囲領域との少なくとも一つに含まれる領域から、全ての顔の領域と全ての体の領域とを除外した領域を人周囲領域とする。

画像５０３は、顔周囲領域の一部又は体周囲領域の一部が画像からはみ出してしまう認識された顔を含む画像の例であって、ここでは、顔５９２と体５９３とからなる人物５９１が含まれた画像となっている。

変形画像５０４には、画像５０３における、人周囲特徴量抽出部２０７によって算出された人周囲領域５９６が示されている。

変形画像５０４に示されるように、人周囲特徴量抽出部２０７は、画像内の領域のうち、顔周囲領域と体周囲領域との少なくとも一つに含まれる領域から、顔の領域と体の領域と画像５０３に含まれない領域とを除外した領域を、人周囲情報として算出する。

再び図２に戻って、画像データ処理装置１００の機能構成の説明を続ける。

画像特徴情報記憶部２３２は、画像特徴情報を記憶するための記憶領域であって、画像特徴情報書込読出部２０３に接続され、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。

図６は、画像特徴情報記憶部２３２に記憶されている画像特徴情報のデータ構造の一例を示す図である。

同図に示されるように、画像特徴情報は、画像ＩＤ６００と、顔特徴量６１０と、体特徴量６２０と、顔周囲領域６３０と、体周囲領域６４０と、人周囲特徴量６５０とが対応付けられて構成されている。

また、顔特徴量６１０は、さらに、顔ＩＤ６１１と、顔面積６１２と、顔位置６１３と、対応顔ＩＤ６１４とが対応付けられて構成され、体特徴量６２０は、さらに、体ＩＤ６２１と、体面積６２２と、体位置６２３とが対応付けられて構成され、人周囲特徴量６５０は、さらに、黒比率６５１と、青比率６５２と、緑比率６５３と、白比率６５４とが対応付けられて構成されている。

画像ＩＤ６００は、画像グループデータ受付部２０１によって各画像に付与された、画像を特定するためのＩＤである。

顔ＩＤ６１１は、顔抽出部２０５によって各認識された顔に付与された、認識された顔を特定するためのＩＤである。

顔面積６１２は、顔抽出部２０５によって算出された、画像の面積に対する顔の領域の面積の比率であって、顔の領域が画像全体となる場合に１となるように正規化されている。

顔位置６１３は、顔抽出部２０５によって算出された、顔の領域の位置を示す座標であって、画像における、矩形である顔の領域の左上の座標と右下の座標とで構成される。

対応顔ＩＤ６１４は、サンプル画像記憶部２３６に記憶されている画像に含まれる人物を特定するＩＤである。ここでは、例えば、対応顔ＩＤ６１４が“０１”であれば、その人物は息子、“０２”であれば父、“０３”であれば母であることを示している。また、例えば、顔ＩＤ６１１と同じ顔の特徴を持つ、サンプル画像記憶部２３６に記憶されている画像に含まれる人物がない場合には、対応顔ＩＤ６１４は“９９”であるとしている。また、例えば、対応顔ＩＤ６１４が“０１”又は“０２”又は“０３”である場合に、その人物は、家族であるとする。

体ＩＤ６２１は、顔抽出部２０５によって算出された体の領域に付与された、体の領域を特定するためのＩＤである。

体面積６２２は、顔抽出部２０５によって算出された、画像の面積に対する体の領域の面積の比率であって、体の領域が画像全体となる場合に１となるように正規化されている。

体位置６２３は、顔抽出部２０５によって算出された、体の領域の位置を示す座標であって、画像における、矩形である体の領域の左上の座標と右下の座標とで構成される。

顔周囲領域６３０は、人周囲特徴量抽出部２０７によって算出された、顔周囲領域の位置を示す座標であって、画像における、顔周囲領域の左上の座標と右下の座標とで構成される。ここで、座標とは、画像の左上の座標を（０、０）とした場合のＸ、Ｙ座標である。

体周囲領域６４０は、人周囲特徴量抽出部２０７によって算出された、体周囲領域の位置を示す座標であって、画像における、矩形である体周囲領域の左上の座標と右下の座標とで構成される。

黒比率６５１は、人周囲特徴量抽出部２０７によって算出された、人周囲領域に含まれる全画素数に対する、人周囲領域に含まれる黒色と特定された画素の数の比率である。

青比率６５２は、人周囲特徴量抽出部２０７によって算出された、人周囲領域に含まれる全画素数に対する、人周囲領域に含まれる青色と特定された画素の数の比率である。

緑比率６５３は、人周囲特徴量抽出部２０７によって算出された、人周囲領域に含まれる全画素数に対する、人周囲領域に含まれる緑色と特定された画素の数の比率である。

白比率６５４は、人周囲特徴量抽出部２０７によって算出された、人周囲領域に含まれる全画素数に対する、人周囲領域に含まれる白色と特定された画素の数の比率である。

再び図２に戻って、画像データ処理装置１００の機能構成の説明を続ける。

画像特徴情報書込読出部２０３は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、人周囲特徴量抽出部２０７と、家族シーン情報算出部２０６と、画像特徴情報記憶部２３２とに接続し、画像特徴情報記憶部２３２に対して、画像特徴情報の読み出し、書き込みを行う機能を有する。

イベント名情報受付部２１１は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、家族シーン情報算出部２０６に接続し、画像データ処理装置１００を利用するユーザによって入力される、画像グループの名称であるイベント名を受け付ける機能を有する。

家族シーン情報算出部２０６は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、画像書込読出部２０２と、画像特徴情報書込読出部２０３と、家族シーン情報書込読出部２０４と、イベント名情報受付部２１１とに接続し、以下の２つの機能を有する。

機能１：認識された顔を含む画像について、画像家族シーン特徴量（後述）を、人周囲特徴量に対して所定のアルゴリズムで定められる値として算出する機能。

ここで、画像家族シーン特徴量を定める所定のアルゴリズムとは、例えば、人周囲特徴量の各色比率の値を、顔面積の値で除算することで画像家族シーン特徴量の各画像家族シーン色比率を算出するアルゴリズムのことである。このアルゴリズムによれば、算出される画像家族シーン特徴量は、画像における顔の領域の面積がより小さな画像の方が、その画像の画像家族シーン特徴量の値がより大きな値となるように重み付けされることとなる。

機能２：画像グループに対して、画像グループ家族シーン特徴量（後述）を、その画像グループに含まれる画像の画像家族シーン特徴量に対して所定のアルゴリズムで定められる値として算出する機能。

ここで、画像グループ家族シーン特徴量を定める所定のアルゴリズムとは、例えば、画像グループに含まれる画像のうち、家族の顔として認識された顔を含む画像に対応する画像家族シーン特徴量の各画像家族シーン色比率の値についての平均値を、画像グループ家族シーン特徴量の各画像グループ家族シーン色比率の値とするアルゴリズムのことである。

また、ここで、家族の顔とは、対応する対応顔ＩＤが家族を示す顔である。

機能３：画像家族シーン情報（後述）と画像グループ家族シーン情報（後述）とを生成する機能。

家族シーン情報記憶部２３３は、画像家族シーン情報と画像グループ家族シーン情報とを記憶するための記憶領域であって、家族シーン情報書込読出部２０４に接続され、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。

図７は、家族シーン情報記憶部２３３に記憶されている画像家族シーン情報のデータ構造の一例を示す図である。

同図に示されるように、画像家族シーン情報は、画像ＩＤ７００と、顔ＩＤ７１０と、対応顔ＩＤ７２０と、画像家族シーン特徴量７３０とが対応付けられて構成されている。

また、画像家族シーン特徴量７３０は、さらに、画像家族シーン黒比率７３１と、画像家族シーン青比率７３２と、画像家族シーン緑比率７３３と、画像家族シーン白比率７３４とが対応付けられて構成されている。

画像ＩＤ７００と顔ＩＤ７１０と対応顔ＩＤ７２０とは、それぞれ、図６中の画像ＩＤ６００と顔ＩＤ６１１と対応顔ＩＤ６１４と同等のものである。よって、説明を省略する。

画像家族シーン黒比率７３１は、対応する画像の黒比率６５１（図６参照）の値に重み付けがなされることで算出される値であって、家族シーン情報算出部２０６が、黒比率６５１の値を、対応する顔面積６１２の値で除算することによって算出されたものである。

画像家族シーン青比率７３２は、対応する画像の青比率６５２の値に重み付けがなされることで算出される値であって、家族シーン情報算出部２０６が、青比率６５２の値を、対応する顔面積６１２の値で除算することによって算出されたものである。

画像家族シーン緑比率７３３は、対応する画像の緑比率６５３の値に重み付けがなされることで算出される値であって、家族シーン情報算出部２０６が、緑比率６５３の値を、対応する顔面積６１２の値で除算することによって算出されたものである。

画像家族シーン白比率７３４は、対応する画像の白比率６５４の値に重み付けがなされることで算出される値であって、家族シーン情報算出部２０６が、白比率６５４の値を、対応する顔面積６１２の値で除算することによって算出されたものである。

図８は、家族シーン情報記憶部２３３に記憶されている画像グループ家族シーン情報のデータ構造の一例を示す図である。

同図に示されるように、画像グループ家族シーン情報は、画像グループＩＤ８００と、イベント名８１０と、画像グループ家族シーン特徴量８２０とが対応付けられて構成されている。

また、画像グループ家族シーン特徴量８２０は、さらに、画像グループ家族シーン黒比率８２１と、画像グループ家族シーン青比率８２２と、画像グループ家族シーン緑比率８２３と、画像グループ家族シーン白比率８２４とが対応付けられて構成されている。

画像グループＩＤ８００は画像グループを特定するためのＩＤである。

イベント名８１０は、画像データ処理装置１００を利用するユーザによって、イベント名情報受付部２１１を介して入力される、画像グループの名称であるイベント名である。

画像グループ家族シーン黒比率８２１は、対応する画像グループを構成する画像のうち、家族の顔として認識された顔を含む画像における画像家族シーン黒比率７３１（図７参照）の値の平均値であって、家族シーン情報算出部２０６によって算出されたものである。

画像グループ家族シーン青比率８２２は、対応する画像グループを構成する画像のうち、家族の顔として認識された顔を含む画像における画像家族シーン青比率７３２の値の平均値であって、家族シーン情報算出部２０６によって算出されたものである。

画像グループ家族シーン緑比率８２３は、対応する画像グループを構成する画像のうち、家族の顔として認識された顔を含む画像における画像家族シーン緑比率７３３の値の平均値であって、家族シーン情報算出部２０６によって算出されたものである。

画像グループ家族シーン白比率８２４は、対応する画像グループを構成する画像のうち、家族の認識された顔を含む画像における画像家族シーン白比率７３４の値の平均値であって、家族シーン情報算出部２０６によって算出されたものである。

再び図２に戻って、画像データ処理装置１００の機能構成の説明を続ける。

家族シーン情報書込読出部２０４は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、家族シーン情報算出部２０６と、画像グループ分類部２０８と、家族シーン情報記憶部２３３とに接続し、家族シーン情報記憶部２３３に対して、画像家族シーン情報と画像グループ家族シーン情報との読み出し、書き込みを行う機能を有する。

イベント特徴情報記憶部２３４は、イベント特徴情報を記憶するための記憶領域であって、イベント特徴情報書込読出部２０９に接続され、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。

図９は、イベント特徴情報記憶部２３４に記憶されているイベント特徴情報のデータ構造の一例を示す図である。

同図に示されるように、イベント特徴情報は、画像グループ家族シーン黒比率１．５以上９０１、画像グループ家族シーン青比率１．５以上９０２、画像グループ家族シーン比率緑１．５以上９０３、画像グループ家族シーン比率白１．５以上９０４等といった分類条件９００のそれぞれを、花火９１１、海水浴９１２、ピクニック９１３、スキー９１４等といった分類先イベント９１０のそれぞれに対応付けているものである。

再び図２に戻って、画像データ処理装置１００の機能構成の説明を続ける。

イベント特徴情報書込読出部２０９は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、画像グループ分類部２０８と、イベント特徴情報受付部２１２と、イベント特徴情報記憶部２３４とに接続し、イベント特徴情報記憶部２３４に対して、イベント特徴情報の読み出し、書き込みを行う機能を有する。

イベント特徴情報受付部２１２は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、イベント特徴情報書込読出部２０９と接続し、画像データ処理装置１００を利用するユーザによって入力される、イベント特徴情報を受け付け、受け付けたイベント特徴情報を、イベント特徴情報書込読出部２０９を用いて、イベント特徴情報記憶部２３４に記憶させる機能を有する。

イベント特徴情報受付部２１２がイベント特徴情報を受け付ける場合には、ユーザからのリモコン１９７の操作によって受け付ける場合と、外部記録媒体読取書込装置１４０経由で外部記録媒体から受け付ける場合と、ＵＳＢ制御装置１５０経由で外部機器から受け付ける場合と、通信装置１８０経由で外部通信機器から受け付ける場合とがある。

画像グループ分類部２０８は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、画像書込読出部２０２と、家族シーン情報書込読出部２０４と、イベント特徴情報書込読出部２０９と、分類結果出力部２１０とに接続し、家族シーン情報記憶部２３３に記憶されている画像グループ家族シーン情報と、イベント特徴情報記憶部２３４に記憶されているイベント特徴情報とに基づいて、画像グループを、分類先イベントに分類する機能を有する。

画像グループ分類部２０８が行う画像グループの分類方法の詳細については、後程＜画像グループ分類処理＞で説明する。

分類結果出力部２１０は、ＣＰＵ１０１がプログラムを実行することで実現されるブロックであって、画像グループ分類部２０８と接続し、画像グループ分類部２０８が画像グループを分類した場合に、分類結果をディスプレイ１９３に表示させる機能を有する。

以上のように構成される画像データ処理装置１００の行う動作について、以下、図面を用いて説明する。

＜動作＞
画像データ処理装置１００の行う特徴的な動作に、画像特徴情報生成処理と、画像家族シーン情報生成処理と、画像グループ家族シーン情報生成処理と、画像グループ分類処理とがある。

以下、それぞれの処理について、図面を用いて説明する。

＜画像特徴情報生成処理＞
画像特徴情報生成処理は、画像データ処理装置１００が、画像グループ単位で画像を読み込み、読み込んだ画像のそれぞれに対して、画像特徴情報を生成する処理である。

図１０は、画像データ処理装置１００の行う画像特徴情報生成処理のフローチャートである。

画像特徴情報生成処理は、リモコン１９７が、ユーザから画像特徴情報生成処理を開始する旨の操作を受け付けることで開始される。

画像特徴情報生成処理が開始されると、画像グループデータ受付部２０１は、１つの画像グループの画像の読み込みを開始し、イベント名情報受付部２１１は、その画像グループに属する画像が撮影されたイベントのイベント名の受け付けを開始する（ステップＳ１０００）。

画像グループデータ受付部２０１は、外部記録媒体読取書込装置１４０に装着された外部記録媒体から、又は、ＵＳＢ制御装置１５０に接続されたＵＳＢケーブル１９５を介して外部機器から、又は、ネットワーク１９４に接続された通信装置１８０から、画像を読み込むことができる。

ここでは、例えば、外部記憶媒体としてのＳＤメモリカード１９１に記録されている画像グループの画像を、外部記録媒体読取書込装置１４０から読み込むものとする。

画像グループデータ受付部２０１は、ＳＤメモリカード１９１に記録されている画像を１つずつ読み込んで、読み込んだ画像に対して、シーケンシャルに画像ＩＤを付与し、画像データと画像ＩＤとを対応付けて、画像書込読出部２０２を用いて、画像記憶部２３１の実データ保管ディレクトリ３２４に書き込む。

イベント名情報受付部２１１は、ユーザからのリモコン１９７の操作によって、画像グループに属する画像が撮影されたイベントのイベント名を受け付ける。

画像グループに属する画像が全て画像記憶部２３１に書き込まれると、顔抽出部２０５は、画像書込読出部２０２を用いて、画像記憶部２３１から、画像グループデータ受付部２０１によって受け付けられた画像グループに属する画像を１枚ずつ選択して読み出して（ステップＳ１０１０）、読み出した画像をＪＰＥＧ方式で復号する。

顔抽出部２０５は、読み出された１枚の画像について、保持する顔のモデルを参照することで、１枚の画像に含まれる顔の認識を試みる（ステップＳ１０２０）。

顔抽出部２０５は、顔を認識した場合に（ステップＳ１０２０：Ｙｅｓ）、認識した顔のそれぞれについて、顔特徴量を算出する（ステップＳ１０３０）。すなわち、認識した顔の領域の面積と、認識した顔の位置とを算出し、認識した顔それぞれに、その認識した顔を特定するための顔ＩＤを、シーケンシャルに付与し、その認識した顔の特徴と、サンプル画像記憶部２３６に記憶されているサンプル画像に含まれる顔の特徴とを抽出し、サンプル画像記憶部２３６に記憶されているサンプル画像の中に、その認識した顔の特徴と同じ顔の特徴を持つ画像があるとき、その認識した顔の対応顔ＩＤに、そのサンプル画像に対応する対応顔ＩＤを付与する。もし、サンプル画像記憶部２３６に記憶されているサンプル画像の中に、その認識した顔の特徴と同じ顔の特徴を持つ画像がなければ、その認識した顔の対応顔ＩＤに、他人である旨を意味する“９９”を付与する。

ステップＳ１０３０の処理が終わると、顔抽出部２０５は、認識した顔のそれぞれについて、認識した顔の領域の下方に体の領域を算出し、算出した体の領域のそれぞれについて、体特徴量を算出する（ステップＳ１０４０）。すなわち、算出した体の領域の面積と、算出した体の領域の位置とを算出し、算出した体の領域のそれぞれに、その算出した体の領域を特定するための体ＩＤを、シーケンシャルに付与する。

ステップＳ１０４０の処理が終わると、人周囲特徴量抽出部２０７は、顔の領域に基づいて顔周囲領域を算出し、体の領域に基づいて体周囲領域を算出し、算出した顔周囲領域と算出した体周囲領域とから人周囲領域を算出する（ステップＳ１０５０）。

さらに、人周囲特徴量抽出部２０７は、人周囲領域に含まれる画素の画素値に基づいて、人周囲特徴量を算出する（ステップＳ１０６０）。すなわち、人周囲領域に含まれる各画素について、その画素を構成する色成分であるＲ、Ｇ、Ｂの各輝度から、その画素の色を特定し、特定された色のそれぞれについて、人周囲領域に含まれる全画素数に対するその色に特定された画素数の比率をその色の色比率として算出する。

ステップＳ１０２０の処理において、顔抽出部２０５が顔を認識しなかった場合には（ステップＳ１０２０：Ｎｏ）、顔抽出部２０５は、顔特徴量の各構成要素の値としてヌル値を設定し、体特徴量の各構成要素の値としてヌル値を設定し、人周囲特徴量抽出部２０７は、顔周囲領域の値としてヌル値を設定し、体周囲領域の値としてヌル値を設定し、人周囲特徴量の各構成要素の値としてヌル値を設定する（ステップＳ１０７０）。

ステップＳ１０６０の処理が終わった場合、又はステップＳ１０７０の処理が終わった場合に、人周囲特徴量抽出部２０７は、対象となっている画像についての画像特徴情報を生成し、生成した画像特徴情報を、画像特徴情報書込読出部２０３を用いて、画像特徴情報記憶部２３２に記憶させる（ステップＳ１０８０）。

ステップＳ１０８０の処理が終わると、顔抽出部２０５は、画像グループデータ受付部２０１によって受け付けられた画像グループに属する画像の中に、未だ選択していない画像があるか否かを調べる（ステップＳ１０９０）。

ステップＳ１０９０の処理において、未選択の画像が存在する場合に（ステップＳ１０９０：Ｎｏ）、画像データ処理装置１００は、再びステップＳ１０１０の処理に戻って、ステップＳ１０１０以降の処理を続ける。

ステップＳ１０９０の処理において、未選択の画像が存在しない場合に（ステップＳ１０９０：Ｙｅｓ）、画像データ処理装置１００は、その画像特徴情報生成処理を終了する。

＜画像家族シーン情報生成処理＞
画像家族シーン情報生成処理は、画像データ処理装置１００が、画像特徴情報に基づいて、画像家族シーン情報を生成する処理である。

図１１は、画像データ処理装置１００が行う画像家族シーン情報生成処理のフローチャートである。

画像家族シーン情報生成処理は、画像データ処理装置１００が画像特徴情報生成処理を終了することで開始される。

画像家族シーン情報生成処理が開始されると、家族シーン情報算出部２０６は、画像特徴情報書込読出部２０３を用いて、画像特徴情報記憶部２３２から、画像特徴情報生成処理で処理対象となった画像グループに属する画像の画像特徴情報を読み出す（ステップＳ１１００）。

家族シーン情報算出部２０６は、読み出した画像特徴情報の中から、１つの画像特徴情報を選択し（ステップＳ１１１０）、選択した画像特徴情報に対応する画像に認識された顔が含まれているか否かを調べる（ステップＳ１１２０）。ここで、認識された顔が含まれているか否かは、顔特徴量を構成する各構成要素がヌル値でないかあるかを調べることで調べられる。

家族シーン情報算出部２０６は、認識された顔が含まれている場合に（ステップＳ１１２０：Ｙｅｓ）、顔面積６１２（図６参照）と人周囲特徴量６５０とから、画像家族シーン特徴量を算出する（ステップＳ１１３０）。すなわち、人周囲特徴量６５０を構成する各色比率の値のそれぞれを顔面積６１２の値で除算することで、それぞれの画像家族シーン色比率の値を算出する。

ステップＳ１１２０の処理において、認識された顔が含まれていない場合には（ステップＳ１１２０：Ｎｏ）、家族シーン情報算出部２０６は、画像家族シーン特徴量の値としてヌル値を設定する（ステップＳ１１４０）。すなわち、画像家族シーン特徴量を構成するそれぞれの画像家族シーン色比率の値を、それぞれヌル値とする。

ステップＳ１１３０の処理が終わった場合、又はステップＳ１１４０の処理が終わった場合に、家族シーン情報算出部２０６は、対象となっている画像特徴情報についての画像家族シーン情報を生成し、生成した画像家族シーン情報を、家族シーン情報書込読出部２０４を用いて、家族シーン情報記憶部２３３に記憶させる（ステップＳ１１５０）。

ステップＳ１１５０の処理が終わると、家族シーン情報算出部２０６は、対象となる画像グループに属する画像の画像特徴情報の中に、未だ選択していない画像特徴情報があるか否かを調べる（ステップＳ１１６０）。

ステップＳ１１６０の処理において、未選択の画像特徴情報が存在する場合に（ステップＳ１１６０：Ｎｏ）、画像データ処理装置１００は、再びステップＳ１１１０の処理に戻って、ステップＳ１１１０以降の処理を続ける。

ステップＳ１１６０の処理において、未選択の画像特徴情報が存在しない場合に（ステップＳ１１６０：Ｙｅｓ）、画像データ処理装置１００は、その画像家族シーン情報生成処理を終了する。

＜画像グループ家族シーン情報生成処理＞
画像グループ家族シーン情報生成処理は、画像データ処理装置１００が、画像グループに属する各画像の画像家族シーン情報に基づいて、その画像グループの画像グループ家族シーン情報を生成する処理である。

図１２は、画像データ処理装置１００が行う画像グループ家族シーン情報生成処理のフローチャートである。

画像グループ家族シーン情報生成処理は、画像データ処理装置１００が画像家族シーン情報生成処理を終了することで開始される。

画像グループ家族シーン情報生成処理が開始されると、家族シーン情報算出部２０６は、家族シーン情報書込読出部２０４を用いて、家族シーン情報記憶部２３３から、画像家族シーン情報生成処理で対象となった画像グループに属する画像の画像家族シーン情報を読み出す（ステップＳ１２００）。

家族シーン情報算出部２０６は、読み出した画像家族シーン情報のうち、対応顔ＩＤ７２０（図７参照）が家族を示すものについての画像家族シーン特徴量の平均値を画像グループ家族シーン特徴量として算出する（ステップＳ１２１０）。すなわち、対応顔ＩＤ７２０が家族を示す画像家族シーン情報について、画像家族シーン特徴量７３０を構成する各画像家族シーン色比率のそれぞれの平均値を算出することで、それぞれの画像グループ家族シーン色比率の値を算出する。

ここで、対応顔ＩＤ７２０が家族を示す画像家族シーン情報が存在しない場合には、家族シーン情報算出部２０６は、画像グループ家族シーン特徴量を構成するそれぞれの画像グループ家族シーン色比率の値を、それぞれヌル値とする。

ステップＳ１２１０の処理が終わると、家族シーン情報算出部２０６は、対象となっている画像グループについての画像グループ家族シーン情報を生成し、生成した画像グループ家族シーン情報を、家族シーン情報書込読出部２０４を用いて、家族シーン情報記憶部２３３に記憶させ（ステップＳ１２２０）、画像データ処理装置１００は、その画像グループ家族シーン情報生成処理を終了する。画像グループ家族シーン情報生成の際に、イベント名８１０（図８参照）は、画像特徴情報生成処理のステップＳ１０００において、イベント名情報受付部２１１がユーザから受け付けたイベント名が用いられる。

＜画像グループ分類処理＞
画像グループ分類処理は、画像データ処理装置１００が、画像グループを、分類先イベントのいずれかに分類する処理である。

図１３は、画像データ処理装置１００が行う画像グループ分類処理のフローチャートである。

画像グループ分類処理は、画像データ処理装置１００が画像グループ家族シーン情報生成処理を終了することで開始される。

画像グループ分類処理が開始されると、画像グループ分類部２０８は、家族シーン情報書込読出部２０４を用いて、家族シーン情報記憶部２３３から、画像グループ家族シーン情報生成処理で対象となった画像グループに属する画像グループ家族シーン情報を読み出し、イベント特徴情報書込読出部２０９を用いて、イベント特徴情報記憶部２３４にから、イベント特徴情報を読み出す（ステップＳ１３００）。

ステップＳ１３００の処理が終わると、画像グループ分類部２０８は、読み出された画像グループ家族シーン情報と、読み出されたイベント特徴情報とを比較して（ステップＳ１３１０）、その画像グループの分類先イベントを算出する（ステップＳ１３２０）。すなわち、画像グループ家族シーン情報に含まれる画像グループ家族シーン色比率（図８参照）の中に、イベント特徴情報に含まれる分類条件９００（図９参照）に一致するものがあるか否かを調べ、イベント特徴情報に含まれる分類条件９００に一致するものを見つけた場合には、その一致する分類条件９００に対応する分類先イベント９１０を、その画像グループが分類されるべき分類先イベントとして算出し、イベント特徴情報に含まれる分類条件９００に一致するものを見つけない場合には、その他のイベントという分類先イベントを、その画像グループが分類されるべき分類先イベントとして算出する。

ここで、画像グループ家族シーン情報に含まれる画像グループ家族シーン色比率がヌル値である場合には、その他のイベントという分類先イベントを、その画像グループが分類されるべき分類先イベントとして算出する。

また、一致する分類先イベント９１０が複数ある場合には、一致する分類先イベント９１０の全てを、画像グループが分類されるべき分類先イベントとして算出する。

ステップＳ１３２０の処理が終了すると、画像グループ分類部２０８は、画像書込読出部２０２を用いて、画像記憶部２３１の分類されるべき分類先イベントに対応する分類先イベントディレクトリの下に、画像グループに対応付けられているイベント名と同一名称のイベントディレクトリを作成して、そのイベントディレクトリの下に、画像グループに属する全ての画像のデータのアドレスを示す情報を保持させて、その画像グループに属する全ての画像のデータがリンクされている状態とすることで、画像グループを分類する（ステップＳ１３３０）。

その後、分類結果出力部２１０は、画像グループ分類部２０８によって算出された分類されるべき分類先イベントの分類先イベント名を、画像グループに対応付けられたイベント名と共にディスプレイ１９３に表示させて、画像データ処理装置１００は、その画像グループ分類処理を終了する。

＜具体例＞
以下、具体例を用いて、画像データ処理装置１００の特徴について補足説明を行う。

図１４は、家族のメンバーが参加する行事で撮影された画像群の一例である。

画像グループ１４００は、家族で行ったスキー旅行において撮影された画像群からなる画像グループであって、画像１４０１と画像１４０２とから構成され、対応付けられているイベント名が“２０１０年冬信州旅行”となっている。

画像１４０１には、スキーを楽しむ息子が含まれ、画像１４０２には、スキーを楽しむ父が含まれている。これらの画像は、空の青色と雪の白色とが多く含まれているが、人物の周囲には、スキーという行事を象徴する雪の白色が多く含まれているという特徴がある。

画像１４０１の画像特徴情報は、例えば、図６中の画像ＩＤ６００が“０００１”に対応するものであり、画像１４０１の画像家族シーン情報は、例えば、図７中の画像ＩＤ７００が“０００１”に対応するものであるとする。

画像１４０２の画像特徴情報は、例えば、図６中の画像ＩＤ６００が“０００２”に対応するものであり、画像１４０２の画像家族シーン情報は、例えば、図７中の画像ＩＤ７００が“０００２”に対応するものであるとする。

また、画像グループ１４００の画像グループ家族シーン情報は、図８中の画像グループＩＤ８００が、“００１”に対応するものであるとする。

画像グループ１４１０は、家族で行った海水浴旅行において撮影された画像群からなる画像グループであって、画像１４１１と画像１４１２とから構成され、対応付けられているイベント名が“２０１０年夏沖縄旅行”となっている。

画像１４１１には、海水浴を楽しむ息子が含まれ、画像１４１２には、海水浴を楽しむ父と母とが含まれている。これらの画像は、海の青色と砂浜の白色とが多く含まれているが、人物の周囲には、海水浴という行事を象徴する海の青色が多く含まれているという特徴がある。

画像１４１１の画像特徴情報は、例えば、図６中の画像ＩＤ６００が“０００３”に対応するものであり、画像１４１１の画像家族シーン情報は、例えば、図７中の画像ＩＤ７００が“０００３”に対応するものであるとする。

画像１４１２の画像特徴情報は、例えば、図６中の画像ＩＤ６００が“０００４”に対応するものであり、画像１４１２の画像家族シーン情報は、例えば、図７中の画像ＩＤ７００が“０００４”に対応するものであるとする。

また、画像グループ１４１０の画像グループ家族シーン情報は、図８中の画像グループＩＤ８００が、“００２”に対応するものであるとする。

画像グループ１４００の画像グループ家族シーン特徴量８２０（図８参照）と、画像グループ１４１０の画像グループ家族シーン特徴量８２０とを比較すると、画像グループ家族シーン青比率８２２と、画像グループ家族シーン白比率８２４とにおいて、互いに有意な差があるので、例えば、図９に示されるイベント特徴情報を用いることで、画像グループ１４００と画像グループ１４１０とを、互いに異なる分類先イベントに分類する、すなわち、画像グループ１４００を“スキー”に分類し、画像グループ１４１０を“海水浴”に分類することができる。

このように、画像データ処理装置１００は、互いに異なる画像グループに属する画像のそれぞれが、画像全体の特徴において互いに類似している場合であっても、画像の特徴を人の周囲の領域である人周囲領域から抽出ことで、これらの画像グループを互いに異なる分類先イベントに分類することができる。

これに対して、画像全体から画像の特徴を抽出する従来の画像データ処理装置が、画像グループ１４００と画像グループ１４１０とを分類対象とする場合について考える。

従来の画像データ処理装置は、画像全体から画像の特徴を抽出するため、画像グループに属する画像の特徴を示す特徴量を画像グループシーン特徴量と呼ぶとすると、画像グループ１４００の画像グループシーン特徴量と、画像グループ１４１０の画像グループシーン特徴量とは、互いに類似したものとなる。

図１５は、従来の画像データ処理装置が生成する画像グループシーン情報のデータ構造の一例を示す図である。

同図に示されるように、画像グループシーン情報は、画像グループＩＤ１５００と、イベント名１５１０と、画像グループシーン特徴量１５２０とが対応付けられて構成されている。

また、画像グループシーン特徴量１５２０は、さらに、画像グループシーン黒比率１５２１と、画像グループシーン青比率１５２２と、画像グループシーン緑比率１５２３と、画像グループシーン白比率１５２４とが対応付けられて構成されている。

画像グループＩＤ１５００は画像グループを特定するためのＩＤである。

ここでは、画像グループＩＤ１５００が“００１”である画像グループは、画像グループ１４００であり、画像グループＩＤ１５００が“００２”である画像グループは、画像グループ１４１０であるとする。

イベント名１５１０は、画像グループの名称であるイベント名である。

画像グループシーン黒比率１５２１は、対応する画像グループを構成する画像それぞれにおける、画像全体の画素数に対する、黒と特定された画素の数の比率それぞれについての平均値である。

画像グループシーン青比率１５２２は、対応する画像グループを構成する画像それぞれにおける、画像全体の画素数に対する、青と特定された画素の数の比率それぞれについての平均値である。

画像グループシーン緑比率１５２３は、対応する画像グループを構成する画像それぞれにおける、画像全体の画素数に対する、緑と特定された画素の数の比率それぞれについての平均値である。

画像グループシーン白比率１５２４は、対応する画像グループを構成する画像それぞれにおける、画像全体の画素数に対する、白と特定された画素の数の比率それぞれについての平均値である。

画像グループ１４００、すなわち、画像グループＩＤ１５００が“００１”の画像グループシーン特徴量１５２０と、画像グループ１４１０、すなわち、画像グループＩＤ１５００が“００２”の画像グループシーン特徴量１５２０とを比較すると、各画像グループシーン色比率において、互いに有意な差がみられない。

従って、従来の画像データ処理装置では、画像グループ１４００と画像グループ１４１０とを互いに異なる分類先イベントに分類することが難しい。

＜人物が含まれる画像についての考察＞
図１６は、２枚の画像を示す図である。

画像１６０１は、家族で行ったスキー旅行において撮影された画像であって、スキーを楽しむ息子が含まれている。この画像は、家族で行ったスキー旅行という行事が意識されて撮影された画像であって、雪山を背景に、息子の全身が含まれるように撮影されたものである。

画像１６０２は、街中で撮影された画像であって、大きな母親の顔が含まれている、母親の顔のアップの画像である。この画像は、母親の顔が意識されて撮影された画像であって、背景には特にこだわりなく撮影されたものである。

一般に、人物を含めた画像を撮影する場合に、撮影者は、その人物に撮影対象としての興味があるときには、その人物の面積が大きくなるように画像を撮影し、その人物の背景に撮影対象としての興味があるときには、その人物の面積が小さくなるように画像を撮影する傾向がある。このことから、顔面積の値が大きい場合には、その人物の背景にはその画像が撮影された行事の特徴が表れにくくなる傾向があり、顔面積の値が小さい場合には、その人物の背景にはその画像が撮影された行事の特徴が現れやすくなる傾向があると考えられる。

本実施の形態において、画像家族シーン特徴量の各画像家族シーン色比率の値のそれぞれは、人周囲特徴量の各色比率の値それぞれを、対応する顔面積の値で除算することで算出されるとしている。これにより、算出される画像家族シーン特徴量は、画像における顔の領域の面積がより小さな画像の方が、その画像の画像家族シーン特徴量の値がより大きな値となるように重み付けされたものになっている。

従って、本実施の形態における、画像家族シーンの算出方法は、前述の、顔面積の値が大きい場合には、その人物の背景にはその画像が撮影された行事の特徴が表れにくくなる傾向があり、顔面積の値が小さい場合には、その人物の背景にはその画像が撮影された行事の特徴が現れやすくなるという傾向を反映していると考えることができる。
＜実施の形態２＞
以下、本発明に係る画像データ処理装置の一実施形態として、実施の形態１に係る画像データ処理装置１００の一部を変形した画像データ処理装置１７００について図１７を用いて説明する。

この画像データ処理装置１７００は、そのハードウエア構成が実施の形態１に係る画像データ処理装置１００と同一のものであるが、実行されるプロクラムの一部が実施の形態１に係る画像データ処理装置１００と異なっている。

実施の形態１に係る画像データ処理装置１００は、画像グループ単位で画像を分類する場合の例であったが、実施の形態２に係る画像データ処理装置１７００は、画像単位で画像を分類する場合の例となっている。すなわち、この画像データ処理装置１７００は、画像に写る人物の周囲の画素の特徴を示す人周囲特徴量を算出して、算出した人周囲特徴量に基づいて、一つの画像を、互いに異なる分類先イベントのうちのいずれかの分類先イベントに分類する。

以下、本実施の形態２に係る画像データ処理装置１７００の構成について、図面を参照しながら、実施の形態１に係る画像データ処理装置１００の構成との相違点を中心に説明する。

＜構成＞
＜画像データ処理装置１７００のハードウエア構成＞
画像データ処理装置１７００のハードウエア構成は、実施の形態１に係る画像データ処理装置１００の構成と同一のものである。よって、説明を省略する。

＜画像データ処理装置１７００の機能構成＞
図１７は、画像データ処理装置１７００の主要な機能ブロックの構成を示す機能ブロック図である。

同図に示されるように、画像データ処理装置１７００は、実施の形態１に係る画像データ処理装置１００から、家族シーン情報書込読出部２０４と、家族シーン情報算出部２０６と、イベント名情報受付部２１１と、家族シーン情報記憶部２３３とが削除され、画像グループデータ受付部２０１が画像データ受付部１７０１に変更され、画像グループ分類部２０８が画像分類部１７０８に変更され、画像記憶部２３１が画像記憶部１７３１に変更され、イベント特徴情報記憶部２３４がイベント特徴情報記憶部１７３４に変更されたものとなっている。

画像データ受付部１７０１は、実施の形態１に係る画像グループデータ受付部２０１の機能の一部が変形されたものであって、ＣＰＵ１０１がプログラムを実行することで実現され、画像書込読出部２０２と接続し、ユーザからの、１枚の画像の指定を受け付け、指定された画像を読み込む機能と、画像を読み込む際に、その画像を特定するための画像ＩＤを付与する機能とを有する。

画像データ受付部１７０１が画像を読み込む場合には、外部記録媒体読取書込装置１４０経由で外部記録媒体から画像を読み込む場合と、ＵＳＢ制御装置１５０経由で外部機器から画像を読み込む場合と、通信装置１８０経由で外部通信機器から画像を読み込む場合とがある。

画像分類部１７０８は、ＣＰＵ１０１がプログラムを実行することで実現され、実施の形態１に係る画像グループ分類部２０８の機能の一部が変形されたものであって、画像書込読出部２０２と、画像特徴情報書込読出部２０３と、イベント特徴情報書込読出部２０９と、分類結果出力部２１０とに接続し、画像特徴情報記憶部２３２に記憶されている画像特徴情報と、イベント特徴情報記憶部２３４に記憶されているイベント特徴情報とに基づいて、画像を、分類先イベントに分類する機能を有する。

画像分類部１７０８が行う画像の分類方法の詳細については、後程＜画像分類処理＞で説明する。

画像記憶部１７３１は、実施の形態１に係る画像記憶部２３１から、そのディレクトリ構造の一部が変更されたものであって、画像書込読出部２０２に接続される。

図１８は画像記憶部１７３１のディレクトリ構造を示すディレクトリ構造図である。

同図に示されているように、画像記憶部１７３１のディレクトリ構造は、最上位階層１８１０と、第１ディレクトリ階層１８２０との合計２階層からなっている。

第１ディレクトリ階層３２０には、スキーディレクトリ１８２１、海水浴ディレクトリ１８２２、ピクニックディレクトリ１８２３等の複数の分類先イベントディレクトリと、実データ保管ディレクトリ１８２４とが存在する。

実データ保管ディレクトリ３２４は、画像データを保持するディレクトリであって、画像のデータはこの実データ保管ディレクトリ３２４のみに保持される。

分類先イベントディレクトリは、画像の分類先である分類先イベントと同じ名前を持つディレクトリであって、同じ名前のディレクトリは１つしか存在しない。

各分類先イベントディレクトリは、その分類先イベントディレクトリと同じ名称の分類先イベントに分類されている画像データのアドレスを示す情報が保持されることによって、その画像のデータがリンクされている状態となっているディレクトリである。

再び図１７に戻って、画像データ処理装置１７００の機能構成の説明を続ける。

イベント特徴情報記憶部１７３４は、実施の形態１に係るイベント特徴情報記憶部２３４から、その記憶するイベント特徴情報の一部が変更されたものであって、イベント特徴情報書込読出部２０９に接続される。

図１９は、イベント特徴情報記憶部１７３４に記憶されているイベント特徴情報のデータ構造の一例を示す図である。

同図に示されるように、イベント特徴情報は、画像グループ家族シーン黒比率０．５以上１９０１、画像グループ家族シーン青比率０．５以上１９０２、画像グループ家族シーン比率緑０．５以上１９０３、画像グループ家族シーン比率白０．５以上１９０４等といった分類条件１９００のそれぞれを、花火１９１１、海水浴１９１２、ピクニック１９１３、スキー１９１４等といった分類先イベント１９１０のそれぞれに対応付けているものである。

以上のように構成される画像データ処理装置１７００の行う動作について、以下、図面を用いて説明する。

＜動作＞
画像データ処理装置１７００の行う特徴的な動作に、変形画像特徴情報生成処理と、画像分類処理とがある。

以下、それぞれの処理について、図面を用いて説明する。

＜変形画像特徴情報生成処理＞
画像特徴情報生成処理は、画像データ処理装置１７００が、画像を読み込み、読み込んだ画像に対して、画像特徴情報を生成する処理である。

図２０は、画像データ処理装置１７００の行う変形画像特徴情報生成処理のフローチャートである。

変形画像特徴情報生成処理は、リモコン１９７が、ユーザから変形画像特徴情報生成処理を開始する旨の操作を受け付けることで開始される。

変形画像特徴情報生成処理が開始されると、画像データ受付部１７０１は、画像の読み込みを開始する（ステップＳ２０００）。

画像データ受付部１７０１は、外部記録媒体読取書込装置１４０に装着された外部記録媒体から、又は、ＵＳＢ制御装置１５０に接続されたＵＳＢケーブル１９５を介して外部機器から、又は、ネットワーク１９４に接続された通信装置１８０から、画像を読み込むことができる。

ここでは、例えば、外部記憶媒体としてのＳＤメモリカード１９１に記録されている画像を、外部記録媒体読取書込装置１４０から読み込むものとする。

画像データ受付部１７０１は、ＳＤメモリカード１９１に記録されている画像を読み込んで、読み込んだ画像に対して、ユニークな画像ＩＤを付与し、画像データと画像ＩＤとを対応付けて、画像書込読出部２０２を用いて、画像記憶部１７３１の実データ保管ディレクトリ１８２４に書き込む。

画像が画像記憶部１７３１に書き込まれると、顔抽出部２０５は、画像書込読出部２０２を用いて、画像記憶部２３１から、画像グループデータ受付部２０１によって受け付けられた画像を読み出し、読み出した画像をＪＰＥＧ方式で復号する。

顔抽出部２０５は、読み出された画像について、保持する顔のモデルを参照することで、１枚の画像に含まれる顔の認識を試みる（ステップＳ２０１０）。

顔抽出部２０５は、顔を認識した場合に（ステップＳ２０１０：Ｙｅｓ）、認識した顔のそれぞれについて、顔特徴量を算出する（ステップＳ２０２０）。すなわち、認識した顔の領域の面積と、認識した顔の位置とを算出し、認識した顔それぞれに、その認識した顔を特定するための顔ＩＤを、シーケンシャルに付与し、その認識した顔の特徴と、サンプル画像記憶部２３６に記憶されているサンプル画像に含まれる顔の特徴とを抽出し、サンプル画像記憶部２３６に記憶されているサンプル画像の中に、その認識した顔の特徴と同じ顔の特徴を持つ画像があるとき、その認識した顔の対応顔ＩＤに、そのサンプル画像に対応する対応顔ＩＤを付与する。もし、サンプル画像記憶部２３６に記憶されているサンプル画像の中に、その認識した顔の特徴と同じ顔の特徴を持つ画像がなければ、その認識した顔の対応顔ＩＤに、他人である旨を意味する“９９”を付与する。

ステップＳ２０２０の処理が終わると、顔抽出部２０５は、認識した顔のそれぞれについて、認識した顔の領域の下方に体の領域を算出し、算出した体の領域のそれぞれについて、体特徴量を算出する（ステップＳ２０３０）。すなわち、算出した体の領域の面積と、算出した体の領域の位置とを算出し、算出した体の領域のそれぞれに、その算出した体の領域を特定するための体ＩＤを、シーケンシャルに付与する。

ステップＳ２０３０の処理が終わると、人周囲特徴量抽出部２０７は、顔の領域に基づいて顔周囲領域を算出し、体の領域に基づいて体周囲領域を算出し、算出した顔周囲領域と算出した体周囲領域とから人周囲領域を算出する（ステップＳ２０４０）。

さらに、人周囲特徴量抽出部２０７は、人周囲領域に含まれる画素の画素値に基づいて、人周囲特徴量を算出する（ステップＳ２０５０）。すなわち、人周囲領域に含まれる各画素について、その画素を構成する色成分であるＲ、Ｇ、Ｂの各輝度から、その画素の色を特定し、特定された色のそれぞれについて、人周囲領域に含まれる全画素数に対するその色に特定された画素数の比率をその色の色比率として算出する。

ステップＳ２０１０の処理において、顔抽出部２０５が顔を認識なかった場合には（ステップＳ２０１０：Ｎｏ）、顔抽出部２０５は、顔特徴量の各構成要素の値としてヌル値を設定し、体特徴量の各構成要素の値としてヌル値を設定し、人周囲特徴量抽出部２０７は、顔周囲領域の値としてヌル値を設定し、体周囲領域の値としてヌル値を設定し、人周囲特徴量の各構成要素の値としてヌル値を設定する（ステップＳ２０６０）。

ステップＳ２０５０の処理が終わった場合、又はステップＳ２０６０の処理が終わった場合に、人周囲特徴量抽出部２０７は、対象となっている画像についての画像特徴情報を生成し、生成した画像特徴情報を、画像特徴情報書込読出部２０３を用いて、画像特徴情報記憶部１７３２に記憶させて（ステップＳ２０７０）、画像データ処理装置１７００は、その変形画像特徴情報生成処理を終了する。

＜画像分類処理＞
画像分類処理は、画像データ処理装置１７００が、画像を、分類先イベントのいずれかに分類する処理である。

図２１は、画像データ処理装置１７００が行う画像分類処理のフローチャートである。

画像グループ分類処理は、画像データ処理装置１７００が変形画像特徴情報生成処理を終了することで開始される。

画像分類処理が開始されると、画像分類部１７０８は、画像特徴情報書込読出部２０３を用いて、画像特徴情報記憶部２３２から、変形画像特徴情報生成処理で対象となった画像の画像特徴情報を読み出し、イベント特徴情報書込読出部２０９を用いて、イベント特徴情報記憶部１７３４にから、イベント特徴情報を読み出す（ステップＳ２１００）。

ステップＳ２１００の処理が終わると、画像分類部１７０８は、読み出された画像特徴情報と、読み出されたイベント特徴情報とを比較して（ステップＳ２１１０）、その画像の分類先イベントを算出する（ステップＳ２１２０）。すなわち、画像特徴情報に含まれる色比率（図６参照）の中に、イベント特徴情報に含まれる分類条件１９００（図１９参照）に一致するものがあるか否かを調べ、イベント特徴情報に含まれる分類条件１９００に一致するものを見つけた場合には、その一致する分類条件１９００に対応する分類先イベント１９１０を、その画像が分類されるべき分類先イベントとして算出し、イベント特徴情報に含まれる分類条件１９００に一致するものを見つけない場合には、その他のイベントという分類先イベントを、その画像グループが分類されるべき分類先イベントとして算出する。

ここで、画像特徴情報に含まれる色比率がヌル値である場合には、その他のイベントという分類先イベントを、その画像が分類されるべき分類先イベントとして算出する。

また、一致する分類先イベント１９１０が複数ある場合には、一致する分類先イベント１９１０の全てを、画像が分類されるべき分類先イベントとして算出する。

ステップＳ２１２０の処理が終了すると、画像分類部１７０８は、画像書込読出部２０２を用いて、画像記憶部１７３１の分類されるべき分類先イベントに対応する分類先イベントディレクトリの下に、対象である画像のデータのアドレスを示す情報を保持させて、その画像のデータがリンクされている状態とすることで、画像を分類する（ステップＳ２１３０）。

その後、分類結果出力部２１０は、画像グループ分類部２０８によって算出された分類されるべき分類先イベントの分類先イベント名を、画像グループに対応付けられたイベント名と共にディスプレイ１９３に表示させて、画像データ処理装置１００は、その画像グループ分類処理を終了する。
＜補足＞
以上、本発明に係る画像データ処理装置の一実施形態として、実施の形態１、実施の形態２において、画像の分類を行う画像データ処理装置の例について説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態で示した通りの画像データ処理装置に限られないことはもちろんである。
（１）実施の形態１において、画像データ処理装置１００が記憶する画像として、ＪＰＥＧ方式で符号化されたデータとしたが、デジタル写真をデータとして記憶することができるものであれば、ＪＰＥＧ方式以外の符号化方式、例えば、ＰＮＧ（Portable Network Graphics）方式やＧＩＦ（Graphics Interchange Format）方式等で符号化されたものであっても構わないし、符号化されないビットマップ方式のデータであっても構わない。

また、コンテンツとしてデジタル写真を例として示したが、デジタルデータとして記憶することができる画像であれば、例えば、スキャナで読み取った絵画のデータ等であっても構わない。
（２）実施の形態１において、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ハードディスク装置インターフェース１０４と、外部記録媒体読取書込装置インターフェース１０５と、ＵＳＢ制御装置インターフェース１０６と、出力装置インターフェース１０７と、入力装置インターフェース１０８と、通信装置インターフェース１０９と、デコーダ１１１と、バスライン１２０とが、システムＬＳＩ１１０に集積されているとしたが、システムＬＳＩ１１０と同じ機能を実現することができれば、必ずしも１つのＬＳＩに統合されている必要はなく、例えば、複数の集積回路等で実現されていても構わない。
（３）実施の形態１において、デコーダ１１１は、ＤＳＰであるとしたが、符号化されたデータを復号する機能があれば、必ずしもＤＳＰである必要はなく、例えば、ＣＰＵ１０１が兼用する構成であっても構わないし、ＣＰＵ１０１とは異なるＣＰＵであっても構わないし、ＡＳＩＣ等で構成される専用回路であっても構わない。
（４）実施の形態１において、入力装置１７０は、リモコン１９７から無線で送信されるユーザからの操作コマンドを受け付ける機能を有する構成であるとしたが、ユーザからの操作コマンドを受け付ける機能があれば、必ずしもリモコン１９７から無線で送信される操作コマンドを受け付ける機能を有する構成でなくても、例えば、キーボードとマウスとを備え、キーボードとマウスとを介してユーザからの操作コマンドを受け付ける機能を有する構成であっても構わないし、ボタン群を備え、ボタン群を介してユーザからの操作コマンドを受け付ける機能を有する構成等であっても構わない。
（５）実施の形態１において、画像グループデータ受付部２０１が、ユーザからの、２枚以上の画像の指定を受け付け、指定された画像群を、１つの画像グループに含まれる画像群とするとしたが、画像と画像グループとの対応付けを取ることができれば、例えば、画像グループデータ受付部２０１は、画像データと、画像グループに属する画像のリストとを受け取り、受け取ったリストに基づいて、画像と画像グループとを対応付けるといった構成であっても構わない。
（６）実施の形態１において、画像グループデータ受付部２０１は、読み込んだ画像に対して、シーケンシャルに画像ＩＤを付与するとしたが、重複を避けて付与することができれば、必ずしもシーケンシャルに画像ＩＤを付与しなくても構わない。
（７）実施の形態１において、顔のモデルは、例えば、目、鼻、口等の顔を形成するパーツの輝度や、相対的な位置関係に関する情報等であるとしたが、顔を認識することができる情報であれば、これら以外、例えば、ガボールフィルタを用いて算出された特徴量を用いるものであっても構わないし、目の色や、ほくろの位置、肌の色等といった顔の特徴を示すものであっても構わないし、複数の顔の特徴を表すものの組み合わせであっても構わない。
（８）実施の形態１において、人周囲特徴量抽出部２０７が特定する主要色として、黒、青、緑、白を例示したが、これらの色に限られる必要はなく、例えば、赤、黄等であっても構わない。また、色空間としてＲＧＢやＬ＊ａ＊ｂ等を用いても良い。
（９）実施の形態１において、人周囲特徴量は、画像に含まれる色に基づいたもので構成されているとしたが、画像の特徴を示すものであれば、必ずしも、画像に含まれる色に基づいたもので構成されている必要はなく、例えば、輝度やテクスチャ特徴に基づいたもので構成されていても構わないし、写る物体に基づいたものであっても構わない。
（１０）実施の形態１において、人周囲特徴量抽出部２０７は、人周囲特徴量を、人周囲領域に含まれる各画素に基づいて算出する場合の例について説明したが、顔の領域の周囲の一定領域に含まれる画素の画素値の方が、顔の領域の周囲の一定領域に含まれない画素の画素値よりも、人周囲特徴量へ大きく反映されるように、人周囲特徴量の算出を行うことができれば、必ずしも、人周囲特徴量を、人周囲領域に含まれる各画素に基づいて算出する場合に限られない。

例として、人周囲特徴量抽出部２０７は、画像に含まれる全ての画素について、顔の領域からの距離に応じて、顔の領域からの距離が短いほど、より大きな重み付けがされるように、重み付けがされた画素値に基づいて算出する場合等が考えられる。
（１１）実施の形態１において、人周囲領域は、顔周囲領域と体周囲領域との少なくとも一方に含まれる領域から顔の領域と体の領域とを除外した領域であるとしたが、顔の領域の周囲の一定領域であれば、必ずしも、顔周囲領域と体周囲領域との少なくとも一方に含まれる領域から顔の領域と体の領域とを除外した領域である必要はなく、例えば、顔周囲領域から顔の領域を除外した領域であるとしても構わないし、体領域そのものであるとしても構わないし、体周囲領域から顔領域を除外した領域と体領域とからなる領域であるとしても構わない。

また、人周囲領域の形状も、矩形に限定される必要はなく、例えば、六角形や円であっても構わない。
（１２）実施の形態１において、顔周囲領域は、顔の領域に対して、画像における水平方向の左右のそれぞれに、顔の領域の、画像における水平方向の幅を加え、画像における垂直方向の上方に、顔の領域の、画像における垂直方向の幅を加えた矩形の領域であるとしたが、顔の領域の周囲の一定領域であれば、必ずしも、顔の領域に対して、画像における水平方向の左右のそれぞれに、顔の領域の、画像における水平方向の幅を加え、画像における垂直方向の上方に、顔の領域の、画像における垂直方向の幅を加えた矩形の領域に限定される必要はなく、例えば、顔の領域に対して、画像における水平方向の左右のそれぞれに、顔の領域の、画像における水平方向の幅の半分を加え、画像における垂直方向の上下のそれぞれに、顔の領域の、画像における垂直方向の幅の半分を加えた矩形の領域等であっても構わないし、さらには、矩形以外の形状の領域であっても構わない。
（１３）実施の形態１において、認識した顔の領域は、認識した顔を含む、画像における水平方向の辺と画像における垂直方向の辺とを有する矩形のうち、面積が最小となる矩形の領域である場合の例について説明したが、認識した顔を含む領域であれば、必ずしも、画像における水平方向の辺と画像における垂直方向の辺とを有する矩形のうち、面積が最小となる矩形の領域に限定される必要はなく、例えば、顔の輪郭にそった曲線で囲まれた領域であっても構わない。
（１４）実施の形態１において、体の領域は、認識した顔の領域の下方の、顔の領域の画像における水平方向の幅を１．５倍し、顔の領域の画像における垂直方向の幅を２倍した矩形の領域であるとしたが、体があると推定される領域であれば、必ずしも、認識した顔の領域の下方の、顔の領域の画像における水平方向の幅を１．５倍し、顔の領域の画像における垂直方向の幅を２倍した矩形の領域に限定される必要はなく、例えば、認識した顔の領域の下方の、顔の領域の画像における水平方向の幅を２倍し、顔の領域の画像における垂直方向の幅を１．５倍した矩形の領域であっても構わないし、さらには、画像認識処理により体を検出して、その認識された体によって示される領域であるとしても構わないし、さらには、矩形以外の形状の領域であっても構わない。
（１５）実施の形態１において、体周囲領域は、体の領域に対して、画像における水平方向の左右のそれぞれに、顔の領域の、画像における水平方向の幅を加え、画像における垂直方向の上下のそれぞれに、顔の領域の、画像における垂直方向の幅の半分の幅を加えた矩形の領域であるとしたが、体の領域の周囲の一定領域であれば、必ずしも、体の領域に対して、画像における水平方向の左右のそれぞれに、顔の領域の、画像における水平方向の幅を加え、画像における垂直方向の上下のそれぞれに、顔の領域の、画像における垂直方向の幅の半分の幅を加えた矩形の領域に限定される必要はなく、例えば、体の領域に対して、画像における水平方向の左右のそれぞれに、体の領域の、画像における水平方向の幅の半分の幅を加え、画像における垂直方向の上下のそれぞれに、体の領域の、画像における垂直方向の幅を加えた矩形の領域であるとしても構わないし、さらには、矩形以外の形状の領域であっても構わない。
（１６）実施の形態１において、画像家族シーン特徴量は、人周囲特徴量の各色比率の値を、顔面積の値で除算することで算出されるとしたが、画像における人物の面積の大きさがより小さな画像の方が、その画像の画像家族シーン特徴量の値がより大きな値となるように重み付けされることとなれば、必ずしも、人周囲特徴量の各色比率の値を、顔面積の値で除算することで算出される必要はなく、例えば、人周囲特徴量の各色比率の値を、顔面積の値と体面積の値との和で除算することで算出されるとしても構わない。
（１７）実施の形態１において、画像グループ家族シーン特徴量は、家族の顔として認識された顔を含む画像に対応する画像家族シーン特徴量の平均値であるとしたが、認識された顔を含まない画像の画像家族シーン特徴量を含めないで算出されるものであれば、必ずしも、家族の顔として認識された顔を含む画像に対応する画像家族シーン特徴量の平均値である必要はなく、例えば、認識された顔を含む全ての画像の画像家族シーン特徴量の平均値であっても構わないし、特定の人物を示す認識された顔を含む画像の画像家族シーン特徴量の平均値であっても構わない。

さらには、画像グループ家族シーン特徴量は、対応する画像群における画像家族シーン特徴量の平均値でなく、画像に含まれる認識された顔に応じて重み付けされたものとして算出されるとしても構わない。例えば、認識された顔の特徴と同じ顔の特徴を持つ顔が、画像記憶部２３１により多く記憶されているものほど、より大きく重み付けられて算出される場合、予め定められた特定人物が含まれる画像が、より大きく重み付けされて算出される場合等が考えられる。
（１８）実施の形態１において、画像グループ分類部２０８は、画像グループ家族シーン情報とイベント特徴情報とに基づいて画像グループを分類するとしたが、少なくとも画像グループ家族情報に基づいて画像グループを分類すれば、必ずしも、イベント特徴情報に基づいて画像グループを分類する必要はなく、例えば、画像グループ家族シーン情報を教師として学習し、その学習結果に基づいて、画像グループを分類しても構わない。学習方法は、例えば、ロジスティック回帰分析法、ＳＶＭ（Support Vector Machine）法等の学習モデルを用いて行う手法によって実現できる。
（１９）実施の形態１において、認識された顔に対応する対応顔ＩＤが家族を示す場合にその認識された顔の人物が家族であるとしたが、認識された顔が家族であると類推される場合にその認識された顔の人物が家族であるとすれば、必ずしも、認識された顔に対応する対応顔ＩＤが家族を示す場合にその認識された顔の人物が家族であるとする必要はなく、例えば、その認識された顔の特徴と同じ顔の特徴を持つ顔を含む画像が、画像記憶部２３１に所定の枚数（例えば１０枚）以上含まれている場合に、その認識された顔の人物が家族であるとしても構わない。
（２０）実施の形態１において、人周囲特徴量抽出部２０７は、一枚の画像に認識された顔が複数含まれている場合に、１つの人周囲領域を算出するとしたが、少なくとも１つの人周囲領域を算出すれば、必ずしも算出する人周囲領域は１つに限定される必要はない。

一例として、認識された顔それぞれについて、人周囲領域をそれぞれ算出して、人周囲領域のそれぞれについて、人周囲特徴量を算出する場合等が考えられる。

また、一枚の画像について、複数の人周囲特徴量が算出される場合には、その画像の画像家族シーン特徴量の算出の方法についても、様々な方法が考えられる。

例えば、人周囲特徴量それぞれについて、その人物に対応する画像家族シーン特徴量（以下、「人周囲画像家族シーン特徴量」と呼ぶ。）を算出し、算出したそれら人周囲画像家族シーン特徴量の平均値を、その画像の画像家族シーン特徴量とする方法、特定の顔ＩＤで示される人物の人周囲情報のみから、画像家族シーン特徴量を算出する方法、特定の位置（例えば画面中央、画面右端等）の人物の人周囲情報から、画像家族シーン特徴量を算出する方法、予め定められた優先順位に従って、それぞれの人周囲画像家族シーン特徴量に重み付けをして、画像家族シーン特徴量を算出する方法等が考えられる。
（２１）実施の形態１において、サンプル画像記憶部２３６は、特定の人物を含む画像の画像データを記憶するとしているが、顔抽出部２０５が、特定の人物の顔の特徴を抽出することができるものを記憶していれば、必ずしも、特定の人物を含む画像を記憶する必要はなく、例えば、特定の人物の顔の特徴そのものを記憶するとしても構わない。
（２２）実施の形態１において、画像グループ分類部２０８は、分類されるべき分類先イベントを決定すると、分類されるべき分類先イベントに対応するイベントディレクトリの下に、画像グループに対応付けられているイベント名と同一名称のイベントディレクトリを作成して、そのイベントディレクトリの下に、画像グループに属する全ての画像のデータのリンクを張ることで、画像グループを分類するとしたが、画像グループに属する画像が同じ分類先イベントに対応付けられていれば、必ずしもリンクを張ることで画像グループを分類するとする必要はなく、例えば、画像グループに属する画像に、分類先イベントを特定するためのタグを付与するとしても構わない。
（２３）実施の形態１において、画像データ処理装置１００は、画像グループの分類を、画像グループ家族シーン情報とイベント特徴情報とに基づいて行うとしたが、少なくとも、画像グループ家族シーン情報とイベント特徴情報とに基づいて行うことができれば、必ずしも、画像グループ家族シーン情報とイベント特徴情報とだけに基づいて行う必要はない。

一例として、画像データ処理装置１００は、さらに、画像全体の特長量に基づいて、画像グループに属する画像の特長を示す画像グループシーン特徴情報を算出する機能を有し、この画像グループシーン特徴情報と画像グループ家族シーン情報とイベント特徴情報に基づいて、画像グループを分類する場合等が考えられる。ここで、例えば、画像データ処理装置１００は、画像グループシーン特徴情報とイベント特徴情報とに基づいて、１段階目の分類を行った後、さらに、画像グループ家族シーン情報とイベント特徴情報とに基づいて、より詳細に２段階目の分類を行うとしても良い。
（２４）実施の形態１において、画像グループ分類部２０８は、一致する分類先イベント９１０が複数ある場合には、一致する分類先イベント９１０の全てを、画像グループが分類されるべき分類先イベントとして算出するとしたが、画像グループが分類されるべき分類先イベントを少なくとも１つ算出することができれば、必ずしも、一致する分類先イベント９１０の全てを、画像グループが分類されるべき分類先イベントとして算出する必要はない。

画像グループが分類されるべき分類先イベントを算出する方法の一例として、画像グループ分類部２０８が、分類条件９００に一致する画像グループ家族シーン色比率のうち、最も値の大きい画像グループ家族シーン色比率と一致する分類条件に対応する分類先イベントを、画像グループが分類されるべき分類先イベントとして算出する方法等が考えられる。
（２５）さらに、上記の実施の形態で説明した手法をネットワークサービスとして提供するサーバ装置とすることも可能である。この場合、画像データ処理装置を、ネットワークサービスを提供するサーバ装置とする。そして、このサーバ装置が、コンテンツが蓄積されたＡＶ機器、パーソナルコンピュータ、デジタルカメラなどからネットワークを介してコンテンツを受信すると、受信したコンテンツに対して上記の実施の形態で説明した手法による画像データ処理を行い、その処理結果を、ネットワークを介してＡＶ機器、パーソナルコンピュータ、デジタルカメラなどに送信するようにすればよい。なお、処理結果の送信先は、コンテンツを受信した機器に対してであってもそれ以外の機器に対してであってもよい。具体的には、コンテンツを受信した機器のユーザが所有する他の機器、コンテンツを受信した機器のユーザの家族や友人が所有する機器、ＳＮＳや画像共有サービスなどのネットワークサービスを提供するサーバ装置などが挙げられる。また、処理結果を送信する代わりに、あるいは処理結果を送信することに加えて、処理結果を、上記の実施の形態で説明した手法をネットワークサービスとして提供するサーバ装置自身に保存することとしてもよい。
（２６）実施の形態１、実施の形態２で示した、画像グループ分類動作等を画像データ処理装置のＣＰＵ、及びそのＣＰＵに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等がある。流通、頒布された制御プログラムはＣＰＵに読み出され得るメモリ等に格納されることにより利用に供され、そのＣＰＵがその制御プログラムを実行することにより各実施形態で示したような各種機能が実現されるようになる。なお、制御プログラムの一部を画像分類装置とは別個のプログラム実行可能な装置（ＣＰＵ）に各種通信路等を介して送信して、その別個のプログラム実行可能な装置においてその制御プログラムの一部を実行させることとしてもよい。
（２７）以下、さらに本発明の一実施形態に係る画像データ処理装置の構成及びその変形例と各効果について説明する。

（ａ）本発明の一実施形態に係る画像分類装置は、画像を分類するための画像特徴情報を算出する画像データ処理装置であって、一画像に含まれる顔の領域を特定する顔特定部と、一画像の少なくとも一部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する画像特徴算出部とを備え、前記画像特徴算出部は、前記顔特定部によって特定された顔の領域の周囲の一定領域に含まれる画素に基づいて算出される画像特徴量の方が、当該一定領域に含まれない画素に基づいて算出される画像特徴量よりも、前記画像特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行うことを特徴とする。

一般に、画像の撮影者は、ある行事において人の顔を含めた画像を撮影する場合に、その行事の特徴が、その人の顔の周囲の領域に現れるように撮影する傾向がある。例えば、海水浴において、撮影者は、人の顔の周囲の領域に海の青色が多くなるように画像が撮影する傾向があり、スキー旅行においては、人の顔の周囲の領域に雪の白色が多くなるように画像が撮影する傾向がある。

上述の構成を備える本実施の形態に係る画像データ処理装置は、行事の特長が現れやすい傾向のある人の顔の周囲の領域の画素に基づいて算出される画像特徴量の方を、行事の特長が表れにくい傾向のある人の顔から離れた領域の画素に基づいて算出される画像特徴量よりも重視して画像特徴情報を抽出する。これにより、この画像データ処理装置は、従来の画像データ処理装置よりも、行事の特長がより反映された画像特徴情報を算出し得ることとなる。

従って、この画像データ処理装置は、この画像データ処理装置から算出される画像特徴情報を用いて画像を分類する場合における分類精度を、従来よりも向上させ得ることができるようになる。

図２２は、上記変形例における画像データ処理装置２２００の機能構成を示す機能ブロック図である。

この画像データ処理装置２２００は、画像を分類するための画像特徴情報を算出するためのものであって、図２２に示されるように、顔特定部２２０１と画像特徴算出部２２０２とから構成される。

顔特定部２２０１は、画像特徴算出部２２０２に接続され、一画像に含まれる顔の領域を特定する機能を有する。一例として、実施の形態１における顔抽出部２０５として実現される。

画像特徴算出部２２０２は、顔特定部２２０１に接続され、一画像の少なくとも一部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する機能を有する。そして、この画像特徴算出部２２０２は、顔特定部２２０１によって特定された顔の領域の周囲の一定領域に含まれる画素に基づいて算出される画像特徴量の方が、当該一定領域に含まれない画素に基づいて算出される画像特徴量よりも、前記画像特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行うという特徴を有している。一例として、実施の形態１における人周囲特徴量抽出部２０７として実現される。

（ｂ）また、前記画像特徴算出部は、前記画像特徴情報の算出を、前記顔特定部によって特定された顔の領域に含まれる画素と前記一定領域に含まれない画素と以外の画素に基づいて算出された画像特徴量から行うとしてもよい。

このような構成にすることによって、顔の領域に含まれる画素に基づいて算出される画像特徴量と、一定領域に含まれない画素に基づいて算出される画像特徴量とが、画像特徴情報に反映されないようにすることができる。

（ｃ）また、前記顔特定部は、顔を含む、画像における水平方向の辺と画像における垂直方向の辺とを有する矩形の領域を、前記顔の領域として特定し、前記画像特徴算出部は、前記顔特定部によって特定された顔の領域に対して、少なくとも、画像における上方向と画像における右方向と画像における左方向とのそれぞれの方向に、それぞれ所定のアルゴリズムで定められる幅だけ拡大された矩形の拡張顔領域を、前記一定領域として、前記画像特徴情報の算出を行うとしてもよい。

このような構成にすることによって、顔の領域の特定を、矩形において対角となる２つの角の座標を用いて特定することができるようになり、また、顔の周囲の一定領域を、矩形において対角となる２つの角の座標を用いて特定することができるようになる。

（ｄ）また、本発明の一実施形態に係る画像分類装置は、画像を分類するための画像特徴情報を算出する画像データ処理装置であって、一画像に含まれる顔の領域を特定する顔特定部と、一画像の少なくとも一部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する画像特徴算出部と、前記顔特定部によって特定された顔の領域の下方に、当該顔の領域に対して所定のアルゴリズムで定められる領域を体領域として特定する体特定部とを備え、前記画像特徴算出部は、前記体特定部によって特定された体領域に含まれる画素に基づいて算出される画像特徴量の方が、当該体領域に含まれない画素に基づいて算出される画像特徴量よりも、前記画像特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行うことを特徴とする。

一般に、画像の撮影者は、ある行事において人の顔を含めた画像を撮影する場合に、その行事の特徴が、その人の体の周囲の領域に現れるように撮影する傾向がある。例えば、海水浴において、撮影者は、人の体の周囲の領域に海の青色が多くなるように画像が撮影する傾向があり、スキー旅行においては、人の体の周囲の領域に雪の白色が多くなるように画像が撮影する傾向がある。

上述の構成を備える本実施の形態に係る画像データ処理装置は、行事の特長が現れやすい傾向のある人の体の周囲の領域の画素に基づいて算出される画像特徴量の方を、行事の特長が表れにくい傾向のある人の体から離れた領域の画素に基づいて算出される画像特徴量よりも重視して画像特徴情報を抽出する。これにより、この画像データ処理装置は、従来の画像データ処理装置よりも、行事の特長がより反映された画像特徴情報を算出し得ることとなる。

従って、この画像データ処理装置は、この画像データ処理装置から算出される画像特徴情報を用いて画像を分類する場合における分類精度を、従来よりも向上させ得ることができるようになる。

図２３は、上記変形例における画像データ処理装置２３００の機能構成を示すブロック図である。

この画像データ処理装置２３００は、画像を分類するための画像特徴情報を算出するためのものであって、図２３に示されるように、顔特定部２３０１と体特定部２３０２と画像特徴算出部２３０３とから構成される。

顔特定部２３０１は、体特定部２３０２に接続され、一画像に含まれる顔の領域を特定する機能を有する。一例として、実施の形態１における顔抽出部２０５のうちの、機能１と機能２とを実現する部分として実現される。

体特定部２３０２は、顔特定部２３０１と画像特徴算出部２３０３とに接続され、顔特定部２３０１によって特定された顔の領域の下方に、当該顔の領域に対して所定のアルゴリズムで定められる領域を体領域として特定する機能を有する。一例として、実施の形態１における顔抽出部２０５のうちの、機能３を実現する部分として実現される。

画像特徴算出部２３０３は、体特定部２３０２に接続され、一画像の少なくとも一部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する機能を有する。そして、この画像特徴算出部２３０３は、体特定部２３０２によって特定された体領域に含まれる画素に基づいて算出される画像特徴量の方が、当該体領域に含まれない画素に基づいて算出される画像特徴量よりも、前記画像特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行うという特徴を有している。一例として、実施の形態１における人周囲特徴量抽出部２０７のうちの、機能４と機能５とを実現する部分として実現される。

（ｅ）また、前記画像特徴算出部は、前記画像特徴情報の算出を、前記顔特定部によって特定された前記体領域にのみ含まれる画素に基づいて算出された画像特徴量から行うとしてもよい。

このような構成にすることによって、体領域に含まれる画素以外の画素を、画像特徴量に反映させないようにすることができる。

（ｆ）また、前記画像特徴算出部は、前記体特定部によって特定された体領域に対して、少なくとも、画像における上方向と画像における右方向と画像における左方向とのそれぞれの方向に、それぞれ所定のアルゴリズムで定められる幅だけ拡大された領域から、前記顔特定部によって特定された顔の領域が除外された拡張体領域を、前記体領域に含ませて、前記画像特徴情報の算出を行うとしてもよい。

このような構成にすることによって、体領域に、その体領域に対応する人物の体の周囲の領域を含めることができるようになる。

（ｇ）また、前記画像特徴算出部は、前記顔特定部が１つの画像に対して第１の顔の領域と第２の顔の領域とを特定した場合に、前記画像特徴情報の算出を、当該第１の顔の領域に対応する前記一定領域と当該第２の顔の領域に対応する前記一定領域との少なくとも一方に含まれない画素と、当該第１の顔の領域に含まれる画素と、当該第２の顔の領域に含まれる画素と以外の画素の画素値から行うとしてもよい。

このような構成にすることによって、１つの画像に第１の顔の領域と第２の顔の領域とが含まれる場合に、第１の顔の領域に含まれる画素の画素値と第２の顔の領域に含まれる画素の画素値との双方の画素値が、画像特徴情報に反映されないようにすることができる。

（ｈ）また、前記画像特徴算出部は、前記体特定部が１つの画像に対して第１の体領域と第２の体領域とを特定した場合に、前記画像特徴情報の算出を、当該第１の体領域と当該第２の体領域に含まれる画素に基づいて算出される画像特徴量から行うとしてもよい。

このような構成にすることによって、１つの画像に第１の体領域と第２の体領域とが含まれる場合に、第１の体領域に含まれる画素の画素値と第２の体領域に含まれる画素の画素値との双方の画素値を、画像特徴情報に反映させることができる。

（ｉ）また、一画像グループに属する画像の一部又は全部の２枚以上の画像についての、画像特徴算出部によって算出された画像特徴情報に基づいて、当該画像グループを分類するための画像グループ特徴情報を算出する画像グループ特徴算出部とを備え、前記顔特定部は、さらに、画像の面積に対する、特定する顔の領域の面積の比率である面積率を示す顔面積情報を算出し、前記画像グループ特徴算出部は、前記顔特定部によって顔面積情報を算出された第１の画像と、前記顔特定部によって、当該第１の画像の顔面積情報によって示される顔の領域の面積率よりも大きい面積率を示す顔面積情報を算出された第２の画像とについて、当該第１の画像の画像特徴情報の方が、当該第２の画像の画像特徴情報よりも、前記画像グループ特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行うとしてもよい。

このような構成にすることによって、画像を画像グループ単位で分類するための画像グループ特徴情報を、画像に含まれる顔の領域の面積がより小さい画像の画像特徴情報程、より大きく反映されたものとなるように、算出することができるようになる。

（ｊ）また、画像グループを、複数の分類先カテゴリのうちのいずれかに分類する画像グループ分類部を備え、前記画像グループ分類部は、前記画像グループ特徴情報によって画像グループ特徴情報を算出された画像グループに対して、前記画像グループの分類を、前記複数の分類先カテゴリそれぞれにおける、画像グループ特徴情報の示す特徴の範囲を示す基準情報と、前記画像グループ特徴算出部によって算出された画像グループ特徴情報とに基づいて行うとしてもよい。

このような構成にすることによって、画像を画像グループ単位で分類することができるようになる。

（ｋ）また、前記画像特徴算出部は、算出する画像特徴情報に、画像に含まれる色に係る情報を含ませ、前記画像グループ特徴算出部は、算出する画像グループ特徴情報に、画像グループに属する画像に含まれる色に係る情報を含ませ、前基準情報は、前記複数の分類先カテゴリそれぞれにおける、画像グループ特徴情報の示す色の特徴の範囲を示す色基準情報を含み、前記画像グループ分類部は、前記画像グループ特徴情報によって画像グループ特徴情報を算出された画像グループに対して行う前記画像グループの分類を、前記基準情報に含まれる色基準情報と、前記画像グループ特徴算出部によって算出された画像グループ特徴情報に含まれる前記色に係る情報とに基づいて行うとしてもよい。

このような構成にすることによって、色に係る情報に基づいて、画像を画像グループ単位で分類することができるようになる。

本発明に係る画像データ処理装置は、複数のデジタル画像を記憶する機能を有する機器に広く適用することができる。

１００ 画像データ処理装置
２０１ 画像グループデータ受付部
２０２ 画像書込読出部
２０３ 画像特徴情報書込読出部
２０４ 家族シーン情報書込読出部
２０５ 顔抽出部
２０６ 家族シーン情報算出部
２０７ 人周囲特徴量抽出部
２０８ 画像グループ分類部
２０９ イベント特徴情報書込読出部
２１０ 分類結果出力部
２１１ イベント名情報受付部
２１２ イベント特徴情報受付部
２１３ サンプル画像受付部
２１４ サンプル画像書込部
２３１ 画像記憶部
２３２ 画像特徴情報記憶部
２３３ 家族シーン情報記憶部
２３４ イベント特徴情報記憶部
２３６ サンプル画像記憶部

Claims (12)

1. 画像を分類するための画像特徴情報を算出する画像データ処理装置であって、
   一画像に含まれる顔の領域を特定する顔特定部と、
   一画像の少なくとも一部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する画像特徴算出部と、
   一画像グループに属する画像の一部又は全部の２枚以上の画像についての、画像特徴算出部によって算出された画像特徴情報に基づいて、当該画像グループを分類するための画像グループ特徴情報を算出する画像グループ特徴算出部とを備え、
   前記顔特定部は、さらに、画像の面積に対する、特定する顔の領域の面積の比率である面積率を示す顔面積情報を算出し、
   前記画像グループ特徴算出部は、前記顔特定部によって顔面積情報を算出された第１の画像と、前記顔特定部によって、当該第１の画像の顔面積情報によって示される顔の領域の面積率よりも大きい面積率を示す顔面積情報を算出された第２の画像とについて、当該第１の画像の画像特徴情報の方が、当該第２の画像の画像特徴情報よりも、前記画像グループ特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行い、
   前記画像特徴算出部は、前記画像特徴情報の算出を、前記顔特定部によって特定された顔の領域の周囲の一定領域に含まれる画素に基づいて算出された画像特徴量から行う
   ことを特徴とする画像データ処理装置。
2. 前記顔特定部は、顔を含む、画像における水平方向の辺と画像における垂直方向の辺とを有する矩形の領域を、前記顔の領域として特定し、
   前記画像特徴算出部は、前記顔特定部によって特定された顔の領域に対して、少なくとも、画像における上方向と画像における右方向と画像における左方向とのそれぞれの方向に、それぞれ所定のアルゴリズムで定められる幅だけ拡大された矩形の拡張顔領域を、前記一定領域として、前記画像特徴情報の算出を行う
   ことを特徴とする請求項１記載の画像データ処理装置。
3. 画像を分類するための画像特徴情報を算出する画像データ処理装置であって、
   一画像に含まれる顔の領域を特定する顔特定部と、
   一画像の少なくとも一部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する画像特徴算出部と、
   一画像グループに属する画像の一部又は全部の２枚以上の画像についての、画像特徴算出部によって算出された画像特徴情報に基づいて、当該画像グループを分類するための画像グループ特徴情報を算出する画像グループ特徴算出部と、
   前記顔特定部によって特定された顔の領域の下方に、当該顔の領域に対して所定のアルゴリズムで定められる領域を体領域として特定する体特定部とを備え、
   前記顔特定部は、さらに、画像の面積に対する、特定する顔の領域の面積の比率である面積率を示す顔面積情報を算出し、
   前記画像グループ特徴算出部は、前記顔特定部によって顔面積情報を算出された第１の画像と、前記顔特定部によって、当該第１の画像の顔面積情報によって示される顔の領域の面積率よりも大きい面積率を示す顔面積情報を算出された第２の画像とについて、当該第１の画像の画像特徴情報の方が、当該第２の画像の画像特徴情報よりも、前記画像グループ特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行い、
   前記画像特徴算出部は、前記体特定部によって特定された体領域の周囲の一定領域に含まれる画素に基づいて算出される画像特徴量の方が、当該体領域の周囲の一定領域に含まれない画素に基づいて算出される画像特徴量よりも、前記画像特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行う
   ことを特徴とする画像データ処理装置。
4. 前記画像特徴算出部は、前記体特定部によって特定された体領域に対して、少なくとも、画像における上方向と画像における右方向と画像における左方向とのそれぞれの方向に、それぞれ所定のアルゴリズムで定められる幅だけ拡大された領域から、前記顔特定部によって特定された顔の領域が除外された拡張体領域を、前記体領域に含ませて、前記画像特徴情報の算出を行う
   ことを特徴とする請求項３記載の画像データ処理装置。
5. 画像を分類するための画像特徴情報を算出する画像データ処理装置であって、
   一画像に含まれる顔の領域を特定する顔特定部と、
   一画像の少なくとも一部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する画像特徴算出部と、
   一画像グループに属する画像の一部又は全部の２枚以上の画像についての、画像特徴算出部によって算出された画像特徴情報に基づいて、当該画像グループを分類するための画像グループ特徴情報を算出する画像グループ特徴算出部とを備え、
   前記顔特定部は、さらに、画像の面積に対する、特定する顔の領域の面積の比率である面積率を示す顔面積情報を算出し、
   前記画像グループ特徴算出部は、前記顔特定部によって顔面積情報を算出された第１の画像と、前記顔特定部によって、当該第１の画像の顔面積情報によって示される顔の領域の面積率よりも大きい面積率を示す顔面積情報を算出された第２の画像とについて、当該第１の画像の画像特徴情報の方が、当該第２の画像の画像特徴情報よりも、前記画像グループ特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行い、
   前記画像特徴算出部は、前記顔特定部が１つの画像に対して第１の顔の領域と第２の顔の領域とを特定した場合に、前記画像特徴情報の算出を、当該第１の顔の領域の周囲の一定領域と当該第２の顔の領域の周囲の一定領域との少なくとも一方に含まれる画素のうち、当該第１の顔の領域と当該第２の顔の領域とのいずれにも含まれない画素に基づいて算出される画像特徴量から行う
   ことを特徴とする画像データ処理装置。
6. 前記画像特徴算出部は、前記体特定部が１つの画像に対して第１の体領域と第２の体領域とを特定した場合に、前記画像特徴情報の算出を、当該第１の体領域と当該第２の体領域に含まれる画素に基づいて算出される画像特徴量から行う
   ことを特徴とする請求項３記載の画像データ処理装置。
7. 画像グループを、複数の分類先カテゴリのうちのいずれかに分類する画像グループ分類部を備え、
   前記画像グループ分類部は、前記画像グループ特徴情報によって画像グループ特徴情報を算出された画像グループに対して、前記画像グループの分類を、前記複数の分類先カテゴリそれぞれにおける、画像グループ特徴情報の示す特徴の範囲を示す基準情報と、前記画像グループ特徴算出部によって算出された画像グループ特徴情報とに基づいて行う
   ことを特徴とする請求項１記載の画像データ処理装置。
8. 前記画像特徴算出部は、算出する画像特徴情報に、画像に含まれる色に係る情報を含ませ、
   前記画像グループ特徴算出部は、算出する画像グループ特徴情報に、画像グループに属する画像に含まれる色に係る情報を含ませ、
   前基準情報は、前記複数の分類先カテゴリそれぞれにおける、画像グループ特徴情報の示す色の特徴の範囲を示す色基準情報を含み、
   前記画像グループ分類部は、前記画像グループ特徴情報によって画像グループ特徴情報を算出された画像グループに対して行う前記画像グループの分類を、前記基準情報に含まれる色基準情報と、前記画像グループ特徴算出部によって算出された画像グループ特徴情報に含まれる前記色に係る情報とに基づいて行う
   ことを特徴とする請求項７記載の画像データ処理装置。
9. 画像を分類するための画像特徴情報を算出する画像データ処理装置を用いて行う画像データ処理方法であって、
   一画像に含まれる顔の領域を特定する顔特定ステップと、
   一画像の一部又は全部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する画像特徴算出ステップと、
   一画像グループに属する画像の一部又は全部の２枚以上の画像についての、画像特徴算出ステップにおいて算出された画像特徴情報に基づいて、当該画像グループを分類するための画像グループ特徴情報を算出する画像グループ特徴算出ステップとを備え、
   前記顔特定ステップでは、さらに、画像の面積に対する、特定する顔の領域の面積の比率である面積率を示す顔面積情報を算出し、
   前記画像グループ特徴算出ステップでは、前記顔特定ステップにおいて顔面積情報を算出された第１の画像と、前記顔特定ステップにおいて、当該第１の画像の顔面積情報によって示される顔の領域の面積率よりも大きい面積率を示す顔面積情報を算出された第２の画像とについて、当該第１の画像の画像特徴情報の方が、当該第２の画像の画像特徴情報よりも、前記画像グループ特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行い、
   前記画像特徴算出ステップでは、前記画像特徴情報の算出を、前記顔特定ステップによって特定された顔の領域の周囲の一定領域に含まれる画素に基づいて算出された画像特徴量から行う
   ことを特徴とする画像データ処理方法。
10. コンピュータを、画像を分類するための画像特徴情報を算出する画像データ処理装置として機能させるための画像データ処理プログラムであって、
    前記コンピュータを、
    一画像に含まれる顔の領域を特定する顔特定部と、
    一画像の少なくとも一部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する画像特徴算出部と、
    一画像グループに属する画像の一部又は全部の２枚以上の画像についての、画像特徴算出部によって算出された画像特徴情報に基づいて、当該画像グループを分類するための画像グループ特徴情報を算出する画像グループ特徴算出部とを備え、
    前記顔特定部は、さらに、画像の面積に対する、特定する顔の領域の面積の比率である面積率を示す顔面積情報を算出し、
    前記画像グループ特徴算出部は、前記顔特定部によって顔面積情報を算出された第１の画像と、前記顔特定部によって、当該第１の画像の顔面積情報によって示される顔の領域の面積率よりも大きい面積率を示す顔面積情報を算出された第２の画像とについて、当該第１の画像の画像特徴情報の方が、当該第２の画像の画像特徴情報よりも、前記画像グループ特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行い、
    前記画像特徴算出部は、前記画像特徴情報の算出を、前記顔特定部によって特定された顔の領域の周囲の一定領域に含まれる画素に基づいて算出された画像特徴量から行うことを特徴とする画像データ処理装置として機能させる
    ことを特徴とする画像データ処理プログラム。
11. 画像を分類するための画像特徴情報を算出する半導体集積回路であって、
    一画像に含まれる顔の領域を特定する顔特定部と、
    一画像の少なくとも一部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する画像特徴算出部と、
    一画像グループに属する画像の一部又は全部の２枚以上の画像についての、画像特徴算出部によって算出された画像特徴情報に基づいて、当該画像グループを分類するための画像グループ特徴情報を算出する画像グループ特徴算出部とを備え、
    前記顔特定部は、さらに、画像の面積に対する、特定する顔の領域の面積の比率である面積率を示す顔面積情報を算出し、
    前記画像グループ特徴算出部は、前記顔特定部によって顔面積情報を算出された第１の画像と、前記顔特定部によって、当該第１の画像の顔面積情報によって示される顔の領域の面積率よりも大きい面積率を示す顔面積情報を算出された第２の画像とについて、当該第１の画像の画像特徴情報の方が、当該第２の画像の画像特徴情報よりも、前記画像グループ特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行い、
    前記画像特徴算出部は、前記画像特徴情報の算出を、前記顔特定部によって特定された顔の領域の周囲の一定領域に含まれる画素に基づいて算出された画像特徴量から行う
    ことを特徴とする半導体集積回路。
12. 画像を分類するための画像特徴情報を算出する画像データ処理装置であって、
    一画像に含まれる顔の領域を特定する顔特定部と、
    一画像の少なくとも一部の画素に基づいて算出される画像特徴量から、当該画像における画像特徴情報を算出する画像特徴算出部と、
    一画像グループに属する画像の一部又は全部の２枚以上の画像についての、画像特徴算出部によって算出された画像特徴情報に基づいて、当該画像グループを分類するための画像グループ特徴情報を算出する画像グループ特徴算出部とを備え、
    前記顔特定部は、さらに、画像の面積に対する、特定する顔の領域の面積の比率である面積率を示す顔面積情報を算出し、
    前記画像グループ特徴算出部は、前記顔特定部によって顔面積情報を算出された第１の画像と、前記顔特定部によって、当該第１の画像の顔面積情報によって示される顔の領域の面積率よりも大きい面積率を示す顔面積情報を算出された第２の画像とについて、当該第１の画像の画像特徴情報の方が、当該第２の画像の画像特徴情報よりも、前記画像グループ特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行い、
    前記画像特徴算出部は、前記顔特定部によって特定された顔の領域の周囲の一定領域に含まれる画素に基づいて算出される画像特徴量の方が、当該一定領域に含まれない画素に基づいて算出される画像特徴量よりも、前記画像特徴情報へ大きく反映されるように、前記画像特徴情報の算出を行う
    ことを特徴とする画像データ処理装置。

Images