JP5848336B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5848336B2
JP5848336B2 JP2013511884A JP2013511884A JP5848336B2 JP 5848336 B2 JP5848336 B2 JP 5848336B2 JP 2013511884 A JP2013511884 A JP 2013511884A JP 2013511884 A JP2013511884 A JP 2013511884A JP 5848336 B2 JP5848336 B2 JP 5848336B2
Authority
JP
Japan
Prior art keywords
image
subject
shooting
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013511884A
Other languages
English (en)
Other versions
JPWO2012147256A1 (ja
Inventor
亮一 川西
亮一 川西
上野山　努
上野山　　努
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2013511884A priority Critical patent/JP5848336B2/ja
Publication of JPWO2012147256A1 publication Critical patent/JPWO2012147256A1/ja
Application granted granted Critical
Publication of JP5848336B2 publication Critical patent/JP5848336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、ユーザが保有する画像群に含まれる各画像にタグ付けを行う画像処理装置に関するものである。
近年、例えば被写体像を撮像するＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）や一眼レフデジタルカメラ、さらにデジタルカメラ付き携帯電話やデジタルムービーカメラが広く普及し、さらには、画像データ保存用の記録媒体は大規模化が進んでいる。そのため、個人ユーザでも膨大な量の画像や動画等のＡＶ（ＡｕｄｉｏＶｉｄｅｏ）コンテンツを保有できる様になっている。しかし、ユーザが膨大な量の画像群や動画群から、ユーザにとって必要な画像や動画を探すことは、多大な時間と労力を必要とする。
そこで、ユーザの所望画像を効率的に探せる様に、ユーザが保有する画像群において画像毎に含まれる被写体を自動的に分類しタグ付けする画像の整理支援技術が注目されている。
例えば、画像に関する情報を簡単且つ迅速に取得するために複数のテーマ毎に画像認識エンジンとモデル辞書を用意しておき、ユーザがテーマを指定することにより、その指定されたモデル辞書と認識エンジンを用いて対象画像内のオブジェクトに適切なタグを付与すると共にそのオブジェクトの関連情報を抽出する事でユーザが知りたいオブジェクトの関連情報を効果的に抽出できる手法が知られている（特許文献１参照）。
特開２００７−５８５３２号公報
しかしながら、特許文献１で開示されている技術では、複数の画像についてタグ付け（オブジェクトとの対応付け）を行う場合には、ユーザが処理対象である複数の画像で用いられる一の画像認識エンジンとモデル辞書とを特定する必要がある。このような場合、処理対象となる画像の枚数が増えれば増えるほど、タグ付けの処理に用いる画像認識エンジンとモデル辞書とを特定することは困難になり、ユーザの負担が増すだけである。
そこで、本発明は、上記問題に鑑みて、被写体との対応付けを行う際にユーザへの負担を軽減する画像処理装置、処理方法、コンピュータプログラム及び集積回路を提供することを目的とする。
上記目的を達成するために、本発明は、画像処理装置であって、複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を予め記憶する被写体情報記憶手段と、撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備えることを特徴とする。
上記構成によると、画像処理装置は、画像群における撮影属性に対応付けられたイベントから当該イベントで撮影された画像に含まれ得る被写体を特定して対応付けを行う。これにより、ユーザは、対応付けに用いる被写体を指定する必要がないので、画像と被写体との対応付け処理時におけるユーザの負担は軽減される。
画像分類装置（画像処理装置）１の構成を示すブロック図である。 メタデータ情報テーブルＴ１のデータ構造の一例を示す図である。 画像特徴量算出手段１２により抽出される画像特徴量の一例を示す図である。 共通属性抽出手段１３の構成を示すブロック図である。 撮影ユニット抽出手段１３２において抽出された撮影ユニットの一例を示す図である。 撮影ユニット抽出手段１３２において抽出された撮影ユニットから取得される共通属性の一例を示す図である。 物体カテゴリ毎の特徴量であるモデル情報を格納するテーブルＴ１０のデータ構造の一例を示す図である。 基本イベントオブジェクト表Ｔ２０のデータ構造の一例を示す図である。 属性情報テーブルＴ３０のデータ構造の一例を示す図である。 イベント情報テーブルＴ４０のデータ構造の一例を示す図である。 更新後の基本イベントオブジェクト表Ｔ２１のデータ構造の一例を示す図である。 分類結果情報テーブルＴ５０のデータ構造の一例を示す図である。 分類処理を示す流れ図である。 分類辞書作成処理を示す流れ図である。 画像分類装置１０００の構成を示すブロック図である。 再帰的な分類処理を示す流れ図である。 画像分類装置１０００Ａの構成を示すブロック図である。 軸オブジェクトによる分類処理を示す流れ図である。 画像分類装置２０００の構成を示すブロック図である。 顔領域検出や人体領域検出結果の一例を示す図である。 領域別被写体オブジェクトの分類処理を示す流れ図である。 画像分類装置２０００Ａの構成を示すブロック図である。 画像分類装置３０００の構成を示すブロック図である。 共通属性の登録処理を示す流れ図である。 画像分類システム４０００の構成を示す図である。 画像分類装置４１００の構成を示すブロック図である。 サーバ装置４５００の構成を示すブロック図である。 モデル情報送信処理を示す流れ図である。 画像分類システム４０００Ａの構成を示す図である。 画像分類装置４１００Ａの構成を示すブロック図である。 端末装置４６００の構成を示すブロック図である。 多様性情報を含むテーブルＴ１００のデータ構造の一例を示す図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
１．実施の形態１
以下、図面を参照してこの発明の実施形態について説明する。本実施の形態１は、家庭内等のユーザのローカルな多くの画像や動画データからなる画像群を整理する画像分類装置において、画像群について共通する属性を利用することにより、各画像内に含まれる被写体オブジェクト（物体）を精度良く自動分類する仕組みに関するものである。
１．１ 構成
図１は、画像分類装置（画像処理装置）１の構成を示すブロック図である。図１において、画像分類装置１は、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類辞書作成手段１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７とから構成されている。
（１）ローカルデータ蓄積手段１１
ローカルデータ蓄積手段１１は、一定の限られたユーザが保有する家庭内等のファイルデータを蓄積する記録媒体である。例えば、家族内の写真画像や動画像データが記憶されている。ローカルデータ蓄積手段は、HDDやDVD等の大容量メディアディスクや半導体メモリ等のストレージデバイス等である。
また、ローカルデータ蓄積手段１１は、家庭内等のファイルデータ（写真画像や動画像データ）に対応する、画像毎に撮影時に付与されるメタデータ情報を蓄積している。 画像のメタデータ情報とは、例えばＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）情報に含まれる、撮影日時情報や撮影場所情報であるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報や撮影方法情報として撮影時の撮影モード情報や各種撮影時のカメラパラメータ等である。
ここで、メタデータ情報を含むメタデータ情報テーブルＴ１の一例を図２に示す。メタデータ情報テーブルＴ１に含まれるメタデータ情報は、図２に示すように、画像を一意に識別するための識別子である画像データ番号毎に、対応付けられている。メタデータ情報は、図２に示すように、ファイル名、撮影された時間を表す撮影時間情報、撮影時の地理的位置情報としてGPS情報から得られる経度及び緯度情報と、撮影時の明るさの調整を行うＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度情報、明るさを適正に視聴できるように調整する露出情報、及び撮影時の色バランスを調整するホワイトバランス情報（ＷＢ）等のカメラパラメータ情報等が含まれている。なお、画像特徴量算出手段１２で算出される画像解析により算出可能な画像特徴量情報も併せて画像情報とする構成としても良い。
（２）画像特徴量算出手段１２
画像特徴量算出手段１２は、画像特徴としてエッジや色やテクスチャ等の画像の基本的な低次特徴量から物体に特異な高次特徴量を算出するものである。
高次特徴量は、例えば、特徴的な点を中心に局所領域の特徴を表すＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等の局所特徴量や物体の形状特徴を表すＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）等の特徴量が存在する。また、画像内の顔や人や物体等の被写体オブジェクト（物体）を認識可能な特異な特徴量を算出しても良い。具体的な手法については、例えば特許文献（特開2008-250444号公報）に記載されている様な実用化されている顔検出装置や、人体検出や一般物体検出については、藤吉弘亘著の「Ｇｒａｄｉｅｎｔベースの特徴抽出−ＳＩＦＴとＨＯＧ−」（情報処理学会研究報告 ＣＶＩＭ １６０，ｐｐ．２１１−２２４，２００７）に詳細が記載されている。
ここで、画像特徴量算出手段１２により抽出される画像特徴量の一例を図３に示す。画像特徴量には、画像の基本的な特徴量情報である色情報やテクスチャ情報の様な低次元特徴量から被写体オブジェクトの特徴を表現可能な高次元特徴量の算出が考えられる。画像特徴量は、画像データ番号毎に対応付けられており、カラー１、２、エッジ１、２、局所１、２、顔、顔数等が含まれる。
カラー１、２は、画像の色情報であり、ＲＧＢ値から画像内統計値として算出された値である。なお、画像の色情報は、ＨＳＶやＹＵＶ色空間へ変換した色相情報として算出された値、又はカラーヒストグラムやカラーモーメント等の統計量情報等として算出された値であってもよい。
エッジ１、２は、テクスチャ情報であり、画像内の線分検出された特徴を一定角度毎に画像内統計値として算出した値である。
局所１、２は、高次元特徴を示すものであり、特徴的な点を中心に局所領域の特徴を表したり物体の形状を表したりする特徴である。具体的には、ＳＩＦＴやＳＵＲＦやＨＯＧ等の特徴量が存在する。
また、顔は顔検出技術等から得られる顔情報に基づいて、画像内における顔の有無を示すものであり、顔数は顔検出技術により検出された顔の数を示す。
さらに、画像特徴として、顔の大きさ、服装の色や形状及び人検出技術等から人に関連する画像認識情報等を含めることも考えられる。また、車検出及び犬や猫などのペット検出に代表されるような画像認識技術による結果を利用することも可能である。
（３）共通属性抽出手段１３
共通属性抽出手段１３は、ローカルデータ蓄積手段１１に格納されている複数の画像からなる画像群について、１つ以上の共通の属性を抽出するものである。
共通属性抽出手段１３は、画像群から共通属性を抽出する際には、メタデータ情報やユーザが直接付与するタグ情報を利用して、共通するメタデータ情報、タグ情報を共通属性として取得する。さらに、顔検出や人体検出技術により検出可能な人物情報やユーザが付与する撮影理由情報等を用いて共通属性情報を抽出しても良い。
以下、共通属性抽出手段１３の詳細な構成について説明する。
共通属性抽出手段１３は、図４に示すように、画像情報抽出手段１３１と、撮影ユニット抽出手段１３２と、共通属性判定手段１３３とから構成されている。
（３−１）画像情報抽出手段１３１
画像情報抽出手段１３１は、分類対象となる画像群に含まれる画像それぞれから画像情報であるメタデータ情報やタグ情報を取得する。
（３−２）撮影ユニット抽出手段１３２
撮影ユニット抽出手段１３２は、画像情報抽出手段１３１で抽出された画像情報を利用して、ユーザが同じ撮影イベントとして撮影したと考えられる一連の複数の画像を一ユニットとするグループに画像群を分割する。以下において、分割されたグループを撮影ユニットを呼ぶ。
具体的には、撮影ユニット抽出手段１３２は、撮影間隔が一定時間幅以下でユニット化したり、画像撮影地の距離間隔が一定距離範囲以下であったり一定の敷地領域範囲内でユニット化する。また、時間情報と場所情報を合わせて撮影イベント単位を判定する手法等も存在する。例えば、Ｍｏｒ Ｎａａｍａｎ ｅｔｃ著の「Ａｕｔｏｍａｔｉｃ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｄｉｇｉｔａｌ Ｐｈｏｔｏｇｒａｐｈｓ ｗｉｔｈ Ｇｅｏｇｒａｐｈｉｃ Ｃｏｏｒｄｉｎａｔｅｓ」（ｈｅ 4ｔｈ ＡＣＭ／ＩＥＥＥ−ＣＳ ｊｏｉｎｔ ｃｏｎｆ． ｏｎ Ｄｉｇｉｔａｌ ｌｉｂｒａｒｉｅｓ， ｐｐ． ５３−６２，２００４）に詳細が記載されている。
また、撮影ユニット抽出手段１３２は、撮影画像間における検出された顔の類似度や人物情報である人数や服装等の類似度が一定値以上近似している場合にユニット化してもよい。さらに、撮影ユニット抽出手段１３２は、撮影時のカメラの撮影モード情報や各種撮影時のカメラパラメータ等の情報が撮影画像間で一定値以上近似している場合にユニット化してもよい。
撮影ユニット抽出手段１３２は、タグ情報を用いて、ユーザにより直接撮影イベント名が付与されて意図的にグループ化された単位でのユニット化してもよい。
なお、これらのユニット化手法を組み合わせて撮影ユニットを判定する構成としても良い。
（３−３）共通属性判定手段１３３
共通属性判定手段１３３は、撮影ユニット抽出手段１３２で判定された撮影ユニット単位毎に、当該撮影ユニットに含まれる画像それぞれについて画像情報抽出手段１３１で抽出された画像情報を用いて、当該撮影ユニットについての共通属性を抽出する。
ここで、共通属性の種類としては、季節や温度や撮影頻度や撮影時間帯といった時間情報、移動度合いや屋内外やランドマークといった場所情報、撮影イベントに対する参加者や家族構成や年齢といった人物情報、撮影カメラの撮影モードや撮影パラメータといった撮影方法情報、ユーザによる画像群に対して付与された撮影イベント等の撮影理由情報が存在する。例えば、季節は撮影時間から特定することができる。また、温度は、撮影時間、撮影場所に基づいて、外部の装置から取得してもよいし、画像分類装置１に温度計を備えて、撮影されると、そのときの温度を測定し、その測定結果をメタデータ情報に含めてもよい。
また、共通属性は、種類として示した各情報のうち少なくとも１つの情報を用いて算出された統計量としてもよい。例えば、撮影ユニットに含まれる１つ以上の画像それぞれから得られる時間情報から撮影ユニットの期間を特定し、特定した期間が属する季節を統計量として特定する。または、撮影ユニットに含まれる１つ以上の画像それぞれから得られる場所情報から、撮影ユニットにおける撮影範囲を特定し、特定した範囲が自宅内であるか、近所であるか等を判定し、その結果を共通属性とする。
また、人物情報から、統計量として家族の構成を示す家族構成情報を算出してもよい。たとえば、撮影ユニットにおいて、人物情報から子ども、父親、母親、兄弟等が撮影された画像の枚数を算出することができる。算出結果から家族を構成する全ての人物が撮影ユニットを構成する画像のうち少なくとも一の画像に含まれていること特定される場合には、共通属性として、撮影された各人物情報からなる家族構成情報を生成する。また、人物情報を基に、家族構成情報だけでなく友人に係る情報や親戚に係る情報等を生成してもよい。
または、人物情報から得られる人物に係る情報（被写体人物情報）を推定し、推定した被写体人物情報を基に共通属性を抽出してもよい。例えば被写体人物情報として年齢を推定し、推定した年齢を基に統計量を算出することが考えられる。この場合、撮影ユニットに含まれる１つ以上の画像それぞれから人物を抽出し、抽出した人物それぞれの年齢を推定し、１０代以下、２０代、３０代などの年代ごとの分布数を統計量として算出する。なお、推定対象は年齢だけでなく、男女、おとな・子ども等のように、人物情報から推定されるものであればよい。
（３−４）具体例
撮影ユニット抽出手段１３２で抽出された撮影ユニット毎に共通属性を抽出する具体的な処理内容について説明する。ここでは、短期的(１日)に撮影された画像群から撮影ユニット抽出手段１３２において抽出された撮影ユニットの一例を図５に示す。
撮影ユニット抽出手段１３２は、一定撮影間隔でまとめられた撮影ユニットをユニットＴ１−Ｔ６として抽出する。さらに、撮影ユニット抽出手段１３２は、一定撮影範囲（画像間の撮影場所の位置変化が１００ｍ以内）でまとめられたユニットＰ１−Ｐ３が撮影ユニットとして抽出される。
共通属性判定手段１３３が共通属性を抽出する際には、例えば、まず最小の撮影ユニット単位（ここでは、ユニットＴ１からＴ６）に対して各ユニット内の画像情報における同一項目を判定する。さらに、共通する項目で階層化して上位層の撮影ユニット（ここでは、ユニットＰ１からＰ３）について同一項目を判定することで階層化された画像情報の同一項目情報を抽出し、それを共通属性として出力する。
図５に示す例から取得される共通属性の一例を図６に示す。ユニットＴ１−Ｔ６のそれぞれの撮影ユニット内で同一な項目については階層４にその同一項目情報が存在し、場所も一致するユニットＰ１−Ｐ３に対応する撮影ユニット内で同一な項目については階層３にその同一項目情報が存在している。さらに、顔検出等の画像特徴量情報も利用することで人物情報を取得し、撮影ユニット内に存在する登場人物で同一項目を取得した結果が階層２になっており、階層１には全撮影ユニットに共通する同一項目が抽出されている。
なお、撮影時の撮影モード情報や各種撮影時のカメラパラメータ等の情報によりさらに詳細な撮影ユニットを抽出して同一項目情報を抽出したり、ユーザにより直接タグ付けされた又はユニット化された単位で階層化を行う様な構成としても良い。さらに、旅行の様な数日に渡る撮影ユニット単位やユーザのイベント毎の撮影スタイルや家族構成といった長期的な画像情報から判定される共通属性を抽出する事なども考えられる。
（４）分類手段１４
分類手段１４は、分類対象とである画像について、当該画像から算出された特徴量と、分類辞書作成手段１５で作成された分類辞書で示される１つ以上のモデル情報とを分類器を用いた判定処理を行い、当該画像内に含まれるモデルを判定するものである。
一般的な分類器としては、ＧＭＭ（Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などが存在する。モデル情報は、例えば顔や人体等を判別可能な画像の特徴量データをモデル化した情報である。分類器は、分類対象の画像に含まれるモデルの判別、及びその判別信頼度としての尤度を出力する。ここで、尤度は一般的に値が大きいほど信頼度が高いことを意味する。
分類手段１４は、分類器から出力されたモデルの判別結果とその尤度とを、分類対象の画像を示す画像データ番号と対応付けて、画像属性情報蓄積手段１７へ蓄積する。
（５）分類モデル情報蓄積手段１６
分類モデル情報蓄積手段１６は、物体カテゴリ（オブジェクト）毎に、当該オブジェクトに対応するモデル情報を蓄積する記憶媒体である。例えば、画像の特徴量と各特徴量の重要性などの重み付けを行った結果をそのままモデル情報とすること等が考えられる。モデル情報としての画像の特徴量の算出手法は、上述したように、ＧＭＭやＳＶＭがある。また、他の手法としては、ＡＤＡＢＯＯＳＴがある。これら手法は既知の技術であるので、ここでの説明は省略する。ここで、物体カテゴリ毎の特徴量であるモデル情報を格納するテーブルＴ１０の一例を図７に示す。テーブルＴ１０は、物体カテゴリ名とモデル情報とからなる組を複数記憶するための領域を有している。例えば、物体カテゴリ名が「桜」であれば、桜の画像についての特徴量と対応付けられている。
分類モデル情報蓄積手段１６は、図８に示す基本イベントオブジェクト表Ｔ２０を記憶している。基本イベントオブジェクト表Ｔ２０は、分類辞書作成手段１５で用いられる基本イベントオブジェクト情報を含んでいる。通常、一連の撮影イベントとして保有されるユーザのローカルデータではイベント内で撮影され易いオブジェクトほど分類優先度が高くなる。そのため、基本イベントオブジェクト表Ｔ２０には、撮影イベントで撮影され易い被写体オブジェクトと共にその種別の類似属性が記載されている。またそれぞれの被写体オブジェクトの分類優先度はデフォルトで１．０と設定している。
また、分類モデル情報蓄積手段１６は、分類辞書作成手段１５で用いられるオブジェクト優先属性情報からなる属性情報テーブルＴ３０を蓄積している。ここで、属性情報テーブルＴ３０の一例を図９に示す。属性情報テーブルＴ３０では、物体カテゴリ名それぞれに対して、季節、屋内外、参加者、場所等のオブジェクト優先属性情報が対応付けられている。
さらに、分類モデル情報蓄積手段１６は、撮影イベントに紐付くイベント関連物体及びその優先属性情報からなるイベント情報テーブルＴ４０を蓄積している。ここで、イベント情報テーブルＴ４０の一例を図１０の一覧表に示す。イベント情報テーブルＴ４０は、図１０に示すように、撮影のイベント毎に、イベント関連物体、時間情報、場所情報、人物情報が対応付けられている。イベント関連物体とは、対応するイベントを特徴付ける物体であり、例えば、「お花見」であれば、それを特徴付ける物体として、「桜」、「団子」、「屋台」、「ビール」などが挙げられる。時間情報とは、対応するイベントについて撮影される時期や撮影時間長を示すものである。また、場所情報は、対応するイベントが行われる場所を示し、人物情報は、対応するイベントに参加する人物の情報を示すものである。
（６）分類辞書作成手段１５
分類辞書作成手段１５は、共通属性抽出手段１３で抽出された共通属性に基づいて、複数のイベントのうち１つの候補イベントを特定し、特定した候補イベントに含まれるイベント関連物体に関連する１つ以上の物体カテゴリからなる分類辞書を作成するものである。
具体的には、分類辞書作成手段１５は、共通属性抽出手段１３により抽出された１つ以上の撮影ユニット毎に、当該撮影ユニットに含まれる複数の共通属性と、オブジェクト優先属性情報とを用いて優先度の増減を行う。例えば、ユニットＴ１に含まれる共通属性は、図６に示すように、「春」、「近所」、「朝」、「屋内」、「早朝」などである。分類辞書作成手段１５は、これら共通属性と、図９に示す属性情報テーブルＴ３０とから一致するオブジェクト優先属性情報を特定し、特定したオブジェクト優先属性情報に応じて、対応する物体カテゴリ名に対する優先度を更新する。更新後の基本イベントオブジェクト表Ｔ２１を、図１１に示す。ここでは、例えば、「季節」情報と一致する場合には＋１．０、「屋内外」情報と一致する場合には＋０．２、「参加者」情報と一致する場合には＋０．２、「場所」情報と一致する場合には＋０．２を加算して優先度を更新するものとする。「桜」は季節の共通属性のみと一致する場合には、優先度が２．０となり、「雛人形」について全ての共通属性と一致する場合には、優先度は２．６となる。なお、優先度の付与方法として、プラスの優先度だけではなくマイナスの優先度を付けたり、共通属性の種別毎に重み付けを変えて算出する又は複数の共通属性と一致する場合に優先度の増減を行う等の撮影イベントに伴い撮影される被写体オブジェクトの種類を絞り込むことが出来るような優先度の付与手法であればその種別は問わない。
分類辞書作成手段１５は、優先度を更新すると、イベントそれぞれを特徴付ける関連イベント物体に対応する優先度の合計値を算出し、イベント情報テーブルＴ４０の含まれるイベントのうち、算出した合計値が最も高いイベントを候補イベントとして特定する。
分類辞書作成手段１５は、特定した候補イベントを特徴付ける関連イベント物体のうち、優先度が所定の閾値以上であり、互いに異なる類似属性となる１つ以上の関連イベント物体（物体カテゴリ）からなる分類辞書を作成する。例えば、「お花見」のイベントが最も優先度が高い場合には、分類辞書作成手段１５は、関連物体として桜・団子・屋台・ビール等のイベント関連物体のうち優先度の高いものに限定して分類辞書を作成する。
（７）画像属性情報蓄積手段１７
画像属性情報蓄積手段１７は、分類手段１４で分類判定された結果の情報である分類モデルの判別結果及びその判別信頼度としての尤度等を蓄積する記憶媒体である。
ここでは、結果の一例として分類結果情報テーブルＴ５０を、図１２に示す。
分類結果情報テーブルＴ５０は、画像データ番号、物体カテゴリ、信頼性及び尤度からなる組を１つ以上記憶するための領域を有している。
画像データ番号は画像を一意に識別するための識別子であり、物体カテゴリは分類に用いたモデル情報を示すものである。
尤度は対応する画像データ番号で示される画像内に存在する物体と、分類に使用したモデル情報とが一致する尤もらしさを示す値である。
信頼性は、分類結果が信頼できるものであるか否かを示すものである。ここでは、対応する尤度が所定値以上（例えば、０．７以上）である場合には信頼性の値を１とし、分類結果が信頼できるものとする。また、対応する尤度が所定値（例えば、０．７）より小さい場合には信頼性の値を０とし、分類結果が信頼できないものとする。
１．２ 動作
ここでは、画像分類装置１の動作について、説明する。
（１）全体の動作
画像分類装置１は、ユーザにより分類対象の画像群が選択される、又は自動的に分類可能な全ローカルデータや一定の画像数や動画数に達した場合に、画像内の被写体オブジェクトに対する分類処理を開始する。分類処理が開始されると、分類対象の画像群から共通属性を抽出し、抽出した共通属性に基づいて分類辞書を作成して、画像群に含まれる各画像内の被写体オブジェクトの分類を行う。
以下、図２に示す流れ図を用いて、当該処理について説明する。
画像特徴量算出手段１２は、ローカルデータ蓄積手段１１から分類対象となる複数の画像からなる画像群を取得し、取得した画像群に含まれる各画像について画像特徴量の算出処理を行う（ステップＳ１）。
共通属性抽出手段１３の画像情報抽出手段１３１は画像群に含まれる画像それぞれから画像情報であるメタデータ情報やタグ情報を取得し、撮影ユニット抽出手段１３２は抽出された画像情報を利用して、ユーザが同じ撮影イベントとして撮影したと考えられる一連の複数の画像を一つの撮影ユニットとして分割する（ステップＳ２）。
共通属性判定手段１３３は、分割された各撮影ユニットについて、当該撮影ユニットに属する画像に対応する、画像情報抽出手段１３１で抽出された画像情報を用いて、画像群に対する共通属性を抽出する（ステップＳ３）。
分類辞書作成手段１５は、共通属性抽出手段１３で抽出された１つ以上の共通属性と、分類モデル情報蓄積手段１６に蓄積されている物体カテゴリを用いて、分類手段１４で利用する分類辞書を作成する（ステップＳ４）。
分類手段１４は、分類対象画像群に対して、分類辞書作成手段１５で作成された分類辞書に含まれる物体カテゴリに対応するモデル情報と一致する特徴が各画像に存在するかどうかを判別し、画像属性情報として、その判別結果と尤度とを、分類対象の画像を示す画像データ番号と対応付けて、画像属性情報蓄積手段１７へ蓄積する（ステップＳ５）。
画像分類装置１は、全ての撮影ユニットに対して分類処理が終了したかどうかを判定する（ステップＳ６）。終了していると判定する場合には（ステップＳ６における「Ｙｅｓ」）、分類処理を終了し、終了していないと判断する場合には（ステップＳ６における「Ｎｏ」）、処理はステップＳ３に戻る。
（２）分類辞書作成処理について
ここでは、図１３に示すステップＳ４における分類辞書を作成する処理について、図１４に示す流れ図を用いて説明する。
分類辞書作成手段１５は、分類モデルを限定するために基本イベントオブジェクト表Ｔ２０及び属性情報テーブルＴ３０を取得する（ステップＳ１１）。
分類辞書作成手段１５は、共通属性抽出手段１３で抽出された共通属性で示される、基本イベントオブジェクト表Ｔ２０に含まれる１つ以上の物体カテゴリについての優先度を更新する（ステップＳ１２）。
分類辞書作成手段１５は、全ての共通属性に対して優先度の更新が行われたか否かを判定する（ステップＳ１３）。全ての共通属性に対して優先度の更新が行われていないと判断する場合には（ステップＳ１３における「Ｎｏ」）、処理はステップＳ１２に戻る。
全ての共通属性に対して優先度の更新が行われたと判断する場合には（ステップＳ１３における「Ｙｅｓ」）、分類辞書作成手段１５は、更新された基本イベントオブジェクト情報と、イベント情報テーブルＴ４０とから、分類対象の画像群の撮影が行われた候補イベントを特定する（ステップＳ１４）。具体的には、分類辞書作成手段１５は、更新された優先度を用いて、イベント情報テーブルＴ４０に含まれるイベントそれぞれについて、当該イベントを特徴付ける関連イベント物体（物体カテゴリ）に対応する優先度の合計値を算出し、算出した合計値が最も高いイベントを候補イベントとして特定する。これにより、分類辞書作成手段１５は、分類対象の画像群の撮影されたイベントの候補となるものを特定することができる。
分類辞書作成手段１５は、特定した候補イベントを特徴付ける関連イベント物体のうち、優先度が所定の閾値以上である１つ以上の関連イベント物体（物体カテゴリ）からなる分類辞書を作成する（ステップＳ１５）。
１．３ 実施の形態１における効果
以上のように、実施の形態１における画像分類装置１は、従来のように一般的なオブジェクト全てを対象に画像内特徴量を中心に利用して分類するのではなく、ユーザが保有する画像群内の共通属性により分類に用いるモデル情報を限定して分類処理を行う。そのため、ユーザが保有する画像や動画像に対して精度よく分類を行うことが可能となり、ユーザが保有する画像や動画像に対して自動的にタグ付けし自動整理することやユーザが所望する画像を効率的に探す事ができる。
２．実施の形態２
以下、図面を参照して本発明に係る実施の形態２について説明する。本実施の形態２は、家庭内等のユーザのローカルな多くの画像や動画データからなる画像群を整理する画像分類装置において、共通属性を利用すると共に分類結果を用いて再帰的に分類処理を行うことで、各画像内に含まれる被写体オブジェクトを精度良く自動分類する仕組みに関するものである。なお、本実施の形態２において、実施の形態１と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
以下において、画像群について行った分類結果を考慮し、再帰的に分類すべき被写体オブジェクト内容を更新して分類処理をすることで、様々な被写体オブジェクトを含む画像であってもユーザが撮影した画像や動画を精度良く分類する事が可能な方法について具体的に説明する。
２．１ 構成
図１５は、本実施の形態２に係る画像分類装置１０００の構成を示すブロック図である。図１５において、画像分類装置１０００は、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４００と、分類辞書作成手段１５００と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７とから構成されている。
ローカルデータ蓄積手段１１、画像特徴量算出手段１２、共通属性抽出手段１３、分類モデル情報蓄積手段１６及び画像属性情報蓄積手段１７については、実施の形態１と同様であるので、ここでの説明は省略する。
以下、分類手段１４００と分類辞書作成手段１５００とについて説明する。
（１）分類手段１４００
分類手段１４００は、上記実施の形態１で示す分類手段１４と同様の機能に加えて、以下の機能を有する。
分類手段１４００は、分割された撮影ユニット毎の分類が完了すると、分類結果が適切であるか否かを判断する。具体的には、分類対象である物体カテゴリが含まれると判断された画像の合計数の撮影ユニットを構成する総数に対する割合が所定値より大きいものであれば、分類は適切であると判断し、所定値以下である場合には分類は適切でないと判断する。
分類手段１４００は、分類が適切でないと判断する場合には、辞書の再作成を行う旨の作成指示を分類辞書作成手段１５００へ出力する。
分類手段１４００は、分類が適切であると判断する場合には、分類結果を画像属性情報蓄積手段１７へ蓄積する。
（２）分類辞書作成手段１５００
分類辞書作成手段１５００は、上記実施の形態１で示す分類辞書作成手段１５と同様の機能に加えて、以下の機能を有する。
分類辞書作成手段１５００は、分類手段１４００から作成指示を受け付けると、分類辞書の再作成を行う。
具体的には、分類辞書作成手段１５００は、更新された基本イベントオブジェクト表及びイベント情報テーブルＴ４０を用いて、既に分類処理が行われた物体カテゴリを除く残りの物体カテゴリから、前回特定した候補イベントとは異なる候補イベント（以下、再候補イベント）を特定する。分類辞書作成手段１５００は、再度特定した再候補イベントを特徴付ける関連イベント物体のうち、優先度が所定の閾値以上であり、互いに異なる類似属性となる１つ以上の関連イベント物体（物体カテゴリ）からなる分類辞書を作成する。
２．２ 動作
ここでは、画像分類装置１０００の動作について、図１６に示す流れ図を用いて説明する。
分類処理が開始されると、ローカルデータ蓄積手段１１から分類対象画像が取得され、分類手段１４００で分類対象である各画像の画像属性情報を抽出する分類処理が行われる（ステップＳ２１）。ステップＳ２１の処理は、図１３で示す処理であるステップＳ１〜ステップＳ５と同様である。
分類処理が完了すると、分類手段１４００は、分類結果が適切かどうかを判定する(ステップＳ２２)。具体的には、分類手段１４００は、分類対象となる撮影ユニット内の画像枚数がＮ枚あり、関連イベント物体（物体カテゴリ）が存在すると判定された画像枚数がＭ枚であり、所定値をＴとして、条件式“Ｍ／Ｎ＞Ｔ”を満たす場合には分類結果は適切であり、満たさない場合は分類結果は適切でないと判定する。
分類結果が適切でないと判断する場合（ステップＳ２２における「Ｎｏ」）、分類手段１４００は、作成指示を分類辞書作成手段１５００へ通知する。分類辞書作成手段１５００は、分類辞書の再作成を行う（ステップＳ２３）。具体的には、分類辞書作成手段１５００更新された基本イベントオブジェクト表及びイベント情報テーブルＴ４０を用いて、既に分類処理が行われた物体カテゴリを除く残りの物体カテゴリから、再候補イベントを特定し、特定した再候補イベントを特徴付ける関連イベント物体のうち優先度が所定の閾値以上であり、互いに異なる類似属性となる１つ以上の関連イベント物体（物体カテゴリ）からなる分類辞書を作成する。
分類結果が適切であると判断する場合（ステップＳ２２における「Ｙｅｓ」）、分類手段１４００は、分類結果を画像属性情報蓄積手段１７へ蓄積する（ステップＳ２４）。
２．３ 変形例
ここでは、再帰的に分類辞書を作成する別の実施形態について説明する。
２．３．１ 構成
図１７は、本変形例に係る画像分類装置１０００Ａの構成を示すブロック図である。図１７において、画像分類装置１０００Ａは、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４００Ａと、分類辞書作成手段１５００Ａと、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７と、軸オブジェクト抽出手段１８００とから構成されている。
ローカルデータ蓄積手段１１、画像特徴量算出手段１２、共通属性抽出手段１３、分類モデル情報蓄積手段１６及び画像属性情報蓄積手段１７については、実施の形態１と同様であるので、ここでの説明は省略する。
以下、分類手段１４００Ａ、分類辞書作成手段１５００Ａ及び軸オブジェクト抽出手段１８００について説明する。
（１）軸オブジェクト抽出手段１８００
軸オブジェクト抽出手段１８００は、分類手段１４００Ａによって分類された結果、信頼度の高い軸となる物体カテゴリを抽出するものである。
具体的には、軸オブジェクト抽出手段１８００は、分類手段１４００Ａによって分類された結果を用いて、分類枚数が一の物体カテゴリに偏っているか否かを判断する。
偏っていると判断する場合には、軸オブジェクト抽出手段１８００は、偏っている一の物体カテゴリを軸オブジェクトとして特定し、特定した軸オブジェクトに基づく分類辞書作成の指示を分類辞書作成手段１５００Ａへ出力する。
例えば、分類手段１４００Ａは、分類対象となる複数の物体カテゴリのうち何れかの物体カテゴリが存在すると判断された画像が２０枚あり、そのうち一の物体カテゴリ（例えば、「桜」）について１８枚検出される様な場合には、一の物体カテゴリに偏っていると判断し、軸オブジェクトとして偏っている当該一の物体カテゴリ（「桜」）を特定する。
（２）分類辞書作成手段１５００Ａ
分類辞書作成手段１５００Ａは、上記分類辞書作成手段１５００と同様の機能に加えて、以下の機能を有する。
分類辞書作成手段１５００Ａは、軸オブジェクト抽出手段１８００から指示を受け付けると、軸オブジェクト抽出手段１８００で特定された軸オブジェクトに基づいて分類辞書の再作成を行う。
具体的には、分類辞書作成手段１５００は、更新された基本イベントオブジェクト表及びイベント情報テーブルＴ４０を用いて、軸オブジェクトとして特定された物体カテゴリを含むイベントを全て抽出する。抽出したイベントそれぞれから分類対象となる物体カテゴリを１つ以上抽出して分類辞書を作成する。
例えば、分類辞書作成手段１５００は、「桜」が軸オブジェクトの場合、「桜」を含むイベントである「お花見」、「入学式」、「卒業式」等を抽出し、これらイベントに含まれる物体カテゴリを含む分類辞書を生成する。
（３）分類手段１４００Ａ
分類手段１４００Ａは、上記分類手段１４００と同様の機能に加えて、分類辞書作成手段１５００が軸オブジェクトに基づいて作成した分類辞書を用いた分類を行う。
分類の方法については、上記実施の形態１、２と同様であるので、ここでの説明は省略する。
２．３．２ 動作
ここでは、画像分類装置１０００Ａの動作、特に軸オブジェクトを用いた分類について、図１８に示す流れ図を用いて説明する。
軸オブジェクト抽出手段１８００は、分類手段１４００Ａによって分類された結果を用いて、分類枚数が一の物体カテゴリに偏っているか否かを判断する（ステップＳ３１）。
偏っていると判断する場合には（ステップＳ３１における「Ｙｅｓ」）、軸オブジェクト抽出手段１８００は、偏っている一の物体カテゴリを軸オブジェクトとして特定する（ステップＳ３２）。
分類辞書作成手段１５００Ａは、軸オブジェクト抽出手段１８００で軸オブジェクトとして特定された物体カテゴリを含むイベントを全て抽出し、抽出したイベントそれぞれから分類対象となる物体カテゴリを１つ以上抽出して分類辞書を作成する（ステップＳ３３）。
分類手段１４００Ａは、分類辞書作成手段１５００が軸オブジェクトに基づいて作成した分類辞書を用いた分類を行う（ステップＳ３４）。
偏っていないと判断する場合には（ステップＳ３１における「Ｎｏ」）、処理は終了する。
２．４ 実施の形態２における効果
以上のように、画像分類装置１０００及び画像分類装置１０００Ａは、一般的なオブジェクト全てを対象に分類処理をするのではなく、ユーザが保有する画像群から抽出される共通属性及び再帰的に物体カテゴリを限定して分類処理を行うため、ユーザが保有する画像や動画像に対してより精度よく分類を行うことが可能となり、ユーザが保有する画像や動画像に対して自動的にタグ付けし自動整理することやユーザが所望する画像を効率的に探す事ができる。
３．実施の形態３
以下、図面を参照して本発明に係る実施の形態３について説明する。本実施の形態３は、家庭内等のユーザのローカルな多くの画像や動画データからなる画像群を整理する画像分類装置において、分類対象となる画像について当該画像から得られる領域情報を用いて共通情報を取得し、分類を行うことで、各画像内の領域別に含まれる被写体オブジェクトを精度良く自動分類する仕組みに関するものである。ここで、領域情報とは、例えば、人物の顔が検出された顔検出領域や、人体が検出された人体検出領域や、検出された人体検出領域について手足周辺領域等を含めた人物周辺領域や、これら領域以外の領域である背景検出領域をいう。なお、本実施の形態３において、実施の形態１、又は実施の形態２と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
３．１ 構成
図１９は本実施の形態３における画像分類装置２０００の構成を示すブロック図である。図１９において、画像分類装置２０００は、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類辞書作成手段１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７と、領域情報算出手段２８００とから構成されている。
ローカルデータ蓄積手段１１、画像特徴量算出手段１２、共通属性抽出手段１３、分類手段１４、分類辞書作成手段１５、分類モデル情報蓄積手段１６及び画像属性情報蓄積手段１７については、実施の形態１と同様であるので、ここでの説明は省略する。
（１）領域情報算出手段２８００
領域情報算出手段２８００は、ローカルデータ蓄積手段１１の分類対象である画像群の各画像に対して画像内に含まれる特定の領域情報を算出する。
具体的には、領域情報算出手段２８００は、既出の顔検出や人体検出技術を用いて顔検出領域及び人体検出領域とそれ以外である背景検出領域を領域情報として算出する。顔検出領域や人体検出領域の具体的な検出手法については、例えば特許文献（特開2008-250444号公報）に記載されている様な実用化されている顔検出装置や、藤吉弘亘著の「Gradientベースの特徴抽出-SIFTとHOG-」（情報処理学会 研究報告 CVIM 160, pp.211-224, 2007）に詳細が記載されている。なお、領域情報算出手段２８００は、顔領域から人体領域を推測して算出することも可能であるが、ここでは、顔検出器に加えて人体検出器により人物領域を算出するものとする。
ここで、図２０に、顔領域検出や人体領域検出結果の一例を示す。図２０においては、2人の人物について、顔検出領域Ｇ１０１、Ｇ１０２が検出されたことを、人体検出領域Ｇ２０１、Ｇ２０２が検出されたことを示している。また、領域情報算出手段２８００は、人物領域の周囲一定領域として手足周辺領域等を人物周辺領域とし、それ以外の領域を背景領域として算出する。
この場合において、画像特徴量算出手段１２は、分類対象となる画像について算出された領域情報毎に特徴量を算出する。また、分類辞書作成手段１５は、実施の形態１と同様の機能であるが、検出された領域毎に分類辞書を作成する点が異なる。
３．２ 動作
ここでは、画像分類装置２０００の動作について、図２１に示す流れ図を用いて説明する。
領域情報算出手段２８００は、分類処理が開始されると、ローカルデータ蓄積手段１１から分類対象となる複数の画像からなる画像群を取得し、取得した画像群に含まれる各画像について１つ以上の領域情報を算出する（ステップＳ４１）。例えば、図２０に示すように、領域情報として顔検出領域Ｇ１０１、Ｇ１０２と人体検出領域Ｇ２０１、Ｇ２０２に加えて、人体検出領域Ｇ２０１、Ｇ２０２それぞれに対する人物周辺領域と、これら領域以外の背景領域の４種類の領域が算出される。
領域情報算出手段２８００で領域情報が算出されると、画像特徴量算出手段１２は、領域別に画像内特徴量を算出する（ステップＳ４２）。この場合、画像特徴量算出手段１２は、領域別にそれぞれの領域情報を表現するために必要な情報を算出する。例えば、顔領域に関しては顔に表れ易いＧａｂｏｒ特徴量であったり、人体領域に関してはＨＯＧ特徴量であったり、人体周辺領域や前景領域等に関してはSIFT等の局所特徴量であったり、背景領域に関しては色ヒストグラムや色モーメントやエッジ特徴量などの全体特徴量等である。なお、それらの特徴量を組み合わせて利用することや領域検出時に利用した特徴量を保持しておき、その特徴量を利用すること等も可能である。
画像特徴量算出手段１２で領域別に特徴量が算出されると、共通属性抽出手段１３は、分類対象画像群についての共通属性を抽出する(ステップＳ４３)。この処理に関しては、実施の形態１におけるステップＳ３と同様な処理であるので、詳細な説明は省略する。
分類辞書作成手段１５は、抽出された共通属性を用いて、領域情報で示される領域毎に分類辞書を作成する(ステップＳ４４)。基本的な処理は、実施の形態１におけるステップＳ４と同様な処理であるが、領域情報によって、分類辞書の対象である被写体オブジェクトの種別を限定して利用する点が異なる。例えば、顔領域に関しては、個別の人物や人種や年齢や家族属性や眼鏡や帽子の有無等の人の属性に関する項目に限定して辞書化する。また、人体領域に関しては、服装の種類や画像内の服装の一様性等に限定した項目で辞書する。人体周辺領域に関しては、季節毎または屋内外の種別に応じて存在し易い人工物の被写体オブジェクトに限定した項目で辞書化する。また、背景領域に関しては、季節毎または屋内外の種別に応じて存在し易い自然物の被写体オブジェクトに限定した項目で辞書化する。
分類辞書作成手段１５により領域別に分類辞書が作成されると、分類対象である画像群について分類処理が行われる（ステップＳ４５）。基本的な処理は、実施の形態１におけるステップＳ５と同様な処理であるが、本実施の形態３における分類手段１４は、分類対象画像群に対して、領域別に分類辞書に含まれる物体カテゴリに対応するモデル情報と一致する特徴が各画像に存在するかどうかを判定する点が異なる。
画像分類装置２０００は、全ての撮影ユニットに対して分類処理が終了したかどうかを判定する（ステップＳ４６）。終了していると判定する場合には（ステップＳ４６における「Ｙｅｓ」）、分類処理を終了し、終了していないと判断する場合には（ステップＳ４６における「Ｎｏ」）、処理はステップＳ３に戻る。
３．３ 変形例
上記実施の形態３においては、画像特徴量を抽出する前に、領域情報を算出したが、これに限定されない。画像特徴量を抽出した後に、領域情報を抽出してもよい。
３．３．１ 構成
この場合における画像分類装置２０００Ａの構成を図２２に示す。
図２２は本変形例における画像分類装置２０００Ａの構成を示すブロック図である。図２２において、画像分類装置２０００Ａは、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段２４００Ａと、分類辞書作成手段１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７と、領域情報算出手段２８００Ａとから構成されている。
ローカルデータ蓄積手段１１、画像特徴量算出手段１２、共通属性抽出手段１３、分類辞書作成手段１５、分類モデル情報蓄積手段１６及び画像属性情報蓄積手段１７については、上記実施の形態３と同様であるので、ここでの説明は省略する。
（１）領域情報算出手段２８００Ａ
領域情報算出手段２８００Ａは、ローカルデータ蓄積手段１１の分類対象である画像群の各画像に対して、画像特徴量算出手段１２で算出された各特徴量を用いて領域情報を算出する。
具体的には、領域情報算出手段２８００Ａは、図２２に示すように、人エリア抽出部２８１１、季節抽出部２８１２及び場所抽出部２８１３を有している。
人エリア抽出部２８１１は、画像特徴量算出手段１２で算出された各特徴量から顔検出領域、人体検出領域及び人体周辺領域を特定する。
季節抽出部２８１２は、人エリア抽出部２８１１で特定された以外の領域、つまり背景領域を特定する。季節抽出部２８１２は、画像特徴量算出手段１２で算出された各特徴量を用いて特定した背景領域内において季節を示す物体（例えば、桜、雛人形など）の領域を抽出する。
また、場所抽出部２８１３は、背景領域内において、撮影場所が屋内であるか屋外であるかを示す物体（例えば、建物や、室内インテリアであるソファなど）の領域を抽出する。
（２）分類手段２４００Ａ
分類手段２４００Ａは、図２２に示すように、服装／帽子分類部２４１１、季節もの分類部２４１２、場所もの分類部２４１３、一般もの分類部２４１４を有している。
服装／帽子分類部２４１１は、検出された人エリア（顔検出領域、人体検出領域）から眼鏡や帽子の有無等の人の属性に関する項目、及び服装の種類や画像内の服装の一様性等に関する項目に限定して分類処理を行う。
季節もの分類部２４１２は、季節を表す人工物の被写体オブジェクトや自然物の被写体オブジェクトに関する項目に限定して分類処理を行う。
場所もの分類部２４１３は、場所（屋内、屋外）を示す人工物の被写体オブジェクトや自然物の被写体オブジェクトに関する項目に限定して分類処理を行う。
一般もの分類部２４１４は、個別の人物や人種や年齢や家族属性に限定して分類処理を行う。
３．３．２ 動作
画像分類装置２０００Ａの動作は、図２１に示すステップＳ４１とステップＳ４２とを入れ替えることで実現できるので、ここでの説明は省略する。
３．４ 実施の形態３における効果
以上のように、一般的なオブジェクト全てを対象に分類処理をするのではなく、ユーザが保有する画像群から抽出される共通属性を用いて画像内の一定領域別に分類に用いるモデル情報を限定して分類処理を行うため、ユーザが保有する画像や動画像に対してより精度よく分類することが可能となり、ユーザの保有する画像や動画像に対して自動的にタグ付けし自動整理することやユーザの所望画像を効率的に探す事ができる。
４．実施の形態４
以下、図面を参照して本発明に係る実施の形態４について説明する。本実施の形態４は、家庭内等のユーザのローカルな多くの画像や動画データからなる画像群を整理する画像分類装置において、ユーザが分類したい対象を登録した際にその分類対象に関連する共通属性を併せて登録しておくことで、新しく登録された分類対象であっても予め登録した共通属性を利用して各画像内に含まれる被写体オブジェクトを精度良く自動分類する仕組みに関するものである。なお、本実施の形態において、実施の形態１、２、３と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
４．１ 構成
図２３は、本実施の形態４における画像分類装置３０００の構成を示すブロック図である。図２３において、画像分類装置３０００は、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類辞書作成手段３８１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７と、入力手段３８００と、登録手段３８０１とから構成されている。ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７については、実施の形態１と同様であるので、ここでの説明は省略する。
（１）入力手段３８００
入力手段３８００は、ローカルデータ蓄積手段１１に蓄積されているローカルデータに対して行われる登録処理のためのユーザ操作の入力を受け付ける。
例えば、タッチパネルディスプレイやマウスやキーボードやリモコンにより分類対象である画像群に対するタグ付け処理の入力の受け付け、及び画像群に含まれる画像について、当該画像内の被写体オブジェクトと物体カテゴリとを対応付けて登録する登録処理の入力を受け付ける。
（２）登録手段３８０１
登録手段３８０１は、入力手段３８００の入力に基づいて、タグ付け処理や登録処理を行う。
登録手段３８０１は、これら処理に利用された画像群、若しくはこれら処理に利用された画像群と関連する画像群から共通属性を抽出し、登録される物体カテゴリ名に属する共通属性として、当該物体カテゴリ名と対応付けて分類モデル情報蓄積手段１６に蓄積する。
（３）分類辞書作成手段３８１５
分類辞書作成手段３８１５は、実施の形態１で示す機能に加えて、以下の機能を有する。
分類辞書作成手段３８１５は、共通属性抽出手段１３で抽出された共通属性に対応付けたれた物体カテゴリ名が存在する場合には、その物体カテゴリを分類辞書に加える。
４．２ 動作
ここでは、登録手段３８０１が行う動作について、図２４に示す流れ図を用いて説明する。なお、画像群に対する分類処理については、実施の形態１で示す処理（図１３、１４参照）と同様であるので、ここでの説明は省略する。
ユーザの指示によりタグ付け処理や登録処理が開始されると、入力手段３８００で、当該処理に伴う操作が入力される。登録手段３８０１は、当該処理を行うとともに、共通属性の抽出対象となる画像群を抽出する（ステップＳ５１）。例えば、タグ付け処理において「マイペット」や「花火大会」や「栗拾い」や「クリスマス」や「誕生日パーティー」等、ユーザにより指定されたタグとの対応付けが行われた画像群をそのまま選択したり、選択された画像群を基に関連する画像群を選択したり、一定の時系列的に連続する画像群を選択したりして、共通属性の抽出対象となる画像群を抽出する。
登録手段３８０１は、抽出された画像群から実施の形態１における共通属性抽出手段１３と同様の手法を用いて抽出された画像群から共通属性を抽出する（ステップＳ５２）。
登録手段３８０１は、画像群の共通属性を抽出した後、抽出した共通属性のうち、対応付けされるべき物体カテゴリに特有な共通属性を抽出する（ステップＳ４３）。共通属性の抽出は、例えば図９に示す様な形式と同じ形式であって共通属性が抽出可能な内容から抽出される。具体的には図５に示す様な画像メタデータ情報を画像群に含まれる各画像からそれぞれ抽出し、それらを特定の項目で抽象化させることで共通属性として抽出する。例えば、時間情報を季節等の時間帯情報に変換したり、場所情報を遊園地等のランドマーク（場所領域）情報に変換したり、画像群に頻出する人物情報を登場人物情報に変換することで共通情報を抽出することができる。
抽出された共通属性を、登録される物体カテゴリに属する共通属性として、当該物体カテゴリと対応付けて分類モデル情報蓄積手段１６に登録する（ステップＳ４４）。
４．３ 実施の形態４における効果
以上により、登録する物体カテゴリに属する共通属性として予め対応付けて登録しておく事で、新しい画像群に対する分類処理時または既に蓄積されている画像群に対する再分類処理時に、対応付けされた共通属性に基づいて制限される物体カテゴリを分類対象として用いることができるため、よりユーザの意図に則した画像分類処理を行うことが可能となる。
また、一般的なオブジェクト全てを対象に分類処理をするのではなく、ユーザが分類したい対象である物体カテゴリを登録した際にその分類対象に関連する共通属性を対応付けて登録しておくことで、ユーザが保有する画像群について新しく登録された物体カテゴリを用いた限定した分類処理を行うことができるため、ユーザが保有する画像や動画像に対してより精度よく分類することが可能となり、ユーザが保有する画像や動画像に対して自動的にタグ付けし自動整理することやユーザの所望画像を効率的に探す事ができる。
５．実施の形態５
以下、図面を参照して本発明に係る実施の形態５について説明する。実施の形態１では、１つの装置内にて全ての構成要素を含むものとしたが、本実施の形態５では、構成要素の一部をネットワークを介して接続された外部の装置が有するものとしている。なお、本実施の形態５において、実施の形態１と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
５．１ 画像分類システム４０００の構成
画像分類システム４０００は、図２５に示すように、画像分類装置４１００とサーバ装置４５００とから構成されており、画像分類装置４１００とサーバ装置４５００とは、インターネット等のネットワーク４００１を介して接続されている。
以下、画像分類装置４１００とサーバ装置４５００との構成について説明する。
（１）画像分類装置４１００
画像分類装置４１００は、図２６に示すように、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、画像属性情報蓄積手段１７と、分類辞書作成手段４１１５と、イベント関連情報蓄積手段４１１６と送受信手段４１１０とから構成されている。
ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、画像属性情報蓄積手段１７とについては、実施の形態１と同様であるので、ここでの説明は省略する。
（１−１）イベント関連情報蓄積手段４１１６
イベント関連情報蓄積手段４１１６は、実施の形態１で示す基本イベントオブジェクト表Ｔ２０、属性情報テーブルＴ３０及びイベント情報テーブルＴ４０を蓄積している。
基本イベントオブジェクト表Ｔ２０、属性情報テーブルＴ３０及びイベント情報テーブルＴ４０については、実施の形態１で既に説明しているので、ここでの説明は省略する。
（１−２）分類辞書作成手段４１１５
分類辞書作成手段４１１５は、実施の形態１で示す分類辞書作成手段１５と同様に、特定した候補イベントを特徴付ける関連イベント物体のうち、優先度が所定の閾値以上であり、互いに異なる類似属性となる１つ以上の関連イベント物体（物体カテゴリ）からなる分類辞書を作成する。
実施の形態１と異なる点は、作成した分類辞書に応じたモデル情報をサーバ装置４５００へ要求することである。
具体的には、分類辞書作成手段４１１５は、作成した分類辞書に含まれる全ての物体カテゴリを識別する情報（例えば、名称や、識別子）を含み、モデル情報を要求する旨の要求情報を生成し、生成した要求情報を送受信手段４１１０を介してサーバ装置４５００へ送信する。
その後、分類辞書作成手段４１１５は、サーバ装置４５００から送受信手段４１１０を介して、生成した分類辞書に含まれる物体カテゴリそれぞれと対応付けられた各モデル情報を受信する。分類辞書作成手段４１１５は、作成した分類辞書の物体カテゴリそれぞれと対応付けられた各モデル情報を分類手段１４へ出力する。
分類手段１４では、分類辞書作成手段４１１５で作成された分類辞書の物体カテゴリそれぞれに対応付けられたモデル情報と、画像特徴量算出手段１２で算出された画像の特徴量とから画像の分類を行うことができる。
（１−３）送受信手段４１１０
送受信手段４１１０は、分類辞書作成手段４１１５から要求情報を受け取ると、ネットワーク４００１を介してサーバ装置４５００へ受け取った要求情報を送信する。
また、送受信手段４１１０は、サーバ装置４５００からネットワーク４００１を介して、分類辞書作成手段４１１５で作成された分類辞書の物体カテゴリそれぞれに対応付けられたモデル情報を受信すると、受信したモデル情報を分類辞書作成手段４１１５へ出力する。
（２）サーバ装置４５００
サーバ装置４５００は、図２７に示すように、モデル情報蓄積手段４５１０、制御手段４５１１及び送受信手段４５１２から構成されている。
（２−１）モデル情報蓄積手段４５１０
モデル情報蓄積手段４５１０は、実施の形態１に示す物体カテゴリ毎の特徴量であるモデル情報を格納しているテーブルＴ１０を蓄積している。
なお、テーブルＴ１０については、既に実施の形態１にて説明しているので、ここでの説明は省略する。
（２−２）制御手段４５１１
制御手段４５１１は、送受信手段４５１２を介して画像分類装置４１００から要求情報を受け取る。
制御手段４５１１は、受け取った要求情報に含まれる、画像分類装置４１００で作成された分類辞書に含まれる物体カテゴリを識別する情報それぞれに応じたモデル情報を、モデル情報蓄積手段４５１０のテーブルＴ１０から取得する。
そして、制御手段４５１１は、画像分類装置４１００で作成された分類辞書に含まれる物体カテゴリそれぞれに対して取得したモデル情報を対応付けて、送受信手段４５１２を介して画像分類装置４１００へ送信する。
（２−３）送受信手段４５１２
送受信手段４５１２は、ネットワーク４００１を介して画像分類装置４１００から要求情報を受信すると、受信した要求情報を制御手段４５１１へ出力する。
送受信手段４５１２は、分類辞書作成手段４１１５で作成された分類辞書の物体カテゴリそれぞれに対応付けられたモデル情報を制御手段４５１１から受け取り、ネットワーク４００１を介して画像分類装置４１００へ送信する。
５．２ 画像分類システム４０００の動作
ここでは、画像分類システム４０００の動作として、画像分類装置４１００及びサーバ装置４５００それぞれの動作について説明する。
（１）画像分類装置４１００の動作
画像分類装置４１００の動作について、図１３に示す流れ図を用いて、実施の形態１と本実施の形態５との差異についてのみ説明する。
画像分類装置４１００は、図１３に示すステップＳ４からステップＳ５との間に以下の２つのステップを追加する。
まず、分類辞書作成手段４１１５が、要求情報を生成し、生成した要求情報を送受信手段４１１０を介してサーバ装置４５００へ送信するステップ（以下、ステップＳ１００とする。）を追加する。
そして、ステップＳ１００の後に、分類辞書作成手段４１１５が、サーバ装置４５００から、分類辞書作成手段４１１５が生成した分類辞書に含まれる物体カテゴリそれぞれと対応付けられた各モデル情報を受信するステップ（以下、ステップＳ１０１とする。）を追加する。
ステップＳ１００、Ｓ１０１が実行された後、ステップＳ５を実行することで、画像の分類がなされる。
（２）サーバ装置４５００の動作
サーバ装置４５００の動作について、図２８に示す流れ図を用いて説明する。
サーバ装置４５００の制御手段４５１１は、画像分類装置４１００からネットワーク４００１を介して、要求情報を受信する（ステップＳ１５０）。
制御手段４５１１は、受信した要求情報に含まれる物体カテゴリを識別する情報それぞれに応じたモデル情報を、モデル情報蓄積手段４５１０のテーブルＴ１０から取得する（ステップＳ１５１）。
制御手段４５１１は、受信した要求情報に含まれる物体カテゴリそれぞれに対して取得したモデル情報を対応付けて、ネットワーク４００１を介して画像分類装置４１００へ送信する（ステップＳ１５２）。
５．３ 変形例
上記実施の形態５では、モデル情報を外部の装置（サーバ装置４５００）に蓄積する画像分類システム４０００について、説明したが、システムの構成はこれに限られない。
分類対象となる画像群を外部の装置で蓄積するシステムであってもよい。
この場合の画像分類システム４０００Ａについて、以下に説明する。なお、本変形例において、他の実施の形態と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
（１）画像分類システム４０００Ａの構成
画像分類システム４０００Ａは、図２９に示すように、画像分類装置４１００Ａと端末装置４６００とから構成されており、画像分類装置４１００Ａと端末装置４６００とは、インターネット等のネットワーク４００１を介して接続されている。
以下、画像分類装置４１００とサーバ装置４５００との構成について説明する。
（１−１）画像分類装置４１００Ａ
画像分類装置４１００Ａは、図２６に示すように、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類辞書作成手段１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７と受信手段４１５０とから構成されている。
画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類辞書作成手段１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７とについては、実施の形態１と同様であるので、ここでの説明は省略する。
受信手段４１５０は、ネットワーク４００１を介して端末装置４６００から分類対象となる１つ以上の画像からなる画像群及び各画像に対応するメタデータ情報とを受信し、受信した画像群及びメタデータ情報を、画像特徴量算出手段１２及び共通属性抽出手段１３と、へ出力する。
画像特徴量算出手段１２では、受信手段４１５０から受け取った画像群に含まれる各画像の特徴量を算出する。また、共通属性抽出手段１３では、受信手段４１５０から受け取った画像群及びメタデータ情報を用いて共通属性を抽出する。
（１−２）端末装置４６００
端末装置４６００は、図３１に示すように、データ蓄積手段４６１０と、制御手段４６１１と、送信手段４６１２とから構成されている。
データ蓄積手段４６１０は、実施の形態１のローカルデータ蓄積手段１１と同様であるので、ここでの説明は省略する。
制御手段４６１１は、ユーザ操作により、ローカルデータ蓄積手段１１で蓄積されている１つ以上の画像からなる画像群及び各画像に対応するメタデータ情報を取得し、送信手段４６１２を介して、画像分類装置４１００Ａへ送信する。
送信手段４６１２は、制御手段４６１１から受け取った画像群及びメタデータ情報を、ネットワーク４００１を介して画像分類装置４１００Ａへ送信する。
（２）動作
ここでは、画像分類システム４０００Ａの動作、特に画像分類装置４１００Ａの動作について、実施の形態１と異なる点を説明する。
画像分類装置４１００Ａは、図１３にて示す流れ図において、ステップＳ１を実行する前に、受信手段４１５０が、端末装置４６００から分類対象となる１つ以上の画像からなる画像群及び各画像に対応するメタデータ情報とを受信するステップを追加する。
これにより、画像分類装置４１００Ａは、外部の装置（端末装置４６００）から受け取った画像群について分類を行うことができる。
（３）その他
本変形例では、端末装置４６００は、画像群を蓄積でき、ネットワーク接続できる装置であればよく、例えば、パーソナルコンピュータや、デジタルカメラ、デジタルビデオカメラ等である。
また、実施の形態１に示す画像分類装置１の構成要素に、本変形例で説明した外部の装置から画像群を受信する機能を追加してもよい。この場合、画像分類装置１に蓄積された画像群だけでなく、外部の装置で蓄積された画像群についても分類ができる。
また、外部の装置から取得される画像群は、分類を行おうとするユーザが撮影した画像に限定されない。例えば、ソーシャルネットワークを利用して、知人が撮影した画像群を取得してもよい。この場合、ユーザ自身が撮影した画像群と、知人が撮影した画像群とから撮影ユニットを生成してもよいし、知人が撮影した画像群のみから撮影ユニットを生成してもよい。
６．変形例
以上、各実施の形態に基づいて説明したが、本発明は上記の実施の形態に限られない。例えば、以下のような変形例が考えられる。
（１）上記各実施の形態において、イベント毎に対応するイベント関連物体は、イベント内で撮影される物体であればその種別は問わない。また、関連度によって予め優先度の重み付けをしておく構成にしても良い。または、イベントの優先度と物体カテゴリの優先度を個別に算出し、それらを任意の重み付けで合算して複合優先度を算出することで、その複合優先度に基づいて分類する物体カテゴリを決定してもよい。
（２）上記実施の形態２において、条件式における所定値Ｔは、固定的な値としたが、これに限定されない。
撮影ユニットに含まれる画像の枚数に応じて判定値の条件式を変えたり、分類対象となる物体オブジェクトの種別に応じて用いる条件式を変更したりする構成としてもよい。
また、イベントにおける撮影され易さを物体カテゴリ毎にプリセットで規定しておき、一定の撮影され易い被写体オブジェクトが分類されているかどうかを判定することで適切かどうかを判定するといった構成にしてもよい。
また、物体カテゴリが全画像で存在すると判定したり、複数の物体カテゴリが存在する等の分類され過ぎるような場合を適切でないと判断してもよい。
（３）上記実施の形態２において、再候補イベントから物体カテゴリを抽出するときに、前回の抽出した物体カテゴリが抽出される可能性がある。そこで、前回の抽出した物体カテゴリを抽出の対象としてもよいし、対象外としてもよい。
対象外とする場合には、前回利用した物体カテゴリを除く残りの物体カテゴリのうち優先度の高いものから順に一定の優先度範囲、又は一定数だけの物体カテゴリを抽出して分類辞書としてもよい。
また、分類され過ぎるといった場合には、分類処理が行われた被写体オブジェクトからさらに優先度の高いものだけに限定して分類辞書としてもよい。この場合、候補イベントは再作成前のものと同一とする。
（４）上記実施の形態３において、領域情報算出手段２８００は顔検出器及び人体検出器を有するものとしたが、これに限定されない。
これら検出器以外に動物体検出器を備えてもよい。これにより、領域情報算出手段２８００は、動物体検出により検出されている動物体領域とそれ以外の背景領域を領域情報として算出することができる。また他の方法による検出器を備えることで、興味領域や注目領域とそれ以外の背景領域を領域情報として算出するとしてもよい。
（５）上記各実施の形態において、分類辞書作成手段は、複数のイベントのうち１つの候補イベントを特定して分類辞書を作成したが、これに限定されない。
分類辞書作成手段は、共通属性が季節や場所やイベント内容を示すもの（例えば、雛人形や鯉幟など）である場合には、季節や場所やイベント内容に合致する物体カテゴリだけを抽出して分類辞書を作成してもよい。
（６）上記各実施の形態において、共通属性と、イベントとを、イベントに含まれる物体カテゴリを介して、対応付けを行ったが、これに限定されない。
共通属性とイベントを直接対応付けてもよい。
（７）上記実施の形態で示す家族構成情報や被写体人物情報には、時間経過による顔や体の変化度合いとしての経年変化性を示す時間変遷情報を含めてもよい。例えば、毎年決まったイベントについて撮影を行う場合、各年に撮影された画像に含まれる被写体の変化度合いを示すことができるので、同一の人物と見なすことができる。これにより、毎年行うイベントを個別のイベントではなく、１つのまとまった候補イベントして特定することができる。
（８）上記各実施の形態において、分類手段は、分類対象の画像全体の特徴量に基づいて、分類を行ったが、これに限定されない。
撮影対象の物体についての多様性を考慮して分類を行ってもよい。
この場合、分類モデル情報蓄積手段は、テーブルＴ１０の代わりに、図３２に示すテーブルＴ１００を蓄積している。
テーブルＴ１００は、物体カテゴリ名とモデル情報と多様性情報とからなる組を複数記憶するための領域を有している。例えば、物体カテゴリ名が「桜」であれば、桜の画像についての特徴量と及びその多様性情報と対応付けられている。
物体カテゴリ名とモデル情報とは、実施の形態１で説明しているので、個々での説明は省略する。
多様性情報は、対応する物体についての多様性の高低を示すものである。ここで、多様性とは、撮影対象の物体と、その物体についての背景との組み合わせに係るものである。多様性情報が“高”を示す場合には、撮影対象の物体と、その物体についての背景との組み合わせが多く存在することを意味し、多様性情報が“低”を示す場合には、撮影対象の物体と、その物体についての背景との組み合わせの存在が少ないことを意味している。例えば、物体が“飛行機”である場合には、その背景は、“空”や、“地面（滑走路）”であり、他の背景はほとんどない。そのため、“飛行機”に対応する多様性情報は、“低”となる。逆に、物体が“植木鉢”である場合には、植木鉢の配置場所は、“窓”や、“道路”や、“家（玄関）”や“庭”等、色々な場所が考えられ、その場所が背景となる。そのため、“植木鉢”と“背景”との組み合わせは多様であるので、多様性情報は“高”となる。
分類手段は、画像の分類を行う際に用いるモデル情報について、テーブルＴ１００を用いて当該モデル情報が示す物体の多様性情報を取得する。分類手段は、取得した多様性情報が“低”を示す場合には、画像全体の特徴量を用いて分類処理を行う。分類手段は、取得した多様性情報が“高”を示す場合には、画像全体のうちＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ：関心領域）を特定し、特定した領域についてモデル情報を用いて分類処理を行う。ＲＯＩの特定については、公知の技術であるため、ここでの説明は省略する。
これにより、多様性が高い物体（例えば、植木鉢）については、背景を排除した領域（植木鉢のみを含む領域）について分類処理を施すことで、より正確な分類を行うことができる。なお、ＲＯＩにより多様性が高い物体（分類対象となる物体）の領域を特定したが、特定の手法はこれに限らない。分類対象の物体の領域が特定できる手法であればよい。
（９）上記実施の形態５では、画像分類に係る処理、具体的には画像特徴量算出手段１２、共通属性抽出手段１３、分類辞書作成手段４１１５及び分類手段１４における各処理は、画像分類装置４１００で行うとしたが、これに限定されない。
画像特徴量算出手段１２、共通属性抽出手段１３、分類辞書作成手段４１１５及び分類手段１４のうち少なくとも１つの手段による処理をサーバ装置４５００で行うようにしてもよい。
（１０）上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。
また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。
（１１）上記の各実施の形態にかかる各構成は、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成は、１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩと表現したが、回路の集積度の違いによっては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称呼されることもある。また、集積回路化の手法は、ＬＳＩに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行ってもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー（ＲｅＣｏｎｆｉｇｕｒａｂｌｅ Ｐｒｏｃｅｓｓｏｒ）を用いてもよい。あるいは、これらの機能ブロックの演算は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを用いて演算することもできる。さらに、これらの処理ステップはプログラムとして記録媒体に記録して実行することで処理することもできる。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適応などが可能性としてあり得る。
（１２）上記実施の形態及び変形例を組み合わせるとしてもよい。
７．補足
（１）本発明の一実施態様である、画像処理装置は、複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を予め記憶する被写体情報記憶手段と、撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備えることを特徴とする。
この構成によると、画像処理装置は、画像群における撮影属性に対応付けられたイベントから当該イベントで撮影された画像に含まれ得る被写体を特定して対応付けを行う。これにより、ユーザは、対応付けに用いる被写体を指定する必要がないので、画像と被写体との対応付け処理時におけるユーザの負担は軽減される。また、画像処理装置は、対応付けに用いる被写体を、撮影属性に対応付けられたイベントに対応するものに限定するので、精度よく分類が行える。
（２）ここで、前記抽出手段は、前記画像群を当該画像群に含まれる前記複数の画像それぞれに対応する撮影に係る情報に基づいて１以上の画像集合に分割し、分割した画像集合毎に、１以上の前記撮影属性を抽出するとしてもよい。
この構成によると、画像処理装置は、画像群を１つ以上の画像集合に分割し、分割した画像集合毎に撮影属性を抽出するので、精度よく撮影属性を抽出することができる。
（３）ここで、前記撮影に係る情報は、画像撮影時の時間を示す時間情報、場所を示す場所情報、被写体である人物の人物情報、撮影方法を示す撮影情報及び撮影時の環境を示す環境情報のうち、少なくとも１つの情報を含むものであるとしてもよい。
この構成によると、画像処理装置は、時間情報、場所情報、人物情報、撮影情報及び環境情報のうち、少なくとも１つの情報に基づいて、画像群を１つ以上の画像集合に分割することができる。
（４）ここで、前記抽出手段は、前記分割に用いる各情報間の類似度を算出し、算出した類似度を用いて類似する各画像を含むよう前記分割を行うとしてもよい。
この構成によると、画像処理装置は、各情報間の類似度を用いてり画像集合に分割するので、類似する画像同士を１つの画像集合とすることができる。
（５）ここで、前記抽出手段は、前記属性に含まれる各情報のうち、少なくとも１の情報を用いて取得される統計量情報を前記撮影属性とするとしてもよい。
この構成によると、画像処理装置は、統計量情報を撮影属性として抽出することができる。
（６）ここで、前記抽出手段は、前記画像集合毎に、当該画像集合における１つ以上の人物情報から一の人物の家族が特定される場合には当該家族を示す家族構成情報を前記統計量情報として、又は当該画像集合における１つ以上の人物情報それぞれから得られる人物の性別若しくは年齢の分布を示す人物被写体情報を前記統計量情報として取得するとしてもよい。
この構成によると、画像処理装置は、統計量情報として、家族構成情報又は被写体情報を用いることができる。
（７）ここで、前記家族構成情報、又は前記被写体情報には、時間経過による顔や体の変化度合いとしての経年変化性を示す時間変遷情報が含まれるとしてもよい。
この構成によると、画像処理装置は、時間経過による顔や体の変化度合いとしての経年変化性を示す時間変遷情報を家族構成情報又は被写体情報に含めることができる。これにより、例えば、毎年決まったイベントについて撮影を行う場合、各年に撮影された画像に含まれる被写体の変化度合いを示すことができるので、同一の人物と見なすことができ、毎年行うイベントを個別のイベントではなく、１つのまとまったイベントして特定することができる。
（８）ここで、前記イベントには、複数の被写体が対応付けられており、前記撮影属性と、イベントについて撮影された画像に含まれ得る被写体とを対応付けることで、前記撮影属性とイベントとの対応付けがなされており、前記特定手段は、前記撮影属性それぞれについて、当該撮影属性に対応する被写体について優先度を計上し、前記複数のイベントのうち、被写体に対する優先度の合計が最も高いイベントを候補イベントとして特定し、特定した前記候補イベントに関連する複数のオブジェクトのうち、所定の値以上の優先度を有する被写体を特定するとしてもよい。
この構成によると、画像処理装置は、優先度を用いて被写体を選出するので、優先度の高い、つまり画像を分類するためにより有効な被写体を用いて画像分類を行うことができる。
（９）ここで、撮影属性毎に当該撮影属性に応じた優先度が割り当てられており、前記特定手段は、前記撮影属性それぞれについて、当該撮影属性に対応する被写体について当該撮影属性に割り当てられた優先度を計上するとしてもよい。
この構成によると、画像処理装置は、撮影属性毎に優先度を割り当てているので、例えば、画像の対応付けを行うためにより重要な被写体についてはより高い優先度を割り当てることで対応付けに用いる確率を高くすることができる。
（１０）ここで、複数の被写体について類似する被写体の集合毎に、当該集合を識別する類似識別情報が対応付けられており、前記特定手段は、前記類似する被写体の集合毎に、所定の値以上の優先度のうち最も高い優先度を有する被写体を特定するとしてもよい。
この構成によると、画像処理装置は、抽出されるオブジェクトそれぞれは、非類似であるので、被写体との対応付けを行う際にはより精度よく行うことができる。
（１１）ここで、前記対応付手段は、前記分類の結果により再度の分類が必要であるか否かを判断し、前記特定手段は、再度の分類が必要であると判断される場合に、当該分類に用いた前記被写体からなる集合を含まない他の集合、前記被写体を全て含む集合、又は前記被写体からなる集合の一部を含む他の集合を特定するとしてもよい。
この構成によると、画像処理装置は、対応付けの結果に応じて、再帰的に対応付けの処理を行う。つまり、画像処理装置は、対応付け処理を繰り返すことで、対応付けを精度よく行うことができる。
（１２）ここで、前記対応付手段は、分類結果により、一の被写体に分類される画像の枚数が所定数以上である場合には、再度の分類が必要であると判断し、前記特定手段は、前記一の被写体を含む他のイベントを特定し、特定した他のイベントについて対応する複数の被写体のうち、前記所定の値以上の優先度を有する被写体を特定するとしてもよい。
この構成によると、画像処理装置は、一の被写体により分類された画像の枚数が所定数以上である場合には、偏りが生じているので、再度対応付けを行うことで分類をより精度よく行うことができる。
（１３）ここで、被写体毎に撮影の難易度に応じた値が割り当てられており、前記特定手段は、前記撮影属性それぞれについて、当該撮影属性に対応する被写体について当該被写体に割り当てられた難易度に応じた値を優先度として計上するとしてもよい。
この構成によると、画像処理装置は、撮影の難易度に応じて撮影属性を抽出することができる。
（１４）ここで、前記画像処理装置は、さらに、前記抽出手段による前記抽出に先立って、前記画像群に含まれる前記複数の画像それぞれについて、当該画像内の構成に応じて、複数の領域に分割する領域分割手段を備え、前記抽出手段は、分割した領域毎に１以上の撮影属性を抽出するとしてもよい。
この構成によると、画像処理装置は、画像内を構成に応じて分割し、分割した領域毎に撮影属性を抽出するので、より的確な撮影属性を抽出することができる。
（１５）ここで、前記領域分割手段は、画像内における人物の領域とその他の領域とに分割するとしてもよい。
この構成によると、画像処理装置は、人物領域と他の領域とに分割するので、人物に関する撮影属性と、他の領域、例えば背景に関する撮影属性をより的確に抽出することができる。
（１６）ここで、前記画像処理装置は、さらに、ユーザから、同一イベントに属する一の画像群について被写体の抽出指示を受け付ける受付手段と、前記抽出指示が受け付けられると、前記一の画像群から前記一の画像群が属するイベントにおける被写体を抽出し、抽出した被写体を前記一の画像群が属するイベントと対応付け、前記被写体情報記憶手段に登録する登録手段とを備えるとしてもよい。
この構成によると、画像処理装置は、ユーザにより登録されたイベント及び当該イベントに対応する被写体を対応付けに用いることができるので、ユーザにより特化した対応付けができる。
（１７）ここで、前記登録手段は、前記一の画像群から撮影属性を抽出し、抽出した撮影属性を、前記一の画像群が属するイベントと対応付けるとしてもよい。
この構成によると、画像処理装置は、前記一の画像群から抽出された１以上の撮影属性それぞれを、前記一の画像群が属するイベントと対応付ける。そのため、以降、他の画像群について対応付けを行う際には、ユーザにより特化したイベントとして特定することができる。
（１８）ここで、前記画像処理装置は、さらに、前記特定手段で特定された被写体に対応付けられ、当該被写体の特徴量からなるモデル情報を外部の装置からネットワークを介して取得する取得手段を備え、前記対応付手段は、前記複数の画像それぞれに対して、当該画像の特徴量とから前記取得手段で取得したモデル情報が示す特徴量とから当該画像に前記特定手段で特定された被写体が含まれるか否かを判定するとしてもよい。
この構成によると、画像分類装置は、被写体についてのモデル情報を外部の装置から取得するので、全ての被写体についてのモデル情報を予め記憶しておく必要はない。そのため、当該画像分類装置は、記憶容量を節約することができる。
（１９）ここで、前記画像処理装置は、さらに、前記画像群を、外部の装置からネットワークを介して取得する取得手段を備えるとしてもよい。
この構成によると、画像分類装置は、分類対象となる画像群を外部の装置から取得するので、分類対象となる画像群を予め記憶しておく必要はない。そのため、当該画像分類装置は、記憶容量を節約することができる。
（２０）また、本発明の一態様である、画像処理装置と、当該画像処理装置とネットワークを介して接続されたサーバ装置とからなる画像処理システムにおいて、前記画像処理装置は、複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を記憶する被写体情報記憶手段と、撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、前記特定手段で特定された被写体に対応付けられ、当該被写体の特徴量からなるモデル情報を前記サーバ装置から前記ネットワークを介して取得する取得手段と、前記画像群に含まれる前記複数の画像それぞれについて、当該画像の特徴量とから前記取得手段で取得したモデル情報が示す特徴量とから当該画像に前記特定手段で特定された被写体が含まれるか否かを判定し、当該画像が当該被写体を含むと判定する場合には当該画像と当該被写体との対応付けを行う対応付手段とを備え、前記サーバ装置は、前記被写体情報記憶手段で記憶されるべき被写体それぞれについて、当該被写体の特徴量からなるモデル情報を当該被写体と対応付けて記憶しているモデル情報記憶手段と、前記画像処理装置で特定された被写体に対応するモデル情報を前記ネットワークを介して前記画像処理装置へ送信する送信手段とを備えることを特徴とする。
この構成によると、画像処理システムの画像処理装置は、画像群における撮影属性に対応付けられたイベントから当該イベントで撮影された画像に含まれ得る被写体を特定して対応付けを行う。これにより、ユーザは、対応付けに用いる被写体を指定する必要がないので、画像と被写体との対応付け処理時におけるユーザの負担は軽減される。また、画像処理装置は、対応付けに用いる被写体を、撮影属性に対応付けられたイベントに対応するものに限定するので、精度よく分類が行える。また、画像分類装置は、被写体についてのモデル情報をサーバ装置から取得するので、全ての被写体についてのモデル情報を予め記憶しておく必要はない。そのため、当該画像分類装置は、記憶容量を節約することができる。
（２１）また、本発明の一態様である、画像処理装置と、当該画像処理装置とネットワークを介して接続された端末装置とからなる画像処理システムにおいて、前記端末装置は、撮影された複数の画像からなる画像群を記憶している画像記憶手段と、前記画像群を前記ネットワークを介して前記画像処理装置へ送信する送信手段とを備え、前記画像処理装置は、複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を記憶する被写体情報記憶手段と、前記画像群を前記ネットワークを介して前記端末装置から取得する取得手段と、前記取得手段で取得した前記画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備えることを特徴とする。
この構成によると、画像処理システムの画像処理装置は、画像群における撮影属性に対応付けられたイベントから当該イベントで撮影された画像に含まれ得る被写体を特定して対応付けを行う。これにより、ユーザは、対応付けに用いる被写体を指定する必要がないので、画像と被写体との対応付け処理時におけるユーザの負担は軽減される。また、画像処理装置は、対応付けに用いる被写体を、撮影属性に対応付けられたイベントに対応するものに限定するので、精度よく分類が行える。また、画像分類装置は、分類対象となる画像群を端末装置から取得するので、分類対象となる画像群を予め記憶しておく必要はない。そのため、当該画像分類装置は、記憶容量を節約することができる。
本発明における画像分類装置は、多くの画像からなる画像群について精度よくタグ付けを行う際に有効である。例えば、画像の自動整理や所望画像の検索をする際に、ユーザのローカルデータの撮影イベントに則した対応付けの処理を行うことができることによって、効率的に任意の対象を含む画像群を抽出できる。また、本発明における画像処理装置は、画像に対する処理を行うＤＶＤレコーダー、ＴＶやパーソナルコンピュータ及びデータサーバー等の用途にも応用できる。
１、１０００、２０００、３０００、４１００ 画像分類装置（画像処理装置）
１１ ローカルデータ蓄積手段
１２ 画像特徴量算出手段
１３ 共通属性抽出手段
１４、１４００、２４００ 分類手段
１５、１５００、３８１５、４１１５ 分類辞書作成手段
１６ 分類モデル情報蓄積手段
１７ 画像属性情報蓄積手段
１３１ 画像情報抽出手段
１３２ 撮影ユニット抽出手段
１３３ 共通属性判定手段
１８００ 軸オブジェクト抽出手段
２８００ 領域情報算出手段
３８００ 入力手段
３８０１ 登録手段
３８１５ 分類辞書作成手段
４０００ 画像分類システム
４１１０、４５１２ 送受信手段
４１１６ イベント関連情報蓄積手段
４１５０ 受信手段
４５００ サーバ装置
４５１０ モデル情報蓄積手段
４５１１、４６１１ 制御手段
４６００ 端末装置
４６１０ データ蓄積手段
４６１２ 送信手段

Claims (24)

  1. 複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、
    複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を記憶する被写体情報記憶手段と、
    撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、
    抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、
    前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備える
    ことを特徴とする画像処理装置。
  2. 前記抽出手段は、
    前記画像群を当該画像群に含まれる前記複数の画像それぞれに対応する撮影に係る情報に基づいて１以上の画像集合に分割し、分割した画像集合毎に、１以上の前記撮影属性を抽出する
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記撮影に係る情報は、画像撮影時の時間を示す時間情報、場所を示す場所情報、被写体である人物の人物情報、撮影方法を示す撮影情報及び撮影時の環境を示す環境情報のうち、少なくとも１つの情報を含むものである
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 前記抽出手段は、
    前記分割に用いる各情報間の類似度を算出し、算出した類似度を用いて類似する各画像を含むよう前記分割を行う
    ことを特徴とする請求項３に記載の画像処理装置。
  5. 前記抽出手段は、
    前記属性に含まれる各情報のうち、少なくとも１の情報を用いて取得される統計量情報を前記撮影属性とする
    ことを特徴とする請求項３に記載の画像処理装置。
  6. 前記抽出手段は、前記画像集合毎に、当該画像集合における１つ以上の人物情報から一の人物の家族が特定される場合には当該家族を示す家族構成情報を前記統計量情報として、又は当該画像集合における１つ以上の人物情報それぞれから得られる人物の性別若しくは年齢の分布を示す人物被写体情報を前記統計量情報として取得する
    ことを特徴とする請求項５に記載の画像処理装置。
  7. 前記家族構成情報、又は前記被写体情報には、時間経過による顔や体の変化度合いとしての経年変化性を示す時間変遷情報が含まれる
    ことを特徴とする請求項６に記載の画像処理装置。
  8. 前記イベントには、複数の被写体が対応付けられており、
    前記撮影属性と、イベントについて撮影された画像に含まれ得る被写体とを対応付けることで、前記撮影属性とイベントとの対応付けがなされており、
    前記特定手段は、
    前記撮影属性それぞれについて、当該撮影属性に対応する被写体について優先度を計上し、前記複数のイベントのうち、被写体に対する優先度の合計が最も高いイベントを候補イベントとして特定し、特定した前記候補イベントに関連する複数のオブジェクトのうち、所定の値以上の優先度を有する被写体を特定する
    ことを特徴とする請求項２に記載の画像処理装置。
  9. 撮影属性毎に当該撮影属性に応じた優先度が割り当てられており、
    前記特定手段は、
    前記撮影属性それぞれについて、当該撮影属性に対応する被写体について当該撮影属性に割り当てられた優先度を計上する
    ことを特徴とする請求項８に記載の画像処理装置。
  10. 複数の被写体について類似する被写体の集合毎に、当該集合を識別する類似識別情報が対応付けられており、
    前記特定手段は、
    前記類似する被写体の集合毎に、所定の値以上の優先度のうち最も高い優先度を有する被写体を特定する
    ことを特徴とする請求項８に記載の画像処理装置。
  11. 前記対応付手段は、
    前記分類の結果により再度の分類が必要であるか否かを判断し、
    前記特定手段は、
    再度の分類が必要であると判断される場合に、当該分類に用いた前記被写体からなる集合を含まない他の集合、前記被写体を全て含む集合、又は前記被写体からなる集合の一部を含む他の集合を特定する
    ことを特徴とする請求項８に記載の画像処理装置。
  12. 前記対応付手段は、
    分類結果により、一の被写体に分類される画像の枚数が所定数以上である場合には、再度の分類が必要であると判断し、
    前記特定手段は、前記一の被写体を含む他のイベントを特定し、特定した他のイベントについて対応する複数の被写体のうち、前記所定の値以上の優先度を有する被写体を特定する
    ことを特徴とする請求項１１に記載の画像処理装置。
  13. 被写体毎に撮影の難易度に応じた値が割り当てられており、
    前記特定手段は、
    前記撮影属性それぞれについて、当該撮影属性に対応する被写体について当該被写体に割り当てられた難易度に応じた値を優先度として計上する
    ことを特徴とする請求項８に記載の画像処理装置。
  14. 前記画像処理装置は、さらに、
    前記抽出手段による前記抽出に先立って、前記画像群に含まれる前記複数の画像それぞれについて、当該画像内の構成に応じて、複数の領域に分割する領域分割手段を備え、
    前記抽出手段は、分割した領域毎に１以上の撮影属性を抽出する
    ことを特徴とする請求項１に記載の画像処理装置。
  15. 前記領域分割手段は、
    画像内における人物の領域とその他の領域とに分割する
    ことを特徴とする請求項１４に記載の画像処理装置。
  16. 前記画像処理装置は、さらに、
    ユーザから、同一イベントに属する一の画像群について被写体の抽出指示を受け付ける受付手段と、
    前記抽出指示が受け付けられると、前記一の画像群から前記一の画像群が属するイベントにおける被写体を抽出し、抽出した被写体を前記一の画像群が属するイベントと対応付け、前記被写体情報記憶手段に登録する登録手段とを備える
    ことを特徴とする請求項１に記載の画像処理装置。
  17. 前記登録手段は、
    前記一の画像群から撮影属性を抽出し、抽出した撮影属性を、前記一の画像群が属するイベントと対応付ける
    ことを特徴とする請求項１６に記載の画像処理装置。
  18. 前記画像処理装置は、さらに、
    前記特定手段で特定された被写体に対応付けられ、当該被写体の特徴量からなるモデル情報を外部の装置からネットワークを介して取得する取得手段を備え、
    前記対応付手段は、
    前記複数の画像それぞれに対して、当該画像の特徴量とから前記取得手段で取得したモデル情報が示す特徴量とから当該画像に前記特定手段で特定された被写体が含まれるか否かを判定する
    ことを特徴とする請求項１に記載の画像処理装置。
  19. 前記画像処理装置は、さらに、
    前記画像群を、外部の装置からネットワークを介して取得する取得手段を備える
    ことを特徴とする請求項１に記載の画像処理装置。
  20. 複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を予め記憶する被写体情報記憶手段と、抽出手段と、特定手段と対応付手段とを備える画像処理装置で用いられる処理方法であって、
    前記抽出手段が、撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出ステップと、
    前記特定手段が、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定ステップと、
    前記対応付手段が、前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付ステップとを含む
    ことを特徴とする処理方法。
  21. 複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を予め記憶する被写体情報記憶手段と、抽出手段と、特定手段と対応付手段とを備える画像処理装置で用いられるコンピュータプログラムであって、
    前記抽出手段に、撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出ステップと、
    前記特定手段に、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定ステップと、
    前記対応付手段に、前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付ステップとを実行させる
    ことを特徴とするコンピュータプログラム。
  22. 画像処理装置に用いられる集積回路であって、
    複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、
    複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を予め記憶する被写体情報記憶手段と、
    撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、
    抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、
    前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備える
    ことを特徴とする集積回路。
  23. 画像処理装置と、当該画像処理装置とネットワークを介して接続されたサーバ装置とからなる画像処理システムであって、
    前記画像処理装置は、
    複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、
    複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を記憶する被写体情報記憶手段と、
    撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、
    抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、
    前記特定手段で特定された被写体に対応付けられ、当該被写体の特徴量からなるモデル情報を前記サーバ装置から前記ネットワークを介して取得する取得手段と、
    前記画像群に含まれる前記複数の画像それぞれについて、当該画像の特徴量とから前記取得手段で取得したモデル情報が示す特徴量とから当該画像に前記特定手段で特定された被写体が含まれるか否かを判定し、当該画像が当該被写体を含むと判定する場合には当該画像と当該被写体との対応付けを行う対応付手段とを備え、
    前記サーバ装置は、
    前記被写体情報記憶手段で記憶されるべき被写体それぞれについて、当該被写体の特徴量からなるモデル情報を当該被写体と対応付けて記憶しているモデル情報記憶手段と、
    前記画像処理装置で特定された被写体に対応するモデル情報を前記ネットワークを介して前記画像処理装置へ送信する送信手段とを備える
    ことを特徴とする画像処理システム。
  24. 画像処理装置と、当該画像処理装置とネットワークを介して接続された端末装置とからなる画像処理システムであって、
    前記端末装置は、
    撮影された複数の画像からなる画像群を記憶している画像記憶手段と、
    前記画像群を前記ネットワークを介して前記画像処理装置へ送信する送信手段とを備え、
    前記画像処理装置は、
    複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、
    複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を記憶する被写体情報記憶手段と、
    前記画像群を前記ネットワークを介して前記端末装置から取得する取得手段と、
    前記取得手段で取得した前記画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、
    抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、
    前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備える
    ことを特徴とする画像処理システム。
JP2013511884A 2011-04-25 2012-02-29 画像処理装置 Active JP5848336B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013511884A JP5848336B2 (ja) 2011-04-25 2012-02-29 画像処理装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011097669 2011-04-25
JP2011097669 2011-04-25
PCT/JP2012/001392 WO2012147256A1 (ja) 2011-04-25 2012-02-29 画像処理装置
JP2013511884A JP5848336B2 (ja) 2011-04-25 2012-02-29 画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2012147256A1 JPWO2012147256A1 (ja) 2014-07-28
JP5848336B2 true JP5848336B2 (ja) 2016-01-27

Family

ID=47071792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013511884A Active JP5848336B2 (ja) 2011-04-25 2012-02-29 画像処理装置

Country Status (4)

Country Link
US (1) US9008438B2 (ja)
JP (1) JP5848336B2 (ja)
CN (1) CN102959551B (ja)
WO (1) WO2012147256A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102013583B1 (ko) * 2012-11-13 2019-08-23 에스케이하이닉스 주식회사 반도체 시스템
JP6025522B2 (ja) * 2012-11-27 2016-11-16 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP5859471B2 (ja) * 2013-03-19 2016-02-10 富士フイルム株式会社 電子アルバム作成装置および電子アルバムの製造方法
KR20150007723A (ko) * 2013-07-12 2015-01-21 삼성전자주식회사 복수의 오브젝트들 사이에 공통된 오브젝트 속성에 대응하는 작업을 수행하는 전자 장치 제어 방법
KR20150100113A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
JP6338437B2 (ja) * 2014-04-30 2018-06-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2016069496A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Swarm approach to consolidating and enhancing smartphone target imagery by virtually linking smartphone camera collectors across space and time using machine-to-machine networks
US10049273B2 (en) * 2015-02-24 2018-08-14 Kabushiki Kaisha Toshiba Image recognition apparatus, image recognition system, and image recognition method
US10255703B2 (en) 2015-12-18 2019-04-09 Ebay Inc. Original image generation system
US10902043B2 (en) 2016-01-03 2021-01-26 Gracenote, Inc. Responding to remote media classification queries using classifier models and context parameters
TWI579718B (zh) * 2016-06-15 2017-04-21 陳兆煒 圖形資源管理系統及方法與內儲圖形資源管理程式之電腦程式產品
CN106485199A (zh) * 2016-09-05 2017-03-08 华为技术有限公司 一种车身颜色识别的方法及装置
US11681942B2 (en) 2016-10-27 2023-06-20 Dropbox, Inc. Providing intelligent file name suggestions
US9852377B1 (en) * 2016-11-10 2017-12-26 Dropbox, Inc. Providing intelligent storage location suggestions
US10554909B2 (en) 2017-01-10 2020-02-04 Galileo Group, Inc. Systems and methods for spectral imaging with a transmitter using a plurality of light sources
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
WO2018163906A1 (ja) * 2017-03-06 2018-09-13 株式会社ミックウェア 情報処理装置、情報処理システム及び情報処理プログラム
JP6785181B2 (ja) 2017-04-12 2020-11-18 株式会社日立製作所 物体認識装置、物体認識システム、及び物体認識方法
JP6869809B2 (ja) * 2017-05-29 2021-05-12 株式会社Ｎｔｔドコモ 画像推定装置
US10970552B2 (en) * 2017-09-28 2021-04-06 Gopro, Inc. Scene classification for image processing
CN108090503B (zh) * 2017-11-28 2021-05-07 东软集团股份有限公司 多分类器的在线调整方法、装置、存储介质及电子设备
JP7143599B2 (ja) * 2018-03-09 2022-09-29 オムロン株式会社 メタデータ評価装置、メタデータ評価方法、およびメタデータ評価プログラム
EP3635513B1 (en) * 2018-05-04 2021-07-07 Google LLC Selective detection of visual cues for automated assistants
CN108848306B (zh) * 2018-06-25 2021-03-02 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN108881740B (zh) * 2018-06-28 2021-03-02 Oppo广东移动通信有限公司 图像方法和装置、电子设备、计算机可读存储介质
JP6812387B2 (ja) * 2018-07-02 2021-01-13 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
KR20200017306A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 카테고리에 기반하여 아이템에 관한 정보를 제공하는 전자 장치
US11055539B2 (en) * 2018-09-27 2021-07-06 Ncr Corporation Image processing for distinguishing individuals in groups
CN109151320B (zh) * 2018-09-29 2022-04-22 联想(北京)有限公司 一种目标对象选取方法及装置
CN111382296B (zh) * 2018-12-28 2023-05-12 深圳云天励飞技术有限公司 数据处理方法、装置、终端及存储介质
JP7129383B2 (ja) * 2019-07-03 2022-09-01 富士フイルム株式会社 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体
CN112069344A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图片处理方法、装置、电子设备及存储介质
WO2022190618A1 (ja) * 2021-03-09 2022-09-15 富士フイルム株式会社 レコメンド情報提示装置、レコメンド情報提示装置の作動方法、レコメンド情報提示装置の作動プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010178A (ja) * 2000-06-19 2002-01-11 Sony Corp 画像管理システム及び画像管理方法、並びに、記憶媒体
JP2003016448A (ja) * 2001-03-28 2003-01-17 Eastman Kodak Co 前景／背景セグメント化を用いた画像のイベント・クラスタリング
JP2006203574A (ja) * 2005-01-20 2006-08-03 Matsushita Electric Ind Co Ltd 画像表示装置
JP2007213183A (ja) * 2006-02-08 2007-08-23 Seiko Epson Corp デジタル画像データの分類装置、デジタル画像データの分類方法およびデジタル画像データの分類プログラム
WO2011001587A1 (ja) * 2009-07-01 2011-01-06 日本電気株式会社 コンテンツ分類装置、コンテンツ分類方法及びコンテンツ分類プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
US20050104976A1 (en) * 2003-11-17 2005-05-19 Kevin Currans System and method for applying inference information to digital camera metadata to identify digital picture content
US7756866B2 (en) * 2005-08-17 2010-07-13 Oracle International Corporation Method and apparatus for organizing digital images with embedded metadata
JP2007058532A (ja) * 2005-08-24 2007-03-08 Sony Corp 情報処理システム、情報処理装置および方法、プログラム、並びに、記録媒体
US20080208791A1 (en) * 2007-02-27 2008-08-28 Madirakshi Das Retrieving images based on an example image
JP4798042B2 (ja) 2007-03-29 2011-10-19 オムロン株式会社 顔検出装置、顔検出方法及び顔検出プログラム
US8611677B2 (en) * 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
JP5063632B2 (ja) 2009-03-10 2012-10-31 株式会社豊田中央研究所 学習モデル生成装置、対象物検出システム、及びプログラム
JP5471749B2 (ja) * 2010-04-09 2014-04-16 ソニー株式会社 コンテンツ検索装置および方法、並びにプログラム
US8655893B2 (en) * 2010-07-16 2014-02-18 Shutterfly, Inc. Organizing images captured by multiple image capture devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010178A (ja) * 2000-06-19 2002-01-11 Sony Corp 画像管理システム及び画像管理方法、並びに、記憶媒体
JP2003016448A (ja) * 2001-03-28 2003-01-17 Eastman Kodak Co 前景／背景セグメント化を用いた画像のイベント・クラスタリング
JP2006203574A (ja) * 2005-01-20 2006-08-03 Matsushita Electric Ind Co Ltd 画像表示装置
JP2007213183A (ja) * 2006-02-08 2007-08-23 Seiko Epson Corp デジタル画像データの分類装置、デジタル画像データの分類方法およびデジタル画像データの分類プログラム
WO2011001587A1 (ja) * 2009-07-01 2011-01-06 日本電気株式会社 コンテンツ分類装置、コンテンツ分類方法及びコンテンツ分類プログラム

Also Published As

Publication number Publication date
WO2012147256A1 (ja) 2012-11-01
CN102959551A (zh) 2013-03-06
CN102959551B (zh) 2017-02-08
JPWO2012147256A1 (ja) 2014-07-28
US20130101223A1 (en) 2013-04-25
US9008438B2 (en) 2015-04-14

Similar Documents

Publication Publication Date Title
JP5848336B2 (ja) 画像処理装置
US20120301032A1 (en) Image classification apparatus, image classification method, program, recording medium, integrated circuit, and model creation apparatus
JP6023058B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
KR101417548B1 (ko) 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템
JP5537557B2 (ja) 事象毎に意味論的に分類する方法
US8055081B2 (en) Image classification using capture-location-sequence information
US9082013B2 (en) Image recognition device, image recognition method, program, and integrated circuit
US20130111373A1 (en) Presentation content generation device, presentation content generation method, presentation content generation program, and integrated circuit
US20110184953A1 (en) On-location recommendation for photo composition
US20160179846A1 (en) Method, system, and computer readable medium for grouping and providing collected image content
US20140093174A1 (en) Systems and methods for image management
US8320609B2 (en) Device and method for attaching additional information
JP2014093058A (ja) 画像管理装置、画像管理方法、プログラム及び集積回路
US20070070217A1 (en) Image analysis apparatus and image analysis program storage medium
JP2014092955A (ja) 類似コンテンツ検索処理装置、類似コンテンツ検索処理方法、およびプログラム
US20140233811A1 (en) Summarizing a photo album
US8270731B2 (en) Image classification using range information
US8533196B2 (en) Information processing device, processing method, computer program, and integrated circuit
CN112069342A (zh) 图像分类方法、装置、电子设备及存储介质
JP2012058926A (ja) キーワード付与装置及びプログラム
WO2014186392A2 (en) Summarizing a photo album
US11210829B2 (en) Image processing device, image processing method, program, and recording medium
JP7485893B2 (ja) 情報処理装置、制御プログラム、及び制御方法
JP5834950B2 (ja) 写真系列の類似度算出装置、方法、及びプログラム
AU2013254921A1 (en) Method, apparatus and system for determining a label for a group of individuals represented in images

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151126

R150 Certificate of patent or registration of utility model

Ref document number: 5848336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150