JP5330530B2 - 画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路 - Google Patents

画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路 Download PDF

Info

Publication number
JP5330530B2
JP5330530B2 JP2011535339A JP2011535339A JP5330530B2 JP 5330530 B2 JP5330530 B2 JP 5330530B2 JP 2011535339 A JP2011535339 A JP 2011535339A JP 2011535339 A JP2011535339 A JP 2011535339A JP 5330530 B2 JP5330530 B2 JP 5330530B2
Authority
JP
Japan
Prior art keywords
cluster
image
occurrence
importance
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011535339A
Other languages
English (en)
Other versions
JPWO2011089872A1 (ja
Inventor
和彦 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011535339A priority Critical patent/JP5330530B2/ja
Publication of JPWO2011089872A1 publication Critical patent/JPWO2011089872A1/ja
Application granted granted Critical
Publication of JP5330530B2 publication Critical patent/JP5330530B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、画像管理技術に関するものであり、特に膨大な枚数の画像から所望される画像を効率的に検索するための画像検索技術に関する。
近年、デジタルカメラの普及により、膨大な枚数の画像を撮影者などのユーザが保有するようになってきている。保有する画像の枚数が増大するにつれて、ユーザにとって重要な画像を選び出すことが困難になってきている。
そのため、ユーザが所望する画像を効率的に検索することができるように、そのユーザにとって重要度の高い画像から重要度の低い画像へ順に並べることが必要となっている。画像をランキングして表示することにより、ユーザは膨大な枚数の画像の中でもランキングの上位から探していくことができるので、所望の画像を容易に選択することができる。
従来の画像ランキング方法として、入力された１枚１枚の撮影画像中に含まれている人物の表情を評価して画像をランキングするもの（例えば、特許文献１）や、人物の顔の向き、目の開き具合など、所定の設定条件に基づいて画像の撮影状態を評価して画像をランキングするもの（例えば、特許文献２）がある。
特開２００４−４６５９１号公報 特開２００５−２０４４６号公報
しかし従来の技術では、ユーザにとって関心の薄い人物が写っている画像においてその人物の表情や撮影状態が良かった場合、その関心の薄い人物の写る画像が不本意に高い評価となってしまい、ユーザにとって重要度が高い写真を見つけることがかえって困難になる。
本発明は、上記問題を鑑みてなされたものであって、ユーザが膨大な枚数の画像からユーザにとって重要度が高い人物が写っている画像を容易に選択できるように、画像を評価しランキングすることができる画像管理装置及び画像管理方法を提供することを目的とする。
上記課題を解決するために本発明に係る画像管理装置は、画像を取得する画像取得手段と、各画像において、画像に含まれるオブジェクト（例えば人物の顔）に該当する複数画素の画素値の分布に係る特徴量であるオブジェクト特徴量を所定の基準に基づいて抽出することによりオブジェクトを検出するオブジェクト検出手段と、前記画像取得手段で取得した各画像において検出された各オブジェクトを、各オブジェクトのオブジェクト特徴量に応じて、複数のクラスタのいずれかに分類するオブジェクト分類手段と、各オブジェクトについて、当該オブジェクトと同じクラスタに共に属するオブジェクトの個数の大小に基づいて、オブジェクトの重要度であるオブジェクト重要度を評価するオブジェクト重要度評価手段と、一の画像に含まれるオブジェクトのオブジェクト重要度に基づいて、当該一の画像の重要度を評価する画像重要度評価手段とを備えることを特徴とする。
ここでクラスタとは、類似するオブジェクト特徴量を持つオブジェクトをひとまとめにして分類するときの分類の単位であり、各クラスタは互いに異なる特徴量の範囲に対応する。
上記構成を備える画像管理装置は、前記所定の基準が人物の顔の特徴量を定めるものであれば、画像に含まれるオブジェクトである人物の顔の重要度に当たるオブジェクト重要度を、画像に含まれる顔の人物と同一人物であることを示すクラスタに属するオブジェクトの出現回数に基づいて求め、そのオブジェクト重要度に基づいて画像の重要度を求めて、その画像重要度によって画像をランキングすることで、出現回数の多い人物が含まれている画像を上位に並べることができる。ユーザは、ランキングの上位から順に画像を探していくことで、膨大な枚数の画像から関心の高い重要な人物が写っている画像、つまり重要度が高い画像を容易に選択できる。
画像管理装置の、関連する装置を含めた利用例のイメージである。 画像管理装置の機能構成図である。 画像取得部で取得した画像群の例である。 画像においてオブジェクトを検出する例である。 オブジェクト出現情報の例である。 オブジェクト特徴量の例である。 クラスタ分類のイメージ図である。 クラスタ特徴量の例である。 クラスタ分類情報の例である。 共起関係のイメージ図である。 共起情報の例である。 オブジェクトとクラスタとの類似度の例である。 オブジェクトのクラスタに対する確度の例である。 オブジェクトのクラスタに対する評価値の例である。 オブジェクト重要度の例である。 画像重要度の例である。 ランキング結果の例である。 実施形態１の動作を示している。 共起情報の生成処理を示している。 確度の算出処理を示している。 確信度の例である。 支持度の例である。 変形画像管理装置の機能構成図である。 物体部の機能構成図である。 画像において共起物体を検出する例である。 物体出現情報の例である。 物体クラスタ分類情報の例である。 物体クラスタに対する共起情報の例である。 実施形態２の動作を示すフローチャートである。 実施形態２の共起情報の生成処理を示している。 実施形態２の確度の算出処理を示している。 物体クラスタに対する確信度の例である。 物体クラスタに対する支持度の例である。 実施形態２の変形例における確度の算出処理を示している。 実施形態３に係る変形画像管理装置３５００の機能構成図である。 信頼度情報の例である。 実施形態３の動作を示すフローチャートである。 信頼度の算出処理を示している。 実施形態３の確度の算出処理を示している。
以下、本発明の実施の形態である画像管理装置について、図面を参照しながら説明する。
＜１．概要＞
図１は、本発明の実施の形態である画像管理装置１００と、それに関連する装置により構成される画像管理システム１０の例を示すシステム構成図である。画像管理装置１００は、撮影装置１１０及び表示装置１２０と接続される。また、画像管理装置１００はコントローラ１３０によるユーザの操作を受けることもできる。
撮影装置１１０は画像を撮影することができ、また撮影した画像を蓄積することができる装置であり、例えばデジタルカメラである。Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）ケーブルなどのケーブルを介して、蓄積している画像群を画像管理装置１００へ入力する。
ここでいう画像とは、画素値のデータの集合である。画像は例えば、写真などの静止画像でも良いし、動画像でも良い。ここでは画像は写真であり、静止画像であるとする。
表示装置１２０は、Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ（ＨＤＭＩ）ケーブルなどのケーブルを介して画像管理装置１００と接続されることにより、画像管理装置１００から出力される映像を表示する装置であり、例えばデジタルテレビである。
画像管理装置１００は、撮影装置１１０から画像群を入力され、入力された画像群を画像の重要度である画像重要度に基づいてランキングして、ランキング結果を表示装置１２０に出力する。画像管理装置１００は、特定のパターンを持つオブジェクトを画像中から検出し、ユーザにとって重要度が高いと評価されるオブジェクトが多数含まれている画像を画像重要度が高い画像として評価する。このため、画像重要度の高い画像から画像重要度の低い画像へ順に画像を探すことで、ユーザは自分にとって重要な画像を容易に選択することができる。
ここでオブジェクトとは、画像管理装置１００が持つテンプレートによって画像中において検出される要素である。テンプレートはオブジェクトを特定するための情報を有し、このテンプレートは例えば人物の顔に係る特徴量のパターンを示すデータであり、このテンプレートを用いると人物の顔をオブジェクトとして検出できる。
画像管理装置１００は各オブジェクトに対して、そのオブジェクトがユーザにとってどの程度重要であるかを示すオブジェクト重要度を評価する。オブジェクト重要度は、画像管理装置１００がオブジェクトをクラスタに分類した結果に基づき、評価対象のオブジェクトと同じクラスタに属するオブジェクトの個数に基づいて評価する。
ここでクラスタとは、類似するオブジェクト特徴量を持つオブジェクトをひとまとめにして分類するときの分類の単位である。例えばオブジェクトが人物であるものとし、同一人物が撮影された複数の画像があったとしても、撮影状態の変化などによりそれぞれの画像から抽出された人物のオブジェクト特徴量が全く同じにはならない場合が多い。しかし同一人物であれば、全く同じでなくとも互いに類似するオブジェクト特徴量を持つと考えられるので、同じクラスタに属する可能性が高い。そのため、同じクラスタに属するオブジェクトを同一人物であるとみなすと、多く撮影された人物は同じクラスタに属するオブジェクトの個数が多くなり、オブジェクト重要度が高く評価される。
以下では、本発明に係る画像管理装置１００の実施形態について更に詳しく説明する。
＜２．実施形態１＞
実施形態１では、オブジェクトとして人物の顔を検出し、オブジェクト重要度として人物の重要度を評価して、そのオブジェクト重要度に基づいて画像の画像重要度を評価してランキングする画像管理装置１００について説明する。
＜２−１．構成＞
本発明の実施形態１である画像管理装置１００は、ハードウェア構成に関しては、画像を入力するＵＳＢ入力端子、映像を出力するＨＤＭＩ出力端子、データとプログラムとを記憶するメモリ及びプログラムを実行するプロセッサを備える。
図２は、本発明の実施形態１に係る画像管理装置１００の機能構成を、それに関連する装置も含めて示したブロック図である。
図２において、画像管理装置１００は、画像取得部２０１、画像記憶部２０２、オブジェクト検出部２０３、テンプレート記憶部２０４、オブジェクト出現情報記憶部２０５、オブジェクト特徴量記憶部２０６、オブジェクト分類部２０７、クラスタ特徴量記憶部２０８、クラスタ分類情報記憶部２０９、共起情報生成部２１０、類似度算出部２１１、確度算出部２１２、評価値算出部２１３、オブジェクト重要度評価部２１４、画像重要度評価部２１５、画像ランキング部２１６、画像出力部２１７及び操作入力部２１８から構成される。
画像取得部２０１は、ＵＳＢ入力端子などの入力インターフェースにより撮影装置１１０が蓄積している画像群を取得する機能を有する。画像取得部２０１は取得した画像群の各画像に対して画像ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）３０１を付与し、画像記憶部２０２に画像ＩＤ３０１と画像データ３０２とを対応付けて画像群３００として格納する。
画像記憶部２０２は、画像取得部２０１で取得した画像群３００に含まれる全画像の画像ＩＤ３０１と画像データ３０２とを記憶する機能を有する。画像記憶部２０２は、例えばメモリにより実現される。図３は、画像記憶部２０２が記憶している画像群３００の例を示したものである。図３については、後に詳しく説明する。
オブジェクト検出部２０３は、画像記憶部２０２に格納されている画像群３００の各画像から特徴量を抽出して、テンプレート記憶部２０４に格納されているテンプレートを用いてオブジェクトを検出し、検出したオブジェクトに対して各オブジェクトを特定するためのオブジェクトＩＤ４０２を付与する機能を有する。オブジェクト検出部２０３の機能は、例えばプロセッサがメモリに格納されているプログラムを実行することにより実現される。特徴量については、後に詳しく説明する。図４は、画像からオブジェクトを検出する例を示したものである。図４については、後に詳しく説明する。オブジェクト検出部２０３は更に、画像ごとに画像ＩＤ３０１とその画像において検出したオブジェクトのオブジェクトＩＤ４０２とを対応付けてオブジェクト出現情報５００としてオブジェクト出現情報記憶部２０５に格納し、検出したオブジェクトごとにオブジェクトＩＤ４０２とそのオブジェクトの特徴量であるオブジェクト特徴量６０１とを対応付けてオブジェクト特徴量記憶部２０６に格納する。
テンプレート記憶部２０４は、オブジェクト検出部２０３で画像においてオブジェクトを検出するための情報を持つテンプレートを記憶している。テンプレート記憶部２０４は、例えばメモリにより実現される。ここで、テンプレートは人物の顔に係る特徴量のパターンを示すデータであり、テンプレート記憶部２０４は予め用意された学習データから生成されたテンプレートを記憶しているものとする。
オブジェクト出現情報記憶部２０５は、画像ごとにオブジェクト出現情報５００を記憶する機能を有する。オブジェクト出現情報記憶部２０５は、例えばメモリにより実現される。図５は、オブジェクト出現情報記憶部２０５が記憶しているオブジェクト出現情報５００の例を示している。図５については、後に詳しく説明する。
オブジェクト特徴量記憶部２０６は、オブジェクト検出部２０３で検出したオブジェクトが持つオブジェクト特徴量６０１をオブジェクトＩＤ４０２と共に記憶する機能を有する。オブジェクト特徴量記憶部２０６は、例えばメモリにより実現される。図６は、オブジェクト特徴量記憶部２０６が記憶しているオブジェクトのオブジェクト特徴量の例を示したものである。図６については、後に詳しく説明する。
オブジェクト分類部２０７は、オブジェクト特徴量記憶部２０６に格納されているオブジェクトのオブジェクト特徴量と、クラスタ特徴量記憶部２０８に格納されているクラスタのクラスタ特徴量７０２に基づいてオブジェクトをクラスタに分類する機能を有する。また、クラスタに分類されたオブジェクトのオブジェクト特徴量からクラスタのクラスタ特徴量７０２を算出する機能をも有する。クラスタには各クラスタを識別するためのクラスタＩＤ７０３を付与し、算出したクラスタ特徴量７０２はそのクラスタのクラスタＩＤ７０３と対応付けてクラスタ特徴量記憶部２０８に格納し、クラスタごとのクラスタＩＤ７０３とそのクラスタに分類したオブジェクトのオブジェクトＩＤ４０２とクラスタに分類されているオブジェクトの個数とを対応付けてクラスタ分類情報９００としてクラスタ分類情報記憶部２０９に格納する。オブジェクト分類部２０７の機能は、例えばプロセッサがメモリに格納されているプログラムを実行することにより実現される。
クラスタ特徴量記憶部２０８は、クラスタが持つクラスタ特徴量７０２をクラスタＩＤ７０３と対応付けて記憶している。クラスタ特徴量記憶部２０８は、例えばメモリにより実現される。クラスタ特徴量記憶部２０８が記憶しているクラスタ特徴量７０２は、必要に応じてオブジェクト分類部２０７により更新される。
クラスタ分類情報記憶部２０９は、クラスタごとにクラスタ分類情報９００を記憶する機能を有する。クラスタ分類情報記憶部２０９は、例えばメモリにより実現される。図９はクラスタ分類情報記憶部２０９が記憶しているクラスタ分類情報９００の例を示している。図９については、後に詳しく説明する。
共起情報生成部２１０は、オブジェクト出現情報記憶部２０５に格納されているオブジェクト出現情報５００と、クラスタ分類情報記憶部２０９に格納されているクラスタ分類情報９００とから、画像群３００の各画像における共起関係と非共起の状態とを検出して共起情報１１００を生成する機能を有する。共起情報生成部２１０の機能は、例えばプロセッサがメモリに格納されているプログラムを実行することにより実現される。共起情報１１００については、後に詳しく説明する。
類似度算出部２１１は、オブジェクト特徴量記憶部２０６に格納されているオブジェクトのオブジェクト特徴量と、クラスタ特徴量記憶部２０８に格納されているクラスタのクラスタ特徴量７０２とが、どの程度類似しているかを示す類似度１２０１を算出する機能を有する。類似度算出部２１１の機能は、例えばプロセッサがメモリに格納されているプログラムを実行することにより実現される。
確度算出部２１２は、評価値算出部２１３で評価値１４０１の算出処理に使用される確度１３０１を、共起情報生成部２１０が生成した共起情報１１００と類似度算出部２１１が算出した類似度１２０１とに基づいて算出する機能を有する。確度算出部２１２の機能は、例えばプロセッサがメモリに格納されているプログラムを実行することにより実現される。
評価値算出部２１３は、確度算出部２１２で算出された確度１３０１と、クラスタ分類情報記憶部２０９に格納されているクラスタに分類されているオブジェクトの個数とから、オブジェクトのクラスタに対する評価値１４０１を算出する機能を有する。評価値算出部２１３の機能は、例えばプロセッサがメモリに格納されているプログラムを実行することにより実現される。
オブジェクト重要度評価部２１４は、評価値算出部２１３で算出された評価値１４０１に基づいて、オブジェクトのオブジェクト重要度１５０１を評価する機能を有する。オブジェクト重要度評価部２１４の機能は、例えばプロセッサがメモリに格納されているプログラムを実行することにより実現される。
画像重要度評価部２１５は、オブジェクト出現情報記憶部２０５に格納されているオブジェクト出現情報５００と、オブジェクト重要度評価部２１４に格納されているオブジェクト重要度１５０１とに基づいて画像の画像重要度１６０１を評価する機能を有する。画像重要度評価部２１５の機能は、例えばプロセッサがメモリに格納されているプログラムを実行することにより実現される。
画像ランキング部２１６は、画像重要度評価部２１５が評価した画像重要度１６０１に基づいて、画像群３００を順序付けする機能を有する。画像ランキング部２１６の機能は、例えばプロセッサがメモリに格納されているプログラムを実行することにより実現される。
画像出力部２１７は、画像記憶部２０２に記憶されている画像群３００を、画像ランキング部２１６により順序付けされた順序に基づいて、ＨＤＭＩ出力端子などの出力インターフェースにより表示装置１２０に表示させる機能を有する。また、操作入力部２１８から受信した制御信号により、出力画像の表示態様を変化させることができる。例えば、画像数が多くて全画像が画面に収まりきらない場合に、表示されていない画像を表示するように画面をスクロールさせることができる。画像出力部２１７の機能は例えば、プロセッサがメモリに格納されているプログラムを実行することにより実現される。
操作入力部２１８は、赤外線受光器などによりコントローラ１３０から発せられるユーザの操作を受け付け、操作に対応する制御信号を画像出力部２１７に送信する機能を有する。操作入力部２１８の機能は例えば、プロセッサがメモリに格納されているプログラムを実行することにより実現される。
＜２−２．データ＞
次に、上述の構成を備える画像管理装置１００が取り扱う情報について説明する。
＜２−２−１．画像群＞
画像群３００は画像管理装置１００がランキングする対象の複数の画像である。画像群３００は、画像取得部２０１で撮影装置１１０から入力された複数の画像から生成され、画像記憶部２０２に格納されて、オブジェクト検出部２０３及び画像出力部２１７により使用される。
図３は画像群３００のデータ構成及び内容例を示す図である。同図に示すように、画像群３００は各画像を識別するための画像ＩＤ３０１と画像データ３０２とにより構成されている。
画像ＩＤ３０１は、画像管理装置１００内で各画像を一意に識別するための識別子であり、画像データ３０２に対して一対一に対応するように画像取得部２０１により付与される。画像ＩＤ３０１は、画像取得部２０１により生成される。画像ＩＤ３０１は例えば、画像取得部２０１が撮影装置１１０から画像を取得した順番に１から番号を振り、その番号の先頭にアルファベットの“Ｉ”を付加したものとする。
図３の例では、画像データ３０２ａにはＩ００１、画像データ３０２ｂにはＩ００２、画像データ３０２ｃにはＩ００３、画像データ３０２ｄにはＩ００４の画像ＩＤ３０１が付与されている。
なお、以下では図３に挙げた画像を具体例にとって説明を行うとき、その画像を画像ＩＤ３０１で呼ぶこととする。例えば、Ｉ００１の画像ＩＤ３０１で識別される画像は画像Ｉ００１と呼ぶ。
＜２−２−２．オブジェクト出現情報＞
オブジェクト出現情報５００は、どの画像においてどのオブジェクトが検出されたのかを示す情報である。オブジェクト出現情報５００は、オブジェクト検出部２０３により生成され、オブジェクト出現情報記憶部２０５に格納されて、共起情報生成部２１０、確度算出部２１２及び画像重要度評価部２１５により使用される。
図４はオブジェクト検出部２０３がオブジェクトを検出した領域４０１及びその領域４０１で検出されたオブジェクトのオブジェクトＩＤ４０２の例を示したものであり、図５はオブジェクト出現情報５００のデータ構成及び図４に対応する内容例である。
図５に示すように、オブジェクト出現情報５００は画像ごとに、画像ＩＤ３０１と、その画像において検出されたオブジェクトの各オブジェクトを識別するためのオブジェクトＩＤ４０２との組で表される。画像に含まれているオブジェクトは１つの場合もあるし、複数存在する場合や１つも含まれない場合もある。
オブジェクトＩＤ４０２は、画像管理装置１００内で各オブジェクトを一意に識別するための識別子であり、オブジェクトに対して一対一に対応するようにオブジェクト検出部２０３により付与される。オブジェクトＩＤ４０２は、オブジェクト検出部２０３により生成される。オブジェクトＩＤ４０２は例えば、オブジェクト検出部２０３がオブジェクトを検出した順番に１から番号を振り、その番号の先頭にアルファベットの“Ｏ”を付加したものとする。
図４の例では、領域４０１ａで検出されたオブジェクトにはＯ００１、領域４０１ｂで検出されたオブジェクトにはＯ００２、領域４０１ｃで検出されたオブジェクトにはＯ００３、領域４０１ｄで検出されたオブジェクトにはＯ００４、領域４０１ｅで検出されたオブジェクトにはＯ００５、領域４０１ｆで検出されたオブジェクトにはＯ００６のオブジェクトＩＤ４０２がそれぞれ付与されている。
なお、以下では図４に挙げたオブジェクトを具体例にとって説明を行うとき、そのオブジェクトをオブジェクトＩＤ４０２で呼ぶこととする。例えば、Ｏ００１のオブジェクトＩＤ４０２で識別されるオブジェクトはオブジェクトＯ００１と呼ぶ。
オブジェクト出現情報５００を用いると、特定の画像中に含まれるオブジェクトのオブジェクトＩＤ４０２を取得することができ、逆に特定のオブジェクトが含まれる画像の画像ＩＤ３０１を取得することもできる。
図５の例では、画像Ｉ００２には、オブジェクトＯ００３、オブジェクトＯ００４及びオブジェクトＯ００５が含まれていることがオブジェクト出現情報５００からわかる。また、オブジェクトＯ００２が含まれている画像は、画像Ｉ００１であることがわかる。
＜２−２−３．特徴量＞
特徴量とは、画像中の複数の画素に係る画素値の分布に係る特徴を示したものである。例えば特徴量は画像の特徴を示す複数の数値を成分とするベクトルである。画像の特徴には、Ｇａｂｏｒフィルタを用いて得られる画像データの画素値の分布の周期性や方向性などがあり、人物の顔に係る特徴量の場合、画素値の分布の周期性や方向性などから目と認識された点２つの間の距離や、鼻と認識された点と口と認識された点との距離などの量を成分とすることができる。
オブジェクト特徴量６０１は、オブジェクト検出部２０３により抽出された特徴量のうちオブジェクトとして検出された特徴量であり、オブジェクト検出部２０３により生成され、オブジェクトＩＤ４０２と共にオブジェクト特徴量記憶部２０６に格納される。そして、オブジェクト分類部２０７及び類似度算出部２１１で使用される。
図６は、オブジェクト特徴量記憶部２０６に格納されているオブジェクト特徴量６０１のデータ構成と内容例である。ここではオブジェクト特徴量６０１は、特徴量成分１、特徴量成分２、特徴量成分３を含む複数の特徴量成分から構成されている。
同図の例では、オブジェクトＯ００１のオブジェクト特徴量６０１には、特徴量成分１が９０．３、特徴量成分２が９８．４、特徴量成分３が７１．４として格納されている。
＜２−２−４．クラスタ＞
クラスタに関するデータとして、クラスタＩＤ７０３、クラスタ特徴量７０２、クラスタ分類情報９００について説明する。
図７はオブジェクト分類部２０７がオブジェクトをクラスタに分類するイメージを示した図である。ここで、６０１ａ、６０１ｂ、６０１ｃ、６０１ｄ、６０１ｅ及び６０１ｆはそれぞれ、オブジェクトＯ００１、オブジェクトＯ００２、オブジェクトＯ００３、オブジェクトＯ００４、オブジェクトＯ００５及びオブジェクトＯ００６のオブジェクト特徴量６０１を示すものとし、以下、実施形態１の説明中では同様に符号とオブジェクトとが対応するものとする。
同図では、特徴量空間７００にクラスタ７０１ａ、クラスタ７０１ｂ、クラスタ７０１ｃの３つのクラスタがあり、クラスタの境界７０４により区切られている。
クラスタＩＤ７０３は、画像管理装置１００内で各クラスタを一意に識別するための識別子であり、クラスタに対して一対一に対応するようにオブジェクト分類部２０７により付与される。クラスタＩＤ７０３は、オブジェクト分類部２０７により生成される。クラスタＩＤ７０３は例えば、オブジェクト分類部２０７がクラスタを生成した順番に１から番号を振り、その番号の先頭にアルファベットの“Ｃ”を付加したものとする。
図７の例では、クラスタ７０１ａにはＣ００１、クラスタ７０１ｂにはＣ００２、クラスタ７０１ｃにはＣ００３のクラスタＩＤ７０３が付与されている。
なお、以下では図７に挙げたクラスタを具体例にとって説明を行うとき、そのクラスタをクラスタＩＤ７０３で呼ぶこととする。例えば、Ｃ００１のクラスタＩＤ７０３で識別されるクラスタはクラスタＣ００１と呼ぶ。
クラスタ特徴量７０２は、クラスタが持つ特徴量のことで、クラスタに含まれている全オブジェクトのオブジェクト特徴量６０１を代表する値である。クラスタ特徴量７０２はクラスタ特徴量記憶部２０８に格納され、必要に応じてオブジェクト分類部２０７により生成、破棄及び更新される。
図８はクラスタ特徴量７０２のデータ構成及び図７のクラスタに対応するデータの内容例である。クラスタ特徴量７０２のデータ構成は、オブジェクト特徴量６０１と同様である。
クラスタ特徴量７０２は例えば、クラスタに含まれているオブジェクトのオブジェクト特徴量６０１の相加平均として算出される。
図８の例では、クラスタＣ００１のクラスタ特徴量７０２には、特徴量成分１が９４．４、特徴量成分２が９０．２、特徴量成分３が７９．８として格納されている。
クラスタ分類情報９００は、オブジェクト分類部２０７がどのオブジェクトをどのクラスタに分類したのかを示す情報である。クラスタ分類情報９００は、オブジェクト分類部２０７により生成され、クラスタ分類情報記憶部２０９に格納されて、共起情報生成部２１０及び評価値算出部２１３で使用される。
図９はクラスタ分類情報９００のデータ構成及び図７のクラスタに対応するデータの内容例である。クラスタ分類情報９００はクラスタごとに、クラスタＩＤ７０３と、そのクラスタに属する各オブジェクトのオブジェクトＩＤ４０２と、そのクラスタに属するオブジェクトの個数９０１との組で構成される。
図７の例では、７０１ａの符号で示されるクラスタＣ００１には、６０１ａ、６０１ｂ、６０１ｃのオブジェクト特徴量６０１をそれぞれ持つオブジェクトＯ００１、オブジェクトＯ００３及びオブジェクトＯ００６が属しており、図７に対応する図９の例では、クラスタＣ００１のクラスタ分類情報９００には、オブジェクトＯ００１、オブジェクトＯ００３、オブジェクトＯ００６が属しており、クラスタＣ００１に属するオブジェクトの個数９０１は全部で３０個あるという情報が格納されている。
＜２−２−５．共起情報＞
ここではまず共起及び非共起について説明し、続いて共起情報１１００について説明する。
一般的に共起とは、２つの事象が共に起こっていることを指す。例えば、１つの画像中にクラスタＡに属するオブジェクトとクラスタＢに属するオブジェクトとが共に含まれているとき、その画像において「クラスタＡに属するオブジェクトが含まれる」という事象と「クラスタＢに属するオブジェクトが含まれる」という事象とが共起しているといえる。
ここでは、１つの画像において「クラスタＡに属するオブジェクトが含まれる」という事象と「クラスタＢに属するオブジェクトが含まれる」という事象とが共起していることを、クラスタＡとクラスタＢとが共起しているというものとする。すなわち、１つの画像中にクラスタＡに属するオブジェクトとクラスタＢに属するオブジェクトとが共に含まれているとき、クラスタＡとクラスタＢとが共起しているとする。
また、クラスタＡとクラスタＢとが共起しているとき、クラスタＡとクラスタＢとの間に共起関係があるといい、特に「クラスタＡに属するオブジェクトが含まれる」という事象が起きた場合に「クラスタＢに属するオブジェクトが含まれる」という事象が起きるとき、クラスタＡからクラスタＢに対する共起関係があるということにする。
図１０は共起関係のイメージ図である。破線の矢印１００１は共起関係を示しており、同じ画像中に共に含まれているオブジェクト同士をつないでいる。
例えば、オブジェクトａが含まれる画像中にオブジェクトｂが共に含まれていた場合には、オブジェクトａからオブジェクトｂに向かう矢印１００１を付けている。また同時に、オブジェクトｂが含まれる画像中にオブジェクトａが共に含まれているともいえるので、オブジェクトｂからオブジェクトａに向かう矢印１００１も付けている。そして、クラスタＡに属するオブジェクトａからクラスタＢに属するオブジェクトｂに向かって矢印１００１が付けられている場合にはクラスタＡからクラスタＢに対する共起関係がある。
図１０の例では、６０１ａに対応するオブジェクトＯ００１が含まれている画像には６０１ｂに対応するオブジェクトＯ００２が共に含まれているため、それぞれが属するクラスタＣ００１（７０１ａ）からクラスタＣ００２（７０１ｂ）に対する共起関係があるといえる。同時に、オブジェクトＯ００２が含まれている画像にはオブジェクトＯ００１が共に含まれているため、クラスタＣ００２からクラスタＣ００１に対する共起関係もあるといえる。
また、非共起とは共起していないことを意味し、ここでは特に、あるクラスタが１つの画像においてどのクラスタとも共起していないことを指す。すなわち、ここで非共起とはあるクラスタに属するオブジェクトが１つの画像において唯１つのみ含まれている事象を指す。
図１０の例では、矢印で結ばれていない６０１ｆに対応するオブジェクトＯ００６は画像中に単独で含まれており、同じ画像に共に含まれているオブジェクトがないため、オブジェクトＯ００６を含む画像においてオブジェクトＯ００６が属するクラスタＣ００１（７０１ａ）は非共起の状態であるといえる。
共起情報１１００は、クラスタ間の共起に関する情報であり、共起情報生成部２１０により生成され、確度算出部２１２で使用される。
図１１は共起情報１１００のデータ構成及び内容例である。共起情報１１００は、どのクラスタからどのクラスタに対する共起関係が画像群３００の全画像においてどの程度あるかを示す共起度１１０１と、どのクラスタの非共起の状態が画像群３００の全画像においてどの程度あるかを示す非共起度１１０２とにより構成されている。
共起度１１０１は、ここでは画像群３００の中で共起関係が検出された回数とする。クラスタＡのクラスタＢに対する共起度１１０１というと、画像群３００の中でクラスタＡのクラスタＢに対する共起関係が検出された回数である。
非共起度１１０２は、ここでは画像群３００の中で非共起の状態が検出された回数とする。クラスタＡの非共起度１１０２というと、画像群３００の中でクラスタＡの非共起の状態が検出された回数であり、クラスタＡに属するオブジェクトが単独で含まれる画像の枚数と一致する。
図１１の例では、クラスタＣ００１の、クラスタＣ００１に対する共起度１１０１は０、クラスタＣ００２に対する共起度１１０１は８、クラスタＣ００３に対する共起度１１０１は２、そして非共起度１１０２は５である。
前述の例において、クラスタＣ００１のクラスタＣ００１に対する共起度１１０１が０であるのは、クラスタＣ００１に属するオブジェクトが含まれる画像には、そのオブジェクトの他にクラスタＣ００１に属するオブジェクトが含まれていないことを意味する。
また、クラスタＣ００１のクラスタＣ００２に対する共起度１１０１が８であるのは、クラスタＣ００１に属するオブジェクトが含まれる画像にクラスタＣ００２に属するオブジェクトが含まれる回数が８回であることを意味する。
そして、クラスタＣ００１の非共起度１１０２が５であるのは、クラスタＣ００１に属するオブジェクトが含まれる画像に他のオブジェクトが含まれていない回数が５回であることを意味する。すなわち、クラスタＣ００１に属するオブジェクトが単独で含まれる画像の枚数は５枚である。
＜２−２−６．類似度＞
類似度１２０１は、オブジェクトのオブジェクト特徴量６０１とクラスタのクラスタ特徴量７０２とがどの程度近い値を持つかを示す値である。類似度１２０１は、類似度算出部２１１によって生成され、確度算出部２１２により使用される。
図１２は類似度１２０１のデータ構成及び内容例である。類似度１２０１はオブジェクトのオブジェクトＩＤ４０２とクラスタのクラスタＩＤ７０３との組み合わせに対する数値で構成される。
類似度１２０１は、例えば特徴量空間７００におけるオブジェクトのオブジェクト特徴量６０１を示すベクトルとクラスタのクラスタ特徴量７０２を示すベクトルとの内積で表される数値や、オブジェクトのオブジェクト特徴量６０１とクラスタのクラスタ特徴量７０２との差から算出する数値などとすることができる。ここでは類似度１２０１はオブジェクトのオブジェクト特徴量６０１とクラスタのクラスタ特徴量７０２との差から算出されるものとする。
図１２の例では、オブジェクトＯ００３のクラスタＣ００１、クラスタＣ００２及びクラスタＣ００３に対する類似度１２０１はそれぞれ０．５０、０．４６及び０．４２となっている。
＜２−２−７．確度＞
確度１３０１は、オブジェクトのクラスタとの関連の高さを、類似度１２０１だけでなく共起情報１１００をも用いて示した値である。確度１３０１は、確度算出部２１２により生成され、評価値算出部２１３で使用される。確度１３０１を用いることで、類似度１２０１だけから関連の高さを判断するよりも精度良く関連の高さを評価することができる。
オブジェクトＡのクラスタＢに対する確度１３０１は、ここではオブジェクトＡのクラスタＢに対する類似度１２０１と、クラスタＢの共起情報１１００とに基づいて算出されるものとする。算出方法については、後に詳しく説明する。
図１３は、確度１３０１のデータ構成と内容例である。確度１３０１はオブジェクトのオブジェクトＩＤ４０２とクラスタのクラスタＩＤ７０３との組み合わせに対する数値で構成される。
同図の例では、オブジェクトＯ００３のクラスタＣ００１、クラスタＣ００２及びクラスタＣ００３に対する確度１３０１はそれぞれ０．４６、０．５３及び０．３９となっている。
＜２−２−８．評価値＞
評価値１４０１は、オブジェクトとクラスタとの組み合わせに対して算出される重要度であり、後述するオブジェクト重要度１５０１は評価値１４０１に基づいて評価される。評価値１４０１は、評価値算出部２１３により生成され、オブジェクト重要度評価部２１４により使用される。
オブジェクトＡのクラスタＢに対する評価値１４０１は、ここではオブジェクトＡのクラスタＢに対する確度１３０１と、クラスタＢに属するオブジェクトの個数９０１との積として算出されるものとする。
図１４は、評価値１４０１のデータ構成及び内容例である。評価値１４０１はオブジェクトのオブジェクトＩＤ４０２とクラスタのクラスタＩＤ７０３との組み合わせに対する数値で構成される。
同図の例では、オブジェクトＯ００３のクラスタＣ００１、クラスタＣ００２及びクラスタＣ００３に対する評価値１４０１はそれぞれ１３．６、１４．２及び７．７７となっている。
前述の例において、オブジェクトＯ００３のクラスタＣ００１に対する評価値１４０１は、オブジェクトＯ００３のクラスタＣ００１に対する確度１３０１である０．４６と、クラスタＣ００１に属するオブジェクトの個数９０１である３０との積で１３．６となっている。
＜２−２−８．オブジェクト重要度＞
オブジェクト重要度１５０１は、オブジェクトごとに評価される重要度であり、後述する画像重要度１６０１はオブジェクトのオブジェクト重要度１５０１に基づいて評価される。オブジェクト重要度１５０１は、オブジェクト重要度評価部２１４により生成され、画像重要度評価部２１５に使用される。
オブジェクトのオブジェクト重要度１５０１は、ここではそのオブジェクトの各クラスタに対する評価値１４０１の合計として評価されるものとする。
図１５はオブジェクト重要度１５０１のデータ構成及び内容例である。オブジェクト重要度１５０１はオブジェクトのオブジェクトＩＤ４０２に対する数値で構成される。
同図の例では、オブジェクトＯ００１、オブジェクトＯ００２及びオブジェクトＯ００３のオブジェクト重要度１５０１はそれぞれ４０．３、２５．６及び３８．１となっている。
前述の例において、オブジェクトＯ００１は、オブジェクトＯ００１のクラスタＣ００１に対する評価値１４０１の１３．６と、クラスタＣ００２に対する評価値１４０１の１４．２と、クラスタＣ００３に対する評価値１４０１の７．７７と、他のクラスタに対する評価値１４０１とを全て足し合わせて、４０．３となっている。
＜２−２−９．画像重要度＞
画像重要度１６０１は、画像ごとに評価される重要度であり、画像管理装置１００は画像群３００を各画像の画像重要度１６０１に基づいてランキングする。画像重要度１６０１は、画像重要度評価部２１５により生成され、画像ランキング部２１６に使用される。
画像の画像重要度１６０１は、ここではその画像中に含まれる全オブジェクトのオブジェクト重要度１５０１の合計として評価されるものとする。
図１６は画像重要度１６０１のデータ構成及び内容例である。画像重要度１６０１は画像の画像ＩＤ３０１に対する数値で構成される。
同図の例では、画像Ｉ００１、画像Ｉ００２、画像Ｉ００３及び画像Ｉ００４の画像重要度１６０１はそれぞれ６５．９、８９．４、２８．８及び０となっている。
前述の例において、画像Ｉ００１の画像重要度１６０１は、オブジェクトＯ００１のオブジェクト重要度１５０１の４０．３と、オブジェクトＯ００２のオブジェクト重要度１５０１の２５．６とを足し合わせて、６５．９となっている。
画像重要度１６０１に基づいて画像群３００の各画像を並べた結果の一例を図１７に示す。同図の例ではランキング結果１７００は、１２８の画像重要度１６０１を持つ画像Ｉ０１７の順位１７０１が１位であり、２位以下に画像Ｉ００２、画像Ｉ００１及び画像Ｉ０７２が続いている。
＜２−３．動作＞
次に、本発明に係る画像管理装置１００の動作について説明する。
＜２−３−１．動作の概要＞
図１８のフローチャートを用いて画像管理装置１００が行う動作の概要を説明する。
まず、画像取得部２０１が撮影装置１１０に蓄積されている画像群を取得する。そして取得した画像群３００の各画像データ３０２を、それぞれの画像を識別するための画像ＩＤ３０１と共に画像記憶部２０２に格納する（Ｓ１８０１）。
次に、オブジェクト検出部２０３が、画像記憶部２０２に格納されている各画像においてオブジェクト特徴量６０１を抽出し、オブジェクトを検出する（Ｓ１８０２）。オブジェクト検出部２０３は画像ごとにオブジェクト出現情報５００を生成し、オブジェクト出現情報記憶部２０５に格納する。そして、検出したオブジェクトのオブジェクト特徴量６０１はオブジェクトＩＤ４０２と対応付けてオブジェクト特徴量記憶部２０６に格納する。オブジェクトの検出処理については、後に詳しく説明する。
次に、オブジェクト分類部２０７が、オブジェクト検出部２０３が検出した全オブジェクトを、オブジェクト特徴量記憶部２０６に格納されている各オブジェクトのオブジェクト特徴量６０１によりクラスタに分類する（Ｓ１８０３）。また、クラスタを代表するクラスタ特徴量７０２も、オブジェクト分類部２０７が算出する。分類した結果であるクラスタ分類情報９００はクラスタ分類情報記憶部２０９に格納する。また、算出したクラスタ特徴量７０２はクラスタ特徴量記憶部２０８に格納する。オブジェクトの分類処理については、後に詳しく説明する。
次に、類似度算出部２１１が、オブジェクト特徴量記憶部２０６に格納されている各オブジェクトのオブジェクト特徴量６０１とクラスタ分類情報記憶部２０９に格納されているクラスタ特徴量７０２とから、各オブジェクトと各クラスタとの類似度１２０１を算出する（Ｓ１８０４〜Ｓ１８０６）。
次に、共起情報生成部２１０が、オブジェクト出現情報記憶部２０５に格納されているオブジェクト出現情報５００と、クラスタ分類情報記憶部２０９に格納されているクラスタ分類情報９００とから、画像群３００における共起関係と非共起の状態とを検出して全クラスタの共起情報１１００を生成する（Ｓ１８０７）。共起情報１１００の生成処理については、後に詳しく説明する。
次に、確度算出部２１２が、類似度算出部２１１が算出した類似度１２０１と、共起情報生成部２１０が生成した共起情報１１００とに基づいて各オブジェクトの各クラスタに対する確度１３０１を算出して、評価値算出部２１３が、確度算出部２１２が算出した確度１３０１と、クラスタ分類情報記憶部２０９に格納されているクラスタ分類情報９００とに基づいて各オブジェクトの各クラスタに対する評価値１４０１を算出する（Ｓ１８０８〜Ｓ１８０９）。確度１３０１の算出処理及び評価値１４０１の算出処理については、後に詳しく説明する。
次に、オブジェクト重要度評価部２１４が、評価値算出部２１３が算出した評価値１４０１に基づいて各オブジェクトのオブジェクト重要度１５０１を評価する（Ｓ１８１０〜Ｓ１８１１）。オブジェクト重要度１５０１はここでは、評価対象となるオブジェクトの各クラスタに対する評価値１４０１全ての合計として評価する。
次に、画像重要度評価部２１５が、オブジェクト重要度評価部２１４が評価したオブジェクト重要度１５０１と、オブジェクト出現情報記憶部２０５に格納されているオブジェクト出現情報５００とに基づいて各画像の画像重要度１６０１を評価する（Ｓ１８１２〜Ｓ１８１３）。画像の画像重要度１６０１はここでは、画像中に含まれている全オブジェクトのオブジェクト重要度１５０１の合計とする。また、オブジェクトが含まれていない場合は、画像の画像重要度１６０１を０とする。
次に、画像ランキング部２１６が、画像重要度評価部２１５が評価した画像重要度１６０１によって画像群３００をランキングする（Ｓ１８１４）。ここでは、画像重要度１６０１の数値の降順で各画像を並べるものとする。
最後に、画像出力部２１７が、画像ランキング部２１６がランキングした結果を出力する（Ｓ１８１５）。画像ランキング部２１６で並べ替えた順序と、操作入力部２１８で受け付けた操作とに基づいて、画像記憶部２０２に格納されている画像群３００を整列し、表示装置１２０に対し出力する。
＜２−３−２．オブジェクトの検出処理＞
ここではオブジェクト検出部２０３が行うオブジェクトの検出処理（Ｓ１８０２）について述べる。
オブジェクト検出部２０３は、まずオブジェクトを検出する対象の画像から特徴量を抽出する。画像から特徴量を抽出する方法には、Ｇａｂｏｒフィルタを用いて画像データの画素値の分布の周期性や方向性などの特徴量を抽出する方法がある。
次にオブジェクト検出部２０３は、抽出した特徴量をテンプレート記憶部２０４に格納されているテンプレートと照合して、オブジェクトを検出する。ここでは、抽出された特徴量が、テンプレートが持つ特徴量のパターンに当てはまる場合にオブジェクトが検出される。
オブジェクト検出部２０３が検出したオブジェクトに対しては、オブジェクトを検出した順番に１から番号を振り、その番号の先頭にアルファベットの“Ｏ”を付加したオブジェクトＩＤ４０２を付与する。
そしてオブジェクト検出部２０３は、オブジェクトの検出対象とした画像の画像ＩＤ３０１と、その画像において検出した全オブジェクトのオブジェクトＩＤ４０２との組をオブジェクト出現情報５００としてオブジェクト出現情報記憶部２０５に格納する。また、オブジェクトを検出した領域４０１から抽出された特徴量をオブジェクト特徴量６０１としてオブジェクトＩＤ４０２と対応付けてオブジェクト特徴量記憶部２０６に格納する。
図４は、画像においてオブジェクトを検出する例を示したものである。同図の例では、画像データ３０２ａにおいてオブジェクトＯ００１とオブジェクトＯ００２、画像３０２ｂにおいてオブジェクトＯ００３とオブジェクトＯ００４とオブジェクトＯ００５、画像３０２ｃにおいてオブジェクトＯ００６がそれぞれ検出されており、画像３０２ｄにおいてはオブジェクトは検出されていない。
前述の例において、オブジェクト検出部２０３は画像データ３０２ａから特徴量を抽出し、画像データ３０２ａに対応する画像Ｉ００１において領域４０１ａと領域４０１ｂとから抽出した特徴量が、テンプレート記憶部２０４に格納されているテンプレートで定められる基準を満たしているため、領域４０１ａと領域４０１ｂとからオブジェクトを検出している。
領域４０１ａと領域４０１ｂとから検出されたオブジェクトに対して、オブジェクト検出部２０３はそれぞれＯ００１及びＯ００２のオブジェクトＩＤ４０２を付与している。
そして、オブジェクト検出部２０３は図５のようにオブジェクト出現情報５００をオブジェクト出現情報記憶部２０５に格納している。また、図６のようにオブジェクト特徴量６０１をオブジェクト特徴量記憶部２０６に格納している。
＜２−３−３．オブジェクトの分類処理＞
ここではオブジェクト分類部２０７が行うオブジェクトの分類処理（Ｓ１８０３）について述べる。
オブジェクト分類部２０７は、オブジェクト検出部２０３が検出した全オブジェクトを、オブジェクト特徴量記憶部２０６に格納されている各オブジェクトのオブジェクト特徴量６０１によりクラスタに分類する。
オブジェクトをクラスタに分類する方法には、Ｋ−ｍｅａｎｓ法を用いる方法がある。Ｋ−ｍｅａｎｓ法は、自動的にクラスタを生成してオブジェクトを分類する分類方法である。Ｋ−ｍｅａｎｓ法を用いると、クラスタを代表するクラスタ特徴量７０２は自動的に算出され、各オブジェクトはそのオブジェクトが持つオブジェクト特徴量６０１と最も近いクラスタ特徴量７０２を持つクラスタに分類される。
図７にＫ−ｍｅａｎｓ法による分類のイメージを示す。６０１ａ〜６０１ｉはそれぞれ対応するオブジェクトのオブジェクト特徴量６０１の特徴量空間７００での位置を示している。７０１ａ〜７０１ｃはＫ−ｍｅａｎｓ法により生成されるクラスタであり、それぞれ７０２ａ〜７０２ｃの位置で示されるクラスタ特徴量７０２を持つ。
同図の例では、オブジェクトＯ００１、オブジェクトＯ００３、オブジェクトＯ００６はオブジェクト特徴量６０１がクラスタＣ００１のクラスタ特徴量７０２ａに最も近いため、オブジェクト分類部２０７はこの３つのオブジェクトをクラスタ７０１ａに分類する。同様にして、オブジェクトＯ００２、オブジェクトＯ００４、オブジェクトＯ００７はクラスタ７０１ｂに分類し、オブジェクトＯ００５、オブジェクトＯ００８、オブジェクトＯ００９はクラスタ７０１ｃに分類する。
オブジェクト分類部２０７は、７０１ａ〜７０１ｃはＫ−ｍｅａｎｓ法により生成されたクラスタに対して、クラスタが生成された順番に１から番号を振り、その番号の先頭にアルファベットの“Ｃ”を付加したクラスタＩＤ７０３を付与する。
分類した結果のクラスタ分類情報９００はクラスタ分類情報記憶部２０９に格納する。図９は全オブジェクトをクラスタに分類した結果のクラスタ分類情報９００の例である。
また、クラスタ特徴量７０２は、クラスタに属する全オブジェクトのオブジェクト特徴量６０１の相加平均として算出する。算出したクラスタ特徴量７０２はクラスタ特徴量記憶部２０８に格納する。図７はクラスタ特徴量７０２の例である。
＜２−３−４．共起情報の生成処理＞
ここでは共起情報生成部２１０が画像群３００について行う共起情報１１００の生成処理（Ｓ１８０７）について述べる。
共起情報生成部２１０は、画像群３００の各画像におけるクラスタの共起関係と非共起の状態とを検出して全クラスタの共起情報１１００を生成する。なお、ここでは１つの画像について共起関係又は非共起の状態を検出して共起情報１１００を更新する処理を共起関係検出処理ということとする。
図１９は、共起情報生成部２１０が共起情報１１００を生成するときのフローチャートであり、ステップＳ１８０７の詳細を示したものである。なお、共起情報１１００の生成処理を始める前には共起度１１０１及び非共起度１１０２は全て０で初期化されているものとする。
まず、画像群３００の中の１つの画像ｋについて、オブジェクト出現情報記憶部２０５に格納されているオブジェクト出現情報５００から、画像ｋにオブジェクトが含まれているか否かを判定する（Ｓ１９０１）。
オブジェクトが含まれていた場合は、後述する画像ｋについての共起関係検出処理を行う。オブジェクトが含まれていなかった場合は、なんら処理を行わずに画像ｋについての共起関係検出処理が終了したものとする。
画像ｋについての共起関係検出処理が終了したのち、いまだ共起関係検出処理を行っていない画像が存在するか否かを判定する（Ｓ１９０２）。存在する場合は、その画像のうち１つを次の画像ｋとし、Ｓ１９０１に戻る。存在しない場合は、共起情報生成部２１０は画像群３００についての共起情報１１００の生成処理を終了する。
画像ｋについての共起関係検出処理は、以下のように行う。
まず画像ｋの中に含まれるオブジェクトの数をオブジェクト出現情報５００から調べる。このとき、オブジェクトの数が１であった場合と２以上であった場合とで場合分けを行う（Ｓ１９０３）。
オブジェクトの数が１であった場合は、唯１つ含まれているオブジェクトであるオブジェクトａは単独で画像中に含まれているため、オブジェクトａが属するクラスタＡは画像ｋにおいて非共起の状態といえる。その場合には、オブジェクトａが属するクラスタＡをクラスタ分類情報記憶部２０９に格納されているクラスタ分類情報９００から取得する（Ｓ１９０４）。これによりオブジェクトａから非共起の状態を検出したものとし、クラスタＡの非共起度１１０２を１増やす（Ｓ１９０５）。そして、画像ｋについての共起関係検出処理を終了する。
オブジェクトの数が２以上であった場合は、それぞれのオブジェクトが属するクラスタ間に共起関係があるといえる。例えば、画像Ｉ００１においては、クラスタＣ００１に属するオブジェクトＯ００１と、クラスタＣ００２に属するオブジェクトＯ００２とが共に含まれている。そのため、画像Ｉ００１においては、クラスタＣ００１のクラスタＣ００２に対する共起関係及びクラスタＣ００２のクラスタＣ００１に対する共起関係の２つの共起関係があるといえる。
オブジェクトの数が２以上であった場合は、次のように共起関係検出処理を行うものとする。ただしここで、オブジェクトａの属するクラスタＡの、オブジェクトｂの属するクラスタＢに対する共起関係を検出するとき、オブジェクトａを共起元オブジェクト、オブジェクトｂをオブジェクトａの共起先オブジェクトとそれぞれいうこととする。
まず画像ｋに含まれるオブジェクトの中から、いまだ共起元オブジェクトとして使用していないオブジェクトａを選び出す。そしてオブジェクトａが属するクラスタＡをクラスタ分類情報９００から取得する（Ｓ１９０６）。
次に、画像ｋに含まれるオブジェクトの中から、オブジェクトａ以外で、いまだオブジェクトａの共起先オブジェクトとして使用していないオブジェクトｂを選び出す。そして、オブジェクトｂが属するクラスタＢをクラスタ分類情報９００から取得する（Ｓ１９０７）。これにより共起元オブジェクトａと共起先オブジェクトｂから共起関係を検出したものとし、クラスタＡのクラスタＢに対する共起度１１０１を１増やす（Ｓ１９０８）。これによりオブジェクトｂはオブジェクトａの共起先オブジェクトとして使用が終了したものとする。
更に画像ｋ中に、いまだオブジェクトａの共起先オブジェクトとして使用していないオブジェクトが存在するか否かを判定する（Ｓ１９０９）。
存在する場合は、そのオブジェクトのうち１つを次のオブジェクトｂとし、Ｓ１９０７に戻る。存在しない場合は、オブジェクトａは共起元オブジェクトとしての使用が終了したものとする。
オブジェクトａの共起元オブジェクトとしての使用が終了したら、画像ｋ中に更にいまだ共起元オブジェクトとして使用していないオブジェクトが存在するか否かを判定する（Ｓ１９１０）。存在する場合、そのオブジェクトのうち１つを次のオブジェクトａとし、Ｓ１９０６に戻る。存在しない場合、画像ｋについての共起関係検出処理を終了する。
＜２−３−５．評価値の算出処理＞
ここでは評価値算出部２１３が行う評価値１４０１の算出処理（Ｓ１８０８）について述べる。
評価値算出部２１３は、確度算出部２１２で算出される確度１３０１と、クラスタ分類情報記憶部２０９に格納されているクラスタに属するオブジェクトの個数９０１とに基づいて、オブジェクトのクラスタに対する評価値１４０１を算出する。
あるオブジェクトｊのあるクラスタＩに対する評価値１４０１を求める場合、評価値算出部２１３はその評価値１４０１を、確度算出部２１２で算出される、オブジェクトｊのクラスタＩに対する確度１３０１と、クラスタ分類情報記憶部２０９から取得される、クラスタＩに属するオブジェクトの個数９０１とを掛け合わせて算出する。
確度算出部２１２で、オブジェクトｊのクラスタＩに対する確度１３０１を算出する方法については後述する。
＜２−３−６．確度の算出処理＞
ここでは確度算出部２１２が行う確度１３０１の算出処理について述べる。
確度算出部２１２は、オブジェクトのクラスタに対する確度１３０１を算出する。画像ｋに含まれているあるオブジェクトｊのあるクラスタＩに対する確度１３０１を求める場合の確度算出部２１２の動作を示したフローチャートを図２０に示す。
まず、オブジェクトｊが含まれる画像ｋ中に存在するオブジェクトの数を、オブジェクト出現情報記憶部２０５に格納されているオブジェクト出現情報５００から調べる。そしてオブジェクトの数が１か２以上かによって場合分けを行う（Ｓ２００１）。１であった場合には非共起度１１０２に基づいて確度１３０１を算出し、２以上であった場合には共起度１１０１に基づいて確度１３０１を算出する。
非共起度１１０２に基づく確度１３０１の算出処理は以下のように行う。
オブジェクトｊが含まれる画像ｋ中に存在するオブジェクトの数が１であった場合には、確度算出部２１２は確度１３０１を、クラスタＩの非共起度１１０２を用いて算出されるオブジェクトｊのクラスタＩに対する確信度と支持度と、類似度算出部２１１で算出したオブジェクトｊのクラスタＩに対する類似度１２０１とに基づいて算出する。
確信度及び支持度とは、データマイニング技術における、条件ｍと結論ｎとの相関性の強さを示す指標の一種である。確信度とは、条件ｍが発生したときに、結論ｎが共に発生する割合を示す。支持度とは、全体に対する条件ｍと結論ｎとが共に発生した数の割合を表す。確信度と支持度の値が共に大きい場合、条件ｍが発生した場合は結論ｎが発生する可能性が高いといえる。
非共起度１１０２に基づいて確度１３０１を算出する場合には、条件ｍはクラスタＩに属するオブジェクトが画像中に含まれるという事象であり、結論ｎはクラスタＩに属するオブジェクトが画像中に非共起の状態で含まれるという事象である。
上述の条件ｍと結論ｎとにより、１つのクラスタＩに対して算出される確信度及び支持度を、ここではそれぞれクラスタＩの非共起確信度２１０２、クラスタＩの非共起支持度２２０２という。つまり非共起度１１０２に基づいて確度１３０１を算出する場合には、オブジェクトｊのクラスタＩに対する確信度はクラスタＩの非共起確信度２１０２であり、オブジェクトｊのクラスタＩに対する支持度はクラスタＩの非共起支持度２２０２である。
図２１に確信度２１００のデータ構造及び内容例を示す。確信度２１００は、後述する共起確信度２１０１と上述の非共起確信度２１０２とにより構成されている。
同図の例では、クラスタＣ００１の非共起確信度２１０２は、０．１７である。これは、クラスタＣ００１に属するオブジェクトが画像中に含まれるという事象が発生したときに、そのオブジェクトが画像中に非共起の状態で含まれるという事象が１７％の割合で発生することを意味する。
図２２に支持度２２００のデータ構造及び内容例を示す。支持度２２００は、後述する共起支持度２２０１と上述の非共起支持度２２０２とにより構成されている。
同図の例では、クラスタＣ００１の非共起支持度２２０２は、０．０３である。これは、全オブジェクトの中から１つのオブジェクトを選んだときに、そのオブジェクトがクラスタＣ００１に属しておりなおかつ画像中に非共起の状態で含まれるという事象が３％の割合で発生することを意味する。
算出処理として、まずクラスタＩの非共起度１１０２を用いてオブジェクトｊのクラスタＩに対する非共起確信度２１０２及び非共起支持度２２０２を算出する（Ｓ２００８）。
ここで、非共起確信度２１０２はクラスタＩの非共起度１１０２の、クラスタＩに属するオブジェクトの個数９０１に対する割合として算出される。また、非共起支持度２２０２はクラスタＩの非共起度１１０２の、全オブジェクトの数に対する割合として算出される。
こうして算出されたクラスタＩの非共起確信度２１０２と非共起支持度２２０２と、そして類似度算出部２１１で算出したオブジェクトｊのクラスタＩに対する類似度１２０１とを、確度１３０１を算出する公式に代入して確度１３０１を算出する（Ｓ２００９）。
ここでは確度１３０１を算出する公式は、画像中に単独でオブジェクトが存在する場合の統計に基づくロジスティック回帰分析を予め行うことにより、係数を定めておいたロジスティック回帰の式とする。
ロジスティック回帰分析とは、重回帰分析などと同様に、予め学習データによって説明変数と目的変数との関係を導くことで、任意の説明変数に対する目的変数を予測する。この場合において、説明変数は、オブジェクトｊのクラスタＩに対する類似度１２０１、確信度及び支持度に当たり、目的変数はオブジェクトｊがあるクラスタＩである確度１３０１に当たる。ここでは、確度の算出に対し影響力の大きい説明変数ほど係数が大きくなる。
以上で非共起度１１０２に基づく確度１３０１の算出は終了する。
共起度１１０１に基づく確度１３０１の算出処理は以下のように行う。
オブジェクトｊが含まれる画像ｋ中に存在するオブジェクトの数が２以上であった場合には、確度算出部２１２は確度１３０１を、クラスタＩの、画像ｋ中に存在するオブジェクトｊ以外のオブジェクトの１つであるオブジェクトｘの属するクラスタＸに対する共起度１１０１を用いて算出されるオブジェクトｊのクラスタＩに対する確信度と支持度と、類似度算出部２１１で算出したオブジェクトｊのクラスタＩに対する類似度１２０１とに基づいて算出する。
まず、画像ｋ中に含まれるオブジェクトｊ以外のオブジェクトから、オブジェクトｊのクラスタＩに対する確度１３０１の算出処理に使用していないオブジェクトｘを選び出す（Ｓ２００２）。
選び出したオブジェクトｘの属するクラスタＸをクラスタ分類情報記憶部２０９に格納されているクラスタ分類情報９００から取得する（Ｓ２００３）。そして、クラスタＩのクラスタＸに対する共起度１１０１から、クラスタＩのクラスタＸに対する後述の共起確信度２１０１、クラスタＩのクラスタＸに対する後述の共起支持度２２０１を算出する（Ｓ２００４）。
ここで、クラスタＩのクラスタＸに対する共起確信度２１０１はクラスタＩのクラスタＸに対する共起度１１０１の、クラスタＸに属するオブジェクトの個数９０１に対する割合として算出される。また、クラスタＩのクラスタＸに対する共起支持度２２０１はクラスタＩのクラスタＸに対する共起度１１０１の、全オブジェクトの数に対する割合として算出される。
こうして算出したクラスタＩの、オブジェクトｘが属するクラスタＸに対する共起確信度２１０１と共起支持度２２０１を、それぞれオブジェクトｊのクラスタＩに対するオブジェクトｘについての共起確信度、オブジェクトｊのクラスタＩに対するオブジェクトｘについての共起支持度ということにする。
オブジェクトｊのクラスタＩに対するオブジェクトｘについての共起確信度及び共起支持度を算出したら、オブジェクトｘはオブジェクトｊのクラスタＩに対する確度１３０１の算出処理への使用が終了したものとする。
そして、画像ｋ中にオブジェクトｊのクラスタＩに対する確度１３０１の算出処理に使用していないオブジェクトが更にあるか否かを判定する（Ｓ２００５）。
ある場合にはＳ２００２に戻り、ない場合には、画像ｋ中に含まれるオブジェクトｊ以外のオブジェクトのうち、最も共起支持度が高かったオブジェクトについての共起確信度及び共起支持度を、オブジェクトｊのクラスタＩに対する確信度及び支持度とする（Ｓ２００６）。
こうして算出した確信度と支持度と、そして類似度算出部２１１で算出したオブジェクトｊのクラスタＩに対する類似度１２０１とを、確度１３０１を算出する公式に代入して確度１３０１を算出する（Ｓ２００７）。
ここでは確度１３０１を算出する公式は、画像中に複数のオブジェクトが存在する場合の統計に基づくロジスティック回帰分析を予め行うことにより、係数を定めておいたロジスティック回帰の式とし、確度の算出に対し影響力の大きい説明変数ほど係数が大きくなる。
なお、クラスタＩのクラスタＸに対する共起確信度２１０１及び共起支持度２２０１は、クラスタＸに属するオブジェクトが画像中に含まれるという条件に対する、クラスタＩに属するオブジェクトが同じ画像中に含まれるという結論の確信度及び支持度とする。
図２１の例では、クラスタＣ００１のクラスタＣ００２に対する共起確信度２１０１は０．３０である。これは、クラスタＣ００２に属するオブジェクトが画像中に含まれるという事象が発生したときに、クラスタＣ００１に属するオブジェクトが同じ画像中に含まれるという事象が３０％の割合で発生することを意味する。
図２２の例では、クラスタＣ００１のクラスタＣ００２に対する共起支持度２２０１は０．０４である。これは、全オブジェクトの中から１つのオブジェクトを選んだときに、そのオブジェクトがクラスタＣ００２に属しておりなおかつそのオブジェクトが含まれる画像中にクラスタＣ００１に属するオブジェクトが共に含まれるという事象が４％の割合で発生することを意味する。
＜２−４．実施形態１の効果＞
実施形態１に係る画像管理装置１００は、画像に含まれるオブジェクトである人物の顔の重要度に当たるオブジェクト重要度を、画像に含まれる顔の人物と同一人物であることを示すクラスタに属するオブジェクトの出現回数に基づいて求め、そのオブジェクト重要度に基づいて画像の重要度を求めて、その画像重要度によって画像をランキングすることで、出現回数の多い人物が含まれている画像を上位に並べることができる。ユーザは関心の高い人物が写っている画像を多く保有すると考えられるため、ランキングの上位から順に画像を探していくことで、膨大な枚数の画像から関心の高い重要な人物が写っている画像、つまり重要度が高い画像を容易に選択できる。
ここで、同一人物のオブジェクトが誤ってそれぞれ別のクラスタに分類されたとしても、そのオブジェクトと類似度の高い周辺のクラスタに属するオブジェクトの個数も用いてオブジェクト重要度を評価するため、オブジェクトが正しく同一人物と判定されたときにより近いオブジェクト重要度と評価することができる。
更に、オブジェクトが特徴量の類似度だけで計算して出現回数が多い人物と同一人物の可能性が低いと評価された場合にはその人物と同一人物であってもオブジェクト重要度が低く評価されてしまうことが考えられるが、特徴量の類似度だけでなく人物同士の共起関係をも用いて同一人物である可能性を評価しているため、特徴量だけではオブジェクトが別の人物の可能性が高いとされる場合においても、オブジェクトが正しく同一人物と判定されたときにより近いオブジェクト重要度と評価することができる。
＜３．実施形態２＞
本発明の実施形態２として、実施形態１において人物の顔のオブジェクトが属するクラスタ間の共起関係を用いて確度１３０１を算出していたところを、人物の顔と人物以外の物体との共起関係を用いて確度１３０１を算出する方式に変更した変形画像管理装置２３００について説明する。
ここで物体とは、後述する物体部で検出される、人物の顔以外である所定のオブジェクトのことを指し、以下では一般的な意味の「物体」と区別するため「共起物体」ということとする。共起物体は例えば自動車、動物、植物、建物などである。
なお、共起物体は共起情報を用いた確度１３０１の算出処理のみに用いることとし、物体の重要度は考えない。
＜３−１．構成＞
変形画像管理装置２３００のハードウェア構成は、実施形態１である画像管理装置１００と同じである。
図２３は、変形画像管理装置２３００の全体としての機能構成を示した図である。ただし、周辺装置は記載を省略し、画像管理装置１００と同等の機能を持つ機能ブロックは図２と同じ符号を割り当てている。
変形画像管理装置２３００は画像管理装置１００に対して、物体を検出、分類する物体部２３０１を追加し、共起情報生成部２１０及び確度算出部２１２をそれぞれ共起情報生成部２１０ａ及び確度算出部２１２ａに変更している。以下では、画像管理装置１００との差に当たる部分を説明する。
図２４は、物体部２３０１を詳細に表したブロック図である。物体部２３０１は物体検出部２４０１、物体出現情報記憶部２４０２、物体分類部２４０３及び物体クラスタ分類情報記憶部２４０４から構成される。
物体検出部２４０１は、画像記憶部２０２に格納されている画像群３００の各画像において、共起物体の特徴量である物体特徴量を抽出して所定の条件に基づいて共起物体を検出し、検出した共起物体に対して各共起物体を特定するための物体ＩＤ２５０２を付与する機能を有する。物体検出部２４０１の機能は、例えばプロセッサがメモリに格納されているプログラムを実行することにより実現される。図２５は、画像からオブジェクトと共起物体とを検出する例を示したものである。図２５については、後に詳しく説明する。物体検出部２４０１は更に、画像ごとに画像ＩＤ３０１とその画像において検出した共起物体の物体ＩＤ２５０２とを対応付けて物体出現情報２６００として物体出現情報記憶部２４０２に格納する。
物体出現情報記憶部２４０２は、画像ごとに物体出現情報２６００を記憶する機能を有する。物体出現情報記憶部２４０２は、例えばメモリにより実現される。図２６は、物体出現情報記憶部２４０２が記憶している物体出現情報２６００の例を示している。図２６については、後に詳しく説明する。
物体分類部２４０３は、物体検出部２４０１が検出した物体を物体検出部２４０１が抽出した物体特徴量に基づいて物体クラスタに分類する機能を有する。物体分類部２４０３の機能は、例えばプロセッサがメモリに格納されているプログラムを実行することにより実現される。また物体分類部２４０３は、物体クラスタに各物体クラスタを識別するための物体クラスタＩＤ２７０１を付与し、物体クラスタごとの物体クラスタＩＤ２７０１とその物体クラスタに分類した共起物体の物体ＩＤ２５０２とその物体クラスタに分類されている物体の個数とを対応付けて物体クラスタ分類情報２７００として物体クラスタ分類情報記憶部２４０４に格納する。
ここで物体クラスタとは、共起物体を所定の基準に基づいて分類するときの分類の単位であり、各物体クラスタは互いに異なる物体特徴量の範囲に対応する。
物体クラスタ分類情報記憶部２４０４は、物体クラスタごとに物体クラスタ分類情報２７００を記憶する機能を有する。物体クラスタ分類情報記憶部２４０４は、例えばメモリにより実現される。図２７は、物体クラスタ分類情報記憶部２４０４が記憶している物体クラスタ分類情報２７００の例を示したものである。図２７については、後に詳しく説明する。
＜３−２．データ＞
＜３−２−１．物体出現情報＞
物体出現情報２６００は、どの画像においてどの共起物体が検出されたのかを示す情報である。物体出現情報２６００は、物体検出部２４０１により生成され、物体出現情報記憶部２４０２に格納されて、共起情報生成部２１０ａ及び確度算出部２１２ａにより使用される。
図２５は物体検出部２４０１が共起物体を検出した領域２５０１及びその領域２５０１で検出された共起物体の物体ＩＤ２５０２の例を示したものであり、図２６は物体出現情報２６００のデータ構成及び図２５に対応する内容例である。
図２６に示すように、物体出現情報２６００は画像ごとに、画像ＩＤ３０１と、その画像において検出された共起物体の各共起物体を識別するための物体ＩＤの組で表される。画像に含まれている共起物体は１つの場合もあるし、複数存在する場合や１つも含まれない場合もある。
物体ＩＤ２５０２は、変形画像管理装置２３００内で各共起物体を一意に識別するための識別子であり、共起物体に対して一対一に対応するように物体検出部２４０１により付与される。物体ＩＤ２５０２は、物体検出部２４０１により生成される。物体ＩＤ２５０２は例えば、物体検出部２４０１が物体を検出した順番に１から番号を振り、その番号の先頭にアルファベットの“Ｂ”を付加したものとする。
図２５の例では、領域２５０１ａで検出された共起物体にはＢ００１、領域２５０１ｂで検出された共起物体にはＢ００２、領域２５０１ｃで検出された共起物体にはＢ００３の物体ＩＤ２５０２がそれぞれ付与されている。
なお、以下では図２５に挙げた共起物体を具体例にとって説明を行うとき、その共起物体を物体ＩＤ２５０２で呼ぶこととする。例えば、Ｂ００１の物体ＩＤ２５０２で識別される共起物体は共起物体Ｂ００１と呼ぶ。
物体出現情報２６００を用いると、特定の画像中に含まれる共起物体の物体ＩＤ２５０２を取得することができ、逆に特定の共起物体が含まれる画像の画像ＩＤ３０１を取得することもできる。
図２６の例では、画像Ｉ００３には共起物体が含まれておらず、画像Ｉ００４には共起物体Ｂ００１が含まれていることがわかる。また、共起物体Ｂ００２が含まれている画像は、画像Ｉ００４であることがわかる。
＜３−２−２．物体特徴量＞
物体特徴量とは、物体に係る特徴量のことである。例えば物体特徴量は画像の特徴を示す複数の数値を成分とするベクトルである。自動車に係る特徴量の場合、車輪と認識される画素値（例えば黒色を示す画素値）を持つ画素が円周状に並んでいた場合には、その円の直径や中心点の位置などを自動車の車輪の特徴量とすることができる。そして車輪の特徴量や窓の特徴量などを成分として含むベクトルを自動車の物体特徴量とすることができる。
物体特徴量は物体検出部２４０１により生成され、物体分類部２４０３によって使用される。
＜３−２−３．物体クラスタ＞
物体クラスタに関するデータとして、物体クラスタＩＤ２７０１及び物体クラスタ分類情報２７００について説明する。
物体クラスタＩＤ２７０１は、変形画像管理装置２３００内で各物体クラスタを一意に識別するための識別子であり、物体クラスタに対して一対一に対応するように物体分類部２４０３により付与される。物体クラスタＩＤ２７０１は物体分類部２４０３により生成される。物体クラスタＩＤ２７０１は例えば、物体分類部２４０３がクラスタを生成した順番に１から番号を振り、その番号の先頭にアルファベットの“ＢＣ”を付加したものとする。
物体クラスタ分類情報２７００は、物体分類部２４０３がどの共起物体をどの物体クラスタに分類したのかを示す情報である。物体クラスタ分類情報２７００は、物体分類部２４０３により生成され、物体クラスタ分類情報記憶部２４０４に格納されて、共起情報生成部２１０ａ及び評価値算出部２１３ａで使用される。
図２７は物体クラスタ分類情報２７００のデータ構成及び図２５の共起物体を分類した結果の物体クラスタ分類情報２７００の内容例である。物体クラスタ分類情報２７００は物体クラスタごとに、物体クラスタＩＤ２７０１と、その物体クラスタに属する各共起物体の物体ＩＤ２５０２と、その物体クラスタに属する共起物体の個数２７０２との組で構成される。
なお、以下では図２７に挙げた物体クラスタを具体例にとって説明を行うとき、その物体クラスタを物体クラスタＩＤ２７０１で呼ぶこととする。例えば、ＢＣ００１の物体クラスタＩＤ２７０１で識別される物体クラスタは物体クラスタＢＣ００１と呼ぶ。
図２７の例では、物体クラスタＢＣ００１の物体クラスタ分類情報２７００には、物体Ｂ００１及び物体Ｂ００３が属しており、物体クラスタＢＣ００１に属するオブジェクトの個数２７０２は全部で２１個あるという情報が格納されている。
＜３−２−４．共起情報＞
実施形態２における共起情報２８００は、クラスタと物体クラスタとの間の関係を示す情報である。
ここではまず共起について説明し、続いて共起情報２８００について説明する。
実施形態２では、１つの画像において「クラスタＡに属するオブジェクトが含まれる」という事象と「物体クラスタＢに属する共起物体が含まれる」という事象とが共起していることを、クラスタＡと物体クラスタＢとが共起しているというものとする。すなわち、１つの画像中にクラスタＡに属するオブジェクトと物体クラスタＢに属する共起物体とが共に含まれているとき、クラスタＡと物体クラスタＢとが共起しているとする。
また、クラスタＡと物体クラスタＢとが共起しているとき、クラスタＡと物体クラスタＢとの間に共起関係があるといい、特に「クラスタＡに属するオブジェクトが含まれる」という事象が起きた場合に「物体クラスタＢに属する共起物体が含まれる」という事象が起きるとき、クラスタＡから物体クラスタＢに対する共起関係があるという。
共起情報２８００は、クラスタの物体クラスタに対する共起関係に関する情報であり、共起情報生成部２１０ａにより生成され、確度算出部２１２ａで使用される。
図２８は共起情報２８００のデータ構成及び内容例である。共起情報２８００は、どのクラスタからどの物体クラスタに対する共起関係が画像群３００の全画像においてどの程度あるかを示す共起度２８０１により構成されている。
共起度２８０１は、ここでは画像群３００の中で共起関係が検出された回数とする。クラスタＡの物体クラスタＢに対する共起度２８０１というと、画像群３００の中でクラスタＡの物体クラスタＢに対する共起関係が検出された回数である。
図２８の例では、クラスタＣ００１の、物体クラスタＢＣ００１に対する共起度２８０１は０、物体クラスタＢＣ００２に対する共起度２８０１は３、物体クラスタＢＣ００３に対する共起度２８０１は５である。
前述の例において、クラスタＣ００１の物体クラスタＢＣ００２に対する共起度２８０１が３であるのは、クラスタＣ００１に属するオブジェクトが含まれる画像に物体クラスタＢＣ００２に属する共起物体が含まれる回数が３回であることを意味する。
＜３−３．動作＞
図２９は、変形画像管理装置２３００の動作を示したフローチャートである。ただし、画像管理装置１００と同じ動作の部分は図１８と同じ符号を割り当てている。
変形画像管理装置２３００の動作は画像管理装置１００の動作に対して、オブジェクトの分類処理（Ｓ１８０３）の後に、共起物体の検出処理（Ｓ２９０１）と共起物体の分類処理（Ｓ２９０２）とが追加され、共起情報２８００の生成処理（Ｓ１８０７）及び評価値１４０１の算出処理（Ｓ１８０８）の内容が変更されている（それぞれＳ１８０７ａ、Ｓ１８０８ａ）。
以下では、画像管理装置１００と動作の異なる部分である共起物体の検出処理（Ｓ２９０１）、共起物体の分類処理（Ｓ２９０２）、共起情報２８００の生成処理（Ｓ１８０７ａ）、評価値１４０１の算出処理（Ｓ１８０８ａ）について説明する。
＜３−３−１．共起物体の検出処理＞
ここでは、物体検出部２４０１が行う共起物体の検出処理（Ｓ２９０１）について述べる。
物体検出部２４０１は、まず共起物体を検出する対象の画像から物体特徴量を抽出する。画像から物体特徴量を抽出する方法にはオブジェクトの検出処理における特徴量の抽出方法と同じく、Ｇａｂｏｒフィルタを用いて画像データの画素値の分布の周期性や方向性などの特徴量を抽出する方法がある。
次に物体検出部２４０１は、物体検出部２４０１が持つテンプレートと照合して、共起物体を検出する。ここでは、抽出された物体特徴量が、テンプレートが持つ物体特徴量のパターンに当てはまる場合に共起物体が検出される。
物体検出部２４０１が検出した共起物体に対しては、共起物体を検出した順番に１から番号を振り、その番号の先頭にアルファベットの“Ｂ”を付加した物体ＩＤ２５０２を付与する。
そして物体検出部２４０１は、共起物体の検出対象とした画像の画像ＩＤ３０１と、その画像において検出した全共起物体の物体ＩＤ２５０２との組を物体出現情報２６００として物体出現情報記憶部２４０２に格納する。
図２５は、画像において物体を検出する例を示したものである。同図の例では、画像３０２ｄにおいて共起物体Ｂ００１、画像３０２ｅにおいて共起物体Ｂ００２、画像３０２ｆにおいて共起物体Ｂ００３がそれぞれ検出されており、画像３０２ｃにおいては共起物体は検出されていない。
前述の例において、物体検出部２４０１は画像データ３０２ｄから物体特徴量を抽出し、画像データ３０２ｄに対応する画像Ｉ００４において領域２５０１ａから抽出した物体特徴量が、テンプレートで定められる基準を満たしているため、領域２５０１ａから共起物体を検出している。
領域２５０１ａから検出した共起物体に対して、物体検出部２４０１はＢ００１の物体ＩＤ２５０２を付与している。
そして、物体検出部２４０１は図２６のように物体出現情報２６００を物体出現情報記憶部２４０２に格納している。
＜３−３−２．共起物体の分類処理＞
ここでは、物体分類部２４０３が行う共起物体の分類処理（Ｓ２６０２）について述べる。
物体分類部２４０３は、物体検出部２４０１が検出した全共起物体を、物体検出部２４０１が抽出した各共起物体の物体特徴量により物体クラスタに分類する。
共起物体を物体クラスタに分類する方法には、例えばＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（以下、「ＳＶＭ」という）にかける方法がある。ＳＶＭは、予め与えられた学習データを元に分類を行う手法の１つである。
分類した結果の物体クラスタ分類情報２７００は物体クラスタ分類情報記憶部２４０４に格納される。全共起物体を物体クラスタに分類した後の物体クラスタ分類情報２７００の一例を図２７に示す。
＜３−３−３．共起情報の生成処理＞
ここでは、共起情報生成部２１０ａが画像群３００について行う共起情報２８００の生成処理（Ｓ１８０７ａ）について述べる。
共起情報生成部２１０ａは、画像群３００の各画像におけるクラスタの物体クラスタに対する共起関係を検出して全クラスタと全物体クラスタとの共起情報２８００を生成する。なお、ここでは１つの画像について共起関係を検出して共起情報２８００を更新する処理を共起関係検出処理ということとする。
図３０は、共起情報生成部２１０ａが共起情報２８００を生成するときのフローチャートであり、ステップＳ１８０７ａの詳細を示したものである。なお、共起情報２８００の生成処理を始める前には共起度２８０１は全て０で初期化されているものとする。
まず、画像群３００の中の１つの画像ｋについて、オブジェクト出現情報記憶部２０５に格納されているオブジェクト出現情報５００から、画像ｋにオブジェクトが含まれているか否かを判定する（Ｓ３００１）。
オブジェクトが含まれていた場合は、後述する画像ｋについての共起関係検出処理を行う。オブジェクトが含まれていなかった場合は、なんら処理を行わずに画像ｋについての共起関係検出処理が終了したものとする。
画像ｋについての共起関係検出処理が終了したのち、いまだ共起関係検出処理を行っていない画像が存在するか否かを判定する（Ｓ３００２）。存在する場合は、その画像のうち１つを次の画像ｋとし、Ｓ３００１に戻る。存在しない場合は、共起情報生成部２１０ａは画像群３００についての共起情報２８００の生成処理を終了する。
画像ｋについての共起関係検出処理は、以下のように行う。
まず物体出現情報記憶部２４０２に格納されている物体出現情報２６００から、画像ｋの中に共起物体が含まれているか否かを判定する（Ｓ３００３）。
共起物体が含まれていなかった場合には、なんら処理を行わずに画像ｋについての共起関係検出処理が終了したものとする。
共起物体が含まれていた場合には、それぞれのオブジェクトが属するクラスタのそれぞれの共起物体が属する物体クラスタに対する共起関係があるといえる。
例えば、画像３０２ｆにおいては、領域４０１ｉから検出されたオブジェクト（以下、オブジェクトＯ００９とする）と物体Ｂ００３とが共に含まれている。そのため、画像３０２ｆにおいては、オブジェクトＯ００９の属するクラスタの物体Ｂ００３の属する物体クラスタに対する共起関係が１つあるといえる。
オブジェクトと共起物体とが共に含まれていた場合は、次のように共起関係検出処理を行うものとする。ただしここで、オブジェクトａの属するクラスタＡの、共起物体ｂの属する物体クラスタＢに対する共起関係を検出するとき、オブジェクトａを共起元オブジェクト、共起物体ｂをオブジェクトａの共起先物体とそれぞれいうこととする。
まず画像ｋに含まれるオブジェクトの中から、いまだ共起元オブジェクトとして使用していないオブジェクトａを選び出す。そしてオブジェクトａが属するクラスタＡをクラスタ分類情報記憶部２０９に格納されているクラスタ分類情報９００から取得する（Ｓ３００４）。
次に、画像ｋに含まれる共起物体の中から、いまだオブジェクトａの共起先物体として使用していない共起物体ｂを選び出す。そして、共起物体ｂが属する物体クラスタＢを取得する（Ｓ３００５）。これにより共起元オブジェクトａと共起先物体ｂから共起関係を検出したものとし、クラスタＡのクラスタＢに対する共起度１１０１を１増やす（Ｓ３００６）。これにより共起物体ｂはオブジェクトａの共起先物体として使用が終了したものとする。
更に画像ｋ中に、いまだオブジェクトａの共起先物体として使用していない共起物体が存在するか否かを判定する（３００７）。
存在する場合は、その共起物体のうち１つを次の共起先物体ｂとし、Ｓ３００５に戻る。存在しない場合は、オブジェクトａは共起元オブジェクトとしての使用が終了したものとする。
オブジェクトａの共起元オブジェクトとしての使用が終了したら、画像ｋ中に更にいまだ共起元オブジェクトとして使用していないオブジェクトが存在するか否かを判定する（Ｓ３００８）。存在する場合、そのオブジェクトのうち１つを次のオブジェクトａとし、Ｓ３００４に戻る。存在しない場合、画像ｋについての共起関係検出処理を終了する。
＜３−３−４．評価値の算出処理＞
ここでは、評価値算出部２１３が行う評価値１４０１の算出処理（Ｓ１８０８ａ）について述べる。
評価値算出部２１３は実施形態１と同様の方法で、オブジェクトのクラスタに対する評価値１４０１を算出する。ただし、オブジェクトのクラスタに対する確度１３０１は確度算出部２１２ａで算出したものを用いる。確度算出部２１２ａでの確度１３０１の算出処理については以下で述べる。
＜３−３−５．確度の算出処理＞
ここでは確度算出部２１２ａが行う確度１３０１の算出処理について述べる。
確度算出部２１２ａは、オブジェクトのクラスタに対する確度１３０１を算出する。画像ｋに含まれているあるオブジェクトｊのあるクラスタＩに対する確度１３０１を求める場合の確度算出部２１２ａの動作を示したフローチャートを図３１に示す。
まず、画像ｋ中に共起物体が含まれるか否かを、物体出現情報記憶部２４０２に格納されている物体出現情報２６００から判定する（Ｓ３１０１）。含まれなかった場合には、オブジェクトｊのクラスタＩに対する確度１３０１は０とする（Ｓ３１０８）。含まれていた場合には、共起度２８０１に基づいて確度１３０１を算出する。
共起度２８０１に基づく確度１３０１の算出処理は以下のように行う。
オブジェクトｊが含まれる画像ｋ中に共起物体が含まれていた場合には、確度算出部２１２ａは確度１３０１を、クラスタＩの、画像ｋ中に存在する共起物体の１つである共起物体ｘの属する物体クラスタＸに対する共起度２８０１を用いて算出されるオブジェクトｊのクラスタＩに対する確信度と支持度と、類似度算出部２１１で算出したオブジェクトｊのクラスタＩに対する類似度１２０１とに基づいて算出する。
まず、画像ｋ中に含まれる共起物体から、オブジェクトｊのクラスタＩに対する確度１３０１の算出処理に使用していない共起物体ｘを選び出す（Ｓ３１０２）。
選び出した共起物体ｘの属する物体クラスタＸを物体クラスタ分類情報記憶部２４０４に格納されている物体クラスタ分類情報２７００から取得する（Ｓ３１０３）。そして、クラスタＩの物体クラスタＸに対する共起度２８０１から、クラスタＩの物体クラスタＸに対する後述の共起確信度３２０１、クラスタＩの物体クラスタＸに対する後述の共起支持度３３０１を算出する（Ｓ３１０４）。
ここで、クラスタＩの物体クラスタＸに対する共起確信度３２０１はクラスタＩのクラスタＸに対する共起度２８０１の、物体クラスタＸに属するオブジェクトの個数２７０２に対する割合として算出される。また、クラスタＩの物体クラスタＸに対する共起支持度３３０１はクラスタＩの物体クラスタＸに対する共起度２８０１の、全オブジェクトの数と全共起物体の数との和に対する割合として算出される。
こうして算出したクラスタＩの、共起物体ｘが属する物体クラスタＸに対する共起確信度３２０１と共起支持度３３０１を、それぞれオブジェクトｊのクラスタＩに対する共起物体ｘについての共起確信度、オブジェクトｊのクラスタＩに対する共起物体ｘについての共起支持度ということにする。
オブジェクトｊのクラスタＩに対する共起物体ｘについての共起確信度及び共起支持度を算出したら、共起物体ｘはオブジェクトｊのクラスタＩに対する確度１３０１の算出処理への使用が終了したものとする。
そして、画像ｋ中にオブジェクトｊのクラスタＩに対する確度１３０１の算出処理に使用していない共起物体が更にあるか否かを判定する（Ｓ３１０５）。
ある場合にはＳ３１０２に戻り、ない場合には、画像ｋ中に含まれる共起物体のうち、最も共起支持度が高かった共起物体についての共起確信度及び共起支持度を、オブジェクトｊのクラスタＩに対する確信度及び支持度とする（Ｓ３１０６）。
こうして算出した確信度と支持度と、そして類似度算出部２１１で算出したオブジェクトｊのクラスタＩに対する類似度１２０１とを、確度１３０１を算出する公式に代入して確度１３０１を算出する（Ｓ３１０７）。
ここでは確度１３０１を算出する公式は、画像中にオブジェクトと共起物体とが存在する場合の統計に基づくロジスティック回帰分析を予め行うことにより、係数を定めておいたロジスティック回帰の式とし、確度の算出に対し影響力の大きい説明変数ほど係数が大きくなる。
なお、クラスタＩの物体クラスタＸに対する共起確信度３２０１及び共起支持度３３０１は、物体クラスタＸに属する共起物体が画像中に含まれるという条件に対する、クラスタＩに属するオブジェクトが同じ画像中に含まれるという結論の確信度及び支持度とする。
図３２の例では、クラスタＣ００１の物体クラスタＢＣ００２に対する共起確信度３２０１は０．６０である。これは、物体クラスタＢＣ００２に属する共起物体が画像中に含まれるという事象が発生したときに、クラスタＣ００１に属するオブジェクトが同じ画像中に含まれるという事象が６０％の割合で発生することを意味する。
図３３の例では、クラスタＣ００１の物体クラスタＢＣ００２に対する共起支持度３３０１は０．００８である。これは、全オブジェクトと全共起物体との中から１つのオブジェクト又は共起物体を選んだときに、そのオブジェクト又は共起物体が物体クラスタＢＣ００２に属する共起物体でありなおかつその共起物体が含まれる画像中にクラスタＣ００１に属するオブジェクトが共に含まれるという事象が０．８％の割合で発生することを意味する。
＜３−４．実施形態２の効果＞
実施形態２に係る変形画像管理装置２３００は、画像管理装置１００と同様に、膨大な枚数の画像から関心の高い重要な人物が写っている画像を容易に選択できる。
ここで、同一人物である可能性を評価する方法として、人物以外の物体との共起関係を用いるため、人物が自動車や建物などの物体と共に画像に写っている場合に、オブジェクトが正しく同一人物と判定されたときにより近いオブジェクト重要度と評価することができる。
＜３−５．変形例（実施形態１、２の組み合わせ）＞
実施形態２の変形例として、クラスタの物体クラスタに対する共起関係を用いた確度１３０１の算出処理に、実施形態１で行うこととしたクラスタ間の共起関係を用いた確度１３０１の算出処理を加えた画像管理装置について説明する。
この方法を用いた画像管理装置は、上述の変形画像管理装置２３００に、実施形態１の画像管理装置１００の共起情報生成部２１０を加え、確度算出部２１２ａの動作を変更したものである。
動作を変更された確度算出部２１２ａが画像ｋ中に含まれるオブジェクトｊのクラスタＩに対する確度１３０１の算出を行う処理のフローチャートを図３４に示す。
まず、オブジェクトｊが含まれる画像ｋ中に存在するオブジェクトの数を、オブジェクト出現情報記憶部２０５に格納されているオブジェクト出現情報５００から調べる。そしてオブジェクトの数が１か２以上かによって場合分けを行う（Ｓ３４０１）。
２以上であった場合にはクラスタＩの、共に含まれるオブジェクトの属するクラスタに対する共起度１１０１に基づいて確度１３０１を算出する。この処理は、実施形態１におけるステップＳ２００２〜Ｓ２００７の処理と同様である。
１であった場合には、画像ｋ中に共起物体が含まれるか否かを、物体出現情報記憶部２４０２に格納されている物体出現情報２６００から判定する（Ｓ３１０１）。
含まれていた場合にはクラスタＩの、共に含まれる共起物体の属する物体クラスタに対する共起度２８０１に基づいて確度１３０１を算出する。この処理は、実施形態２におけるステップＳ３００４〜Ｓ３００８の処理と同様である。
含まれなかった場合にはクラスタＩの非共起度１１０２に基づいて確度１３０１を算出する。この処理は、実施形態１におけるステップＳ２００８〜Ｓ２００９の処理と同様である。
上記の変形例に係る画像管理装置は、可能な限り人物同士の共起関係を用いて画像重要度を評価し、人物同士の共起関係を用いることができない画像に対しては共起物体との共起関係又は人物が１人で写っている回数を元に画像重要度を評価する。
＜４．実施形態３＞
本発明の実施形態３として、実施形態１において類似度と確信度と支持度とに基づいて確度１３０１を算出していたところを、更に、クラスタの信頼度にも基づいて確度１３０１を算出する方式に変更した変形画像管理装置３５００について説明する。ここで、クラスタの信頼度とは、クラスタに属する各オブジェクトのオブジェクト特徴量が、当該クラスタのクラスタ特徴量にどの程度集中しているか、つまりクラスタに属する各オブジェクトのオブジェクト特徴量の偏差の大きさが総合的にどの程度小さいかを示すものである。例えばクラスタＣ００１では、図７に示すように、クラスタＣ００１のクラスタ特徴量７０２ａと、クラスタＣ００１に属する各オブジェクトのオブジェクト特徴量である６０１ａ、６０３ｃ及び６０１ｆとの距離が特徴量の差の大きさを示す。つまり、クラスタ特徴量と当該クラスタに属する各オブジェクトのオブジェクト特徴量との距離が近いほど、各オブジェクトのオブジェクト特徴量のクラスタ特徴量に対する集中度合いが高く、クラスタの信頼度が高いことを示す。
クラスタの信頼度が高い場合、つまり特徴量の集中度合いが高い場合は、そのクラスタは同一の人物で構成されている可能性が高く、そのクラスタのクラスタ特徴量を基に算出する類似度や共起度の信頼性も高くなる。一方、クラスタの信頼度が低い場合、つまり特徴量の集中度合いが低い場合は、そのクラスタには複数の人物が含まれている可能性が高く、そのクラスタのクラスタ特徴量を基に算出する類似度や共起度の信頼性も低くなる。そのため、確度１３０１の算出にクラスタの信頼度を用いることにより、より高い精度でオブジェクトの重要度を評価することができる。
＜４−１．構成＞
変形画像管理装置３５００のハードウェア構成は、実施形態１の画像管理装置１００と同じである。
図３５は、変形画像管理装置３５００の全体としての機能構成を示した図である。ただし、周辺装置は記載を省略し、画像管理装置１００と同等の機能を持つ機能ブロックは図２と同じ符号を割り当てている。
変形画像管理装置３５００は画像管理装置１００に対して、クラスタの信頼度を算出する信頼度算出部３５０１を追加し、確度算出部２１２を確度算出部２１２ｂに変更している。以下では、画像管理装置１００との差に当たる部分を説明する。
信頼度算出部３５０１は、全クラスタについて、当該クラスタの信頼度を算出する機能を有する。信頼度の算出方法の詳細については後述する。
確度算出部２１２ｂは、評価値算出部２１３で評価値１４０１の算出処理に使用される確度１３０１を、確度算出部２１２で用いた共起情報１１００と類似度１２０１とに加え、更に、信頼度算出部３５０１が算出した信頼度３６０１とに基づいて算出する機能を有する。
＜４−２．データ＞
＜４−２−１．信頼度情報＞
信頼度情報３６００は、クラスタごとの信頼度３６０１を示す情報である。信頼度算出部３５０１により生成、更新され、確度算出部２１２ｂにより使用される。
図３６は、信頼度情報３６００のデータ構成及び内容例である。
ここでは、クラスタのクラスタ特徴量と当該クラスタに属する各オブジェクトのオブジェクト特徴量との差の合計を、当該クラスタに属するオブジェクトの数で除算した値の逆数を、当該クラスタの信頼度とする。ここで、各特徴量は複数の成分で構成されているため、クラスタとオブジェクトとの各特徴量成分の差を二乗したものを合計し、その値の平方根をクラスタ特徴量とオブジェクト特徴量との差とする。
「Ｐｃ」をクラスタ特徴量、「Ｐｏ」をオブジェクト特徴量、「ｎ」をクラスタに属するオブジェクトの数、「ｍ」を特徴量成分の数とすると、クラスタの信頼度は（数１）で表せられる。
＜４−３．動作＞
図３７は、変形画像管理装置３５００の動作を示したフローチャートである。ただし、画像管理装置１００と同じ動作の部分は図１８と同じ符号を割り当てている。
変形画像管理装置３５００の動作は画像管理装置１００の動作に対して、オブジェクトの分類処理（Ｓ１８０３）の後に、信頼度３６０１の算出処理（Ｓ３７０１）が追加され、評価値１４０１の算出処理に用いる確度１３０１の算出処理の内容が変更されている（Ｓ１８０８ｂ）。
以下では、画像管理装置１００と動作の異なる部分である信頼度の算出処理（Ｓ３７０１）、評価値の算出処理に用いる確度の算出処理（Ｓ１８０８ｂ）について説明する。
＜４−３−１．信頼度の算出処理＞
以下、信頼度３６０１の算出処理について説明する。
図３８に、信頼度３６０１の算出処理に係るフローチャートを示す。
まず、信頼度算出部３５０１は、クラスタのクラスタ特徴量をクラスタ特徴量記憶部２０８から取得し（ステップＳ３８０１）、クラスタ分類情報９００より当該クラスタに属するオブジェクトの一つに着目する（ステップＳ３８０２）。その後、オブジェクト特徴量記憶部２０６より、着目したオブジェクトのオブジェクト特徴量を取得し（ステップＳ３８０３）、取得したオブジェクト特徴量とクラスタ特徴量との差を算出する（ステップＳ３８０４）。例えば、クラスタＣ００１とオブジェクトＯ００１との特徴量の差は、特徴量成分１の差の二乗（９４．４−９０．３）２、特徴量成分２の差の二乗（９０．２−９８．４）２、特徴量成分３の差の二乗（７９．８−７１．４）２の合計の平方根である１２．４３となる。当該クラスタに属する全てのオブジェクトのオブジェクト特徴量とクラスタ特徴量との差を算出するまでステップＳ３８０１からステップＳ３８０５の処理を繰り返す。
当該クラスタに属する全てのオブジェクトのオブジェクト特徴量とクラスタ特徴量との差を算出したら、算出した差を合計し、その値を当該クラスタに属するオブジェクトの数で除算する（ステップＳ３８０６）。得られた値の逆数を、当該クラスタの信頼度とする（ステップＳ３８０７）。クラスタ分類情報９００に登録されている全てのクラスタについて信頼度を算出するまで、ステップＳ３８０１からステップＳ３８０８の処理を繰り返す。
＜４−３−２．確度の算出処理＞
ここでは確度算出部２１２ｂが行う確度１３０１の算出処理について述べる。
図３９に、確度算出処理のフローチャートを示す。ここでの確度算出処理は、図２０に示す確度算出処理のステップＳ２００６の後ろに、オブジェクトｊが属するクラスタの信頼度と、最も支持度の高いオブジェクトの属するクラスタの信頼度を取得する処理（ステップＳ３９０１）を追加し、ステップＳ２００７で行った確度の算出処理を、類似度、確信度、支持度に加え、ステップＳ３９０１で取得した信頼度を用いた確度の算出処理（ステップＳ３９０２）に置き換えたものである。
以下、図２０との違いを中心に説明する。
画像ｋ中に、２以上のオブジェクトが含まれていた場合、実施形態１と同様に、オブジェクトｊが属するクラスタと共起するオブジェクトの中で最も支持度が高いクラスタの確信度と支持度とを選出する（ステップＳ２００１〜ステップＳ２００６）。
その後、オブジェクトｊが属するクラスタＩの信頼度と、最も支持度が高いクラスタの信頼度とを信頼度情報３６００から取得する（ステップＳ３９０１）。
ステップＳ２００６で選出した確信度と支持度と、類似度算出部２１１で算出したオブジェクトｊのクラスタＩに対する類似度１２０１と、ステップＳ３９０１で取得したオブジェクトｊが属するクラスタＩの信頼度と、最も支持度が高いクラスタの信頼度とを、確度１３０１を算出する公式に代入して確度１３０１を算出する（ステップＳ３９０２）。ここでの公式は、画像中に複数のオブジェクトが存在する場合の統計に基づくロジスティック回帰分析を予め行うことにより、係数を定めておいたロジスティック回帰の式とし、確度の算出に対し影響力の大きい説明変数ほど係数が大きくなる。
画像ｋ中に、オブジェクトｊのみが含まれていた場合、オブジェクトｊの属するクラスタＩの非共起度に基づいて確信度と支持度とを算出する（ステップＳ２００８）。
その後、信頼度情報３６００よりクラスタＩの信頼度を取得する（ステップＳ３９０３）。ステップＳ２００８で算出した確信度と支持度と、類似度算出部２１１で算出したオブジェクトｊのクラスタＩに対する類似度１２０１と、ステップＳ３９０３で取得したオブジェクトｊが属するクラスタＩの信頼度とを、確度１３０１を算出する公式に代入して確度１３０１を算出する（ステップＳ３９０４）。ここでの公式は、画像中に単独でオブジェクトが存在する場合の統計に基づくロジスティック回帰分析を予め行うことにより、係数を定めておいたロジスティック回帰の式とし、確度の算出に対し影響力の大きい説明変数ほど係数が大きくなる。
その後は、実施形態１と同様に、ある一つのオブジェクトがある一つのクラスタについて、当該クラスタに属する確度とクラスタに属するオブジェクトの数から当該クラスタに対する評価値を求め、当該オブジェクトの各クラスタに対する評価値の合計を当該オブジェクトのオブジェクト重要度とする。各画像について、画像内のオブジェクトのオブジェクト重要度の合計を画像重要度として、画像重要度の高い順番に各画像を表示する。
＜５．補足＞
以上、本発明に係る画像管理装置について実施形態に基づいて説明したが、本発明は上述の実施形態で示した通りの画像管理装置に限られないことはもちろんである。
（１）実施形態１〜３では、画像管理装置を例にして説明したが、本発明は画像の管理を主として行う装置に限るものではない。例えば、ファイルサーバなどの静止画又は動画を蓄積する記憶装置、静止画及び動画の再生装置、デジタルカメラ、カメラ付携帯電話やムービーカメラなどの撮影装置及びパーソナルコンピュータ（ＰＣ）などに替えても良い。要は、画像を管理できる装置であれば何に適用しても良い。
（２）実施形態１〜３では、画像取得部２０１はＵＳＢ入力端子を備え、ＵＳＢケーブルなどのケーブルを介して画像群を撮影装置１１０から取得するものとしたが、画像が取得できるならば必ずしもＵＳＢ入力端子から画像を取得する必要はない。例えば、無線通信により画像群を入力しても良いし、メモリーカードなどの記録媒体を介して入力しても良い。
（３）実施形態１〜３では画像管理装置へ撮影装置１１０から画像群を入力するものとしたが、撮影装置に限る必要はなく、画像管理装置へ画像群を入力できればどのような装置でも良い。例えば、画像を蓄積しているファイルサーバからネットワークを通じて画像群を入力しても良い。要は、画像管理装置が画像群を取得できれば良い。
（４）実施形態１〜３では、画像取得部２０１は外部装置である撮影装置１１０から画像群を取得するものとしたが、画像群を画像管理装置の内部の構成要素から取得しても良い。例えば、画像管理装置自身がハードディスクなどの画像蓄積部を備え、画像取得部２０１は画像蓄積部から画像群を取得するものとしても良い。
（５）画像取得部２０１は評価対象の画像群を取得できれば、その画像群を一度に全て取得する必要はない。例えば、画像取得部２０１は画像を１枚又は数枚ずつ取得し、その都度画像群３００に画像を追加しても良い。
（６）実施形態１〜３では画像取得部２０１で取得した画像群３００を、画像データ３０２の持つ画素値も含めて全て画像記憶部２０２に格納したが、画像管理装置が処理をする間、処理対象の画像データ３０２が参照可能であれば、必ずしも画像記憶部２０２に全ての画像データ３０２を格納しておく必要はない。例えば、画像記憶部２０２には画像群３００の画像ＩＤ３０１及び処理中の画像１枚の画像データ３０２のみを格納しておいて、オブジェクト検出部２０３、物体検出部２４０１及び画像出力部２１７で必要になった画像データ３０２を、逐一外部装置から画像取得部２０１によって取得することにしても良い。要は、画像群３００を使用して処理を行う際に全画像に対してアクセスできる手段が装置内にあれば良い。
（７）実施形態１〜３では、画像を識別するのに画像取得部２０１により生成される画像ＩＤ３０１を用いたが、画像を１つ１つ識別することができれば画像ＩＤ３０１は必ずしも画像取得部２０１が生成する必要はない。例えば、画像をファイルとして取得した場合には、画像のファイル名を画像ＩＤ３０１としても良い。また、画像データ３０２をメモリ上に格納した際の画像データ３０２の先頭のメモリのアドレスを画像ＩＤ３０１としても良い。
（８）実施形態１〜３では、オブジェクトを人物の顔とし、テンプレートを人物の顔に係る特徴量のパターンを示すデータとしたが、人物の顔に限るものではない。例えば、オブジェクトをペットの動物とし、テンプレートを動物に関するパターンのデータに替えても良い。また、自動車や建物などの物体に関するテンプレートを用いて物体をオブジェクトとして検出しても良い。更には、テンプレートを用いないこととしても差し支えない。要は、オブジェクトを検出するための基準を持ち、その基準に基づいてオブジェクトを抽出できれば良い。
（９）実施形態１〜３では、オブジェクト分類部２０７はクラスタに分類されたオブジェクトのオブジェクト特徴量６０１からクラスタのクラスタ特徴量７０２を算出するとしたが、必ずしも算出する必要はない。例えば、クラスタ特徴量記憶部２０８に予めクラスタ特徴量７０２が格納されていた場合は、そのクラスタ特徴量７０２をそのまま用いることとし、変更しないことにしても良い。要は、オブジェクトのクラスタに対する類似度１２０１を算出するためのクラスタ特徴量７０２をクラスタが持っていれば良い。
（１０）実施形態１〜３では、クラスタ分類情報記憶部２０９は各クラスタに分類されているオブジェクトの個数をも記憶しているとしたが、必ずしもオブジェクトの個数を記憶する必要はない。例えば、クラスタに属するオブジェクトの個数を利用するときに、利用する側がそのクラスタに属するオブジェクトをその都度数え上げるとすると、クラスタ分類情報記憶部２０９はオブジェクトの個数を記憶する必要はない。要は、各クラスタに分類されているオブジェクトの個数を取得できれば良い。
（１１）実施形態１〜３では、画像重要度はその画像に含まれるオブジェクトのオブジェクト重要度１５０１を全て足し合わせ、重要なオブジェクトが多数含まれている画像を高く評価するものとしたが、これに限るものではない。例えば、画像に含まれるオブジェクトのオブジェクト重要度の平均としても良いし、最も高いオブジェクト重要度を選び出してその値をそのまま画像重要度としても良い。また、オブジェクトの画像に占める面積の割合で更に重み付けして評価しても良い。要は、画像に含まれるオブジェクトのオブジェクト重要度を用いて画像重要度を算出すれば良い。
（１２）実施形態１〜３では、画像重要度はオブジェクト重要度のみを用いて評価していたが、これに限るものではない。例えば、背景や撮影状況などに対しても重要度を評価し、オブジェクト重要度に加えてそれらの重要度を画像重要度の評価に用いても良い。要は、画像重要度の評価にオブジェクト重要度を用いれば、他の評価手段を更に組み合わせても良い。
（１３）実施形態１〜３では、画像群３００を画像重要度の高いものから降順に並べて表示装置１２０に出力するものとしたが、これに限るものではない。例えば、画像群３００を入力時と同じ順序のまま、画像重要度の値を画像のメタデータとして付加して出力しても良い。要は、画像重要度を評価すれば良い。
（１４）実施形態１〜３では、画像出力部２１７はＨＤＭＩ出力端子を備え、画像管理装置から表示装置１２０へＨＤＭＩケーブルを介して映像を出力するものとしたが、出力ができればこれに限るものではない。まず、ＨＤＭＩ出力端子によりＨＤＭＩケーブルを介して映像を出力することに限る必要はない。例えばＤＶＩケーブルにより表示装置１２０へ映像を出力しても良い。また、出力する対象は表示装置に限る必要はなく、出力内容も映像に限る必要はない。例えば、プリンタと接続して、画像重要度の高い画像を印刷するようにしても良い。また、外部記憶装置と接続して、画像重要度の値を画像のメタデータとして付加した画像ファイルを記録するようにしても良い。
（１５）実施形態１〜３では、画像管理装置はデータを記憶するためにメモリを備えるものとしたが、データを記憶する手段であればこれに限る必要はない。例えば、ハードディスクやその他のデータ記録媒体を用いるものとしても良い。
（１６）実施形態１〜３では、確度１３０１の算出にロジスティック回帰分析を用いたが、ロジスティック回帰分析に限る必要はない。類似度と共起情報とを用いて、または類似度と共起情報と信頼度とを用いて別の方法で算出しても良い。また、１つのオブジェクトの全クラスタに対する確度１３０１の総和は必ずしも１にはならないが、総和が１になるように確度１３０１を正規化しても良い。
（１７）実施形態１〜３では、共起情報を用いて確度を算出したが、必ずしも共起情報を用いる必要はない。例えば、類似度のみから確度を算出しても良いし、類似度と信頼度とから確度を算出しても良い。更には、確度を用いず類似度とクラスタに属するオブジェクトの個数とから評価値を算出しても良いし、類似度も用いずオブジェクトが属するクラスタに共に属するオブジェクトの数そのものをオブジェクト重要度としても良い。要は、オブジェクト重要度を評価するときに最低限そのオブジェクトが属するクラスタに共に属するオブジェクトの個数を用いていれば良い。
（１８）実施形態１〜３では、オブジェクトのクラスタに対する評価値を、そのオブジェクトのそのクラスタに対する確度とそのクラスタに属するオブジェクトの個数を掛け合わせて算出したが、この方法に限るものではない。例えば、そのオブジェクトが属するクラスタに対する評価値のみ更に２を掛けるなどして他のクラスタより重視する方法で算出するようにしても良い。要は、評価値を確度とクラスタに属するオブジェクトの個数とから算出すれば良い。
（１９）実施形態１〜３では、あるオブジェクトのオブジェクト重要度を、全クラスタに対する評価値を用いて評価したが、必ずしも全クラスタに対する評価値を用いる必要はない。例えば、そのオブジェクトとの類似度が所定値以上のクラスタについてのみ評価値を算出し、その評価値のみを用いることとしても良い。要は、オブジェクト重要度を評価するときに最低限そのオブジェクトが属するクラスタに共に属するオブジェクトの個数を用いていれば良い。
（２０）実施形態１〜３では、オブジェクトをクラスタに分類する方法としてＫ−ｍｅａｎｓ法を用いる方法を説明したが、オブジェクトをクラスタに分類できればＫ−ｍｅａｎｓ法に限るものではない。例えば、実施形態２で物体を分類する方法として説明したＳＶＭを用いる方法がある。また、クラスタ特徴量７０２はＫ−ｍｅａｎｓ法により自動的に算出されるものを用いたが、必ずしも自動的に算出されたクラスタ特徴量７０２を用いる必要はない。例えば、クラスタに属するオブジェクトの特徴量の中央値としても良い。
（２１）実施形態１、３では、あるオブジェクトのあるクラスタに対する確度を算出するときに、そのオブジェクトの含まれる画像中に他のオブジェクトが２つ以上含まれている場合には、最も支持度の高くなるオブジェクト１つのみを選んでその確信度及び支持度を計算に用いていたが、２つ以上を選んでそれらの確信度及び支持度を用いても良い。
（２２）実施形態１、３では、全クラスタの全クラスタに対する共起情報を生成したが、これに限るものではない。例えば、同じクラスタ同士の共起は共起情報として生成しないこととする変形例が考えられる。この変形例では、一のクラスタと１人の人物とを一対一に対応付けている場合、同一人物が同じ画像中に二人以上出現することは通常起こりえないので、これを無視することができる。また、クラスタＡのクラスタＢに対する共起度１１０１がわかっていれば、クラスタＢのクラスタＡに対する共起度１１０１もわかるため、どちらか一方を生成すれば事足りるので、一方の共起度１１０１のみを生成することとしても良い。例えば、クラスタＩＤに大小関係がある場合には、クラスタＩＤが小さいクラスタのクラスタＩＤが大きいクラスタに対する共起度１１０１のみを生成しても良い。
（２３）実施形態１、３では、１つの画像中にオブジェクトが１つだけ含まれている場合には非共起度１１０２を用いて確度を算出していたが、非共起度１１０２以外の基準によって確度を算出しても良い。例えば、類似度のみを用いて確度を算出するものとしても良いし、類似度と信頼度とを用いて確度を算出しても良い。
（２４）実施形態２では、共起物体の重要度を考えないものとしたが、共起物体の重要度を評価し、共起物体の重要度にも基づいて画像重要度を評価するものとしても良い。例えば、共起物体の重要度として、その共起物体と同じ物体クラスタに共に属する共起物体の個数を用い、画像の画像重要度はオブジェクト重要度の総和に更に共起物体の重要度を加えるものとしても良い。要は、画像の画像重要度の評価にオブジェクト重要度を用いていれば良い。
（２５）実施形態２では、物体クラスタ分類情報記憶部２４０４は各物体クラスタに分類されている共起物体の個数をも記憶しているとしたが、物体クラスタに属する物体の個数を取得できれば必ずしも物体の個数を記憶する必要はない。例えば、物体クラスタに属する物体の個数を利用するときに、利用する側がその物体クラスタに属する物体をその都度数え上げるとすると、物体クラスタ分類情報記憶部２４０４は物体の個数を記憶する必要はない。
（２６）実施形態２では、あるオブジェクトのあるクラスタに対する確度を算出するときに、そのオブジェクトの含まれる画像中に共起物体が２つ以上含まれている場合には、最も支持度の高くなる共起物体１つのみを選んでその確信度及び支持度を計算に用いていたが、２つ以上を選んでそれらの確信度及び支持度を用いても良い。
（２７）実施形態２では、共起物体を物体クラスタに分類する方法をＳＶＭとして説明したが、共起物体を物体クラスタに分類できるならＳＶＭに限るものではない。例えば、オブジェクトを分類する方法として説明したＫ−ｍｅａｎｓ法を用いても良い。
（２８）実施形態２では、画像中に物体が含まれていない場合にはその画像に含まれるオブジェクトのクラスタに対する確度を０にするものとしたが、必ずしも確度を０にする必要はない。例えば、画像中に物体が含まれていない場合にはオブジェクトのクラスタに対する確度を類似度のみによって算出するものとしても良い。
（２９）実施形態２では、オブジェクトの分類処理の後に、共起物体の検出処理と共起物体の分類処理とが追加されるものとしたが、画像を取得した後であり共起情報を生成する前であればいつでも良い。例えば、共起情報の生成処理の直前に共起物体の検出処理と共起物体の分類処理とを追加しても良い。
（３０）実施形態３では、クラスタとオブジェクトとの各特徴量成分の差を二乗したものを合計し、その値の平方根を、クラスタのクラスタ特等量とオブジェクトのオブジェクト特徴量との差として算出したが、これに限らず、例えば、クラスタとオブジェクトとの各特徴量成分の差の絶対値の相加平均を特徴量の差としてもよい。
（３１）実施形態３では、クラスタのクラスタ特徴量と当該クラスタに属する各オブジェクトのオブジェクト特徴量との差の合計を当該クラスタに属するオブジェクトの数で除算し、その値の逆数を信頼度として算出したが、これに限らず、例えば、クラスタのクラスタ特徴量と当該クラスタに属する各オブジェクトのオブジェクト特徴量とから分散や標準偏差等を算出し、その逆数を信頼度としてもよい。
（３２）実施形態１〜３では、Ｇａｂｏｒフィルタを用いて特徴量を抽出する方法を例に挙げたが、画像の特徴量を抽出できればどのような方法で特徴量を抽出してもかまわない。
（３３）上述の各実施形態及び各変形例を、部分的に組み合わせても良い。
（３４）本発明は、実施形態１〜３で示した画像重要度の評価処理等（図１８〜２０、図２９〜３１、図３４、図３７〜３９を参照）を画像管理装置のプロセッサ及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭなどがある。流通、頒布された制御プログラムはプロセッサに読み出されうるメモリなどに格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような機能が実現されるようになる。なお、制御プログラムの一部を画像管理装置とは別個のプログラム実行可能な装置（プロセッサ）に各種ネットワークを介して送信して、その別個のプログラム実行可能な装置においてその制御プログラムの一部を実行させることとしても良い。
（３５）画像管理装置を構成する構成要素の一部又は全部は、１又は複数の集積回路（ＩＣ、ＬＳＩなど）として実装されることとしても良く、画像管理装置の構成要素に更に他の要素を加えて集積回路化（１チップ化）されることとしても良い。
以下、更に本発明の一実施形態としての画像管理装置の構成及びその変形例と効果について説明する。
（ａ）本発明の一実施形態に係る画像管理装置は、図２に示すように、画像を取得する画像取得手段と、前記画像取得手段で取得した各画像において、画像に含まれるオブジェクトに該当する複数画素の画素値の分布に係る特徴量であるオブジェクト特徴量を所定の基準に基づいて抽出することによりオブジェクトを検出するオブジェクト検出手段と、前記画像取得手段で取得した各画像において検出された各オブジェクトを、各オブジェクトのオブジェクト特徴量に応じて、複数のクラスタのいずれかに分類するオブジェクト分類手段と、各オブジェクトについて、当該オブジェクトと同じクラスタに共に属するオブジェクトの個数の大小に基づいて、オブジェクトの重要度であるオブジェクト重要度を評価するオブジェクト重要度評価手段と、一の画像に含まれるオブジェクトのオブジェクト重要度に基づいて、当該一の画像の重要度を評価する画像重要度評価手段とを
備える。この構成により、画像管理装置は、前記所定の基準が人物の顔の特徴量を定めるものであれば、画像に含まれるオブジェクトである人物の顔の重要度に当たるオブジェクト重要度を、画像に含まれる顔の人物と同一人物であることを示すクラスタに属するオブジェクトの出現回数に基づいて求め、各画像に含まれるオブジェクトの重要度を反映するよう各画像の重要度を求めて、その画像重要度によって画像をランキングすることで、出現回数の多い人物が含まれている画像を上位に並べることができる。ユーザは、ランキングの上位から順に画像を探していくことで、膨大な枚数の画像から関心の高い重要な人物が写っている画像、つまり重要度が高い画像を容易に選択できる。
（ｂ）前記画像管理装置におけるオブジェクト重要度評価手段は、オブジェクトのオブジェクト重要度を、当該オブジェクトが属するクラスタと同じクラスタに属するオブジェクトの個数と、当該オブジェクトのオブジェクト特徴量と当該クラスタが示す特徴量の代表値であるクラスタ特徴量とがどの程度類似しているかを示す類似度とに基づいて算出される、当該オブジェクトの当該クラスタに対する評価値と、当該オブジェクトが属するクラスタとは別のクラスタについて、当該別のクラスタに属するオブジェクトの個数と、当該オブジェクトの特徴量と当該別のクラスタのクラスタ特徴量との類似度とに基づいて算出される、当該オブジェクトの当該別のクラスタに対する評価値とに基づいて評価することとしてもよい。この構成によると、同一人物のオブジェクトが誤ってそれぞれ別のクラスタに分類された場合においても、そのオブジェクトが属するクラスタと異なるクラスタについても、そのクラスタに属する人物と同一人物である可能性（確度）を類似度から算出し、そのクラスタに属するオブジェクトの個数を類似度から求めた確度で重み付けして用いてオブジェクト重要度を評価するため、オブジェクトが正しく同一人物と判定されたときにより近いオブジェクト重要度と評価することができる。そのため、より高い精度で画像重要度を評価できる。
（ｃ）前記画像管理装置におけるオブジェクト重要度評価手段は、評価対象である第１オブジェクトが含まれる画像中に、第２オブジェクトが共に含まれる場合には、第１オブジェクトの、当該第１オブジェクトが属するクラスタ又は当該第１オブジェクトが属さないクラスタである第１クラスタに対する評価値を更に、前記画像取得手段で取得した画像群の中で、当該第１クラスタに属するオブジェクトと、第２オブジェクトが属するクラスタと同じ第２クラスタに属するオブジェクトとが一の画像中に共に含まれるという事象の発生している程度である、当該第１クラスタと当該第２クラスタとの共起度にも基づいて算出することとしてもよい。この構成によると、オブジェクトが特徴量の類似度だけで計算して出現回数が多い人物と同一人物の可能性が低いと評価された場合にはその人物と同一人物であってもオブジェクト重要度が低く評価されてしまうことが考えられるが、上記のようにすることで、特徴量の類似度だけでなく人物同士の共起関係をも用いて同一人物である可能性を算出する。これにより、同じ人物でも写る向きが違う等で、特徴量だけではオブジェクトが別の人物の可能性が高いとされる場合においても、オブジェクトが正しく同一人物と判定されたときにより近いオブジェクト重要度と評価することができる。そのため、更に高い精度で画像重要度を評価できる。
（ｄ）前記画像管理装置におけるオブジェクト重要度評価手段は、評価対象である第１オブジェクトが含まれる画像中に、第２オブジェクトが共に含まれる場合には、前記第１クラスタと、第２オブジェクトが属するクラスタと同じ第２クラスタとの共起度の、当該第２クラスタに属するオブジェクトの個数に対する割合として算出される、当該第１オブジェクトの当該第１クラスタに対する確信度と、当該第１クラスタと当該第２クラスタとの共起度の、前記オブジェクト検出手段により検出された全オブジェクトの個数に対する割合として算出される、当該第１オブジェクトの当該第１クラスタに対する支持度と、当該第１オブジェクトの当該第１クラスタに対する類似度とに基づいて計算される、当該第１オブジェクトの当該第１クラスタに対する確度を算出し、第１オブジェクトの第１クラスタに対する評価値を、当該第１オブジェクトの当該第１クラスタに対する確度と、当該第１クラスタに属するオブジェクトの個数とから算出することとしてもよい。この構成によると、第１オブジェクトの第１クラスタに対する確信度と第１オブジェクトの第１クラスタに対する支持度と第１オブジェクトの第１クラスタに対する類似度とに基づいて第１オブジェクトの第１クラスタに対する確度を算出するため、算出した確度に基づいて第１オブジェクトの第１クラスタに対する評価値を算出することができる。
（ｅ）前記画像管理装置におけるオブジェクト重要度評価手段は、評価対象である第１オブジェクトが含まれる画像中に、第２オブジェクトが共に含まれる場合には、前記確度を、更に、第１クラスタの前記クラスタ特徴量と第１クラスタに属する各オブジェクトの前記オブジェクト特徴量との差に基づいて算出され、各オブジェクト特徴量がどの程度前記クラスタ特徴量に集中しているかを示す第１クラスタの信頼度と、第２クラスタの前記クラスタ特徴量と第２クラスタに属する各オブジェクトの前記オブジェクト特徴量との差に基づいて算出される第２クラスタの信頼度とにも基づいて算出することとしてもよい。この構成によると、第１オブジェクトの第１クラスタに対する確度を、第１クラスタの信頼度と第２クラスタの信頼度とにも基づいて算出するため、より高い精度で第１オブジェクトの第１クラスタに対する確度を算出することができる。
（ｆ）前記画像管理装置におけるオブジェクト重要度評価手段は、評価対象である第１オブジェクトが含まれる画像中に、第２オブジェクトが共に含まれる場合には、当該第１オブジェクトの第１クラスタに対する確度を、当該第１オブジェクトの当該第１クラスタに対する確信度と、当該第１オブジェクトの当該第１クラスタに対する支持度と、当該第１オブジェクトの当該第１クラスタに対する類似度と、当該第１クラスタの信頼度と、当該第２クラスタの信頼度とを説明変数として用いるロジスティック回帰を用いて計算することとしてもよい。ロジスティック回帰分析では、過去の実測値等に基づき、確度の算出に対する影響力の大きさにより各説明変数の係数が決定される。そのため、この構成によると、より高い精度で第１オブジェクトの第１クラスタに対する確度を算出することが可能となる。
（ｇ）前記画像管理装置におけるオブジェクト重要度評価手段は、評価対象である第１オブジェクトが含まれる画像中に、第２オブジェクトが共に含まれる場合には、当該第１オブジェクトの第１クラスタに対する確度を、当該第１オブジェクトの当該第１クラスタに対する確信度と、当該第１オブジェクトの当該第１クラスタに対する支持度と、当該第１オブジェクトの当該第１クラスタに対する類似度とを説明変数として用いるロジスティック回帰を用いて計算することとしてもよい。ロジスティック回帰分析では、過去の実測値等に基づき、確度の算出に対する影響力の大きさにより各説明変数の係数が決定される。そのため、この構成によると、より高い精度で第１オブジェクトの第１クラスタに対する確度を算出することが可能となる。
（ｈ）前記画像管理装置におけるオブジェクト重要度評価手段は、評価対象のオブジェクトが含まれる画像中に、当該オブジェクト以外にオブジェクトが含まれない場合には、評価対象のオブジェクトの、当該オブジェクトが属するクラスタ及び当該オブジェクトが属さないクラスタに対する評価値を更に、前記画像取得手段で取得した画像群の中で、一の画像中に当該クラスタに属するオブジェクトが単独で含まれるという事象の発生している程度である、当該クラスタの非共起度に基づいて算出することとしてもよい。この構成によると、オブジェクトが単独で画像に含まれる事象の発生している程度である非共起度に基づいてオブジェクトが属するクラスタ及び当該オブジェクトが属さないクラスタの評価値を算出するため、オブジェクトが単独で画像に含まれていた場合にも、オブジェクトがクラスタに属する可能性を算出することが可能となる。
（ｉ）前記画像管理装置におけるオブジェクト重要度評価手段は、評価対象のオブジェクトが含まれる画像中に、当該オブジェクト以外にオブジェクトが含まれない場合には、当該オブジェクトが属するクラスタ又は当該オブジェクトが属さないクラスタの非共起度の、当該クラスタに属するオブジェクトの個数に対する割合として算出される確信度と、当該クラスタの非共起度の、前記オブジェクト検出手段により検出された全オブジェクトの個数に対する割合として算出される支持度と、当該オブジェクトの当該クラスタに対する類似度とに基づいて計算される、当該オブジェクトの当該クラスタに対する確度を算出し、評価対象のオブジェクトの、当該オブジェクトが属するクラスタ及び当該オブジェクトが属さないクラスタに対する評価値を、当該オブジェクトの当該クラスタに対する確度と、当該クラスタに属するオブジェクトの個数とから算出することとしてもよい。この構成によると、第１オブジェクトの第１クラスタに対する非共起の確信度と第１オブジェクトの第１クラスタに対する非共起の支持度と第１オブジェクトの第１クラスタに対する類似度とに基づいて第１オブジェクトの第１クラスタに対する確度を算出するため、第１オブジェクトが第１クラスタに属する可能性を算出することができる。
（ｊ）前記画像管理装置におけるオブジェクト検出手段は、人物の顔に係る特徴量を抽出する基準によりオブジェクト特徴量を抽出することとしてもよい。この構成によると、人物の特徴を強く示す人物の顔をオブジェクトとして抽出するため、より正確にオブジェクトを分類できる可能性が高まり、その結果、ユーザにとって重要な人物が写っている画像を重要度の高い画像としてランキングすることができる。
（ｋ）前記画像管理装置は更に、各画像において、画像に含まれる物体に該当する複数画素の画素値の分布に係る特徴量である物体特徴量を所定の基準に基づいて抽出することにより物体を検出する物体検出手段と、前記画像取得手段で取得した各画像において検出された各物体を、各物体の物体特徴量に応じて、複数の物体クラスタのいずれかに分類する物体分類手段とを備え、前記オブジェクト重要度評価手段は、評価対象のオブジェクトの、当該オブジェクトが属するクラスタ及び当該オブジェクトが属さないクラスタに対する評価値を更に、当該オブジェクトが含まれる画像中に、１以上の物体が共に含まれる場合には、前記画像取得手段で取得した画像群の中で、当該クラスタに属するオブジェクトと、当該オブジェクトが含まれる画像に当該オブジェクトと共に含まれるうちの１つの物体が属する物体クラスタに共に属する物体とが一の画像中に共に含まれるという事象の発生する程度である、当該クラスタと当該物体クラスタとの共起度に基づいて算出することとしてもよい。ここで物体クラスタとは、物体を所定の基準に基づいて分類するときの分類の単位であり、各物体クラスタは互いに異なる物体特徴量の範囲に対応する。
この構成によると、例えば、画像に単独で写っている場合等、人物同士の共起関係では同一人物である可能性を判断しにくい場合にも、人物と物体との共起関係を用いて同一人物であるか否かを判断することが可能となる。
（ｌ）前記画像管理装置におけるオブジェクト分類手段は、Ｋ−ｍｅａｎｓ法により各オブジェクトをクラスタに分類することとしてもよい。この構成によると、オブジェクトの分類にＫ−ｍｅａｎｓ法を用いるため、単純なアルゴリズムで各オブジェクトをクラスタに分類することができる。
（ｍ）前記画像管理装置におけるオブジェクト重要度評価手段は、前記オブジェクト重要度を、前記オブジェクトが属するクラスタが示す特徴量の代表値であるクラスタ特徴量と、当該クラスタに属する各オブジェクトの前記オブジェクト特徴量との差に基づいて算出され、各オブジェクト特徴量がどの程度前記クラスタ特徴量に集中しているかを示すクラスタの信頼度にも基づいて算出することとしてもよい。この構成によると、オブジェクトが属するクラスタの信頼度と、当該クラスタに属するオブジェクトの個数によりオブジェクト重要度を算出するため、当該クラスタに属するオブジェクトの個数のみに基づいてオブジェクト重要度を算出するよりも高い精度でオブジェクト重要度を算出することが可能となる。
本発明に係る画像管理装置及び画像管理方法は、静止画又は動画を蓄積する装置、静止画及び動画の再生装置、デジタルカメラ、カメラ付携帯電話やムービーカメラなどの撮影装置及びＰＣなどに適用することができる。
１０ 画像管理システム
１００ 画像管理装置
１１０ 撮影装置
１２０ 表示装置
１３０ コントローラ
２０１ 画像取得部
２０２ 画像記憶部
２０３ オブジェクト検出部
２０４ テンプレート記憶部
２０５ オブジェクト出現情報記憶部
２０６ オブジェクト特徴量記憶部
２０７ オブジェクト分類部
２０８ クラスタ特徴量記憶部
２０９ クラスタ分類情報記憶部
２１０、２１０ａ 共起情報生成部
２１１ 類似度算出部
２１２、２１２ａ、２１２ｂ 確度算出部
２１３ 評価値算出部
２１４ オブジェクト重要度評価部
２１５ 画像重要度評価部
２１６ 画像ランキング部
２１７ 画像出力部
２１８ 操作入力部
７００ 特徴量空間
７０１ クラスタ
７０２ クラスタ特徴量
７０３ クラスタＩＤ
７０４ クラスタの境界
２３００ 変形画像管理装置
２３０１ 物体部
２４０１ 物体検出部
２４０２ 物体出現情報記憶部
２４０３ 物体分類部
２４０４ 物体クラスタ分類情報記憶部
３５００ 変形画像管理装置
３５０１ 信頼度算出部

Claims (16)

  1. 画像群を取得する画像取得手段と、
    前記画像取得手段で取得した各画像において、画像に含まれるオブジェクトを検出するオブジェクト検出手段と、
    前記画像取得手段で取得した各画像において検出された各オブジェクトを、各オブジェクトのオブジェクト特徴量に応じて、複数のクラスタのいずれかに分類するオブジェクト分類手段と、
    各オブジェクトについて、当該オブジェクトと前記クラスタとの関連の高さを示す確度と当該オブジェクトと同じクラスタに共に属するオブジェクトの個数の大小とに基づいて算出される評価値を用いて、オブジェクトの重要度であるオブジェクト重要度を評価するオブジェクト重要度評価手段と、
    一の画像に含まれるオブジェクトのオブジェクト重要度に基づいて、当該一の画像の重要度を評価する画像重要度評価手段と
    を備え、
    前記オブジェクト重要度評価手段は、
    前記クラスタ間の共起に関する情報であって、前記画像群において共起関係が検出された回数に基づく共起度を含む共起情報と、前記オブジェクトのオブジェクト特徴量と前記クラスタのクラスタ特徴量とがどの程度近い値を持つかを示す類似度とに基づいて前記確度を算出する
    ことを特徴とする画像管理装置。
  2. 前記オブジェクト重要度評価手段は、
    オブジェクトのオブジェクト重要度を、
    当該オブジェクトが属するクラスタと同じクラスタに属するオブジェクトの個数と、当該オブジェクトのオブジェクト特徴量と当該クラスタが示す特徴量の代表値であるクラスタ特徴量とがどの程度類似しているかを示す類似度とに基づいて算出される、当該オブジェクトの当該クラスタに対する評価値と、
    当該オブジェクトが属するクラスタとは別のクラスタについて、当該別のクラスタに属するオブジェクトの個数と、当該オブジェクトの特徴量と当該別のクラスタのクラスタ特徴量との類似度とに基づいて算出される、当該オブジェクトの当該別のクラスタに対する評価値とに基づいて評価する
    ことを特徴とする請求項１に記載の画像管理装置。
  3. 前記オブジェクト重要度評価手段は、
    評価対象である第１オブジェクトが含まれる画像中に、第２オブジェクトが共に含まれる場合には、
    前記第１クラスタと、第２オブジェクトが属するクラスタと同じ第２クラスタとの共起度の、当該第２クラスタに属するオブジェクトの個数に対する割合として算出される、当該第１オブジェクトの当該第１クラスタに対する確信度と、
    当該第１クラスタと当該第２クラスタとの共起度の、前記オブジェクト検出手段により検出された全オブジェクトの個数に対する割合として算出される、当該第１オブジェクトの当該第１クラスタに対する支持度と、
    当該第１オブジェクトの当該第１クラスタに対する類似度と
    に基づいて、当該第１オブジェクトの当該第１クラスタに対する確度を算出する
    ことを特徴とする請求項２に記載の画像管理装置。
  4. 前記オブジェクト重要度評価手段は、
    評価対象である第１オブジェクトが含まれる画像中に、第２オブジェクトが共に含まれる場合には、
    前記確度を、更に、第１クラスタの前記クラスタ特徴量と第１クラスタに属する各オブジェクトの前記オブジェクト特徴量との差に基づいて算出され、各オブジェクト特徴量がどの程度前記クラスタ特徴量に集中しているかを示す第１クラスタの信頼度と、第２クラスタの前記クラスタ特徴量と第２クラスタに属する各オブジェクトの前記オブジェクト特徴量との差に基づいて算出される第２クラスタの信頼度とにも基づいて算出する
    ことを特徴とする請求項３に記載の画像管理装置。
  5. 前記オブジェクト重要度評価手段は、
    評価対象である第１オブジェクトが含まれる画像中に、第２オブジェクトが共に含まれる場合には、
    当該第１オブジェクトの第１クラスタに対する確度を、
    当該第１オブジェクトの当該第１クラスタに対する確信度と、
    当該第１オブジェクトの当該第１クラスタに対する支持度と、
    当該第１オブジェクトの当該第１クラスタに対する類似度と、
    当該第１クラスタの信頼度と、
    当該第２クラスタの信頼度と
    を説明変数として用いるロジスティック回帰を用いて計算する
    ことを特徴とする請求項４に記載の画像管理装置。
  6. 前記オブジェクト重要度評価手段は、
    評価対象である第１オブジェクトが含まれる画像中に、第２オブジェクトが共に含まれる場合には、
    当該第１オブジェクトの第１クラスタに対する確度を、
    当該第１オブジェクトの当該第１クラスタに対する確信度と、
    当該第１オブジェクトの当該第１クラスタに対する支持度と、
    当該第１オブジェクトの当該第１クラスタに対する類似度と
    を説明変数として用いるロジスティック回帰を用いて計算する
    ことを特徴とする請求項３に記載の画像管理装置。
  7. 前記オブジェクト重要度評価手段は、
    前記クラスタ間の共起に関する情報であって、前記画像群において非共起の状態が検出された回数に基づく非共起度を含む共起情報と、前記オブジェクトのオブジェクト特徴量と前記クラスタのクラスタ特徴量とがどの程度近い値を持つかを示す類似度とに基づいて前記確度を算出する
    ことを特徴とする請求項１に記載の画像管理装置。
  8. 前記オブジェクト重要度評価手段は、
    評価対象のオブジェクトが含まれる画像中に、当該オブジェクト以外にオブジェクトが含まれない場合には、
    当該オブジェクトが属するクラスタ又は当該オブジェクトが属さないクラスタの非共起度の、当該クラスタに属するオブジェクトの個数に対する割合として算出される確信度と、
    当該クラスタの非共起度の、前記オブジェクト検出手段により検出された全オブジェクトの個数に対する割合として算出される支持度と、
    当該オブジェクトの当該クラスタに対する類似度と
    に基づいて計算される、当該オブジェクトの当該クラスタに対する確度を算出し、
    評価対象のオブジェクトの、当該オブジェクトが属するクラスタ及び当該オブジェクトが属さないクラスタに対する評価値を、
    当該オブジェクトの当該クラスタに対する確度と、
    当該クラスタに属するオブジェクトの個数とから算出する
    ことを特徴とする請求項７に記載の画像管理装置。
  9. 前記オブジェクト検出手段は、
    人物の顔に係る特徴量を抽出する基準によりオブジェクト特徴量を抽出する
    ことを特徴とする請求項２に記載の画像管理装置。
  10. 前記画像管理装置は更に、
    各画像において、画像に含まれる物体に該当する複数画素の画素値の分布に係る特徴量である物体特徴量を所定の基準に基づいて抽出することにより物体を検出する物体検出手段と、
    前記画像取得手段で取得した各画像において検出された各物体を、各物体の物体特徴量に応じて、複数の物体クラスタのいずれかに分類する物体分類手段と
    を備え、
    前記オブジェクト重要度評価手段は、
    評価対象のオブジェクトの、当該オブジェクトが属するクラスタ及び当該オブジェクトが属さないクラスタに対する評価値を更に、
    当該オブジェクトが含まれる画像中に、１以上の物体が共に含まれる場合には、
    前記画像取得手段で取得した画像群の中で、当該クラスタに属するオブジェクトと、当該オブジェクトが含まれる画像に当該オブジェクトと共に含まれるうちの１つの物体が属する物体クラスタに共に属する物体とが一の画像中に共に含まれるという事象の発生する程度である、当該クラスタと当該物体クラスタとの共起度に基づいて算出する
    ことを特徴とする請求項９に記載の画像管理装置。
  11. 前記オブジェクト分類手段は、
    Ｋ−ｍｅａｎｓ法により各オブジェクトをクラスタに分類する
    ことを特徴とする請求項１に記載の画像管理装置。
  12. 前記オブジェクト重要度評価手段は、
    前記オブジェクト重要度を、
    前記オブジェクトが属するクラスタが示す特徴量の代表値であるクラスタ特徴量と、当該クラスタに属する各オブジェクトの前記オブジェクト特徴量との差に基づいて算出され、各オブジェクト特徴量がどの程度前記クラスタ特徴量に集中しているかを示すクラスタの信頼度にも基づいて算出する
    ことを特徴とする請求項１に記載の画像管理装置。
  13. 画像群を取得する画像取得ステップと、
    前記画像取得ステップで取得した各画像において、画像に含まれるオブジェクトを検出するオブジェクト検出ステップと、
    前記画像取得ステップで取得した各画像において検出された各オブジェクトを、各オブジェクトのオブジェクト特徴量に応じて、複数のクラスタのいずれかに分類するオブジェクト分類ステップと、
    各オブジェクトについて、当該オブジェクトと前記クラスタとの関連の高さを示す確度と当該オブジェクトと同じクラスタに共に属するオブジェクトの個数の大小とに基づいて算出される評価値を用いて、オブジェクトの重要度であるオブジェクト重要度を評価するオブジェクト重要度評価ステップと、
    一の画像に含まれるオブジェクトのオブジェクト重要度に基づいて、当該一の画像の重要度を評価する画像重要度評価ステップとを備え、
    前記オブジェクト重要度評価ステップでは、
    前記クラスタ間の共起に関する情報であって、前記画像群において共起関係が検出された回数に基づく共起度を含む共起情報と、前記オブジェクトのオブジェクト特徴量と前記クラスタのクラスタ特徴量とがどの程度近い値を持つかを示す類似度とに基づいて前記確度を算出する
    ことを特徴とする画像管理方法。
  14. 画像群を取得する画像取得ステップと、
    前記画像取得ステップで取得した各画像において、画像に含まれるオブジェクトを検出するオブジェクト検出ステップと、
    前記画像取得ステップで取得した各画像において検出された各オブジェクトを、各オブジェクトのオブジェクト特徴量に応じて、複数のクラスタのいずれかに分類するオブジェクト分類ステップと、
    各オブジェクトについて、当該オブジェクトと前記クラスタとの関連の高さを示す確度と当該オブジェクトと同じクラスタに共に属するオブジェクトの個数の大小とに基づいて算出される評価値を用いて、オブジェクトの重要度であるオブジェクト重要度を評価するオブジェクト重要度評価ステップと、
    一の画像に含まれるオブジェクトのオブジェクト重要度に基づいて、当該一の画像の重要度を評価する画像重要度評価ステップとを含み、
    前記オブジェクト重要度評価ステップでは、
    前記クラスタ間の共起に関する情報であって、前記画像群において共起関係が検出された回数に基づく共起度を含む共起情報と、前記オブジェクトのオブジェクト特徴量と前記クラスタのクラスタ特徴量とがどの程度近い値を持つかを示す類似度とに基づいて前記確度を算出する
    処理をコンピュータに実行させることを特徴とするプログラム。
  15. 画像群を取得する画像取得ステップと、
    前記画像取得ステップで取得した各画像において、画像に含まれるオブジェクトを検出するオブジェクト検出ステップと、
    前記画像取得ステップで取得した各画像において検出された各オブジェクトを、各オブジェクトのオブジェクト特徴量に応じて、複数のクラスタのいずれかに分類するオブジェクト分類ステップと、
    各オブジェクトについて、当該オブジェクトと前記クラスタとの関連の高さを示す確度と当該オブジェクトと同じクラスタに共に属するオブジェクトの個数の大小とに基づいて算出される評価値を用いて、オブジェクトの重要度であるオブジェクト重要度を評価するオブジェクト重要度評価ステップと、
    一の画像に含まれるオブジェクトのオブジェクト重要度に基づいて、当該一の画像の重要度を評価する画像重要度評価ステップとを含み、
    前記オブジェクト重要度評価ステップでは、
    前記クラスタ間の共起に関する情報であって、前記画像群において共起関係が検出された回数に基づく共起度を含む共起情報と、前記オブジェクトのオブジェクト特徴量と前記クラスタのクラスタ特徴量とがどの程度近い値を持つかを示す類似度とに基づいて前記確度を算出する
    処理をコンピュータに実行させるプログラムを記録している記録媒体。
  16. 画像群を取得する画像取得手段と、
    前記画像取得手段で取得した各画像において、画像に含まれるオブジェクトを検出するオブジェクト検出手段と、
    前記画像取得手段で取得した各画像において検出された各オブジェクトを、各オブジェクトのオブジェクト特徴量に応じて、複数のクラスタのいずれかに分類するオブジェクト分類手段と、
    各オブジェクトについて、当該オブジェクトと前記クラスタとの関連の高さを示す確度と当該オブジェクトと同じクラスタに共に属するオブジェクトの個数の大小とに基づいて算出される評価値を用いて、オブジェクトの重要度であるオブジェクト重要度を評価するオブジェクト重要度評価手段と、
    一の画像に含まれるオブジェクトのオブジェクト重要度に基づいて、当該一の画像の重要度を評価する画像重要度評価手段とを備え、
    前記オブジェクト重要度評価手段は、
    前記クラスタ間の共起に関する情報であって、前記画像群において共起関係が検出された回数に基づく共起度を含む共起情報と、前記オブジェクトのオブジェクト特徴量と前記クラスタのクラスタ特徴量とがどの程度近い値を持つかを示す類似度とに基づいて前記確度を算出する
    ことを特徴とする集積回路。
JP2011535339A 2010-01-22 2011-01-13 画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路 Active JP5330530B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011535339A JP5330530B2 (ja) 2010-01-22 2011-01-13 画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010012468 2010-01-22
JP2010012468 2010-01-22
PCT/JP2011/000150 WO2011089872A1 (ja) 2010-01-22 2011-01-13 画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路
JP2011535339A JP5330530B2 (ja) 2010-01-22 2011-01-13 画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路

Publications (2)

Publication Number Publication Date
JPWO2011089872A1 JPWO2011089872A1 (ja) 2013-05-23
JP5330530B2 true JP5330530B2 (ja) 2013-10-30

Family

ID=44306674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011535339A Active JP5330530B2 (ja) 2010-01-22 2011-01-13 画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路

Country Status (5)

Country Link
US (1) US20120002881A1 (ja)
EP (1) EP2528034B1 (ja)
JP (1) JP5330530B2 (ja)
CN (1) CN102792332B (ja)
WO (1) WO2011089872A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3128732A1 (en) 2015-08-07 2017-02-08 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and program

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1401850A1 (en) 2001-06-20 2004-03-31 Nuevolution A/S Nucleoside derivatives for library preparation
IL163822A0 (en) * 2002-03-15 2005-12-18 Nuevolution As An improved method for synthesising templated molecules
WO2004013070A2 (en) 2002-08-01 2004-02-12 Nuevolution A/S Multi-step synthesis of templated molecules
EP2446618A4 (en) 2009-06-24 2013-03-06 Hewlett Packard Development Co CREATING AN ALBUM OF MAGES
SI2558577T1 (sl) 2010-04-16 2019-05-31 Nuevolution A/S Bifunkcionalni kompleksi in metode za pripravo in uporabo takšnih kompleksov
US8923629B2 (en) * 2011-04-27 2014-12-30 Hewlett-Packard Development Company, L.P. System and method for determining co-occurrence groups of images
US8958645B2 (en) * 2012-04-19 2015-02-17 Canon Kabushiki Kaisha Systems and methods for topic-specific video presentation
WO2014068567A1 (en) * 2012-11-02 2014-05-08 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
US20140169687A1 (en) * 2012-12-13 2014-06-19 Htc Corporation Image search systems and methods
WO2014132613A1 (ja) * 2013-02-26 2014-09-04 日本電気株式会社 診断支援システム、診断支援方法及びそのプログラム
JP6213557B2 (ja) * 2013-03-01 2017-10-18 日本電気株式会社 情報処理装置、そのデータ処理方法、およびプログラム
US9369662B2 (en) * 2013-04-25 2016-06-14 Microsoft Technology Licensing, Llc Smart gallery and automatic music video creation from a set of photos
JP6009481B2 (ja) 2014-03-11 2016-10-19 富士フイルム株式会社 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体
US10002310B2 (en) * 2014-04-29 2018-06-19 At&T Intellectual Property I, L.P. Method and apparatus for organizing media content
WO2017069231A1 (ja) 2015-10-23 2017-04-27 国立大学法人大阪大学 人体における治療後の形態予測方法及びシステム
WO2017158983A1 (ja) * 2016-03-18 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム
JP6798183B2 (ja) * 2016-08-04 2020-12-09 株式会社リコー 画像解析装置、画像解析方法およびプログラム
JP6695431B2 (ja) * 2016-09-01 2020-05-20 株式会社日立製作所 分析装置、分析システムおよび分析方法
GB2553775A (en) * 2016-09-09 2018-03-21 Snell Advanced Media Ltd Method and apparatus for ordering images
US10909341B2 (en) * 2016-10-26 2021-02-02 Datalogic Automation, Inc. Data processing reduction in barcode reading systems with overlapping frames
JP6769554B2 (ja) * 2017-07-07 2020-10-14 日本電気株式会社 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体
CN107832852B (zh) * 2017-11-14 2021-03-02 深圳码隆科技有限公司 数据处理学习方法、系统以及电子设备
CN108596735A (zh) * 2018-04-28 2018-09-28 北京旷视科技有限公司 信息推送方法、装置及系统
CN110826616B (zh) * 2019-10-31 2023-06-30 Oppo广东移动通信有限公司 信息处理方法及装置、电子设备、存储介质
CN116403080B (zh) * 2023-06-09 2023-08-11 江西云眼视界科技股份有限公司 一种人脸聚类评价方法、系统、计算机及可读存储介质
CN117786434B (zh) * 2023-11-22 2024-06-21 太极计算机股份有限公司 一种集群管理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024229A (ja) * 2000-07-03 2002-01-25 Fuji Photo Film Co Ltd 本人画像提供システム
JP2002215643A (ja) * 2001-01-15 2002-08-02 Minolta Co Ltd 画像分類プログラム、画像分類プログラムを記録したコンピュータ読み取り可能な記録媒体、画像分類方法および画像分類装置
JP2004318603A (ja) * 2003-04-17 2004-11-11 Nippon Telegr & Teleph Corp <Ntt> 画像検索方法、自分撮り推定装置および方法、並びに自分撮り推定プログラム
JP2005056387A (ja) * 2003-07-18 2005-03-03 Canon Inc 画像処理装置、撮像装置、画像処理方法
JP2005107885A (ja) * 2003-09-30 2005-04-21 Casio Comput Co Ltd 画像分類装置及び画像分類プログラム
JP2005148900A (ja) * 2003-11-12 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> 画像分類装置、画像分類方法、および、プログラム
JP2006523334A (ja) * 2003-02-06 2006-10-12 センターフレーム・リミテッド・ライアビリティ・カンパニー 特定の電子画像をユーザに配布する方法
JP2006318034A (ja) * 2005-05-10 2006-11-24 Fuji Photo Film Co Ltd 画像選択方法、画像選択装置、プログラム、およびプリント注文受付機
JP2007174378A (ja) * 2005-12-22 2007-07-05 Fujifilm Corp 画像ファイリング方法及びデジタルカメラ及び画像ファイリング処理プログラム及び動画記録再生装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046591A (ja) 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP4449354B2 (ja) 2003-06-26 2010-04-14 カシオ計算機株式会社 画像撮影装置及びプログラム
US7382903B2 (en) * 2003-11-19 2008-06-03 Eastman Kodak Company Method for selecting an emphasis image from an image collection based upon content recognition
EP1805684A4 (en) * 2004-10-12 2008-10-22 Samsung Electronics Co Ltd METHOD, MEDIUM AND DEVICE FOR PERSON-BASED PHOTOCLUSTERING IN A DIGITAL PHOTO ALBUM AND METHOD, MEDIUM AND DEVICE FOR CREATING A PERSON-BASED DIGITAL PHOTOALBUM
US8050453B2 (en) * 2006-06-15 2011-11-01 Omron Corporation Robust object tracking system
US8031914B2 (en) * 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
US7903883B2 (en) * 2007-03-30 2011-03-08 Microsoft Corporation Local bi-gram model for object recognition
US7953690B2 (en) * 2008-01-25 2011-05-31 Eastman Kodak Company Discovering social relationships from personal photo collections

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024229A (ja) * 2000-07-03 2002-01-25 Fuji Photo Film Co Ltd 本人画像提供システム
JP2002215643A (ja) * 2001-01-15 2002-08-02 Minolta Co Ltd 画像分類プログラム、画像分類プログラムを記録したコンピュータ読み取り可能な記録媒体、画像分類方法および画像分類装置
JP2006523334A (ja) * 2003-02-06 2006-10-12 センターフレーム・リミテッド・ライアビリティ・カンパニー 特定の電子画像をユーザに配布する方法
JP2004318603A (ja) * 2003-04-17 2004-11-11 Nippon Telegr & Teleph Corp <Ntt> 画像検索方法、自分撮り推定装置および方法、並びに自分撮り推定プログラム
JP2005056387A (ja) * 2003-07-18 2005-03-03 Canon Inc 画像処理装置、撮像装置、画像処理方法
JP2005107885A (ja) * 2003-09-30 2005-04-21 Casio Comput Co Ltd 画像分類装置及び画像分類プログラム
JP2005148900A (ja) * 2003-11-12 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> 画像分類装置、画像分類方法、および、プログラム
JP2006318034A (ja) * 2005-05-10 2006-11-24 Fuji Photo Film Co Ltd 画像選択方法、画像選択装置、プログラム、およびプリント注文受付機
JP2007174378A (ja) * 2005-12-22 2007-07-05 Fujifilm Corp 画像ファイリング方法及びデジタルカメラ及び画像ファイリング処理プログラム及び動画記録再生装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3128732A1 (en) 2015-08-07 2017-02-08 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and program
US10275652B2 (en) 2015-08-07 2019-04-30 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and non-transitory computer-readable storage medium that determine whether a target person is an important person based on importance degrees

Also Published As

Publication number Publication date
CN102792332B (zh) 2016-01-06
EP2528034B1 (en) 2019-03-06
CN102792332A (zh) 2012-11-21
WO2011089872A1 (ja) 2011-07-28
EP2528034A1 (en) 2012-11-28
US20120002881A1 (en) 2012-01-05
JPWO2011089872A1 (ja) 2013-05-23
EP2528034A4 (en) 2017-04-26

Similar Documents

Publication Publication Date Title
JP5330530B2 (ja) 画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路
TWI742300B (zh) 針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統
CN108476259B (zh) 基于用户行为的内容推荐的系统和方法
US9058611B2 (en) System and method for advertising using image search and classification
US9020244B2 (en) Ranking and selecting representative video images
US20150379357A1 (en) Efficient retrieval of anomalous events with priority learning
CN112989209B (zh) 内容推荐方法、装置和存储介质
CN112668480B (zh) 头部姿态角检测方法、装置、电子设备及存储介质
CN109871464B (zh) 一种基于ucl语义标引的视频推荐方法与装置
US9137574B2 (en) Method or system to predict media content preferences
US10276213B2 (en) Automatic and intelligent video sorting
CN112100438A (zh) 一种标签抽取方法、设备及计算机可读存储介质
CN111708913B (zh) 一种标签生成方法、设备及计算机可读存储介质
Chen et al. A human-centered multiple instance learning framework for semantic video retrieval
EP2874102A2 (en) Generating models for identifying thumbnail images
CN112434744B (zh) 一种多模态特征融合模型的训练方法及装置
Chen et al. Automatic training image acquisition and effective feature selection from community-contributed photos for facial attribute detection
US20160239559A1 (en) Document classification system, document classification method, and document classification program
US20110044530A1 (en) Image classification using range information
CN112685596A (zh) 视频推荐方法及装置、终端、存储介质
CN112884866A (zh) 一种黑白视频的上色方法、装置、设备及存储介质
US20230131717A1 (en) Search processing device, search processing method, and computer program product
JP2003330941A (ja) 類似画像分類装置
CN112949777B (zh) 相似图像确定方法及装置、电子设备和存储介质
CN110399527B (zh) 影视推荐方法、装置及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130725

R150 Certificate of patent or registration of utility model

Ref document number: 5330530

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250