JP5723367B2 - 画像管理装置、画像管理方法、プログラム、記録媒体及び画像管理用集積回路 - Google Patents

画像管理装置、画像管理方法、プログラム、記録媒体及び画像管理用集積回路 Download PDF

Info

Publication number
JP5723367B2
JP5723367B2 JP2012525296A JP2012525296A JP5723367B2 JP 5723367 B2 JP5723367 B2 JP 5723367B2 JP 2012525296 A JP2012525296 A JP 2012525296A JP 2012525296 A JP2012525296 A JP 2012525296A JP 5723367 B2 JP5723367 B2 JP 5723367B2
Authority
JP
Japan
Prior art keywords
image
importance
similarity
feature amount
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012525296A
Other languages
English (en)
Other versions
JPWO2012011213A1 (ja
Inventor
前田　和彦
和彦 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2012525296A priority Critical patent/JP5723367B2/ja
Publication of JPWO2012011213A1 publication Critical patent/JPWO2012011213A1/ja
Application granted granted Critical
Publication of JP5723367B2 publication Critical patent/JP5723367B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Description

本発明は、大量の画像から所望の画像を検索する画像管理技術に関する。
従来から、デジタルカメラで撮影した大量の画像を蓄積するとともに、蓄積した画像をユーザにとって重要度の高い順にランキングして表示する技術が提供されている（特許文献１，２参照）。
特許文献１，２に記載の技術では、まず、蓄積した画像それぞれの中に含まれる人物の顔等の被写体画像（オブジェクト）を抽出し各オブジェクトの特徴量を算出する。そして、当該オブジェクトの特徴量からオブジェクトを分類し、分類した結果からオブジェクトの重要度を算出する。そして、算出したオブジェクトの重要度に基づいて各オブジェクトが含まれる各画像の重要度を算出し、当該重要度に基づいて各画像をランキングする。
この種のランキングの方法としては、例えば、蓄積した複数の画像の中で、同じ属性（クラスタ）に分類されたオブジェクトが現れる個数をオブジェクトの重要度をとして定義し、各画像の重要度を画像に含まれるオブジェクトの重要度の合計とするランキングの方法が採用される場合がある（特許文献３参照）。
このランキングの方法を採用すれば、より多くの画像に現れるオブジェクトほど重要度が高く、更に、重要度の高いオブジェクトをより多く含む画像ほど重要度が高くなる。
特開２００４−４６５９１号公報 特開２００５−２０４４６号公報 特開２００７−６０５６２号公報
ところが、特許文献１，２に記載の技術では、本来は同じ被写体に対応するオブジェクトであるにも関わらず、撮影環境の違い等により異なる被写体に対応するオブジェクトとして扱われてしまうことがある。例えば、撮影条件が悪く撮影された画像の被写体の一部に影が映りこんでしまう場合がある。この場合、影が映りこんだ被写体は、本来の被写体とは別の被写体として扱われてしまうことがある。或いは、順光環境と逆光環境の違いや明所と暗所の違いによっても異なる被写体に対応するオブジェクトとして扱われてしまう場合もある。つまり、撮影環境の違い等に起因したノイズにより撮影された被写体が、本来の被写体とは異なる被写体に対応するオブジェクトとして扱われてしまうことがあった。
その結果、前述のランキングの方法を採用する場合、各オブジェクトの重要度が正しく算出できないために各画像の重要度が正しく算出されず、各画像のランキングが誤ったものとなることがあった。
本発明は、上記事由に鑑みてなされたものであって、各画像の重要度を正しく算出できる画像管理装置を提供することを目的とする。
上記課題を解決するために、本発明に係る画像管理装置は、画像それぞれに含まれる複数のオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出手段と、各画像の重要度に基づいて、第１の画像と第１の画像よりも重要度が低い第２の画像とを選出する画像選出手段と、第２の画像に含まれる複数のオブジェクトの特徴量を、第１の画像に含まれる複数のオブジェクトの特徴量と第２の画像に含まれる複数のオブジェクトの特徴量とをパラメータとする補正関数を使って補正する特徴量補正手段と、第１の画像に含まれるオブジェクトそれぞれの特徴量と特徴量補正手段が補正した第２の画像に含まれるオブジェクトそれぞれの特徴量とを用いて第１の画像と第２の画像との類似度である画像類似度を算出する画像類似度算出手段と、第１の画像の画像重要度と画像類似度算出手段で算出した画像類似度とに基づいて第２の画像の重要度を補正する画像重要度補正手段とを備える。
上記構成によれば、第２の画像に含まれる各オブジェクトの特徴量を、第１の画像に含まれる複数のオブジェクトの特徴量と第２の画像に含まれる複数のオブジェクトの特徴量をパラメータとする補正関数に基づいて両画像の類似度に応じて各オブジェクトに含まれるノイズを除去するように適宜補正をすることにより、第２の画像に含まれる各オブジェクトの特徴量を正しく算出することができるので、第２の画像の重要度を正しく算出することができる。
また、本発明に係る画像管理装置は、第１の画像が、所定の重要度よりも高い重要度を有し、第２の画像が、所定の重要度よりも低い重要度を有するものであってもよい。
本構成によれば、所定の重要度を適宜設定することにより、重要度を見直す画像の数を限定することができるので、画像管理装置の処理負荷の低減を図ることができる。
また、本発明に係る画像管理装置は、第１の画像に含まれるオブジェクトの個数と第２の画像に含まれるオブジェクトの個数とを比較するオブジェクト数比較判定手段を備え、特徴量補正手段が、オブジェクト数比較判定手段により第１の画像に含まれるオブジェクトの個数と第２の画像に含まれるオブジェクトの個数とが同じと判定されると、第２の画像に含まれる複数のオブジェクトの特徴量を補正するものであってもよい。
本構成によれば、第１の画像および第２の画像として、ノイズにより各オブジェクトの特徴量に相違が生じている２つの画像に限定することができるので、画像管理装置の処理負荷の軽減を図ることができる。
また、本発明に係る画像管理装置において、補正関数が、第２の画像に含まれる複数のオブジェクトの特徴量の平均値と第１の画像に含まれる複数のオブジェクトの特徴量の平均値とに基づいて算出した補正係数を使って第２の画像に含まれるオブジェクトの特徴量それぞれを補正する関数であってもよい。
本構成によれば、補正関数が、第２の画像に含まれる複数のオブジェクトの特徴量の平均値と第１の画像に含まれる複数のオブジェクトの特徴量の平均値とに基づいて算出した補正係数を使うので、第１の画像に含まれる複数のオブジェクトと第２の画像に含まれる複数のオブジェクトとの対応関係が補正係数に影響しないので、第１の画像に含まれる複数のオブジェクトと第２の画像に含まれる複数のオブジェクトとの対応関係を把握するための処理を省略することができるから、画像管理装置の処理負荷の低減を図ることができる。
また、本発明に係る画像管理装置において、補正係数が、第２の画像に含まれる複数のオブジェクトの特徴量の平均値に対する第１の画像に含まれる複数のオブジェクトの特徴量の平均値の比であり、補正関数が、補正係数を第２の画像に含まれるオブジェクトの特徴量それぞれに乗ずる関数であってもよい。
本構成によれば、第１の画像に含まれる複数のオブジェクトそれぞれの特徴量と、第２の画像に含まれる複数のオブジェクトそれぞれの特徴量とから、ノイズによる特徴量の相違を抽出することができるので、より確実にノイズを除去することができる。
また、本発明に係る画像管理装置において、補正係数が、第２の画像に含まれる複数のオブジェクトの特徴量の平均値と第１の画像に含まれる複数のオブジェクトの特徴量の平均値との差分値であり、補正関数が、補正係数を第２の画像に含まれるオブジェクトの特徴量それぞれに加算する関数であってもよい。
本構成によれば、第２の画像に含まれる複数のオブジェクトそれぞれの特徴量にゼロが含まれる場合であっても、前記特徴量補正手段が、ゼロ除算を防止する処理を行う必要がなくなるので、前記特徴量補正手段で行う処理の簡素化を図ることができる。
また、本発明に係る画像管理装置では、画像類似度算出手段が、第１の画像に含まれる複数のオブジェクトそれぞれと第２の画像に含まれる複数のオブジェクトそれぞれとの類似度を算出し、算出した複数の類似度に基づいて第１の画像の含まれる複数のオブジェクトと第２の画像に含まれる複数のオブジェクトとを一対一に対応付ける画像内オブジェクト類似度算出手段と、画像内オブジェクト類似度算出手段により互いに一対一に対応付けられたオブジェクト同士の類似度の平均値を算出し画像類似度として出力する類似度平均値算出手段とを備えるものであってもよい。
本構成によれば、各オブジェクトへのノイズの影響の相違が、オブジェクトの類似度に影響するのを抑制できるので、各オブジェクトの特徴量をより精度よく補正することができる。
また、本発明に係る画像管理装置では、画像内オブジェクト類似度算出手段が、算出した複数の類似度の最高値に対応する２つのオブジェクトを対応付けし、その後、対応付けがなされたオブジェクトを除く他のオブジェクトの組み合わせに係る複数の類似度の最高値に対応する２つのオブジェクトを対応付けするものであってもよい。
本構成によれば、オブジェクトの類似度のみに基づいてオブジェクト同士の対応付けを行うことができるので、オブジェクト類似度算出手段が行うオブジェクト同士の対応付け処理を簡素化することができる。
また、本発明に係る画像管理装置は、上記画像重要度補正手段が、更に、上記第１の画像に含まれるオブジェクトの大きさの平均値と上記第２の画像に含まれるオブジェクトの大きさの平均値とに基づいて第２の画像の重要度を補正するものであってもよい。
本構成によれば、第１の画像に含まれるオブジェクトの大きさと第２の画像に含まれるオブジェクトの大きさとの違いを第２の画像の重要度に反映させることができるので、第２の画像の重要度をより精度よく算出することができる。
また、本発明に係る画像管理装置は、上記画像重要度補正手段が、上記第２の画像の重要度を以下の関係式
Figure 0005723367
Ｓｇ：前記画像類似度、Ｓｃｍ：前記第１の画像の重要度、Ｓｃｎ：前記第２の画像の画像重要度、Ｓｓａｖｅｎ：前記第２の画像に含まれるオブジェクトの大きさの平均値、Ｓｓａｖｅｍ：前記第１の画像に含まれるオブジェクトの大きさの平均値
を用いて補正するものであってもよい。
また、本発明に係る画像管理装置は、画像それぞれに含まれるオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出手段と、各画像の重要度に基づいて、第１の画像と前記第１の画像よりも重要度が低い第２の画像とを選出する画像選出手段と、第２の画像に含まれるオブジェクトの特徴量に対する第１の画像に含まれるオブジェクトの中から選択した１つのオブジェクトの特徴量の比を第２の画像に含まれる複数のオブジェクトの特徴量それぞれに乗ずる補正関数を使って第２の画像に含まれる複数のオブジェクトの特徴量を補正して出力する特徴量補正手段と、第１の画像に含まれるオブジェクトそれぞれの特徴量と特徴量補正手段から出力される第２の画像に含まれるオブジェクトの特徴量とを用いて第１の画像と第２の画像との類似度である画像類似度を算出する画像類似度算出手段と、画像類似度算出手段で算出した画像類似度に基づいて第２の画像の重要度を補正する画像重要度補正手段とを備えるものであってもよい。
本構成によれば、第２の画像に含まれる各オブジェクトの特徴量を、第１の画像に含まれる複数のオブジェクトの特徴量と第２の画像に含まれる複数のオブジェクトの特徴量とに基づいて適宜補正をすることにより、第２の画像に含まれる各オブジェクトの特徴量に含まれるノイズを除去することができるので、第２の画像の重要度を正しく算出することができる。
また、本発明は、コンピュータにより実現させる画像管理方法であって、画像それぞれに含まれる複数のオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出ステップと、各画像の重要度に基づいて、第１の画像と前記第１の画像の重要度よりも低い重要度を有する第２の画像とを選出する画像選出ステップと、第２の画像に含まれる複数のオブジェクトの特徴量を、第１の画像に含まれる複数のオブジェクトの特徴量と第２の画像に含まれる複数のオブジェクトの特徴量とをパラメータとする補正関数を使って補正する特徴量補正ステップと、第１の画像に含まれるオブジェクトそれぞれの特徴量と特徴量補正ステップで補正した第２の画像に含まれるオブジェクトそれぞれの特徴量とを用いて第１の画像と第２の画像との類似度である画像類似度を算出する画像類似度算出ステップと、第１の画像の画像重要度と前記画像類似度算出ステップで算出した前記画像類似度に基づいて前記第２の画像の重要度を補正する画像重要度補正ステップとを含むものであってもよい。
本構成によれば、第２の画像に含まれる各オブジェクトの特徴量を、第１の画像に含まれる複数のオブジェクトの特徴量と第２の画像に含まれる複数のオブジェクトの特徴量とに基づいて適宜補正をすることにより、第２の画像に含まれる各オブジェクトの特徴量に含まれるノイズを除去することができるので、第２の画像の重要度を正しく算出することができる。
また、本発明は、複数の画像の画像管理処理をコンピュータにより実現させる画像管理プログラムであって、前記画像管理処理が、画像それぞれに含まれる複数のオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出ステップと、各画像の重要度に基づいて、第１の画像と第１の画像の重要度よりも低い重要度を有する第２の画像とを選出する画像選出ステップと、第２の画像に含まれる複数のオブジェクトの特徴量を、第１の画像に含まれるオブジェクトの特徴量と第２の画像に含まれるオブジェクトの特徴量とをパラメータとする補正関数を使って補正する特徴量補正ステップと、第１の画像に含まれるオブジェクトそれぞれの特徴量と特徴量補正ステップで補正した第２の画像に含まれるオブジェクトそれぞれの特徴量とを用いて第１の画像と第２の画像との類似度である画像類似度を算出する画像類似度算出ステップと、第１の画像の画像重要度と画像類似度算出ステップで算出した画像類似度に基づいて第２の画像の重要度を補正する画像重要度補正ステップとを含むものであってもよい。
本構成によれば、第２の画像に含まれる各オブジェクトの特徴量を、第１の画像に含まれる複数のオブジェクトの特徴量と第２の画像に含まれる複数のオブジェクトの特徴量とに基づいて適宜補正をすることにより、第２の画像に含まれる各オブジェクトの特徴量に含まれるノイズを除去することができるので、第２の画像の重要度を正しく算出することができる。
また、本発明は、複数の画像の画像管理処理をコンピュータにより実現させる画像管理プログラムを記録した記録媒体であって、画像管理処理が、画像それぞれに含まれる複数のオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出ステップと、各画像の重要度に基づいて、第１の画像と第１の画像よりも低い重要度を有する第２の画像とを選出する画像選出ステップと、第２の画像に含まれる複数のオブジェクトの特徴量を、第１の画像に含まれる複数のオブジェクトの特徴量と第２の画像に含まれる複数のオブジェクトの特徴量とをパラメータとする補正関数を使って補正する特徴量補正ステップと、第１の画像に含まれるオブジェクトそれぞれの特徴量と特徴量補正ステップで補正した第２の画像に含まれるオブジェクトそれぞれの特徴量とを用いて第１の画像と第２の画像との類似度である画像類似度を算出する画像類似度算出ステップと、第１の画像の画像重要度と画像類似度算出ステップで算出した画像類似度に基づいて第２の画像の重要度を補正する画像重要度補正ステップとを含むものであってもよい。
本構成によれば、第２の画像に含まれる各オブジェクトの特徴量を、第１の画像に含まれる複数のオブジェクトの特徴量と第２の画像に含まれる複数のオブジェクトの特徴量とに基づいて適宜補正をすることにより、第２の画像に含まれる各オブジェクトの特徴量に含まれるノイズを除去することができるので、第２の画像の重要度を正しく算出することができる。
また、本発明は、画像それぞれに含まれる複数のオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出手段と、各画像の重要度に基づいて、第１の画像と第１の画像よりも低い重要度を有する第２の画像とを選出する画像選出手段と、第２の画像に含まれる複数のオブジェクトの特徴量を、第１の画像に含まれる複数のオブジェクトの特徴量と第２の画像に含まれる複数のオブジェクトの特徴量とをパラメータとする補正関数を使って補正する特徴量補正手段と、第１の画像に含まれるオブジェクトそれぞれの特徴量と特徴量補正手段が補正した第２の画像に含まれるオブジェクトそれぞれの特徴量とを用いて第１の画像と第２の画像との類似度である画像類似度を算出する画像類似度算出手段と、第１の画像の画像重要度と画像類似度算出手段で算出した画像類似度に基づいて第２の画像の重要度を補正する画像重要度補正手段とを備える画像管理用集積回路であってもよい。
本構成によれば、画像管理装置の小型化を図ることができる。
実施の形態１に係る画像管理装置の全体構成図である。 実施の形態１で説明する複数の画像を示す図である。 実施の形態１で説明する複数の画像それぞれに含まれるオブジェクトを示した図である。 実施の形態１で説明する複数の画像それぞれの画像ＩＤと各画像に含まれるオブジェクトＩＤとを示した図である。 実施の形態１で説明する複数のオブジェクトそれぞれの特徴量を示した図である。 実施の形態１で説明する複数のオブジェクトをクラスタに分類したときの各クラスタに属するオブジェクトと、各クラスタに属するオブジェクトの重要度を示す図である。 実施の形態１で説明する複数のオブジェクトそれぞれについて、各オブジェクトの属するクラスタのＩＤとオブジェクト重要度とを示した図である。 実施の形態１で説明する複数の画像それぞれの画像重要度を示す図である。 実施の形態１で説明する画像重要度記憶部に記憶された画像重要度のデータの概念図である。 実施の形態１で説明する複数の画像それぞれのランキング表示を示す図である。 実施の形態１で説明する複数の画像それぞれに含まれるオブジェクト数を示した図である。 実施の形態１で説明する画像Ｉ０１２と画像Ｉ０１３とに含まれるオブジェクトを示した図である。 実施の形態１で説明する特徴量補正部の動作を説明するための図である。 実施の形態１で説明する画像Ｉ０１２に含まれるオブジェクトそれぞれの特徴量と、各オブジェクトの特徴量平均値ベクトルＧ０１２を示した図である。 実施の形態１で説明する画像Ｉ０１３に含まれるオブジェクトそれぞれの特徴量と、各オブジェクトの特徴量平均値ベクトルＧ０１３を示した図である。 実施の形態１で説明する画像Ｉ０１２に含まれる各オブジェクトの特徴量平均値ベクトルＧ０１２の各成分を、画像Ｉ０１３に含まれる各オブジェクトの特徴量平均値ベクトルＧ０１３の各成分を使って除して得られる補正量ベクトルＣｈを示した図である。 実施の形態１で説明する画像Ｐ０１３に含まれるオブジェクトの特徴量ベクトルについて補正を行った後の各オブジェクトの特徴量ベクトルを示す図である。 実施の形態１で説明する画像Ｉ０１２に含まれるオブジェクトそれぞれと、画像Ｉ０１３に含まれるオブジェクトそれぞれとの類似度を示す図である。 実施の形態１で説明する画像Ｉ０１２に含まれる各オブジェクトと画像Ｉ０１３に含まれる各オブジェクトとの類似度を算出する処理を説明する図である。 実施の形態１で説明する画像重要度を補正した後の状態を示す図である。 実施の携帯１で説明するリランキング結果を示す図である。 実施の形態１に係る画像管理装置の動作のフローチャートである。 実施の形態１に係る画像管理装置のオブジェクトの類似度を算出する処理のフローチャートである。 （ａ）実施の形態１に係る画像管理装置の高重要度画像Ｉｍを取得する処理のフローチャートである。（ｂ）実施の形態１に係る画像管理装置の画像重要度を補正する処理のフローチャートである。 実施の形態２に係る画像管理装置の全体構成図である。 実施の形態２で説明する画像Ｉ０１２と画像Ｉ０１３とを示す図である。 実施の形態２で説明する補正量ベクトルＣｈ１，Ｃｈ２，Ｃｈ３を示した図である。 実施の形態２で説明する画像Ｐ０１３に含まれるオブジェクトの特徴量ベクトルについて補正を行った後の各オブジェクトの特徴量ベクトルを示す図である。 実施の形態２で説明する画像Ｉ０１２に含まれる各オブジェクトと画像Ｉ０１３に含まれる各オブジェクトとの類似度を算出する処理を説明する図である。 実施の形態２に係る画像管理装置の動作のフローチャートである。 実施の形態２に係る画像管理装置のオブジェクトの類似度を算出する処理のフローチャートである。 実施の形態２に係る画像管理装置の画像重要度を補正する処理のフローチャートである。 実施の形態３で説明する補正量ベクトルＣｈｓを示した図である。 実施の形態３で説明する画像Ｉ０１３に含まれるオブジェクトの特徴量ベクトルについて補正を行った後の各オブジェクトの特徴量ベクトルを示す図である。 実施の形態３に係る各オブジェクトとの類似度を算出する処理を表すフローチャートである。 実施の形態４で説明する画像Ｉ０１２と画像Ｉ０１３とを示す図である。
＜実施の形態１＞
＜１＞構成
本実施の形態に係る画像管理装置１００の構成を図１に示す。
画像管理装置１００は、メモリ１３１と、プロセッサ１３０とを備える。また、画像管理装置１００は、図示していないが、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）入力端子と、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）出力端子とを備える。
ＵＳＢ入力端子は、入力インターフェースであり、一端側が撮像装置１０１に接続されたＵＳＢケーブルの他端側に設けられたコネクタ（図示せず）が接続される。このＵＳＢ入力端子へは、撮像装置１０１からＵＳＢケーブルを介して送信されてくる後述の画像データが入力される。
ＨＤＭＩ出力端子には、一端側が表示装置１２０に接続されたＨＤＭＩケーブルの他端側に設けられたコネクタ（図示せず）が接続される。このＨＤＭＩ出力端子からは、表示装置１２０に対して後述の画像ランキングデータが出力される。
メモリ１３１は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により構成される。
プロセッサ１３０は、汎用のＣＰＵにより構成される。
撮影装置１０１は、画像を撮影し、撮影した画像のデータ（画像データ）を蓄積する。この撮影装置１０１には、デジタルカメラ等が含まれる。また、撮像装置１０１は、ＵＳＢケーブルを介して画像データを画像管理装置１００に送信する。この画像データは、画素値のデータの集合よりなる。また、画像データにより表される画像は、写真等の静止画像からなる。
また、表示装置１２０は、画像管理装置１００からＨＤＭＩケーブルを介して送信される画像ランキングデータに基づいて、各画像の重要度ランキングを表示する。この表示装置１２０としては、例えば、放送端末から出力される映像を表示できるデジタルテレビがある。
そして、画像管理装置１００では、プロセッサ１３０がメモリ１３１に記憶された適宜のプログラムを実行することにより、画像取得部１０２と、オブジェクト検出部１０３と、オブジェクト分類部１０５と、オブジェクト重要度算出部１０６と、画像重要度算出部１０７と、画像ランキング部１０８と、画像内オブジェクト数抽出部１０９と、画像選出部１１１と、画像類似度算出部１１４と、画像重要度補正値算出部１１７と、画像リランキング部１１８と、画像出力部１１９とを実現している。
また、メモリ１３１は、オブジェクト特徴量記憶部１０４と、画像内オブジェクト数記憶部１１０と、画像重要度記憶部３２３として使用される領域を一部に含んでいる。
＜１−１＞画像取得部
画像取得部１０２は、ＵＳＢ入力端子に入力される複数の画像データそれぞれに対応する各画像に対して画像ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）を付与する。図２に、各画像データが示す画像とそれに付与された画像ＩＤとを示す。この画像ＩＤは、画像管理装置１００内で各画像を一意に識別するための識別子となるものであり、画像取得部１０２が生成する。画像取得部１０２では、画像取得部１０２が画像を取得した順番を表す番号の先頭にアルファベットの「Ｉ」を付与したものを画像ＩＤとする。例えば、図２の場合、画像取得部１０２は、図２における上段から下段に向かって順番に画像データを取得したことになる。なお、以下の説明では、画像ＩＤで画像を区別する。例えば、画像ＩＤとしてＩ００１が付与された画像データに対応する画像は、画像Ｉ００１として説明する。
＜１−２＞オブジェクト検出部
オブジェクト検出部１０３は、画像取得部１０２が取得した各画像データに対して、予め記憶している所定のオブジェクトに対応するテンプレート用いたテンプレートマッチングを行い、オブジェクトを検出する。そして、オブジェクト検出部１０３は、検出したオブジェクトに対して当該オブジェクトを識別するためのオブジェクトＩＤを付与する。
図３は、各画像からオブジェクトを検出する例を示したものである。各画像に含まれるオブジェクトは、図３に示すように、１つの場合もあれば、複数存在する場合、全く存在しない場合もある。オブジェクトＩＤは、画像管理装置１００内で各オブジェクトを一意に識別するための識別子であり、各オブジェクトに対して一対一に対応する。
オブジェクトＩＤは、オブジェクト検出部１０３により生成される。オブジェクトＩＤは、オブジェクト検出部１０３がオブジェクトを検出した順番に１から番号が振られ、その番号の先頭にアルファベットの“Ｐ”を付加してなる。図３の例では、画像Ｉ００１に含まれる２つのオブジェクトそれぞれに、オブジェクトＩＤとして「Ｐ００１」、「Ｐ００２」が付与され、画像Ｉ００２に含まれる３つオブジェクトそれぞれに、オブジェクトＩＤとして「Ｐ００３」、「Ｐ００４」、「Ｐ００５」、画像Ｉ００３に含まれる１つのオブジェクトに、オブジェクトＩＤとして「Ｐ００６」が付与されている。図４に各オブジェクトにオブジェクトＩＤが付与された状態を示す。
また、オブジェクト検出部１０３は、検出したオブジェクトそれぞれからオブジェクト特徴量を抽出する。このオブジェクト特徴量は、例えば、Ｇａｂｏｒフィルタを用いて得られるオブジェクトを構成する複数の画素値の周期性や方向性から算出される。そして、人物の顔の画像についてのオブジェクト特徴量としては、画素値の周期性や方向性に基づいて算出される目と認識された２つの領域の間の距離や鼻と認識された領域と口と認識された領域との間の距離等を採用することができる。
＜１−３＞オブジェクト特徴量記憶部
オブジェクト特徴量記憶部１０４は、メモリ１３１の一部により構成され、オブジェクト検出部１０３が抽出した各オブジェクトの特徴量を記憶する。図５にその一例を示す。
また、各オブジェクトは、図５に示すように、複数種類の特徴量（特徴量成分１、特徴量成分２、・・・、特徴量成分ｎ）を有している。以下、これらの特徴量成分１、特徴量成分２、・・・、特徴量成分ｎを各成分とするベクトルを特徴量ベクトルとして説明する。なお、この特徴量ベクトルは、オブジェクト分類部１０５及び画像内オブジェクト類似度決定部１１４で使用される。
＜１−４＞オブジェクト分類部
オブジェクト分類部１０５は、オブジェクト特徴量記憶部１０４に格納されている各オブジェクトの特徴量ベクトルに基づいて、まず、Ｋ−ｍｅａｎｓ法を用いて、自動的に複数のクラスタを生成し、その後、各オブジェクトを当該複数のクラスタに分類する。また、オブジェクト分類部１０５は、各クラスタに対して個別のクラスタＩＤを付与する。これにより、各クラスタＩＤと、当該クラスタに分類された各オブジェクトのオブジェクトＩＤと、各クラスタに分類されたオブジェクトの個数とが対応付けされる。複数のオブジェクトを複数のクラスタに分類した一例を図６に示す。
＜１−５＞オブジェクト重要度算出部
オブジェクト重要度算出部１０６は、各オブジェクトについて、当該オブジェクトが属するクラスタに分類されたオブジェクトの個数をオブジェクト重要度として算出する。
ここで、オブジェクトが属するクラスタに分類されたオブジェクトの個数を当該オブジェクトのオブジェクト重要度としたのは、同じクラスタに分類されるオブジェクトは同じ被写体に対応するものであることと、複数の画像の中において出現する回数の多い被写体ほどユーザが関心のある被写体であることを踏まえたことによる。
オブジェクト重要度算出部１０６が、各オブジェクトの重要度を算出した例を図７に示す。
＜１−６＞画像重要度算出部
画像重要度算出部１０７は、各画像に含まれるオブジェクトそれぞれのオブジェクト重要度の加算値を各画像の画像重要度として算出する。ここで、画像重要度算出部１０７は、オブジェクト重要度算出部１０６から各オブジェクトのオブジェクト重要度を読み出して各画像の画像重要度を算出する。
図８に示す例では、例えば、画像Ｉ００１に含まれるオブジェクトＰ００１，Ｐ００２それぞれのオブジェクト重要度が「３０」、「２７」なので、画像Ｉ００１の画像重要度は、オブジェクトＰ００１のオブジェクト重要度「３０」とオブジェクトＰ００２のオブジェクト重要度「２７」との加算値である５７となる。
また、画像重要度算出部１０７は、各画像について画像重要度を算出する毎に、当該画像に含まれる各オブジェクトのオブジェクトＩＤを画像内オブジェクト数抽出部１０９および画像選出部１１１に通知する。
＜１−７＞画像重要度記憶部
画像重要度記憶部３２３は、メモリ１３１の一部の領域により構成され、画像重要度算出部１０７が算出した各画像の画像重要度を画像ＩＤ等とともに記憶する。
画像重要度記憶部３２３には、例えば、図９に示すように、各画像の画像ＩＤと、各画像の重要度とが対応づけられた形で記憶される。
＜１−８＞画像ランキング部
画像ランキング部１０８は、画像重要度記憶部３２３から読み出した各画像の画像重要度に基づいて、各画像に対して順序付けを行う。
図１０に、画像重要度に基づいて各画像を並べた結果の一例を示す。図１０に示す例では、画像重要度が「１０１」の画像Ｉ０１２の順位が１位であり、２位以下に画像Ｉ００９および画像Ｉ００２が続いている。図１０に示す例では、画像ランキング部１０８が、画像重要度の数値の降順で各画像を並べている。なお、画像ランキング部１０８は、画像重要度が同値の画像があると、当該画像に付与された画像ＩＤの番号が若い方を上位にランキングする。
＜１−９＞画像内オブジェクト数抽出部
画像内オブジェクト数抽出部１０９は、１つの画像Ｉｍまたは画像Ｉｎについて、画像重要度算出部１０７から通知されるオブジェクトＩＤの個数を計数して得られた値をオブジェクト数として出力する。
＜１−１０＞画像内オブジェクト数記憶部
画像内オブジェクト数記憶部１１０は、メモリ１３１の一部の領域により構成され、画像内オブジェクト数抽出部１０９で算出されたオブジェクト数を画像ＩＤとともに記憶する。例えば、図１０に示すように、各画像に含まれるオブジェクトの個数（例えば、画像Ｉ０１２、Ｉ００９、Ｉ００２、・・・であれば、３個、５個、３個、・・・）が、各画像Ｉ０１２,Ｉ００９,Ｉ００２，・・・の画像ＩＤと対応付けられた形で記憶されている。
＜１−１１＞画像選出部
画像選出部１１１は、画像ランキング部１０８によってランキングされた複数の画像から、所定の重要度よりも重要度が高い画像（高重要度画像）Ｉｍと、所定の重要度よりも重要度が低い画像（低重要度画像）Ｉｎとを選出する。
ここで、所定の重要度は、ランキングが所定の順位（例えば、Ｍ位）の画像の画像重要度に相当する。そして、ユーザは、画像管理装置１００に設けられた重要度設定部（図示せず）を用いて、所定の順位を適宜設定することができる。
画像選出部１１１は、高重要度画像Ｉｍを選出する高重要度画像選出部１１２と、低重要度画像Ｉｎを選出する低重要度画像選出部１１３とから構成される。
高重要度画像選出部１１２は、例えば、図１０に示すように、ランキングされた複数の画像のうち、最も画像重要度の高い画像（順位が１位の画像）から順番に、順位がＭ位（図１０では４９位）の画像（重要度が所定の重要度よりも高い画像の中でランキングが最も低い画像）までを高重要度画像Ｉｍとして選出していく。また、高重要度画像選出部１１２は、高重要度画像Ｉｍを１枚選出すると、その都度、選出した高重要度画像Ｉｍの画像ＩＤを画像内オブジェクト数比較判定部１１５に通知する。ここで、高重要度画像選出部１１２は、画像ＩＤとともに当該画像ＩＤで特定される画像が高重要度画像Ｉｍであることを識別できる情報を画像ＩＤに付与している。
また、高重要度画像選出部１１２は、選出した高重要度画像Ｉｍに含まれるオブジェクトの数が１個の場合には、別の高重要度画像Ｉｍを選出する。これは、高重要度画像Ｉｍに含まれるオブジェクトの個数が１個の場合は、特徴量補正部１２１が、オブジェクトの特徴量を適切に補正することができなくなることを考慮したことによる。つまり、オブジェクトの個数が１個の場合は、単に低重要度画像Ｉｍの画像重要度を高重要度画像Ｉｎの画像重要度に一致させる処理を行うに過ぎないこととなる。
低重要度画像選出部１１３は、例えば、図１０に示すように、ランキングされた複数の画像のうち、順位がＭ＋１位（図１０では順位が５０位）の画像（重要度が所定の重要度よりも低い画像の中でランキングが最も高い画像）から順番に、順位が最下位の画像までを低重要度画像Ｉｎとして選出していく。また、低重要度画像選出部１１３は、低重要度画像Ｉｍを１枚選出すると、その都度、選出した低重要度画像Ｉｎの画像ＩＤを画像内オブジェクト数比較判定部１１５に通知する。ここで、高重要度画像選出部１１２は、画像ＩＤとともに当該画像ＩＤで特定される画像が低重要度画像Ｉｎであることを識別できる情報を画像ＩＤに付与している。なお、本実施の形態では、低重要度画像選出部１１３が、ランキングされた複数の画像のうち、順位がＭ＋１位の画像から順番に選出する例について説明したが、これに限定されるものではなく、順位がＭ＋ｘ（ｘ＝１，２，・・・）の画像から順番に選出するものであってもよい。
＜１−１２＞画像内オブジェクト数比較判定部
画像内オブジェクト数比較判定部１１５は、高重要度画像選出部１１２と低重要度画像選出部１１３とから通知される画像ＩＤに基づいて、これらの画像ＩＤで特定される高重要度画像Ｉｍおよび低重要度画像Ｉｎに含まれるオブジェクトの総数を画像内オブジェクト数記憶部１１０から取得する。
そして、画像内オブジェクト数比較判定部１１５は、高重要度画像Ｉｍに含まれるオブジェクトの個数と、低重要度画像Ｉｎに含まれるオブジェクトの個数とを比較して、各オブジェクトの個数が同じであれば高重要度画像Ｉｍおよび低重要度画像Ｉｎの画像ＩＤを画像類似度算出部１１４の一部を構成する特徴量補正部１２１に通知する。
例えば、図１１に示すように、比較の対象となる高重要度画像Ｉ０１２と低重要度画像Ｉ０１２とがいずれも３個のオブジェクトを含む場合、画像内オブジェクト数比較判定手段１１５は、高重要度画像Ｉ０１２の画像ＩＤと低重要度画像Ｉ０１３の画像ＩＤとを特徴量補正部１２１に通知する。
この画像内オブジェクト数比較判定部１１５が設けられていることにより、高重要度画像選出部１１２が選出した高重要度画像Ｉｍとは、被写体が一致する可能性のない低重要度画像Ｉｎをオブジェクトの特徴量の補正の対象から除外することができ、処理の効率化を図ることができる。
＜１−１３＞画像類似度算出部
画像類似度算出部１１４は、特徴量補正部１２１と、画像内オブジェクト類似度算出部１１６と、類似度判定部１２３と、類似度平均値算出部１２２とから構成される。
＜１−１３−１＞特徴量補正部
特徴量補正部１２１は、画像内オブジェクト数比較判定部１１５から通知される画像ＩＤで特定される高重要度画像Ｉｍおよび低重要度画像Ｉｎそれぞれに含まれる複数のオブジェクトの特徴量をオブジェクト特徴量記憶部１０４から読み出す。
そして、特徴量補正部１２１は、低重要度画像Ｉｎに含まれる複数のオブジェクトの特徴量を、高重要度画像Ｉｍに含まれるオブジェクトの特徴量と低重要度画像Ｉｎに含まれるオブジェクトの特徴量とをパラメータとする補正関数Ｆ１を使って補正して出力する。
ここで、補正関数Ｆ１は、低重要度画像Ｉｎに含まれる各オブジェクトの特徴量ベクトルの成分毎の平均値に対する高重要度画像Ｉｍに含まれる各オブジェクトの特徴量ベクトルの成分毎の平均値の比からなる補正係数を低重要度画像Ｉｎに含まれるオブジェクトの特徴量ベクトルの各成分に乗ずる関数で構成される。
つまり、画像内オブジェクト数比較判定部１１５から通知される高重要度画像Ｉｍに含まれる各オブジェクトの特徴量ベクトルをＰｕ１（Ｐｕ１１，Ｐｕ１２，・・・，Ｐｕ１ｎ）、Ｐｕ２（Ｐｕ２１，Ｐｕ２２，・・・，Ｐｕ２ｎ）、・・・、Ｐｕｖ（Ｐｕｖ１，Ｐｕｖ２，・・・，Ｐｕｖｎ）とし、画像内オブジェクト数比較判定部１１５から通知される低重要度画像Ｉｎに含まれる各オブジェクトの特徴量ベクトルをＰｗ１（Ｐｗ１１，Ｐｗ１２，・・・，Ｐｗ１ｎ）、Ｐｗ２（Ｐｗ２１，Ｐｗ２２，・・・，Ｐｗ２ｎ）、・・・、Ｐｗｖ（Ｐｗｖ１，Ｐｗｖ２，・・・，Ｐｗｖｎ）とし、特徴量ベクトルＰｗ１、Ｐｗ２、・・・、Ｐｗｖを補正した後の特徴量ベクトルをＰｗ１ａ（Ｐｗ１１ａ，Ｐｗ１２ａ，・・・，Ｐｗ１ｎａ）、Ｐｗ２ａ（Ｐｗ２１ａ，Ｐｗ２２ａ，・・・，Ｐｗ２ｎａ）、・・・、Ｐｗｖａ（Ｐｗｖ１ａ，Ｐｗｖ２ａ，・・・，Ｐｗｖｎａ）とすると、補正関数Ｆ１（Ｐ）について［数２］の関係式が成立する。
Figure 0005723367
以下、特徴量補正部１２１が、画像内オブジェクト数比較判定部１１５から高重要度画像Ｉ０１２および低重要度画像Ｉ０１３の画像ＩＤが通知された場合の例について説明する。ここで、図１２に示すように、高重要度画像Ｉ０１２に含まれるオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３が被写体イ，ロ，ハに対応し、低重要度画像Ｉ０１３に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０が被写体ロ，ハ，イに対応しているとする。
ところで、低重要度画像Ｉ０１３から撮像条件等のノイズによるオブジェクトの特徴量の影響を除去する補正をする方法として、例えば、高重要度画像Ｉ０１２に含まれる１つのオブジェクトＰ０３３と、低重要度画像Ｉ０１３に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０のうちオブジェクトＰ０３３に対応する被写体ハに対応するオブジェクトＰ０２９を選出して、オブジェクトＰ０３３の特徴量とオブジェクトＰ０２９の特徴量とを使って補正関数を算出することが考えられる。この場合、高重要度画像Ｉ０１２に含まれる複数のオブジェクトと低重要度画像Ｉ０１３に含まれる複数のオブジェクトとの対応関係を把握する必要がある。例えば、同じ被写体ハに対応するオブジェクトＰ０３３の特徴量とオブジェクトＰ０２９の特徴量とを使って補正関数を算出する場合と、被写体ハに対応するオブジェクトＰ０３３の特徴量と被写体イに対応するオブジェクトＰ０３０の特徴量とを使って補正関数を算出した場合とで、補正関数の内容が変わる可能性がある。つまり、オブジェクトの対応関係が補正関数に影響することになる。
しかしながら、画像Ｉ０１２に含まれるオブジェクトそれぞれが、画像Ｉ０１３に含まれるどのオブジェクトと被写体が一致するかを特定することは難しい。
そこで、本実施の形態では、図１３に示すように、画像Ｉ０１２に含まれるオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３の各特徴量ベクトルの重心ベクトル（特徴量平均値ベクトル）Ｇ０１２と、画像Ｉ０１３に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０の各特徴量ベクトルの重心ベクトル（特徴量平均値ベクトル）Ｇ０１３を使って、補正関数Ｆ１を算出する。これにより、特徴量補正部１２１は、高重要度画像Ｉ０１２に含まれるオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３それぞれと、低重要度画像Ｉ０１３に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０それぞれと、被写体イ、ロ、ハとの対応関係を把握しなくても補正関数Ｆ１を算出することができる。従って、高重要度画像ｉ０１２に含まれるオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３と低重要度画像ｉ０１２に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０との対応関係を把握するための処理を省略することができるから、画像管理装置の処理負荷の低減を図ることができる。
ここでは、特徴量補正部１２１が、まず、図１４に示すように、画像Ｉ０１２に含まれるオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３の各特徴量ベクトルから特徴量平均値ベクトルＧ０１２（オブジェクトＰ０３１，Ｐ０３２，Ｐ０３３の特徴量ベクトルの重心ベクトル）を算出し、図１５に示すように、画像Ｉ０１３に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０の各特徴量から特徴量平均値ベクトルＧ０１３（つまり、オブジェクトＰ０２８，Ｐ０２９，Ｐ０３０の特徴量ベクトルの重心ベクトル）を算出する。例えば、特徴量平均値ベクトルＧ０１２の特徴量成分１は、オブジェクトＰ０３１の特徴量成分１である０．０３と、オブジェクトＰ０３２の特徴量成分１である０．１と、オブジェクトＰ０３０の特徴量成分１である０．１７との平均値０．１（＝（０．０３＋０．１＋０．１７）／３）となる。
そして、特徴量補正部１２１は、特徴量平均値ベクトルＧ０１２の各特徴量成分と、特徴量平均値ベクトルＧ０１３の各特徴量成分との比を補正係数として成分毎に算出し、補正量ベクトルＣｈを求める（図１６参照）。続いて、特徴量補正部１２１は、補正量ベクトルＣｈの各成分と特徴量ベクトルＰ０２８，Ｐ０２９，Ｐ０３０との各成分同士の積を算出する関数を補正関数Ｆ１とする。
つまり、特徴量補正部１２１は、当該補正関数Ｆ１を用いて、低重要度画像Ｉｎに含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０の特徴量ベクトルを補正することで、画像Ｉ０１２に含まれるオブジェクトそれぞれと画像Ｉ０１３に含まれるオブジェクトそれぞれとの対応関係に関わらず、低重要度画像Ｉｎからノイズの影響を除去することができる。
なお、特徴量補正部１２１は、特徴量平均値ベクトルＧ０１３の中に特徴量成分として「０」を含む場合には、当該特徴量成分に対応する補正量ベクトルＣｈの特徴量成分を「１」に設定する。これにより、特徴量成分として「０」を含む場合のゼロ除算の発生を防ぐことができる。
特徴量補正部１２１は、補正関数Ｆ１に特徴量ベクトルＰ０２８，Ｐ０２９，Ｐ０３０を入力して得られる特徴量ベクトルＰ０２８ａ，Ｐ０２９ａ，Ｐ０３０ａを画像内オブジェクト類似部１１６に出力することになる。
特徴量補正部１２１が、画像Ｉ０１３に含まれる各オブジェクトの特徴量に対して
補正量ベクトルＣｈを用いて補正を行った後における各オブジェクトの特徴量を図１７に示す。
＜１−１３−２＞画像内オブジェクト類似度算出部
画像内オブジェクト類似度算出部１１６は、高重要度画像Ｉｍに含まれる複数のオブジェクトと、低重要度画像Ｉｎに含まれる複数のオブジェクトとの類似度（オブジェクトの類似度）を算出する。ここで、画像内オブジェクト類似度算出部１１６は、オブジェクト特徴量記憶部１０４から画像Ｉ０１２に含まれる各オブジェクトの特徴量ベクトルと、特徴量補正部１２１から入力される画像Ｉ０１３に含まれる各オブジェクトの特徴量ベクトルとを用いて、オブジェクトの類似度を算出する。高重要度画像Ｉ０１２および低重要度画像Ｉ０１３は、それぞれ３つのオブジェクトを含むので、図１８に示すように、９つのオブジェクトの組合せについてオブジェクトの類似度を算出する。また、画像内オブジェクト類似度算出部１１６は、対比する２つのオブジェクトの特徴量ベクトルを使ってコサイン類似度を算出する。なお、オブジェクトの類似度は、２つのオブジェクトの特徴量ベクトルの内積に基づいて算出される量を使ってもよい。
つまり、オブジェクトＰｓの特徴量ベクトルをＰｓ（Ｐｓ１，Ｐｓ２，・・・，Ｐｓｎ）とし、オブジェクトＰｔの特徴量ベクトルをＰｔ（Ｐｔ１，Ｐｔ２，・・・，Ｐｔｎ）とすると、［数３］の関係式を使って類似度を算出する。
Figure 0005723367
なお、｜Ｐｓ|、|Ｐｔ｜は、特徴量ベクトルＰｓ、Ｐｔの絶対値（ノルム）を表す。
図１８に、オブジェクトＰ０２８ａと、オブジェクトＰ０３１、オブジェクトＰ０３２およびオブジェクトＰ０３３との類似度を［数３］を使って算出した結果を示す。
次に、画像内オブジェクト類似度算出部１１６は、算出した複数の類似度に基づいて、オブジェクトＰ０３１，Ｐ０３２，Ｐ０３３それぞれとオブジェクトＰ０２８ａ，Ｐ０２９ａ，Ｐ０３０ａそれぞれとの間で被写体が一致する組合せを認定する。つまり、画像内オブジェクト類似度算出部１１６は、算出したオブジェクトの類似度に基づいて、高重要度画像Ｉ０１２の含まれる複数のオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３と高重要度画像Ｉ０１３に含まれる複数のオブジェクトＰ０２８，Ｐ０２９、Ｐ０３０（補正後のオブジェクトＰ０２８ａ，Ｐ０２９ａ、Ｐ０３０ａ）とを一対一に対応付ける。
ここでは、画像内オブジェクト類似度算出部１１６が、まず、算出したオブジェクトの類似度の中から最も類似度の高い組合せ（オブジェクトＰ０２９ａとオブジェクトＰ０３３との組合せ）を検出し、オブジェクトＰ０２９ａとオブジェクトＰ０３３とが同じ被写体に対応したオブジェクトと認定する（図１９上段参照）。その後、画像内オブジェクト類似度算出部１１６は、オブジェクトＰ０２９ａとオブジェクトＰ０３３とを除く他のオブジェクト同士の類似度の中から最も類似度の高い組合せ（オブジェクトＰ０２８ａとオブジェクトＰ０３１との組合せ）を検出し、オブジェクトＰ０２８ａとオブジェクトＰ０３１とが同じ被写体に対応したオブジェクトと認定する（図１９中段参照）。そして、画像内オブジェクト類似度算出部１１６は、残りのオブジェクト（オブジェクトＰ０３０ａとオブジェクトＰ０３２との組合せ）が同じ被写体に対応したオブジェクトと認定する（図１９下段参照）。
そして、画像内オブジェクト類似度算出部１１６は、同じ被写体に対応したオブジェクトと認定したオブジェクト、即ち、一対一に対応付けがなされたオブジェクト同士の類似度のみを類似度判定部１２３および類似度平均値算出部１２２に通知する。図１８に示す例では、画像内オブジェクト類似度算出部１１６は、オブジェクトＰ０２９ａとオブジェクトＰ０３３との類似度「０．９」と、オブジェクトＰ０２８ａとオブジェクトＰ０３１との類似度「０．８」と、オブジェクトＰ０３０ａとオブジェクトＰ０３２との類似度「０．６５」とを類似度判定部１２３および類似度平均値算出部１２２に通知する。
＜１−１３−３＞類似度判定部
類似度判定部１２３は、オブジェクトの類似度に対する閾値（類似度閾値）を保持しており、画像内オブジェクト類似度算出部１１６から通知されるオブジェクトの類似度が類似度閾値を超えているかどうかを判定する。そして、類似度判定部１２３は、オブジェクトの類似度のいずれかが類似度閾値を下回っていると判定すると、その旨を画像選出部１１１に通知する。例えば、互いに異なる被写体に対応するオブジェクト同士の類似度であれば、類似度閾値を下回ることになる。一方、類似度判定部１２３は、オブジェクトの類似度の全てが類似度閾値を超えていると判定すると、その旨を類似度平均値算出部１２２に通知する。
なお、類似度判定部１２３は、複数の画像それぞれに含まれる同一の被写体に対応する複数のオブジェクトを抽出し、各オブジェクト同士の類似度の統計値から類似度閾値を決定する。この類似度閾値の算出に用いる複数の画像は、ユーザが画像管理装置１００に設けられた画像選択部（図示せず）を用いて指定することができる。
＜１−１３−４＞類似度平均値算出部
類似度平均値算出部１２２は、画像内オブジェクト類似度算出部１１６から通知される各オブジェクトの類似度、即ち、画像内オブジェクト類似度算出部１１６により互いに一対一に対応付けられたオブジェクト同士の類似度の平均値を算出して高重要度画像Ｉｍと低重要度画像Ｉｎの画像類似度として画像重要度補正部１１７に対して出力する。例えば、画像内オブジェクト類似度算出部１１６から、オブジェクトの類似度として、「０．９」、「０．８」および「０．６５」が通知されると（図１９参照）、類似度平均値算出部１２２は、通知された３つのオブジェクトの類似度の平均値（０．９＋０．８＋０．６５）/３＝０．７８を高重要度画像Ｉ０１２と低重要度画像Ｉ０１３の画像類似度として画像重要度補正部１１７に対して出力する。
＜１−１４＞画像重要度補正部
画像重要度補正部１１７は、画像類似度算出部１１４の一部を構成する類似度平均値算出部１２２から出力される画像類似度と画像重要度記憶部３２３に記憶された高重要度画像Ｉｍおよび低重要度画像Ｉｎの画像重要度とに基づいて、低重要度画像Ｉｎの画像重要度を補正する。
つまり、画像重要度補正部１１７は、画像類似度をＳｇ、高重要度画像Ｉｍの画像重要度をＳｃｍ、低重要度画像Ｉｎの画像重要度をＳｃｎとすると、［数４］で表される関係式を用いて、低重要度画像Ｉｎの画像重要度Ｓｃｎを補正して低重要度画像Ｉｎの新たな画像重要度Ｓｃｎ’を算出する。
Figure 0005723367
例えば、高重要度画像Ｉ０１２の画像重要度が「１０１」、低重要度画像Ｉ０１３の画像重要度が「５」、高重要度画像Ｉ０１２と低重要度画像Ｉ０１３の画像類似度が「０．７８」とすると、画像重要度補正部１１７は、低重要度画像Ｉｎの画像重要度を、（１０１−５）×０．７８＋５＝７９．８８に補正することになる（図２０参照）。
また、画像重要度補正部１１７は、算出した画像重要度Ｓｃｎ’を画像重要度記憶部３２３に記憶するとともに、補正が終了した旨を画像選出部１１１および画像リランキング部１１８に通知する。
＜１−１５＞画像リランキング部
画像リランキング部１１８は、画像重要度記憶部３２３から各画像の画像重要度を取得して、当該画像重要度に基づいて、複数の画像についてランキングを算出する（図２１参照）。そして、画像リランキング部１１８は、算出したランキングを画像出力部１１９に通知する。
＜１−１６＞画像出力部
画像出力部１１９は、ＨＤＭＩ出力端子により表示装置１２０に接続されており、画像リランキング部１１８から通知される各画像のランキングに基づいて各画像のランキングに関する情報により構成される画像ランキングデータを生成して、当該画像ランキングデータをＨＤＭＩ出力端子から出力する。そして、表示装置１２０は、画像出力部１１９から出力される画像ランキングデータを表示する（図２１参照）。
＜２＞動作
＜２−１＞全体動作
実施の形態１に係る画像管理装置１００で行われる動作のフローチャートを図２２に示す。
画像取得部１０２は、撮影装置１０１に蓄積されている複数の画像を取得し、各画像に対して画像ＩＤを付与する（ステップＳ１０１）。例えば、図２に示す例では、取得した順番に画像ＩＤとしてＩ００１，Ｉ００２，Ｉ００３，Ｉ００４・・・を付与する。
次に、オブジェクト検出部１０３が、画像取得部１０２が取得した各画像Ｉ００１，Ｉ００２,・・・それぞれからオブジェクトを検出し、検出した各オブジェクトにオブジェクトＩＤを付与する（図３、図４参照）。
そして、オブジェクト検出部１０３は、各オブジェクトの特徴量ベクトルを各オブジェクトＩＤと対応付けてオブジェクト特徴量記憶部１０４に格納する（図５参照）（ステップＳ１０２）。
その後、オブジェクト分類部１０５は、オブジェクト検出部１０３が検出した全オブジェクトを、オブジェクト特徴量記憶部１０４に格納されている各オブジェクトの特徴量ベクトルに基づいて複数のクラスタに分類するとともに、各クラスタに属するオブジェクトの個数（図６参照）をオブジェクト重要度算出部１０６に通知する（ステップＳ１０３）。
次に、オブジェクト重要度算出部１０６は、オブジェクト毎に各オブジェクトが属するクラスタを識別するクラスタＩＤを特定して、当該オブジェクトの個数をオブジェクト重要度（図６参照）として出力する（ステップＳ１０４）。
その後、画像重要度算出部１０７が、オブジェクト重要度算出部１０６が算出したオブジェクト重要度に基づいて、各画像の画像重要度を算出する（ステップＳ１０５）。ここでは、画像重要度算出部１０７は、各画像に含まれている全てのオブジェクトのオブジェクト重要度の合計値を画像重要度（図８参照）として算出する。そして、画像重要度算出部１０７は、算出した画像重要度を画像ランキング部１０８に通知する。また、画像重要度算出部１０７は、算出した画像重要度を画像重要度記憶部３２３に格納する（図９参照）。
続いて、画像ランキング部１０８が、画像重要度記憶部３２３から取得した各画像の画像重要度に基づいて各画像をランキング（図１０参照）する（ステップＳ１０６）。また、画像ランキング部１０８は、各画像のランキングを終了した旨を画像内オブジェクト数抽出部１０９に通知するとともに、ランキングした結果を画像選出部１１１に通知する。
画像内オブジェクト数抽出部１０９は、画像ランキング部１０８から各画像のランキングが終了した旨の通知を受けると、画像重要度算出部１０７から通知されるオブジェクトＩＤの個数に基づいて複数の画像それぞれに含まれるオブジェクトの個数（図１１参照）を算出し、画像ＩＤに対応づけた形で画像内オブジェクト数記憶部１１０に格納する（ステップＳ１０７）。
次に、画像選出部１１１の一部を構成する高重要度画像選出部１１２が、ランキングされた複数の画像のうち、順位が１位の画像Ｉ０１２から順番に、順位がＭ位（図１０では、４９位）の画像Ｉ０８６までを高重要度画像Ｉｍとして選出していく（ステップＳ１０８）。高画像重要度Ｉｍを選出する処理の詳細については、＜２−４＞で後述する。ここで、高重要度画像選出部１１２は、選出した高重要度画像Ｉｍの中の１つの画像ＩＤを画像内オブジェクト数比較判定部１１５に通知する。高重要度画像選出部１１２は、例えば、順位が１位の画像Ｉ０１２の画像ＩＤを画像内オブジェクト数比較判定部１１５に通知する。
続いて、画像選出部１１１の一部を構成する低重要度画像選出部１１３が、ランキングされた複数の画像のうち、順位がＭ＋１位（図１０では、５０位）の画像Ｉ０１３から順番に、順位が最下位の画像までを低重要度画像Ｉｎとして選出していく（ステップＳ１０９）。ここで、低重要度画像選出部１１３は、選出した低重要度画像Ｉｎの中の１つの画像ＩＤ）を画像内オブジェクト数比較判定部１１５に通知する。低重要度画像選出部１１３は、例えば、順位が５０位の画像Ｉ０１３の画像ＩＤを画像内オブジェクト数比較判定部１１５に通知する。
次に、画像内オブジェクト数比較判定部１１５は、高重要度画像選出部１１２から通知される画像ＩＤ（画像Ｉ０１２）と、低重要度画像選出部１１３から通知される画像ＩＤ（画像Ｉ０１３）と、画像内オブジェクト数記憶部１１０から取得した各画像に含まれるオブジェクトの個数に関する情報とに基づいて、高重要度画像Ｉ０１２に含まれるオブジェクトの個数と、低画像重要度画像Ｉ０１３に含まれるオブジェクトの個数とを比較して、同じがどうかを判定する（ステップＳ１１０）。
ステップＳ１１０において、画像内オブジェクト数比較判定部１１５が、画像内オブジェクト数比較判定部１１５が、高重要度画像Ｉ０１２に含まれるオブジェクトの個数と低重要度画像Ｉ０１３に含まれるオブジェクトの個数とが異なると判断すると（ステップＳ１１０：Ｎｏ）、その旨を画像選出部１１１に通知する。そして、画像選出部１１１が当該通知を受けると、画像選出部１１１の一部を構成する低重要度画像選出部１１３が、他の低重要度画像Ｉｎを選出する（ステップＳ１０９）。
一方、ステップＳ１１０において、画像内オブジェクト数比較判定部１１５が、画像内オブジェクト数比較判定部１１５が、高重要度画像Ｉ０１２に含まれるオブジェクトの個数と低重要度画像Ｉ０１３に含まれるオブジェクトの個数とが同じと判定すると（ステップＳ１１０：Ｙｅｓ）、画像内オブジェクト数比較判定部１１５は、高重要度画像Ｉ０１２および低重要度画像Ｉ０１３の画像ＩＤを画像類似度算出部１１４に通知する。
そして、画像類似度算出部１１４が、画像内オブジェクト数比較判定部１１５から高重要度画像Ｉ０１２および低重要度画像Ｉ０１３の画像ＩＤの通知を受けると、画像類似度算出部１１４において、特徴量補正部２２１および画像内オブジェクト類似度算出部１１６により、高重要度画像Ｉ０１２に含まれるオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３それぞれの特徴量ベクトルと、低重要度画像Ｉ０１３に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０それぞれの特徴量ベクトルに基づいてオブジェクトの類似度を算出する処理が行われる（ステップＳ１１１）。この画像Ｉ０１２，Ｉ０１３に含まれるオブジェクトの類似度を算出する処理については、＜２−２＞で詳述する。
続いて、類似度判定部１２３が、算出したオブジェクトの類似度の中で、予め設定された類似度閾値を超えているかどうかを判定する（ステップＳ１１２）。
類似度判定部１２３が、算出したオブジェクトの類似度の中に、予め設定された類似度閾値よりも低いものがあると判定した場合（ステップＳ１１２：Ｎｏ）、類似度判定部１２３は、その旨を低画像重要度選出部１１３に通知し、当該通知を受けた低画像重要度選出部１１３は、他の低重要度画像を選出する（ステップＳ１０９）。
一方、類似度判定部１２３が、算出したオブジェクトの類似度が全て類似度閾値以上であると判定した場合（ステップＳ１１２：Ｎｏ）、類似度判定部１２３は、その旨を類似度平均値算出部１２２に通知する。そして、類似度平均値算出部１２２が、算出したオブジェクトの類似度の平均値を算出し、当該平均値を画像類似度として画像重要度補正部１１７に通知する（ステップＳ１１３）。そして、画像重要度補正部１１７が、当該画像類似度に基づいて、低重要度画像Ｉ０１３の画像重要度を補正する（ステップＳ１１４）。この画像重要度の補正を行う一連の処理については、＜２−３＞で詳述する。ここで、画像重要度補正部１１７は、画像Ｉ０１３の画像重要度の補正が終了すると、画像重要度記憶部３２３に記憶するとともに、補正が終了した旨を画像リランキング部１１８および画像選出部１１１に通知する。
そして、画像選出部１１１が画像重要度補正部１１１から補正が終了した旨の通知を受けると、低重要度画像選出部１１３が、前回選出した画像Ｉ０１３よりも１つだけランキングが下の画像が存在するか否かを確認する(ステップＳ１１５)。
ステップＳ１１５において、低重要度画像選出部１１３が、前回選出した画像Ｉ０１３よりも１つだけランキングが下の画像が存在すると判断した場合（ステップＳ１１５：Ｙｅｓ）、低重要度画像選出部１１３は、前回選出した画像Ｉ０１３よりも１つだけランキングが下の画像を選出する。低重要度画像選出部１１３は、例えば、前回選出した画像が順位５０位の画像Ｉ０１３であったとすると、次の順位５１位の画像Ｉ０８５（図１１参照）を選出することになる。
一方、ステップＳ１１５において、低重要度画像選出部１１３が、前回選出した画像Ｉｎよりも１つだけランキングが下の画像が存在しないと判断した場合（ステップＳ１１５：Ｎｏ）、高重要度画像選出部１１２が、前回選出した画像Ｉ０１２よりも１つだけランキングが下の画像が存在するか否かを確認する(ステップＳ１１６)。
ステップＳ１１６において、高重要度画像選出部１１２が、前回選出した画像Ｉ０１２よりも１つだけランキングが下の画像が存在すると判断した場合（ステップＳ１１６：Ｙｅｓ）、高重要度画像選出部１１２は、前回選出した画像Ｉ０１２よりも１つだけランキングが下の画像を選出する。高重要度画像選出部１１２は、例えば、前回選出した画像が順位１位の画像Ｉ０１２であったとすると、次の順位２位の画像Ｉ００９（図１１参照）を選出することになる。
一方、ステップＳ１１６において、高重要度画像選出部１１２が、前回選出した画像Ｉｍよりも１つだけランキングが下の画像が存在しないと判断した場合（ステップＳ１１６：Ｎｏ）、画像リランキング部１１８が、画像重要度算出部１０７が評価した画像重要度および、画像重要度補正値算出部１１７で算出した重要度の補正値を用いて、各画像をランキングする（ステップＳ１１７）。ここでは、画像リランキング部１１８が、複数の画像を画像重要度の大きいものから順番に並べるものとする。図２１にその一例を示す。図２１に示す例では、画像重要度が「５」であった画像Ｉ０１３の画像重要度が「７９．８８」となった結果、順位が３位に繰り上がっている。
最後に、画像出力部１１９が、画像リランキング部１１８がランキングした結果を表示装置１２０に出力する（ステップＳ１１８）。
＜２−２＞オブジェクト類似度算出
オブジェクトの類似度を算出する処理のフローチャートを図２３に示す。
まず、高重要度画像像Ｉｍに含まれる複数のオブジェクトの特徴量平均値ベクトルＧｍ（ここでは、画像Ｉ０１２に含まれるオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３の特徴量平均値ベクトルＧ０１２で説明する。）を算出する（ステップＳ２０１）。
次に、低重要度画像Ｉｎに含まれる複数のオブジェクトの特徴量平均値ベクトルＧｎ（ここでは、画像Ｉ０１３に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０の特徴量平均値ベクトルＧ０１３で説明する。）を算出する(ステップＳ２０２）。
その後、特徴量平均値ベクトルＧ０１２と特徴量平均値ベクトルＧ０１３とから補正量ベクトルＣｈを求める（ステップＳ２０３）。
そして、特徴量補正部１２１が、低重要度画像Ｉ０１３に含まれる全てのオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０について、前述の［数１］で示したように、補正量ベクトルＣｈを用いた補正関数Ｆ１で補正した後の各オブジェクトＰ０２８ａ，Ｐ０２９ａ，Ｐ０３０ａの特徴量ベクトルを算出する（ステップＳ２０４）。
次に、画像内オブジェクト類似度算出部１１６が、高重要度画像Ｉ０１２に含まれる各オブジェクトＰ０３１，Ｐ０３２，Ｐ０３３と、補正後の各オブジェクトＰ０２８ａ，Ｐ０２９ａ，Ｐ０３０ａとの類似度を算出する（ステップＳ２０５）。
次に、画像内オブジェクト類似度算出部１１６が算出したオブジェクトの類似度の中から類似度の最高値を抽出する（ステップＳ２０６）。
そして、画像内オブジェクト類似度算出部１１６は、類似度の最高値に対応するオブジェクトの組合せを検出する（ステップＳ２０７)。図１９に示す例では、画像内オブジェクト類似度算出部１１６は、オブジェクトＰ０２９ａとオブジェクトＰ０３３との組合せを検出する。(ステップＳ２０８)。
ここにおいて、画像内オブジェクト類似度算出部１１６は、オブジェクトＰ０２９ａとオブジェクトＰ０３３の組合せを検出したので、オブジェクトＰ０２９ａ，Ｐ０３３を組合せ検出対象から除外する。図１９に示す例では、ハッチングで示した部分に対応する類似度を組合せ検出の対象から除外する。
次に、画像内オブジェクト類似度算出部１１６が、全てのオブジェクトについて組合せを検出したか否かを判断する(ステップＳ２０９)。
ステップＳ２０９において、画像内オブジェクト類似度算出部１１６が、オブジェクトの中にまだ組み合わせが決まっていないオブジェクトがあると判断すると（ステップＳ２０９：Ｎｏ）、再び、ステップＳ２０６へ戻る。
一方、ステップＳ２０９において、画像内オブジェクト類似度算出部１１６が、全てのオブジェクトについて組合せが決まったと判断すると（ステップＳ２０９：Ｙｅｓ）、オブジェクトの組合せと、当該組み合わせに対応する類似度とを類似度平均値算出部１２２に通知する(Ｓ２１０)。ここでは、画像内オブジェクト類似度算出部１１６は、オブジェクトＰ０２９ａとオブジェクトＰ０３３との類似度が、「０．９」であり、オブジェクトＰ０２８ａとオブジェクトＰ０３１との類似度が、「０．８」であり、オブジェクトＰ０３０ａとオブジェクトＰ０３２との類似度が、「０．６５」である旨（図１９参照）を類似度平均値算出部１１６に通知する。
＜２−３＞画像重要度補正
画像重要度を補正する処理のフローチャートを図２４（ｂ）に示す。
まず、画像重要度補正部１１７が、画像重要度記憶部３２３から、画像Ｉ０１２の画像重要度と、画像Ｉ０１３の画像重要度とを取得する（ステップＳ３０１）。ここでは、画像重要度補正部１１７は、画像Ｉ０１２の画像重要度「１０１」、画像Ｉ０１３の画像重要度「５」を取得する（図９参照）。
その後、画像重要度補正部１１７が、まず、画像Ｉ０１２の画像重要度「１０１」および画像Ｉ０１３の画像重要度「５」の差分値とオブジェクトの類似度の平均値「０．７８」との積を算出し、その後、算出した積と低重要度画像Ｉ０１３の画像重要度「５」との和を算出し、算出した値「７９．８８」を画像Ｉ０１３の新たな画像重要度として出力する（図２０参照）（ステップＳ３０２）。
＜２−４＞高重要度画像選出
高重要度画像Ｉｍを選出する処理のフローチャートを図２４（ａ）に示す。
まず、高重要度画像選出部１１２は、１つの高重要度画像Ｉｍを選出する（ステップＳ３１１）。
次に、高重要度画像選出部１１２は、選出した高重要度画像Ｉｍに含まれるオブジェクト数を画像重要度算出部１０７から通知されるオブジェクトＩＤの個数を計数して算出する（ステップＳ３１２）。
その後、高重要度画像選出部１１２は、選出した高重要度画像Ｉｍに含まれるオブジェクト数が１個であるか否かを判定する（ステップＳ３１３）。
ステップＳ３１３において、高重要度画像選出部１１２が、選出した高重要度画像Ｉｍに含まれるオブジェクト数が１個であると判定すると（ステップＳ３１３：Ｙｅｓ）、高重要度画像選出部１１２は、別の高重要度画像Ｉｍを選出する（ステップＳ３１１）。
一方、ステップＳ３１３において、高重要度画像選出部１１２が、選出した高重要度画像Ｉｍに含まれるオブジェクト数が複数であると判定すると（ステップＳ３１３：Ｎｏ）、高重要度画像選出部１１２は、高重要度画像Ｉｍを選出する処理を終了する。
＜実施の形態２＞
＜１＞構成
本実施の形態に係る画像管理装置２００の構成は、図１の構成と略同じであり、図２５に示すように、オブジェクト選出部２１５を備えるとともに、画像類似度算出部１１４が類似度最高値算出部２２３を備えている点が相違する。なお、図１の構成と同様の構成については、同一の符号を付して適宜説明を省略する。
＜１−１＞オブジェクト選出部
オブジェクト選出部２１５は、高重要度画像選出部１１２が選出した高重要度画像Ｉｍに含まれる複数のオブジェクトの中から１つのオブジェクトを選択して、選択した１つのオブジェクトのオブジェクトＩＤと当該オブジェクトを含む画像ＩＤとを特徴量補正部２２１に通知する。オブジェクト選出部２１５は、例えば、図２６に示すように、高重要度画像Ｉ０１２に含まれる３つのオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３の中から１つのオブジェクトＰ０３１を選択して、そのオブジェクトＩＤと当該オブジェクトＰ０３１を含む高重要度画像Ｉ０１２の画像ＩＤとを特徴量補正部２２１に通知する。
＜１−２＞画像類似度算出部
画像類似度算出部１１４は、特徴量補正部２２１と、画像内オブジェクト類似度算出部１１６と、類似度最高値算出部２２３と、類似度判定部２２２とから構成される。
＜１−２−１＞特徴量補正部
特徴量補正部２２１は、オブジェクト選出部２１５から通知されるオブジェクトＩＤで特定されるオブジェクトＰ０３１と、画像選出部１１１から通知される画像ＩＤで特定される低重要度画像Ｉ０１３に含まれる全てのオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０の特徴量ベクトルをオブジェクト特徴量記憶部１０４から読み出す。
そして、特徴量補正部２２１は、オブジェクト特徴量記憶部１０４から読み出した低重要度画像Ｉｎに含まれる複数のオブジェクトの特徴量ベクトルを、高重要度画像Ｉｍに含まれるオブジェクトの特徴量ベクトルと、低重要度画像Ｉｎに含まれるオブジェクトの特徴量ベクトルとをパラメータとする補正関数Ｆ２を使って補正して出力する。
ここで、補正関数Ｆ２は、低重要度画像Ｉｎに含まれる複数のオブジェクトの特徴量を、低重要度画像Ｉｎに含まれるオブジェクトの特徴量に対する高重要度画像Ｉｍに含まれるオブジェクトの中から選択した１つのオブジェクトの特徴量の比を補正係数とし、当該補正係数を低重要度画像Ｉｎに含まれる複数のオブジェクトの特徴量それぞれに乗ずる関数で構成される。
つまり、高重要度画像Ｉｍに含まれる複数のオブジェクトの中から選択したオブジェクトの特徴量ベクトルをＰｕｙ（Ｐｕｙ１，Ｐｕｙ２，・・・，Ｐｕｙｎ）とし、低重要度画像Ｉｎに含まれる各オブジェクトの特徴量ベクトルをＰｗ１（Ｐｗ１１，Ｐｗ１２，・・・，Ｐｗ１ｎ）、Ｐｗ２（Ｐｗ２１，Ｐｗ２２，・・・，Ｐｗ２ｎ）、・・・、Ｐｗｖ（Ｐｗｖ１，Ｐｗｖ２，・・・，Ｐｗｖｎ）とし、特徴量ベクトルＰｗ１、Ｐｗ２、・・・、Ｐｗｖを補正した後の特徴量ベクトルをＰｗ１ｂｙ（Ｐｗ１１ｂｙ，Ｐｗ１２ｂｙ，・・・，Ｐｗ１ｎｂｙ）、Ｐｗ２ｂ（Ｐｗ２１ｂｙ，Ｐｗ２２ｂｙ，・・・，Ｐｗ２ｎｂｙ）、・・・、Ｐｗｖｂｙ（Ｐｗｖ１ｂｙ，Ｐｗｖ２ｂｙ，・・・，Ｐｗｖｎｂｙ）とすると、補正関数Ｆ２（Ｐ）について、［数５］の関係式が成立する。
Figure 0005723367
ここで、特徴量補正部２２１が、オブジェクト選出部２１５から高重要度画像Ｉ０１２の画像ＩＤ、オブジェクトＰ０３１のオブジェクトＩＤおよび低重要度画像Ｉ０１３の画像ＩＤが通知される場合について説明する。
特徴量補正部２２１は、オブジェクトＰ０３１の各特徴量成分と、画像Ｉ０１３に含まれる各オブジェクトＰ０２８，Ｐ０２９，Ｐ０３０それぞれの特徴量ベクトルの各特徴量成分との比からなる補正係数を計算し、補正量ベクトルＣｈ１，Ｃｈ２，Ｃｈ３を求める（図２７参照）。
なお、特徴量補正部１２１は、各オブジェクトＰ０２８，Ｐ０２９，Ｐ０３０それぞれの特徴量ベクトルが特徴量成分として「０」を含む場合には、当該特徴量成分に対応する補正量ベクトルＣｈ１，Ｃｈ２，Ｃｈ３の特徴量成分を「１」に設定する。これにより、特徴量成分として「０」を含む場合のゼロ除算の発生を防ぐことができる。
その後、特徴量補正部２２１は、各補正量ベクトルＣｈ１，Ｃｈ２，Ｃｈ３と各オブジェクトＰ０２８，Ｐ０２９，Ｐ０３０の特徴量ベクトルと各成分同士の積を算出する関数を補正関数Ｆ２とする。
ここで、特徴量補正部２２１は、補正関数Ｆ２にオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０それぞれの特徴量ベクトルを入力して得られるオブジェクトＰ０２８ｂ１，Ｐ０２９ｂ１，Ｐ０３０ｂ１およびオブジェクトＰ０２８ｂ２，Ｐ０２９ｂ２，Ｐ０３０ｂ２、並びにオブジェクトＰ０２８ｂ３，Ｐ０２９ｂ３，Ｐ０３０ｂ３それぞれの特徴量ベクトル（図２８参照）を画像内オブジェクト類似部１１６に通知することになる。なお、補正量ベクトルＣｈ１（Ｃｈ２，Ｃｈ３）を用いる補正関数Ｆ２では、オブジェクトＰ０３１に対応する被写体がオブジェクトＰ０２８（Ｐ０２９，Ｐ０３０）に対応する被写体と同じと仮定して補正を行うことになる。
＜１−２−２＞画像内オブジェクト類似度算出部
画像内オブジェクト類似度算出部１１６は、画像Ｉ０１２に含まれるオブジェクトＰ０３２，Ｐ０３３と特徴量補正部２２１から通知されるオブジェクトＰ０２９ｂ１，Ｐ０３０ｂ１との類似度、オブジェクトＰ０３２，Ｐ０３３とオブジェクトＰ０２８ｂ２，Ｐ０３０ｂ２との類似度、オブジェクトＰ０３２，Ｐ０３３とオブジェクトＰ０２８ｂ３，Ｐ０２９ｂ３との類似度（図２９参照）を算出する。つまり、画像内オブジェクト類似度算出部１１６は、補正関数Ｆ２の算出に使用したオブジェクトの組合せ以外のオブジェクトの組合せについて類似度を算出する。これにより、画像内オブジェクト類似度算出部１１６が行うオブジェクトの類似度を算出する処理の負荷を低減することができる。
また、画像内オブジェクト類似度算出部１１６は、オブジェクトＰ０３２，Ｐ０３３それぞれと、オブジェクトＰ０２９ｂ１，Ｐ０３０ｂ１それぞれとの類似度の中で最も高い類似度Ｓ１を抽出する。図２９に示す例では、オブジェクトＰ０３３とオブジェクトＰ０２９ｂ１との類似度である「０．９」となる。そして、類似度最高値算出部２２３は、オブジェクトＰ０３２，Ｐ０３３それぞれと、オブジェクトＰ０２８ｂ２，Ｐ０３０ｂ２それぞれとの類似度の中で最も高い類似度Ｓ２を抽出する。図２７に示す例では、オブジェクトＰ０３２とオブジェクトＰ０３０ｂ２との類似度である「０．３５」となる。更に、画像内オブジェクト類似度算出部１１６は、オブジェクトＰ０３２，Ｐ０３３それぞれと、オブジェクトＰ０２８ｂ３，Ｐ０２９ｂ３それぞれとの類似度の中で最も高い類似度Ｓ３を抽出する。図２９に示す例では、オブジェクトＰ０３３とオブジェクトＰ０２９ｂ３との類似度である「０．４」となる。
その後、画像内オブジェクト類似度算出部１１６は、抽出した類似度Ｓ１，Ｓ２，Ｓ３の中から最も高い類似度を抽出し、当該類似度を示したオブジェクトの組合せを検出する。図２７に示す例では、画像内オブジェクト類似度算出部１１６が、類似度Ｓ１（「０．９」）を抽出し、この類似度Ｓ１に対応する組合せは、オブジェクトＰ０３３とオブジェクトＰ０２９ｂ１となる。また、画像内オブジェクト類似度算出部１１６は、類似度Ｓ１の２つのオブジェクトＰ０３３，Ｐ０２９ｂ１以外の他のオブジェクトＰ０３２，Ｐ０２９ｂ２の類似度（図２９の例では「０．８」）を抽出する。そして、類似度最高値算出部２２３は、抽出した類似度を類似度判定部２２２に通知する。
＜１−２−３＞類似度判定部
類似度判定部２２２は、類似度に対する所定の閾値（類似度閾値）を保持しており、類似度最高値算出部２２３から通知される類似度の値が当該類似度閾値を超えているか否かを判定する。そして、類似度判定部２２２は、オブジェクトの類似度のいずれかが類似度閾値を下回っていると判定すると、その旨を画像選出部１１１に通知する。一方、類似度判定部１２３は、オブジェクトの類似度の全てが類似度閾値を超えていると判定すると、その旨を類似度最高値算出部２２３に通知する。
＜１−２−４＞類似度最高値算出部
類似度最高値算出部２２３は、画像内オブジェクト類似度算出部１１６から通知される類似度の中から類似度の最高値を算出し、当該最高値を画像類似度として画像重要度補正部１１７に通知する。図２９に示す例では、類似度最高値算出部２２３は、オブジェクトＰ０３２，Ｐ０３０ｂ１の類似度、およびオブジェクトＰ０３３，Ｐ０２９ｂ１の類似度の中から類似度の最高値を算出する。
＜２＞動作
＜２−１＞全体動作
本実施の形態に係る画像管理装置２００で行われる動作のフローチャートを図３０に示す。本実施の形態の全体動作では、ステップＳ１０６の直後からステップＳ１１４の直前までの処理が実施の形態１と相違する。なお、ステップＳ１０６の直後からステップＳ１１４の直前までの処理以外の処理は、実施の形態１と同様なので説明を省略する。
本実施の形態に係る画像管理装置２００は、ステップＳ１０６において複数の画像を画像重要度でランキングした後に、画像選出部１１１の一部を構成する高重要度画像選出部１１２が、ランキングされた複数の画像のうち、順位が１位の画像Ｉ０１２から順番に、順位がＭ位（図１０では、４９位）の画像Ｉ０８６までを高重要度画像Ｉｍとして選出する（ステップＳ４０１）。ここで、高重要度画像選出部１１２は、選出した１つの高重要度画像Ｉｍの画像ＩＤをオブジェクト選出部２１５に通知する。高重要度画像選出部１１２は、例えば、順位が１位の高重要度画像Ｉ０１２の画像ＩＤをオブジェクト選出部２１５に通知する。
次に、画像選出部１１１の一部を構成する低重要度画像選出部１１３が、ランキングされた複数の画像のうち、順位がＭ＋１位（図１０では、５０位）の画像Ｉ０１３から順番に、順位が最下位の画像までを低重要度画像Ｉｎとして選出していく（ステップＳ４０２）。高画像重要度Ｉｍを選出する処理の詳細は、実施の形態１（図２２のステップＳ１０８参照）と同様なので説明を省略する。ここで、低重要度画像選出部１１３は、選出した１つの低重要度画像Ｉｎの画像ＩＤをオブジェクト選出２１５に通知する。低重要度画像選出部１１３は、例えば、順位が５０位の低重要度画像Ｉ０１３の画像ＩＤをオブジェクト選出部２１５に通知する。
続いて、オブジェクト選出部２１５が、高重要度画像選出部１１２から通知される画像重要度の高い画像Ｉｍの画像ＩＤに基づいて、画像重要度の高い画像Ｉｍそれぞれに含まれるオブジェクトの中の１つを選出する（ステップＳ４０３）。例えば、図２６に示すオブジェクトＰ０３１を選出する。そして、オブジェクト選出部２１５は、画像Ｉ０１２の画像ＩＤと当該画像Ｉ０１２に含まれるオブジェクトＰ０３１のオブジェクトＩＤとを画像類似度算出部１１４に通知する。
その後、画像類似度算出部１１４において、特徴量補正部２２１および画像内オブジェクト類似度算出部１１６により、高重要度画像Ｉ０１２に含まれるオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３それぞれの特徴量ベクトルと、低重要度画像Ｉ０１３に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０それぞれの特徴量ベクトルに基づいてオブジェクトの類似度（図２９参照）を算出する処理が行われる（ステップＳ４０４）。この高重要度画像Ｉ０１２に含まれるオブジェクトと低重要度画像Ｉ０１３に含まれるオブジェクトとの類似度を算出する処理については、＜２−２＞で詳述する。
次に、類似度判定部２２２が、画像内オブジェクト類似度算出部１１６が算出したオブジェクトの類似度の全てが予め設定された類似度閾値を超えているかどうかを判定する（ステップＳ４０５）。
類似度判定部２２２が、算出したオブジェクトの類似度の中に、予め設定された類似度閾値よりも低いものがあると判定した場合（ステップＳ４０５：Ｎｏ）、類似度判定部２２２は、その旨を画像選出部１１１に通知し、画像選出部１１１の一部を構成する低画像重要度選出部１１３が、画像Ｉ０１３以外の画像重要度の低い画像を新たに選出する（ステップＳ４０２）。
一方、画像内オブジェクト類似度算出部１１６が、算出したオブジェクトの類似度の全てが類似度閾値以上であると判定した場合（ステップＳ４０５：Ｙｅｓ）、類似度最高値算出部２２３が、画像内オブジェクト類似度算出部１１６から通知される類似度の最高値を算出し、算出した類似度を画像類似度として出力する（ステップＳ４０６）。
そして、画像重要度補正部１１７が、類似度最高値算出部２２３から出力される画像類似度と、画像重要度記憶部３２３から取得した高重要度画像Ｉ０１３の画像重要度と低重要度画像Ｉ０１２の画像重要度とに基づいて、低重要度画像Ｉ０１３の画像重要度の補正を行う（ステップＳ４０７）。この画像重要度の補正を行う一連の処理については、＜２−３＞で詳述する。
＜２−２＞オブジェクト類似度算出
オブジェクトの類似度を算出する処理のフローチャートを図３１に示す。
まず、特徴量補正部２２１が、オブジェクト選出部２１５から通知される画像ＩＤおよびオブジェクトＩＤに基づいて、補正量ベクトルを算出する（ステップＳ５０１）。ここでは、画像内オブジェクト類似度算出部１１６が、画像Ｉ０１３に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０それぞれの各特徴量成分に対する画像Ｉ０１２に含まれるオブジェクトＰ０３１の各特徴量成分の比からなる補正係数で構成される補正量ベクトルＣｈ１，Ｃｈ２，Ｃｈ３（図２７参照）を算出する。
次に、特徴量補正部２２１が、画像Ｉｎ（画像Ｉ０１３）に含まれる各オブジェクトＰ０２８，Ｐ０２９，Ｐ０３０に対して、補正量ベクトルＣｈ１，Ｃｈ２，Ｃｈ３を用いて特徴量を補正して、オブジェクトＰ０２９ｂ１，Ｐ０３０ｂ１，Ｐ０２８ｂ２，Ｐ０３０ｂ２，Ｐ０２９ｂ３，Ｐ０３０ｂ３（図２８参照）を生成する (ステップＳ５０２）。
そして、画像内オブジェクト類似度算出部１１６が、補正量ベクトルＣｈ１，Ｃｈ２，Ｃｈ３を算出する際に用いたオブジェクトを除く全てのオブジェクトの類似度（図２９参照）を算出する（ステップＳ５０３）。
続いて、画像内オブジェクト類似度算出部１１６が、算出したオブジェクト同士の類似度の中から最も高い類似度を抽出する（ステップＳ５０４）。図２９に示す例では、オブジェクトＰ０３３とオブジェクトＰ０２９ｂ１との類似度となる。そして、この最も高い類似度に対応したオブジェクトの組合せを検出し（ステップＳ５０５）、当該オブジェクトの一方を生成するために用いた補正量ベクトルを特定する（ステップＳ５０６）。ここでは、オブジェクトＰ０２９ｂ１を生成するために用いた補正量ベクトルＣｈ１となる。
次に、画像内オブジェクト類似度算出部１１６が、最も高い類似度に対応したオブジェクトを、組合せ検出対象から除外するとともに（ステップＳ５０７)、補正量ベクトルＣｈ１を用いて生成されたオブジェクトの全てについて組合せが検出されたか否かを判断する(ステップＳ５０８)。
ステップＳ５０８において、画像内オブジェクト類似度算出部１１６が、補正量ベクトルＣｈ１を用いて生成されたオブジェクトの中に組合せが検出されていないオブジェクトが存在すると判断した場合（ステップＳ５０８：Ｎｏ）、画像内オブジェクト類似度算出部１１６が、再度、最も高い類似度を抽出する処理を行う（ステップＳ５０４）。
一方、ステップＳ５０８において、画像内オブジェクト類似度算出部１１６が、補正量ベクトルＣｈ１を用いて生成されたオブジェクトの全てについて組合せを検出したと判断すると（ステップＳ５０８：Ｙｅｓ）、各オブジェクトの組合せと当該組合せに対応する類似度とを類似度最高値算出部２２３に通知する（ステップＳ５０９）。
＜２−３＞画像重要度補正
画像重要度を補正する処理のフローチャートを図３２に示す。
まず、画像重要度補正部１１７が、画像重要度記憶部３２３から、画像Ｉ０１２の画像重要度と、画像Ｉ０１３の画像重要度とを取得する（ステップＳ６０１）。ここでは、画像Ｉ０１２の画像重要度が「１０１」、画像Ｉ０１３の画像重要度が「５」とする）。
その後、画像重要度補正部１１７が、画像Ｉ０１２の画像重要度「１０１」および画像Ｉ０１３の画像重要度「５」の差分値と、類似度最高値算出部２２３から通知される画像類似度「０．９」との積に画像Ｉ０１３の重要度「５」を足した値を、画像Ｉ０１３の新たな画像重要度として出力する（ステップＳ６０２）。
＜実施の形態３＞
＜１＞構成
本実施の形態に係る画像管理装置の構成は、図１の構成と略同じであり、画像類似度算出部１１４の機能が相違する。なお、図１の構成と同様の構成については、同一の符号を付して適宜説明を省略する。
画像類似度算出部１１４は、実施の形態１と同様に、特徴量補正部１２１と、画像内オブジェクト類似度算出部１１６と、類似度判定部１２３と、類似度平均値算出部１２２とから構成される。本実施の形態では、特徴量補正部１２１の機能のみが異なる。ここで、画像内オブジェクト類似度算出部１１６、類似度判定部１２３、および類似度平均値算出部１２２は、実施の形態１と同様なので説明を省略する。
特徴量補正部１２１は、画像内オブジェクト数比較判定部１１５から通知される画像ＩＤで特定される画像それぞれに含まれるオブジェクトの特徴量をオブジェクト特徴量記憶部１０４から読み出す。
そして、特徴量補正部１２１は、オブジェクト特徴量記憶部１０４から読み出した低重要度画像Ｉｎに含まれる複数のオブジェクトの特徴量を、高重要度画像Ｉｍに含まれるオブジェクトの特徴量と、低重要度画像Ｉｎに含まれるオブジェクトの特徴量とをパラメータとする補正関数Ｆ３を使って補正して出力する。
ここで、補正関数Ｆ３は、低重要度画像Ｉｎに含まれるオブジェクトの特徴量の平均値に対する高重要度画像Ｉｍに含まれるオブジェクトの特徴量の平均値の差分値を低重要度画像Ｉｎに含まれるオブジェクトの特徴量に加算する関数で構成される。
つまり、高重要度画像Ｉｍに含まれる各オブジェクトの特徴量ベクトルをＰｕ１（Ｐｕ１１，Ｐｕ１２，・・・，Ｐｕ１ｎ）、Ｐｕ２（Ｐｕ２１，Ｐｕ２２，・・・，Ｐｕ２ｎ）、・・・、Ｐｕｖ（Ｐｕｖ１，Ｐｕｖ２，・・・，Ｐｕｖｎ）とし、低重要度画像Ｉｎに含まれる各オブジェクトの特徴量ベクトルをＰｗ１（Ｐｗ１１，Ｐｗ１２，・・・，Ｐｗ１ｎ）、Ｐｗ２（Ｐｗ２１，Ｐｗ２２，・・・，Ｐｗ２ｎ）、・・・、Ｐｗｖ（Ｐｗｖ１，Ｐｗｖ２，・・・，Ｐｗｖｎ）とし、特徴量ベクトルＰｗ１、Ｐｗ２、・・・、Ｐｗｖを補正した後の特徴量ベクトルをＰｗ１ｃ（Ｐｗ１１ｃ，Ｐｗ１２ｃ，・・・，Ｐｗ１ｎｃ）、Ｐｗ２ｃ（Ｐｗ２１ｃ，Ｐｗ２２ｃ，・・・，Ｐｗ２ｎｃ）、・・・、Ｐｗｖｃ（Ｐｗｖ１ｃ，Ｐｗｖ２ｃ，・・・，Ｐｗｖｎｃ）とすると、補正関数Ｆ３（Ｐ）について、［数６］の関係式が成立する。
Figure 0005723367
ここで、特徴量補正部１２１が、画像内オブジェクト数比較判定部１１５から高重要度画像Ｉ０１２および低重要度画像Ｉ０１３の画像ＩＤが通知される場合について説明する。
特徴量補正部１２１は、図１４に示すように、画像Ｉ０１２に含まれるオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３の各特徴量から特徴量平均値ベクトルＧ０１２を算出し、図１５に示すように、画像Ｉ０１３に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０の各特徴量から特徴量平均値ベクトルＧ０１３を算出する。
本実施の形態では、特徴量平均値ベクトルＧ０１３の中に特徴量成分として「０」を含む場合であっても、実施の形態１および２のように特徴量補正部１２１がゼロ除算に対する処理を行う必要がなくなるので、特徴量補正部１２１が行う処理の簡素化を図ることができる。
そして、特徴量補正部１２１は、特徴量平均値ベクトルＧ０１２の各特徴量成分と、特徴量平均値ベクトルＧ０１３の各特徴量成分との差分（特徴量平均値ベクトルＧ０１２の各特徴量成分から特徴量平均値ベクトルＧ０１３の各特徴量成分を引き算した値）を計算して補正量ベクトルＣｈｓを求めて（図３３参照）、当該補正量ベクトルＣｈｓの各成分と特徴量ベクトルＰ０２８，Ｐ０２９，Ｐ０３０との各成分同士の和を算出する関数を補正関数Ｆ３とする。特徴量補正部１２１は、補正関数Ｆ３に特徴量ベクトルＰ０２８，Ｐ０２９，Ｐ０３０を入力して得られる特徴量ベクトルＰ０２８ｃ，Ｐ０２９ｃ，Ｐ０３０ｃを画像内オブジェクト類似部１１６に出力することになる。
特徴量補正部１２１が、画像Ｉ０１３に含まれる各オブジェクトの特徴量に対して
補正関数Ｆ３により補正を行った後における各オブジェクトの特徴量を図３４に示す。
＜２＞動作
本実施の形態に係る画像管理装置で行われる全体動作は、実施の形態１と同様（図２８参照）なので、説明を省略する。本実施の形態では、画像内オブジェクト類似度算出処理のみが実施の形態１と相違する。ここでは、オブジェクトの類似度を算出する処理のみについて説明する。
オブジェクト類似度算出処理のフローチャートを図３５に示す。
まず、画像重要度の高い画像Ｉｍに含まれるオブジェクトの特徴量ベクトルの特徴量平均値ベクトルＧｍ（ここでは、画像Ｉ０１２に含まれるオブジェクトの特徴量平均値ベクトルＧ０１２で説明する。）を算出する（ステップＳ７０１）。
次に、画像重要度の低い画像Ｉｎに含まれるオブジェクトの特徴量ベクトルから特徴量平均値ベクトルＧｎ（ここでは、画像Ｉ０１３に含まれるオブジェクトの特徴量平均値ベクトルＧ０１３で説明する。）を算出する(ステップＳ７０２）。
その後、画像重要度の高い画像Ｉ０１２に含まれるオブジェクトＰ３１，Ｐ３２，Ｐ３３の特徴量平均値ベクトルＧ０１２と、画像重要度の低い画像Ｉ０１３に含まれるオブジェクトＰ２８，Ｐ２９，Ｐ３０の特徴量平均値ベクトルＧ０１３との成分毎の差分を計算して補正量ベクトルＣｈｓを求める（ステップＳ７０３）。
そして、特徴量補正部１２１が、画像Ｉ０１３に含まれるオブジェクトＰ２８，Ｐ２９、Ｐ３０の特徴量ベクトルを、補正量ベクトルＣｈｓを用いた補正関数Ｆ３に入力してオブジェクトＰ２８ｃ，Ｐ２９ｃ，Ｐ３０ｃの特徴量ベクトルを算出する（ステップＳ７０４）。ここで、補正関数Ｆ３では、オブジェクトＰ２８，Ｐ２９、Ｐ３０の特徴量ベクトルの各成分に補正量ベクトルＣｈｓの各成分を加算する演算を行う。
次に、画像Ｉ０１２に含まれる各オブジェクトについて補正量ベクトルＣｈで特徴量が補正された後の各オブジェクトと画像Ｉ０１２に含まれる各オブジェクトとの類似度を算出する（ステップＳ７０５）。
以降、ステップＳ７０６乃至ステップＳ７１０の処理は、実施の形態１におけるオブジェクト類似度算出処理のステップＳ２０６乃至ステップＳ２１０の処理と同じなので説明を省略する。
＜実施の形態４＞
本実施の形態に係る画像管理装置の構成は、図１の構成と略同じであり、オブジェクト検出部１０３および画像重要度補正部１１７の機能が相違する。なお、図１の構成と同様の構成については、同一の符号を付して適宜説明を省略する。
オブジェクト検出部１０３は、オブジェクト特徴量として各オブジェクトの大きさを算出し、各オブジェクトの大きさを当該オブジェクトが含まれる画像の画像ＩＤと対応づけてオブジェクト特徴量記憶部１０４に格納する。
画像重要度補正部１１７は、まず、高重要度画像Ｉｍおよび低重要度画像Ｉｎそれぞれに含まれるオブジェクトの大きさをオブジェクト特徴量記憶部１０４から取得する。その後、画像重要度補正部１１７は、取得したオブジェクトの大きさの平均値を各画像Ｉｍ，Ｉｎについて算出する。そして、画像重要度補正部１１７は、画像類似度算出部１１４の一部を構成する類似度平均値算出部１２２から出力される画像類似度と画像重要度記憶部３２３に記憶された高重要度画像Ｉｍおよび低重要度画像Ｉｎの画像重要度と、オブジェクト検出部１０３で算出された各オブジェクトの大きさに基づいて、低重要度画像Ｉｎの画像重要度を補正する。
このとき、画像重要度補正部１１７は、［数７］で表される関係式を用いて、低重要度画像Ｉｎの画像重要度Ｓｃｎを補正して低重要度画像Ｉｎの新たな画像重要度Ｓｃｎ’を算出する。
Figure 0005723367
ここにおいて、Ｓｇは、画像類似度、Ｓｃｍは、高重要度画像Ｉｍの画像重要度、Ｓｃｎは、低重要度画像Ｉｎの画像重要度、Ｓｓａｖｅｎは、低重要度画像Ｉｎに含まれるオブジェクトの大きさの平均値、Ｓｓａｖｅｍは、高重要度画像Ｉｍに含まれるオブジェクトの大きさの平均値を表す。
このオブジェクトの大きさの平均値Ｓｓａｖｅｎ，Ｓｓａｖｅｍとしては、例えば、各オブジェクトに対応するテンプレートの面積に比例する量を採用することができる。
例えば、図３６に示すように、高重要度画像Ｉ０１２の画像重要度が「１０１」、低重要度画像Ｉ０１３の画像重要度が「５」、高重要度画像Ｉ０１２と低重要度画像Ｉ０１３の画像類似度が「０．７８」、高重要度画像Ｉ０１２に含まれるオブジェクトＰ０３１，Ｐ０３２，Ｐ０３３の大きさの平均値を「０．２」、低重要度画像Ｉ０１３に含まれるオブジェクトＰ０２８，Ｐ０２９，Ｐ０３０の大きさの平均値を「０．２」とすると、画像重要度補正部１１７は、低重要度画像Ｉｎの画像重要度を、（１０１−５）×０．７８×（０．１／０．２）＋５＝４２．４４に補正することになる。
また、画像重要度補正部１１７は、算出した画像重要度Ｓｃｎ’を画像重要度記憶部３２３に記憶するとともに、補正が終了した旨を画像選出部１１１および画像リランキング部１１８に通知する。
＜変形例＞
（１）前述の実施の形態１乃至３では、画像内オブジェクト類似度算出部１１６が、２つのオブジェクトそれぞれの特徴量の内積を算出する例について説明したが、これに限定されるものではなく、例えば、２つのオブジェクトの特徴量のユークリッド距離を算出するものであってもよい。
（２）前述の実施の形態１乃至３では、画像管理装置を例にして説明したが、本発明は画像の管理を主として行う装置に限るものではない。例えば、ファイルサーバなどの静止画又は動画を蓄積する記憶装置、静止画および動画の再生装置、デジタルカメラ、カメラ付携帯電話やムービーカメラなどの撮影装置およびパーソナルコンピュータ（ＰＣ）などに替えてもよい。
（３）前述の実施形態１乃至３では、画像取得部２０１はＵＳＢ入力端子を備え、ＵＳＢケーブルなどのケーブルを介して画像群を撮影装置１０１から取得するものとしたが、画像が取得できるならば必ずしもＵＳＢ入力端子から画像を取得する必要はない。例えば、無線通信により画像群を入力してもよいし、メモリーカードなどの記録媒体を介して入力してもよい。
（４）前述の実施の形態１乃至３では、画像管理装置へ撮影装置１０１から画像群を入力するものとしたが、撮影装置に限る必要はなく、画像管理装置へ複数の画像を入力できればどのような装置でもよい。例えば、画像を蓄積しているファイルサーバからネットワークを通じて複数の画像を入力してもよい。また、必ずしも複数の画像を画像管理装置の外部から取得する必要はなく、画像管理装置自身が、ハードディスクなどの画像蓄積装置（図示せず）を備え、当該画像蓄積装置から複数の画像を取得するものとしてもよい。
（５）前述の実施の形態１乃至３では、画像取得部１０２が生成する画像ＩＤを各画像に付与することで各画像を識別する例について説明したが、これに限定されるものではなく、例えば、複数の画像それぞれの画像データを構成するファイルのファイル名で識別するようにしてもよい。或いは、各画像の画像データをメモリ１３１上に格納した場合、各画像データの先頭のアドレスで各画像を識別するようにしてもよい。
（６）前述の実施の形態１乃至３では、オブジェクト検出部１０３が、人物の顔を示すテンプレートを使用したテンプレートマッチングを行う例について説明したが、これに限定されるものではなく、例えば、動物や自動車、建物などを示すテンプレートを使用したテンプレートマッチングを行うものであってもよい。或いは、オブジェクト検出部１０３が、テンプレートマッチング以外の方法によりオブジェクトを検出するものであってもよい。
（７）前述の実施の形態１乃至３では、オブジェクト分類部１０５が、複数のクラスタを生成する例について説明したが、これに限定されるものではなく、例えば、予め複数のクラスタが設定されているものであってもよい。
（８）前述の実施の形態１乃至３では、画像重要度として、各画像に含まれるオブジェクトそれぞれのオブジェクト重要度を加算してなる値を用いたが、これに限定されるものではなく、例えば、画像重要度として、各画像に含まれるオブジェクトそれぞれのオブジェクトの重要度の平均値を用いてもよい。或いは、画像重要度として、各画像に含まれるオブジェクトそれぞれのオブジェクト重要度の中で最も高いオブジェクト重要度としてもよい。更に、画像重要度として、各画像に含まれるオブジェクトそれぞれのオブジェクト重要度の加算値または平均値に、各画像の中に占めるオブジェクトの面積の割合を使って重み付けした値を用いてもよい。
（９）前述の実施の形態１乃至３では、画像重要度をオブジェクトの重要度のみから算出していたが、これに限定されるものではなく、例えば、各画像を撮影した際の背景や撮影状況などがオブジェクト重要度に反映させるものであってもよい。
（１０）前述の実施の形態１乃至３では、画像群を画像重要度の高いものから降順に並べて表示装置１２０に出力する例について説明したが、これに限定されるものではなく、例えば、画像群を入力した順序で表示し、各画像の画像重要度を各画像のメタデータとして付与し、各画像の横に画像重要度やランキングを表示するものであってもよい。
（１１）前述の実施の形態１乃至３では、画像出力部１１９が、ＨＤＭＩ出力端子を備え、画像管理装置１００から表示装置１２０へＨＤＭＩケーブルを介して映像を出力するものとしたが、これに限定されるものではなく、例えば、ＤＶＩケーブルにより表示装置１２０へ映像を出力するものであってもよい。
また、前述の実施の形態１および２では、画像管理装置１００が画像を表示装置１２０に出力する例について説明したが、これに限定されるものではなく、例えば、プリンタ（図示せず）に画像重要度の高い画像を出力して印刷させるようにしてもよい。或いは、画像管理装置１００がハードディスク等の外部記憶装置（図示せず）に接続され、各画像の画像重要度を示すメタデータとともに外部記憶装置に出力するようにしてもよい。
（１２）前述の実施の形態１乃至３では、画像管理装置１００は、各データをメモリ１３１に記憶させる例について説明したが、これに限定されるものではなく、例えば、ハードディスクやその他のデータ記録媒体に記憶させるようにしてもよい。
（１３）前述の実施の形態１乃至３では、各オブジェクトの特徴量をＧａｂｏｒフィルタを用いて抽出する例について説明したが、これに限定されるものではない。
（１４）前述の実施の形態１乃至３では、画像重要度の求め方としては、画像に含まれるオブジェクトの重要度を用いる方法を説明したが、これに限定されるものではない。
（１５）前述の実施の形態１および３では、補正関数Ｆ１，Ｆ３が、オブジェクトの特徴量平均値ベクトルＧｍ，Ｇｎに基づいて算出される例について説明したが、これに限定されるものではなく、例えば、撮像条件の違い等によるノイズの影響が、オブジェクトの特徴量の絶対値に影響するものであれば、補正関数Ｆ１，Ｆ３をオブジェクトそれぞれの特徴量の二乗平均値を成分とする特徴量二乗平均値ベクトルに基づいて算出されるものであってもよい。
(１６)前述の実施の形態１乃至３では、複数の静止画像のランキングを行う画像管理装置の例について説明したが、これに限定されるものではなく、複数の動画像のランキングを行う画像管理装置であってもよい。この場合、各動画像を構成する複数の静止画像の中から所定の静止画像を抽出し、当該静止画像について前述の実施の形態１乃至３と同様の方法を用いてランキングを行う。
（１７）前述の実施の形態１乃至３では、高重要度画像選出部１１２が選出した画像の画像ＩＤに当該画像が高重要度画像Ｉｍであることが識別できる情報を付与し、低重要度画像選出部１１３が選出した画像の画像ＩＤに当該画像が低重要度画像Ｉｎであることが識別できる情報を付与し、画像内オブジェクト数比較判定部１１５が、各画像ＩＤに付与された識別情報に基づいて高重要度画像Ｉｍか低重要度画像Ｉｎかを識別する例について説明したが、これに限定されるものではない。例えば、画像内オブジェクト数比較判定部１１５が、ユーザが設定した所定の順位に対応する画像重要度を保持しておき、通知される画像ＩＤで特定される画像の画像重要度を画像重要度記憶部３２３から取得し、取得した画像重要度と自らが保持する所定の画像重要度とを比較して、高重要度画像Ｉｍか低重要度画像Ｉｎかを識別するようにしてもよい。
（１８）前述の実施の形態１乃至３では、ユーザが、画像管理装置１００に設けられた重要度設定部（図示せず）を用いて、所定の順位を適宜設定することができる例について説明したが、例えば、ユーザが、重要度設定部を用いて、低重要度画像選出部１１３が選出する複数の画像の中で最も重要度の低い画像に対応する順位（最低順位）を設定することができるものであってもよい。この変形例によれば、ユーザが、例えば、最下位に近い順位にランキングされた画像（重要度が低いと評価された画像）を主に画像重要度を見直したい場合には、所定の順位を低めに設定すればよいことになる。また、ユーザが、画像重要度の見直しを行う対象をある程度高い順位にランキングされた画像に絞り、処理負荷の低減を図りたいと考える場合には、最低順位を高めに設定すればよいことになる。
（１９）前述の実施の形態１乃至３では、オブジェクト分類部１０５が、オブジェクト特徴量記憶部１０４に格納されている各オブジェクトの特徴量ベクトルに基づいて、Ｋ−ｍｅａｎｓ法を用いて、自動的に複数のクラスタを生成する例について説明したが、これに限定されるものではなく、例えば、Ｗａｒｄ’ｓ法等を用いて複数のクラスタを生成するものでもよい。
（２０）前述の実施の形態４では、低重要度画像Ｉｎの画像重要度を［数７］の関係式を用いて補正する例について説明したが、これに限定されるものではない。例えば、画像重要度補正部１１７が、［数８］で表される関係式を用いて、低重要度画像Ｉｎの画像重要度Ｓｃｎを補正して低重要度画像Ｉｎの新たな画像重要度Ｓｃｎ’を算出する。
Figure 0005723367
ここにおいて、Ｓｇは、画像類似度、Ｓｃｍは、高重要度画像Ｉｍの画像重要度、Ｓｃｎは、低重要度画像Ｉｎの画像重要度、Ｓｓａｖｅｎは、低重要度画像Ｉｎに含まれるオブジェクトの大きさの平均値、Ｓｓａｖｅｍは、高重要度画像Ｉｍに含まれるオブジェクトの大きさの平均値、Ｆ（Ｘ）は単調増加関数を表す。
単調増加関数Ｆ（Ｘ）としては、例えば、対数関数や指数関数等が挙げられる。
＜補足＞
（１）本発明は、実施形態１で示した画像重要度の評価処理等を画像管理装置のプロセッサおよびそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭなどがある。流通、頒布された制御プログラムはプロセッサに読み出されうるメモリなどに格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような機能が実現されるようになる。なお、制御プログラムの一部を画像管理装置とは別個のプログラム実行可能な装置（プロセッサ）に各種ネットワークを介して送信して、その別個のプログラム実行可能な装置においてその制御プログラムの一部を実行させることとしてもよい。
（２）画像管理装置を構成する構成要素の一部又は全部は、１又は複数の集積回路（ＩＣ、ＬＳＩなど）として実装されることとしても良く、画像管理装置の構成要素に更に他の要素を加えて集積回路化（１チップ化）されることとしてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅ Ａｒｒａｙ）、ＬＳＩ内部の回路セルの接続または設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
本発明に係る端末装置および端末装置の制御方法は、静止画または動画を蓄積する装置、デジタルカメラ、カメラ付き携帯電話やムービーカメラなどの撮影装置および、パーソナルコンピュータなどに適用することができる。
１００ 画像管理装置
１０１ 撮影装置
１０２ 画像取得部
１０３ オブジェクト検出部
１０４ オブジェクト特徴量記憶部
１０５ オブジェクト分類部
１０６ オブジェクト重要度算出部
１０７ 画像重要度算出部
１０８ 画像ランキング部
１０９ 画像内オブジェクト数抽出部
１１０ 画像内オブジェクト数記憶部
１１１ 画像選出部
１１２ 高重要度画像選出部
１１３ 低重要度画像選出部
１１４ 画像内オブジェクト類似度決定部
１１５ 画像内オブジェクト数比較判定部
１１６ 画像内オブジェクト類似度算出部
１１７ 画像重要度補正値算出部
１１８ 画像リランキング部
１１９ 画像出力部
１２０ 表示装置
１２１，２２１ 特徴量補正部
１２２ 類似度平均値算出部
１２３，２２２ 類似度判定部
２１５ オブジェクト選出部
２２３ 類似度最高値算出部
３２３ 画像重要度記憶部

Claims (15)

  1. 画像それぞれに含まれる複数のオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出手段と、
    各画像の重要度に基づいて、第１の画像と前記第１の画像よりも重要度が低い第２の画像とを選出する画像選出手段と、
    前記第２の画像に含まれる複数のオブジェクトの特徴量を、前記第１の画像に含まれる複数のオブジェクトの特徴量と前記第２の画像に含まれる複数のオブジェクトの特徴量とをパラメータとする補正関数を使って補正する特徴量補正手段と、
    前記第１の画像に含まれるオブジェクトそれぞれの特徴量と前記特徴量補正手段が補正した前記第２の画像に含まれるオブジェクトそれぞれの特徴量とを用いて前記第１の画像と前記第２の画像との類似度である画像類似度を算出する画像類似度算出手段と、
    前記第１の画像の画像重要度と前記画像類似度算出手段で算出した前記画像類似度とに基づいて前記第２の画像の重要度を補正する画像重要度補正手段と
    を備えることを特徴とする画像管理装置。
  2. 前記第１の画像は、所定の重要度よりも高い重要度を有し、前記第２の画像は、前記所定の重要度よりも低い重要度を有する
    ことを特徴とする請求項１記載の画像管理装置。
  3. 前記第１の画像に含まれるオブジェクトの個数と前記第２の画像に含まれるオブジェクトの個数とを比較するオブジェクト数比較判定手段を備え、
    前記特徴量補正手段は、前記オブジェクト数比較判定手段により前記第１の画像に含まれるオブジェクトの個数と前記第２の画像に含まれるオブジェクトの個数とが同じと判定されると、前記第２の画像に含まれる複数のオブジェクトの特徴量を補正する
    ことを特徴とする請求項１記載の画像管理装置。
  4. 前記補正関数は、前記第２の画像に含まれる複数のオブジェクトの特徴量の平均値と前記第１の画像に含まれる複数のオブジェクトの特徴量の平均値とに基づいて算出した補正係数を使って前記第２の画像に含まれるオブジェクトの特徴量それぞれを補正する関数である
    ことを特徴とする請求項３に記載の画像管理装置。
  5. 前記補正係数は、前記第２の画像に含まれる複数のオブジェクトの特徴量の平均値に対する前記第１の画像に含まれる複数のオブジェクトの特徴量の平均値の比であり、
    前記補正関数は、前記補正係数を前記第２の画像に含まれるオブジェクトの特徴量それぞれに乗ずる関数である
    ことを特徴とする請求項４に記載の画像管理装置。
  6. 前記補正係数は、前記第２の画像に含まれる複数のオブジェクトの特徴量の平均値と前記第１の画像に含まれる複数のオブジェクトの特徴量の平均値との差分値であり、
    前記補正関数は、前記補正係数を前記第２の画像に含まれるオブジェクトの特徴量それぞれに加算する関数である
    ことを特徴とする請求項４に記載の画像管理装置。
  7. 前記画像類似度算出手段は、
    前記第１の画像に含まれる複数のオブジェクトそれぞれと前記第２の画像に含まれる複数のオブジェクトそれぞれとの類似度を算出し、算出した複数の類似度に基づいて前記第１の画像の含まれる複数のオブジェクトと前記第２の画像に含まれる複数のオブジェクトとを一対一に対応付ける画像内オブジェクト類似度算出手段と、
    前記画像内オブジェクト類似度算出手段により互いに一対一に対応付けられたオブジェクト同士の類似度の平均値を算出し前記画像類似度として出力する類似度平均値算出手段とを備える
    ことを特徴とする請求項５に記載の画像管理装置。
  8. 前記画像内オブジェクト類似度算出手段は、算出した複数の類似度の最高値に対応する２つのオブジェクトを対応付けし、その後、対応付けがなされたオブジェクトを除く他のオブジェクトの組み合わせに係る複数の類似度の最高値に対応する２つのオブジェクトを対応付けする
    ことを特徴とする請求項７記載の画像管理装置。
  9. 前記画像重要度補正手段は、更に、前記第１の画像に含まれるオブジェクトの大きさの平均値と前記第２の画像に含まれるオブジェクトの大きさの平均値とに基づいて前記第２の画像の重要度を補正する
    ことを特徴とする請求項１記載の画像管理装置。
  10. 前記画像重要度補正手段は、前記第２の画像の重要度を以下の関係式
    Figure 0005723367
    Ｓｇ：前記画像類似度、Ｓｃｍ：前記第１の画像の重要度、Ｓｃｎ：前記第２の画像の画像重要度、Ｓｓａｖｅｎ：前記第２の画像に含まれるオブジェクトの大きさの平均値、Ｓｓａｖｅｍ：前記第１の画像に含まれるオブジェクトの大きさの平均値
    を用いて補正する
    ことを特徴とする請求項９記載の画像管理装置。
  11. 画像それぞれに含まれるオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出手段と、
    各画像の重要度に基づいて、第１の画像と前記第１の画像よりも重要度が低い第２の画像とを選出する画像選出手段と、
    前記第２の画像に含まれるオブジェクトの特徴量に対する前記第１の画像に含まれるオブジェクトの中から選択した１つのオブジェクトの特徴量の比を前記第２の画像に含まれる複数のオブジェクトの特徴量それぞれに乗ずる補正関数を使って前記第２の画像に含まれる複数のオブジェクトの特徴量を補正して出力する特徴量補正手段と、
    前記第１の画像に含まれるオブジェクトそれぞれの特徴量と前記特徴量補正手段から出力される第２の画像に含まれるオブジェクトの特徴量とを用いて前記第１の画像と前記第２の画像との類似度である画像類似度を算出する画像類似度算出手段と、
    前記画像類似度算出手段で算出した前記画像類似度に基づいて前記第２の画像の重要度を補正する画像重要度補正手段とを備える
    ことを特徴とする画像管理装置。
  12. コンピュータにより実現させる画像管理方法であって、
    画像それぞれに含まれる複数のオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出ステップと、
    各画像の重要度に基づいて、第１の画像と前記第１の画像の重要度よりも低い重要度を有する第２の画像とを選出する画像選出ステップと、
    前記第２の画像に含まれる複数のオブジェクトの特徴量を、前記第１の画像に含まれる複数のオブジェクトの特徴量と前記第２の画像に含まれる複数のオブジェクトの特徴量とをパラメータとする補正関数を使って補正する特徴量補正ステップと、
    前記第１の画像に含まれるオブジェクトそれぞれの特徴量と前記特徴量補正ステップで補正した前記第２の画像に含まれるオブジェクトそれぞれの特徴量とを用いて前記第１の画像と前記第２の画像との類似度である画像類似度を算出する画像類似度算出ステップと、
    前記第１の画像の画像重要度と前記画像類似度算出ステップで算出した前記画像類似度に基づいて前記第２の画像の重要度を補正する画像重要度補正ステップと
    を含むことを特徴とする画像管理方法。
  13. 複数の画像の画像管理処理をコンピュータにより実現させる画像管理プログラムであって、前記画像管理処理は、
    画像それぞれに含まれる複数のオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出ステップと、
    各画像の重要度に基づいて、第１の画像と前記第１の画像の重要度よりも低い重要度を有する第２の画像とを選出する画像選出ステップと、
    前記第２の画像に含まれる複数のオブジェクトの特徴量を、前記第１の画像に含まれるオブジェクトの特徴量と前記第２の画像に含まれるオブジェクトの特徴量とをパラメータとする補正関数を使って補正する特徴量補正ステップと、
    前記第１の画像に含まれるオブジェクトそれぞれの特徴量と前記特徴量補正ステップで補正した前記第２の画像に含まれるオブジェクトそれぞれの特徴量とを用いて前記第１の画像と前記第２の画像との類似度である画像類似度を算出する画像類似度算出ステップと、
    前記第１の画像の画像重要度と前記画像類似度算出ステップで算出した前記画像類似度に基づいて前記第２の画像の重要度を補正する画像重要度補正ステップと
    を含むことを特徴とする画像管理プログラム。
  14. 複数の画像の画像管理処理をコンピュータにより実現させる画像管理プログラムを記録した記録媒体であって、前記画像管理処理は、
    画像それぞれに含まれる複数のオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出ステップと、
    各画像の重要度に基づいて、第１の画像と前記第１の画像よりも低い重要度を有する第２の画像とを選出する画像選出ステップと、
    前記第２の画像に含まれる複数のオブジェクトの特徴量を、前記第１の画像に含まれる複数のオブジェクトの特徴量と前記第２の画像に含まれる複数のオブジェクトの特徴量とをパラメータとする補正関数を使って補正する特徴量補正ステップと、
    前記第１の画像に含まれるオブジェクトそれぞれの特徴量と前記特徴量補正ステップで補正した前記第２の画像に含まれるオブジェクトそれぞれの特徴量とを用いて前記第１の画像と前記第２の画像との類似度である画像類似度を算出する画像類似度算出ステップと、
    前記第１の画像の画像重要度と前記画像類似度算出ステップで算出した前記画像類似度に基づいて前記第２の画像の重要度を補正する画像重要度補正ステップと
    を含むことを特徴とする記録媒体。
  15. 画像それぞれに含まれる複数のオブジェクトの特徴量に基づいて各画像の重要度を算出する画像重要度算出手段と、
    各画像の重要度に基づいて、第１の画像と前記第１の画像よりも低い重要度を有する第２の画像とを選出する画像選出手段と、
    前記第２の画像に含まれる複数のオブジェクトの特徴量を、前記第１の画像に含まれる複数のオブジェクトの特徴量と前記第２の画像に含まれる複数のオブジェクトの特徴量とをパラメータとする補正関数を使って補正する特徴量補正手段と、
    前記第１の画像に含まれるオブジェクトそれぞれの特徴量と前記特徴量補正手段が補正した前記第２の画像に含まれるオブジェクトそれぞれの特徴量とを用いて前記第１の画像と前記第２の画像との類似度である画像類似度を算出する画像類似度算出手段と、
    前記第１の画像の画像重要度と前記画像類似度算出手段で算出した前記画像類似度に基づいて前記第２の画像の重要度を補正する画像重要度補正手段と
    を備えることを特徴とする画像管理用集積回路。
JP2012525296A 2010-07-21 2011-04-14 画像管理装置、画像管理方法、プログラム、記録媒体及び画像管理用集積回路 Active JP5723367B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012525296A JP5723367B2 (ja) 2010-07-21 2011-04-14 画像管理装置、画像管理方法、プログラム、記録媒体及び画像管理用集積回路

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010163811 2010-07-21
JP2010163811 2010-07-21
PCT/JP2011/002204 WO2012011213A1 (ja) 2010-07-21 2011-04-14 画像管理装置、画像管理方法、プログラム、記録媒体及び画像管理用集積回路
JP2012525296A JP5723367B2 (ja) 2010-07-21 2011-04-14 画像管理装置、画像管理方法、プログラム、記録媒体及び画像管理用集積回路

Publications (2)

Publication Number Publication Date
JPWO2012011213A1 JPWO2012011213A1 (ja) 2013-09-09
JP5723367B2 true JP5723367B2 (ja) 2015-05-27

Family

ID=45496651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012525296A Active JP5723367B2 (ja) 2010-07-21 2011-04-14 画像管理装置、画像管理方法、プログラム、記録媒体及び画像管理用集積回路

Country Status (4)

Country Link
US (1) US20120170855A1 (ja)
JP (1) JP5723367B2 (ja)
CN (1) CN102511054B (ja)
WO (1) WO2012011213A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157354A1 (ja) * 2012-04-18 2013-10-24 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
CN102708244B (zh) * 2012-05-08 2016-01-20 清华大学 一种基于重要度度量的概念图自动布图方法
JP6242072B2 (ja) * 2012-09-27 2017-12-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
US9369662B2 (en) * 2013-04-25 2016-06-14 Microsoft Technology Licensing, Llc Smart gallery and automatic music video creation from a set of photos
CN104639823A (zh) * 2013-11-14 2015-05-20 索尼公司 图像形成方法、装置以及电子设备
WO2016006379A1 (ja) 2014-07-10 2016-01-14 オリンパス株式会社 エネルギー処置ユニット及びエネルギー処置具
JP5925919B1 (ja) * 2015-01-07 2016-05-25 株式会社ぐるなび 情報提供サーバ
CN109684899A (zh) * 2017-10-18 2019-04-26 大猩猩科技股份有限公司 一种基于在线学习的人脸辨识方法与系统
JP7196467B2 (ja) * 2018-08-29 2022-12-27 カシオ計算機株式会社 開閉状態判定装置、開閉状態判定方法及びプログラム
JP2022172787A (ja) * 2021-05-07 2022-11-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318812A (ja) * 2001-04-23 2002-10-31 Olympus Optical Co Ltd 類似画像検索装置，類似画像検索方法並びに類似画像検索プログラム
JP2004046591A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP2005020446A (ja) * 2003-06-26 2005-01-20 Casio Comput Co Ltd 画像撮影装置及びプログラム
WO2005031612A1 (ja) * 2003-09-26 2005-04-07 Nikon Corporation 電子画像蓄積方法、電子画像蓄積装置、及び電子画像蓄積システム
JP2006338313A (ja) * 2005-06-01 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
JP2007049387A (ja) * 2005-08-09 2007-02-22 Canon Inc 画像出力装置及び画像出力方法
JP2007060562A (ja) * 2005-08-26 2007-03-08 Fujifilm Holdings Corp 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027417A (en) * 1989-03-31 1991-06-25 Dainippon Screen Mfg. Co., Ltd. Method of and apparatus for inspecting conductive pattern on printed board
US6246787B1 (en) * 1996-05-31 2001-06-12 Texas Instruments Incorporated System and method for knowledgebase generation and management
EP1056064B1 (en) * 1999-05-28 2007-12-12 Nippon Telegraph and Telephone Corporation Apparatus and method for speed measurement of vehicles with an image processing system
ATE358944T1 (de) * 1999-07-29 2007-04-15 Canon Kk Bildverarbeitungssystem, -vorrichtung sowie verfahren und aufzeichnungsmedium
US6584221B1 (en) * 1999-08-30 2003-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for image retrieval with multiple regions of interest
US6836345B1 (en) * 2000-03-29 2004-12-28 Eastman Kodak Company Method for including traditional photographic calibration into digital color management
US7136508B2 (en) * 2000-11-09 2006-11-14 Minolta Co., Ltd. Image processing apparatus, method, and program for processing a moving image
JP2002190020A (ja) * 2000-12-20 2002-07-05 Monolith Co Ltd 映像効果方法および装置
JP3846851B2 (ja) * 2001-02-01 2006-11-15 松下電器産業株式会社 画像のマッチング処理方法及びその装置
GB0201232D0 (en) * 2002-01-19 2002-03-06 Queen Mary & Westfield College Authentication systems
US7386185B2 (en) * 2002-02-12 2008-06-10 Matsushita Electric Industrial Co., Ltd. Image processing device and image processing method
JP3870796B2 (ja) * 2002-02-12 2007-01-24 松下電器産業株式会社 画像処理装置及び画像処理方法
JP4369922B2 (ja) * 2003-03-07 2009-11-25 日本電信電話株式会社 生体画像照合装置およびその照合方法
CN100565556C (zh) * 2004-05-14 2009-12-02 欧姆龙株式会社 特定被摄体检测装置
JP4641414B2 (ja) * 2004-12-07 2011-03-02 キヤノン株式会社 文書画像検索装置、文書画像検索方法、プログラム、記憶媒体
US7801392B2 (en) * 2005-07-21 2010-09-21 Fuji Xerox Co., Ltd. Image search system, image search method, and storage medium
US20070274609A1 (en) * 2006-05-23 2007-11-29 Hitachi High-Technologies Corporation Image Search Apparatus, Image Search System, Image Search Method, and Program for Executing Image Search Method
US8031914B2 (en) * 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
WO2008079301A2 (en) * 2006-12-21 2008-07-03 Massachusetts Institute Of Technology Methods and apparatus for 3d surface imaging using active wave-front sampling
JP4674627B2 (ja) * 2008-10-07 2011-04-20 富士ゼロックス株式会社 情報処理装置、遠隔指示システム及びプログラム
US8406532B2 (en) * 2009-06-17 2013-03-26 Chevron U.S.A., Inc. Image matching using line signature

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318812A (ja) * 2001-04-23 2002-10-31 Olympus Optical Co Ltd 類似画像検索装置，類似画像検索方法並びに類似画像検索プログラム
JP2004046591A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP2005020446A (ja) * 2003-06-26 2005-01-20 Casio Comput Co Ltd 画像撮影装置及びプログラム
WO2005031612A1 (ja) * 2003-09-26 2005-04-07 Nikon Corporation 電子画像蓄積方法、電子画像蓄積装置、及び電子画像蓄積システム
JP2006338313A (ja) * 2005-06-01 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
JP2007049387A (ja) * 2005-08-09 2007-02-22 Canon Inc 画像出力装置及び画像出力方法
JP2007060562A (ja) * 2005-08-26 2007-03-08 Fujifilm Holdings Corp 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
WO2012011213A1 (ja) 2012-01-26
US20120170855A1 (en) 2012-07-05
CN102511054A (zh) 2012-06-20
JPWO2012011213A1 (ja) 2013-09-09
CN102511054B (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
JP5723367B2 (ja) 画像管理装置、画像管理方法、プログラム、記録媒体及び画像管理用集積回路
US10839199B2 (en) Image selecting device, image selecting method, image pickup apparatus, and computer-readable medium
EP3128732B1 (en) Information processing method, information processing apparatus, and program
JP5936697B2 (ja) メモリが制限された環境における顔認識性能を改善するべく基準顔データベースを管理するための方法、装置およびコンピュータ可読記録媒体
KR100601997B1 (ko) 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치
US8929669B2 (en) Image evaluation apparatus that calculates an importance degree of each of a plurality of images
US8810688B2 (en) Information processing apparatus and information processing method
US20110205399A1 (en) Arranging Images Into Pages Using Content-based Filtering And Theme-based Clustering
TWI447658B (zh) 人臉影像擷取方法與裝置
JP6494503B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2011001587A1 (ja) コンテンツ分類装置、コンテンツ分類方法及びコンテンツ分類プログラム
JP2007041964A (ja) 画像処理装置
US8837787B2 (en) System and method for associating a photo with a data structure node
WO2006096384A1 (en) Additive clustering of images lacking temporal information
US11094076B2 (en) Analysis apparatus, analysis method, and storage medium
US9087237B2 (en) Information processing apparatus, control method thereof, and storage medium
US20190197695A1 (en) Image processing apparatus, image processing method, and storage medium
US20150003680A1 (en) Information processing apparatus, method for processing information, and program
CN107506735A (zh) 照片归类方法以及归类系统
KR101138873B1 (ko) 인물 ｄｂ 등록사진 수 축소 방법 및 장치
US8682834B2 (en) Information processing apparatus and information processing method
KR101100429B1 (ko) 포토 앨범 시스템의 반자동등록 방법 및 장치와, 이를 이용한 포토앨범 시스템
US20150120693A1 (en) Image search system and image search method
CN110942014B (zh) 人脸识别快速检索方法、装置、服务器及存储装置
CN110889438B (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131213

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150327

R150 Certificate of patent or registration of utility model

Ref document number: 5723367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150