JP4808512B2 - カテゴリ重要度設定装置および方法、画像重要度設定装置および方法並びにプログラム - Google Patents

Description

本発明は、複数の画像を分類することにより得られた複数のカテゴリのそれぞれに対して、重要度を設定するカテゴリ重要度設定装置および方法、画像の重要度を設定する画像重要度設定装置および方法、並びにカテゴリ重要度設定方法および画像重要度設定方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラおよびスキャナの普及により、誰もが手軽にデジタルの画像を取得することが可能となっている。また、画像をパソコンに取り込んで整理することも行われている。この場合、画像の整理は、ユーザに起こったイベント毎に画像を分類して行うことが多い。例えば、ヨーロッパ旅行へ出かけた場合には、フランス、イギリス、スペイン等のように取得した画像を国毎のカテゴリに分類し、さらにフランスのカテゴリに分類された画像については、パリおよびニース等の出かけた場所毎にさらに細かいカテゴリに画像を分類する。また、パリに分類された画像については、エッフェル塔、凱旋門およびノートルダム寺院等のさらに細かいカテゴリに画像を分類する。さらには、ノートルダム寺院については、寺院の前、離れた場所および寺院の中等のさらに細かいカテゴリに画像を分類することもある。

このように画像を階層化して複数のカテゴリに分類しておけば、後で画像を参照する際にイベント毎に分けられた画像を参照できるため、画像の整理を容易に行うことができる。

その一方で、画像を階層化して分類する作業は、画像を見ながら、さらにはユーザの記憶をたどりながら行う必要があるため、ユーザにとって非常に煩わしい作業となっている。

このため、画像を自動で分類するための各種手法が提案されている。例えば、画像に付与された撮影日時を表す情報に基づいて画像を時間軸上に配置し、撮影時間が隣接する２つの画像についての撮影時間差をしきい値と比較して画像をあらかじめ定めたｋ個のカテゴリに分類する方法が提案されている（ｋ平均クラスタリングの手法、特許文献１参照）。また、画像に関係づけられた撮影日時情報を基に保存された画像の数を所定の期間毎に集計して画像の撮影頻度を求め、この撮影頻度から得られる所定の期間内に撮影された画像数の大小を所定のしきい値から判断して、複数の画像をイベント毎の複数のカテゴリに分類する手法も提案されている（特許文献２参照）。また、ユーザのスケジュールを表すスケジュール情報を参照して、画像をユーザのスケジュールに応じたカテゴリに分類する手法も提案されている（特許文献３参照）。さらに、画像が撮影された場所の位置情報を用いて、基準となる場所と画像の撮影場所との間の距離を算出し、撮影時間に応じて画像を分類する際のしきい値を距離に応じて変更して画像を分類する手法も提案されている（特許文献４参照）。
特開２０００−１１２９９７号公報 特開２００３−１４１１３０号公報 特開２００３−２９８９９１号公報 特開２００５−１７４０６０号公報

しかしながら、上述したように自動で画像を分類した場合、どのカテゴリに分類された画像がユーザにとって重要であるかは、カテゴリに分類された画像の中身を確認するまで知ることができない。

本発明は上記事情に鑑みなされたものであり、複数の画像を複数のカテゴリに分類した際に、ユーザに負担をかけることなく、どのカテゴリに分類された画像が重要であるかが分かるようにすることを目的とする。

複数の画像を複数のカテゴリに分類した場合、各カテゴリにおいて類似画像を考慮した画像数が多いほど、そのカテゴリは重要であると認識している人が多い。また、各カテゴリに含まれる画像において撮影時間が最も新しい画像と最も古い画像との撮影時間差が大きいほど撮影時間が長いことから、そのカテゴリは重要であると認識している人が多い。また、各カテゴリにおける類似画像の存在率が大きいほどそのカテゴリは重要であると認識している人が多い。また、各カテゴリにおける人物の顔を含む人物画像の存在率が大きいほどそのカテゴリは重要であると認識している人が多い。また、人物の顔が多いほどそのカテゴリは重要であると認識している人が多い。また、個々の画像については、類似する画像が多いほどその画像は重要であると認識している人が多い。本発明はこのように統計的に定められる法則に着目してなされたものである。

すなわち、本発明によるカテゴリ重要度設定装置は、複数の画像を分類することにより得られた複数のカテゴリのそれぞれについて、該各カテゴリに含まれる類似画像を考慮した画像数、該各カテゴリの総撮影時間、該各カテゴリにおける類似画像存在率、該各カテゴリにおける人物画像存在率、および該各カテゴリに含まれる画像の平均顔数のうちの少なくとも１つの特徴量に基づいて、前記各カテゴリの重要度を統計的に算出するカテゴリ重要度算出手段を備えたことを特徴とするものである。

ここで、「統計的」とは、特徴量から重要度を算出する際に、特徴量から重要度を求めるための重みづけ関数をいくつかの仮説に基づいて演繹的に求めるのではなく、多数のサンプル画像の中から選択された好ましいとされる画像を正解データとして、帰納的に求めることを意味する。なお、正解データはどのように選択してもよいが、被験者が実際に選択した正解データを用いることが好ましい。また、重みづけ関数を求めるためのサンプル画像数はより多いことが好ましい。

「類似画像を考慮した画像数」とは、カテゴリに分類された画像のうち、類似する画像が全く存在しない画像の枚数をＭ０、互いに類似する画像を１つにまとめた場合のグループ（類似グループとする）数をＭ１、重み係数をγ０とした場合における下記の式により算出される値である。

類似画像を考慮した画像数＝Ｍ０＋γ０×Ｍ１
ここで、重み係数γ０は０以上類似画像数以下の値をとり、γ０＝１のとき、互いに類似する複数の画像については１枚の画像と見なした場合における各カテゴリの画像数となる。具体的には、あるカテゴリに画像が１０枚分類されており、そのうちの５枚が類似画像である場合、類似画像は１枚の画像であると見なすことから、そのカテゴリについての類似画像を考慮した画像数は６枚となる。一方、γ０＝１．２のときは、類似画像は１．２枚の画像であると見なすことになり、あるカテゴリに画像が１０枚分類されており、そのうちの５枚が類似画像である場合、類似画像を考慮した画像数は６．２枚となる。

「カテゴリの総撮影時間」とは、カテゴリに分類された画像を撮影時間順に並べた場合における、最も古い画像の撮影時間と最も新しい画像の撮影時間との差である。

「類似画像存在率」とは、カテゴリの総画像数をＮ０、類似画像を考慮した画像数をＮ１とした場合における下記の式により算出される値である。

類似画像存在率＝（Ｎ０−Ｎ１）／Ｎ０
「人物画像存在率」とは、カテゴリに分類された画像のうち、人物を含む画像数をカテゴリの総画像数により除算した値である。

「カテゴリに含まれる画像の平均顔数」は、カテゴリに分類された画像に含まれる人物の顔の数の総数を求め、これをカテゴリの総画像数により除算した値である。

なお、本発明によるカテゴリ重要度設定装置においては、前記カテゴリ重要度算出手段を、該各カテゴリに含まれる類似画像を考慮した画像数、該各カテゴリの総撮影時間、該各カテゴリにおける類似画像存在率、該各カテゴリにおける人物画像存在率、および該各カテゴリに含まれる画像の平均顔数のうちの少なくとも２つの特徴量を算出し、該各特徴量から該各特徴量に対応する個別重要度を統計的に算出し、該個別重要度を重みづけ演算することにより、前記重要度を算出する手段としてもよい。

本発明による第１の画像重要度設定装置は、複数の画像を分類することにより得られた複数のカテゴリのそれぞれについての重要度を統計的に算出するカテゴリ重要度算出手段と、
対象となる前記カテゴリに含まれる類似画像数および前記対象となるカテゴリの重要度に基づいて、前記対象となるカテゴリに含まれる画像の重要度を統計的に算出する画像重要度算出手段とを備えたことを特徴とするものである。

なお、本発明による第１の画像重要度設定装置においては、前記画像重要度算出手段を、前記対象となるカテゴリに含まれる類似画像数をｎ、統計的にあらかじめ定められた重み係数をαｎおよびβｎとした場合、前記画像の重要度をαｎ×（カテゴリの重要度）＋βｎの演算により算出する手段としてもよい。

また、本発明による第１の画像重要度設定装置においては、前記カテゴリ重要度算出手段を、前記複数のカテゴリのそれぞれについて、該各カテゴリに含まれる類似画像を考慮した画像数、該各カテゴリの総撮影時間、該各カテゴリにおける類似画像存在率、該各カテゴリにおける人物画像存在率、および該各カテゴリに含まれる画像の平均顔数のうちの少なくとも１つの特徴量に基づいて、前記各カテゴリの重要度を統計的に算出する手段としてもよい。

また、本発明による第１の画像重要度設定装置においては、前記カテゴリ重要度算出手段を、該各カテゴリに含まれる類似画像を考慮した画像数、該各カテゴリの総撮影時間、該各カテゴリにおける類似画像存在率、該各カテゴリにおける人物画像存在率、および該各カテゴリに含まれる画像の平均顔数のうちの少なくとも２つの特徴量を算出し、該各特徴量から該各特徴量に対応する個別重要度を統計的に算出し、該個別重要度を重みづけ演算することにより、前記重要度を算出する手段としてもよい。

本発明による第２の画像重要度設定装置は、複数の画像を該各画像に付与された付帯情報に基づいて複数のカテゴリに分類する分類手段と、
前記複数のカテゴリのそれぞれに含まれる画像の特徴に基づいて、該各カテゴリの重要度を統計的に算出するカテゴリ重要度算出手段と、
対象となる前記カテゴリに含まれる類似画像数および前記対象となるカテゴリの重要度に基づいて、前記対象となるカテゴリに含まれる画像の重要度を統計的に算出する画像重要度算出手段とを備えたことを特徴とするものである。

なお、本発明による第２の画像重要度設定装置においては、前記分類手段を、前記各画像に付与された撮影日時情報に基づいて、前記複数の画像を撮影日毎に複数のカテゴリに分類する手段とし、
前記カテゴリ重要度算出手段を、前記複数のカテゴリのそれぞれについて、該各カテゴリに含まれる類似画像を考慮した画像数、該各カテゴリの総撮影時間、該各カテゴリにおける類似画像存在率、該各カテゴリにおける人物画像存在率、および該各カテゴリに含まれる画像の平均顔数のうちの少なくとも１つの特徴量に基づいて、前記各カテゴリの重要度を統計的に算出する手段とし、
前記画像重要度算出手段を、前記対象となる前記カテゴリに含まれる類似画像数および前記対象となるカテゴリの重要度に基づいて、前記対象となるカテゴリに含まれる画像の重要度を統計的に算出する手段としてもよい。

また、本発明による第２の画像重要度設定装置においては、前記画像重要度設定手段を、前記対象となるカテゴリに含まれる類似画像数をｎ、統計的にあらかじめ定められた重み係数をαｎおよびβｎとした場合、前記画像の重要度をαｎ×（カテゴリの重要度）＋βｎの演算により算出する手段としてもよい。

なお、カテゴリの重要度および画像の重要度を視認可能に表示してもよい。「重要度を視認可能に表示する」手法としては、例えば、カテゴリ単位でフォルダを作成し、各カテゴリに分類された画像を対応するフォルダに保存し、フォルダ構造、すなわちカテゴリの階層化された構造をビューアソフト等を用いて表示する際に、フォルダの色を対応するカテゴリの重要度に応じて色分けして表示する手法、および重要度に応じてカテゴリをランクづけし、そのランクを表す数値を対応するフォルダに付与して表示する手法等を用いることができる。

本発明によるカテゴリ重要度設定方法は、複数の画像を分類することにより得られた複数のカテゴリのそれぞれについて、該各カテゴリに含まれる類似画像を考慮した画像数、該各カテゴリの総撮影時間、該各カテゴリにおける類似画像存在率、該各カテゴリにおける人物画像存在率、および該各カテゴリに含まれる画像の平均顔数のうちの少なくとも１つの特徴量に基づいて、前記各カテゴリの重要度を統計的に算出することを特徴とするものである。

本発明による第１の画像重要度設定方法は、複数の画像を分類することにより得られた複数のカテゴリのそれぞれについての重要度を統計的に算出し、
対象となる前記カテゴリに含まれる類似画像数および前記対象となるカテゴリの重要度に基づいて、前記対象となるカテゴリに含まれる画像の重要度を統計的に算出することを特徴とするものである。

本発明による第２の画像重要度設定方法は、複数の画像を該各画像に付与された付帯情報に基づいて複数のカテゴリに分類し、
前記複数のカテゴリのそれぞれに含まれる画像の特徴に基づいて、該各カテゴリの重要度を統計的に算出し、
対象となる前記カテゴリに含まれる類似画像数および前記対象となるカテゴリの重要度に基づいて、前記対象となるカテゴリに含まれる画像の重要度を統計的に算出することを特徴とするものである。

なお、本発明によるカテゴリ重要度設定方法および画像重要度設定方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明のカテゴリ重要度設定装置および方法によれば、各カテゴリについて、各カテゴリに含まれる類似画像を考慮した画像数、各カテゴリの総撮影時間、各カテゴリにおける類似画像存在率、各カテゴリにおける人物画像存在率、および該カテゴリに含まれる画像の平均顔数のうちの少なくとも１つの特徴量に基づいて、各カテゴリの重要度を統計的に算出するようにしたため、ユーザに負担をかけることなく、カテゴリの統計的に定められる重要度が分かることとなる。

本発明の第１の画像重要度設定装置および方法によれば、複数の画像を分類することにより得られた複数のカテゴリのそれぞれについて統計的に重要度を算出し、対象となるカテゴリに含まれる類似画像数および対象となるカテゴリの重要度に基づいて、対象となるカテゴリに含まれる画像の重要度を統計的に算出するようにしたものである。このため、ユーザに負担をかけることなく、カテゴリに分類された画像の統計的に定められる重要度が分かることとなる。

本発明の第２の画像重要度設定装置および方法によれば、複数の画像を付帯情報に基づいて複数のカテゴリに分類し、複数のカテゴリのそれぞれについて統計的に重要度を算出し、対象となるカテゴリに含まれる類似画像数および対象となるカテゴリの重要度に基づいて、対象となるカテゴリに含まれる画像の重要度を算出するようにしたものである。このため、ユーザに負担をかけることなく、カテゴリの統計的に定められる重要度およびカテゴリに分類された画像の統計的に定められる重要度が分かることとなる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による重要度設定装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による重要度設定装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。

また、重要度設定装置１は、画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム、および後述するよう重みづけテーブル等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６とを備える。

また、重要度設定装置１は、ハードディスク２４におけるユーザが所望するフォルダに保存された画像を複数のカテゴリに分類する画像分類部２８と、各カテゴリの重要度を算出するカテゴリ重要度算出部３０と、各カテゴリに分類された画像の重要度を算出する画像重要度算出部３２とを備える。さらに、重要度設定装置１は、表示部１８の表示を制御する表示制御部３４を備える。

以下、第１の実施形態における画像分類部２８、カテゴリ重要度算出部３０および画像重要度算出部３２が行う処理について説明する。図２は第１の実施形態において行われる処理を示すフローチャートである。なお、画像データはメモリカード２から読み出されてハードディスク２４のユーザが所望するフォルダに保存されているものとする。重要度設定の指示をユーザが入力部１６から行うことによりＣＰＵ１２が処理を開始し、画像分類部２８が画像を複数のカテゴリに分類する（ステップＳＴ１）。

具体的には、画像分類部２８は、画像のタグ情報に記述された撮影日時を表す撮影日時情報に基づいて、画像を撮影日毎に分類するとともに、分類した画像についてさらに撮影時間差を所定のしきい値と比較し、しきい値を超える撮影時間差となる２つの画像の間をカテゴリの区切り位置として分類を行うことにより、複数の画像を階層化して複数のカテゴリに分類する。

次いで、カテゴリ重要度算出部３０が、画像分類部２８による分類結果を用いて、処理対象のカテゴリを例えば最上位階層における撮影日時が最も古い画像が分類された最初のカテゴリに設定し（ステップＳＴ２）、処理対象のカテゴリの特徴量を算出する（ステップＳＴ３）。本実施形態においては、カテゴリ重要度算出部３０は、処理対象のカテゴリについて、カテゴリに含まれる類似画像を考慮した画像数、各カテゴリの総撮影時間、各カテゴリにおける類似画像存在率、各カテゴリにおける人物画像存在率、およびカテゴリに含まれる画像の平均顔数を５つの特徴量として算出する。以下、特徴量の算出について説明する。なお、本実施形態においては、画像分類部２８が階層化して分類した複数のカテゴリをすべて処理の対象とする。

まず、カテゴリ重要度算出部３０は処理対象のカテゴリの類似画像を考慮した画像数を第１の特徴量Ｔ１として算出する。このため、カテゴリ重要度算出部３０は、類似画像判定処理を行う。類似判定処理は、すべての画像について総当たりで画像の相関値を算出し、相関値が所定のしきい値を超える場合に相関値を算出した画像同士が類似すると判定する処理とするが、公知の任意の手法を用いることができる。そして、互いに類似する複数の画像をまとめて１枚の画像と見なしてカテゴリに分類された画像数をカウントすることにより、類似画像を考慮した画像数を算出する。

図３は類似画像を考慮した画像数の算出を説明するための図である。図３に示すように、処理対象のカテゴリに１０枚の画像が分類されており、撮影日時順に１０枚の画像Ｓ１〜Ｓ１０を並べた場合において、１〜３枚目の画像Ｓ１〜Ｓ３が互いに類似しており、４，５枚目の画像Ｓ４，Ｓ５が互いに類似しており、６〜１０枚目の画像Ｓ６〜Ｓ１０が類似していないとする。この場合、類似する画像が全く存在しない画像の枚数Ｍ０＝５、互いに類似する画像を１つにまとめた場合のグループ（類似グループとする）数Ｍ１＝２となる。カテゴリ重要度算出部３０は、Ｍ０，Ｍ１の値を用いて、下記の式（１）により類似画像を考慮した画像数を算出する。

類似画像を考慮した画像数＝Ｍ０＋γ０×Ｍ１ （１）
ここで、γ０は０以上類似画像数以下の値をとる重み係数であり、γ０＝１のとき、互いに類似する複数の画像については１枚の画像と見なした場合における各カテゴリの画像数となる。具体的には、Ｍ０＝５，Ｍ１＝２のとき、そのカテゴリについての類似画像を考慮した画像数は７枚となる。一方、γ０＝１．２のときは、類似画像は１．２枚の画像であると見なすことから、そのカテゴリについての類似画像を考慮した画像数は７．４枚となる。

また、カテゴリ重要度算出部３０は、カテゴリの総撮影時間を第２の特徴量Ｔ２として算出する。カテゴリの総撮影時間は、カテゴリに分類された複数の画像についての、最も古い画像の撮影時間と最も新しい画像の撮影時間との差を算出することにより求める。具体的には、図３に示すように分類された画像については、画像Ｓ１の撮影時間と画像Ｓ１０の撮影時間との差を算出することにより、カテゴリの総撮影時間を算出する。なお、撮影時間は画像のタグ情報に記述された撮影日時情報により表される撮影時間を用いればよい。

また、カテゴリ重要度算出部３０は、カテゴリにおける類似画像存在率を第３の特徴量Ｔ３として算出する。カテゴリにおける類似画像存在率は、カテゴリの総画像数をＮ０、類似画像を考慮した画像数をＮ１とした場合に下記の式（２）により算出する。

類似画像存在率＝（Ｎ０−Ｎ１）／Ｎ０ （２）
例えば、図３に示すように分類された画像については、上記式（１）においてγ０＝１とした場合、類似画像存在率は、（１０−７）／１０＝０．３となる。なお、類似画像存在率を百分率により表してもよい。

また、カテゴリ重要度算出部３０は、人物画像存在率を第４の特徴量Ｔ４として算出する。人物画像存在率は、カテゴリに分類された画像のうち、人物を含む画像数をカテゴリの総画像数により除算することにより算出する。なお、画像が人物を含むか否かの判断は、画像が人物の顔を含むか否かを判断することにより行えばよい。例えば、図３に示すように分類された画像において、画像Ｓ１〜Ｓ８が人物を含み、画像Ｓ９，Ｓ１０が人物を含まないとすると、人物画像存在率は０．８となる。なお、人物画像存在率を百分率により表してもよい。ここで、顔を含むか否かの判断は、画像に顔形状を有する肌色領域が含まれるか否かを判断する等、公知の任意の手法を用いることができる。

また、カテゴリ重要度算出部３０は、カテゴリに含まれる画像の平均顔数を第５の特徴量Ｔ５として算出する。カテゴリに含まれる画像の平均顔数は、カテゴリに分類された画像に含まれる人物の顔の数の総数を算出し、算出した人物の顔の総数をカテゴリの総画像数により除算することにより算出する。例えば、図３に示すように分類された画像において、画像Ｓ１〜Ｓ３には２つの人物の顔が、画像Ｓ４，Ｓ５には３つの人物の顔が、画像Ｓ６〜Ｓ８には１つの人物の顔が、画像Ｓ９，Ｓ１０には人物の顔が含まれなかったとすると、顔の総数は６＋６＋３＝１５となることから、平均顔数は１．５個となる。

次いで、カテゴリ重要度算出部３０は、算出した特徴量Ｔ１〜Ｔ５に基づいて、カテゴリの重要度であるカテゴリ重要度を統計的に算出する（ステップＳＴ４）。以下、カテゴリ重要度の算出について説明する。

本実施形態においては、ハードディスク２４に、特徴量Ｔ１〜Ｔ５と各特徴量Ｔ１〜Ｔ５についての個別の重要度との関係を規定した重みづけテーブルが記録されている。重みづけテーブルは、特徴量Ｔ１〜Ｔ５について各種値を有する多数のサンプル画像から、複数の被験者に好ましいと思う画像を選択させた場合における、特徴量Ｔ１〜Ｔ５と選択した画像の数との関係を、２次元座標上において画像数の最大値を所定値に規格化することにより規定したものである。

図４は類似画像を考慮した画像数についての重要度を求めるための第１の重みづけテーブルを示す図、図５は総撮影時間についての重要度を求めるための第２の重みづけテーブルを示す図、図６は類似画像存在率についての重要度を求めるための第３の重みづけテーブルを示す図、図７は人物画像存在率についての重要度を求めるための第４の重みづけテーブルを示す図、図８は平均顔数についての重要度を求めるための第５の重みづけテーブルを示す図である。

図４に示す第１の重みづけテーブルＬＵＴ１は特徴量Ｔ１と重要度Ｊ１との関係を表し、図５に示す第２の重みづけテーブルＬＵＴ２は特徴量Ｔ２と重要度Ｊ２との関係を表し、図６に示す第３の重みづけテーブルＬＵＴ３は特徴量Ｔ３と重要度Ｊ３との関係を表し、図７に示す第４の重みづけテーブルＬＵＴ４は特徴量Ｔ４と重要度Ｊ４との関係を表し、図８に示す第５の重みづけテーブルＬＵＴ５は特徴量Ｔ５と重要度Ｊ５との関係を表す。

カテゴリ重要度算出部３０は、第１〜第５の重みづけテーブルＬＵＴ１〜ＬＵＴ５を参照して、特徴量Ｔ１〜Ｔ５についての重要度Ｊ１〜Ｊ５を算出する。

なお、図４および図５に示す第１および第２の重みづけテーブルＬＵＴ１，ＬＵＴ２については、横軸のみ対数軸とすることにより重要度Ｊ１，Ｊ２を精度良く求めることができる。

さらに、カテゴリ重要度算出部３０は、算出した重要度Ｊ１〜Ｊ５を下記の式（３）に示すように重み係数ａ１〜ａ６を用いて重みづけ演算することにより、処理対象のカテゴリのカテゴリ重要度Ｊ０を算出する。

Ｊ０＝ａ１×Ｊ１＋ａ２×Ｊ２＋ａ３×Ｊ３＋ａ４×Ｊ４
＋ａ５×Ｊ５＋ａ６×Ｊ１×Ｊ２×Ｊ３×Ｊ４×Ｊ５ （３）
なお、重み係数ａ１〜ａ６は経験的に定めてもよく、重要視する特徴量に応じて定めてもよい。

そしてカテゴリ重要度算出部３０は、すべてのカテゴリの重要度を算出したか否かを判定し（ステップＳＴ５）、ステップＳＴ５が否定されると、処理対象のカテゴリを次のカテゴリに設定し（ステップＳＴ６）、ステップＳＴ３に戻り、ステップＳＴ３以降の処理を繰り返す。

ステップＳＴ５が肯定されると、画像重要度算出部３２が、最下位階層のカテゴリに分類された個々の画像についての重要度である画像重要度を算出する。以下、画像重要度の算出について説明する。まず、画像重要度算出部３２は処理対象のカテゴリを最下位階層の最初のカテゴリに設定し（ステップＳＴ７）、処理対象のカテゴリに分類された画像のうち処理対象の画像を最初の画像（例えば撮影日時が最も新しい画像）に設定し（ステップＳＴ８）、処理対象の画像について、同一のカテゴリにおける類似画像の枚数を算出する（ステップＳＴ９）。例えば、図３に示すように分類された画像において処理対象の画像を画像Ｓ１とした場合、類似画像の枚数は３枚となる。

そして、画像重要度Ｇ０を下記の式（４）を用いて算出する。

Ｇ０＝αｎ×Ｊ０＋βｎ （４）
ここでｎは対象となる画像の類似画像の枚数、αｎ，βｎは統計的に求めた重み係数である。なお、αｎはカテゴリ重要度Ｊ０に対して重みをつける係数、βｎはカテゴリ重要度Ｊ０に関係なく、類似画像の枚数に応じて重みをつける係数である。本実施形態においては、類似画像の枚数ｎと重み係数αｎ，βｎとの関係を規定した重みづけテーブルがハードディスク２４に保存されており、画像重要度算出部３２は、重みづけテーブルを参照して重み係数αｎ，βｎを求める。

図９は重み係数αｎおよびβｎを求めるための第６および第７の重みづけテーブルを示す図である。図９に示す第６の重みづけテーブルＬＵＴ６は類似画像の枚数ｎと重み係数αｎとの関係を表し、第７の重みづけテーブルＬＵＴ７は類似画像の枚数ｎと重み係数βｎとの関係を表す。ここで、αｎについての重みづけテーブルＬＵＴ６は、類似画像の枚数ｎについて各種値を有する多数のサンプル画像から、複数の被験者に好ましいと思う画像を選択させた場合における、類似画像の枚数ｎと選択した画像の数との関係を、２次元座標上において画像数の最大値を所定値に規格化することにより規定したものである。なお、βｎは単調増加する関数となっているが、類似画像の枚数にかかわらず一定値をとるような関数を用いてもよい。

画像重要度算出部３２は、第６および第７の重みづけテーブルＬＵＴ６，ＬＵＴ７を参照して、処理対象の画像の重要度Ｇ０を算出する（ステップＳＴ１０）。

続いて、画像重要度算出部３２は、処理対象のカテゴリのすべての画像について画像重要度Ｇ０を算出したか否かを判定し（ステップＳＴ１１）、ステップＳＴ１１が否定されると処理対象を次の画像に設定し（ステップＳＴ１２）、ステップＳＴ９に戻り、ステップＳＴ９以降の処理を繰り返す。

ステップＳＴ１１が肯定されると、カテゴリ重要度算出部３０が、最下位階層におけるすべてのカテゴリの画像重要度を算出したか否かを判定し（ステップＳＴ１３）、ステップＳＴ１３が否定されると、処理対象のカテゴリを最下位階層における次のカテゴリに設定し（ステップＳＴ１４）、ステップＳＴ８に戻り、ステップＳＴ８以降の処理を繰り返す。ステップＳＴ１３が肯定されると処理を終了する。

このようにカテゴリ重要度Ｊ０および画像重要度Ｇ０を算出した後、表示制御部３４が、カテゴリ重要度算出部３０が設定した重要度Ｊ０を視認可能とした画像一覧画面を表示部１８に表示する。図１０は画像一覧画面の例を示す図である。図１０に示すように画像一覧画面４０は、ハードディスク２４に保存されているフォルダ構造を示すフォルダエリア４０Ａ、およびフォルダエリア４０Ａにおいて選択したフォルダに保存されている画像についてのサムネイル画像の一覧を表示する一覧表示エリア４０Ｂが含まれる。

フォルダエリア４０Ａにおいては、上述したように分類されたカテゴリに対応するフォルダの階層構造が表示される。表示制御部３４は、カテゴリ重要度算出部３０が算出した各カテゴリの重要度に応じて、カテゴリに１〜４までの順位を設定する。そして、順位に応じてフォルダを色分けしてフォルダエリア４０Ａにフォルダの階層構造を表示する。例えば、１位のフォルダはピンク色、２位のフォルダはオレンジ色、３位のフォルダは黄色、４位のフォルダは緑色というようにフォルダを色分けする。

また、フォルダエリア４０Ａにおいて所望とするフォルダを選択することにより、選択したフォルダに分類された画像のサムネイル画像の一覧を一覧表示エリア４０Ｂに表示することができる。一覧表示エリア４０Ｂにおいては、各サムネイル画像の左上部分にその画像の重要度に応じた１〜４までの順位が付与されている。

ここで、図１０に示す重要度に応じて色分けする手法のみならず、図１１に示すように重要度の順位を数値として表示するようにしてもよい。また、カテゴリ重要度または画像重要度に応じたマークやグラフを表示してもよい。

このように、本実施形態においては、カテゴリに含まれる類似画像を考慮した画像数、カテゴリの総撮影時間、カテゴリにおける類似画像存在率、カテゴリにおける人物画像存在率、およびカテゴリに含まれる画像の平均顔数という５つの特徴量Ｔ１〜Ｔ５に基づいて、カテゴリの重要度Ｊ０を統計的に設定するようにしたため、ユーザに負担をかけることなく、カテゴリの統計的に定められる重要度が分かることとなる。

また、カテゴリに含まれる類似画像数ｎおよび対象となるカテゴリの重要度Ｊ０に基づいて、カテゴリに含まれる画像の重要度Ｇ０を統計的に設定するようにしたため、ユーザに負担をかけることなく、カテゴリに分類された画像の統計的に定められる重要度が分かることとなる。

なお、上記実施形態においては、カテゴリに含まれる類似画像を考慮した画像数、各カテゴリの総撮影時間、各カテゴリにおける類似画像存在率、各カテゴリにおける人物画像存在率、およびカテゴリに含まれる画像の平均顔数の５つの特徴量Ｔ１〜Ｔ５に基づいてカテゴリ重要度を算出しているが、５つの特徴量Ｔ１〜Ｔ５をすべて用いる必要はなく、特徴量Ｔ１〜Ｔ５のうちの少なくとも１つの特徴量を用いてカテゴリ重要度を算出するようにしてもよい。

次いで、本発明の第２の実施形態について説明する。図１２は本発明の第２の実施形態による重要度設定装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による重要度設定装置１Ａは、第１の実施形態とは異なる手法によりカテゴリ重要度を算出するカテゴリ重要度算出部３０Ａを備えた点が第１の実施形態と異なる。

第２の実施形態による重要度設定装置１Ａにおけるカテゴリ重要度算出部３０Ａは、各カテゴリに含まれる画像数、各カテゴリの上位の階層のカテゴリに含まれる画像数、各カテゴリに関連するカテゴリの数、各カテゴリの下位の階層数、および最上位の階層から各カテゴリまでの階層数の少なくとも１つの情報を特徴量として算出して、特徴量を重みづけ加算することにより各カテゴリの重要度を算出するようにしたものである。また、これらの特徴量とカテゴリに含まれる類似画像を考慮した画像数、各カテゴリの総撮影時間、各カテゴリにおける類似画像存在率、各カテゴリにおける人物画像存在率、およびカテゴリに含まれる画像の平均顔数の５つの特徴量Ｔ１〜Ｔ５とを組み合わせることにより、カテゴリ重要度を算出するようにしてもよい。

このようにカテゴリ重要度を算出することによっても、画像重要度算出部３２において上記第１の実施形態と同様に画像の重要度を算出することができる。これにより、ユーザに負担をかけることなく、カテゴリの統計的に定められる重要度およびカテゴリに分類された画像の統計的に定められる重要度が分かることとなる。

なお、上記各実施形態においては、画像を撮影日情報を用いて複数のカテゴリに分類しているが、例えば撮影場所の緯度および経度を表すＧＰＳ情報を取得可能なカメラを用いて撮影を行った場合には、画像にはＧＰＳ情報が付与される。このような場合、ＧＰＳ情報を用いて画像を撮影場所に応じた複数のカテゴリに階層化して分類してもよい。また、上記特許文献１〜特許文献４に記載された手法と同様の手法により、分類を行うようにしてもよい。また、ユーザが手動により自分の好みに応じて画像を分類してもよいことはもちろんである。

なお、上記第１および第２の実施形態においては、画像重要度算出部３２において画像重要度を算出する前に、その画像が分類されたカテゴリの画像の分類の状態が正常であるか異常であるかを判定し、正常な場合には上記式（４）を用いて画像重要度Ｇ０を算出し、異常な場合には式（４）においてＪ０＝０として画像重要度Ｇ０を算出してもよい。

ここで、カテゴリの画像の分類の状態が正常である、異常であるとは、ユーザの撮影行動が不自然であったり、カテゴリにおける画像の分類に失敗している場合に異常であると見なすものである。具体的には、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの総撮影時間との関係を規定した２次元座標上における異常度の統計的な分布を参照することにより、ユーザの撮影行動が不自然であることの程度を異常度として求めることができる。また、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの類似画像存在率との関係を規定した２次元座標上における異常度の統計的な分布を参照することにより、画像の分類に失敗している程度を異常度として求めることができる。

以下、カテゴリの画像の分類状態が正常か異常かを判定する手法について説明する。

まず、ハードディスク２４に、図１３（ａ）、（ｂ）に示すように、画像数とカテゴリの総撮影時間との関係を規定する２次元座標上における異常度の統計的な分布Ｂ１および画像数と類似画像存在率との関係を規定する２次元座標上における異常度の統計的な分布Ｂ２を保存しておく。

分布Ｂ１は、画像数および総撮影時間について各種値を有し、かつ画像を得た際の撮影行動の状態の異常度があらかじめ０以上１以下の数値として分かっている多数のサンプルとなるカテゴリについて、横軸を画像数、縦軸を総撮影時間とする２次元座標に異常度の数値をプロットすることにより得られるものである。具体的には、分布Ｂ１の場合、ｘ軸を画像数、ｙ軸を総撮影時間とする２次元座標において、ｙ＝ｘとなる関数を中心とする所定範囲の領域Ａ１においては異常度＝０の値となり、領域Ａ１から離れるほど異常度の値が増加するように異常度が分布するものとなる。

また、分布Ｂ２の場合、画像数および類似画像存在率について各種値を有し、かつ画像の分類に失敗している程度があらかじめ０以上１以下の数値として分かっている多数のサンプルとなるカテゴリについて、横軸を画像数、縦軸を類似画像存在率とする２次元座標に異常度の数値をプロットすることにより得られるものである。具体的には、ｘ軸を画像数、ｙ軸を総撮影時間とする２次元座標において、ｙ＝ａ１ｘ＋ｂ１となる関数を設定した場合に、ｙ≧ａ１ｘ＋ｂ１となる領域Ａ２においては異常度＝０の値となり、ｙ＜ａ１ｘ＋ｂ１となる領域Ａ３においてはｙの値が小さくなるほど異常度の値が増加するように異常度が分布するものとなる。

そして、上述したように算出した総撮影時間および類似画像存在率並びにカテゴリに分類された画像数を用いて分布Ｂ１，Ｂ２を参照し、まず、第１の異常度Ｈ１および第２の異常度Ｈ２を算出する。そして、第１の異常度Ｈ１および第２の異常度Ｈ２から、下記の式（５）を用いて対象となるカテゴリの異常度Ｈ０を算出する。

Ｈ０＝１−（１−Ａ１）×（１−Ａ２） （５）
続いて、算出した異常度Ｈ０がしきい値Ｔｈ１以上である場合に、対象となるカテゴリを異常カテゴリ、しきい値Ｔｈ１未満である場合に正常カテゴリに分類する。

これにより、正常カテゴリについては、上記式（４）を用いて画像重要度Ｇ０が算出され、異常カテゴリについては、上記式（４）においてＪ０＝０とすることによりβｎのみを用いて画像重要度Ｇ０が算出される。したがって、画像の分類の状態が異常な場合には、カテゴリ重要度Ｊ０に影響されることなく、類似画像数のみに応じて画像重要度Ｇ０を算出することができる。

以上、本発明の第１および第２の実施形態に係る装置について説明したが、コンピュータを、上記の画像分類部２８、カテゴリ重要度算出部３０，３０Ａおよび画像重要度算出部３２に対応する手段として機能させ、図２に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。

本発明の第１の実施形態による重要度設定装置の構成を示す概略ブロック図 第１の実施形態において行われる処理を示すフローチャート 類似画像を考慮した画像数の算出を説明するための図 類似画像を考慮した画像数についての重要度を求めるための第１の重みづけテーブルを示す図 総撮影時間についての重要度を求めるための第２の重みづけテーブルを示す図 類似画像存在率についての重要度を求めるための第３の重みづけテーブルを示す図 人物画像存在率についての重要度を求めるための第４の重みづけテーブルを示す図 平均顔数についての重要度を求めるための第５の重みづけテーブルを示す図 重み係数αｎおよびβｎを求めるための第６および第７の重みづけテーブルを示す図 画像一覧画面の例を示す図（その１） 画像一覧画面の例を示す図（その２） 本発明の第２の実施形態による重要度設定装置の構成を示す概略ブロック図 画像数とカテゴリの総撮影時間との関係を規定する２次元座標上における異常度の統計的な分布Ｂ１および画像数と類似画像存在率との関係を規定する２次元座標上における異常度の統計的な分布Ｂ２を示す図

符号の説明

１，１Ａ 重要度設定装置
２ メモリカード
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
１８ 表示部
２０ カードスロット
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 画像分類部
３０，３０Ａ カテゴリ重要度算出部
３２ 画像重要度算出部
３４ 表示制御部
４０ 画像一覧画面

Claims (9)

1. 複数の画像を分類することにより得られた複数のカテゴリのそれぞれについての重要度を統計的に算出するカテゴリ重要度算出手段と、
   対象となる前記カテゴリに含まれる類似画像数をｎ、統計的にあらかじめ定められた重み係数をαｎおよびβｎとした場合、前記対象となるカテゴリに含まれる画像の重要度をαｎ×（前記対象となるカテゴリの重要度）＋βｎの演算により算出する画像重要度算出手段とを備えたことを特徴とする画像重要度設定装置。
2. 前記カテゴリ重要度算出手段は、前記複数のカテゴリのそれぞれについて、該各カテゴリに含まれる類似画像を考慮した画像数、該各カテゴリの総撮影時間、該各カテゴリにおける類似画像存在率、該各カテゴリにおける人物画像存在率、および該各カテゴリに含まれる画像の平均顔数のうちの少なくとも１つの特徴量に基づいて、前記各カテゴリの重要度を統計的に算出する手段であることを特徴とする請求項１記載の画像重要度設定装置。
3. 前記カテゴリ重要度算出手段は、該各カテゴリに含まれる類似画像を考慮した画像数、該各カテゴリの総撮影時間、該各カテゴリにおける類似画像存在率、該各カテゴリにおける人物画像存在率、および該各カテゴリに含まれる画像の平均顔数のうちの少なくとも２つの特徴量を算出し、該各特徴量から該各特徴量に対応する個別重要度を統計的に算出し、該個別重要度を重みづけ演算することにより、前記重要度を算出する手段であることを特徴とする請求項２記載の画像重要度設定装置。
4. 複数の画像を該各画像に付与された撮影日時情報に基づいて撮影日毎に複数のカテゴリに分類する分類手段と、
   前記複数のカテゴリのそれぞれについて、該各カテゴリに含まれる類似画像を考慮した画像数、該各カテゴリの総撮影時間、該各カテゴリにおける類似画像存在率、該各カテゴリにおける人物画像存在率、および該各カテゴリに含まれる画像の平均顔数のうちの少なくとも１つの特徴量に基づいて、前記各カテゴリの重要度を統計的に算出するカテゴリ重要度算出手段と、
   対象となる前記カテゴリに含まれる類似画像数および前記対象となるカテゴリの重要度に基づいて、前記対象となるカテゴリに含まれる画像の重要度を統計的に算出する画像重要度算出手段とを備えたことを特徴とする画像重要度設定装置。
5. 前記画像重要度設定手段は、前記対象となるカテゴリに含まれる類似画像数をｎ、統計的にあらかじめ定められた重み係数をαｎおよびβｎとした場合、前記画像の重要度をαｎ×（カテゴリの重要度）＋βｎの演算により算出する手段であることを特徴とする請求項４記載の画像重要度設定装置。
6. コンピュータが、複数の画像を分類することにより得られた複数のカテゴリのそれぞれについての重要度を統計的に算出し、
   対象となる前記カテゴリに含まれる類似画像数をｎ、統計的にあらかじめ定められた重み係数をαｎおよびβｎとした場合、前記対象となるカテゴリに含まれる画像の重要度をαｎ×（前記対象となるカテゴリの重要度）＋βｎの演算により算出することを特徴とする画像重要度設定方法。
7. コンピュータが、複数の画像を該各画像に付与された撮影日時情報に基づいて撮影日毎に複数のカテゴリに分類し、
   前記複数のカテゴリのそれぞれについて、該各カテゴリに含まれる類似画像を考慮した画像数、該各カテゴリの総撮影時間、該各カテゴリにおける類似画像存在率、該各カテゴリにおける人物画像存在率、および該各カテゴリに含まれる画像の平均顔数のうちの少なくとも１つの特徴量に基づいて、前記各カテゴリの重要度を統計的に算出し、
   対象となる前記カテゴリに含まれる類似画像数および前記対象となるカテゴリの重要度に基づいて、前記対象となるカテゴリに含まれる画像の重要度を統計的に算出することを特徴とする画像重要度設定方法。
8. 複数の画像を分類することにより得られた複数のカテゴリのそれぞれについての重要度を統計的に算出する手順と、
   対象となる前記カテゴリに含まれる類似画像数をｎ、統計的にあらかじめ定められた重み係数をαｎおよびβｎとした場合、前記対象となるカテゴリに含まれる画像の重要度をαｎ×（前記対象となるカテゴリの重要度）＋βｎの演算により算出する手順とを有することを特徴とする画像重要度設定方法をコンピュータに実行させるためのプログラム。
9. 複数の画像を該各画像に付与された撮影日時情報に基づいて撮影日毎に複数のカテゴリに分類する手順と、
   前記複数のカテゴリのそれぞれについて、該各カテゴリに含まれる類似画像を考慮した画像数、該各カテゴリの総撮影時間、該各カテゴリにおける類似画像存在率、該各カテゴリにおける人物画像存在率、および該各カテゴリに含まれる画像の平均顔数のうちの少なくとも１つの特徴量に基づいて、前記各カテゴリの重要度を統計的に算出する手順と、
   対象となる前記カテゴリに含まれる類似画像数および前記対象となるカテゴリの重要度に基づいて、前記対象となるカテゴリに含まれる画像の重要度を統計的に算出する手順とを有することを特徴とする画像重要度設定方法をコンピュータに実行させるためのプログラム。

Images