JP4738976B2 - 重要度設定装置および方法並びにプログラム - Google Patents

Description

本発明は、複数の画像を分類することにより得られた複数のカテゴリの重要度を設定する重要度設定装置および方法並びに重要度設定方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラおよびスキャナの普及により、誰もが手軽にデジタルの画像を取得することが可能となっている。また、画像をパソコンに取り込んで整理することも行われている。この場合、画像の整理は、ユーザに起こったイベント毎に画像を分類して行うことが多い。例えば、ヨーロッパ旅行へ出かけた場合には、フランス、イギリス、スペイン等のように取得した画像を国毎のカテゴリに分類し、さらにフランスのカテゴリに分類された画像については、パリおよびニース等の出かけた場所毎にさらに細かいカテゴリに画像を分類する。また、パリに分類された画像については、エッフェル塔、凱旋門およびノートルダム寺院等のさらに細かいカテゴリに画像を分類する。

このように画像を階層化して複数のカテゴリに分類しておけば、後で画像を参照する際にイベント毎に分けられた画像を参照できるため、画像の整理を容易に行うことができる。

その一方で、画像を階層化して分類する作業は、画像を見ながら、さらにはユーザの記憶をたどりながら行う必要があるため、ユーザにとって非常に煩わしい作業となっている。

このため、画像を自動で分類するための各種手法が提案されている。例えば、画像に付与された撮影日時を表す撮影日時情報に基づいて、画像を時間軸上に配置し、撮影時間が隣接する２つの画像についての撮影時間差の大小に応じて画像を複数のカテゴリに分類する方法が提案されている（特許文献１参照）。また、ユーザのスケジュールを表すスケジュール情報を参照して、画像をユーザのスケジュールに応じたカテゴリに分類する手法（特許文献２参照）、また、複数の画像から特徴量を算出し、画像の特徴量間の関連性に基づいて画像を複数のカテゴリに分類する手法も提案されている（特許文献３参照）。

このような手法を用いることにより、ユーザは自分で画像を分類する必要がなくなるため、画像を整理する際のユーザの負担を軽減できる。
特開２０００−１１２９９７号公報 特開２００３−１０８９７３号公報 特開２００１−２５６２４４号公報

しかしながら、上述したように自動で画像を分類した場合、どのカテゴリに分類された画像がユーザにとって重要であるかは、カテゴリ毎に分類された画像の中身を確認するまで知ることができない。

本発明は上記事情に鑑みなされたものであり、複数のカテゴリ毎に分類された画像について、ユーザに負担をかけることなく、どのカテゴリに分類された画像が重要であるかが分かるようにすることを目的とする。

本発明による重要度設定装置は、複数の画像を複数のカテゴリに分類することにより得られた各カテゴリ毎に、類似する画像同士をグルーピングして類似画像グループを生成するグルーピング手段と、
前記各カテゴリにおける前記類似画像グループの数および／または前記類似画像グループに含まれる画像の数に応じて、前記各カテゴリの重要度を設定する設定手段とを備えたことを特徴とするものである。

なお、本発明による重要度設定装置においては、前記設定手段を、前記類似画像グループに含まれる画像における類似の種類、該類似の種類に応じた類似する画像の数および類似度合いの少なくとも１つの情報に基づいて、前記類似画像グループに含まれる画像の重要度をさらに設定する手段としてもよい。

「類似の種類」とは、類似画像グループに含まれる画像のいずれか１つを基準画像とした際に、類似を判定する画像をその基準画像に対してどのように変化させれば基準画像と一致させることができるかを表すパラメータであり、具体的には、平行移動、拡大縮小、回転、明るさおよび色味等を用いることができる。すなわち、類似の種類が平行移動であれば、類似を判定する画像を平行移動させれば基準画像と一致させることができ、類似の種類が拡大縮小であれば、類似を判定する画像を拡大縮小させれば基準画像と一致させることができるということを表すものである。

「類似の種類の応じた類似する画像の数」とは、類似の種類毎に画像を小グループに分類した際の、各小グループに含まれる画像の数である。

「類似の度合い」とは、類似の種類における変化の度合いを表すものであり、具体的には、平行移動、拡大縮小、回転、明るさおよび色味等のそれぞれの変化の程度を用いることができる。

また、本発明による重要度設定装置においては、各種表示を行う表示手段と、
前記各カテゴリの重要度および／または前記画像の重要度を視認可能に前記表示手段に表示する表示制御手段とをさらに備えるようにしてもよい。

なお、画像の重要度を視認可能に表示する場合において、前記設定手段を、前記重要度が上位所定数の画像を前記複数の画像の代表画像として選択する手段とし、前記表示制御手段を前記代表画像を前記表示手段に表示する手段としてもよい。

本発明による重要度設定方法は、複数の画像を複数のカテゴリに分類することにより得られた各カテゴリ毎に、類似する画像同士をグルーピングして類似画像グループを生成し、
前記各カテゴリにおける前記類似画像グループの数および／または前記類似画像グループに含まれる画像の数に応じて、前記各カテゴリの重要度を設定することを特徴とするものである。

なお、本発明による重要度設定方法をコンピュータに実行させるためのプログラムとして提供してもよい。

デジタルカメラ等を用いて撮影を行う場合、重要なシーンは撮影に失敗すると取り返しがつかないために撮影回数が多くなり、その結果、類似する画像が多くなる。また、重要なイベントであるほど、多くのシーンにおいて撮影を行って、そのイベントの画像を保存しておきたいという要望がある。

本発明によれば、各カテゴリにおける類似画像グループの数および／または類似画像グループに含まれる画像の数に応じて、各カテゴリの重要度を設定するようにしたため、ユーザに負担をかけることなく、どのカテゴリに分類された画像が重要であるかが分かることとなる。

また、類似画像グループに含まれる画像における類似の種類、類似の種類に応じた類似する画像の数および類似度合いの少なくとも１つの情報に基づいて類似画像グループに含まれる画像の重要度をさらに設定することにより、カテゴリに含まれるどの画像が重要であるかも分かることとなる。

また、複数のカテゴリに設定された重要度を視認可能に表示することにより、ユーザは表示結果を見ればカテゴリ毎の重要度を一見して認識することができる。

また、複数のカテゴリに設定された重要度および画像に設定された重要度を視認可能に表示することにより、ユーザは表示結果を見ればカテゴリ毎の重要度および画像の重要度を一見して認識することができる。

この場合、重要度が上位所定数の画像を、複数の画像の代表画像として選択して表示することにより、ユーザはいずれの画像が重要度が高いかを容易に知ることができる。また、代表画像はユーザにとって重要であることが多いため、代表画像を表示することにより、プリント注文等、代表画像を利用をさせるようにユーザを誘導することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による重要度設定装置の構成を示す概略ブロック図である。図１に示すように本発明の実施形態による重要度設定装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。

また、重要度設定装置１は、画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６と、表示部１８の表示を制御する表示制御部２８とを備える。

また、重要度設定装置１は、ハードディスク２４に保存された画像を複数のカテゴリに分類する画像分類部３０と、各カテゴリの重要度を設定する重要度設定部３２とを備える。

画像分類部３０は、例えば上記特許文献１に記載された手法を用いてハードディスク２４に保存された複数の画像を複数のカテゴリに階層化して分類する。以下、画像の分類について説明する。なお、ここではユーザがフランス旅行に出かけた際に撮影により取得した複数の画像を分類する場合について説明する。図２はユーザのフランス旅行のある１日のタイムテーブルを示す図である。図２に示すように、ユーザはフランス旅行においてパリを訪問し、その後バスでニースに移動したものとする。また、パリにおいては、凱旋門、エッフェル塔およびノートルダム寺院を訪問したものとする。そして、翌日にブルゴーニュ地方を訪問したものとする。

ここで、ユーザはフランス旅行に出かけた後、別の旅行に出かけたものとすると、フランス旅行とその別の旅行とでは、１日以上差が開くこととなる。また、フランス旅行においてある１日にパリおよびニースを訪問し、翌日にブルゴーニュ地方を訪問した場合、パリおよびニースの訪問とブルゴーニュ地方の訪問とでは、１時間以上差が開くこととなる
また、バスで移動の場合、パリ訪問と、バスの中と、ニース訪問との間は１時間は差が開くことはないが３０分以上は差が開くこととなる。また、凱旋門、エッフェル塔およびノートルダム寺院はパリの市内において訪問するため、訪問時間は３０分は差が開くことはないが１０分以上は差が開くこととなる。

したがって、訪問先でまとめて撮影を行った場合において、撮影時間が隣接する画像間において、撮影時間間隔が１０分未満のものは同一の撮影時間と見なして、時間軸上に画像枚数をプロットすると、その関係は図３に示すものとなる。すなわち、図３に示すように時間と画像枚数との関係においては、訪問先単位で一定の時間をおいてまとまって複数の画像が取得されていることが分かる。

画像分類部３０は、この関係を用いて画像を複数のカテゴリに階層化して分類する。すなわち、図３に示す関係を参照し、まず、撮影時間間隔が１日以上ある画像群を１つのカテゴリとして分類する。この場合、フランス旅行において取得したすべての画像を１つのカテゴリとして分類する。次いで、分類後の画像について、撮影時間間隔が１時間以上ある画像群を１つのカテゴリとして分類する。この場合、パリおよびニース訪問において取得した画像群と、ブルゴーニュ地方訪問において取得した画像群とをそれぞれ１つのカテゴリとしてさらに分類する。

さらに、分類後の画像について、撮影時間間隔が３０分以上１時間未満となる画像群を１つのカテゴリとして分類する。この場合、パリおよびニース訪問のカテゴリにおいて、パリ訪問、バスの中およびニース訪問のそれぞれにおいて取得した画像群を１つのカテゴリとしてさらに分類する。さらに、撮影時間間隔が１０分以上３０分未満となる画像群を１つのカテゴリとして分類する。この場合、パリ訪問のカテゴリにおいて、凱旋門訪問、エッフェル塔訪問およびノートルダム寺院訪問のそれぞれにおいて取得した画像群を１つのカテゴリとしてさらに分類する。

そして、カテゴリ単位で１つのフォルダを作成し、分類された画像を各カテゴリに対応するフォルダに格納することにより、画像の分類を終了する。

図４は分類後のフォルダ構造を示す図である。なお、ここでは、フランス旅行における１日目の画像を分類した場合のフォルダ構造について説明する。図４に示すように、フランス旅行で取得した画像を保存する、フランス旅行のカテゴリに対応するフォルダＦ１（フランス旅行フォルダ）が最上位層にあり、フォルダＦ１の下層に、パリのカテゴリに分類された画像、バスで移動中のカテゴリに分類された画像およびニースのカテゴリに分類された画像をそれぞれ保存する、パリのカテゴリに対応するフォルダＦ１−１、バスで移動のカテゴリに対応するフォルダＦ１−２およびニースのカテゴリに対応するフォルダＦ１−３が作成される。

また、パリフォルダの下層に、凱旋門のカテゴリに分類された画像、エッフェル塔のカテゴリに分類された画像およびノートルダム寺院のカテゴリに分類された画像をそれぞれ保存する、凱旋門のカテゴリに対応するフォルダＦ１−１−１、エッフェル塔のカテゴリに対応するフォルダＦ１−１−２およびノートルダム寺院のカテゴリに対応するフォルダＦ１−１−３が作成される。

なお、ここでは説明のためにフォルダに名称を付与しているが、実際にはフォルダには名称が付与されるわけではなく、単純に図４に示すように階層に応じた番号が付与されるのみである。このため、ユーザはフォルダを開くまでは、どのフォルダにどの画像が分類されているかは分からない。

重要度設定部３２は、画像分類部３０による分類結果を用いて、各カテゴリの重要度を設定する。以下、重要度の設定について説明する。

重要度設定部３２は、まず、各カテゴリ毎に類似する画像同士をグルーピングして類似画像グループを生成する。ここで、グルーピングの手法としては、カテゴリ単位ですべての画像について総当たりで相関値を求め、相関値が所定値以下となった画像同士を類似する画像としてグルーピングすればよい。この際、１つの画像を基準として、他の画像を平行移動、拡大縮小および回転したり、明るさや色味を種々変更することにより相関値を算出する。なお、変更の程度はあらかじめ定めておけばよい。しかしながら、この手法ではグルーピングのための演算に長時間を要するため、例えば、画像のヒストグラムおよび色の分布を求め、ヒストグラムおよび色の分布が類似する画像間において相関値を算出してグルーピングを行うようにしてもよい。なお、類似する画像同士のグルーピングの手法はこれらの手法に限定されるものではない。

図５は類似する画像同士のグルーピング結果を示す図である。図５は、あるカテゴリ（例えば凱旋門フォルダ）に分類された画像について、Ｇ１〜Ｇｎのｎ個の類似画像グループが作成された状態を示している。なお、類似する画像が存在しない画像は、画像が１つのみしか含まれない類似画像グループに分類される。

そして、グルーピング後、類似画像グループの数および類似画像グループに含まれる画像の数に基づいて、カテゴリの重要度を算出する。ここで、デジタルカメラ等を用いて撮影を行う場合、重要なシーンは撮影に失敗すると取り返しがつかないために撮影回数が多くなり、その結果、類似する画像が多くなる。また、重要なイベントであるほど、多くのシーンにおいて撮影を行って、そのイベントの画像を保存しておきたいという要望がある。

このため、重要度設定部３２は、以下の３つの条件に従って下記の式（１）を用いて重要度を算出する。

条件１．類似画像グループに含まれる画像数が多いほど重要度が高い。

条件２．類似画像グループが多いと重要度が高い。

条件３．類似画像グループに分類された画像数が多い類似画像グループが多いほど重要度が高い。

重要度＝ａ１×Ｍ１＋ｂ１×Ｍ２＋ｃ×Ｍ３ （１）
但し、Ｍ１はすべての類似画像グループに含まれる画像の合計数（合計類似画像数）、Ｍ２は類似画像グループ数、Ｍ３は分類された画像数が所定のしきい値Ｔｈ１以上となる類似画像グループ数、ａ１，ｂ１，ｃ１は重み係数であり、本実施形態においてはａ１＝ｂ１＝ｃ１＝１とする。ここで、合計類似画像数は、画像が１つのみしか含まれない類似画像グループ以外の類似画像グループにグルーピングされた画像の数である。また、類似画像グループがＡ，Ｂ，Ｃの３つあり、そのそれぞれに３，４，５枚の画像が含まれている場合、しきい値Ｔｈ１を例えば４とすると、２つの類似画像グループＢ，Ｃが条件３に適合し、式（１）において２が加算されることになる。なお、ここでは、重み係数をａ１＝ｂ１＝ｃ１＝１としているが、合計類似画像数、類似画像グループ数および分類された画像数が所定のしきい値Ｔｈ１以上となる類似画像グループ数のいずれを重視するかに応じて重み係数を変更してもよいことはもちろんである。

これにより、各類似画像グループの重要度が算出される。例えば、類似画像グループＧ１＝１００、Ｇ２＝１２０…、Ｇｎ＝４０というように重要度が算出される。なお、重要度を算出する際に、類似画像グループの数および類似画像グループに含まれる画像の数の双方の情報を用いてるが、類似画像グループの数および類似画像グループに含まれる画像の数のいずれか一方の情報のみを用いてもよい。この場合、上記式（１）におけるａ１×Ｍ１およびｂ１×Ｍ２のいずれか一方のみが重要度の算出に用いられることとなる。

表示制御部２８は、ＣＰＵ１２がハードディスク２４に保存されている画像を閲覧するためのビューアソフトを起動した際に、ビューアソフトにより表示部１８に表示される画像一覧画面において、重要度設定部３２が設定した重要度を視認可能に表示部１８に表示する。図６は画像一覧画面の例を示す図である。図６に示すように画像一覧画面４０は、ハードディスク２４に保存されているフォルダ構造を示すフォルダフィールド４０Ａ、およびフォルダフィールド４０Ａにおいて選択したフォルダに保存されている画像についてのサムネイル画像の一覧を表示する一覧表示フィールド４０Ｂが含まれる。

フォルダフィールド４０Ａにおいては、上述したように階層化されたカテゴリに対応するフォルダの階層構造が表示される。表示制御部２８は、重要度設定部３２が設定した各カテゴリの重要度に応じて、カテゴリに１〜４までの順位を設定する。そして、順位に応じてフォルダを色分けしてフォルダフィールド４０Ａにフォルダの階層構造を表示する。例えば、１位のフォルダはピンク色、２位のフォルダはオレンジ色、３位のフォルダは黄色、４位のフォルダは緑色というようにフォルダを色分けする。

なお、重要度に応じた順位の設定は、例えば２００を超える重要度を１位、１５０を超え２００以下の重要度を２位、１００を超え１５０以下の重要度を３位、１００以下の重要度を４位というようにすればよい。

なお、重要度に応じて色分けする手法のみならず、図７に示すように重要度の順位を数値として表示するようにしてもよい。また、重要度に応じたマークやグラフを表示してもよい。

次いで、第１の実施形態において行われる処理について説明する。図８は第１の実施形態において行われる処理を示すフローチャートである。なお、画像を表す画像データはメモリカード２から読み出されてハードディスク２４のユーザが所望するフォルダに保存されているものとする。ビューアソフトを起動し、分類の指示をユーザが入力部１６から行うことにより処理が開始され、画像分類部３０が上述したように画像を階層化して複数のカテゴリに分類する（ステップＳＴ１）。

そして、重要度設定部３２が類似する画像同士をグルーピングし（ステップＳＴ２）、さらにカテゴリの重要度を設定する（ステップＳＴ３）。さらに表示制御部２８が重要度を視認可能にして画像一覧画面４０を表示部１８に表示し（ステップＳＴ４）、処理を終了する。

このように、第１の実施形態においては、各カテゴリにおける類似画像グループの数および類似画像グループに含まれる画像の数に応じて、各カテゴリの重要度を設定するようにしたため、ユーザに負担をかけることなく、どのカテゴリに分類された画像が重要であるかが分かることとなる。

また、複数のカテゴリに設定された重要度を視認可能に表示することにより、ユーザは表示結果を見れば各カテゴリの重要度を一見して認識することができる。

次いで、本発明の第２の実施形態について説明する。上記第１の実施形態においては、重要度設定部３２が各カテゴリの重要度を設定していたが、第２の実施形態においては、重要度設定部３２が各カテゴリの重要度を設定するとともに、各カテゴリにおいて類似画像グループに分類された画像に対して、類似画像グループに含まれる画像における類似の種類、類似の種類に応じた類似する画像の数および類似度合いの情報に基づいて、さらに重要度を設定するようにしたものである。以下、第２の実施形態における画像に対する重要度の設定について説明する。

まず重要度設定部３２は、類似画像グループに含まれる画像を、類似の種類を表すパラメータを考慮してさらに細かな小グループに分類する。具体的には、類似画像グループに含まれる画像のうち、類似判定の基準となる基準画像を設定し、基準画像に対して他のすべての画像を平行移動させつつ相関値を算出し、相関値が所定値以下となる他の画像を、基準画像と同一の小グループに分類する。この小グループに含まれる画像は、カメラを平行移動させて同一シーンを撮影することにより得られたものであることから、以下、平行移動類似画像とし、この小グループを平行移動類似画像グループと称する。

続いて、平行移動類似画像グループに含まれる上記基準画像に対して、平行移動類似画像グループに含まれる画像以外の他のすべての画像を拡大縮小させつつ相関値を算出し、相関値が所定値以下となる他の画像を同一の小グループに分類する。この小グループに含まれる画像は、ズーム倍率を変更させて同一シーンを撮影することにより得られたものであることから、以下、拡縮類似画像とし、この小グループを拡縮類似画像グループと称する。

続いて、平行移動類似画像グループに含まれる上記基準画像に対して、平行移動類似画像グループおよび拡縮類似画像グループに含まれる画像以外の他のすべての画像を９０度回転させた後に所定角度回転させつつ相関値を算出し、相関値が所定値以下となる他の画像を同一の小グループに分類する。この小グループに含まれる画像は、カメラを９０度回転させて同一シーンを撮影することにより得られたものであることから、以下、回転類似画像とし、この小グループを回転類似画像グループと称する。

続いて、平行移動類似画像グループに含まれる上記基準画像に対して、平行移動類似画像グループ、拡縮類似画像グループおよび回転類似画像グループに含まれる画像以外の他のすべての画像の明るさを変更させつつ相関値を算出し、相関値が所定値以下となる他の画像を同一の小グループに分類する。この小グループに含まれる画像は、露出を変更させて同一シーンを撮影することにより得られたものであることから、以下、明るさ類似画像とし、この小グループを明るさ類似画像グループと称する。

続いて、平行移動類似画像グループに含まれる上記基準画像に対して、平行移動類似画像グループ、拡縮類似画像グループ、回転類似画像グループおよび明るさ類似画像グループに含まれる画像以外の他のすべての画像の色味を変更させつつ相関値を算出し、相関値が所定値以下となる他の画像を同一の小グループに分類する。この小グループに含まれる画像は、ホワイトバランスを変更させて同一シーンを撮影することにより得られたものであることから、以下、色味類似画像とし、この小グループを色味類似画像グループと称する。

図９（ａ）〜（ｃ）は第２の実施形態における重要度の設定を説明するための図である。図９（ａ）に示すように、第２の実施形態においては、ある類似画像グループ（Ｇｉとする）に含まれる画像が、平行移動類似画像グループＧ１１、拡縮類似画像グループＧ１２、回転類似画像グループＧ１３、明るさ類似画像グループＧ１４および色味類似画像グループＧ１５に分類されている。なお、平行移動類似画像グループＧ１１には２枚、拡縮類似画像グループＧ１２には８枚、回転類似画像グループＧ１３には３枚、明るさ類似画像グループＧ１４には１枚および色味類似画像グループＧ１５には２枚の画像がそれぞれ分類されているものとする。

ここで、撮影の際には重要なシーンは撮影に失敗すると取り返しがつかないために撮影回数が多くなることから、類似する画像が多くなる。このため、重要度設定部３２は、各類似画像グループＧ１１〜Ｇ１５に含まれる画像の数に比例して類似画像グループＧｉに含まれるすべての画像に対して重要度設定のための評価点を付与する。なお、画像が１枚のみしか含まれないグループは評価点を０点とする。例えば、平行移動類似画像グループＧ１１に分類された画像には２点、拡縮類似画像グループＧ１２に分類された画像には８点、回転類似画像グループＧ１３に分類された画像には３点、明るさ類似画像グループＧ１４に分類された画像には０点、色味類似画像グループＧ１５に分類された画像には２点の評価点をそれぞれ付与する（図９（ｂ）参照）。

次いで、重要度設定部３２は、類似画像グループＧｉを小グループに分類した際に考慮したパラメータの種類に応じて各類似画像グループに分類された画像に評価点を加減算する。この際、各類似画像グループにおいては類似の度合いに応じて異なる評価点を加減算する。例えば、拡縮類似画像グループＧ１２においては、基準画像に対して拡大率が大きいものほど高い点数を加算する。また、明るさ類似画像グループＧ１４においては、基準画像を含めて明るさの平均値を算出し、平均値より明るい画像および暗い画像については負の評価点を加算すなわち評価点を減算する。また、色味類似画像グループＧ１５においては、基準画像を含めて色温度の平均値を算出し、平均値より色温度が高い画像および低い画像については負の評価点を加算すなわち評価点を減算する。

例えば、平行移動類似画像グループＧ１１に分類された画像には１点、拡縮類似画像グループＧ１２に分類された画像には２〜５点、回転類似画像グループＧ１３に分類された画像には３点、明るさ類似画像グループＧ１４に分類された画像には−５点、色味類似画像グループＧ１５に分類された画像には０点および−２点の評価点をそれぞれ付与する（図９（ｃ）参照）。これにより、各画像に重要度が設定される。なお、パラメータに応じた評価値は、いずれのパラメータを重要視するかに応じてあらかじめ設定しておけばよいものである。

表示制御部２８は画像一覧画面を表示する。図１０は第２の実施形態における画像一覧画面を示す図である。図１０に示すように第２の実施形態における画像一覧画面は、図６に示す画像一覧画面４０のフォルダフィールド４０Ａおよび一覧表示フィールド４０Ｂに対応するフォルダフィールド４２Ａおよび一覧表示フィールド４２Ｂに加えて、ユーザが選択したフォルダに保存された画像のうち、重要度が上位所定数の画像を代表画像として表示する代表画像表示フィールド４２Ｃが表示される。なお、図１０においては代表画像表示フィールド４２Ｃに３つの代表画像が表示されている。なお、代表画像表示フィールド４２Ｃには、代表画像がユーザにプリントを勧める画像であることを示す「おすすめ」の文字が付与されている。

なお、表示制御部２８は、図１１に示すように、一覧表示フィールド４２Ｂに表示されたサムネイル画像の一覧において各サムネイル画像の下方に評価点を表示するようにしてもよい。これにより、ユーザは選択したフォルダに保存されている画像の評価点を認識することができる。なお、図１１においては代表画像表示フィールド４２Ｃを表示していないが、これを表示するようにしてもよいことはもちろんである。

次いで、第２の実施形態において行われる処理について説明する。図１２は第２の実施形態において行われる処理を示すフローチャートである。なお、画像データはメモリカード２から読み出されてハードディスク２４のユーザが所望するフォルダに保存されているものとする。ビューアソフトを起動し、分類の指示をユーザが入力部１６から行うことにより処理が開始され、画像分類部３０が上述したように画像データを階層化して複数のカテゴリに分類する（ステップＳＴ１１）。

そして、重要度設定部３２が類似画像同士をグルーピングし（ステップＳＴ１２）、カテゴリの重要度を設定する（ステップＳＴ１３）。さらに、重要度設定部３２は、類似画像グループをさらに小グループに分類して、上述したように各類似画像グループに分類された画像の重要度を設定する（ステップＳＴ１４）。そして、表示制御部２８がカテゴリに設定された重要度および画像に設定された重要度を視認可能にして画像一覧画面４２を表示部１８に表示し（ステップＳＴ１５）、処理を終了する。なお、第２の実施形態において、画像に設定された重要度を視認可能に表示するとは、上記図１０に示すように代表画像表示フィールド４２Ｃに代表画像を表示すること、および一覧表示フィールド４２Ｂに表示されたサムネイル画像の下方に重要度を表示することの双方を意味する。

このように、第２の実施形態においては、類似画像グループに含まれる画像における類似の種類、類似の種類に応じた類似する画像の数および類似度合いの情報に基づいて各類似画像グループに含まれる画像の重要度をさらに設定しているため、どのカテゴリが重要かのみならず、カテゴリに含まれるどの画像が重要であるかも分かることとなる。

なお、上記第２の実施形態においては、類似画像グループに含まれる画像における類似の種類、類似の種類に応じた類似する画像の数および類似度合いの情報に基づいて各類似画像グループに含まれる画像の重要度を設定しているが、類似画像グループに含まれる画像における類似の種類、類似の種類に応じた類似する画像の数および類似度合いの情報の少なくとも１つを用いて各類似画像グループに含まれる画像の重要度を設定してもよい。

また、上記第２の実施形態においては、さらに画像のボケの程度、画像に含まれる人物の表情、および含まれる人物の種類等の情報を用いて、さらに細かく重要度を設定するようにしてもよい。

また、上記第２の実施形態においては、ユーザが選択したフォルダに含まれる画像において上位所定数の画像を代表画像として選択しているが、ユーザがフォルダを選択する前に、最も重要度が高いカテゴリから代表画像を選択して代表画像表示フィールド４２Ｃに表示するようにしてもよい。また、重要度に応じてカテゴリをソートした際の上位数個（例えば３つ）のカテゴリからそれぞれ１つずつ代表画像を選択して代表画像表示フィールド４２Ｃに表示するようにしてもよい。

また、上記第１および第２の実施形態においては、各カテゴリに重要度を設定しているが、例えば他の手法を用いてあるいはユーザがマニュアル操作により、各カテゴリにすでに重要度を設定している場合がある。このような場合、本実施形態により設定した重要度を、あらかじめ設定された重要度に加算することにより、各カテゴリの重要度を新たに設定するようにすればよい。

また、上記第１および第２の実施形態においては、撮影日時の間隔に基づいて画像を複数のカテゴリに階層化して分類しているが、例えば撮影場所の緯度および経度を表すＧＰＳ情報を取得可能なカメラを用いて撮影を行った場合には、画像にはＧＰＳ情報が付与される。このような場合、ＧＰＳ情報を用いて撮影場所毎に画像を階層化して分類してもよい。

また、特許文献２に記載されたような、ユーザのスケジュールを表すスケジュール情報を参照して、画像をユーザのスケジュールに応じたカテゴリに分類する手法、特許文献３に記載されたような、複数の画像から特徴量を算出し、画像の特徴量間の関連性に基づいて画像を複数のカテゴリに分類する手法を用いて画像を分類してもよい。

さらに、ユーザがマニュアル操作により自分の好みに応じて画像を分類してもよいことはもちろんである。

以上、本発明の第１および第２の実施形態に係る装置について説明したが、コンピュータを、上記の重要度設定部３２に対応する手段として機能させ、図８および図１２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による重要度設定装置の構成を示す概略ブロック図 ユーザのフランス旅行のある１日のタイムテーブルを示す図 フランス旅行の時間軸と画像数との関係を示す図 分類後のフォルダ構造を示す図 類似する画像同士のグルーピング結果を示す図 第１の実施形態における画像一覧画面を示す図（その１） 第１の実施形態における画像一覧画面を示す図（その２） 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態における重要度の設定を説明するための図 第２の実施形態における画像一覧画面を示す図（その１） 第２の実施形態における画像一覧画面を示す図（その２） 第２の実施形態において行われる処理を示すフローチャート

符号の説明

１ 重要度設定装置
２ メモリカード
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
１８ 表示部
２０ カードスロット
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ 画像分類部
３２ 重要度設定部
４０，４２ 画像一覧画面

Claims (6)

1. 複数の画像を複数のカテゴリに分類することにより得られた各カテゴリ毎に、類似する画像同士をグルーピングして類似画像グループを生成するグルーピング手段と、
   前記各カテゴリにおける前記類似画像グループの数および／または前記類似画像グループに含まれる画像の数に応じて、前記各カテゴリの重要度を設定し、前記類似画像グループに含まれる画像における類似の種類、該類似の種類に応じた類似する画像の数および類似度合いの少なくとも１つの情報に基づいて、前記類似画像グループに含まれる画像の重要度を設定する設定手段とを備えたことを特徴とする重要度設定装置。
2. 各種表示を行う表示手段と、
   前記各カテゴリの重要度を視認可能に前記表示手段に表示する表示制御手段をさらに備えたことを特徴とする請求項１記載の重要度設定装置。
3. 各種表示を行う表示手段と、
   前記各カテゴリの重要度および前記画像の重要度を視認可能に前記表示手段に表示する表示制御手段とをさらに備えたことを特徴とする請求項１記載の重要度設定装置。
4. 前記設定手段は、前記重要度が上位所定数の画像を前記複数の画像の代表画像として選択する手段であり、
   前記表示制御手段は、前記代表画像を前記表示手段に表示する手段であることを特徴とする請求項３記載の重要度設定装置。
5. 複数の画像を複数のカテゴリに分類することにより得られた各カテゴリ毎に、類似する画像同士をグルーピングして類似画像グループを生成し、
   前記各カテゴリにおける前記類似画像グループの数および／または前記類似画像グループに含まれる画像の数に応じて、前記各カテゴリの重要度を設定し、
   前記類似画像グループに含まれる画像における類似の種類、該類似の種類に応じた類似する画像の数および類似度合いの少なくとも１つの情報に基づいて、前記類似画像グループに含まれる画像の重要度を設定することを特徴とする重要度設定方法。
6. 複数の画像を複数のカテゴリに分類することにより得られた各カテゴリ毎に、類似する画像同士をグルーピングして類似画像グループを生成する手順と、
   前記各カテゴリにおける前記類似画像グループの数および／または前記類似画像グループに含まれる画像の数に応じて、前記各カテゴリの重要度を設定する手順と、
   前記類似画像グループに含まれる画像における類似の種類、該類似の種類に応じた類似する画像の数および類似度合いの少なくとも１つの情報に基づいて、前記類似画像グループに含まれる画像の重要度を設定する手順とを有することを特徴とする重要度設定方法をコンピュータに実行させるためのプログラム。

Images