JP4717663B2 - カテゴリ異常度設定装置および方法並びにプログラム - Google Patents

Description

本発明は、複数の画像を分類することにより得られた複数のカテゴリのそれぞれに対して、異常度を設定するカテゴリ異常度設定装置および方法並びにカテゴリ異常度設定方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラおよびスキャナの普及により、誰もが手軽にデジタルの画像を取得することが可能となっている。また、画像をパソコンに取り込んで整理することも行われている。この場合、画像の整理は、ユーザに起こったイベント毎に画像を分類して行うことが多い。例えば、ヨーロッパ旅行へ出かけた場合には、フランス、イギリス、スペイン等のように取得した画像を国毎のカテゴリに分類し、さらにフランスのカテゴリに分類された画像については、パリおよびニース等の出かけた場所毎にさらに細かいカテゴリに画像を分類する。また、パリに分類された画像については、エッフェル塔、凱旋門およびノートルダム寺院等のさらに細かいカテゴリに画像を分類する。さらには、ノートルダム寺院については、寺院の前、離れた場所および寺院の中等のさらに細かいカテゴリに画像を分類することもある。

このように画像を階層化して複数のカテゴリに分類しておけば、後で画像を参照する際にイベント毎に分けられた画像を参照できるため、画像の整理を容易に行うことができる。

その一方で、画像を階層化して分類する作業は、画像を見ながら、さらにはユーザの記憶をたどりながら行う必要があるため、ユーザにとって非常に煩わしい作業となっている。

このため、画像を自動で分類するための各種手法が提案されている。例えば、画像に付与された撮影日時を表す情報に基づいて画像を時間軸上に配置し、撮影時間が隣接する２つの画像についての撮影時間差をしきい値と比較して画像をあらかじめ定めたｋ個のカテゴリに分類する方法が提案されている（ｋ平均クラスタリングの手法、特許文献１参照）。また、画像に関係づけられた撮影日時情報を基に保存された画像の数を所定の期間毎に集計して画像の撮影頻度を求め、この撮影頻度から得られる所定の期間内に撮影された画像数の大小を所定のしきい値から判断して、複数の画像をイベント毎の複数のカテゴリに分類する手法も提案されている（特許文献２参照）。また、ユーザのスケジュールを表すスケジュール情報を参照して、画像をユーザのスケジュールに応じたカテゴリに分類する手法も提案されている（特許文献３参照）。さらに、画像が撮影された場所の位置情報を用いて、基準となる場所と画像の撮影場所との間の距離を算出し、撮影時間に応じて画像を分類する際のしきい値を距離に応じて変更して画像を分類する手法も提案されている（特許文献４参照）。

さらに、各カテゴリに含まれる画像数、該各カテゴリの上位の階層のカテゴリに含まれる画像数、該各カテゴリに関連するカテゴリの数、該各カテゴリの下位の階層数、および最上位の階層から該各カテゴリまでの階層数等のカテゴリの特性を用いてカテゴリに分類された画像の重要度を算出する手法が提案されている（特許文献５）。
特開２０００−１１２９９７号公報 特開２００３−１４１１３０号公報 特開２００３−２９８９９１号公報 特開２００５−１７４０６０号公報 特願２００４−３６０８７０号

しかしながら、上述したように画像を分類した場合、各カテゴリに分類された画像数等と撮影時間等の関係により、撮影時における撮影行動が不自然となってしまう場合がある。例えば、画像数が非常に多いのにそれが非常に短い撮影間隔にて撮影されていたり、逆に画像数が非常に少ないのにそれが非常に長い撮影間隔にて撮影されていたりする場合が撮影行動が不自然である場合に相当する。これは例えば、同時刻に複数のカメラにより取得された画像を同一のフォルダに保存したり、撮影後に画像をある程度削除してしまった場合に生じる。また、デジタルカメラにより撮影を行う場合には失敗した場合に備えて同じシーンを複数回撮影することが多いため、画像数が多いほど互いに類似する画像のグループの数が多くなることが自然であるが、類似する画像のグループの数が画像数に比して非常に少なくなる場合のように、画像の分類に失敗してしまっているような場合がある。

このように、撮影行動が不自然であったり、画像の分類に失敗することにより、カテゴリにおける画像の分類状態が正常な状態でないような場合に、特許文献５に記載されているように、階層数等のカテゴリの特性を用いてカテゴリに分類された画像の重要度を算出しても、その重要度は真の重要度とは言えないものとなってしまう。

本発明は上記事情に鑑みなされたものであり、複数の画像を分類することにより得られる複数のカテゴリについて、画像の分類の状態が正常であるか否かを容易に判断できるようにすることを目的とする。

複数の画像を複数のカテゴリに分類した場合、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの総撮影時間との関係、あるいはこれらと類似画像存在率との関係は、画像の分類状態が正常であるか否かに応じて統計的にある規則を持って分布することが本出願人の調査により分かった。本発明はこれに着目してなされたものである。

すなわち、本発明によるカテゴリ異常度設定装置は、複数の画像を分類することにより得られた複数のカテゴリのそれぞれについて、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの総撮影時間および／または類似画像存在率との関係における異常度の統計的な分布を参照して、前記各カテゴリの異常度を算出するカテゴリ異常度算出手段を備えたことを特徴とするものである。

「カテゴリの異常度」とは、撮影行動が不自然であることの程度またはカテゴリにおける画像の分類に失敗している程度を表すものである。具体的には、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの総撮影時間との関係を規定する２次元座標上における異常度の統計的な分布を参照することにより、撮影行動が不自然であることの程度を異常度として求めることができる。また、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの類似画像存在率との関係を規定する２次元座標上における異常度の統計的な分布を参照することにより、画像の分類に失敗している程度を異常度として求めることができる。

なお、「カテゴリの異常度」としては、撮影行動が不自然であることの程度を表す異常度と、画像の分類に失敗している程度を表す異常度のいずれか一方を用いても、双方を用いてもよい。

ここで、「統計的」とは、上記関係を算出する際に、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの総撮影時間および／または類似画像存在率との関係をいくつかの仮説に基づいて演繹的に求めるのではなく、多数のサンプル画像の中から選択された好ましいとされる画像を正解データとして、帰納的に求めることを意味する。なお、正解データはどのように選択してもよいが、被験者が実際に選択した正解データを用いることが好ましい。また、関係を求めるためのサンプル画像数はより多いことが好ましい。

「類似画像を考慮した画像数」とは、カテゴリに分類された画像のうち、類似する画像が全く存在しない画像の枚数をＭ０、互いに類似する画像を１つにまとめた場合のグループ（類似グループとする）数をＭ１、重み係数をγ０とした場合における下記の式により算出される値である。

類似画像を考慮した画像数＝Ｍ０＋γ０×Ｍ１
ここで、重み係数γ０は０以上類似画像数以下の値をとり、γ０＝１のとき、互いに類似する複数の画像については１枚の画像と見なした場合における各カテゴリの画像数となる。具体的には、あるカテゴリに画像が１０枚分類されており、そのうちの５枚が類似画像である場合、類似画像は１枚の画像であると見なすことから、そのカテゴリについての類似画像を考慮した画像数は６枚となる。一方、γ０＝１．２のときは、類似画像は１．２枚の画像であると見なすことになるため、あるカテゴリに画像が１０枚分類されており、そのうちの５枚が類似画像である場合、類似画像を考慮した画像数は６．２枚となる。

「関連するカテゴリ」とは、例えばカテゴリを階層化して分類した場合における上位カテゴリおよび／または下位カテゴリのことを意味する。

「カテゴリの総撮影時間」とは、カテゴリに分類された画像を撮影時間順に並べた場合における、最も古い画像の撮影時間と最も新しい画像の撮影時間との差である。

「類似画像存在率」とは、カテゴリの総画像数をＮ０、類似画像を考慮した画像数をＮ１とした場合における下記の式により算出される値である。

類似画像存在率＝（Ｎ０−Ｎ１）／Ｎ０
なお、本発明によるカテゴリ異常度設定装置においては、前記カテゴリ異常度算出手段を、さらに前記異常度を所定のしきい値と比較することにより、前記各カテゴリを正常カテゴリまたは異常カテゴリに分類する手段としてもよい。

この場合、前記複数のカテゴリが階層化されてなる場合において、最上位階層のカテゴリについては該カテゴリの特性に基づいてカテゴリ重要度を算出し、該最上位層以外の下位カテゴリについては、上位カテゴリが正常カテゴリの場合は該下位カテゴリの特性に基づいてカテゴリ重要度を算出し、前記上位カテゴリが異常カテゴリの場合は、あらかじめ定められた所定値をカテゴリ重要度とするカテゴリ重要度算出手段をさらに備えるようにしてもよい。

カテゴリの特性に基づいてカテゴリの重要度を算出するには、例えば上記特許文献５に記載の手法を用いることができる。具体的には、各カテゴリに含まれる画像数、該各カテゴリの上位の階層のカテゴリに含まれる画像数、該各カテゴリに関連するカテゴリの数、各カテゴリの下位の階層数、および最上位の階層から各カテゴリまでの階層数等のカテゴリの特性を用いてカテゴリに分類された画像の重要度を算出する手法を用いることができる。

また、本発明によるカテゴリ異常度設定装置においては、前記各カテゴリの異常度に対する確信度を統計的に算出する確信度算出手段と、
前記各カテゴリの特性に基づいて前記各カテゴリのカテゴリ重要度を算出するカテゴリ重要度算出手段と、
前記カテゴリ重要度を前記確信度とともに出力する出力手段とをさらに備えるようにしてもよい。

「カテゴリの異常度に対する確信度」とは、そのカテゴリの分類結果がどの程度信頼できるかを表す指標である。具体的には、異常度が高ければそのカテゴリの分類結果は信頼できないものとなることから、統計的に求めた異常度と確信度との関係を参照することにより、異常度に対する確信度を算出することができる。

本発明によるカテゴリ異常度設定方法は、複数の画像を分類することにより得られた複数のカテゴリのそれぞれについて、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの総撮影時間および／または類似画像存在率との関係における異常度の統計的な分布を参照して、前記各カテゴリの異常度を算出することを特徴とするものである。

なお、本発明によるカテゴリ異常度設定方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの総撮影時間および／または類似画像存在率との関係における異常度の統計的な分布を参照して各カテゴリの異常度を算出するようにしたため、カテゴリについて画像の分類の状態が正常であるか否かを容易に判断できることとなる。

また、異常度を所定のしきい値と比較してカテゴリを正常カテゴリまたは異常カテゴリに分類することにより、カテゴリについて画像の分類の状態が正常であるか否かをより容易に判断できることとなる。

また、複数のカテゴリが階層化されてなる場合において、最上位のカテゴリについてはカテゴリの特性に基づいてカテゴリ重要度を算出し、最上位層以外の下位カテゴリについては、上位カテゴリが正常カテゴリの場合は下位カテゴリの特性に基づいてカテゴリ重要度を算出し、上位カテゴリが異常カテゴリの場合は、あらかじめ定められた所定値をカテゴリ重要度とすることにより、カテゴリについて画像の分類の状態を反映させて、カテゴリの重要度を算出することができる。

また、カテゴリの異常度に対する確信度を統計的に算出し、カテゴリの特性に基づいてカテゴリ重要度を算出し、これを確信度とともに出力することにより、算出したカテゴリの重要度がどの程度信頼が置けるものかを容易に知ることができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態によるカテゴリ異常度設定装置を適用した重要度設定装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による重要度設定装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。

また、重要度設定装置１は、画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム、および後述する重みづけテーブル等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６とを備える。

また、重要度設定装置１は、ハードディスク２４におけるユーザが所望するフォルダに保存された画像を複数のカテゴリに分類する画像分類部２８と、各カテゴリの重要度を算出するカテゴリ重要度算出部３０と、各カテゴリに分類された画像の重要度を算出する画像重要度算出部３２とを備える。また、重要度設定装置１は、表示部１８の表示を制御する表示制御部３４を備える。さらに、重要度設定装置１は、各カテゴリの分類状態の異常度を算出するカテゴリ異常度算出部３６を備える。

以下、第１の実施形態における画像分類部２８、カテゴリ重要度算出部３０、画像重要度算出部３２およびカテゴリ異常度算出部３６が行う処理について説明する。図２および図３は第１の実施形態において行われる処理を示すフローチャートである。なお、画像データはメモリカード２から読み出されてハードディスク２４のユーザが所望するフォルダに保存されているものとする。重要度設定の指示をユーザが入力部１６から行うことによりＣＰＵ１２が処理を開始し、画像分類部２８が画像を複数のカテゴリに分類する（ステップＳＴ１）。

具体的には、画像分類部２８は、画像のタグ情報に記述された撮影日時を表す撮影日時情報に基づいて、画像を撮影日毎に分類するとともに、分類した画像についてさらに撮影時間差を所定のしきい値と比較し、しきい値を超える撮影時間差となる２つの画像の間をカテゴリの区切り位置として分類を行うことにより、複数の画像を階層化して複数のカテゴリに分類する。

次いで、カテゴリ異常度算出部３６が、画像分類部２８による分類結果を用いて、処理対象のカテゴリを最上位階層における撮影日時が最も古い画像が分類された最初のカテゴリに設定し（ステップＳＴ２）、処理対象となるカテゴリの異常度を算出する（ステップＳＴ３）。本実施形態においては、カテゴリ異常度算出部３６は、処理対象のカテゴリについて、カテゴリに含まれる画像数とカテゴリの総撮影時間との関係、およびカテゴリに含まれる画像数と類似画像存在率との関係における異常度の統計的な分布を用いてカテゴリの異常度を算出する。以下、異常度の算出について説明する。

まず、カテゴリ異常度算出部３６は処理対象のカテゴリの類似画像を考慮した画像数を算出する。このため、カテゴリ異常度算出部３６は、類似画像判定処理を行う。類似判定処理は、すべての画像について総当たりで画像の相関値を算出し、相関値が所定のしきい値を超える場合に相関値を算出した画像同士が類似すると判定する処理とするが、公知の任意の手法を用いることができる。そして、互いに類似する複数の画像を類似画像として、類似画像を考慮した画像数を算出する。

図４は類似画像を考慮した画像数の算出を説明するための図である。図４に示すように、処理対象のカテゴリに１０枚の画像が分類されており、撮影日時順に１０枚の画像Ｓ１〜Ｓ１０を並べた場合において、１〜３枚目の画像Ｓ１〜Ｓ３が互いに類似しており、４，５枚目の画像Ｓ４，Ｓ５が互いに類似しており、６〜１０枚目の画像Ｓ６〜Ｓ１０が類似していないとする。この場合、類似する画像が全く存在しない画像の枚数Ｍ０＝５、互いに類似する画像を１つにまとめた場合のグループ（類似グループとする）数Ｍ１＝２となる。カテゴリ重要度算出部３０は、Ｍ０，Ｍ１の値を用いて、下記の式（１）により類似画像を考慮した画像数を算出する。

類似画像を考慮した画像数＝Ｍ０＋γ０×Ｍ１ （１）
ここで、γ０は０以上類似画像数以下の値をとる重み係数であり、γ０＝１のとき、互いに類似する複数の画像については１枚の画像と見なした場合における各カテゴリの画像数となる。具体的には、Ｍ０＝５，Ｍ１＝２のとき、そのカテゴリについての類似画像を考慮した画像数は７枚となる。一方、γ０＝１．２のときは、類似画像は１．２枚の画像であると見なすことから、そのカテゴリについての類似画像を考慮した画像数は７．４枚となる。

そして、カテゴリ異常度算出部３６は、カテゴリにおける類似画像存在率を算出する。カテゴリにおける類似画像存在率は、カテゴリの総画像数をＮ０、類似画像を考慮した画像数をＮ１とした場合に下記の式（２）により算出する。

類似画像存在率＝（Ｎ０−Ｎ１）／Ｎ０ （２）
例えば、図４に示すように分類された画像については、上記式（１）においてγ０＝１とした場合、類似画像存在率は、（１０−７）／１０＝０．３となる。

また、カテゴリ異常度算出部３６は、カテゴリの総撮影時間を算出する。カテゴリの総撮影時間は、カテゴリに分類された複数の画像についての、最も古い画像の撮影時間と最も新しい画像の撮影時間との差を算出することにより求める。具体的には、図４に示すように分類された画像については、画像Ｓ１の撮影時間と画像Ｓ１０の撮影時間との差を算出することにより、カテゴリの総撮影時間を算出する。なお、撮影時間は画像のタグ情報に記述された撮影日時情報により表される撮影時間を用いればよい。

次いで、カテゴリ異常度算出部３６は、画像数とカテゴリの総撮影時間との関係を規定する２次元座標上における異常度の統計的な分布Ｂ１、および画像数と類似画像存在率との関係を規定する２次元座標上における異常度の統計的な分布Ｂ２を参照して、カテゴリ異常度を算出する。図５（ａ），（ｂ）は、画像数とカテゴリの総撮影時間との関係を規定する２次元座標上における異常度の統計的な分布Ｂ１、および画像数と類似画像存在率との関係を規定する２次元座標上における異常度の統計的な分布Ｂ２を示す図である。

なお、分布Ｂ１は、画像数および総撮影時間について各種値を有し、かつ画像を得た際の撮影行動の状態の異常度があらかじめ０以上１以下の数値として分かっている多数のサンプルとなるカテゴリについて、横軸を画像数、縦軸を総撮影時間とする２次元座標に異常度の数値をプロットすることにより得られるものである。具体的には、分布Ｂ１の場合、ｘ軸を画像数、ｙ軸を総撮影時間とする２次元座標において、ｙ＝ｘとなる関数を中心とする所定範囲の領域Ａ１においては異常度＝０の値となり、領域Ａ１から離れるほど異常度の値が増加するように異常度が分布するものとなる。

また、分布Ｂ２の場合、画像数および類似画像存在率について各種値を有し、かつ画像の分類に失敗している程度があらかじめ０以上１以下の数値として分かっている多数のサンプルとなるカテゴリについて、横軸を画像数、縦軸を類似画像存在率とする２次元座標に異常度の数値をプロットすることにより得られるものである。具体的には、ｘ軸を画像数、ｙ軸を総撮影時間とする２次元座標において、ｙ＝ａ１ｘ＋ｂ１となる関数を設定した場合に、ｙ≧ａ１ｘ＋ｂ１となる領域Ａ２においては異常度＝０の値となり、ｙ＜ａ１ｘ＋ｂ１となる領域Ａ３においてはｙの値が小さくなるほど異常度の値が増加するように異常度が分布するものとなる。

なお、分布Ｂ１，Ｂ２はテーブルとしてハードディスク２４に保存されているものである。

カテゴリ異常度算出部３６は、分布Ｂ１，Ｂ２を参照して、まず、第１の異常度Ｈ１および第２の異常度Ｈ２を算出する。そして、第１の異常度Ｈ１および第２の異常度Ｈ２から、下記の式（３）を用いて対象となるカテゴリの異常度Ｈ０を算出する。

Ｈ０＝１−（１−Ａ１）×（１−Ａ２） （３）
続いて、カテゴリ異常度算出部３６は、算出した異常度Ｈ０がしきい値Ｔｈ１以上である場合に、対象となるカテゴリを異常カテゴリ、しきい値Ｔｈ１未満である場合に正常カテゴリに分類する（ステップＳＴ４）。

次いで、カテゴリ重要度算出部３０が、処理対象のカテゴリが最上位階層のカテゴリであるか否かを判定し（ステップＳＴ５）、ステップＳＴ５が肯定されると、処理対象のカテゴリの特徴量を算出する（ステップＳＴ６）。本実施形態においては、カテゴリ重要度算出部３０は、処理対象のカテゴリについて、カテゴリに含まれる類似画像を考慮した画像数、各カテゴリの総撮影時間、各カテゴリにおける類似画像存在率、各カテゴリにおける人物画像存在率、およびカテゴリに含まれる画像の平均顔数を５つの特徴量として算出する。以下、特徴量の算出について説明する。

まず、カテゴリ重要度算出部３０は処理対象のカテゴリの類似画像を考慮した画像数を第１の特徴量Ｔ１として算出する。この場合、類似画像を考慮した画像数を改めて算出する必要はなく、カテゴリ異常度算出部３６が算出した、類似画像を考慮した画像数をそのまま第１の特徴量Ｔ１として用いてもよい。

また、カテゴリ重要度算出部３０は、カテゴリの総撮影時間を第２の特徴量Ｔ２として算出する。この場合、総撮影時間を改めて算出する必要はなく、カテゴリ異常度算出部３６が算出した総撮影時間をそのまま第２の特徴量Ｔ２として用いてもよい。

また、カテゴリ重要度算出部３０は、カテゴリにおける類似画像存在率を第３の特徴量Ｔ３として算出する。この場合、類似画像存在率を改めて算出する必要はなく、カテゴリ異常度算出部３６が算出した総撮影時間をそのまま第３の特徴量Ｔ３として用いてもよい。

また、カテゴリ重要度算出部３０は、人物画像存在率を第４の特徴量Ｔ４として算出する。人物画像存在率は、カテゴリに分類された画像のうち、人物を含む画像数をカテゴリの総画像数により除算することにより算出する。なお、画像が人物を含むか否かの判断は、画像に人物の顔を含むか否かを判断することにより行えばよい。例えば、図４に示すように分類された画像において、画像Ｓ１〜Ｓ８が人物を含み、画像Ｓ９，Ｓ１０が人物を含まないとすると、人物画像存在率は０．８となる。ここで、顔を含むか否かの判断は、画像に顔形状を有する肌色領域が含まれるか否かを判断する等、公知の任意の手法を用いることができる。

また、カテゴリ重要度算出部３０は、カテゴリに含まれる画像の平均顔数を第５の特徴量Ｔ５として算出する。カテゴリに含まれる画像の平均顔数は、カテゴリに分類された画像に含まれる人物の顔の数の総数を算出し、算出した人物の顔の総数をカテゴリの総画像数により除算することにより算出する。例えば、図４に示すように分類された画像において、画像Ｓ１〜Ｓ３には２つの人物の顔が、画像Ｓ４，Ｓ５には３つの人物の顔が、画像Ｓ６〜Ｓ８には１つの人物の顔が、画像Ｓ９，Ｓ１０には人物の顔が含まれなかったとすると、顔の総数は６＋６＋３＝１５となることから、平均顔数は１．５個となる。

次いで、カテゴリ重要度算出部３０は、算出した特徴量Ｔ１〜Ｔ５に基づいて、カテゴリの重要度であるカテゴリ重要度を統計的に算出する（ステップＳＴ７）。以下、カテゴリ重要度の算出について説明する。

本実施形態においては、ハードディスク２４に、特徴量Ｔ１〜Ｔ５と各特徴量Ｔ１〜Ｔ５についての個別の重要度との関係を規定した重みづけテーブルが記録されている。重みづけテーブルは、特徴量Ｔ１〜Ｔ５について各種値を有する多数のサンプル画像から、複数の被験者に好ましいと思う画像を選択させた場合における、特徴量Ｔ１〜Ｔ５と選択した画像の数との関係を、２次元座標上において画像数の最大値を所定値に規格化することにより規定したものである。

図６は類似画像を考慮した画像数についての重要度を求めるための第１の重みづけテーブルを示す図、図７は総撮影時間についての重要度を求めるための第２の重みづけテーブルを示す図、図８は類似画像存在率についての重要度を求めるための第３の重みづけテーブルを示す図、図９は人物画像存在率についての重要度を求めるための第４の重みづけテーブルを示す図、図１０は平均顔数についての重要度を求めるための第５の重みづけテーブルを示す図である。

図６に示す第１の重みづけテーブルＬＵＴ１は特徴量Ｔ１と重要度Ｊ１との関係を表し、図７に示す第２の重みづけテーブルＬＵＴ２は特徴量Ｔ２と重要度Ｊ２との関係を表し、図８に示す第３の重みづけテーブルＬＵＴ３は特徴量Ｔ３と重要度Ｊ３との関係を表し、図９に示す第４の重みづけテーブルＬＵＴ４は特徴量Ｔ４と重要度Ｊ４との関係を表し、図１０に示す第５の重みづけテーブルＬＵＴ５は特徴量Ｔ５と重要度Ｊ５との関係を表す。

カテゴリ重要度算出部３０は、第１〜第５の重みづけテーブルＬＵＴ１〜ＬＵＴ５を参照して、特徴量Ｔ１〜Ｔ５についての重要度Ｊ１〜Ｊ５を算出する。

なお、図６および図７に示す第１および第２の重みづけテーブルＬＵＴ１，ＬＵＴ２については、横軸のみ対数軸とすることにより重要度Ｊ１，Ｊ２を精度良く求めることができる。

さらに、カテゴリ重要度算出部３０は、算出した重要度Ｊ１〜Ｊ５を下記の式（４）に示すように重み係数ａ１〜ａ６を用いて重みづけ演算することにより、処理対象のカテゴリのカテゴリ重要度Ｊ０を算出する。

Ｊ０＝ａ１×Ｊ１＋ａ２×Ｊ２＋ａ３×Ｊ３＋ａ４×Ｊ４
＋ａ５×Ｊ５＋ａ６×Ｊ１×Ｊ２×Ｊ３×Ｊ４×Ｊ５ （４）
なお、重み係数ａ１〜ａ６は経験的に定めてもよく、重要視する特徴量に応じて定めてもよい。

一方、ステップＳＴ５が否定された場合には、カテゴリ重要度算出部３０は、処理対象のカテゴリの上位階層のカテゴリが正常カテゴリであるか否かを判断する（ステップＳＴ８）。ステップＳＴ８が肯定された場合はステップＳＴ６に進み、上記式（４）にしたがってカテゴリ重要度Ｊ０を算出する。ステップＳＴ８が否定された場合、上位階層のカテゴリの画像の分類の状態は正常ではないことから、式（４）にしたがってカテゴリ重要度を算出しても、実際のカテゴリ重要度を表さない可能性が非常に高い。このため、あらかじめ定められた所定の値をカテゴリ重要度Ｊ０に設定する（ステップＳＴ９）。

続いて、カテゴリ重要度算出部３０は、すべてのカテゴリの重要度を算出したか否かを判定し（ステップＳＴ１０）、ステップＳＴ１０が否定されると、処理対象のカテゴリを次のカテゴリに設定し（ステップＳＴ１１）、ステップＳＴ３に戻り、ステップＳＴ３以降の処理を繰り返す。

一方、ステップＳＴ１０が肯定されると、画像重要度算出部３２が、最下位階層のカテゴリに分類された個々の画像についての重要度である画像重要度を算出する。以下、画像重要度の算出について説明する。まず、画像重要度算出部３２は処理対象のカテゴリを最下位階層の最初のカテゴリに設定し（ステップＳＴ１２）、処理対象のカテゴリに分類された画像のうち処理対象の画像を最初の画像（例えば撮影日時が最も新しい画像）に設定し（ステップＳＴ１３）、処理対象の画像について、同一のカテゴリにおける類似画像の枚数を算出する（ステップＳＴ１４）。例えば、図４に示すように分類された画像において処理対象の画像を画像Ｓ１とした場合、類似画像の枚数は３枚となる。

そして、画像重要度Ｇ０を下記の式（５）を用いて算出する。

Ｇ０＝αｎ×Ｊ０＋βｎ （５）
ここでｎは対象となる画像の類似画像の枚数、αｎ，βｎは統計的に求めた重み係数である。なお、αｎはカテゴリ重要度Ｊ０に対して重みをつける係数、βｎはカテゴリ重要度Ｊ０に関係なく、類似画像の枚数に応じて重みをつける係数である。本実施形態においては、類似画像の枚数ｎと重み係数αｎ，βｎとの関係を規定した重みづけテーブルがハードディスク２４に保存されており、画像重要度算出部３２は、重みづけテーブルを参照して重み係数αｎ，βｎを求める。

図１１は重み係数αｎおよびβｎを求めるための第６および第７の重みづけテーブルを示す図である。図１１に示す第６の重みづけテーブルＬＵＴ６は類似画像の枚数ｎと重み係数αｎとの関係を表し、第７の重みづけテーブルＬＵＴ７は類似画像の枚数ｎと重み係数βｎとの関係を表す。ここで、αｎについての重みづけテーブルＬＵＴ６は、類似画像の枚数ｎについて各種値を有する多数のサンプル画像から、複数の被験者に好ましいと思う画像を選択させた場合における、類似画像の枚数ｎと選択した画像の数との関係を、２次元座標上において画像数の最大値を所定値に規格化することにより規定したものである。なお、βｎは単調増加する関数となっているが、類似画像の枚数にかかわらず一定値をとるような関数を用いてもよい。

画像重要度算出部３２は、第６および第７の重みづけテーブルＬＵＴ６，ＬＵＴ７を参照して、処理対象の画像の重要度Ｇ０を算出する（ステップＳＴ１５）。

続いて、画像重要度算出部３２は、処理対象のカテゴリのすべての画像について画像重要度Ｇ０を算出したか否かを判定し（ステップＳＴ１６）、ステップＳＴ１６が否定されると処理対象を次の画像に設定し（ステップＳＴ１７）、ステップＳＴ１４に戻り、ステップＳＴ１４以降の処理を繰り返す。

ステップＳＴ１６が肯定されると、最下位階層におけるすべてのカテゴリの画像重要度を算出したか否かを判定し（ステップＳＴ１８）、ステップＳＴ１８が否定されると、処理対象のカテゴリを最下位階層における次のカテゴリに設定し（ステップＳＴ１９）、ステップＳＴ１３に戻り、ステップＳＴ１３以降の処理を繰り返す。ステップＳＴ１８が肯定されると処理を終了する。

このようにカテゴリ重要度Ｊ０および画像重要度Ｇ０を算出した後、表示制御部３４が、カテゴリ重要度算出部３０が設定した重要度Ｊ０を視認可能な画像一覧画面を表示部１８に表示する。図１２は画像一覧画面の例を示す図である。図１２に示すように画像一覧画面４０は、ハードディスク２４に保存されているフォルダ構造を示すフォルダエリア４０Ａ、およびフォルダエリア４０Ａにおいて選択したフォルダに保存されている画像についてのサムネイル画像の一覧を表示する一覧表示エリア４０Ｂが含まれる。

フォルダエリア４０Ａにおいては、上述したように分類されたカテゴリに対応するフォルダの階層構造が表示される。表示制御部３４は、カテゴリ重要度算出部３０が算出した各カテゴリの重要度に応じて、カテゴリに１〜４までの順位を設定する。そして、順位に応じてフォルダを色分けしてフォルダエリア４０Ａにフォルダの階層構造を表示する。例えば、１位のフォルダはピンク色、２位のフォルダはオレンジ色、３位のフォルダは黄色、４位のフォルダは緑色というようにフォルダを色分けする。また、異常カテゴリに対応するフォルダを枠で囲むことにより、そのフォルダが異常カテゴリに対応するものであることが分かるようになっている。

また、フォルダエリア４０Ａにおいて所望とするフォルダを選択することにより、選択したフォルダに分類された画像のサムネイル画像の一覧を一覧表示エリア４０Ｂに表示することができる。一覧表示エリア４０Ｂにおいては、各サムネイル画像の左上部分にその画像の重要度に応じた１〜４までの順位が付与されている。

ここで、図１２に示す重要度に応じて色分けする手法のみならず、図１３に示すように重要度の順位を数値として表示するようにしてもよい。また、カテゴリ重要度または画像重要度に応じたマークやグラフを表示してもよい。

このように、本実施形態によれば、各カテゴリの画像数と、各カテゴリの総撮影時間および類似画像存在率との関係における異常度の統計的な分布を参照して、各カテゴリの異常度を算出するようにしたため、カテゴリについて画像の分類の状態が正常であるか否かを容易に判断できることとなる。

とくに、異常度を所定のしきい値と比較してカテゴリを正常カテゴリおよび異常カテゴリに分類することにより、カテゴリについて画像の分類の状態が正常であるか否かをより容易に判断できることとなる。

また、最上位階層のカテゴリについては、カテゴリに含まれる類似画像を考慮した画像数、各カテゴリの総撮影時間、各カテゴリにおける類似画像存在率、各カテゴリにおける人物画像存在率、およびカテゴリに含まれる画像の平均顔数に基づいてカテゴリ重要度を算出し、最上位層以外のカテゴリについては、上位カテゴリが正常カテゴリの場合は最上位階層と同様にカテゴリ重要度を算出し、上位カテゴリが異常カテゴリの場合は、あらかじめ定められた所定値をカテゴリ重要度とすることにより、カテゴリについて画像の分類の状態を反映させて、カテゴリの重要度を算出することができる。

なお、上記第１の実施形態においては、式（３）により第１および第２の異常度Ｈ１，Ｈ２の双方を用いて異常度Ｈ０を算出しているが、第１および第２の異常度Ｈ１，Ｈ２のいずれか一方のみを用いて異常度Ｈ０を算出してもよい。具体的には、Ｈ０＝（１−Ａ１）またはＨ０＝１−Ａ２により異常度Ｈ０を算出すればよい。

また、上記実施形態においては、カテゴリに含まれる類似画像を考慮した画像数、各カテゴリの総撮影時間、各カテゴリにおける類似画像存在率、各カテゴリにおける人物画像存在率、およびカテゴリに含まれる画像の平均顔数の５つの特徴量Ｔ１〜Ｔ５に基づいてカテゴリ重要度を算出しているが、５つの特徴量Ｔ１〜Ｔ５をすべて用いる必要はなく、特徴量Ｔ１〜Ｔ５のうちの少なくとも１つの特徴量を用いてカテゴリ重要度を算出するようにしてもよい。

また、上記実施形態においては、カテゴリ重要度算出部３０において、カテゴリに含まれる類似画像を考慮した画像数、各カテゴリの総撮影時間、各カテゴリにおける類似画像存在率、各カテゴリにおける人物画像存在率、およびカテゴリに含まれる画像の平均顔数を特徴量Ｔ１〜Ｔ５として算出してカテゴリ重要度Ｊ０を算出しているが、各カテゴリに含まれる画像数、各カテゴリの上位の階層のカテゴリに含まれる画像数、各カテゴリに関連するカテゴリの数、各カテゴリの下位の階層数、および最上位の階層から各カテゴリまでの階層数の少なくとも１つの情報を特徴量として算出して、特徴量を重みづけ加算することにより各カテゴリの重要度を設定するようにしてもよい。また、これらの特徴量と、上述したカテゴリに含まれる類似画像を考慮した画像数、各カテゴリの総撮影時間、各カテゴリにおける類似画像存在率、各カテゴリにおける人物画像存在率、およびカテゴリに含まれる画像の平均顔数の５つの特徴量Ｔ１〜Ｔ５とを組み合わせることにより、カテゴリ重要度を算出するようにしてもよい。

また、上記実施形態においては、画像数とカテゴリの総撮影時間との関係を規定する２次元座標上における異常度の統計的な分布Ｂ１および画像数と類似画像存在率との関係を規定する２次元座標上における異常度の統計的な分布Ｂ２を表すテーブルを用いて異常度を算出しているが、画像数と類似画像を考慮した画像数、関連カテゴリ数および画像を階層化して分類した場合の階層数とは相関がある。このため、横軸を類似画像を考慮した画像数、関連カテゴリ数および画像を階層化して分類した場合の階層数とし、これらのいずれかとカテゴリの総撮影時間との関係を規定する２次元座標上における異常度の統計的な分布、およびこれらのいずれかと類似画像存在率との関係を規定する２次元座標上における異常度の統計的な分布を表すテーブルを用いて異常度を算出してもよい。

次いで、本発明の第２の実施形態について説明する。図１４は本発明の第２の実施形態による重要度設定装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による重要度設定装置１Ａは、カテゴリ異常度算出部３６において、正常カテゴリおよび異常カテゴリの分類を行わないようにするとともに、カテゴリ異常度算出部３６が算出した異常度に基づいて、カテゴリの信頼度を算出する信頼度算出部３８を備えた点が第１の実施形態と異なる。

信頼度算出部３８は、カテゴリ異常度算出部３６が算出した異常度Ｈ０から対象となるカテゴリの信頼度を算出する。具体的には、統計的に算出した異常度と信頼度との関係を表すテーブルを参照して信頼度を算出する。図１５は異常度と信頼度との関係を表すテーブルを示す図である。図１５に示すように、このテーブルにおいては、異常度が高いほど信頼度が低くなるように、異常度から信頼度を算出するものとなっている。なお、本実施形態においては、信頼度は０から１の間の値をとり、値が大きいほどカテゴリにおける画像の分類状態が異常でないことを表すものとなる。

第２の実施形態においては、このようにしてカテゴリの信頼度を算出し、図１６に示すように、画像一覧画面において、フォルダエリア４０Ａに表示されるフォルダに信頼度を表す数値を表示する。これにより、算出したカテゴリの重要度がどの程度信頼が置けるものかを容易に知ることができる。

なお、上記第１および第２の実施形態においては、画像重要度算出部３２において画像重要度を算出する前に、その画像が分類されたカテゴリが正常カテゴリであるか否かを判定し、正常カテゴリである場合には上記式（４）を用いて画像重要度Ｇ０を算出し、異常カテゴリである場合には式（４）においてＪ０＝０として画像重要度Ｇ０を算出してもよい。

以上、本発明の第１および第２の実施形態に係る装置について説明したが、コンピュータを、上記の画像分類部２８、カテゴリ重要度算出部３０、画像重要度算出部３２、およびカテゴリ異常度算出部３６に対応する手段として機能させ、図２および図３に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。

本発明の第１の実施形態による重要度設定装置の構成を示す概略ブロック図 第１の実施形態において行われる処理を示すフローチャート（その１） 第１の実施形態において行われる処理を示すフローチャート（その２） 類似画像を考慮した画像数の算出を説明するための図 画像数とカテゴリの総撮影時間との関係を規定する２次元座標上における異常度の統計的な分布Ｂ１および画像数と類似画像存在率との関係を規定する２次元座標上における異常度の統計的な分布Ｂ２を示す図 類似画像を考慮した画像数についての重要度を求めるための第１の重みづけテーブルを示す図 総撮影時間についての重要度を求めるための第２の重みづけテーブルを示す図 類似画像存在率についての重要度を求めるための第３の重みづけテーブルを示す図 人物画像存在率についての重要度を求めるための第４の重みづけテーブルを示す図 平均顔数についての重要度を求めるための第５の重みづけテーブルを示す図 重み係数αｎおよびβｎを求めるための第６および第７の重みづけテーブルを示す図 画像一覧画面の例を示す図（その１） 画像一覧画面の例を示す図（その２） 本発明の第２の実施形態による重要度設定装置の構成を示す概略ブロック図 異常度と信頼度との関係を表すテーブルを示す図 画像一覧画面の例を示す図（その３）

符号の説明

１，１Ａ 重要度設定装置
２ メモリカード
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
１８ 表示部
２０ カードスロット
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 画像分類部
３０ カテゴリ重要度算出部
３２ 画像重要度算出部
３４ 表示制御部
３６ カテゴリ異常度算出部
３８ 信頼度算出部
４０ 画像一覧画面

Claims (6)

1. 複数の画像を分類することにより得られた複数のカテゴリのそれぞれについて、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの総撮影時間および／または類似画像存在率とを算出し、前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、並びに前記総撮影時間について各種値を有し、かつ撮影行動が不自然であることの程度があらかじめ所定の数値として分かっている多数のサンプルとなるカテゴリについて、横軸を前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、縦軸を前記相撮影時間とする２次元座標に前記所定の数値を第１の異常度の数値としてプロットすることにより得られた、前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれかと前記相撮影時間との関係における第１の異常度の統計的な分布、および／または前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、並びに類似画像存在率について各種値を有し、かつ画像の分類に失敗している程度があらかじめ所定の数値として分かっている多数のサンプルとなるカテゴリについて、横軸を前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、縦軸を前記類似画像存在率とする２次元座標に前記所定の数値を第２の異常度の数値としてプロットすることにより得られた、前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれかと前記類似画像存在率との関係における第２の異常度の統計的な分布を参照して、前記各カテゴリの異常度を算出するカテゴリ異常度算出手段を備えたことを特徴とするカテゴリ異常度設定装置。
2. 前記カテゴリ異常度算出手段は、さらに前記異常度を所定のしきい値と比較することにより、前記各カテゴリを正常カテゴリまたは異常カテゴリに分類する手段であることを特徴とする請求項１記載のカテゴリ異常度設定装置。
3. 前記複数のカテゴリが階層化されてなる場合において、最上位階層のカテゴリについては該カテゴリの特性に基づいてカテゴリ重要度を算出し、該最上位層以外の下位カテゴリについては、上位カテゴリが正常カテゴリの場合は該下位カテゴリの特性に基づいてカテゴリ重要度を算出し、前記上位カテゴリが異常カテゴリの場合は、あらかじめ定められた所定値をカテゴリ重要度とするカテゴリ重要度算出手段をさらに備えたことを特徴とする請求項２記載のカテゴリ異常度設定装置。
4. 前記各カテゴリの異常度に対する確信度を統計的に算出する確信度算出手段と、
   前記各カテゴリの特性に基づいて前記各カテゴリのカテゴリ重要度を算出するカテゴリ重要度算出手段と、
   前記カテゴリ重要度を前記確信度とともに出力する出力手段とをさらに備えたことを特徴とする請求項１記載のカテゴリ異常度設定装置。
5. 複数の画像を分類することにより得られた複数のカテゴリのそれぞれについて、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの総撮影時間および／または類似画像存在率とを算出し、
   前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、並びに前記総撮影時間について各種値を有し、かつ撮影行動が不自然であることの程度があらかじめ所定の数値として分かっている多数のサンプルとなるカテゴリについて、横軸を前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、縦軸を前記相撮影時間とする２次元座標に前記所定の数値を第１の異常度の数値としてプロットすることにより得られた、前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれかと前記相撮影時間との関係における第１の異常度の統計的な分布、および／または前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、並びに類似画像存在率について各種値を有し、かつ画像の分類に失敗している程度があらかじめ所定の数値として分かっている多数のサンプルとなるカテゴリについて、横軸を前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、縦軸を前記類似画像存在率とする２次元座標に前記所定の数値を第２の異常度の数値としてプロットすることにより得られた、前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれかと前記類似画像存在率との関係における第２の異常度の統計的な分布を参照して、前記各カテゴリの異常度を算出することを特徴とするカテゴリ異常度設定方法。
6. 複数の画像を分類することにより得られた複数のカテゴリのそれぞれについて、各カテゴリの画像数、類似画像を考慮した画像数、関連カテゴリの数および階層数のいずれかと、各カテゴリの総撮影時間および／または類似画像存在率とを算出する手順と、
   前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、並びに前記総撮影時間について各種値を有し、かつ撮影行動が不自然であることの程度があらかじめ所定の数値として分かっている多数のサンプルとなるカテゴリについて、横軸を前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、縦軸を前記相撮影時間とする２次元座標に前記所定の数値を第１の異常度の数値としてプロットすることにより得られた、前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれかと前記相撮影時間との関係における第１の異常度の統計的な分布、および／または前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、並びに類似画像存在率について各種値を有し、かつ画像の分類に失敗している程度があらかじめ所定の数値として分かっている多数のサンプルとなるカテゴリについて、横軸を前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれか、縦軸を前記類似画像存在率とする２次元座標に前記所定の数値を第２の異常度の数値としてプロットすることにより得られた、前記カテゴリの画像数、前記類似画像を考慮した画像数、前記関連カテゴリの数および前記階層数のいずれかと前記類似画像存在率との関係における第２の異常度の統計的な分布を参照して、前記各カテゴリの異常度を算出する手順を有することを特徴とするカテゴリ異常度設定方法をコンピュータに実行させるためのプログラム。

Images