JP6437902B2 - 画像抽出システム，画像抽出方法，画像抽出プログラムおよびそのプログラムを格納した記録媒体 - Google Patents

Description

この発明は，画像抽出システム，画像抽出方法，画像抽出プログラムおよびそのプログラムを格納した記録媒体に関する。

気軽に画像を撮影できるようになったことから，ユーザは多数の画像を所有していることが多い。アルバムを作成する場合には，顔の位置，被写体像の明るさ，被写体像のブレ量などの画像特徴量から，アルバムに貼付する画像が選択されることがある(特許文献１)。画像内に複数の被写体の種類と位置とを認識できるものがあるから(非特許文献１)，そのようなものを利用して所望の被写体が含まれている画像を見つけ出すこともできる。また，多数の画像を整理するために，画像を分けるクラスタの数を自動的に決定するものもある(非特許文献２)。さらに，画像の特徴量を用いた画像検索(特許文献２)，被写体の枚数からアルバムの自動配置を行うもの(特許文献３)，カテゴリに含まれる画像枚数，カテゴリの深さから代表画像を選出するもの(特許文献４)，撮影された人物の頻度が高いほど重要な画像と判断するもの(特許文献５)，画像データをグループ化し，グループ化された画像の中から印刷推奨画像を選択するもの(特許文献６)などもある。

特開2015-118522号公報 特開2014-14858号公報 特開2009-223764号公報 特開2007-25876号公報 特許第5727476号 特開2006-259788号公報 Pierre Sermanet, David Eigen, Xiang Zhang, Michael Mathieu, Rob Fergus, Yann LeCun. "OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks," ICLR, 2014. Dan Pelleg, Andrew Moore, "X-means: Extending K-means with Efficient Estimation of the Number of Clusters, "Proceedings of the Seventeenth International Conference on Machine Learning, 2000.

しかしながら，多数の画像を整理することはユーザにとって面倒であり，ユーザにとって価値のある画像を，多くの画像の中から見つけ出すことは難しい。特許文献１においては見栄えのよい画像が選択されるものであり，特許文献２においては他の画像と区別するために画像特徴量を得るものであり，特許文献３においてはユーザ操作からアルバムの自動配置が行われるものであり，特許文献４においては重要度の高いカテゴリにある画像の中から画質の高いものを選択するものであり，特許文献５においては人物の頻度が高いほど重要な画像と判断しているが，いずれの場合もユーザにとって価値のある画像が見つけられるとは限らない。いずれにしても，特許文献１から特許文献５，非特許文献１および２のいずれにおいても，ユーザにとって価値のある画像が見つけ出されないことがある。

この発明は，ユーザにとって価値のある画像を見つけ出すことを目的とする。

この発明による画像抽出システムは，複数の画像から，各画像に存在する被写体および各画像のシーンの少なくとも一方を特定する情報であるアノテーションを取得するアノテーション取得部，アノテーション取得部によって取得した画像のアノテーションから，複数の画像における各画像の被写体およびシーンの少なくとも一方の出現頻度を示す画像共起確率を算出する画像共起確率算出部，ならびに画像共起確率がしきい値以下の画像を，複数の画像から抽出する第１の画像抽出部を備えていることを特徴とする。

この発明は，画像抽出システムに適した画像抽出方法も提供している。すなわち，この方法は，アノテーション取得部が，複数の画像から，各画像に存在する被写体および各画像のシーンの少なくとも一方を特定する情報であるアノテーションを取得し，画像共起確率算出部が，アノテーション取得部によって取得した画像のアノテーションから，複数の画像における各画像の被写体およびシーンの少なくとも一方の出現頻度を示す画像共起確率を算出し，画像抽出部が，画像共起確率がしきい値以下の画像を，複数の画像から抽出するものである。

この発明は，画像抽出システムのコンピュータを制御するコンピュータが読取可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。

アノテーション取得部によって取得した画像のアノテーションから，複数の画像における各アノテーションの出現確率を算出する第１のアノテーション出現確率算出部をさらに備えてもよい。この場合，画像共起確率算出部は，たとえば，各画像に付されたアノテーションに対応するアノテーション出現確率を，各画像の画像共起確率とする。

アノテーション取得部によって取得した画像のアノテーションから，複数の画像の各画像におけるアノテーションの出現確率を算出する第２のアノテーション出現確率算出部，第２のアノテーション出現確率算出部によって算出された出現確率を，アノテーションごとに，複数の画像について平均化して平均出現確率を算出する平均出現確率算出部，および平均出現確率算出部によって算出された平均出現確率と第２のアノテーション出現確率算出部によって算出された出現確率とから各画像と複数の画像の平均画像との差異を画像共起確率として出力する共起確率出力部をさらに備えてもよい。

画像共起確率算出部は，たとえば，各画像の各アノテーション出現確率の積を画像共起確率とする。

アノテーション取得部が取得したアノテーションによって特定される被写体の面積が一定の大きさ以下の場合に，一定の大きさ以下の被写体を特定するアノテーションを無効とするアノテーション無効部をさらに備えてもよい。

画像共起確率算出部によって算出された画像共起確率が低いほど高い画像評価値とする画像評価部をさらに備えてもよい。

複数の画像の各画像について，画質評価値を取得する画質評価値取得部，および画質評価値取得部により取得された画質評価値が低いほど，画像評価部によって評価された画像評価値を低く補正する画像評価値補正部をさらに備えてもよい。

画像評価値補正部によって補正された画像評価値がしきい値以上の画像を，複数の画像から抽出する第２の画像抽出部をさらに備えてもよい。

複数の画像を含み，かつ複数の画像よりも多い３つ以上の画像について，アノテーション取得部による画像のアノテーションの取得，および画像共起確率算出部による画像共起確率の算出を行わせる制御部，ならびに３つ以上の画像について算出された画像共起確率と複数の画像について算出された画像共起確率とを，同じ画像について加算または積算して得られた値がしきい値以下の画像を，複数の画像の中から抽出する第３の画像抽出部をさらに備えてもよい。

この発明によると，複数の画像から，各画像に存在する被写体および各画像のシーンの少なくとも一方を特定するアノテーションが取得される。取得されたアノテーションから，複数の画像における各画像の被写体およびシーンの少なくとも一方の出現頻度を表す画像共起確率が算出される。算出された画像共起確率がしきい値以下の画像が，複数の画像から抽出される。複数の画像における各画像の被写体およびシーンの少なくとも一方の出現頻度が少ないほど，画像共起確率が低くなる。画像共起確率が低い画像ほど，複数の画像の中では珍しい画像となる。ユーザは複数の画像を撮影している時に，珍しい被写体，シーンに出会えたからこそ，珍しい被写体，シーンの画像を，あえて撮影したと考えられる。そのような画像はユーザにとって価値のあるものと考えられ，見つけ出すことができるようになる。

画像抽出システムの電気的構成を示すブロック図である。 画像抽出システムの処理手順を示すフローチャートである。 画像セットが複数のクラスタに分類された様子を示している。 複数の画像の一例である。 第１のクラスタに含まれている画像のアノテーションテーブルである。 第１のクラスタに含まれている画像のアノテーションテーブルである。 画像抽出システムの処理手順を示すフローチャートである。 第１のクラスタに含まれている画像アノテーションテーブルである。 画像抽出システムの処理手順を示すフローチャートである。 第２のクラスタに含まれている画像のアノテーションテーブルである。 第２のクラスタに含まれている画像とコサイン値およびアノテーション出現確率の平均のコサイン距離との関係を示すテーブルである。 画像抽出システムの処理手順を示すフローチャートである。 画像抽出システムの処理手順を示すフローチャートである。 第２のクラスタに含まれている画像の画像評価値テーブルである。 画像抽出システムの処理手順を示すフローチャートである。 画像抽出システムの処理手順を示すフローチャートである。 画像セットに含まれている画像のアノテーションテーブルである。 第２のクラスタに含まれている画像のアノテーションテーブルである。 第３のクラスタに含まれている画像のアノテーションテーブルである。

(第１実施例)
図１は，この発明の実施例を示すもので，画像抽出システム１の電気的構成を示すブロック図である。

画像抽出システム１の全体の動作は，ＣＰＵ(セントラルプロセッシングユニット)２によって統括される。

画像抽出システム１には，抽出された画像等を表示画面に表示する表示装置３，データ等を記憶するメモリ４，およびコンパクトディスク５に記録されているデータ等にアクセスするＣＤ（コンパクトディスク）ドライブ６が含まれている。また，画像抽出システム１には，多数の画像を表す画像ファイルが格納されているメモリカード８から画像ファイルを読み取り，かつメモリカード８に画像ファイルを記録するメモリカードリーダライタ７，および画像抽出システム１に各種コマンドを与える入力装置９も含まれている。さらに，画像抽出システム１には，ハードディスク11，ハードディスク11にアクセスするＨＤ（ハードディスク）ドライブ10，および他のコンピュータ等と通信するための通信装置12も含まれている。

多数の画像ファイル（複数の画像ファイル）が格納されているメモリカード８が画像抽出システム１に装填され，多数の画像（画像ファイル）がメモリカードリーダライタ７によって読み取られると，その読み取られた多数の画像の中から，ユーザにとって価値があると考えられる画像が抽出される。メモリカード８に限らず，コンパクトディスク５やその他の媒体に多数の画像が格納されている場合には，その媒体に格納されている多数の画像の中から，ユーザにとって価値のある画像が抽出される。画像抽出システム１には，媒体に格納されている画像を読み取るのに適した読み取り装置が設けられることとなろう。また，インターネットなどのようなネットワークを介して多数の画像が画像抽出システム１に与えられる場合には，多数の画像が通信装置12によって受信され，受信された画像がメモリ４に与えられ，記憶される。そのようにして記憶された多数の画像の中から，ユーザにとって価値のある画像が抽出される。

コンパクトディスク５には，後述する処理を制御するための画像抽出システム１のＣＰＵ２が読取可能なプログラムが格納されている。コンパクトディスク５が画像抽出システム１に装填されることにより，コンパクトディスク５に格納されているプログラムが画像抽出システム１にインストールされる。プログラムは，インターネットのようなネットワークを介して送信されてもよい。通信装置12によってプログラムが受信され，受信されたプログラムが画像抽出システム１にインストールされる。

図２は，画像抽出システム１の処理手順を示すフローチャートである。

多数の画像が格納されているメモリカード８がユーザによって画像抽出システム１に装填されると，多数の画像がメモリカードリーダライタ７によって読み取られる。読み取られた多数の画像は，メモリ４に一時的に記憶される。この多数の画像が画像セットであり，その画像セットがＣＰＵ２によって撮影日時を用いて複数のクラスタに分類される（ステップ21）。画像ファイルのヘッダには撮影日時データが格納されており，その撮影日時データから画像の撮影日時が得られる。画像ファイルに撮影日時データが格納されていない場合には，画像解析により画像に含まれる被写体が認識され，その認識された被写体の内容にもとづいておおよその撮影時期を推定できる。必ずしも撮影日時にもとづいて分類せずとも，その他の分類手法により複数のクラスタに分類してもよい。

図３は，画像セットが複数のクラスタに分類された様子を示している。

この実施例では，画像セットから第１のクラスタＣ１，第２のクラスタＣ２および第３のクラスタＣ３に分類されたものとする。もちろん，画像セットから２つのクラスタまたは４つ以上のクラスタに分類してもよい。また，メモリカード８に格納されている総ての画像を画像セットとせずに，メモリカード８に格納されている多数の画像のうちの一部の画像を選択等することにより得られる画像を画像セットとしてもよい。

この実施例では，第１のクラスタＣ１に含まれている複数の画像の中からユーザにとって価値があるであろう画像を抽出するものとする。

図４は，第１のクラスタＣ１に含まれている10個の画像No.１から画像No.10を示している。

画像No.１の被写体は，人物と料理とであり，そのシーンは室内である。画像No.２から画像No.７ならびに画像No.９および画像No.10の被写体は犬である。画像No.８の被写体は人物である。シーンとは，室内，夜景，夕景などのように，その画像の背景を示す言葉，パーティ，料理，運動会などのように，その画像で起きているイベントを示す言葉などのように撮影状況などを表現する言葉をいう。

画像の被写体およびシーンについてはアノテーションとして画像ファイルのヘッダに記録されており，第１のクラスタＣ１に含まれる複数の画像から，各画像に存在する被写体および各画像のシーンの少なくとも一方を特定する情報であるアノテーションがＣＰＵ２（アノテーション取得部）によって取得される（図２ステップ22）。アノテーションは，必ずしも画像ファイルに格納されていなくともよく，画像に関連付けられてテーブル等に格納されていてもよい。そのような場合には，テーブルからアノテーションが読み取られる。画像から被写体認識，シーン認識などがＣＰＵ２によって行われることによりアノテーションが取得されるようにしてもよい。

図５は，第１のクラスタＣ１のアノテーションテーブルの一例である。

画像No.１の被写体は，人物と料理とであり，シーンは室内であるから，そのアノテーションとして，人物，料理，室内がアノテーションテーブルに格納されている。画像No.２から画像No.７ならびに画像No.９および画像No.10の被写体は犬であるから，そのアノテーションとして，犬がアノテーションテーブルに格納されている。画像No.８の被写体は人物であるから，そのアノテーションとして，人物がアノテーションテーブルに格納されている。アノテーションテーブルは，ＣＰＵ２によって生成され，メモリ４に記憶される。

ＣＰＵ２によってアノテーションが取得されると，取得された画像のアノテーションから，第１のクラスタＣ１に含まれている10個の画像（複数の画像）における各画像の被写体およびシーンの少なくとも一方の出現頻度を示す画像共起確率がＣＰＵ２（画像共起確率算出部）によって算出される（図２ステップ23）。算出された画像共起確率がＣＰＵ２によって図５に示すアノテーションテーブルに格納される。

図５を参照して，画像No.１のアノテーションは，人物，料理，室内であり，その組み合わせのアノテーションをもつ画像は，10個の画像のうち，画像No.１のみであるから，画像共起確率は１／10＝0.1となる。画像No.２から画像No.７ならびに画像No.９および画像No.10のアノテーションは犬であり，そのアノテーションをもつ画像は10個の画像のうち８個の画像であるから８／10＝0.8となる。画像No.８のアノテーションは人物であり，そのアノテーションをもつ画像は10個の画像のうち１個の画像であるから１／10＝0.1となる。

画像共起確率が算出されると，算出された画像共起確率がしきい値以下（たとえば，0.3以下）の画像，画像No.１および画像No.８が，ＣＰＵ２（第１の画像抽出部）によって，10個の画像（複数の画像）の中から抽出される（ステップ24）。抽出された画像No.１および画像No.８が表示装置３の表示画面に表示させられる。

抽出された画像No.１および画像No.８は，第１のクラスタＣ１の中において珍しい画像であり，被写体として犬を撮影していた場合に，被写体として特別に着目した，人物，料理といった被写体をあえて撮影したと考えられ，ユーザにとって価値のある画像が抽出されたものと考えられる。

(第２実施例)
図６は，他の実施例を示すもので，アノテーションテーブルの他の一例である。

この実施例では，画像共起確率は，画像のアノテーションから，10個の複数の画像における各アノテーションの出現確率が，ＣＰＵ２（第１のアノテーション出現確率算出部）によって算出されている。画像に付されたアノテーションに対応するアノテーションの出現確率が，各画像の画像共起確率とされている。アノテーションの出現確率が第１のクラスタＣ１に含まれる10個の画像に付与されているアノテーションのうち，犬のアノテーションは，画像No.２から画像No.７ならびに画像No.９および画像No.10に付与されており，10個の画像のうち，８個の画像に付与されているから，犬のアノテーションの出現確率は0.8となり，その出現確率が画像No.２から画像No.７ならびに画像No.９および画像No.10の画像共起確率とされている。人物のアノテーションは，画像No.１および画像No.８に付与されているから，アノテーションの出現確率は0.2であり，画像No.８の画像共起確率は0.2とされている。画像No.１については，人物，料理，室内のアノテーションが付与されており，人物の出現確率は0.2であり，料理および室内のそれぞれのアノテーションは，10個の画像のうち，画像No.１のみに付与されているから，料理および室内のそれぞれのアノテーションは0.1となる。画像No.１のように，複数のアノテーション（人物，料理，室内）が付与されている場合には，複数のアノテーションのそれぞれのアノテーションの出現確率のうち最小のものが，そのアノテーションの出現確率となり，その画像の画像共起確率となる。画像No.１の場合であれば，料理または室内のアノテーションが，画像No.１の画像共起確率とされる。

図５に示すアノテーションテーブルにおいては，画像No.１の画像共起確率と画像No.８の画像共起確率とは同じ0.1であるが，図６に示すアノテーションテーブルにおいては，画像No.１の画像共起確率は0.1であるが，画像No.８の画像共起確率は0.2となり，画像No.２よりも画像No.１の方が，ユーザにとって価値のある画像であると判断することができる。

また，各画像における各アノテーション出現確率の積を画像共起確率とするようにしてもよい。

画像No.１の人物のアノテーションの出現は0.2であり，画像No.１の料理のアノテーションの出現確率は0.1であり，画像No.１の室内のアノテーションの出現確率は0.1であるから，それらのアノテーションの出現確率の積は0.2×0.1×0.1＝0.002となる。単に人物，料理，室内のアノテーションの出現確率のうち最小の出現確率よりも差異が表れるようになる。この結果，より珍しい画像を見つけることができ，ユーザに価値のある画像として抽出することができる。

(第３実施例)
図７は，他の実施例を示すもので，画像抽出システム１の処理手順を示すフローチャートである。図７に示す処理は，図２に示す処理に対応するもので，図２に示す処理と同一処理については同一符号が付されている。図８は，第１のクラスタＣ１のアノテーションテーブルの一例である。

画像セットが撮影日時によって複数のクラスタＣ１，Ｃ２およびＣ３に分類され（ステップ21），クラスタに含まれる複数の画像から各画像のアノテーションがＣＰＵ２によって取得される（ステップ22）。第１のクラスタＣ１に含まれる画像についてのアノテーションが取得されたものとする。他のクラスタＣ２またはＣ３に含まれる画像についてのアノテーションが取得されてもよい。取得されたアノテーションからＣＰＵ２によって，複数の画像における各画像の画像共起確率が算出される（ステップ23）。

図８を参照して，画像No.１から画像No.10のアノテーションおよび画像共起確率が得られる。これらのアノテーションおよび画像共起確率は，図５に示すアノテーションテーブルに含まれる画像No.１から画像No.10のアノテーションおよび画像共起確率と同じである。もっとも図６に示したように，アノテーションの出現確率（またはアノテーションの出現確率の積）を画像共起確率としてもよい。

この実施例においては，各画像について（１−画像共起確率）がＣＰＵ２によって算出され（ステップ31），算出された（１−画像共起確率）の値がアノテーションテーブルに格納される。画像共起確率は値が低いほど，ユーザにとって価値が高いと考えられるが，（１−画像共起確率）は値が高いほど，ユーザにとって価値が高いと考えられる。（１−画像共起確率）の値が画像評価値とされる（ステップ31）。したがって，画像共起確率が低いほどＣＰＵ２（画像評価部）によって高い画像評価値とされることとなる。

つづいて，第１のクラスタＣ１に含まれる複数の画像No.１から画像No.10のそれぞれの画像について，ＣＰＵ２によって画質評価値が算出される（ステップ32）。画質評価値は，０から１の間の値で（必ずしも０から１の間でなくともよい）あり，画質が高いほど高い値となる。画質評価は，たとえば，主要被写体を認識し，主要被写体のボケの程度が少ないほど（高周波数成分が高いほど）高くする，主要被写体が中央にあるほど高くするなど，公知の手法を利用できる。算出された画質評価値もＣＰＵ２によってアノテーションテーブルに格納される。

ＣＰＵ２によって各画像の画質評価値がＣＰＵ２（画質評価値取得部）によって取得されると，各画像の（１−画像共起確率）の値に，画質評価値の値が，ＣＰＵ２によって乗じられる。これにより，画質評価値が低いほど，（１−画像共起確率）によって表される画像評価値が低くなるように，ＣＰＵ２（画像評価値補正部）によって補正されることとなる（ステップ33）。このようにして補正された画像評価値が得られる。補正された画像評価値がしきい値以上の値の画像がＣＰＵ２（第２の画像抽出部）によって抽出される（ステップ34）。

たとえば，しきい値が0.2の場合には，そのしきい値0.2以上の値は画像No.８のみであるから，その画像No.８がＣＰＵ２によって抽出される。画像No.１と画像No.８との画像共起確率は0.1で同じであるが，画像No.１の画質評価値は0.2であり，画像No.８の画質評価値は0.3であるから，画像No.８の画像評価値の方が画像No.１の画像評価値よりも高くなり，画像共起確率が同じである画像No.１と画像No.８とのうち，画質の高い画像No.８が抽出されることとなる。

図７および図８に示す実施例においては，（１−画像共起確率）を画質評価値で補正しているが，（１−画像共起確率）を画質評価値で補正せずに，画像評価値である（１−画像共起確率）の値がしきい値以上の画像が抽出されるようにしてもよい。図８に示す場合で，しきい値が0.7であれば，画像No.１と画像No.８とが抽出されることとなる。

(第４実施例)
図９および図10は，さらに他の実施例を示している。図９は，画像抽出システム１の処理手順を示すフローチャートであり，図２に対応する。図９の処理において，図２に示す処理と同じ処理については同じ符号を付している。図10は，第２のクラスタＣ２のアノテーションテーブルの一例を示している。図11は，画像クラスタＣ２のコサイン値等を格納するコサイン値テーブルの一例である。

この実施例は第２のクラスタＣ２に含まれる複数の画像から画像が抽出されるものとする。画像セットが撮影日時によって複数のクラスタＣ１，Ｃ２およびＣ３に分類され（ステップ21），第２のクラスタＣ２に含まれる複数の画像から各画像のアノテーションがＣＰＵ２によって取得される（ステップ22）。

第２のクラスタＣ２には，画像No.11から画像No.15の５個の画像が含まれているものとする。画像No.11からは，人物および室内のアノテーションが取得され，画像No.12からは，人物のアノテーションが取得され，画像No.13，画像No.14および画像No.15からは，それぞれ，犬のアノテーションが取得されたものとする。図10に示すように，アノテーションテーブルに，それぞれの画像に対応したアノテーションが格納される。

この実施例においては，各画像についてのアノテーションの出現確率（ＴＦ値：Term Frequency値）がＣＰＵ２（第２のアノテーション出現確率算出部）によって算出される（ステップ41）。画像No.11については，人物および室内のアノテーションが取得されており，犬のアノテーションは取得されていないから，画像No.11における人物のアノテーション出現確率は0.5となり，室内のアノテーション出現確率は0.5となり，犬のアノテーション出現確率は０となる。画像No.12における人物，室内および犬のそれぞれのアノテーション出現確率は1.0，０および０となる。画像No.13から画像No.15における人物，室内および犬のそれぞれのアノテーション出現確率は０，０および1.0となる。

つづいて，ＣＰＵ２（平均出現確率算出部）によって，各画像のアノテーション出現確率が，アノテーションごとに複数の画像No.11から15について平均化され，平均出現確率が算出される（ステップ42）。人物のアノテーションについての平均出現確率は，（0.5＋1.0＋０＋０＋０）／５＝0.3となり，室内のアノテーションについての平均出現確率は，（0.5＋０＋０＋０＋０）／５＝0.1となり，犬のアノテーションについての平均出現確率は，（０＋０＋1.0＋1.0＋1.0）／５＝0.6となる。

さらに，平均出現確率と各画像におけるアノテーションの出現確率（ＴＦ値）とからコサイン値（コサイン類似度）がＣＰＵ２によって算出される。そのコサイン値が画像共起確率とされる（ステップ43）。コサイン値は，ベクトル空間モデルにおいて，文書同士を比較する際に用いられる類似度計算手法であり，この場合，平均出現確率のアノテーションが平均画像に付与されていると仮定した場合における平均画像との類似度を算出することとなる。たとえば，画像No.11における各アノテーション出現確率をベクトル空間モデルで表現すると，ステップ41（図９）で求めた出現確率（図１０）を用いて，（人物，室内，犬）＝（0.5，0.5，0）となる。画像No.12から15についても同様に求めることができる。また，平均画像における各アノテーション出現確率をベクトル空間モデルで表現すると，ステップ42（図９）で求めた平均出現確率（図１０）を用いて，（人物，室内，犬）＝（0.3，0.1，0.6）となる。コサイン値は，各画像のアノテーション出現確率ベクトルと，平均画像のアノテーション出現確率ベクトルとのなす角をθとしたときのcosθを求めればよい。画像No.11，画像No.12，画像No.13，画像No.14および画像No.15のそれぞれのコサイン値は，0.4170，0.4423，0.8847，0.8847および0.8847となる。コサイン値が低い（θが大きい）ほど，画像が属するクラスタ（この場合，第２のクラスタＣ２）の中での平均的な画像から非類似であると考えられる。

ＣＰＵ２によってコサイン値が画像共起確率とされ（ステップ43），画像共起確率がしきい値以下の画像がＣＰＵ２によって抽出される（ステップ24）。たとえば，しきい値が0.5であれば，画像No.11および画像No.12が第２のクラスタＣ２の複数の画像No.11から画像No.15の中から抽出される。コサイン値は，平均出現率と各画像におけるアノテーションの出現確率との差異を示すものであり，ＣＰＵ２（共起確率出力部）から出力される。コサイン値が小さい画像は，複数の画像の平均的な画像から非類似の画像であるから，複数の画像の中で珍しい画像であり，ユーザにとって価値のある画像と考えることができる。

図11においては，アノテーション出現確率の平均とのコサイン距離も格納されている。コサイン距離は，コサイン値が１から減じられた値である。コサイン距離が大きい画像ほど，複数の画像の平均的な画像から非類似の画像となる。

(第５実施例)
図12から図14は，図９から図11に示した実施例の変形例である。図12および図13は，図９の処理手順に対応するフローチャートであり，図９に示す処理と同一の処理については同一符号が付されている。図14は，図11に対応するコサイン値テーブルの一例である。

この実施例も第２のクラスタＣ２に含まれる画像No.11から画像No.15の中から画像を抽出するものである。

図12を参照して，画像セットが撮影日時によって複数のクラスタに分類され（ステップ21），第２のクラスタＣ２に含まれている画像No.11から画像No.15から各画像のアノテーションが取得され（ステップ22），各画像におけるアノテーションの出現確率が算出される（ステップ41）。さらに，アノテーションの出現確率が，複数の画像について平均化され平均出現確率が算出される（ステップ42）。ここまでは，第４実施例と同一の処理を行うため，図10と同じ値のアノテーションテーブルが得られる。

ＣＰＵ２によって，各画像のコサイン値が１から減じられ，各画像についてのコサイン距離が算出される（ステップ51）。このコサイン距離は画像評価値となる。つづいて，各画像についての画質評価値が算出され（ステップ32），コサイン距離に画質評価値が乗じられることにより，画質評価値が低いほど画像評価値が低くなる補正が行なわれることとなる（ステップ33）。補正された画像評価値がしきい値以上の画像がユーザにとって価値のある画像として第２のクラスタＣ２から抽出される（ステップ34）。

上述の実施例においては，コサイン距離に画質評価値を乗じているが，コサイン距離は画像評価値でもあるので，このコサイン距離（画像評価値）がしきい値以上の画像が第２のクラスタＣ２から抽出されるようにしてもよい。

(第６実施例)
図15は，さらに他の実施例を示すもので，画像抽出システム１の処理手順を示すフローチャートである。図15は，図２に示すフローチャートに対応するもので，図２に示す処理と同一の処理については同一符号が付されている。

画像セットが撮影日時によって複数のクラスタＣ１，Ｃ２およびＣ３に分類され（ステップ21），クラスタに含まれる複数の画像から各画像のアノテーションが取得される（ステップ22）。この実施例では，アノテーションによって特定される被写体の大きさが一定の大きさ以下かどうか（画像に対する被写体の大きさが一定の割合以上かどうか）が，ＣＰＵ２によって判定される（ステップ61）。画像に含まれている被写体の大きさが小さい場合でも，その被写体のアノテーションが画像に付与されてしまうことがある。そのような被写体にユーザが着目して撮影していることは少ないと考えられる。しかしながら，小さな被写体であってもアノテーションの出現確率が低くなってしまうことがあるので，ユーザが着目していない被写体が含まれている画像が抽出されてしまうことがある。そのために，この実施例では，一定の大きさ以下の被写体がある場合（ステップ61でＹＥＳ），その被写体を表すアノテーションはＣＰＵ２（アノテーション無効部）によって無効とされる（ステップ62）。一定の大きさ以下の被写体についてはステップ62の処理はスキップされる。

その後は，アノテーションから複数の画像における画像共起確率が算出され（ステップ23），画像共起確率がしきい値以下の画像が抽出される（ステップ24）。

(第７実施例)
図16から図19は，さらに他の実施例を示すもので，画像セットに含まれる３つ以上の画像についてのアノテーションを取得し，画像共起確率を算出するものである。

図16は，画像抽出システム１の処理手順を示すフローチャートであり，図２のフローチャートに対応する。図16において，図２の処理と同一の処理については同一符号が付されている。図17から図19は，アノテーションテーブルの一例であり，図17は，画像セットに含まれている３つ以上の画像についてのアノテーションテーブルであり，図18は，第２のクラスタＣ２に含まれている複数の画像についてのアノテーションテーブルであり，図19は，第３のクラスタＣ３に含まれている複数の画像についてのアノテーションテーブルである。

画像セットに含まれる３つ以上の画像（画像セットに含まれるすべての画像）から各画像のアノテーションがＣＰＵ２（制御部）によって取得される（ステップ71）。画像セットには，画像No.１から画像No.20の画像が含まれているものとする。

図17は，画像セットのアノテーションテーブルの一例である。

画像セットに含まれる画像に対応してアノテーションが得られている。画像セットに含まれる画像のうち，画像No.１から画像No.10は，第１のクラスタＣ１に含まれる画像であり，画像No.11から画像No.15は，第２のクラスタＣ２に含まれる画像であり，画像No.16から画像No.20は，第３のクラスタＣ３に含まれる画像である。

つづいて，取得したアノテーションから画像セットに含まれている３つ以上の画像（画像セットに含まれるすべての画像）の画像共起確率がＣＰＵ２（制御部）によって算出される（ステップ72）。図17を参照して，画像No.１のアノテーションは，人物,料理，室内の組のアノテーションであり，そのような組のアノテーションは，画像セットに含まれる画像No.１から画像No.20までの20個の画像のうち，画像No.１の１個のみであるから，画像共起確率は，１／20＝0.05となる。第１のクラスタＣ１を用いて算出された画像No.１の画像共起確率は0.1であるから，画像共起確率がさらに低くなっている。画像No.２から画像No.７，画像No.９，画像No.10，画像No.13から画像No.15および画像No.19のアノテーションは，犬であり，その犬のアノテーションをもつ画像の数は12個であるから，画像共起確率は12／20＝0.6となる。その他の画像についても同様にして画像共起確率が算出される。

図16に戻って，画像セットに含まれる画像の画像共起確率が算出されると，画像セットに含まれる画像が複数のクラスタに分類され（ステップ21），第１のクラスタＣ１，第２のクラスタＣ２および第３のクラスタＣ３に分類される。分類された第１のクラスタＣ１，第２のクラスタＣ２および第３のクラスタＣ３のそれぞれのクラスタに含まれる各画像についてアノテーションが取得され（ステップ22），各クラスタにおける画像共起確率が算出される（ステップ23）。これにより，図５に示すように，第１のクラスタＣ１に含まれる画像No.１から画像No.20の画像についてアノテーションテーブルが得られ，図18に示すように画像No.11から画像No.15の画像についてアノテーションテーブルが得られ，図19に示すように画像No.16から画像No.20の画像についてアノテーションテーブルが得られる。

図18を参照して，画像No.11の画像のアノテーションは，人物，室内であり，第２のクラスタＣ２にそのようなアノテーションが付与されているのは画像No.11のみである。第２のクラスタＣ２における画像No.11の画像共起確率は，0.2となる。同様に，画像No.12の画像共起確率は，0.2，画像No.13から画像No.15の画像共起確率は0.6となる。

図19を参照して，画像No.16から画像No.18および画像No.20のアノテーションは，人物であり，第３のクラスタＣ３における画像No.16から画像No.18および画像No.20のアノテーションは0.8となる。同様にして画像No.19の第３のクラスタＣ３における画像No.19の共起確率は0.2となる。

画像セットでの各画像の画像共起確率ならびに各画像クラスタＣ１，Ｃ２およびＣ３での各画像の画像共起確率が得られると，ＣＰＵ２によって同一画像について，画像セットでの各画像の画像共起確率と各画像クラスタＣ１，Ｃ２またはＣ３での各画像の画像共起確率とが加算され，加算値が得られる（ステップ73）。加算する代わりに画像共起確率を積算して積算値が得られるようにしてもよい。

加算値または積算値がしきい値以下の画像がＣＰＵ２（第３の画像抽出部）によって画像セットから抽出される（ステップ74）。各クラスタ内で珍しい画像だけでなく，画像セット内でも珍しい画像を，ユーザにとって価値のある画像として抽出することができる。

上述したいずれの実施例においても，図10に示すように，各画像のアノテーション出現確率を算出し，平均出現確率を算出し，コサイン値またはコサイン距離を算出して，平均出現率と各画像のアノテーションの出現確率との差異を出力することもできるし，各画像の出現確率の積を画像共起確率してもよい。また，画質評価値を取得し，画質評価値が低いほど画像評価値を低く補正してもよいし，画像評価値がしきい値以上の画像を複数の画像から抽出してもよい。さらに，各画像のアノテーション出現確率を画像共起確率としてもよいし，一つの画像に複数のアノテーションが付与されている場合には，複数のアノテーションの出現確率の積をその画像のアノテーション出現確率としてもよいし，複数のアノテーションの出現確率のうち最小の出現確率をその画像のアノテーション出現確率としてもよい。さらに，いずれの実施例においても一定の大きさ以下の被写体に付与されたアノテーションを無効としてもよい。

アノテーションの出現確率を画質評価値で補正するだけでなく，アノテーションによって特定される被写体の位置，アノテーションによって特定される被写体が他の被写体よりも前方に存在するかどうか，アノテーションによって特定される被写体がぼけているかどうかなどにより補正するようにしてもよい。たとえば，アノテーションによって特定される被写体が画像の中央に存在するほど，アノテーションの出現確率を高く補正したり，アノテーションによって特定される被写体が他の被写体よりも前方に存在するほどアノテーションの出現確率を高く補正したり，アノテーションによって特定される被写体がぼけているほどアノテーションの出現確率を低く補正したりしてもよい。

１ 画像抽出システム
２ ＣＰＵ(アノテーション取得部，画像共起確率算出部，第１の画像抽出部，第１のアノテーション出現確率算出部，第２のアノテーション出現確率算出部，平均出現確率算出部，共起確率出力部，アノテーション無効部，画像評価部，画質評価値取得部，画像評価値補正部，第２の画像抽出部，制御部，第３の画像抽出部)
５ コンパクトディスク

Claims (11)

1. 複数の画像から，各画像に存在する被写体および各画像のシーンの少なくとも一方を特定する情報であるアノテーションを取得するアノテーション取得部，
   上記アノテーション取得部によって取得した画像のアノテーションから，上記複数の画像における各アノテーションの出現確率を算出する第１のアノテーション出現確率算出部，
   上記第１のアノテーション出現確率算出部において算出されたアノテーションの出現確率の上記各画像における組み合わせを上記各画像の画像共起確率として算出する画像共起確率算出部，ならびに
   上記画像共起確率がしきい値以下の画像を，上記複数の画像から抽出する第１の画像抽出部，
   を備えた画像抽出システム。
2. 上記アノテーション取得部によって取得した画像のアノテーションから，上記複数の画像の各画像におけるアノテーションの出現確率を算出する第２のアノテーション出現確率算出部，
   上記第２のアノテーション出現確率算出部によって算出された出現確率を，アノテーションごとに，上記複数の画像について平均化して平均出現確率を算出する平均出現確率算出部，および
   上記平均出現確率算出部によって算出された平均出現確率と上記第２のアノテーション出現確率算出部によって算出された出現確率との差異を上記画像共起確率として出力する共起確率出力部，
   をさらに備えた請求項１に記載の画像抽出システム。
3. 上記画像共起確率算出部は，
   各画像の各アノテーション出現確率の積を上記画像共起確率とする，
   請求項１に記載の画像抽出システム。
4. 上記アノテーション取得部が取得したアノテーションによって特定される被写体の面積が一定の大きさ以下の場合に，上記一定の大きさ以下の被写体を特定するアノテーションを無効とするアノテーション無効部，
   をさらに備えた請求項１から３のうち，いずれか一項に記載の画像抽出システム。
5. 上記画像共起確率算出部によって算出された画像共起確率が低いほど高い画像評価値とする画像評価部，
   をさらに備えた請求項１から４のうち，いずれか一項に記載の画像抽出システム。
6. 複数の画像の各画像について，画質評価値を取得する画質評価値取得部，および
   上記画質評価値取得部により取得された画質評価値が低いほど，上記画像評価部によって評価された画像評価値を低く補正する画像評価値補正部，
   をさらに備えた請求項５に記載の画像抽出システム。
7. 上記画像評価値補正部によって補正された画像評価値がしきい値以上の画像を，複数の画像から抽出する第２の画像抽出部，
   をさらに備えた請求項６に記載の画像抽出システム。
8. 上記複数の画像を含み，かつ上記複数の画像よりも多い３つ以上の画像について，上記アノテーション取得部による画像のアノテーションの取得，および上記画像共起確率算出部による画像共起確率の算出を行わせる制御部，ならびに
   ３つ以上の画像について算出された画像共起確率と複数の画像について算出された画像共起確率とを，同じ画像について加算または積算して得られた値がしきい値以下の画像を，複数の画像の中から抽出する第３の画像抽出部，
   をさらに備えた請求項１から７のうち，いずれか一項に記載の画像抽出システム。
9. アノテーション取得部が，複数の画像から，各画像に存在する被写体および各画像のシーンの少なくとも一方を特定する情報であるアノテーションを取得し，
   アノテーション出現確率算出部が，上記アノテーション取得部によって取得した画像のアノテーションから，上記複数の画像における各アノテーションの出現確率を算出し，
   画像共起確率算出部が，上記第１のアノテーション出現確率算出部において算出されたアノテーションの出現確率の上記各画像における組み合わせを上記各画像の画像共起確率として算出し，
   画像抽出部が，上記画像共起確率がしきい値以下の画像を，上記複数の画像から抽出する，
   画像抽出方法。
10. 画像抽出システムのコンピュータを制御するコンピュータが読取可能なプログラムであって，
    複数の画像から，各画像に存在する被写体および各画像のシーンの少なくとも一方を特定する情報であるアノテーションを取得させ，
    上記アノテーション取得部によって取得した画像のアノテーションから，上記複数の画像における各アノテーションの出現確率を算出させ，
    算出されたアノテーションの出現確率の上記各画像における組み合わせを上記各画像の画像共起確率として算出させ，
    上記画像共起確率がしきい値以下の画像を，上記複数の画像から抽出させるように画像抽出システムのコンピュータを制御するコンピュータが読取可能なプログラム。
11. 請求項10に記載のプログラムを格納した記録媒体。

Images