JP6440604B2 - 被写体評価システム，被写体評価方法，被写体評価プログラムおよびそのプログラムを格納した記録媒体 - Google Patents

Description

この発明は，被写体評価システム，被写体評価方法，被写体評価プログラムおよびそのプログラムを格納した記録媒体に関する。

ディジタルカメラなどを用いて気軽に撮影できるようになったことから，ユーザは多数の画像を所有している。このために多数の画像の中から重要な画像を見つけることが考えられている(特許文献１)。また，画像に含まれている被写体についての関係性を決定するもの(特許文献２)，画像に含まれている被写体の間柄について判定するものもある(特許文献３)。

特許第5307873号 特開2012-32728号公報 特開2011-70277号公報

特許文献１に記載のものでは，多数の画像の中から重要な画像を見つけるものであり，画像に含まれる被写体の評価値を，実際の重要さを考慮して算出することは考えられていない。また，特許文献２に記載のものでは，被写体の関係から表示する画像を決定するものであり，特許文献３に記載のものでは，間柄を判定するものであり，いずれも，複数の画像に含まれている被写体の評価値を，実際の重要さを考慮して算出することは考えられていない。

この発明は，実際に重要と思われる被写体の評価値が高くなるように被写体評価値を算出することを目的とする。

この発明による被写体評価システムは，２つの被写体についての主従関係を画像に含まれている複数の被写体について決定する主従関係決定処理を，複数の画像について行なう主従関係決定手段，複数の画像について決定された主従関係に基づいて，第１の被写体を従とし第２の被写体を主とする関係が存在する場合に，第１の被写体を従とし第２の被写体を主とする関係が存在しない場合よりも高い主従関係値を，第１の被写体を従とし第２の被写体を主とする主従関係に与え，かつ，第１の被写体を従とし第２の被写体を主とする関係が存在する場合に，複数の被写体のうち第１の被写体を従とする被写体の数が多いほど低い主従関係値を，第１の被写体を従とし第２の被写体を主とする主従関係に与える主従関係値算出手段，および主従関係値算出手段によって算出された主従関係値に基づいて，被写体ごとに被写体評価値を算出する被写体評価値算出手段を備えていることを特徴とする。

この発明は，被写体評価方法も提供している。すなわち，この方法は，主従関係決定手段が，２つの被写体についての主従関係を画像に含まれている複数の被写体について決定する主従関係決定処理を，複数の画像について行ない，主従関係値算出手段が，複数の画像について決定された主従関係に基づいて，第１の被写体を従とし第２の被写体を主とする関係が存在する場合に，第１の被写体を従とし第２の被写体を主とする関係が存在しない場合よりも高い主従関係値を，第１の被写体を従とし第２の被写体を主とする主従関係に与え，かつ，第１の被写体を従とし第２の被写体を主とする関係が存在する場合に，複数の被写体のうち第１の被写体を従とする被写体の数が多いほど低い主従関係値を，第１の被写体を従とし第２の被写体を主とする主従関係に与え，被写体評価値算出手段が，主従関係値算出手段によって算出された主従関係値に基づいて，被写体ごとに被写体評価値を算出するものである。

この発明は，被写体評価プログラムおよびそのプログラムを格納した記録媒体も提供している。

主従関係値算出手段は，たとえば，第１の被写体を従，第２の被写体を主とする関係が存在する場合，主従関係値を，第１の被写体を従とする被写体の数の逆数と算出し，第１の被写体を従，第２の被写体を主とする関係が存在しない場合，主従関係値を０と算出する。

主従関係決定手段における主従関係決定処理は，たとえば，２つの被写体が重なっている場合には，前方に存在する被写体を主とし，後方に存在する被写体を従とする。

主従関係決定手段における主従関係決定処理は，２つの被写体が離れている場合には，主従関係を決定しなくともよい。

主従関係決定手段における主従関係決定処理は，２つの被写体のうち相対的に画像の中心に近い被写体を主とし，相対的に画像の中心から遠い被写体を従としてもよいし，２つの被写体のうち相対的に彩度，明度または画質の高い被写体を主とし，相対的に彩度，明度または画質の低い被写体を従としてもよい。

被写体評価値算出手段は，第１の被写体を従とし第２の被写体を主とする主従関係を有する画像の数が多いほど，ほど，第１の被写体を従とし第２の被写体を主とする主従関係に高い主従関係値を与えるようにしてもよい。

被写体評価値算出手段によって算出された被写体評価値を，複数の画像における被写体の出現回数によりそれぞれ除した被写体希少度を算出する被写体希少度算出手段をさらに備えてもよい。

被写体は，たとえば，画像に付与されているタグから決定される。

この発明によると，２つの被写体についての主従関係を決定する主従関係決定処理が複数の画像について行われる。複数の画像について決定された主従関係に基づいて，第１の被写体を従とし第２の被写体を主とする関係が存在する場合に，第１の被写体を従とし第２の被写体を主とする関係が存在しない場合よりも高い主従関係値が，第１の被写体を従とし第２の被写体を主とする主従関係に与えられる。主従関係値に基づいて被写体評価値が算出される。主となる被写体ほど重要と考えられ，そのような重要な被写体ほど被写体評価値が高くなる。さらに，第１の被写体を従とし第２の被写体を主とする関係が存在する場合に，複数の被写体のうち第１の被写体を従とする被写体の数が多いほど低い主従関係値が，第１の被写体を従とし第２の被写体を主とする主従関係に与えられる。第１の被写体を従とし第２の被写体を主とする主従関係において，第１の被写体を従とする被写体の数が多い場合には，その第１の被写体はあまり重要ではないと考えられる。このために，第１の被写体を従とし第２の被写体を主とする主従関係において低い主従関係値が与えられ，第１の被写体の被写体評価値も低くなる。このようにして，実際に重要と思われる被写体の評価値が高くなるような被写体評価値を算出できる。

被写体評価システムの電気的構成を示すブロック図である。 画像の一例である。 主従関係テーブルの一例である。 有向グラフの一例である。 被写体評価システムの処理手順を示すフローチャートである。 被写体評価システムの処理手順を示すフローチャートである。 画像の一例である。 主従関係テーブルの一例である。 有向グラフの一例である。 リンク行列の一例である。 被写体評価値行列の算出に用いられる行列の一例である。 被写体評価値行列の一例である。 被写体評価値テーブルの一例である。 有向グラフの一例である。 リンク行列の一例である。 被写体評価値行列の一例である。 被写体評価値テーブルの一例である。 被写体評価値テーブルの一例である。

図１は，この発明の実施例を示すもので，被写体評価システム１の電気的構成を示すブロック図である。被写体評価システム１は，１または複数の画像に含まれている複数の被写体の評価値を算出するものである。

被写体評価システム１の全体の動作は，ＣＰＵ(Central Processing Unit)２によって統括される。

被写体評価システム１には，画像を表示画面に表示する表示装置３，データ等を記憶するメモリ４，およびコンパクトディスク５に記録されているデータ等にアクセスするＣＤ（Compact Disc）ドライブ６が含まれている。また，被写体評価システム１には，画像を表す画像ファイルが格納されているメモリカード８から画像ファイルを読み取り，かつメモリカード８に画像ファイルを記録するメモリカードリーダライタ７，および被写体評価システム１に各種コマンドを与える入力装置９も含まれている。さらに，被写体評価システム１には，ハードディスク11，ハードディスク11にアクセスするＨＤ（hard disk）ドライブ10，他のコンピュータ等と通信するための通信装置12，およびタイマ13も含まれている。

メモリカード８が被写体評価システム１に装填され，複数の画像ファイルがメモリカードリーダライタ７によって読み取られると，読み取られた複数の画像ファイルによって表される複数の画像のそれぞれの中から複数の被写体が検出される。検出された複数の被写体のそれぞれの被写体ごとに被写体評価値が算出される。メモリカード８に限らず，コンパクトディスク５やその他の媒体に画像ファイルが格納されている場合には，その媒体に格納されている画像ファイルが読み取られ，画像によって表される画像に含まれる被写体について被写体評価値が算出される。被写体評価システム１には，媒体に格納されている画像ファイルを読み取るのに適した読み取り装置が設けられることとなろう。また，インターネットなどのようなネットワークを介して画像ファイルが被写体評価システム１に与えられる場合には，画像ファイルが通信装置12によって受信され，受信された画像ファイルがメモリ４に与えられ，記憶される。そのようにして記憶された画像ファイルによって表される画像に含まれる被写体について被写体評価値が算出される。

コンパクトディスク５(記録媒体)には，後述する処理を制御するための被写体評価システム１のＣＰＵ２（コンピュータ）が読み取り可能なプログラムが格納されている。コンパクトディスク５が被写体評価システム１に装填されることにより，コンパクトディスク５に格納されているプログラムが被写体評価システム１にインストールされる。プログラムは，インターネットのようなネットワークを介して送信されてもよい。通信装置12によってプログラムが受信され，受信されたプログラムが被写体評価システム１にインストールされる。

図２は，画像の一例である。

画像20には，少女21，少年22，母親23，父親24および花25のそれぞれの被写体が含まれている。少女21，少年22，母親23，父親24および花25のそれぞれの被写体がＣＰＵ２によって検出される。

この実施例においては，被写体評価値を算出するために，２つの被写体についての主従関係を画像に含まれている複数の被写体について決定する主従関係決定処理が複数の画像について行われる。２つの被写体が重なっている場合には，ＣＰＵ２(主従関係決定手段)によって，前方に存在する被写体が「主」とされ，後方に存在する被写体が「従」とされる。２つの被写体が重なっていない場合には，それらの２つの被写体の主従関係は決定されない。

被写体である少女21は，被写体である母親23よりも前方で撮影されている。したがって，少女21と母親23との主従関係は，少女21が「主」となり，母親23が「従」となる。また，被写体である少年22は，被写体である父親24よりも前方で撮影されている。したがって，少年22と父親24との主従関係は，少年22が「主」となり，父親24が「従」となる。さらに，被写体である花25は，被写体である少女21，少年22，母親23および父親24のいずれの被写体よりも後方にある。したがって，花25と，少女21，少年22，母親23および父親24のそれぞれの被写体と，の主従関係は，いずれも花25が「従」となり，少女21，少年22，母親23および父親24は，いずれも「主」となる。さらに，少女21と少年22とは重なっていないから，主従関係は決定されない。同様に，母親23と父親24とは重なっていないから，主従関係は決定されない。

主従関係の決定は，２つの被写体のうち，相対的に画像の中心に近い被写体を「主」とし，相対的に画像の中心から遠い被写体を「従」としてもよい。また，２つの被写体のうち，相対的に彩度，明度または画質の高い被写体を「主」とし，相対的に彩度，明度または画質の低い被写体を「従」としてもよい。さらに，２つの被写体が重なっていない場合であっても，２つの被写体の主従関係が決定されてもよい。被写体が重なっているかどうかにもとづく主従関係決定処理，相対的に画像の中心にあるかどうかにもとづく主従関係決定処理など複数の種類の主従関係決定処理が行われるようにしてもよい。複数種類の主従関係決定処理が行なわれる場合，主従関係決定処理ごとに，後述する被写体評価値が得られ，主従関係決定処理ごとに得られた被写体評価値を，被写体ごとに加算等することにより，最終的な被写体評価値が得られる。

図３は，決定された主従関係を示す主従関係テーブルである。図３に示す主従関係テーブルは画像20についてのものであり，その他の画像についても生成される。

主従関係決定処理により，花25と母親23とは，花25が「従」で，母親23が「主」と決定され，その主従関係が主従関係テーブルに格納されている。同様に，花25と少女21とは花25が「従」，少女21が「主」と決定され，花25と少年22とは花25が「従」，少年22が「主」と決定され，花25と父親24とは花25が「従」，父親24が「主」と決定されている。また，母親23と少女21とは母親23が「従」，少女21が「主」と決定され，父親24と少年22とは父親24が「従」，少年22が「主」と決定されている。このような主従関係を表すデータが主従関係テーブルに格納されている。主従関係テーブルは，画像20と関連付けられてメモリ４に格納されるが，画像20を表す画像ファイルのヘッダに格納されてもよい。

図４は，画像20に含まれる被写体である少女21，少年22，母親23，父親24および花25の有向グラフである。

有向グラフは，「従」と決定された被写体から「主」と決定された向きに矢印が向かっている。たとえば，花25は，少女21，少年22，母親23および父親24との主従関係では，すべて「従」であるから，花25から少女21，少年22，母親23および父親24のすべてに矢印が向かっている。同様に，母親23は少女21との主従関係では「従」であるから，母親23から少女21に矢印が向かっている。さらに，父親24は少年22との主従関係では「従」であるから，父親24から少年22に矢印が向かっている。有向グラフにより，２つの被写体の主従関係が一見して分かる。

このような考えを利用して，この実施例では，複数の画像に含まれる複数の被写体のそれぞれの被写体について被写体評価値が算出される。なお，この実施例では，父親24を従とし少年22を主とする画像はあっても，少年22を従とし父親24を主とする画像はない。しかし，複数の画像の内容によっては，父親24を従とし少年22を主とする画像があり，別の画像では少年22を従とし父親24を主とする画像があるという場合も存在する。この場合，有向グラフにおいては，父親24から少年22に向かう矢印と少年22から父親24に向かう矢印との双方が存在することとなる。

図５および図６は，被写体評価システム１の処理手順を示すフローチャートである。図７は，画像の一例である。図２に示す画像20と図７に示す画像50との複数の画像20および50に含まれる複数の被写体のそれぞれの被写体の被写体評価値が算出される場合について説明する。２つの画像ではなく３つ以上の画像についても同様にして被写体評価値が算出される。

画像20および画像50を表す画像ファイルは，メモリカード８に格納されており，メモリカード８から画像20および画像50を表す画像ファイルがメモリカードリーダライタ７によって読み取られる（ステップ41）。読み取られた画像ファイルは，メモリ４に一時的に記憶される。

まず，ＣＰＵ２によって画像20が解析される（ステップ42）。画像解析により，画像20から被写体が検出され，画像20に含まれる被写体のうち２つの被写体についての主従関係を決定する処理がＣＰＵ２（主係処理決定手段）によって行なわれる（ステップ43）。画像ファイルのヘッダに被写体の種類，位置等を示すタグ情報が格納されている場合には，画像解析により被写体が検出されなくとも，タグ情報から被写体の種類，位置などが検出されるようにしてもよい。画像内に含まれるすべての被写体同士についての主従関係決定処理が行なわれるまで主従関係決定処理が繰り返される（ステップ44）。主従関係決定処理により，上述したように，画像20に含まれる少女21，少年22，母親23および父親24のうち二人を選んだ際の全ての組合せについて主従関係が得られる。

図８は，主従関係テーブルの一例である。

主従関係テーブルは，画像ごとに，画像に含まれる被写体のうち二つの被写体についての主従関係が格納されている。上述のように，画像20では，花25と母親23との主従関係は，花25が「従」で，母親23が「主」と決定され，その主従関係が主従関係テーブルに格納されている。同様に，花25と少女21との主従関係は花25が「従」，少女21が「主」と決定され，花25と少年22との主従関係は花25が「従」，少年22が「主」と決定され，花25と父親24との主従関係は花25が「従」，父親24が「主」と決定されている。また，母親23と少女21との主従関係は母親23が「従」，少女21が「主」と決定され，父親24と少年22との主従関係は父親24が「従」，少年22が「主」と決定されている。

画像20についての被写体の主従関係決定処理が終了すると，残りの画像についての被写体の主従関係決定処理が行なわれたかどうかが確認される（ステップ45）。図７に示す画像50についての被写体の主従関係決定処理が行なわれていなければ（ステップ45でＮＯ），画像50について画像解析が行なわれ（ステップ42），画像50から被写体が検出され，画像50に含まれる被写体について主従関係決定処理が行なわれる（ステップ43）。

図７を参照して，ＣＰＵ２によって画像50が解析され，画像50の中に少女21，少年22，母親23，父親24，男26およびバス27の被写体が含まれていることが検出される。ＣＰＵ２によって，被写体認識処理が行なわれることにより，画像20に含まれる少女21と画像50に含まれる少女21とが同一人物であると認識される。同様に，画像20に含まれる少年22と画像50に含まれる少年22，画像20に含まれる母親23と画像50に含まれる母親23および画像20に含まれる父親24と画像50に含まれる父親24とが同一人物であると認識される。

画像50に含まれている少女21，少年22，母親23，父親24，男26およびバス27のうち二つの被写体について主従関係決定処理がＣＰＵ２によって行なわれる（ステップ43）。

画像50において，少女21は，母親23の前方であり，かつ重なっているから，少女21と母親23との主従関係は，少女21が「主」，母親23が「従」である。少年22は，父親24の前方であり，かつ重なっているから，少年22と父親24との主従関係は，少年22が「主」，父親24が「従」である。また，母親23は，父親24の前方であり，かつ重なっているから，母親23と父親24の主従関係は，母親23が「主」，父親24が「従」である。さらに，少年22および父親24は，それぞれ男26の前方であり，かつ重なっているから，少年22と男26との主従関係は，少年22が「主」，男26が「従」であり，父親24と男26との主従関係は，父親24が「主」，男26が「従」である。さらに，少年22，父親24および男26は，バス27の前方であり，かつ重なっているから，少年22とバス27との主従関係は，少年22が「主」，バス27が「従」であり，父親24とバス27との主従関係は，父親24が「主」，バス27が「従」であり，男26とバス27との主従関係は，男26が「主」，バス27が「従」である。男26は，バス27の中にいるから，バス27の前方と捉えているが，バス27の中にいる場合には，バス27の中にある被写体よりもバス27が前方と捉える場合には，男26とバス27との主従関係は，バス27が「主」，男26が「従」となる。

画像50についての主従関係決定処理により得られた二つの被写体の主従関係が図８に示す主従関係テーブルに格納される。

すべての画像(画像20および画像50)について主従関係決定処理が行なわれると（ステップ45でＹＥＳ），すべての画像についての二つの被写体についての主従関係を示す有向グラフがＣＰＵ２によって生成される（ステップ46）。

図９は，画像20および画像50に含まれる二つの被写体についての主従関係を示す有向グラフである。

図８に示した主従関係テーブルからわかるように，バス27は，少年22，父親24および男26の「従」であるから，バス27から少年22，父親24および男26に矢印が向かっている。男26は，少年22および父親24の「従」であるから，男26から少年22および父親24に矢印が向かっている。父親24は，少年22および母親23の「従」であるから，父親24から少年22および母親23に矢印が向かっている。母親23は，少女21の「従」であるから，母親23から少女21に矢印が向かっている。花25は，少女21，少年22，母親23および父親24の「従」であるから，花25から少女21，少年22，母親23および父親24に矢印が向かっている。

少女21，少年22，母親23，父親24，花25，男26およびバス27についての有向グラフが生成されると，ＣＰＵ２によって有向グラフのリンク関係を表すリンク行列Ｌが生成される（ステップ47）。

図10は，リンク行列Ｌの一例である。

図10に示すリンク行列Ｌは，図９に示す有向グラフに含まれる少女21，少年22，母親23，父親24，花25，男26およびバス27の被写体を，行方向および列方向にそれぞれ，花25，母親23，少女21，父親24，少年22，バス27および男26の順に並べたものである。

但し，計算の都合上，いずれの被写体にも「従」となっていない少女21および少年22は，被写体自身以外のすべての被写体に対して「従」として扱っている。すなわち，少女21は，少女21以外のすべての被写体である少年22，母親23，父親24，花25，男26およびバス27の「従」とし，かつ少年22は，少年22以外のすべての少女21，母親23，父親24，花25，男26およびバス27の「従」としている。

リンク行列Ｌの要素は，２つの被写体の主従関係を数値化した主従関係値と考えることができる。主従関係値は，２つの被写体を第１の被写体および第２の被写体とし，第１の被写体と第２の被写体との間に主従関係が存在する場合，第１の被写体を従とする被写体の数の逆数となり，第１の被写体と第２の被写体との間に主従関係が存在しない場合，０と，ＣＰＵ２(主従関係値算出手段)によって算出される。すなわち，第１の被写体が第２の被写体に従属する確率を，第１の被写体を従とし第２の被写体を主とする主従関係についての主従関係値として，含まれている複数の被写体同士の全ての組合せについて並べた確率行列を生成する。もっとも，２つの被写体を第１の被写体および第２の被写体とし，第１の被写体と第２の被写体との間に主従関係が存在する場合，第１の被写体を従とする被写体の数の逆数となり，第１の被写体と第２の被写体との間に主従関係が存在しない場合，０とすることに限定されるわけではなく，第１の被写体と第２の被写体との間に主従関係が存在する場合の値が，第１の被写体と第２の被写体との間に主従関係が存在しない場合の値よりも大きく，かつ第１の被写体と第２の被写体との間に主従関係が存在する場合の値が第１の被写体を従とする被写体の数が多いほど少なくなる値であればよい。

たとえば，花25と母親23との２つの被写体を考えた場合，花25(第１の被写体)は母親23の「従」であり，母親23(第２の被写体)は花25の「主」であるから，花25を「従」，母親23を「主」とした主従関係における主従関係値は，１／(第１の被写体を従とする被写体の数)＝第１の被写体を従とする被写体の数の逆数＝１／４＝0.25となる。

各行は，各行に対応する各列の被写体に対する主従関係において「主」となる被写体が規定されており，各列は，各列に対応する各行の被写体に対応する主従関係において「従」となる被写体が規定されている。たとえば，第２行第１列の要素(主従関係値)は，0.25と規定されているが，この要素は，第２行に規定されている母親23の被写体を「主」，第１列に規定されている花25の被写体を「従」とした場合に，算出される値である。花25を「従」とする他の「主」の被写体である少女21，父親24および少年22についての主従関係値も0.25となる。また，バス27と花25および男26と花25との間には主従関係は存在しないから，要素(主従関係値)は０となる。また，母親23(第２の被写体)を「従」，少女21(第１の被写体)を「主」の主従関係は，少女21を従とする被写体の数は０であるが，その場合には要素は１とする。同様に，母親23と父親24とは，父親24が「従」であり，母親23が「主」であるから，リンク行列Ｌの第２行第４列の要素は0.5となる。また，少年22と父親24とは，父親24が「従」であり，少年22が「主」であるから，リンク行列Ｌの第５行第４列の要素も0.5となる。リンク行列Ｌの他の要素(主従関係値)も同様にしてＣＰＵ２によって算出される。

複数の画像について決定された主従関係に基づいて，第１の被写体を「従」とし第２の被写体を「主」とする関係が存在する場合に，第１の被写体を「従」とし第２の被写体を「主」とする関係が存在しない場合よりも高い主従関係値が，第１の被写体を「従」とし第２の被写体を「主」とする主従関係に与えられてリンク行列Ｌが生成される。また，第１の被写体を「従」とし第２の被写体を「主」とする関係が存在する場合に，複数の被写体のうち第１の被写体を「従」とする被写体の数が多いほど低い主従関係値が，第１の被写体を「従」とし第２の被写体を「主」とする主従関係に与えられてリンク行列Ｌが生成されることとなる。

このように，主従関係は，１枚の画像に対して解析が行われて２つの被写体が特定され，それらの２つの被写体に対して一定の基準にしたがって順位または数値を算出し，その順位または数値が高い被写体を「主」，低い被写体を「従」とすることで求めうる関係のことをいう。一定の基準は，２つの被写体について順位または数値を算出できる基準であれば何でもよい。たとえば，１枚の画像に占める被写体の面積を基準としてもよいし，上述のように，２つの被写体のうち，相対的に画像の中心に近い被写体を「主」とし，相対的に画像の中心から遠い被写体を「従」としてもよい。また，２つの被写体のうち，相対的に彩度，明度または画質の高い被写体を「主」とし，相対的に彩度，明度または画質の低い被写体を「従」としてもよい。このようにすることにより，面積としては小さいが画像の中で重要であるような被写体に高い評価値を与えることが可能となり，人間の鑑賞における評価に近い被写体への評価を客観的に得ることが可能となる。

つづいて，被写体評価値行列ＧがＣＰＵ２によって算出される（ステップ48）。

被写体評価値行列Ｇは，Ｇ＝αＬ＋（１−α）Ａによって算出される。ここで，行列Ａは，すべての被写体である少女21，少年22，母親23，父親24，花25，男26およびバス27が自身の被写体を含めてすべての被写体の「従」となっているという主従関係があることを示している。この行列Ａは，画像20および画像50に含まれるすべての被写体の数である７つの行数および列数をもつもので，図11によって表される。係数αは０から１の間の数であり，係数αを１に近い数とすることにより，被写体の現実の主従関係に近くなり，係数αを小さくすることにより被写体の現実の主従関係よりも主従関係が弱まるような被写体評価値行列Ｇの値が得られる。α＝0.85とすると，被写体評価値行列は，図12によって表される。

被写体評価値行列Ｇの固有値１の固有ベクトルの成分がＣＰＵ２（被写体評価値算出手段）によって算出され（ステップ49），その固有ベクトルの成分が被写体評価値となる。

図13は，被写体評価値テーブルの一例である。

被写体に対応して被写体評価値が表されている。被写体評価値が高いほど複数の画像において重要な被写体とＣＰＵ２によって決定される。少女21，少年22，母親23，父親24，花25，男26およびバス27の被写体評価値のうち，少女21の被写体評価値が最も高いから，少女21が最も重要な被写体であるとＣＰＵ２によって決定されることとなる。同一の画像に存在しない複数の被写体についても，どちらが重要な被写体かを決定できるようになる。たとえば，少女21，少年22の２人の被写体は，同一の画像内での主従関係が存在しないが，少女21の被写体評価値が高くなっている。本実施例の場合は，バス27から男26，男26から父親24，父親24から母親23，母親23から少女21というように，少女21の方がより深い主従関係の頂点に立っているからであると考えられる。このように，本実施例においては，複数の画像それぞれにおいて，被写体間の主従関係を決定することによって，実際に重要と思われる被写体を見つけることが可能となる。

図14から図17は，変形例を示している。

少年22と父親24とは，画像20および画像50の両方の画像において父親24が少年22の「従」であり，父親24と母親23とは，画像50において父親24が母親23の「従」であり，少年22と父親24との主従関係の数の方が父親24と母親23の主従関係の数よりも多い。このように，主従関係の数に偏りがある。上述の実施例においては，主従関係の数の偏りは考慮していないが，この変形例では主従関係の数の偏りが考慮される。

図14は，画像20と画像50とに含まれる被写体の有向グラフであり，図９に対応している。

図14に示す有向グラフにおいては，矢印の横に，第１の被写体を「従」，第２の被写体を「主」とする主従関係を有する画像の数が示されている。父親24(第１の被写体)を「従」，少年22(第２の被写体)を「主」とする少年22と父親24との主従関係は，画像20および画像50の２つの画像にあるから，父親24から少年22に向かう矢印の横には「２」という数字が示されている。父親24(第１の被写体)を「従」，母親23(第２の被写体)を「主」とする父親24と母親23との主従関係は，画像50の１つの画像にあるから，父親24から母親23に向かう矢印の横には「１」という数字が示されている。他の主従関係についても同様である。

図15は，主従関係の数の偏りを考慮したリンク行列Ｌを示すもので，図10に対応している。

図10に示すリンク行列Ｌでは，父親24の列は４列目であり，父親24から少年22への主従関係も父親24から母親23への主従関係もいずれも，優劣をつけずに，父親24が「従」とされる被写体の数である２の逆数である0.5が加入されている。しかしながら，図15に示すリンク行列Ｌでは２行目４列目の要素では，父親24が従とされる主従関係の数である３（父親24と少年22との主従関係の数が２，父親24と母親23との主従関係の数が１で合わせて３），で除された値である0.33が加入されている。同様に，図15に示すリンク行列Ｌでは５行目４列目の要素が父親24から少年22の主従関係の数である２が，父親24が従とされる主従関係の数である３（父親24と少年22との主従関係が２，父親24と母親23との主従関係が１で合わせて３），で除された値である0.66が加入されている。父親24(第１の被写体)と少年22(第２の被写体)との主従関係は，画像20と画像50との２つに存在するのに対し，父親24(第１の被写体)と母親23(第２の被写体)との主従関係は画像50の１つにのみ存在するから，２つの被写体について主従関係を有する画像が多いほど主従関係値が高くなる。第１の被写体を「従」とし，第２の被写体を「主」とする主従関係を有する画像の数が多いほど第１の被写体を「従」とし，第２の被写体を「主」とする主従関係に高い主従関係値が与えられることとなる。このようにして主従関係の数の偏りがリンク行列Ｌに反映される。このようにすることにより，第１の被写体を従とし第２の被写体を主とする主従関係を有する画像の数が，第１の被写体を従とし他の第２の被写体を主とする主従関係を有する画像の数よりも多いほど，その主従関係に高い主従関係値を与えることとなり，結果として主である被写体の被写体評価値が高くなる。（なお，母親23を従とし，少女21を主とする画像も2枚あるが，少女21以外に母親23を従とする被写体がないことから，主従関係の偏りに変化を生じたとは言えず，母親23を従とし少女21を主とする主従関係の主従関係値は変化しない。）

図16は，被写体評価値行列Ｇの一例である。図16は，図12に示す被写体評価値行列Ｇに対応している。

図16は，図15に示すリンク行列Ｌを用いて算出された被写体評価値行列Ｇを示している。

図17は，被写体評価値テーブルの一例である。図17は，図13に示す被写体評価値テーブルに対応している。

図15に示す被写体評価値テーブルで表される被写体の評価値は，少女21，少年22，母親23，父親24，花25（バス27）の順となるが（花25とバス27とは同じ順位），図17に示す被写体評価値テーブルで表される被写体の評価値は，少年22，少女21，父親24，母親23，男26，花25（バス27）の順となる（花25とバス27とは同じ順位）。主従関係の数の偏りを正確に反映した被写体評価値を算出できるようになる。

図18は，被写体評価値テーブルの他の一例を示している。

図18に示す被写体評価値テーブルは，画像20および画像50以外の他の画像についても，上述した処理と同様にして算出された被写体評価値が格納されている。被写体に対応して被写体評価値のほかに，被写体が希少なものかどうかを示す希少評価値も格納されている。

希少評価値は，被写体評価値がその被写体の出現回数で除されることによりＣＰＵ２(希少評価値算出手段)によって算出されている。希少評価値が高い被写体は画像の中での出現回数は少ないが，印象は強くなる。たとえば，本の被写体は，被写体評価値としては低いが希少評価値は高いので，本の印象が強いことが分かる。このようにして，被写体評価値が複数の画像における被写体の出現回数によりそれぞれ除した値(希少評価値)が高いほど，重要被写体と決定することができる。

また，図18に示すように被写体評価値と希少評価値とが得られる場合には，被写体ごとに被写体評価値と希少評価値とを重み付け加算等することにより得られた加算値を算出し，重要被写体の決定に用いてもよい。

１ 被写体評価システム
２ ＣＰＵ(主従関係決定手段，被写体評価値算出手段，希少評価値算出手段)
５ コンパクトディスク(記録媒体)

Claims (12)

1. ２つの被写体についての主従関係を画像に含まれている複数の被写体について決定する主従関係決定処理を，複数の画像について行なう主従関係決定手段，
   上記複数の画像について決定された上記主従関係に基づいて，第１の被写体を従とし第２の被写体を主とする関係が存在する場合に，上記第１の被写体を従とし上記第２の被写体を主とする関係が存在しない場合よりも高い主従関係値を，上記第１の被写体を従とし上記第２の被写体を主とする主従関係に与え，かつ，上記第１の被写体を従とし上記第２の被写体を主とする関係が存在する場合に，上記複数の被写体のうち上記第１の被写体を従とする被写体の数が多いほど低い上記主従関係値を，上記第１の被写体を従とし上記第２の被写体を主とする主従関係に与える主従関係値算出手段，および
   上記主従関係値算出手段によって算出された上記主従関係値に基づいて，上記被写体ごとに被写体評価値を算出する被写体評価値算出手段，
   を備えた被写体評価システム。
2. 上記主従関係値算出手段は，上記第１の被写体を従，上記第２の被写体を主とする関係が存在する場合，上記主従関係値を，第１の被写体を従とする上記被写体の数の逆数と算出し，上記第１の被写体を従，上記第２の被写体を主とする関係が存在しない場合，上記主従関係値を０と算出する，
   請求項１に記載の被写体評価システム。
3. 上記主従関係決定手段における上記主従関係決定処理は，
   ２つの被写体が重なっている場合には，前方に存在する被写体を主とし，後方に存在する被写体を従とする，
   請求項１または２に記載の被写体評価システム。
4. 上記主従関係決定手段における上記主従関係決定処理は，
   ２つの被写体が離れている場合には，主従関係を決定しないものとする，
   請求項１から３のうち，いずれか一項に記載の被写体評価システム。
5. 上記主従関係決定手段における主従関係決定処理は，
   ２つの被写体のうち相対的に画像の中心に近い被写体を主とし，相対的に画像の中心から遠い被写体を従とする，
   請求項１から４のうち，いずれか一項に記載の被写体評価システム。
6. 上記主従関係決定手段における主従関係決定処理は，
   ２つの被写体のうち相対的に彩度，明度または画質の高い被写体を主とし，相対的に彩度，明度または画質の低い被写体を従とする，
   請求項１から５のうち，いずれか一項に記載の被写体評価システム。
7. 上記被写体評価値算出手段は，
   上記第１の被写体を従とし上記第２の被写体を主とする主従関係を有する画像の数が多いほど，上記第１の被写体を従とし上記第２の被写体を主とする主従関係に高い主従関係値を与える，
   請求項１から６のうち，いずれか一項に記載の被写体評価システム。
8. 上記被写体評価値算出手段によって算出された被写体評価値を，上記複数の画像における被写体の出現回数によりそれぞれ除した被写体希少度を算出する被写体希少度算出手段，
   をさらに備えた請求項１から７のうち，いずれか一項に記載の被写体評価システム。
9. 上記被写体は上記画像に付与されているタグから決定される，
   請求項１から８のうち，いずれか一項に記載の被写体評価システム。
10. 主従関係決定手段が，２つの被写体についての主従関係を画像に含まれている複数の被写体について決定する主従関係決定処理を，複数の画像について行ない，
    主従関係値算出手段が，上記複数の画像について決定された上記主従関係に基づいて，第１の被写体を従とし第２の被写体を主とする関係が存在する場合に，上記第１の被写体を従とし上記第２の被写体を主とする関係が存在しない場合よりも高い主従関係値を，上記第１の被写体を従とし上記第２の被写体を主とする主従関係に与え，かつ，上記第１の被写体を従とし上記第２の被写体を主とする関係が存在する場合に，上記複数の被写体のうち上記第１の被写体を従とする被写体の数が多いほど低い上記主従関係値を，上記第１の被写体を従とし上記第２の被写体を主とする主従関係に与え，
    被写体評価値算出手段が，上記主従関係値算出手段によって算出された上記主従関係値に基づいて，上記被写体ごとに被写体評価値を算出する，
    被写体評価方法。
11. 被写体評価システムのコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    ２つの被写体についての主従関係を画像に含まれている複数の被写体について決定する主従関係決定処理を，複数の画像について行なわせ，
    上記複数の画像について決定された上記主従関係に基づいて，第１の被写体を従とし第２の被写体を主とする関係が存在する場合に，上記第１の被写体を従とし上記第２の被写体を主とする関係が存在しない場合よりも高い主従関係値を，上記第１の被写体を従とし上記第２の被写体を主とする主従関係に与え，かつ，上記第１の被写体を従とし上記第２の被写体を主とする関係が存在する場合に，上記複数の被写体のうち上記第１の被写体を従とする被写体の数が多いほど低い上記主従関係値を，上記第１の被写体を従とし上記第２の被写体を主とする主従関係に与え，
    算出された上記主従関係値に基づいて，上記被写体ごとに被写体評価値を算出させるように被写体評価システムのコンピュータを制御するプログラム。
12. 請求項11に記載のプログラムを格納した記録媒体。

Images