JP5908849B2 - 画像評価装置、画像評価方法、プログラム、集積回路 - Google Patents

画像評価装置、画像評価方法、プログラム、集積回路 Download PDF

Info

Publication number
JP5908849B2
JP5908849B2 JP2012557818A JP2012557818A JP5908849B2 JP 5908849 B2 JP5908849 B2 JP 5908849B2 JP 2012557818 A JP2012557818 A JP 2012557818A JP 2012557818 A JP2012557818 A JP 2012557818A JP 5908849 B2 JP5908849 B2 JP 5908849B2
Authority
JP
Japan
Prior art keywords
image
evaluation
images
degree
importance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012557818A
Other languages
English (en)
Other versions
JPWO2012111275A1 (ja
Inventor
博史 薮
博史 薮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2012111275A1 publication Critical patent/JPWO2012111275A1/ja
Application granted granted Critical
Publication of JP5908849B2 publication Critical patent/JP5908849B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Description

本発明は適切な画像を配置してアルバムを作成するための技術に関する。
近年、デジタルカメラの普及や記録メディアの容量増加により、ひとりのユーザが膨大な数の画像を撮影し、保存することが可能となってきている。その反面、膨大な数の画像の中から、適した画像だけを抜き出してアルバムを作成する作業が困難となりつつある。
これに関して、特許文献１には、アルバム作成を支援する技術が記載されている。この特許文献１では、アルバムの１つの画像挿入領域に、目標値を設定した上で、その目標値に近い画像を表示するとしている。
特許第4315344号公報
ところで、アルバムを作成するにあたっては、各画像を孤立して配置させるのではなく、画像同士の組み合わせを意味のある組み合わせとすることができれば、より見やすいアルバムになると考えられる。
この点、特許文献１では、あくまでも１つの画像挿入領域に目標値に似た１枚の画像を挿入するという発想であり、画像同士の組み合わせを考慮して配置するような構成の開示はない。
本発明はこのような背景の元になされたものであって、アルバムに適した画像の選択および選択した画像の配置を、画像間の組み合わせを基に評価することができる画像評価装置を提供することを目的とする。
上記課題を解決するために、本発明に係る画像評価装置は、画像を配置するためのＮ個（Ｎは２以上の自然数）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有するテンプレートを記憶するテンプレート記憶手段と、複数の画像を取得する取得手段と、取得された複数の画像の中からＮ枚の画像を選択して前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価手段と、前記評価手段により算出された配置パターン毎の評価値を記憶する評価値記憶手段とを備え、前記評価手段は、前記評価値記憶手段に記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定することを特徴とする。
本発明に係る画像評価装置によれば、上記枠セットに配置される画像それぞれの特徴量を組み合わせた評価項目に基づいた評価値を算出する。
このため、アルバムに適した画像の選択および選択した画像の配置を、画像間の組み合わせを基に評価することができる。
実施の形態１における画像評価システムのブロック図 全体フローチャート 画像取得・オブジェクトと背景とイベント抽出の詳細を示すフローチャート オブジェクトクラスタリングの動作の具体例を示すイメージ図 オブジェクトクラスタ情報のデータ構造を示す図 背景特徴量の抽出動作の具体例を示すイメージ図 背景特徴量のデータ構造を示す図 イベントクラスタリングの動作の具体例を示すイメージ図 イベントクラスタ情報のデータ構造を示す図 画像評価の詳細を示すフローチャート オブジェクト重要度算出の詳細を示すフローチャート オブジェクト重要度のデータ構造を示す図 背景重要度算出の詳細を示すフローチャート 背景重要度の算出動作の具体例を示す図 背景重要度のデータ構造を示す図 画像セット評価の詳細を示すフローチャート オブジェクト紹介度算出の詳細を示すフローチャート オブジェクト紹介度算出の動作の具体例を示すイメージ図 オブジェクト行動度算出の詳細を示すフローチャート オブジェクト行動度算出の動作の具体例を示すイメージ図 場面遷移度算出の詳細を示すフローチャート 場面遷移度算出の動作の具体例を示すイメージ図 場面全体像度算出の詳細を示すフローチャート 場面全体像度算出の動作の具体例を示すイメージ図 画像セット情報のデータ構造を示す図 配置パターン評価の詳細を示すフローチャート テンプレート情報のデータ構造を示す図 配置パターン評価の動作の具体例を示すイメージ図その１ 配置パターン評価の動作の具体例を示すイメージ図その２ 配置パターン情報のデータ構造を示す図 テンプレート情報のデータ構造を示す図 アルバム表示の例を示す図 テンプレート選択の例を示す図 （ａ）テンプレート情報のデータ構造を示す図（ｂ）アルバム表示の例を示す図 （ａ）テンプレート情報のデータ構造を示す図（ｂ）アルバム表示の例を示す図 配置パターン情報のデータ構造を示す図 枠と評価項目との関係を示す図 （ａ）テンプレート情報の例を示す図（ｂ）配置パターンとその評価値を示す図 画像の絞り込みの例を示す図 画像の絞り込みの例を示す図 数式の例を示す図 数式の例を示す図 数式の例を示す図 数式の例を示す図
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
＜構成＞
以下、実施の形態１について図面を参照しながら説明する。
図１は、実施の形態１における画像評価装置の原理的な構成を示すブロック図である。
図１に示すように、画像評価システム１は、記憶媒体２、画像評価装置３およびディスプレイ４を含んで構成される。
画像評価装置３は、画像取得部１０、オブジェクト抽出部２０（オブジェクト特徴量抽出部２１、オブジェクトクラスタリング部２２を含む）、イベント抽出部３０（撮影日時情報抽出部３１、イベントクラスタリング部３２を含む）、背景抽出部４０（背景特徴量抽出部４１を含む）、画像評価部５０（オブジェクト重要度算出部５１、背景重要度算出部５２を含む）、記憶部９０（テンプレート情報記憶部９１、オブジェクトクラスタ情報記憶部９２、オブジェクト重要度記憶部９３、背景特徴量記憶部９４、背景重要度記憶部９５、イベントクラスタ情報記憶部９６、画像セット情報記憶部９７、配置パターン記憶部９８を含む）、アルバム情報選択部６０（イベントクラスタ選択部６１、テンプレート選択部６２を含む）、画像セット評価部７０（オブジェクト紹介度算出部７１、場面遷移度算出部７２、オブジェクト行動度算出部７３、場面全体像度算出部７４を含む）、配置パターン評価部８０、表示制御部１００を備える。
画像取得部１０は、記憶媒体２から画像データを取得する。画像取得部１０は例えばＳＤカードリーダーから構成され、ＳＤカードスロット内に挿入されたＳＤメモリカードとしての記憶媒体２から画像データを取得する。
オブジェクト抽出部２０は、取得された画像データからオブジェクトを抽出し、抽出したオブジェクトのクラスタリングを行う。
具体的には、オブジェクト特徴量抽出部２１が、画像取得部１０が取得した画像データを対象として、画像からオブジェクトの写る領域を切り出し、そのオブジェクトの特徴量を抽出する。
そして、オブジェクトクラスタリング部２２が、抽出した特徴量に基づいてクラスタリングを行い、その結果を示す情報をオブジェクトクラスタ情報記憶部９２に記憶させる。なお、以下では、オブジェクトは人の顔であるとして説明を行う。
上記抽出やクラスタリングは一般的な手法を用いることができる。一例として、画像からオブジェクト特徴量を抽出する方法については、Gaborフィルタによる抽出手法（後述の参考文献１参照）を用いることができる。
また、オブジェクト特徴量のクラスタリング手法については、非階層的な手法（固定されたクラスタのそれぞれに代表を与えてクラスタリングする手法）の１つである、k-means法（参考文献１参照）を用いることができる。
背景抽出部４０は、画像取得部１０が取得した画像データを対象として、背景（画像のうち、オブジェクト特徴量抽出部２１が切り出した領域を除く領域）の背景特徴量を抽出し、抽出した情報を背景特徴量情報記憶部９４に記憶させる。背景特徴量を抽出する手法については、画像を区分し、区分した領域における頻度の高い色特徴量を代表色として抽出し、代表色のヒストグラムを背景特徴量とする。
イベント抽出部３０は、画像取得部１０が取得した画像データを、イベントに基づいて分類する。
つまり、撮影日時情報抽出部３１は、画像取得部１０が取得した画像データを対象として、画像に付加された撮影日時情報を抽出する。
イベントクラスタリング部３２は、抽出した撮影日時情報に基づいて画像を複数のイベントへとクラスタリングする。そして、クラスタリングした結果を示す情報をイベントクラスタ情報記憶部９６に記憶させる。
なお、イベントのクラスタリング手法については、任意の時間を閾値として設定し、画像同士の撮影日時の差分が閾値を超えていたものを、イベントの区切りとする手法を用いることができる（参考文献２参照）。
画像評価部５０は、オブジェクト重要度算出部５１と背景重要度算出部５２とを含む。
オブジェクト重要度算出部５１は、オブジェクトクラスタ情報記憶部９２に記憶されたオブジェクトクラスタ情報に基づいて、画像に写る人物などのオブジェクトそれぞれの重要度を示すオブジェクト重要度を算出し、算出した情報をオブジェクト重要度記憶部９３に記憶させる。
この算出方法のあらましとしては、画像に表れるオブジェクトの出現頻度が多いクラスタほど高いオブジェクト重要度と算出するようにする。
一例として、
・画像取得部１０が取得した画像の枚数・・・１００枚
・人物ａが写る画像の枚数・・・３０枚
・人物ｂが写る画像の枚数・・・２０枚
・人物ｃが写る画像の枚数・・・１０枚
とする。この場合、オブジェクト重要度算出部５１は、出現する画像枚数に応じ、人物ａの重要度を３０、人物ｂの重要度を２０、人物ｃの重要度を１０と算出する（図１２参照）。
なお、付加的な要素として、各画像に写る人物の大きさ（占有度）を計算し、占有度が大きいほど重要度が高くなるようにしてもよい。
背景重要度算出部５２は、オブジェクトクラスタ情報記憶部９２に記憶されたオブジェクトクラスタ情報とイベントクラスタ情報記憶部９６に記憶されたイベントクラスタ情報と背景特徴量情報記憶部９４に記憶された背景特徴量に基づいて、ある同一イベントに属する画像それぞれの背景重要度を算出し、算出した背景重要度を背景重要度記憶部９５に記憶させる。この背景重要度の算出方法の詳細については図１４を用いて後述する。
記憶部９０は、テンプレート情報記憶部９１、オブジェクトクラスタ情報記憶部９２、オブジェクト重要度記憶部９３、背景特徴量情報記憶部９４、背景重要度記憶部９５、イベントクラスタ情報記憶部９６、画像セット情報記憶部９７、配置パターン記憶部９８を含む。記憶部は例えばＲＡＭから構成することができる。
アルバム情報選択部６０は、アルバムに関する情報（イベントおよびテンプレート）の選択に関する処理を行う機能を有する。
特に、イベントクラスタ選択部６１は、アルバムの作成に用いる画像が属するイベントを選択する機能を有する。
例えば、イベントクラスタ情報記憶部９６に３種類のイベントが記憶されているとする。この場合、イベントクラスタ選択部６１は、この３種の中から１種のイベントを選択する。この選択は、ユーザにイベント選択のメニューをディスプレイ４に表示し、入力デバイスからの入力を受け付けることにより行うとしてもよい。
テンプレート選択部６２は、テンプレート情報記憶部９１が記憶する複数種類のテンプレートの中から１種類のテンプレートを選択する。
詳しくは後述するが、テンプレート情報記憶部９１は、テンプレート毎に、（ａ）フレームのレイアウトなどを示すデザインに関する情報と、（ｂ）一対のフレームに配置される一対の画像に関する評価項目に関する情報とを記憶している。
配置パターン評価部８０は、テンプレート選択部６２が選択したテンプレートに対して、イベントクラスタ選択部６１が選択したイベントクラスタに属する画像を配置した際の配置パターン（複合画像セット）毎に評価値を算出し、算出した評価値を配置パターン情報記憶部９８に記憶させる。そして、配置パターン評価部８０は、評価値が最上位の配置パターンに対応するアルバムを作成する。
例えば、選択されたテンプレートのフレームの数が６個、選択されたイベントクラスタに属する画像の枚数が８枚とすると、８枚の画像を６個のフレームに配置するパターンは、順列で考えると、８！／（８−６）！＝２０１６０通りである。
この場合、配置パターン評価部８０は、総当たりアルゴリズムにしたがって、この２０１６０通りすべての配置パターン毎に評価値を算出する。
評価値の細部の算出は画像セット評価部７０が担当する。評価値の算出に際しては、
（ａ）イベントクラスタ情報、（ｂ）オブジェクトクラスタ情報、（ｃ）背景特徴量、（ｄ）オブジェクト重要度、（ｅ）背景重要度、これら（ａ）〜（ｅ）の要素を用いて、一対の枠に対して配置される一対の画像（画像セット）の評価を行うこととなる。
そして、評価値を構成する評価項目には次の４種類があり、各評価項目の概要、および評価の高低に用いる判断要素（カッコ内に簡単な理由を記載する。）の説明は次の通りである。
（評価項目１）「オブジェクト紹介度」・・・画像に写るオブジェクトの紹介性への適応度を示す。
（評価項目１の判断要素）
一対の画像に、より多種類の人物が写っているほど高評価
一対の画像に、写っている人物がより重要なほど高評価
（評価項目２）「オブジェクト行動度」・・・ある場面におけるオブジェクトの行動の度合いを示す。
（評価項目２の判断要素）
両方の画像に同一人物が写っていることが評価の前提条件
・写っている同一人物の重要度が高いほど高評価
・両方の画像の背景重要度が高いほど高評価
・一対の画像間の背景がより類似しているほど高評価（画像間で同じ場面との推測が働くため）
・一対の画像間の撮影日時がより近いほど高評価（日時が近いならば、両方の画像が同じ場面で撮影された一連の画像の関係にあるとの推測が働くため）
（評価項目３）「場面遷移度」・・・場面間の移り変わりの度合いを示す。
（評価項目３の判断要素）
・両方の画像の背景重要度が高いほど高評価
・一対の画像間の背景が非類似であるほど高評価（画像間で場面が異なるとの推測が働くため）
・一対の画像間の撮影日時がより遠いほど高評価（日時が遠いならば、その日時の間で撮影者が移動するなどして、画像間で場面が異なるとの推測が働くため）
（評価項目４）「場面全体像度」・・・特定の場面を振り返るための評価項目であり、ある人物が寄りと引きで写る場合に、この寄り引きの対照性の度合いを示す。
（評価項目４の判断要素）
一対の画像の少なくとも１枚の画像に人物が写っていることが評価の前提条件
・両方の画像の背景重要度が高いほど高評価
・一対の画像間に写っている人物の大きさが異なるほど高評価（寄り引きを示す）
・一対の画像間の背景がより類似しているほど高評価
・一対の画像間の撮影日時がより近いほど高評価
以上が４種類の評価項目１〜４の概要である。なお上に示した各評価項目１〜４の判断要素中で列挙したものはあくまでも一例であり、これに限られるものではない。
また、評価項目２，４のオブジェクト行動度，場面全体像度の両者は背景の類似性に着目するものであり、背景が類似する画像間で同一のオブジェクトクラスタに係る変化度を示すものといえる。
さて、画像セット評価部７０では、オブジェクト紹介度算出部７１、場面遷移度算出部７２、オブジェクト行動度算出部７３および場面全体像度算出部７４が、それぞれオブジェクト紹介度、場面遷移度、オブジェクト行動度および場面全体像度を算出する。
表示制御部１００は、ディスプレイ４に各種表示を行わせる機能を有する。
特に、表示制御部１００は、配置パターン情報記憶部９８に記憶された配置パターンの評価値とテンプレート情報記憶部９１に記憶されているテンプレート情報とに基づいて、アルバムの台紙であるテンプレートに、ある配置パターン（例えば、評価値が最高の配置パターン）にしたがって画像を当てはめたアルバムをディスプレイ４の画面に表示させる。
＜動作＞
以下、画像の配置パターンを評価するまでの流れについて説明する。
図２は、全体的な処理の流れを示すフローチャートである。画像評価装置３は、画像取得・オブジェクトと背景とイベント抽出（Ｓ２１）、画像評価（Ｓ２２）を行い、イベントクラスタ情報記憶部９６からイベントクラスタ情報を取得し、取得した複数のイベントクラスタの中から、ユーザから受け付けることにより、ユーザがアルバムにしたいイベントを選択し（Ｓ２３）、テンプレート情報記憶部９１からテンプレート情報を取得し、ユーザがアルバムの台紙とするテンプレートを選択する（Ｓ２４）。次に、選択されたイベントクラスタに属する画像群から２枚の画像（一対の画像）を設定し（Ｓ２５）、設定した一対の画像の画像セット評価（Ｓ２６）を行い、イベントクラスタに属する全ての画像の組み合わせを設定していなければ（Ｓ２７：Ｎｏ）、Ｓ２５に戻り、組み合わせていなかった２枚の画像を設定する。また、イベントクラスタに属する全ての画像の組み合わせを設定していれば（Ｓ２７：Ｙｅｓ）、配置パターン評価（Ｓ２８）を行い処理を終える。
続いて、ステップＳ２１の画像取得・オブジェクトと背景とイベント抽出の処理について図３を参照しながら説明する。
図３に示すように、画像取得部１０は、記憶媒体２から、記憶媒体２内に記憶された画像データを取得する（Ｓ３１）。
ここでは、一例として、記憶媒体２内には、図４のような人物ａや人物ｂが写る画像Ａ〜画像Ｃの３枚分の画像データが記憶されており、画像取得部１０はこの画像Ａ〜画像Ｃの画像データを取得するものとする。
続いて、オブジェクト抽出部２０は、取得された画像データを対象として、画像から顔の領域を切り出し、顔の輪郭などの特徴量や画像に対する顔の写る割合（占有度）などの顔特徴量を抽出する（Ｓ３２）。
そして、オブジェクトクラスタリング部２２は、抽出された顔特徴量を用いてクラスタリングを行い、クラスタリングした結果であるオブジェクトクラスタ情報をオブジェクトクラスタ情報記憶部９２に記憶させる（Ｓ３３）。
次に、背景抽出部４０の背景特徴量抽出部４１は、取得された画像データを対象として、背景特徴量を抽出し、背景特徴量情報記憶部９４に記憶させる（Ｓ３４）。この背景特徴量とは、画像の背景の領域（画像のうち、オブジェクトとして切り出された領域を除く領域）の色特徴量に関する情報である。その詳細は図６を用いて後述する。
そして、イベント抽出部３０の撮影日時情報抽出部３１は、取得された画像データを対象として、デジタルカメラ等で撮影された画像に付与されたExif（Exchangeable image file format）情報から撮影日時情報を抽出する（Ｓ３５）。そして、イベントクラスタリング部３２は、抽出された撮影日時情報を用いてクラスタリングを行い、クラスタリングした結果であるイベントクラスタ情報をイベントクラスタ情報記憶部９６に記憶させる（Ｓ３６）。
図４を用いて、ステップＳ３２、Ｓ３３の動作を具体的に説明すると、オブジェクト特徴量抽出部２１は、３枚の画像Ａ〜画像Ｃ（図４（ａ））から４つの顔Ｆ１〜Ｆ４を切り出し、顔Ｆ１〜Ｆ４それぞれの特徴量を抽出する（図４（ｂ））。
そして、オブジェクトクラスタリング部２２は、４つの顔Ｆ１〜Ｆ４のうち、類似している顔同士の顔Ｆ２、Ｆ３を人物ａとして、また顔Ｆ１、Ｆ４を人物ｂとクラスタリングする（図４（ｃ））。
図５は、オブジェクトクラスタリング（Ｓ３３）の結果を示すオブジェクトクラスタ情報のデータ構造を示す図である。オブジェクトクラスタ情報は、画像に出現する顔のそれぞれがどの人物クラスタに属しているかを示す情報であり、「オブジェクトクラスタ名」、「顔」、「画像」、「顔の占有度」の項目を含む。
図６を用いて、ステップＳ３４の動作を具体的に説明すると、背景特徴量抽出部４１は、３枚の画像Ａ〜画像Ｃ（図６（ａ））それぞれについて、３２個の領域に区分し（図６（ｂ））、その中から顔以外の領域である背景領域の区分において最も頻出する色をその区分の代表色として抽出し、抽出した代表色による各画像の色ヒストグラムを背景特徴量として算出する（図６（ｃ））。
そして、顔領域の大きさによる偏りを除くために、各背景特徴量に、（３２個／背景領域の個数）を掛け合わせる（正規化）。具体的には、画像Ａ，画像Ｂ，画像Ｃの各背景特徴量に、それぞれ３２／１８，３２／２５，３２／２２を掛け合わせる。
なお、ここでは一例として、画像Ａ、Ｂ、Ｃそれぞれの背景特徴量として、各画像の上部と下部に分かれたそれぞれ５色の代表色（黒・白・赤・緑・青）のヒストグラムを算出している。
背景特徴量抽出部４１は、正規化後の各背景特徴量を、背景特徴量情報記憶部９４に記憶させる（図７参照）。
図８を用いて、ステップＳ３５、Ｓ３６の動作を具体的に説明すると、撮影日時抽出部３１は、４枚の画像Ａ〜画像Ｄ（図８（ａ））からそれぞれ撮影日時を抽出する（図８（ｂ））。撮影日時の抽出方法としては、例えばデジタルカメラ等で撮影された画像に付与されるExif情報から撮影日時を抽出することができる。そして、イベントクラスタリング部３２は、４つの撮影日時の内、日時が近い画像同士の画像Ａ，Ｂをイベントｆとして、また画像Ｃ，Ｄをイベントｇとクラスタリングする（図８（ｃ））。
図９は、イベントクラスタリング（Ｓ３６）の結果を示すイベントクラスタ情報のデータ構造を示す図である。イベントクラスタ情報は、画像がどのイベントクラスタに属しているかを示す情報であり、「イベントクラスタ名」、「画像」、「撮影日時」の項目を含む。
図２に戻って説明を続ける。次に、画像評価（Ｓ２２）の処理について、図１０を用いて説明する。画像評価部は、画像に写るオブジェクトの重要度を算出するオブジェクト重要度を算出し（Ｓ１０１）、次に画像の背景の重要度を算出する（Ｓ１０２）。
図１１を用いて、オブジェクト重要度を算出する処理（Ｓ１０１）について、説明する。オブジェクト重要度算出部５１は、オブジェクトクラスタ情報記憶部９２からオブジェクトクラスタ情報を取得する（Ｓ１１１）。
オブジェクト重要度算出部５１は、取得されたオブジェクトクラスタ情報に基づいて、オブジェクトクラスタ毎に、オブジェクト重要度を算出する（Ｓ１１２）。
例えば、オブジェクトクラスタ毎に、画像に写るオブジェクトが属するオブジェクトクラスタの数をカウントし、カウントした数から出現頻度を求める。そして、出現頻度に比例するようにオブジェクト重要度を算出する。
これは、ユーザが重要と考えるオブジェクトを、ユーザは頻繁に撮影する傾向から考慮されたものであり、全ての画像において出現頻度が高いオブジェクトは重要であろうという考えに依拠する。
図１２は、オブジェクト重要度算出の結果を示すオブジェクト重要度のデータ構造を示す図である。オブジェクト重要度記憶部９３が記憶するオブジェクト重要度は、画像に写るオブジェクトの重要度を示す情報であり、「オブジェクトクラスタ名」「オブジェクト重要度」「順位」の項目を含む。ここでは一例として、画像に写る人物ａ，人物ｂおよび人物ｃそれぞれのオブジェクト重要度を３０，２０，１０とし、そしてその重要度に基づいた順位が付与されている。
図１０に戻って画像評価の処理に関する説明を続ける。次に背景重要度を算出する処理（Ｓ１０２）について、図１３を用いて説明する。背景重要度算出部５２は、イベントクラスタ情報記憶部９６からイベントクラスタ情報、背景特徴量情報記憶部９４から背景特徴量を取得する（Ｓ１３１）。
背景重要度算出部５２は、取得されたイベントクラスタ情報と背景特徴量に基づいて、ユーザがステップＳ２３（図２参照）で選択したイベントクラスタに属する画像群を特定する。そして、特定した画像群から任意の２枚の画像間の背景特徴量の類似度を算出する（Ｓ１３２）。
例えば、選択されたイベントクラスタの画像群が画像Ｃから画像Ｆまでの４枚（図１４参照）とすると、背景重要度算出部５２は、この４枚の中から２枚の画像の各組み合わせ（4Ｃ2＝４＊３／２＝６通りある。）について、ぞれぞれ背景特徴量の類似度を算出することとなる。
ステップＳ１３２に続いて、背景重要度算出部５２は、選択されたイベントクラスタに属する画像群の各画像について、その画像とそれ以外の他の画像との背景特徴量の類似度の総和を、対象画像の背景頻度として算出する（Ｓ１３３）。
例えば、選択されたイベントクラスタの画像群が画像Ｃから画像Ｆまでの４枚（図１４参照）とすると、画像Ｃの背景頻度は、画像Ｃと、画像Ｃ以外の画像Ｄ〜画像Ｆのいずれかの１枚とを組み合わせた背景特徴量の類似度の総和となる。つまり、
画像Ｃの背景頻度＝画像ＣＤ間の背景特徴量の類似度＋画像ＣＥ間の背景特徴量の類似度＋画像ＣＦ間の背景特徴量の類似度
となる。
これは、イベントにおいてユーザは重要な場面で頻繁に撮影をする傾向を考慮したものであり、類似する背景の画像数が多い（背景頻度が高い）ほど、その背景が写る画像が重要な場面であると考える。
続いて、背景重要度算出部５２は、オブジェクトクラスタ情報記憶部９２からオブジェクトクラスタ情報とオブジェクト重要度情報記憶部９３からオブジェクト重要度を取得する（Ｓ１３４）。
背景重要度算出部５２は、取得されたオブジェクトクラスタ情報とオブジェクト重要度情報とＳ１３２で算出された画像間の背景特徴量の類似度に基づいて、画像に写る背景と類似する背景の画像において、重要な人物が一緒に写る（共起する）度合いを示すオブジェクト共起度を算出する（Ｓ１３５）。
これは、イベントにおいてユーザは重要な場面で人物を頻繁に撮影する傾向を考慮したものであり、人物が写る背景と類似する背景の画像は、重要な画像であると考える。
そして、背景重要度算出部５２は、算出された画像の背景頻度とオブジェクト共起度に基づいて、背景重要度を算出し、背景重要度情報記憶部９５に記憶させる（Ｓ１３６）。
図１４を用いて、ステップ１３２〜１３６を具体的に説明する。
図１４（ａ）の画像Ｃ〜画像Ｆのうち、画像Ｃ〜画像Ｅは、浜辺で撮影された画像であるのに対して、画像Ｆだけは道路で撮影された画像である。
このため、画像Ｃから画像Ｅまで２枚を組み合わせたときのの背景類似度（０〜１の範囲であり、０が最も非類似、１が最も類似であることを示す。）は比較的高い値となっている。例えば、画像ＣＥ間は０．８、画像ＤＥ間は０．７である。
これに対して、画像Ｆを含めて２枚を組み合わせたときの背景類似度は低い値となっており、画像ＣＦ間、画像ＤＦ間および画像ＥＦ間すべて０．１である。
図１４（ｂ）は背景頻度を算出する例を示し、画像Ｅの背景頻度（１．６）は、画像ＣＥ間（０．８）、画像ＤＥ間（０．７）および画像ＥＦ間（０．１）の背景特徴量の類似度の総和となっている。
図１４（ｃ）は、人物共起度（オブジェクト共起度）を算出する例を示す。人物共起度は、画像Ｃ・Ｄに写る人物の重要度と算出した背景特徴量の類似度をそれぞれ掛け合わせ、算出された値の総和を求めることにより算出する。
そして、算出した背景類似度と人物共起度掛け合わせ、背景重要度を算出する（図１４（ｄ））。
図１４では一例として、画像Ｃ〜画像Ｆの画像から、画像Ｅと画像Ｆの背景重要度を算出している。この場合、人物が写る画像との背景が類似する画像Ｅの背景重要度が高く算出され、画像Ｆの背景重要度が低く算出される。
図１５は、背景重要度算出（Ｓ１３６）の結果を示す背景重要度のデータ構造を示す図である。背景重要度は、画像に写るオブジェクト以外の領域で、イベントの場面を示す背景の重要度を示す情報であり、「画像ＩＤ」「背景重要度」「順位」の項目を含む。ここでは一例として、画像Ａ、Ｂそれぞれの背景重要度０．６、０．４、そして背景重要度による順位を記憶している。
図２に戻って説明を続ける。次に画像セット評価（Ｓ２６）の処理について、図１６を用いて説明する。
画像セット評価部７０は、図２のステップＳ２３〜Ｓ２５を経て設定された２枚の画像（画像セット）に基づいて、以下の４種類の評価を行う。
まず、それぞれ違う重要な人物が写る画像の組み合わせを評価するオブジェクト紹介度を算出する（Ｓ１６１）。
続いて、同一の重要な場面で同一の重要な人物が写る画像の組み合わせを評価するオブジェクト行動度を算出する（Ｓ１６２）。
次に、それぞれ違う重要な場面の画像組合せを評価する場面遷移度を算出する（Ｓ１６３）。
そして、同一の重要な場面で重要な人物が寄りと引きで写る画像の組み合わせを評価する場面全体像度を算出する（Ｓ１６４）。
この４種類の評価により、イベントの参加者が分かる画像セット（オブジェクト紹介度）、特定の参加者がイベントで行なった行動が分かる画像セット（オブジェクト行動度）、イベントで参加者が行った場所が分かる画像セット（場面遷移度）、特定の場所の詳細が分かる画像のセット（場面全体像度）を導出することができる。
つまり、これら４種類の評価により、イベントで誰がどこでどんな場所でどんなことをしたのかを、効率的に振り返れる画像の組合せを導出することができる。次に、これら４種類の画像セットの評価の算出方法について、具体的に説明する。
図１７を用いて、オブジェクト紹介度を算出する処理（Ｓ１６１）について、説明する。オブジェクト紹介度算出部７１は、オブジェクトクラスタ情報記憶部からオブジェクトクラスタ情報、オブジェクト重要度情報記憶部からオブジェクト重要度を取得する（Ｓ１７１）。
オブジェクト紹介度算出部７１は、取得されたオブジェクトクラスタ情報とオブジェクト重要度情報に基づいて、設定された両画像にオブジェクトが写っていなければ（Ｓ１７２：Ｎｏ）、図１６のステップ１６２に移行し、これに対して、両画像にオブジェクトが写っていれば（Ｓ１７２：Ｙｅｓ）、両画像に写る各オブジェクトの重要度を総和でオブジェクト紹介度を算出し、算出したオブジェクト紹介度を画像セット情報記憶に記憶させる（Ｓ１７３）。
これは、イベントにおいて、ユーザが参加した全てのメンバを振り返る傾向を考慮したものであり、それぞれ違う重要な人物が写る画像セットであるほど、重要な画像セットと考える。
図１８を用いて、ステップ１７３を具体的に説明すると、オブジェクト紹介度算出部７１は、８枚の画像Ｇ〜画像Ｎ（図１８（ａ））から、例えば画像セットＧＨ（画像Ｇと画像Ｈの組み合わせ）では、画像Ｇに写る人物ｂ，ｃと、画像Ｈに写る人物ａとのオブジェクト重要度を総和を求め、この総和を画像セットのオブジェクト紹介度として算出する（図１８（ｂ））。
図１８（ｂ）では、浜辺での画像Ｇ〜画像Ｉ、海上での画像Ｊ〜画像Ｍ，道路での画像Ｎの８つの画像から、画像セットＧＨと画像セットＪＫ（画像Ｊと画像Ｋの組合せ）のオブジェクト紹介度を算出している。この場合、家族が全員揃っている画像セットＧＨのオブジェクト紹介度が高く算出され、家族が揃っていない画像セットＪＫのオブジェクト紹介度が低く算出される。
なお、図１８（ｂ）左下部に示した画像セットＨＪでは、画像Ｈ，画像Ｊ共に同一人物である人物ａが写っているため、オブジェクト重要度を加算しないとしている。同一人物の組み合わせは、多様な人物の紹介には寄与しない（相違する人物の組み合わせの方が好ましい）と考えられるからである。
図１９を用いて、オブジェクト行動度を算出する処理（Ｓ１６２）について、説明する。オブジェクト行動度算出部７３は、オブジェクトクラスタ情報記憶部９２からオブジェクトクラスタ情報、オブジェクト重要度情報記憶部９３からオブジェクト重要度、背景特徴量情報記憶部９４から背景特徴量、背景重要度情報記憶部９５から背景重要度、イベントクラスタ情報記憶部９６から撮影日時情報を取得する（Ｓ１９１）。
オブジェクト行動度算出部７３は、取得されたオブジェクトクラスタ情報に基づいて、設定された両画像に同一オブジェクトが写っていなければ（Ｓ１９２：Ｎｏ）、図１５のステップ１６３に移行し、両画像に同一オブジェクトが写っていれば（Ｓ１９２：Ｙｅｓ）、画像間の背景特徴量の類似度を算出し（Ｓ１９３）、続いて画像間の撮影日時の間隔を算出する（Ｓ１９４）。そして、算出された背景特徴量の類似度と撮影日時の間隔と両画像のオブジェクト重要度および両画像の背景重要度に基づいて、オブジェクト行動度を算出し、算出したオブジェクト行動度を画像セット情報記憶部９７に記憶させる（Ｓ１９５）。
これは、ユーザがイベントに参加した家族メンバが何をしたのかを振り返る傾向を考慮したものであり、同一の場面で同一の重要な人物が写る画像セットであるほど、重要な画像セットと考える。
図２０を用いて、ステップＳ１９３〜Ｓ１９５を具体的に説明する。
図２０の８枚の画像Ｇ〜画像Ｎは、ある同じイベントのイベントクラスタに属する画像群である。
オブジェクト行動度算出部７２は、画像Ｇ〜画像Ｎの中から、同一のオブジェクトが写っている画像セットＨＪ，ＪＬ，ＨＬを算出対象として特定する。
図２０（ｂ）では、これらの画像セットのうちで画像セットＨＪ，ＪＬについてのオブジェクト行動度の算出の流れを示している。
つまり、画像セットＨＪ（画像Ｈと画像Ｊの組み合わせ）では、両画像に写る人物ａのオブジェクト重要度を抽出し、画像Ｈ，画像Ｊの背景重要度の平均を算出し、画像ＨＪ間の背景特徴量の類似度を算出し、画像ＨＪ間の撮影間隔を算出する。
なお、背景特徴量の類似度の算出方法として、ヒストグラムインタセクション（参考文献３参照）を用いることができる。
また、画像間の撮影間隔（０〜１の範囲であり、０が撮影間隔が最も離れていることを、１が最も近いことを示す。）については、イベントに属する全画像それぞれの撮影日時に基づいて、画像間の撮影間隔を算出し、算出した全ての撮影間隔が０〜１の範囲になるように正規化した値を用いる。
そして、抽出したオブジェクト重要度と算出した背景重要度の平均と背景特徴量の類似度と撮影日時の間隔を掛け合わせて、画像セットＨＪのオブジェクト行動度を算出する。
図２０（ｂ）では一例として、浜辺での画像Ｇ〜画像Ｉ、海上での画像Ｊ〜画像Ｍ，道路での画像Ｎの８枚の画像から、画像セットＨＪと画像セットＪＬ（画像Ｊと画像Ｌの組合せ）のオブジェクト行動度を算出している。
この場合、同じ人物が同じような背景の場面で写る画像セットＪＬのオブジェクト行動度が高く算出され、同じ人物でも違う背景の場面で写る画像セットＨＪのオブジェクト行動度は低く算出される。
図２１を用いて、場面遷移度を算出する処理（Ｓ１６３）について、説明する。場面遷移度算出部７２は、背景特徴量情報記憶部９４から背景特徴量、背景重要度情報記憶部９５から背景重要度、イベントクラスタ情報記憶部９６から撮影日時情報を取得する（Ｓ２１１）。
場面遷移度算出部７２は、取得された背景特徴量と背景重要度と撮影日時情報に基づいて、設定された２枚の画像の背景特徴量の非類似度（＝１−類似度）を算出し（Ｓ２１２）、続いて画像間の撮影日時の間隔を算出する（Ｓ２１３）。そして、算出された画像間の背景の非類似度と撮影日時の間隔と両画像の背景重要度に基づいて、背景遷移度を算出し、画像セット情報記憶部に記憶させる（Ｓ２１４）。
これはユーザがイベントを行なった複数の場面を振り返る傾向を考慮したものであり、違う場面が写る画像セットであるほど、重要な画像セットと考える。
図２２を用いて、ステップＳ２１２〜Ｓ２１４を具体的に説明すると、場面遷移度算出部７２は、８枚の画像Ｇ〜画像Ｎ（図２２（ａ））から、例えば画像セットＩＭ（画像Ｉと画像Ｍの組み合わせ）では、両画像の背景重要度の平均を算出し、画像間の背景特徴量の非類似度と撮影日時の間隔を算出する。
なお、画像間の背景特徴量の非類似度は、１から背景類似度を引いた値により算出する。つまり、画像セットＩＭの非類似度は、１から画像セットＩＭの類似度０．２を引いた０．８となる。
そして、算出した背景重要度の平均と背景特徴量の非類似度と撮影日時の間隔を掛け合わせて、画像セットＩＭの場面遷移度を算出する（図２２（ｂ））。
図２２では一例として、浜辺での画像Ｇ〜Ｉ、海上での画像Ｊ〜Ｍ，道路での画像Ｎの８つの画像から、画像セットＩＭと画像セットＭＮ（画像Ｍと画像Ｎの組合せ）の場面遷移度を算出している。
場面遷移度は、背景重要度の平均が高くて、場面変遷の可能性が高い画像セットの組み合わせが高く評価される。
背景重要度の平均が高いということは、撮影枚数が多くユーザが重要と考える画像セットである可能性が高いからである。
また、場面変遷の可能性は、非類似度が高い、かつ、撮影日時間隔が大きいものほど、高いとする。背景が非類似で、撮影日時に隔たりがある画像セットはユーザが移動て場面が変わったであろうと推測が働くからである。
なお、場面遷移度は、人物よりも場面の変遷に着目する変数であるので、人物が写る画像セットは算出対象から除外するとしても構わない。つまり、図２２（ａ）の８枚の画像のうち、人が写らない３枚の画像Ｉ、画像Ｍおよび画像Ｎを組み合わせた画像セットのみを算出対象とするとしてもよい。あるいは、算出対象から除外しないとしても、オブジェクトを含む画像セットについては低く評価するようにしてもよい。
図２２（ｂ）では、より背景重要度が高く、撮影日時の間隔が大きい画像セットＩＭの方が、画像セットＭＮと比べて高い場面遷移度が算出されている。
図２３を用いて、場面全体像を算出する処理（Ｓ１６４）について、説明する。背景全体像度算出部７４は、背景特徴量情報記憶部９４から背景特徴量、背景重要度情報記憶部９５から背景重要度、イベントクラスタ情報記憶部９６から撮影日時情報、オブジェクトクラスタ情報記憶部９２からオブジェクトクラスタ情報、オブジェクト重要度情報記憶部９３からオブジェクト重要度を取得する（Ｓ２３１）。
場面全体像度算出部７４は、取得された情報に基づいて、設定された両画像にオブジェクトが写っていなければ（Ｓ２３２：Ｎｏ）、図２のステップＳ２８をに移行し、設定された２枚の画像のいずれかにオブジェクトが写っていれば（Ｓ２３２：Ｙｅｓ）、画像間のオブジェクト占有相違度を算出する（Ｓ２３３）。
オブジェクト占有相違度とは、両画像で最も大きく写るオブジェクトに対して、画像間でそのオブジェクトが写る大きさの差分のことである。
続いて、画像間の背景の類似度を算出する（Ｓ２３４）。次に、画像間の撮影日時の間隔を算出する（Ｓ２３５）。そして、算出されたオブジェクト占有相違度と背景の類似度と撮影日時の間隔に基づいて、背景全体像度を算出し、画像セット情報記憶部９７に記憶させる（Ｓ２３６）。
この場面全体像度は、ユーザがイベントを行なった場面の詳細を振り返る傾向を考慮したものであり、同一の場面（＝背景特徴量の類似度が高い、撮影日時間隔が近い。）で人物が寄りと引きで写る（＝占有相違度が高い。）画像セットであるほど、イベントを振り返る上で重要な画像セットと考える。
図２４を用いて、ステップＳ２３３〜Ｓ２３６を具体的に説明すると、場面全体像度算出部７４は、８枚の画像Ｇ〜画像Ｎから、例えば画像セットＨＩ（画像Ｈと画像Ｉの組み合わせ）に対して、画像間のオブジェクト占有相違度と背景特徴量の類似度と撮影日時の間隔を算出する。
オブジェクト占有相違度の算出では、両画像に人物が写っている場合、両画像の人物の写る大きさの差分を算出するが、画像セットＨＩの場合、画像Ｈにのみに人物が写っているため、画像Ｈに写る人物の写る大きさ（占有度）をオブジェクト占有相違度とする。そして、算出したオブジェクト占有相違度と背景特徴量の類似度と撮影日時の間隔を掛け合わせて、画像セットＨＩの場面全体像度として算出する（図２４（ｂ））。
ここでは一例として、浜辺での画像Ｇ〜Ｉ、海上での画像Ｊ〜Ｍ，道路での画像Ｎの８つの画像から、画像セットＨＩと画像セットＬＭ（画像Ｌと画像Ｍの組合せ）の場面全体像度を算出している。この場合、同じ場面で片方に人物が大きく写る画像セットＨＩの場面全体像度が高く算出され、同じ場面で片方に人物が小さく写る画像セットＬＭの場面全体像度が低く算出される。
なお、重要な人物が写る画像セットの場面全体像度が高く評価されるようにするために、画像セット中に写るオブジェクト重要度を用いて場面全体像度を算出しても構わない。
図２５は、画像セット評価算出の結果を示すオブジェクト紹介度・オブジェクト行動度・場面遷移度・場面全体像度のデータ構造を示す図である。
画像セット情報記憶部９７は、オブジェクト紹介度を、イベントクラスタに属する２枚の画像の組み合わせから、それぞれ違う重要な人物が写る画像セットを評価する情報であり、図２５のテーブル９７ａのような構造で記憶する。
また、オブジェクト行動度は、イベントクラスタに属する２枚の画像の組み合わせから、同一の重要な人物が写る画像セットを評価する情報であり、図２５のテーブル９７ｂのような構造で記憶する。
場面遷移度は、イベントクラスタに属する２枚の画像の組み合わせから、それぞれ違う場面が写る画像セットを評価する情報であり、図２５のテーブル９７ｃのような構造で記憶する。
場面全体像度は、イベントクラスタに属する２枚の画像の組み合わせから、同一の場面で重要な人物が寄りと引きで写る画像セットを評価する情報であり、図２５のテーブル９７ｄのような構造で記憶する。
ここでは一例として、８枚の画像Ｇ〜画像Ｎによる組合せで算出されたオブジェクト紹介度・オブジェクト行動度・場面遷移度・場面全体像度をテーブル構造で記憶している。なお、図２５のテーブル９７ａ〜９７ｄでは、図１８，図２０，図２２，図２４に対応する値を記入しているだけで残部の値を省略しているが、実際には、具体的な値か、値を算出しない評価項目であれば「−」が記入される。
図２に戻って説明を続ける。次に配置パターン評価（Ｓ２８）の処理について、図２６を用いて説明する。
配置パターン評価部８０は、テンプレート情報記憶部９１からテンプレート情報、画像セット情報記憶部９７から画像セット評価情報、イベントクラスタ情報記憶部９６からイベントクラスタ情報を取得する（Ｓ２６１）。
配置パターン評価部８０は、取得された情報に基づいて、ユーザが選択したイベントクラスタに属する画像群から、ユーザが選択したテンプレート情報に含まれるフレーム数分の枚数分だけ画像を選択し、フレームに配置した場合の配置パターンを生成する（Ｓ２６２）。
続いて、テンプレート情報に含まれる２つのフレーム間の画像セットに定義された評価項目に基づいて、設定された配置パターンの評価値を算出し、配置パターン情報記憶部９８に記憶させる（Ｓ２６３）。
次に、選択されたイベントクラスタに属する画像群において、すべての配置パターンで配置パターンの評価値を算出できていなければ（Ｓ２６４：Ｎｏ）、ステップ２６２に戻り、すべての配置パターンで評価値を算出できていれば（Ｓ２６４：Ｙｅｓ）、配置パターン評価部８０は、最高の順位の配置パターンを用いてアルバムを作成する（Ｓ２６５）。
そして、表示制御部１００は、作成されたアルバムをディスプレイ４に表示する（Ｓ２６６）。
図２７は、テンプレート情報のデータ構造を示す図である。
テンプレート情報は、「デザイン（レイアウト）」「評価項目」、「フレーム間の評価項目」を含む。
図２７には、一例として、テンプレートＡのテンプレート情報の詳細のみを示すが、テンプレートＢ，テンプレートＣについても同様なデータ構造となっている。
テンプレートＡの「デザイン」としては、フレームのレイアウトに関する情報（フレームの座標位置、大きさ、角度）、個々のフレームに関する情報（フレームの背景の色、模様、枠の装飾など）、アルバムの台紙のデザインに関する情報（台紙のサイズ、台紙の背景色など）、などを含む。
図２７では、簡単なイメージで示しているが、実際には、各種パラメータが所定のデータベース形式で格納されているものとする。
テンプレートＡの「評価項目」には、画像の特徴量に関する条件の種類が含まれている。この例では、フレーム同士の組合せの条件として、当てはめたい画像の組合せをオブジェクト紹介度（ＯＩ）・オブジェクト行動度（ＯＡ）・場面遷移度（ＳＴ）・場面全体像度（ＳＯ）の４種類の条件がある。
テンプレートＡの「フレーム間の評価項目」は、イベントを容易に振り返れる配置パターンを導出するために、一対のフレームに配置される一対の画像に適用したい評価項目の対応テーブルを含む。この対応テーブルは、例えば、一対のフレームａｂについてはオブジェクト紹介度（ＯＩ）が対応付けている。
図２８を用いて、ステップＳ２６２〜Ｓ２６３を具体的に説明する。
ここでは、ユーザによる選択されたテンプレート（図２：Ｓ２４）は、テンプレートＡであるとする。テンプレートＡには、フレームａ〜フレームｆまでの６個のフレームがある。
このため、配置パターン評価部８０は、８枚の画像Ｇ〜画像Ｎ（図２８（ａ））から、６枚の画像を選択して、６個のフレームに並べる組み合わせ8Ｐ6＝８！／（８−６）！＝２０１６０通りの配置パターンＰ１〜Ｐ２０１６０を求める。
続いて、配置パターン評価部８０は、配置パターン毎に、テンプレートＡの「フレーム間の評価項目」により規定されたフレーム間の条件に基づいて、配置パターン評価値を算出する（図２９）。
図２９に示すように、配置パターン評価値は、テンプレートＡの「フレーム間の評価項目」（図２７参照）で規定された、
・フレームａｂ間のＯＩ
・フレームａｃ間のＳＯ
・フレームｂｃ間のＳＯ
・フレームｃｄ間のＳＴ
・フレームｄｅ間のＳＯ
・フレームｄｆ間のＳＯ
・フレームｅｆ間のＯＡ
の全評価項目を加算することにより求める。
図２９の例では、配置パターンＰ１および配置パターンＰ２０１６０の配置パターン評価値が算出されており、配置パターンＰ２０１６０の評価値２００の方が、配置パターンＰ１よりも高い評価値１００となっている。
図３０は、配置パターン評価算出の結果を示す配置パターン評価値のデータ構造を示す図である。
配置パターン評価値は、選択されたイベント画像群とテンプレートに基づく、イベントを効率的に振り返ることができる画像組み合わせの評価を示す情報であり、「配置パターンＩＤ」、テンプレートに含むフレームを示す「テンプレートＡのパターン」、「配置パターン評価値」、「順位」の項目を含む。
ここでは一例として、図２９のＰ１とＰ２０１６０の配置パターンのテンプレートαに対するそれぞれの配置パターン評価値１００と２００、またその配置パターン評価値による順位を記憶している。
このうち、特に最高の順位（最高の評価値）の配置パターンＰ２０１６０は、テンプレートＡの各評価項目を最も満足したものであるので、この配置パターンＰ２０１６０に従ったアルバムは、ユーザの要望に沿ったものとすることができる。
図２８〜図３０で説明した例では画像の枚数は８枚と少ないが、特に、ユーザがイベントで撮影して保有する画像の枚数が膨大である場合には、アルバムをユーザ自身が手動で作成するのは大変手間であるので、本実施の形態を適用すると効果的である。
また、上記膨大な画像が、家族旅行のイベントに関するものであったとしても、上述の４種類の評価項目を用いて画像セットを評価することで、イベントを効率的に振り返ることができる画像の組み合わせを選別し、アルバムを自動作成することができる。
家族旅行の画像は、結婚式の画像などとは違って定番の画像の構図パターンというものが無く、従来技術によるアプローチでは家族旅行のアルバムを適切に自動作成することが困難と考えられる。これに対して、本実施の形態によれば、家族旅行のアルバムの自動作成にも寄与することができる。
＜補足１＞
以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
（１）アルバムの表示例
図３１は、テンプレート情報記憶部９１が記憶するテンプレートＡの別の例を示すものである。基本的には図２７と同様であるが、テンプレートＡが「評価項目，コメント」という欄を含む点が異なっている。
この「評価項目，コメント」の欄は、評価項目に対するコメントを対応付けを示すものである。例えば、オブジェクト紹介度（ＯＩ）には、「こんなメンバーでした」というコメントが対応付けされている。
このような対応付けを利用して、自動作成したアルバムのフレーム間にコメントを表示するとしてもよい。
その表示例を図３２に示す。図３２（ａ）は、配置パターン評価値の順位が最上位（１位）の配置パターンＰ２０１６０を用いて作成したアルバム３２０ａを示し、図３２（ｂ）は、配置パターン評価値の順位が最下位（２０１６０位）の配置パターンＰ１を用いて作成したアルバム３２０ｂを示す。
図３２に示すように、フレームａｂ間には「こんなメンバーでした」のコメントというように、図３１のテンプレートＡで規定された各フレーム間の評価項目に対応するコメントが表示されている。
このようにコメントを表示することで、アルバム作成に際して考慮したフレーム間の関係付けをユーザに知らせることができる。よりユーザの満足度の高いアルバムとすることができ、また、手動でコメントを挿入するユーザの手間を軽減できる。
なお、アルバム３２０ａにおいて、フレームａｂには、それぞれ人物が写る画像Ｈ画像Ｇが配置されており、「こんなメンバーでした」というコメントに沿うものとなっている。
これに対して、アルバム３２０ｂにおいては、フレームａｂには、それぞれ人物が写らない画像Ｌ画像Ｉが配置されており、「こんなメンバーでした」というコメントとは沿わず、ちぐはぐである。
両アルバム３２０ａ，３２０ｂを対比して見ると、アルバム３２０ａの方がより適切なアルバムに仕上がっていることがわかる。
（２）テンプレートの選択例
図２のステップＳ２４で説明したテンプレート選択のユーザインターフェイスの例について説明を加える。
図３３は、テンプレート選択部６２が、ディスプレイ４に表示させるテンプレート選択の画面３３０を示す。
テンプレート選択部６２は、テンプレート情報記憶部９１に記憶された３種類のテンプレートＡ〜Ｃを読み出し、画面３３０に表示している。そして、図示しない入力装置を介してユーザからテンプレートの選択を受け付ける。
（３）テンプレートの例
実施の形態で説明したテンプレートＡは、４種類の評価項目を用いていたが（図３１参照）、４種類の評価項目がすべて必須というわけではなく、そのうちの任意の評価項目を組み合わせてテンプレートとしてもよい
図３４（ａ）に、テンプレートＢのテンプレート情報のデータ構造を示す。テンプレートＢは、２個のフレームａｂだけを含む単純なものであり、フレームａｂ間の評価項目としてオブジェクト紹介度が対応付けられている。
図３４（ｂ）に、テンプレートＢを用いた作成したアルバムの例を示す。
（４）アルバムの例
実施の形態では、台紙上のフレームに画像を貼り付けるタイプのアルバムを例に挙げて説明したが、これに限らず、スライドショータイプのアルバムであっても構わない。
一例として、図３５（ａ）に、テンプレートＢ’のテンプレート情報のデータ構造を示す。
テンプレートＢ’の「デザイン（レイアウト）」は、スライドショーにおけるスライド番号１〜５にそれぞれ対応する、スライドを示す情報を含んでいる。
例えば、スライド番号３には、スライド枠ａが対応付けられており、スライド番号４には、スライド枠ｂが対応付けられている。
また、テンプレートＢ’の「フレーム間の評価項目」は、一対のスライド枠ａｂを、オブジェクト紹介度を用いて評価することを示す。
図３５（ｂ）に、テンプレートＢを用いた作成したアルバムの例を示す。
（５）配置パターン評価値算出の処理の流れ
実施の形態では、図２６のＳ２６２〜Ｓ２６４に示すように、生成した配置パターンすべてについてそれぞれの評価値を算出するとしている（総当たり法）。
もっともこれに限らず、例えば、ステップＳ２６３で算出された評価値が閾値以上であれば、その時点で評価値算出処理を打ち切ってステップＳ２６５に移行するとしても構わない。
（６）テンプレートの枠セットを構成する枠の数
実施の形態では、テンプレートの「フレーム間の評価項目」（図２７参照）は２個の枠のセットから構成されていたが、２個に限られない。２個より大きい個数の枠を枠セットとしてもよい。例えば、３個の枠を枠セットとして構成してもよい。
一例として、テンプレートにおいて、３個のフレームであるフレーム１２３から構成される枠セットに対して、ある評価項目を定義付ける。そして、この枠セットに配置される３個の画像ＡＢＣそれぞれの特徴量を組み合わせて評価の高低を評価するとしてもよい。
なお、演算に際しては、ステップＳ２５（図２）において３枚の画像を設定することで、３枚の画像セットの評価値を予め算出しておき、配置パターンの評価に用いるとしてもよい。もっとも、演算量を軽減するために（２個の画像セットの評価値が流用できるように）、画像ＡＢＣの３枚の画像セットの評価値は、画像ＡＢ，画像ＢＣおよび画像ＡＣとタスキ掛けし２個ずつの画像セットの評価値の平均値を用いる算出するとしてもよい。
また、２個の枠セットと３個の枠セットとが混在するようなテンプレートとしても構わない。
具体例を説明すると、図３７（ａ）の例では、フレーム１２３から構成される枠セットに対して、場面遷移度（ＳＴ）の評価項目が対応付けられている。
この場面遷移度は、フレーム１２の場面遷移度ＳＴ12、フレーム２３の場面遷移度ＳＴ23、およびフレーム１３の場面遷移度ＳＴ13の３者をタスキ掛けして求めることができる。このような枠セットは、３つの場所で遊んだイベントの画像から、３つの場所が移る画像の組み合わせを取り出すのに有用である。
また、図３７（ｂ）の例では、フレーム１２３４から構成される枠セットに対して、オブジェクト紹介度（ＯＩ）の評価項目が対応付けられている。このような枠セットは、４人家族のユーザが撮影した家族の画像の中から、家族の各人が写る画像の組み合わせを取り出すのに有用である。
（７）テンプレートの枠セットに関与しない枠
実施の形態では、テンプレートの「フレーム間の評価項目」（図２７参照）でフレームａｂ，ａｃ，ｂｃ，ｃｄ，ｄｅ，ｄｆ，ｅｆの７個の枠セットに評価項目が対応付けられている。
このように、フレームａ〜ｆのすべてのフレームは、すくなくとも１つの枠セットを構成するフレームとなっている。言い換えると、上記７個の枠セットを構成する枠は、６個の前記Ｎ個の枠のすべてを網羅していることとなる。
このため、作成したアルバムにおいては、アルバム内の全フレームが評価項目に関係するフレームであるので、全フレームにおいてフレーム間のつながりを反映させることができ、フレーム間に有機的な関係性を持たせたアルバムとすることができる。
（８）テンプレートの「フレーム間の評価項目」
図２７の「フレーム間の評価項目」に重みの項目を追加してもよい。
こうすることで、テンプレート内で重要なフレーム（例えば、枠の領域が他と比べて大きい、枠の位置が中央であるなど。）があった場合、他のフレームに比べて優先的に、この重要なフレームに付随する重み値に基づいて適切な評価を行える。
（９）複数のテンプレートを用いた評価
実施の形態では、配置パターン評価（図２６）では、１つのテンプレートを用いて評価するとしたが、これに限らず複数のテンプレートを評価対象としてもよい。
例えば、図３６に示すように、テンプレートＡおよびテンプレートＤについて配置パターン毎の評価値を算出するようにしてもよい。このような処理は、例えば図２のステップＳ２４においてテンプレートＡおよびテンプレートＤを自動的に選択し（あるいはユーザから受け付け）、そして、図２６のステップＳ２６１〜Ｓ２６４の処理を選択されたテンプレート毎に繰り返すことにより実現できる。
なお、図３６の例のテンプレートＤは、６個のフレームを有している点はテンプレートＡと同様であるが、デザインやフレーム間の評価項目がテンプレートＡとは異なっている。
図３６の例では、評価値２４０と最大の評価値であるテンプレートＤの配置パターンＰD２を用いてアルバムを自動作成することが考えられる。こうすることで、最適なテンプレートとそのテンプレートを用いた最適な配置パターンとを自動的に決定することができる。
（１０）配置パターンの数え方
実施の形態では、テンプレートＡのフレームａ〜ｆの６個のフレームを区別していたので、８枚の画像を６個のフレームに配置するパターンは、8Ｐ6＝２０１６０通りとしている、このような順列で考えるやり方は、各フレームの個性（テンプレートにおけるフレームの位置、フレームの装飾、フレームの大きさなど）を重視する場合には最適であるが、これに限られない。
つまり、６個のフレームを区別せずに組み合わせで考え、８枚の画像を６個のフレームに配置するパターンを、8Ｃ6＝２８通りとして扱っても構わない。こうすると、計算量を減らせるという利点がある。
（１１）アルバム作成に用いる配置パターン
実施の形態では、最高の順位の配置パターンを用いてアルバムを作成するとしたが（図２６：Ｓ２６５）、これに限られない。例えば、上位３位までの配置パターンを用いて、対応する３つのアルバムを作成し、作成したアルバムの一覧をユーザに表示するとしてもよい。
（１２）単一枠の例
実施の形態では、複数の枠（枠セット）に挿入する画像の組み合わせにより評価値を算出するとしているが、必ずしもテンプレートの枠のすべてが枠セットのみから構成されるわけではない。
例えば、テンプレートの枠の一部において、１つの枠（単一枠）に１つの評価項目を対応付けるとしてもよい。
図３７（ａ）のテンプレートＤは、８個のフレーム（フレーム１〜８）を含んでおり、フレーム１ には人物重要度、フレーム２には背景重要度の評価項目が対応付けられている。このように、フレーム１，２は、枠と評価項目とが一対一に対応している。
また、フレーム３，４にはオブジェクト紹介度（ＯＩ）、フレーム５，６には場面遷移度（ＳＴ）、フレーム７，８には場面全体像度（ＳＯ）の評価項目が対応付けられている。図３７（ｂ）にテンプレートＤの配置パターンとその評価値の例を示す。
（１３）枠と評価項目の関係
実施の形態では主に１つの枠セットに１つの評価項目を対応付けるとして説明したが、１つの枠セットに複数の評価項目を対応付けるとしても構わない。また、（１２）で説明した単一枠に複数の評価項目を対応付けるとしてもよい。
（１４）配置パターン数の削減
実施の形態では、テンプレートの枠に画像を配置した際の配置パターンを全通り生成するとしたが（図２６のＳ２６４など）、評価値算出に関する処理負荷を軽減するために、評価値を算出する配置パターンの数を減らすとしてもよい。
１つ目の削減手法は、各画像の背景重要度を基に、配置パターンの生成に用いる画像の数を絞り込むものである。図３９を用いて説明する。
図３９の例では、あるイベントに属する画像が３０枚ある。配置パターン評価部８０は、３０枚の画像それぞれの背景重要度を降順にソートし、上位１５枚に絞り込む（Ｓ３９１）。そして、配置パターン評価部８０は、絞り込み後の画像を配置パターンの生成に用いる（Ｓ３９２）。
例えば、テンプレートの枠の数が４個の場合、３０枚の画像の配置パターンは、657,720（=30×29×28×27）通りにもなるが、このような絞り込みを行うことにより、32,760（=15×14×13×12）通りに削減できる。
２つ目の削減手法は、画像群をシーンに分割し、各シーンの画像群の平均シーン重要度を基にシーンを絞り込み、絞り込んだシーンを利用して配置パターンを生成するものである。図４０を用いて説明する。
図４０の例では、あるイベントに属する３０枚の画像に対して、配置パターン評価部８０は、画像をシーン１〜８に分割し、各シーン毎にそのシーン内の画像の背景重要度の平均値をシーン重要度として求め、求めたシーン重要度を基にシーンを絞り込む。
そして、配置パターン評価部８０は、シーン重要度が相対的に高いシーン２，４，６，７，８内の２１枚の画像を配置パターン生成に用いる（Ｓ４０２）。
例えば、テンプレートの枠の数が４個の場合、３０枚の画像の配置パターンは、657,720（=30×29×28×27）通りにもなるが、このような絞り込みを行うことにより、143,640（=21×20×19×18）通りに削減できる。
特に、シーン単位で組み合わせる場合には、600（=3×5×8×5）通りに削減できる。
なお、シーン重要度の算出方法は、上に述べた画像の背景の重要度を用いる手法に限らず、画像のオブジェクトの重要度を考慮した算出手法、ユーザーの嗜好を反映して算出する手法など、その他一般的な手法を用いても構わない。
（１５）数式の例
以下、実施の形態で説明した値を評価するための数式の例について説明する。
背景類似度は、図４１（ａ）の式（１）により求めることができる。なお、領域ｉは、画像を領域分割（セグメンテーション）したときのものである。また、ａｂｓは絶対値を得るための関数である。
撮影時間間隔は、図４１（ｂ）の式（２）により求めることができる。
背景重要度は、図４２（ａ）の式（３）により求めることができる。
オブジェクト紹介度は、図４２（ｂ）の式（５）により求めることができる。
オブジェクト行動度は、図４３（ａ）の式（６）により求めることができる。
場面遷移度は、図４３（ｂ）の式（７）により求めることができる。
場面全体像度は、図４４（ａ）の式（８）により求めることができる。
配置パターン評価値は、図４４（ｂ）の式（９）により求めることができる。
（１６）実施の形態では、画像による作品としてアルバムを例として説明したが、ブック形式のアルバムに限らず、写真が遷移するスライドショー形式や写真が多彩なアニメーションで動作するムービー形式で、最適な画像組合せを選択して作品化するとしてもよい。
（１７）本実施の形態では、記憶媒体の例として、ＳＤメモリカードを例に挙げて説明したが、記録媒体であればこれに限られず、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)の記録媒体などを用いてもよい。
また、画像評価装置を、画像を記憶するデジタルカメラや携帯電話の撮影機器と接続することにより、画像を取得することも考えられる。両者の接続の態様としては、有線（ＬＡＮケーブル、ＵＳＢケーブルなど）、無線（赤外線やBluetoothなど）を問わず様々な態様をとり得る。
（１８）実施の形態の画像評価装置は、典型的には集積回路であるＬＳＩ(Large Scale Integration)として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ(Integrated Circuit)、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（FieldProgrammable Gate Array）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
（１９）プログラム
実施の形態で示した画像評価に係る処理をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
このような記録媒体には、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、ＳＤメモリーカード（登録商標）、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)等がある。
流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
＜補足２＞
本実施の形態は、以下の態様を含むものである。
（１）本発明に係る画像評価装置は、画像を配置するためのＮ個（Ｎは２以上の自然数）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有するテンプレートを記憶するテンプレート記憶手段と、複数の画像を取得する取得手段と、取得された複数の画像の中からＮ枚の画像を選択して前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価手段と、前記評価手段により算出された配置パターン毎の評価値を記憶する評価値記憶手段とを備え、前記評価手段は、前記評価値記憶手段に記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定することを特徴とする。
（２）前記枠セットに配置される画像それぞれの特徴量に係る評価項目とは、枠セットに配置される画像が含むオブジェクトの紹介性、または、枠セットに配置される画像の場面の移り変わりを含むとしても構わない。
（３）前記複数の画像に含まれるオブジェクトをクラスタリングするオブジェクトクラスタリング手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像が含むオブジェクトのオブジェクトクラスタが、相違しているほど、前記オブジェクトの紹介性を高く評価するとしても構わない。
この構成によれば、人物などのオブジェクトの紹介に適したアルバムの作成に寄与する。
（４）クラスタリングされた各オブジェクトクラスタの重要度を算出するオブジェクト重要度算出手段を備え、前記評価手段は、前記枠セットに配置される画像が含むオブジェクトのオブジェクトクラスタの重要度がより高いほど、前記オブジェクトの紹介性を高く評価するとしても構わない。
（５）前記複数の画像のそれぞれから、背景の特徴量を抽出する抽出手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像の背景の特徴量の非類似性または画像間の撮影間隔の大きさに基づいて前記場面の移り変わりを評価するとしても構わない。
この構成によれば、場面の移り変わりの紹介に適したアルバムの作成に貢献できる。
（６）前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像の背景の重要度が高いほど、前記場面の移り変わりを高く評価するとしても構わない。
（７）前記複数の画像に含まれるオブジェクトをクラスタリングするオブジェクトクラスタリング手段を備え、前記枠セットに配置される画像それぞれの特徴量に係る評価項目とは、背景が類似する画像間における同一のオブジェクトクラスタに係る変化度を含むとしても構わない。
（８）前記複数の画像のそれぞれから、背景の特徴量を抽出する抽出手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像が含むオブジェクトクラスタが同一であって、各画像の背景の特徴量が類似しているほど、前記変化度を高く評価するとしても構わない。
この構成によれば、人物などのオブジェクトの行動の紹介に適したアルバムの作成に貢献できる。
（９）クラスタリングされた各オブジェクトクラスタの重要度を算出するオブジェクト重要度算出手段と、前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段とを備え、前記評価手段は、前記枠セットに配置される画像が含むオブジェクトのオブジェクトクラスタの重要度が高いほど、および、前記枠セットに配置される画像の背景の重要度の少なくとも一方が高いほど、前記変化度をより高く評価するとしても構わない。
（１０）前記複数の画像のそれぞれから、オブジェクトが占める占有領域を計算する計算手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像が含むオブジェクトクラスタが同一のオブジェクトが占める占有領域が、相違しているほど、前記変化度を高く評価するとしても構わない。
この構成によれば、場面の全体像の紹介に適したアルバムの作成に貢献できる。
（１１）クラスタリングされた各オブジェクトクラスタの重要度を算出するオブジェクト重要度算出手段と、前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段とを備え、前記評価手段は、前記枠セットに配置される画像が含むオブジェクトのオブジェクトクラスタの重要度の少なくとも一方が高いほど、および、前記枠セットに配置される画像の背景の重要度が高いほど、前記変化度をより高く評価するとしても構わない。
（１２）前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像の背景の重要度に基づいて前記評価値を算出するとしても構わない。
（１３）前記複数の画像のそれぞれから、背景の特徴量を抽出する抽出手段を備え、前記背景重要度算出手段は、算出対象となる一の画像と撮影日時が近い他の画像とのそれぞれの背景の特徴量との類似性、および、前記一の画像の背景の特徴量と、重要な人物が写る画像の背景の特徴量の類似性に基づいて、背景の重要度を算出するとしても構わない。
（１４）評価値の算出の基にした枠セットに係る評価項目に対応する情報を、当該枠セットに配置される画像に関連付けて表示する表示制御手段を備えるとしても構わない。
この構成によれば、枠セットに配置される画像どうしの関係性をユーザに知らせることができる。
（１５）前記テンプレートにおいて、前記１以上の枠セットを構成する枠は、前記Ｎ個の枠のすべてを網羅しているとしても構わない。
この構成によれば、Ｎ個の枠のすべてに配置される画像間に、有機的な関係性を持たせることができる。
（１６）前記評価手段は、取得された複数の画像の中から、絞り込みを行い、絞り込み後の画像を前記選択の対象とするとしても構わない。
この構成によれば、評価値の算出の処理負荷の軽減に貢献することができる。
（１７）前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、前記評価手段は、前記複数の画像それぞれの背景の重要度に基づいて、前記絞り込みを行うとしても構わない。
（１８）前記評価手段は、前記複数の画像を複数のシーンに分割し、分割したシーン毎の重要度に基づいて、前記絞り込みを行うとしても構わない。
（１９）本発明に係る画像評価方法は、複数の画像を取得する取得ステップと、テンプレート記憶手段に記憶されたテンプレートを参照する参照ステップと、ここで、前記テンプレートは、画像を配置するためのＮ個（Ｎは２以上の自然数。）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有し、さらに、前記参照されたテンプレートに基づいて取得された複数の画像の中からＮ枚の画像を選択し、選択した前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価ステップと、前記評価ステップにより算出された配置パターン毎の評価値を記憶する評価値記憶ステップと、前記評価値記憶ステップに記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する特定ステップとを含むとする。
（２０）本発明に係るプログラムは、コンピュータに画像評価処理を実行させるプログラムであって、前記コンピュータに、複数の画像を取得する取得ステップと、テンプレート記憶手段に記憶されたテンプレートを参照する参照ステップと、ここで、前記テンプレートは、画像を配置するためのＮ個（Ｎは２以上の自然数。）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有し、さらに、前記参照されたテンプレートに基づいて取得された複数の画像の中からＮ枚の画像を選択し、選択した前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価ステップと、前記評価ステップにより算出された配置パターン毎の評価値を記憶する評価値記憶ステップと、前記評価値記憶ステップに記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する特定ステップを実行させる、ことを特徴とする。
（２１）本発明に係る集積回路は、画像を配置するためのＮ個（Ｎは２以上の自然数）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有するテンプレートを記憶するテンプレート記憶手段と、複数の画像を取得する取得手段と、取得された複数の画像の中からＮ枚の画像を選択して前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価手段と、前記評価手段により算出された配置パターン毎の評価値を記憶する評価値記憶手段を備え、前記評価手段は、前記評価値記憶手段に記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定することを特徴とする。
（２２）前記１以上の枠セットは、いずれも２個の枠から構成されているとしても構わない。
（２３）前記評価項目は、複数の種類の評価項目を含み、前記１以上の枠セットのそれぞれには、前記評価項目として、前記複数種類の評価項目のうちの少なくとも１つが定義づけられているとしても構わない。
＜参考文献＞
（１）参考文献１
Ｇabor特徴の情報量による重みづけマッチングを用いた顔認識
堀田 一弘（埼玉大学(日本学術振興会特別研究員)）
電子情報通信学会技術研究報告. HIP,
ヒューマン情報処理 100(34) pp.31-38 20000504
（２）参考文献２
AJohn C. Platt, Mary Czerwinski, Brent A. Field: PhotoTOC: Automatic Clustering for Browsing Personal Photographs, Fourth IEEEPacific Rim Conference on Multimedia (2003)
（３）参考文献３
Swain,M.J. and Ballard,D.H.:"Color Indexing",IJCV,7,pp.11-32(1991)
本発明に係る画像評価装置および画像評価方法では、家族などの複数ユーザが保有する膨大量の画像コンテンツの中から、イベントを効率的に振り返ることができるアルバムを作成することができ、従来の画像の評価方法と比較して、ユーザは構図が定まらない多様なイベント画像群から品質の高いアルバムを容易に作成し、閲覧することが可能である。
例えば、家族が撮り溜めた膨大量の写真コンテンツの中から、家族でイベントを見返す状況において有用である。実施の形態に係る画像評価装置は、画像の組み合わせによる評価結果から、イベントにおける重要な場面と家族メンバが写る、人物と場面に基づく４つの観点による画像組み合わせを優先して選び、選んだものをアルバムとして表示する。このため、アルバムを通してユーザは効率的にイベントを振り返ることができる。また、パーソナルコンピュータやサーバ端末などの据置き型端末などで有用である。さらに、デジタルカメラや携帯電話などのモバイル型端末などとしても有用である。
１ 画像評価システム
２ 記憶媒体
３ 画像評価装置
４ 表示ディスプレイ
１０ 画像取得部
２０ オブジェクト抽出部
２１ オブジェクト特徴量抽出部
２２ オブジェクトクラスタリング部
３０ イベント抽出部
３１ 撮影日時抽出部
３２ イベントクラスタリング部
４０ 背景抽出部
４１ 背景特徴量抽出部
５０ 画像評価部
５１ オブジェクト重要度算出部
５２ 背景重要度算出部
６０ アルバム情報選択部
６１ イベントクラスタ選択部
６２ テンプレート選択部
７０ 画像セット評価部
７１ オブジェクト紹介度算出部
７２ 場面遷移度算出部
７３ オブジェクト行動度算出部
７４ 場面全体像度算出部
８０ 配置パターン評価部
９０ 記憶部
９１ テンプレート情報記憶部
９２ オブジェクトクラスタ情報記憶部
９３ オブジェクト重要度記憶部
９４ 背景特徴量記憶部
９５ 背景重要度記憶部
９６ イベントクラスタ情報記憶部
９７ 画像セット情報記憶部
９８ 配置パターン情報記憶部
１００ 表示制御部

Claims (17)

  1. 画像を配置するためのＮ個（Ｎは２以上の自然数）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有するテンプレートを記憶するテンプレート記憶手段と、
    複数の画像を取得する取得手段と、
    前記複数の画像に含まれる人物をクラスタリングするオブジェクトクラスタリング手段と、
    取得された複数の画像の中からＮ枚の画像を選択して前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価手段と、
    前記評価手段により算出された配置パターン毎の評価値を記憶する評価値記憶手段とを備え、
    前記評価項目は、（１）前記複数の画像が分類されたイベントに参加した複数の人物の紹介への適応性を示すオブジェクト紹介度、（２）前記イベントに参加した複数の人物のうち特定の人物が前記イベントで行なった行動の度合いを示すオブジェクト行動度、（３）前記イベントにおける場面の移り変わりの度合いを示す場面遷移度、および（４）前記場面において撮影された人物の寄り引きの対象性の度合いを示す場面全体像度を含み、
    前記評価手段は、前記評価値記憶手段に記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する
    ことを特徴とする画像評価装置。
  2. 前記評価手段は、前記枠セットに配置される画像において、家族が揃っている人数が多いほど、前記オブジェクト紹介度を高く評価する
    ことを特徴とする請求項１に記載の画像評価装置。
  3. クラスタリングされた各オブジェクトクラスタの重要度を算出するオブジェクト重要度算出手段を備え、
    前記評価手段は、前記枠セットに配置される画像が含む人物のオブジェクトクラスタの重要度がより高いほど、前記オブジェクト紹介度を高く評価する
    ことを特徴とする請求項２に記載の画像評価装置。
  4. 前記複数の画像のそれぞれから、背景の特徴量を抽出する抽出手段を備え、
    前記評価手段は、前記枠セットに配置される画像において、各画像の背景の特徴量の非類似性または画像間の撮影間隔の大きさに基づいて前記場面遷移度を評価する
    ことを特徴とする請求項１に記載の画像評価装置。
  5. 前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、
    前記評価手段は、前記枠セットに配置される画像において、各画像の背景の重要度が高いほど、前記場面遷移度を高く評価する
    ことを特徴とする請求項４に記載の画像評価装置。
  6. 前記複数の画像のそれぞれから、人物が占める占有領域を計算する計算手段を備え、
    前記評価手段は、前記枠セットに配置される画像において、各画像が含むオブジェクトクラスタが同一の人物が占める占有領域が、相違しているほど、前記場面全体像度を高く評価する
    ことを特徴とする請求項１に記載の画像評価装置。
  7. クラスタリングされた各オブジェクトクラスタの重要度を算出するオブジェクト重要度算出手段と、
    前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段とを備え、
    前記評価手段は、前記枠セットに配置される画像が含む人物のオブジェクトクラスタの重要度、および、前記枠セットに配置される画像の背景の重要度の少なくとも一方が高いほど、前記場面全体像度をより高く評価する
    ことを特徴とする請求項６に記載の画像評価装置。
  8. 前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、
    前記評価手段は、前記枠セットに配置される画像において、各画像の背景の重要度に基づいて前記評価値を算出する
    ことを特徴とする請求項１に記載の画像評価装置。
  9. 前記複数の画像のそれぞれから、背景の特徴量を抽出する抽出手段を備え、
    前記背景重要度算出手段は、
    算出対象となる一の画像と撮影日時が近い他の画像とのそれぞれの背景の特徴量との類似性、および、前記一の画像の背景の特徴量と、重要な人物が写る画像の背景の特徴量の類似性に基づいて、背景の重要度を算出する
    ことを特徴とする請求項８に記載の画像評価装置。
  10. 評価値の算出の基にした枠セットに係る評価項目に対応する情報を、当該枠セットに配置される画像に関連付けて表示する表示制御手段を備える
    ことを特徴とする請求項１に記載の画像評価装置。
  11. 前記テンプレートにおいて、前記１以上の枠セットを構成する枠は、前記Ｎ個の枠のすべてを網羅している
    ことを特徴とする請求項１に記載の画像評価装置。
  12. 前記評価手段は、取得された複数の画像の中から、絞り込みを行い、絞り込み後の画像を前記選択の対象とする
    ことを特徴とする請求項１に記載の画像評価装置。
  13. 前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、
    前記評価手段は、前記複数の画像それぞれの背景の重要度に基づいて、前記絞り込みを行う
    ことを特徴とする請求項１２に記載の画像評価装置。
  14. 前記評価手段は、前記複数の画像を複数のシーンに分割し、分割したシーン毎の重要度に基づいて、前記絞り込みを行う
    ことを特徴とする請求項１２に記載の画像評価装置。
  15. 複数の画像を取得する取得ステップと、
    前記複数の画像に含まれる人物をクラスタリングするオブジェクトクラスタリングステップと、
    テンプレート記憶手段に記憶されたテンプレートを参照する参照ステップと、
    を含み、
    ここで、前記テンプレートは、画像を配置するためのＮ個（Ｎは２以上の自然数）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有し、
    さらに、前記参照されたテンプレートに基づいて取得された複数の画像の中からＮ枚の画像を選択し、選択した前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価ステップと、
    前記評価ステップにより算出された配置パターン毎の評価値を記憶する評価値記憶ステップと、
    を含み、
    前記評価項目は、（１）前記複数の画像が分類されたイベントに参加した複数の人物の紹介への適応性を示すオブジェクト紹介度、（２）前記イベントに参加した複数の人物のうち特定の人物が前記イベントで行なった行動の度合いを示すオブジェクト行動度、（３）前記イベントにおける場面の移り変わりの度合いを示す場面遷移度、および（４）前記場面において撮影された人物の寄り引きの対象性の度合いを示す場面全体像度を含み、
    さらに、前記評価値記憶ステップに記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する特定ステップを含む
    ことを特徴とする画像評価方法。
  16. コンピュータに画像評価処理を実行させるプログラムであって、
    前記コンピュータに、
    複数の画像を取得する取得ステップと、
    前記複数の画像に含まれる人物をクラスタリングするオブジェクトクラスタリングステップと、
    テンプレート記憶手段に記憶されたテンプレートを参照する参照ステップと、
    を実行させ、
    ここで、前記テンプレートは、画像を配置するためのＮ個（Ｎは２以上の自然数数）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有し、
    前記コンピュータに、
    さらに、前記参照されたテンプレートに基づいて取得された複数の画像の中からＮ枚の画像を選択し、選択した前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価ステップと、
    前記評価ステップにより算出された配置パターン毎の評価値を記憶する評価値記憶ステップと、
    を実行させ、
    前記評価項目は、（１）前記複数の画像が分類されたイベントに参加した複数の人物の紹介への適応性を示すオブジェクト紹介度、（２）前記イベントに参加した複数の人物のうち特定の人物が前記イベントで行なった行動の度合いを示すオブジェクト行動度、（３）前記イベントにおける場面の移り変わりの度合いを示す場面遷移度、および（４）前記場面において撮影された人物の寄り引きの対象性の度合いを示す場面全体像度を含み、
    前記コンピュータに、
    さらに、前記評価値記憶ステップに記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する特定ステップを実行させる、
    ことを特徴とするプログラム。
  17. 画像を配置するためのＮ個（Ｎは２以上の自然数）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有するテンプレートを記憶するテンプレート記憶手段と、
    複数の画像を取得する取得手段と、
    前記複数の画像に含まれる人物をクラスタリングするオブジェクトクラスタリング手段と、
    取得された複数の画像の中からＮ枚の画像を選択して前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価手段と、
    前記評価手段により算出された配置パターン毎の評価値を記憶する評価値記憶手段とを備え、
    前記評価項目は、（１）前記複数の画像が分類されたイベントに参加した複数の人物の紹介への適応性を示すオブジェクト紹介度、（２）前記イベントに参加した複数の人物のうち特定の人物が前記イベントで行なった行動の度合いを示すオブジェクト行動度、（３）前記イベントにおける場面の移り変わりの度合いを示す場面遷移度、および（４）前記場面において撮影された人物の寄り引きの対象性の度合いを示す場面全体像度を含み、
    前記評価手段は、前記評価値記憶手段に記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する
    ことを特徴とする集積回路。
JP2012557818A 2011-02-17 2012-02-06 画像評価装置、画像評価方法、プログラム、集積回路 Active JP5908849B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011031983 2011-02-17
JP2011031983 2011-02-17
PCT/JP2012/000787 WO2012111275A1 (ja) 2011-02-17 2012-02-06 画像評価装置、画像評価方法、プログラム、集積回路

Publications (2)

Publication Number Publication Date
JPWO2012111275A1 JPWO2012111275A1 (ja) 2014-07-03
JP5908849B2 true JP5908849B2 (ja) 2016-04-26

Family

ID=46672222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012557818A Active JP5908849B2 (ja) 2011-02-17 2012-02-06 画像評価装置、画像評価方法、プログラム、集積回路

Country Status (4)

Country Link
US (1) US8885944B2 (ja)
JP (1) JP5908849B2 (ja)
CN (1) CN102859985B (ja)
WO (1) WO2012111275A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120118383A (ko) * 2011-04-18 2012-10-26 삼성전자주식회사 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들
WO2013179558A1 (ja) * 2012-05-29 2013-12-05 パナソニック株式会社 画像評価装置、画像評価方法、プログラム、集積回路
JP6019815B2 (ja) * 2012-06-28 2016-11-02 富士通株式会社 データ処理システム、アプリケーション提示方法、及びプログラム
US9537706B2 (en) 2012-08-20 2017-01-03 Plentyoffish Media Ulc Apparatus, method and article to facilitate matching of clients in a networked environment
JP2014139734A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
US11568008B2 (en) 2013-03-13 2023-01-31 Plentyoffish Media Ulc Apparatus, method and article to identify discrepancies between clients and in response prompt clients in a networked environment
JP5802255B2 (ja) * 2013-03-13 2015-10-28 富士フイルム株式会社 レイアウト編集装置、レイアウト編集方法およびプログラム
US10282075B2 (en) * 2013-06-24 2019-05-07 Microsoft Technology Licensing, Llc Automatic presentation of slide design suggestions
US9672289B1 (en) * 2013-07-23 2017-06-06 Plentyoffish Media Ulc Apparatus, method and article to facilitate matching of clients in a networked environment
JP6282065B2 (ja) * 2013-09-05 2018-02-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US9870465B1 (en) 2013-12-04 2018-01-16 Plentyoffish Media Ulc Apparatus, method and article to facilitate automatic detection and removal of fraudulent user information in a network environment
JP6033821B2 (ja) * 2014-09-12 2016-11-30 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
AU2015203570A1 (en) * 2015-06-26 2017-01-19 Canon Kabushiki Kaisha Method, system and apparatus for segmenting an image set to generate a plurality of event clusters
US10534748B2 (en) 2015-11-13 2020-01-14 Microsoft Technology Licensing, Llc Content file suggestions
US10528547B2 (en) 2015-11-13 2020-01-07 Microsoft Technology Licensing, Llc Transferring files
US9824291B2 (en) 2015-11-13 2017-11-21 Microsoft Technology Licensing, Llc Image analysis based color suggestions
JP6595956B2 (ja) * 2016-07-04 2019-10-23 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
KR102179591B1 (ko) * 2018-12-12 2020-11-17 인하대학교 산학협력단 동영상 내 인물 영역 추출 장치
CN117112640B (zh) * 2023-10-23 2024-02-27 腾讯科技（深圳）有限公司 一种内容排序方法以及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007143093A (ja) * 2005-10-18 2007-06-07 Fujifilm Corp アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2008052326A (ja) * 2006-08-22 2008-03-06 Fujifilm Corp 電子アルバム生成装置、電子アルバム生成方法、および、そのプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4315344B2 (ja) 2003-11-27 2009-08-19 富士フイルム株式会社 画像編集装置および方法並びにプログラム
JP5284994B2 (ja) * 2010-02-09 2013-09-11 株式会社沖データ 画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007143093A (ja) * 2005-10-18 2007-06-07 Fujifilm Corp アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2008052326A (ja) * 2006-08-22 2008-03-06 Fujifilm Corp 電子アルバム生成装置、電子アルバム生成方法、および、そのプログラム

Also Published As

Publication number Publication date
CN102859985A (zh) 2013-01-02
JPWO2012111275A1 (ja) 2014-07-03
WO2012111275A1 (ja) 2012-08-23
CN102859985B (zh) 2015-08-05
US20130028521A1 (en) 2013-01-31
US8885944B2 (en) 2014-11-11

Similar Documents

Publication Publication Date Title
JP5908849B2 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
US8929669B2 (en) Image evaluation apparatus that calculates an importance degree of each of a plurality of images
CN101755303B (zh) 采用语义分类器的自动题材创建
US8917943B2 (en) Determining image-based product from digital image collection
CN103201769B (zh) 图像处理装置、图像处理方法、集成电路
US20120082378A1 (en) method and apparatus for selecting a representative image
US20130050747A1 (en) Automated photo-product specification method
Obrador et al. Supporting personal photo storytelling for social albums
WO2015107640A1 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
US9336442B2 (en) Selecting images using relationship weights
JP2006293985A (ja) アルバム作成装置、アルバム作成方法、及びプログラム
WO2022121485A1 (zh) 图像的多标签分类方法、装置、计算机设备及存储介质
US8831360B2 (en) Making image-based product from digital image collection
CN106454064A (zh) 图像处理装置以及图像处理方法
CN106445424A (zh) 信息处理方法及信息处理装置
Vonikakis et al. A probabilistic approach to people-centric photo selection and sequencing
JP2014092955A (ja) 類似コンテンツ検索処理装置、類似コンテンツ検索処理方法、およびプログラム
US8270731B2 (en) Image classification using range information
CN112424792A (zh) 基于美学的肖像图像评估
US20110304644A1 (en) Electronic apparatus and image display method
US20130050745A1 (en) Automated photo-product specification method
US20130050744A1 (en) Automated photo-product specification method
JP2003330941A (ja) 類似画像分類装置
Kuzovkin et al. Context-aware clustering and assessment of photo collections
CN105677696A (zh) 检索设备和检索方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160324

R150 Certificate of patent or registration of utility model

Ref document number: 5908849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150