JP6673771B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、複数のユーザから取得された複数の画像を用いて、合成画像を作成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。

現在、ユーザが所有する複数の画像（画像データ）を、インターネット等を経由して取得し、ユーザから取得した複数の画像を用いてユーザが希望するレイアウトのフォトアルバムを作成するサービスが提供されている。

近年では、一人のユーザが所有する複数の画像だけを用いてフォトアルバムを作成するだけでなく、複数のユーザが所有する複数の画像を用いて１つのフォトアルバムを作成するもの（特許文献１および２参照）が知られている。

また、ユーザが「いいねボタン」によって入力した支持情報に基づいて画像の評価値を算出し、評価値に基づいて画像を選択してアルバムのレイアウトを行うもの（特許文献３）、ライブビデオ等のコンテンツに対して、ユーザが５段階のレーティングを表すコンテンツ評価情報を入力するもの（特許文献４）、および、画像の評価値に基づいて画像を選択し、選択画像をレイアウトするもの（特許文献５）等が知られている。

特開２００８−２５７３０８号公報 特開２０１５−０６９４３１号公報 特開２０１６−０４８８４５号公報 特開２０１５−１４６２１８号公報 特開２００３−２７４１３９号公報

フォトアルバムおよびシャッフルプリント等の１つの合成画像を複数のユーザが共同で作成する場合、例えば、システムが有する自動レイアウト機能により、複数のユーザから取得された複数の画像を用いて合成画像のレイアウトが自動で作成される。

しかし、自動レイアウト機能によって作成された合成画像において、ユーザの期待とは異なる画像が大コマ（ｆｒａｍｅ）、つまり、合成画像を作成する場合に使用するテンプレートにおいて他の通常コマよりもサイズが大きい画像配置領域に配置される場合がある。この場合、ユーザは、ユーザが期待する画像を大コマに配置し直すために、画像の評価のやり直しおよび手動でのレイアウトの編集等の手間が発生する。

例えば、結婚披露宴のアルバムにおいて、面白い画像に対するユーザの評価が高くなって大コマに配置され、新郎・新婦の二人が写っている画像が大コマに配置されない場合がある。このように、多くのユーザから高い評価が与えられた画像であっても大コマには適していない可能性がある。また、システムによる評価が高い画像は「よい画像」ではあるが、「ユーザが大コマに配置したい画像」であるとは限らない。

また、例えば、幼稚園のアルバムのように、合成画像の作成目的によっては、笑顔の人物が写っている画像をなるべく多く配置したい場合がある。しかし、笑顔の人物であっても、その人物が正面を向いて写っている画像ではないために、合成画像において使用されず、ユーザが期待するレイアウトにならない場合がある。この場合も同様に、ユーザが期待するレイアウトにするために手動でのレイアウトの編集等の手間が発生する。

本発明の目的は、ユーザが期待するレイアウトの合成画像を作成することができ、手動でのレイアウトの編集の手間を減らすことができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、複数のユーザから複数の画像を取得する画像取得部と、
複数の画像、および、複数の画像の各々に対して、複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部に表示させる表示制御部と、
画像表示部に表示された各々の画像に対して、各々のユーザが２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得する評価取得部と、
各々の画像に付与された肯定的評価に基づいて各々の画像に対するユーザ評価値を算出する評価値算出部と、
各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を合成して合成画像を作成する合成画像作成部とを備える、画像処理装置を提供する。

ここで、各々の画像を解析する画像解析部と、
肯定的評価が付与された画像を２種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、２種類以上の肯定的評価の各々に対応する２以上の評価画像グループの各々を作成する評価画像グループ作成部と、
各々の画像の解析結果に基づいて、２以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出する類似画像検出部と、
類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、ユーザ評価値が最も高い第１類似画像のユーザ評価値に対して、第１類似画像以外の第２類似画像のユーザ評価値を加算する評価値加算部と、
各々の評価画像グループに含まれる画像の中から各々の評価画像グループに含まれる第２類似画像を削除して、合成画像において使用する候補画像を含む、２以上の評価画像グループの各々に対応する２以上の候補画像グループの各々を作成する候補画像グループ作成部と、
ユーザ評価値に基づいて、２以上の候補画像グループの各々に含まれる画像の順位を決定する順位決定部とを備えることが好ましい。

また、評価画像グループ作成部は、第１種類の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が第１閾値以上である画像をグルーピングして第１種類の肯定的評価に対応する評価画像グループを作成し、第１種類の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が第１閾値未満である画像、および、第２種類の肯定的評価が付与された画像のうち、第２種類の肯定的評価が付与された数が第２閾値以上である画像をグルーピングして第２種類の肯定的評価に対応する評価画像グループを作成することが好ましい。

また、評価画像グループ作成部は、第１種類の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第１種類の肯定的評価に対応する評価画像グループを作成し、第１種類の肯定的評価が付与された画像のうち、一定数の画像以外の画像、および、第２種類の肯定的評価が付与された画像のうち、第２種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第２種類の肯定的評価に対応する評価画像グループを作成することが好ましい。

また、各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する画像抽出部を備え、
画像抽出部は、合成画像における画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマに配置する画像として、２以上の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された特大コマの数の画像を特大コマに配置することが好ましい。

また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが特大コマの次に大きい大コマに配置する画像として、２以上の候補画像グループに含まれる画像のうちの特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された大コマの数の画像を大コマに配置することが好ましい。

また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに配置する画像として、２以上の候補画像グループに含まれる画像のうちの特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された通常コマの数の画像を通常コマに配置することが好ましい。

また、肯定的評価が付与されていない画像、および、２以上の候補画像グループに含まれる第２類似画像をグルーピングして予備画像グループを作成する予備画像グループ作成部を備え、
画像抽出部は、テンプレートに含まれるコマの数に対して、２以上の候補画像グループに含まれる画像の総数が不足する場合に、予備画像グループに含まれる画像の中から不足する数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された不足する数の画像を、テンプレートに含まれるコマに配置することが好ましい。

また、表示制御部は、各々のユーザが複数の画像の中で最もよいと考える画像に対して第１肯定的評価を付与するために指定する第１評価付与領域、各々のユーザが複数の画像の中で、合成画像における画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマの次に大きい大コマに配置したいと考える画像に対して第２肯定的評価を付与するために指定する第２評価付与領域、各々のユーザが複数の画像の中で画像に写っている人物の笑顔がよいと考える画像に対して第３肯定的評価を付与するために指定する第３評価付与領域、および、各々のユーザが複数の画像の中でよいと考える画像に対して第４肯定的評価を付与するために指定する第４評価付与領域を表示することが好ましい。

また、評価画像グループ作成部は、肯定的評価が付与された画像を、第１肯定的評価、第２肯定的評価、第３肯定的評価および第４肯定的評価の各々が付与された画像毎にグルーピングして、第１肯定的評価、第２肯定的評価、第３肯定的評価および第４肯定的評価に対応する第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループを作成し、
類似画像検出部は、各々の画像の解析結果に基づいて、第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループの各々に含まれる画像の中から類似画像のグループを検出し、
候補画像グループ作成部は、第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループの各々に含まれる画像の中から、第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループの各々に含まれる第２類似画像を削除して、第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループに対応する第１候補画像グループ、第２候補画像グループ、第３候補画像グループおよび第４候補画像グループを作成し、
順位決定部は、ユーザ評価値に基づいて、第１候補画像グループ、第２候補画像グループ、第３候補画像グループおよび第４候補画像グループの各々に含まれる画像の順位を決定することが好ましい。

また、候補画像グループ作成部は、第２評価画像グループに含まれる画像の中から、さらに、第１候補画像グループに含まれる画像を削除して第２候補画像グループを作成し、第４評価画像グループに含まれる画像の中から、さらに、第１候補画像グループおよび第２候補画像グループに含まれる画像を削除して第４候補画像グループを作成することが好ましい。

また、候補画像グループ作成部は、第２評価画像グループに含まれる画像の中から、さらに、第１候補画像グループに含まれる画像を削除して第２候補画像グループを作成し、第３評価画像グループに含まれる画像の中から、さらに、第１候補画像グループおよび第２候補画像グループに含まれる画像を削除して第３候補画像グループを作成し、第４評価画像グループに含まれる画像の中から、さらに、第１候補画像グループ、第２候補画像グループおよび第３候補画像グループに含まれる画像を削除して第４候補画像グループを作成することが好ましい。

また、各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する画像抽出部を備え、
合成画像は、表紙ページおよび本編ページを含むフォトアルバムであり、
画像抽出部は、第１候補画像グループ、第２候補画像グループおよび第４候補画像グループに含まれる画像の中から、表紙ページに配置する画像として、候補画像グループに対応する肯定的評価の種類の選択優先度が最も高く、かつ、候補画像グループに含まれる画像の順位が最も高い１枚の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された１枚の画像を表紙ページに配置することが好ましい。

また、画像抽出部は、フォトアルバムにおける画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマに配置する画像として、第１候補画像グループ、第２候補画像グループおよび第４候補画像グループに含まれる画像のうちの表紙ページに配置する１枚の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された特大コマの数の画像を特大コマに配置することが好ましい。

また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが特大コマの次に大きい大コマに配置する画像として、第１候補画像グループ、第２候補画像グループおよび第４候補画像グループに含まれる画像のうちの表紙ページに配置する１枚の画像および特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された大コマの数の画像を大コマに配置することが好ましい。

また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに配置する画像として、第１候補画像グループ、第２候補画像グループおよび第４候補画像グループに含まれる画像のうちの表紙ページに配置する１枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された通常コマの数の画像を通常コマに配置することが好ましい。

また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに配置する画像として、第４肯定的評価が付与された画像よりも第３肯定的評価が付与された画像を優先的に抽出する場合に、第１候補画像グループ、第２候補画像グループおよび第３候補画像グループに含まれる画像のうち、表紙ページに配置する１枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数以下の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された通常コマの数以下の画像を通常コマに配置することが好ましい。

また、画像抽出部は、通常コマに配置する画像として、通常コマの数未満の画像を抽出した場合に、通常コマのうちの通常コマの数未満の通常コマ以外の残りの通常コマに配置する画像として、第１候補画像グループ、第２候補画像グループ、第３候補画像グループおよび第４候補画像グループに含まれる画像のうち、表紙ページに配置する１枚の画像、特大コマの数の画像、大コマの数の画像、および、通常コマの数未満の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、残りの通常コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された残りの通常コマの数の画像を残りの通常コマに配置することが好ましい。

また、画像抽出部は、複数のユーザのうちの少なくとも一人の第１ユーザの指示に応じて、第４肯定的評価が付与された画像よりも第３肯定的評価が付与された画像を優先的に抽出するか否かを決定することが好ましい。

また、画像抽出部は、第３候補画像グループに含まれる画像の数が閾値以上である場合に、第４肯定的評価が付与された画像よりも第３肯定的評価が付与された画像を優先的に抽出することが好ましい。

また、合成画像における画像のレイアウトを決定する複数のテンプレートを記憶するテンプレート記憶部と、
第１テンプレート決定モードの場合に、複数のユーザのうちの少なくとも一人の第１ユーザの指示に応じて設定された合成画像の商材の種類、ページ数およびテーマに基づいて、複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定し、第２テンプレート決定モードの場合に、複数の画像の数および各々の画像に付与された肯定的評価に基づいて、複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定するテンプレート決定部とを備え、
合成画像作成部は、テンプレート決定部によって決定されたテンプレートを用いて合成画像を作成することが好ましい。

また、テンプレート決定部は、第２テンプレート決定モードの場合に、第１候補画像グループ、第２候補画像グループ、第３候補画像グループおよび第４候補画像グループに含まれる画像の総数、ならびに、第１候補画像グループ、第２候補画像グループおよび第４候補画像グループの各々に含まれる画像の数に応じて、テンプレートに含まれるコマのうち、サイズが最も大きい特大コマおよび特大コマの次に大きい大コマの数を決定し、特大コマおよび大コマの数に応じて、合成画像を作成する時に使用するテンプレートを決定することが好ましい。

また、テンプレート決定部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに、第４肯定的評価が付与された画像よりも第３肯定的評価が付与された画像を優先的に配置する場合に、第３肯定的評価が付与された画像を優先的に配置しない場合よりも、合成画像を作成する時に使用するテンプレートを、通常コマの数がより多いテンプレートに変更することが好ましい。

また、各々の画像を解析する画像解析部を備え、
評価値算出部は、さらに、各々の画像の解析結果に基づいて各々の画像の解析評価値を算出し、各々の画像の解析評価値およびユーザ評価値を加算して各々の画像の総合評価値を算出し、
各々の画像の総合評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する画像抽出部を備えることが好ましい。

また、本発明は、画像取得部が、複数のユーザから複数の画像を取得するステップと、
表示制御部が、複数の画像、および、複数の画像の各々に対して、複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部に表示させるステップと、
評価取得部が、画像表示部に表示された各々の画像に対して、各々のユーザが２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得するステップと、
評価値算出部が、各々の画像に付与された肯定的評価に基づいて各々の画像に対するユーザ評価値を算出するステップと、
合成画像作成部が、各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を合成して合成画像を作成するステップとを含む、画像処理方法を提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明においては、評価基準が異なる２種類以上の肯定的評価に基づいて、ユーザが期待する画像を、合成画像を作成する場合に使用するテンプレートに含まれる「大コマ」等に自動で配置したり、笑顔の画像を優先的に配置したりすることができる。そのため、ユーザは、ユーザが期待する画像を配置し直す必要がなくなり、画像の評価のやり直しおよび手動でのレイアウトの編集等の手間を省くことができる。

本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。 図１に示すサーバの構成を表す一実施形態のブロック図である。 図１に示すユーザの端末装置の構成を表す一実施形態のブロック図である。 図１に示す画像処理装置の動作を表す一実施形態のフローチャートである。 図４に続く画像処理装置の動作を表す一実施形態のフローチャートである。 ユーザが画像を評価する場合に表示される画面を表す一実施形態の概念図である。 画像をグルーピングする場合のより具体的な画像処理装置の動作を表す一実施形態のフローチャートである。 図７に続く画像処理装置の動作を表す一実施形態のフローチャートである。 図８に続く画像処理装置の動作を表す一実施形態のフローチャートである。 図９に続く画像処理装置の動作を表す一実施形態のフローチャートである。 第２テンプレート決定モードにおいてテンプレートを決定する場合のより具体的な画像処理装置の動作を表す一実施形態のフローチャートである。 合成画像を作成する場合のより具体的な画像処理装置の動作を表す一実施形態のフローチャートである。 図１２に続く画像処理装置の動作を表す一実施形態のフローチャートである。 図１３に続く画像処理装置の動作を表す一実施形態のフローチャートである。 図１４に続く画像処理装置の動作を表す一実施形態のフローチャートである。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

＜ハードウェア構成＞
図１は、本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。図１に示す画像処理装置１０は、サーバ１２と、ネットワーク１６を介してサーバ１２に接続された複数のユーザの端末装置（クライアント）１４とを備えている。画像処理装置１０は、複数のユーザの各々の端末装置１４からネットワーク１６を介して取得された複数の画像を用いてフォトアルバム、シャッフルプリント等の合成画像を作成する。

サーバ１２は、端末装置１４からの指示に基づいて、合成画像を作成するための種々のデータ処理を行うものであり、例えば、デスクトップPC（Personal Computer：パーソナルコンピュータ）またはワークステーション等により構成される。

端末装置１４は、サーバ１２に対して各種の指示を与えて種々のデータ処理を行わせるものであり、例えば、スマートフォン、タブレットPCまたはノートPC等により構成される。

ネットワーク１６は、例えば、電話回線またはインターネット回線等であり、有線または無線によってサーバ１２と端末装置１４との間を相互に接続し、双方向の通信が可能である。

＜サーバの構成＞
図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、画像取得部１８と、画像解析部２０と、表示制御部２２と、評価取得部２４と、評価値算出部２６と、評価画像グループ作成部２８と、類似画像検出部３０と、評価値加算部３２と、候補画像グループ作成部３４と、順位決定部３６と、予備画像グループ作成部３８と、テンプレート記憶部４０と、テンプレート決定部４２と、画像抽出部４４と、合成画像作成部４６とを備えている。

サーバ１２において、画像取得部１８は、複数のユーザの端末装置１４から、ネットワーク１６を介して、複数の画像を取得する。

続いて、画像解析部２０は、画像取得部１８によって取得された複数の画像の各々を解析する。

画像解析部２０は、例えば、画像の明るさ、色合い、ボケおよびブレの程度等の画質の解析、画像のサイズの解析の他、Exif（Exchangeable Image File Format：エクスチェンジャブル・イメージ・ファイル・フォーマット）などの画像の付帯情報に含まれる撮影日時、撮影場所等の解析、画像に写っている人物および人物以外のオブジェクトの解析、画像に写っている人物の顔認識、画像のシーンの解析、類似画像の判定等を行う。

続いて、表示制御部２２は、複数の画像、および、複数の画像の各々に対して、複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部４８に表示させる。

評価基準とは、例えば、複数の画像の中で、ユーザが最もよいと考える画像、大コマに配置するのによいと考える画像、笑顔がよいと考える画像、よいと考える画像というように、ユーザが画像を評価する際の判断の基準となる項目を表す。

続いて、評価取得部２４は、表示制御部２２によって画像表示部４８に表示された各々の画像に対して、各々のユーザが２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得する。

続いて、評価値算出部２６は、評価取得部２４によって取得された、各々の画像に付与された肯定的評価に基づいて、各々の画像に対するユーザ評価値を算出する。
また、評価値算出部２６は、画像解析部２０による各々の画像の解析結果に基づいて、各々の画像の解析評価値を算出し、各々の画像の解析評価値およびユーザ評価値を加算して各々の画像の総合評価値を算出する。

評価値算出部２６は、例えば、画像に付与された肯定的評価の数が多いほど、ユーザ評価値が高くなるように算出する。また、例えば、画像の画質がよいほど、解析評価値が高くなるように算出する。

続いて、評価画像グループ作成部２８は、肯定的評価が付与された画像を２種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、２種類以上の肯定的評価の各々に対応する２以上の評価画像グループの各々を作成する。

続いて、類似画像検出部３０は、各々の画像の解析結果に基づいて、評価画像グループ作成部２８によって作成された２以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出する。

続いて、評価値加算部３２は、類似画像検出部３０によって検出された類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、評価値算出部２６によって算出されたユーザ評価値または総合評価値が最も高い第１類似画像のユーザ評価値または総合評価値に対して、第１類似画像以外の第２類似画像のユーザ評価値または総合評価値を加算する。

つまり、評価値加算部３２は、第１類似画像をメインの類似画像として、類似画像のグループに含まれる全ての類似画像に付与されたユーザ評価値または総合評価値の加算値を第１類似画像に対するユーザ評価値または総合評価値とする。

続いて、候補画像グループ作成部３４は、各々の評価画像グループに含まれる画像の中から各々の評価画像グループに含まれる第２類似画像を削除して、合成画像において使用する候補画像を含む、２以上の評価画像グループの各々に対応する２以上の候補画像グループの各々を作成する。

「削除」は、第２類似画像を候補画像から除外することを意味する。第２類似画像を「削除」するために、例えば、第２類似画像が候補画像グループの中に含まれないようにしてもよい。また、「削除」するか否かを表すフラグを各々の画像に付与し、第２類似画像に付与されたフラグを、「削除」することを表す状態に設定することなども、第２類似画像を「削除」することに該当する。これ以後の「削除」についても同様である。

続いて、順位決定部３６は、ユーザ評価値または総合評価値に基づいて、候補画像グループ作成部３４によって作成された２以上の候補画像グループの各々に含まれる画像の順位を決定する。

順位決定部３６は、例えば、ユーザ評価値または総合評価値が高いほど、画像の順位が高くなるように決定する。

続いて、予備画像グループ作成部３８は、肯定的評価が付与されていない画像、および、２以上の候補画像グループに含まれる第２類似画像をグルーピングして予備画像グループを作成する。

予備画像グループは、合成画像において使用する画像の総数が不足する場合に使用する画像を含む。

続いて、テンプレート記憶部４０は、合成画像における画像のレイアウトを決定する複数のテンプレートを記憶する。

テンプレートは、合成画像において使用する画像数、画像配置領域（コマ）、背景画像等が決定されているものである。また、画像配置領域には、サイズが最も大きい特大コマ（例えば、テンプレートの見開き１ページにおける７５％以上の面積を占めるコマ）、特大コマの次に大きい大コマ（例えば、テンプレートの５０％以上７５％未満の面積を占めるコマ）、大コマよりも小さい通常コマ（例えば、特大コマおよび大コマ以外のコマ）等が含まれる。

続いて、テンプレート決定部４２は、合成画像を作成する時に使用するテンプレートを決定するテンプレート決定モードとして、第１テンプレート決定モードおよび第２テンプレート決定モードを有する。

テンプレート決定部４２は、第１テンプレート決定モードの場合、ユーザにより各々の画像に付与された肯定的評価が評価取得部２４によって取得される前に、複数のユーザのうちの少なくとも一人の第１ユーザの指示に応じて設定された合成画像の商材の種類、ページ数およびテーマに基づいて、テンプレート記憶部４０に記憶された複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定する。

第１ユーザは、例えば、複数のユーザのうち、合成画像を作成する場合のまとめ役となる幹事のユーザである。

また、テンプレート決定部４２は、第２テンプレート決定モードの場合、ユーザにより各々の画像に付与された肯定的評価が評価取得部２４によって取得された後、複数の画像の数および各々の画像に付与された肯定的評価に基づいて、テンプレート記憶部４０に記憶された複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定する。

例えば、テンプレート決定部４２は、デフォルトのテンプレート決定モードを、第１テンプレート決定モードまたは第２テンプレート決定モードに設定しておくことができる。第１ユーザは、デフォルトのテンプレート決定モードをそのまま使用してもよいし、あるいは、デフォルトのテンプレート決定モードから別のテンプレート決定モードに変更してもよい。

続いて、画像抽出部４４は、評価値算出部２６によって算出された各々の画像に対するユーザ評価値または各々の画像の総合評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する。

画像抽出部４４は、例えば、複数の画像の中から、ユーザ評価値または総合評価値が高い順に、一部または全部の画像を抽出する。

本実施形態の場合、画像抽出部４４は、候補画像グループに対応する肯定的評価の種類の選択優先度、および、候補画像グループに含まれる画像の順位に基づいて、２以上の候補画像グループに含まれる画像の少なくとも一部の画像を抽出する。

画像抽出部４４は、例えば、２以上の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、一部または全部の画像を抽出する。

肯定的評価の種類の選択優先度は、２以上の候補画像グループから画像を抽出する際の順序を決定する。肯定的評価の種類の選択優先度は、例えば、画像抽出部４４が設定してもよいし、あるいは、第１ユーザが設定してもよい。また、画像抽出部４４が肯定的評価の種類の選択優先度を設定する場合、例えば、合成画像のテーマ等に応じて、肯定的評価の種類の選択優先度を変更してもよい。

最後に、合成画像作成部４６は、テンプレート決定部４２によって決定されたテンプレートを用いて、画像抽出部４４によって抽出された、複数の画像の少なくとも一部の画像を合成して合成画像を作成する。

本実施形態の場合、合成画像作成部４６は、複数の画像の少なくとも一部の画像を、テンプレート決定部４２によって決定されたテンプレートにおける画像配置領域に配置して合成画像を作成する。

画像取得部１８、画像解析部２０、表示制御部２２、評価取得部２４、評価値算出部２６、評価画像グループ作成部２８、類似画像検出部３０、評価値加算部３２、候補画像グループ作成部３４、順位決定部３６、予備画像グループ作成部３８、テンプレート記憶部４０、テンプレート決定部４２、画像抽出部４４および合成画像作成部４６は、例えば、CPU（Central Processing Unit：中央処理装置）等の制御デバイスが、メモリにロードされたプログラムを実行することにより実現される。また、各部位によって保存されるデータは、例えば、HDD（Hard Disk Drive：ハードディスクドライブ）、SSD（Solid State Drive：ソリッドステートドライブ）、SD（Secure Digital：セキュア・デジタル）カード等の記憶装置に保存される。

＜端末の構成＞
次に、図３は、図１に示すユーザの端末装置の構成を表す一実施形態のブロック図である。同図に示すユーザの端末装置１４は、画像表示部４８と、指示入力部５０とを備えている。

端末装置１４において、画像表示部４８は、各種の画像、設定画面、選択画面、確認画面、入力画面、作成画面等を表示するものであり、例えば、液晶ディスプレイ等の表示デバイスによって構成される。

続いて、指示入力部５０は、ユーザによって入力された各種の設定指示、選択指示、確認指示、入力指示、作成指示等を取得するものであり、例えば、キーボードおよびマウス等の入力デバイスによって構成される。

本実施形態の場合、画像表示部４８および指示入力部５０は、タッチパネル等のように、表示デバイスおよび入力デバイスが一体化されたデバイスによって構成される。

図示を省略しているが、サーバ１２および端末装置１４は、例えば、サーバ１２と端末装置１４との間で各種データの送受信を行う通信デバイス等である送受信部、各部位の動作を制御するCPU等である制御部等を備えている。

＜第１ユーザによる発起および複数ユーザによる画像アップロード＞
次に、図４および図５に示すフローチャートを参照しながら、画像処理装置１０の動作を説明する。

本実施形態の場合、特大コマ、大コマ、通常コマを含むテンプレートを用いて、合成画像として、表紙ページおよび本編ページを含むフォトアルバムを作成する。

合成画像を作成する場合、幹事のユーザである第１ユーザは、第１ユーザの端末装置１４において、指示入力部５０を介して、合成画像の注文情報を入力する。

注文情報は、合成画像を作成するために必要となる情報であり、例えば、フォトアルバム、シャッフルプリント等の合成画像の商材の種類、ページ数、および、テーマ等の情報を含む。

注文情報は、第１ユーザの端末装置１４から、ネットワーク１６を介してサーバ１２に取得され（図４のステップS1）、注文情報に含まれる、合成画像の商材の種類およびページ数に応じて、合成画像において使用する必要入力画像数が決定される（ステップS2）。

続いて、テンプレート決定部４２により、テンプレート決定モードが第１テンプレート決定モードであるか否かが確認される（ステップS3）。

その結果、第１テンプレート決定モードに設定されている場合（ステップS3において、YES）、テンプレート決定部４２により、合成画像の商材の種類、ページ数およびテーマに基づいて、テンプレート記憶部４０に記憶された複数のテンプレートの中から合成画像を作成する時に使用するテンプレートが決定される。また、合成画像のテーマに基づいて、テンプレートに含まれる特大コマおよび大コマの数が決定される（ステップS4）。

一方、第２テンプレート決定モードに設定されている場合（ステップS3において、NO）、次のステップS5に進む。

続いて、合成画像において使用する画像をリクエストするリクエスト情報が、サーバ１２から、ネットワーク１６を介して、第１ユーザを含む、複数のユーザの端末装置１４に通知される（ステップS5）。

リクエスト情報には、例えば、作成する合成画像が、結婚披露宴のフォトアルバムであること、リクエストの内容が、フォトアルバムにおいて使用する画像のアップロードであること、および、リクエストに対する回答期限等が含まれる。

各々のユーザの端末装置１４においては、サーバ１２から、ネットワーク１６を介して、リクエスト情報が受信され、受信されたリクエスト情報が画像表示部４８に表示される（ステップS6）。

各々のユーザは、各々のユーザの端末装置１４の画像表示部４８に表示されたリクエスト情報の内容を参照し、指示入力部５０を介して、リクエスト情報の内容に対応する画像をアップロードする指示を行う。

各々のユーザから画像がアップロードされると、画像取得部１８により、複数のユーザの端末装置１４から、ネットワーク１６を介して、リクエスト情報に対応する複数の画像が取得される（ステップS7）。

リクエストに対する回答期限が経過した後、画像のアップロードが締め切られ（ステップS8）、画像取得部１８によって取得された取得画像数が、必要入力画像数以上であるか否かが確認される（ステップS9）。

その結果、取得画像数が必要入力画像数未満である場合（ステップS9において、NO）、合成画像において使用する画像を再度リクエストするリクエスト情報が、サーバ１２から、ネットワーク１６を介して、複数のユーザの端末装置１４に通知される（ステップS10）。これ以後は、ステップS6へ戻り、取得画像数が必要画像数以上となるまで上記の動作が繰り返し行われる。

一方、取得画像数が必要画像数以上である場合（ステップS9において、YES）、画像解析部２０により、画像取得部１８によって取得された複数の画像の各々が解析される（図５のステップS11）。
また、評価値算出部２６により、各々の画像の解析結果に基づいて、各々の画像の解析評価値が算出される（ステップS12）。

＜端末における評価の受付＞
続いて、図６に示すように、表示制御部２２により、画像取得部１８によって取得された複数の画像、および、４つの評価付与領域の各々が、ネットワーク１６を介して、各々のユーザの端末装置１４に送付され、画像表示部４８に表示される。

図６の例の場合、画像表示部４８には、複数の画像の縮小画像が一覧表示され、その右側において、「ベストショット」（本発明の第１肯定的評価の一例）、「大コマいいね」（本発明の第２肯定的評価の一例）、「笑顔がいいね」（本発明の第３肯定的評価の一例）および「いいね」（本発明の第４肯定的評価の一例）という４種類の肯定的評価に対応する４つの評価付与領域が表示されている。

「ベストショット」の肯定的評価は、各々のユーザが複数の画像の中で最もよいと考える画像に対して付与される。また、「大コマいいね」の肯定的評価は、各々のユーザが複数の画像の中で、テンプレートに含まれるコマのうち、大コマに配置したいと考える画像に対して付与される。「笑顔がいいね」の肯定的評価は、各々のユーザが複数の画像の中で画像に写っている人物の笑顔がよいと考える画像に対して付与される。「いいね」の肯定的評価は、各々のユーザが複数の画像の中でよいと考える画像に対して付与される。

なお、図６の例の肯定的評価に限らず、「表紙ページに使う画像」、「おもしろい画像」、「セピア色が似合う画像」および「モノクロが似合う画像」等の各種の肯定的評価に対応する評価付与領域を表示してもよい。
また、一覧表示された複数の縮小画像のうち、例えば、解析評価値が閾値よりも大きい画像に対して星マーク等を付与し、合成画像において使用する画像としておすすめであることを示してもよい。また、類似画像を並べて配置してもよい。

各々のユーザは、指示入力部５０を介して、各々のユーザの端末装置１４の画像表示部４８に表示された複数の画像の中から、ユーザが評価する１枚の画像をタップして選択した後、４種類の評価付与領域の中の１つをタップして選択することにより、選択した画像に対して、選択した評価付与領域に対応する種類の肯定的評価を付与することができる。他の画像および他の評価付与領域を選択した場合も同様である。

つまり、ユーザが「ベストショット」の評価付与領域をタップすると、「ベストショット」の肯定的評価が、選択された画像に付与される。同様に、「大コマいいね」の評価付与領域をタップすると、「大コマいいね」の肯定的評価が、「笑顔がいいね」の評価付与領域をタップすると、「笑顔がいいね」の肯定的評価が、「いいね」の評価付与領域をタップすると、「いいね」の肯定的評価が、選択された画像に付与される。

また、例えば、「ベストショット」の評価付与領域をタップした後、続いて、「笑顔がいいね」の評価付与領域をタップすると、「ベストショット」および「笑顔がいいね」の２つの肯定的評価が、選択された画像に付与される。他の評価付与領域をタップした場合も同様であり、１つの画像に対して、２以上の評価付与領域に対応する２以上の肯定的評価を付与することができる。

各々のユーザによって画像が評価されると、評価取得部２４により、各々のユーザの端末装置１４から、ネットワーク１６を介して、各々のユーザによって各々の画像に付与された肯定的評価が取得される（ステップS13）。

評価に対する回答期限が経過した後、画像の評価が締め切られ（ステップS14）、評価値算出部２６により、各々の画像に付与された肯定的評価に基づいて、各々の画像に対するユーザ評価値が算出される（ステップS15）。
また、評価値算出部２６により、各々の画像の解析評価値およびユーザ評価値が加算されて各々の画像の総合評価値が算出される（ステップS16）。

続いて、画像がグルーピングされる（ステップS17）。

この場合、評価画像グループ作成部２８により、肯定的評価が付与された画像が、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の肯定的評価の各々が付与された画像毎にグルーピングされ、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の肯定的評価に対応する４つの評価グループ（本発明の第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループの一例）が作成される。

評価画像グループ作成部２８は、第１種類、例えば、「ベストショット」の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が第１閾値以上である画像をグルーピングして第１種類の肯定的評価に対応する評価画像グループを作成し、第１種類の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が第１閾値未満である画像、および、第２種類、例えば、「大コマいいね」の肯定的評価が付与された画像のうち、第２種類の肯定的評価が付与された数が第２閾値以上である画像をグルーピングして第２種類の肯定的評価に対応する評価画像グループを作成する。

あるいは、評価画像グループ作成部２８は、第１種類の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第１種類の肯定的評価に対応する評価画像グループを作成し、第１種類の肯定的評価が付与された画像のうち、一定数の画像以外の画像、および、第２種類の肯定的評価が付与された画像のうち、第２種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第２種類の肯定的評価に対応する評価画像グループを作成する。他の種類の肯定的評価の候補画像グループを作成する場合も同様である。

続いて、類似画像検出部３０により、各々の画像の解析結果に基づいて、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の評価画像グループの各々に含まれる画像の中から類似画像のグループが検出される。

続いて、評価値加算部３２により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、総合評価値が最も高い第１類似画像の総合評価値に対して、第１類似画像以外の第２類似画像の総合評価値が加算される。

続いて、候補画像グループ作成部３４により、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の評価画像グループの各々に含まれる画像の中から、その各々に含まれる第２類似画像が削除され、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の評価画像グループに対応する「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループが作成される。

続いて、順位決定部３６により、総合評価値に基づいて、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループの各々に含まれる画像の順位が決定される。

続いて、予備画像グループ作成部３８により、肯定的評価が付与されていない画像、および、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる第２類似画像がグルーピングされて予備画像グループが作成される。

なお、画像をグルーピングする場合のより具体的な動作は後述する。

続いて、第２テンプレート決定モードの場合のテンプレートが決定される（ステップS18）。

この場合、テンプレート決定部４２により、テンプレート決定モードが第２テンプレート決定モードであるか否かが確認される。

テンプレート決定モードが第１テンプレート決定モードに設定されている場合、合成画像を作成する場合に使用するテンプレートはステップS4において既に決定されている。

一方、テンプレート決定モードが第２テンプレート決定モードに設定されている場合、テンプレート決定部４２により、画像取得部１８によって取得された複数の画像の数、および、各々の画像に付与された肯定的評価に基づいて、テンプレート記憶部４０に記憶された複数のテンプレートの中から、合成画像を作成する時に使用するテンプレートが決定される。

テンプレート決定部４２は、第２テンプレート決定モードの場合、例えば、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の総数、ならびに、「ベストショット」、「大コマいいね」および「いいね」の各々に含まれる画像の数に応じて、テンプレートに含まれるコマのうち、特大コマおよび大コマの数を決定し、特大コマおよび大コマの数に応じて、合成画像を作成する時に使用するテンプレートを決定する。

なお、第２テンプレート決定モードにおいてテンプレートを決定する場合のより具体的な動作は後述する。

続いて、合成画像が作成される（ステップS19）。

この場合、画像抽出部４４により、候補画像グループに対応する肯定的評価の種類の選択優先度、および、候補画像グループに含まれる画像の順位に基づいて、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の少なくとも一部の画像が抽出される。

続いて、合成画像作成部４６により、注文情報に基づいて、画像抽出部４４によって抽出された、複数の画像の少なくとも一部の画像が、テンプレート決定部４２によって決定されたテンプレートにおける画像配置領域に配置されて合成画像が作成される。

例えば、画像抽出部４４により、テンプレートに含まれるコマのうち、特大コマに配置する画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像が抽出される。
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された特大コマの数の画像が特大コマに配置される。

また、画像抽出部４４により、テンプレートに含まれるコマのうち、大コマに配置する画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像のうちの特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像が抽出される。
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された大コマの数の画像が大コマに配置される。

また、画像抽出部４４により、テンプレートに含まれるコマのうち、通常コマに配置する画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像のうちの特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像が抽出される。
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された通常コマの数の画像が通常コマに配置される。

また、テンプレートに含まれるコマの数に対して、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の総数が不足する場合、画像抽出部４４により、予備画像グループに含まれる画像の中から不足する数の画像が抽出される。
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された不足する数の画像が、テンプレートに含まれるコマに配置される。

なお、合成画像を作成する場合のより具体的な動作は後述する。

合成画像が作成されると、合成画像作成部４６により、作成された合成画像が、ネットワーク１６を介して、第１ユーザの端末装置１４に送付され、画像表示部４８に表示される（ステップS20）。

第１ユーザは、第１ユーザの端末装置１４の画像表示部４８に表示された合成画像の内容を確認し、合成画像作成部４６によって作成された合成画像をそのまま使用してもよいし、あるいは、指示入力部５０を介して、合成画像を編集してもよい。

＜画像のグルーピング＞
次に、図７ないし図１０に示すフローチャートを参照して、画像をグルーピングする場合のより具体的な画像処理装置の動作を説明する。

本実施形態の場合、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の肯定的評価の順に、肯定的評価の種類の選択優先度が高いとする。

まず、評価画像グループ作成部２８により、「ベストショット」の肯定的評価が１以上付与された画像がグルーピングされ、「ベストショット」の肯定的評価に対応する評価画像グループが作成される（図７のステップS21）。

続いて、類似画像検出部３０により、各々の画像の解析結果に基づいて、「ベストショット」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される（ステップS22）。

続いて、「ベストショット」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される（ステップS23）。

その結果、類似画像が存在する場合（ステップS23において、YES）、評価値加算部３２により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、総合評価値が最も高い第１類似画像の総合評価値に対して、第１類似画像以外の第２類似画像の総合評価値が加算される（ステップS24）。

続いて、候補画像グループ作成部３４により、「ベストショット」の評価画像グループに含まれる画像の中から第２類似画像が削除され、合成画像において使用する候補画像を含む、「ベストショット」の候補画像グループが作成される（ステップS25）。

続いて、ステップS27へ進む。

一方、類似画像が存在しない場合（ステップS23において、NO）、候補画像グループ作成部３４により、合成画像において使用する候補画像として、「ベストショット」の評価画像グループに含まれる全ての画像を含む、「ベストショット」の候補画像グループが作成される（ステップS26）。

候補画像グループが作成されると、順位決定部３６により、総合評価値に基づいて、「ベストショット」の候補画像グループに含まれる画像の順位が決定される（ステップS27）。

続いて、評価画像グループ作成部２８により、「大コマいいね」の肯定的評価が１以上付与された画像がグルーピングされ、「大コマいいね」の肯定的評価に対応する評価画像グループが作成される（図８のステップS28）。

続いて、類似画像検出部３０により、各々の画像の解析結果に基づいて、「大コマいいね」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される（ステップS29）。

続いて、「大コマいいね」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される（ステップS30）。

その結果、類似画像が存在する場合（ステップS30において、YES）、評価値加算部３２により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、同様に、第１類似画像の総合評価値に対して第２類似画像の総合評価値が加算される（ステップS31）。

続いて、候補画像グループ作成部３４により、「大コマいいね」の評価画像グループに含まれる画像の中から第２類似画像が削除され、合成画像において使用する候補画像を含む、「大コマいいね」の候補画像グループが作成される（ステップS32）。

続いて、ステップS34へ進む。

一方、類似画像が存在しない場合（ステップS30において、NO）、候補画像グループ作成部３４により、合成画像において使用する候補画像として、「大コマいいね」の評価画像グループに含まれる全ての画像を含む、「大コマいいね」の候補画像グループが作成される（ステップS33）。

候補画像グループが作成されると、順位決定部３６により、総合評価値に基づいて、「大コマいいね」の候補画像グループに含まれる画像の順位が決定される（ステップS34）。

続いて、評価画像グループ作成部２８により、「笑顔がいいね」の肯定的評価が１以上付与された画像がグルーピングされ、「笑顔がいいね」の肯定的評価に対応する評価画像グループが作成される（図９のステップS35）。

続いて、類似画像検出部３０により、各々の画像の解析結果に基づいて、「笑顔がいいね」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される（ステップS36）。

続いて、「笑顔がいいね」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される（ステップS37）。

その結果、類似画像が存在する場合（ステップS37において、YES）、評価値加算部３２により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、同様に、第１類似画像の総合評価値に対して第２類似画像の総合評価値が加算される（ステップS38）。

続いて、候補画像グループ作成部３４により、「笑顔がいいね」の評価画像グループに含まれる画像の中から第２類似画像が削除され、合成画像において使用する候補画像を含む、「笑顔がいいね」の候補画像グループが作成される（ステップS39）。

続いて、ステップS41へ進む。

一方、類似画像が存在しない場合（ステップS37において、NO）、候補画像グループ作成部３４により、合成画像において使用する候補画像として、「笑顔がいいね」の評価画像グループに含まれる全ての画像を含む、「笑顔がいいね」の候補画像グループが作成される（ステップS40）。

候補画像グループが作成されると、順位決定部３６により、総合評価値に基づいて、「笑顔がいいね」の候補画像グループに含まれる画像の順位が決定される（ステップS41）。

続いて、評価画像グループ作成部２８により、「いいね」の肯定的評価が１以上付与された画像がグルーピングされ、「いいね」の肯定的評価に対応する評価画像グループが作成される（図１０のステップS42）。

続いて、類似画像検出部３０により、各々の画像の解析結果に基づいて、「いいね」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される（ステップS43）。

続いて、「いいね」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される（ステップS44）。

その結果、類似画像が存在する場合（ステップS44において、YES）、評価値加算部３２により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、同様に、第１類似画像の総合評価値に対して第２類似画像の総合評価値が加算される（ステップS45）。

続いて、候補画像グループ作成部３４により、「いいね」の評価画像グループに含まれる画像の中から第２類似画像が削除され、合成画像において使用する候補画像を含む、「いいね」の候補画像グループが作成される（ステップS46）。

続いて、ステップS48へ進む。

一方、類似画像が存在しない場合（ステップS44において、NO）、候補画像グループ作成部３４により、合成画像において使用する候補画像として、「いいね」の評価画像グループに含まれる全ての画像を含む、「いいね」の候補画像グループが作成される（ステップS47）。

候補画像グループが作成されると、順位決定部３６により、総合評価値に基づいて、「いいね」の候補画像グループに含まれる画像の順位が決定される（ステップS48）。

最後に、予備画像グループ作成部３８により、肯定的評価が付与されていない画像、ならびに、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる第２類似画像がグルーピングされ、予備画像グループが作成される（ステップS49）。

なお、例えば、「ベストショット」および「大コマいいね」の両方の肯定的評価が付与された画像は、「ベストショット」および「大コマいいね」の両方の候補画像グループに含まれる。そのため、画像のグルーピングの場合に、例えば、「大コマいいね」の評価画像グループに含まれる画像の中から、「ベストショット」の候補画像グループに含まれている画像を削除して「大コマいいね」の候補画像グループを作成してもよい。同様に、「いいね」の評価画像グループに含まれる画像の中から、「ベストショット」および「大コマいいね」の候補画像グループに含まれている画像を削除して「いいね」の候補画像グループを作成してもよい。

あるいは、「大コマいいね」の評価画像グループに含まれる画像の中から、「ベストショット」の候補画像グループに含まれている画像を削除して「大コマいいね」の候補画像グループを作成し、「笑顔がいいね」の評価画像グループに含まれる画像の中から、「ベストショット」および「大コマいいね」の候補画像グループに含まれている画像を削除して「笑顔がいいね」の候補画像グループを作成し、「いいね」の評価画像グループに含まれる画像の中から、「ベストショット」、「大コマいいね」および「笑顔がいいね」の候補画像グループに含まれている画像を削除して「いいね」の候補画像グループを作成してもよい。

その一方で、例えば、「ベストショット」および「大コマいいね」の両方の候補画像グループに重複する画像が含まれているとしても、後述するように、合成画像において使用（配置）された画像は、候補画像グループから削除される。そのため、画像のグルーピングまたは合成画像の作成いずれかの場合に、候補画像グループから重複する画像を削除すればよい。

＜第２テンプレート決定モードにおけるテンプレートの決定＞
次に、図１１に示すフローチャートを参照して、第２テンプレート決定モードにおいてテンプレートを決定する場合のより具体的な画像処理装置の動作を説明する。

まず、テンプレート決定部４２により、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の４つの候補画像グループに含まれる画像の総数、ならびに、「ベストショット」、「大コマいいね」および「いいね」の３つの候補画像グループの各々に含まれる画像の数が算出される（図１１のステップS50）。

続いて、テンプレート決定部４２により、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の総数、ならびに、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループの各々に含まれる画像の数に応じて、特大コマおよび大コマの数に応じて、テンプレート記憶部４０に記憶された複数のテンプレートの中から、合成画像を作成する時に使用するテンプレートが決定される。また、テンプレートに含まれる特大コマおよび大コマの数が決定される（ステップS51）。

続いて、テンプレートの通常コマに、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置するか否かが確認される（ステップS52）。

「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置するか否かは、例えば、テンプレート決定部４２が合成画像のテーマ等に基づいて自動で決定してもよいし、あるいは、第１ユーザの指示によって決定してもよい。

その結果、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置する場合（ステップS52において、YES）、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置しない場合よりも、合成画像を作成する時に使用するテンプレートが、通常コマの数がより多いテンプレートに変更される（ステップS53）。「笑顔がいいね」の肯定的評価が付与された画像の数に応じて、例えば、「笑顔がいいね」の肯定的評価が付与された画像の数が多いほど、通常コマの数がより多いテンプレートに変更される。

一方、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置しない場合（ステップS52において、NO）、テンプレートは変更されない（ステップS54）。

＜合成画像の作成の具体的動作＞
次に、図１２ないし図１５に示すフローチャートを参照して、合成画像を作成する場合のより具体的な画像処理装置の動作を説明する。

まず、画像抽出部４４により、「ベストショット」の候補画像グループに含まれる画像の中から、表紙ページに配置する画像として、「ベストショット」の候補画像グループに含まれる画像の順位が最も高い（１番目）の１枚の画像が抽出される（図１２のステップS55）。

続いて、合成画像作成部４６により、画像抽出部４４によって抽出された表紙ページ用の１枚の画像が、合成画像の表紙ページに配置される（ステップS56）。

続いて、「ベストショット」の候補画像グループに含まれる画像の中から、表紙ページ用の画像として抽出された１枚の画像が削除される（ステップS57）。つまり、「ベストショット」の候補画像グループには、順位が２位以下の画像が含まれる。

なお、「ベストショット」の候補画像グループに画像が存在しない場合、「大コマいいね」の候補画像グループに含まれる画像の中から、画像の順位が最も高い１枚の画像が表紙用の画像として抽出される。つまり、表紙ページ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が最も高く、かつ、候補画像グループに含まれる画像の順位が最も高い１枚の画像が抽出される。

続いて、テンプレートに含まれる特大コマの数が、「ベストショット」の候補画像グループに含まれる画像の数以下であるか否かが確認される（ステップS58）。

その結果、特大コマの数が、「ベストショット」の候補画像グループに含まれる画像の数よりも多い場合（ステップS58において、NO）、画像抽出部４４により、特大コマ用の画像として、「ベストショット」の候補画像グループに含まれる全ての画像が抽出され、さらに、「大コマいいね」の候補画像グループに含まれる画像の中から、特大コマ用の画像として不足する数の画像が、画像の順位が高い順に抽出される（ステップS59）。

なお、「大コマいいね」の候補画像グループに含まれる画像の中から特大コマ用の画像を抽出しても特大コマ用の画像の数が不足する場合、さらに、「いいね」の候補画像グループに含まれる画像の中から特大コマ用の画像が抽出される。つまり、特大コマ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像のうちの表紙ページ用の１枚の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像が抽出される。

続いて、合成画像作成部４６により、画像抽出部４４によって抽出された特大コマ用の画像が、テンプレートの特大コマに配置される（ステップS60）。

続いて、「大コマいいね」の候補画像グループに含まれる画像の中から、特大コマ用の画像として抽出された画像が削除される（ステップS61）。

続いて、ステップS65へ進む。

一方、特大コマの数が、「ベストショット」の候補画像グループに含まれる画像の数以下である場合（ステップS58において、YES）、画像抽出部４４により、特大コマに配置する画像として、「ベストショット」の候補画像グループに含まれる画像の中から、「ベストショット」の候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像が抽出される（ステップS62）。

続いて、合成画像作成部４６により、画像抽出部４４によって抽出された特大コマの数の画像が、テンプレートの特大コマに配置される（ステップS63）。

続いて、「ベストショット」の候補画像グループに含まれる画像の中から、特大コマ用の画像として抽出された画像が削除される（ステップS64）。

続いて、「ベストショット」の候補画像グループに含まれる画像の中に、合成画像においてまだ使用されていない未使用画像が存在するか否かが確認される（ステップS65）。

その結果、未使用画像が存在しない場合（ステップS65において、NO）、ステップS67へ進む。

一方、未使用画像が存在する場合（ステップS65において、YES）、「ベストショット」の候補画像グループに含まれる未使用画像が、「大コマいいね」の候補画像グループに追加され、「大コマいいね」の候補画像グループに含まれる画像よりも高い順位に設定される（ステップS66）。

続いて、テンプレートに含まれる大コマの数が、「大コマいいね」の候補画像グループに含まれる画像の数以下であるか否かが確認される（図１３のステップS67）。

その結果、大コマの数が、「大コマいいね」の候補画像グループに含まれる画像の数よりも多い場合（ステップS67において、NO）、画像抽出部４４により、大コマ用の画像として、「大コマいいね」の候補画像グループに含まれる全ての画像が抽出され、さらに、「いいね」の候補画像グループに含まれる画像の中から、大コマ用の画像として不足する数の画像が、画像の順位が高い順に抽出される（ステップS68）。

つまり、大コマ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像のうちの表紙ページ用の１枚の画像および特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像が抽出される。

続いて、合成画像作成部４６により、画像抽出部４４によって抽出された大コマ用の画像が、テンプレートの大コマに配置される（ステップS69）。

続いて、「いいね」の候補画像グループに含まれる画像の中から、大コマ用の画像として抽出された画像が削除される（ステップS70）。

続いて、ステップS74へ進む。

一方、大コマの数が、「大コマいいね」の候補画像グループに含まれる画像の数以下である場合（ステップS67において、YES）、画像抽出部４４により、大コマに配置する画像として、「大コマいいね」の候補画像グループに含まれる画像の中から、「大コマいいね」の候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像が抽出される（ステップS71）。

続いて、合成画像作成部４６により、画像抽出部４４によって抽出された大コマの数の画像が、テンプレートの大コマに配置される（ステップS72）。

続いて、「大コマいいね」の候補画像グループに含まれる画像の中から、大コマ用の画像として抽出された画像が削除される（ステップS73）。

続いて、通常コマに配置する画像として、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置するか否かが確認される（図１４のステップS74）。

画像抽出部４４は、第１ユーザの指示に応じて、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に抽出するか否かを決定してもよいし、あるいは、「笑顔がいいね」の候補画像グループに含まれる画像の数が閾値以上である場合に、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に抽出してもよい。

その結果、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置しない場合（ステップS74において、NO）、ステップS82へ進む。

一方、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置する場合（ステップS74において、YES）、続いて、「大コマいいね」の候補画像グループに含まれる画像の中に未使用画像が存在するか否かが確認される（ステップS75）。

その結果、未使用画像が存在しない場合（ステップS75において、NO）、ステップS77へ進む。

一方、未使用画像が存在する場合（ステップS75において、YES）、「大コマいいね」の候補画像グループに含まれる未使用画像が、「笑顔がいいね」の候補画像グループに追加され、「笑顔がいいね」の候補画像グループに含まれる画像よりも高い順位に設定される（ステップS76）。

続いて、画像抽出部４４により、通常コマに配置する画像として、「笑顔がいいね」の候補画像グループに含まれる画像の中から、「笑顔がいいね」の候補画像グループに含まれる画像の順位が高い順に、通常コマの数以下の数の画像が抽出される（ステップS77）。

つまり、通常コマ用の画像として、「ベストショット」、「大コマいいね」および「笑顔がいいね」の候補画像グループに含まれる画像のうち、表紙ページ用の１枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数以下の画像が抽出される。

笑顔用の画像の数は、例えば、画像抽出部４４が設定してもよいし、あるいは、第１ユーザが設定してもよい。

続いて、合成画像作成部４６により、画像抽出部４４によって抽出された通常コマの数以下の画像が通常コマに配置される（ステップS78）。

続いて、「笑顔がいいね」の候補画像グループに含まれる画像の中から、笑顔用の画像として抽出された画像が削除される（ステップS79）。

続いて、「笑顔がいいね」の候補画像グループに含まれる画像の中に未使用画像が存在するか否かが確認される（ステップS80）。

その結果、未使用画像が存在しない場合（ステップS80において、NO）、ステップS82へ進む。

一方、未使用画像が存在する場合（ステップS80において、YES）、「笑顔がいいね」の候補画像グループに含まれる未使用画像が、「いいね」の候補画像グループに追加され、「いいね」の候補画像グループに含まれる画像よりも高い順位に設定される（ステップS81）。

続いて、通常コマに配置する画像として、通常コマの数未満の画像が抽出された場合、通常コマのうちの通常コマの数未満の通常コマ以外の残りの通常コマの数が、「いいね」の候補画像グループに含まれる画像の数以下であるか否かが確認される（図１５のステップS82）。

その結果、残りの通常コマの数が、「いいね」の候補画像グループに含まれる画像の数よりも多い場合（ステップS82において、NO）、画像抽出部４４により、残りの通常コマ用の画像として、「いいね」の候補画像グループに含まれる全ての画像が抽出され、さらに、予備画像グループに含まれる画像の中から、残りの通常コマ用の画像として不足する数の画像が、画像の順位が高い順に抽出される（ステップS83）。

つまり、通常コマ用の画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像のうち、表紙ページ用の１枚の画像、特大コマの数の画像、大コマの数の画像および通常コマの数未満の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、残りの通常コマの数の画像が抽出される。笑顔用の画像を優先的に配置しない場合も同様である。

続いて、合成画像作成部４６により、画像抽出部４４によって抽出された残りの通常コマ用の画像が、テンプレートの残りの通常コマに配置され、合成画像の本編ページが作成される（ステップS84）。

一方、残りの通常コマの数が、「いいね」の候補画像グループに含まれる画像の数以下である場合（ステップS82において、YES）、画像抽出部４４により、残りの通常コマに配置する画像として、「いいね」の候補画像グループに含まれる画像の中から、「いいね」の候補画像グループに含まれる画像の順位が高い順に、残りの通常コマの数の画像が抽出される（ステップS85）。

つまり、通常コマ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像のうちの表紙ページ用の１枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像が抽出される。笑顔用の画像を優先的に配置しない場合も同様である。

続いて、合成画像作成部４６により、画像抽出部４４によって抽出された残りの通常コマの数の画像が、テンプレートの残りの通常コマに配置され、合成画像の本編ページが作成される（ステップS86）。

＜結語＞
このように、画像処理装置１０においては、評価基準が異なる２種類以上の肯定的評価に基づいて、ユーザが期待する画像を、テンプレートに含まれる「大コマ」等に自動で配置したり、笑顔の画像を優先的に配置したりすることができる。そのため、ユーザは、ユーザが期待する画像を配置し直す必要がなくなり、画像の評価のやり直しおよび手動でのレイアウトの編集等の手間を省くことができる。

＜変形例＞
本実施形態の場合、合成画像の表紙ページにおいて使用された１枚の画像を、合成画像の本編ページにおいては使用していないが、これに限定されず、合成画像の表紙ページにおいて使用された画像を、合成画像の本編ページにおいて使用してもよい。

また、合成画像作成部４６は、プリントし、製本することにより、紙媒体のフォトアルバム（フォトブック）等の合成画像を作成してもよいし、これに限らず、テンプレート上に静止画および動画を含む画像を配置し、ディスプレイ上において閲覧する電子アルバム等の合成画像を作成してもよい。さらに、テンプレートを利用することなく、ユーザから取得された静止画や動画などを含む各種のコンテンツを順次表示するスライドショー等の合成画像を作成してもよい。また、スライドショーにおいて、「長く表示したい画像」および「白黒からカラーに移行したい画像」など、種々の肯定的評価項目を設定し、ユーザに対して評価を求めてもよい。

画像処理装置１０が、サーバ１２および複数のユーザの端末装置１４を備えることは必須ではなく、例えば、サーバ１２および端末装置１４の全ての構成要素を備える装置を構成することもできる。この場合、ネットワーク１６、および、サーバ１２とユーザの端末装置１４との間のやり取りは不要であり、例えば、ユーザから画像処理装置１０へ、あるいは、画像処理装置１０からユーザに対して直接やり取りを行うことができる。

画像取得部１８、画像解析部２０、表示制御部２２、評価取得部２４、評価値算出部２６、評価画像グループ作成部２８、類似画像検出部３０、評価値加算部３２、候補画像グループ作成部３４、順位決定部３６、予備画像グループ作成部３８、テンプレート記憶部４０、テンプレート決定部４２、画像抽出部４４および合成画像作成部４６の全てをサーバ１２が備えることは必須ではなく、そのうちの少なくとも１つが、ユーザの端末装置１４内に備えられていてもよい。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたプロセッサおよびプロセッサを備えるコンピュータ等によって構成してもよい。本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ サーバ
１４ 端末装置（クライアント）
１６ ネットワーク
１８ 画像取得部
２０ 画像解析部
２２ 表示制御部
２４ 評価取得部
２６ 評価値算出部
２８ 評価画像グループ作成部
３０ 類似画像検出部
３２ 評価値加算部
３４ 候補画像グループ作成部
３６ 順位決定部
３８ 予備画像グループ作成部
４０ テンプレート記憶部
４２ テンプレート決定部
４４ 画像抽出部
４６ 合成画像作成部
４８ 画像表示部
５０ 指示入力部

Claims (29)

1. 複数のユーザから複数の画像を取得する画像取得部と、
   前記複数の画像、および、前記複数の画像の各々に対して、前記複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部に表示させる表示制御部と、
   前記画像表示部に表示された各々の画像に対して、前記各々のユーザが前記２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得する評価取得部と、
   前記各々の画像に付与された肯定的評価に基づいて前記各々の画像に対するユーザ評価値を算出する評価値算出部と、
   前記各々の画像に対するユーザ評価値および前記肯定的評価の種類の選択優先度に基づいて、前記複数の画像の少なくとも一部の画像を合成して合成画像を作成する合成画像作成部とを備える、画像処理装置。
2. 前記各々の画像を解析する画像解析部と、
   前記肯定的評価が付与された画像を前記２種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、前記２種類以上の肯定的評価の各々に対応する２以上の評価画像グループの各々を作成する評価画像グループ作成部と、
   前記各々の画像の解析結果に基づいて、前記２以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出する類似画像検出部と、
   前記類似画像のグループ毎に、前記類似画像のグループに含まれる類似画像のうち、前記ユーザ評価値が最も高い第１類似画像のユーザ評価値に対して、前記第１類似画像以外の第２類似画像のユーザ評価値を加算する評価値加算部と、
   前記各々の評価画像グループに含まれる画像の中から前記各々の評価画像グループに含まれる前記第２類似画像を削除して、前記合成画像において使用する候補画像を含む、前記２以上の評価画像グループの各々に対応する２以上の候補画像グループの各々を作成する候補画像グループ作成部と、
   前記ユーザ評価値に基づいて、前記２以上の候補画像グループの各々に含まれる画像の順位を決定する順位決定部とを備える、請求項１に記載の画像処理装置。
3. 前記評価画像グループ作成部は、第１種類の肯定的評価が付与された画像のうち、前記第１種類の肯定的評価が付与された数が第１閾値以上である画像をグルーピングして前記第１種類の肯定的評価に対応する評価画像グループを作成し、前記第１種類の肯定的評価が付与された画像のうち、前記第１種類の肯定的評価が付与された数が前記第１閾値未満である画像、および、第２種類の肯定的評価が付与された画像のうち、前記第２種類の肯定的評価が付与された数が第２閾値以上である画像をグルーピングして前記第２種類の肯定的評価に対応する評価画像グループを作成する、請求項２に記載の画像処理装置。
4. 前記評価画像グループ作成部は、第１種類の肯定的評価が付与された画像のうち、前記第１種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして前記第１種類の肯定的評価に対応する評価画像グループを作成し、前記第１種類の肯定的評価が付与された画像のうち、前記一定数の画像以外の画像、および、第２種類の肯定的評価が付与された画像のうち、前記第２種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして前記第２種類の肯定的評価に対応する評価画像グループを作成する、請求項２に記載の画像処理装置。
5. 前記各々の画像に対するユーザ評価値に基づいて、前記複数の画像の少なくとも一部の画像を抽出する画像抽出部を備え、
   前記画像抽出部は、前記合成画像における画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマに配置する画像として、前記２以上の候補画像グループに含まれる画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の順位が高い順に、前記特大コマの数の画像を抽出し、
   前記合成画像作成部は、前記画像抽出部によって抽出された前記特大コマの数の画像を前記特大コマに配置する、請求項２ないし４のいずれか一項に記載の画像処理装置。
6. 前記画像抽出部は、前記テンプレートに含まれるコマのうち、前記サイズが前記特大コマの次に大きい大コマに配置する画像として、前記２以上の候補画像グループに含まれる画像のうちの前記特大コマの数の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記大コマの数の画像を抽出し、
   前記合成画像作成部は、前記画像抽出部によって抽出された前記大コマの数の画像を前記大コマに配置する、請求項５に記載の画像処理装置。
7. 前記画像抽出部は、前記テンプレートに含まれるコマのうち、前記サイズが前記大コマよりも小さい通常コマに配置する画像として、前記２以上の候補画像グループに含まれる画像のうちの前記特大コマの数の画像および前記大コマの数の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記通常コマの数の画像を抽出し、
   前記合成画像作成部は、前記画像抽出部によって抽出された前記通常コマの数の画像を前記通常コマに配置する、請求項６に記載の画像処理装置。
8. 前記肯定的評価が付与されていない画像、および、前記２以上の候補画像グループに含まれる前記第２類似画像をグルーピングして予備画像グループを作成する予備画像グループ作成部を備え、
   前記画像抽出部は、前記テンプレートに含まれるコマの数に対して、前記２以上の候補画像グループに含まれる画像の総数が不足する場合に、前記予備画像グループに含まれる画像の中から前記不足する数の画像を抽出し、
   前記合成画像作成部は、前記画像抽出部によって抽出された前記不足する数の画像を、前記テンプレートに含まれるコマに配置する、請求項７に記載の画像処理装置。
9. 前記表示制御部は、前記各々のユーザが前記複数の画像の中で最もよいと考える画像に対して第１肯定的評価を付与するために指定する第１評価付与領域、前記各々のユーザが前記複数の画像の中で、前記合成画像における画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマの次に大きい大コマに配置したいと考える画像に対して第２肯定的評価を付与するために指定する第２評価付与領域、前記各々のユーザが前記複数の画像の中で画像に写っている人物の笑顔がよいと考える画像に対して第３肯定的評価を付与するために指定する第３評価付与領域、および、前記各々のユーザが前記複数の画像の中でよいと考える画像に対して第４肯定的評価を付与するために指定する第４評価付与領域を表示する、請求項２に記載の画像処理装置。
10. 前記評価画像グループ作成部は、前記肯定的評価が付与された画像を、前記第１肯定的評価、前記第２肯定的評価、前記第３肯定的評価および前記第４肯定的評価の各々が付与された画像毎にグルーピングして、前記第１肯定的評価、前記第２肯定的評価、前記第３肯定的評価および前記第４肯定的評価に対応する第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループを作成し、
    前記類似画像検出部は、前記各々の画像の解析結果に基づいて、前記第１評価画像グループ、前記第２評価画像グループ、前記第３評価画像グループおよび前記第４評価画像グループの各々に含まれる画像の中から前記類似画像のグループを検出し、
    前記候補画像グループ作成部は、前記第１評価画像グループ、前記第２評価画像グループ、前記第３評価画像グループおよび前記第４評価画像グループの各々に含まれる画像の中から、前記第１評価画像グループ、前記第２評価画像グループ、前記第３評価画像グループおよび前記第４評価画像グループの各々に含まれる前記第２類似画像を削除して、前記第１評価画像グループ、前記第２評価画像グループ、前記第３評価画像グループおよび前記第４評価画像グループに対応する第１候補画像グループ、第２候補画像グループ、第３候補画像グループおよび第４候補画像グループを作成し、
    前記順位決定部は、前記ユーザ評価値に基づいて、前記第１候補画像グループ、前記第２候補画像グループ、前記第３候補画像グループおよび前記第４候補画像グループの各々に含まれる画像の順位を決定する、請求項９に記載の画像処理装置。
11. 前記候補画像グループ作成部は、前記第２評価画像グループに含まれる画像の中から、さらに、前記第１候補画像グループに含まれる画像を削除して前記第２候補画像グループを作成し、前記第４評価画像グループに含まれる画像の中から、さらに、前記第１候補画像グループおよび前記第２候補画像グループに含まれる画像を削除して前記第４候補画像グループを作成する、請求項１０に記載の画像処理装置。
12. 前記候補画像グループ作成部は、前記第２評価画像グループに含まれる画像の中から、さらに、前記第１候補画像グループに含まれる画像を削除して前記第２候補画像グループを作成し、前記第３評価画像グループに含まれる画像の中から、さらに、前記第１候補画像グループおよび前記第２候補画像グループに含まれる画像を削除して前記第３候補画像グループを作成し、前記第４評価画像グループに含まれる画像の中から、さらに、前記第１候補画像グループ、前記第２候補画像グループおよび前記第３候補画像グループに含まれる画像を削除して前記第４候補画像グループを作成する、請求項１０に記載の画像処理装置。
13. 前記各々の画像に対するユーザ評価値に基づいて、前記複数の画像の少なくとも一部の画像を抽出する画像抽出部を備え、
    前記合成画像は、表紙ページおよび本編ページを含むフォトアルバムであり、
    前記画像抽出部は、前記第１候補画像グループ、前記第２候補画像グループおよび前記第４候補画像グループに含まれる画像の中から、前記表紙ページに配置する画像として、前記候補画像グループに対応する肯定的評価の種類の選択優先度が最も高く、かつ、前記候補画像グループに含まれる画像の順位が最も高い１枚の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記１枚の画像を前記表紙ページに配置する、請求項１０ないし１２のいずれか一項に記載の画像処理装置。
14. 前記画像抽出部は、前記フォトアルバムにおける画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマに配置する画像として、前記第１候補画像グループ、前記第２候補画像グループおよび前記第４候補画像グループに含まれる画像のうちの前記表紙ページに配置する１枚の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記特大コマの数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記特大コマの数の画像を前記特大コマに配置する、請求項１３に記載の画像処理装置。
15. 前記画像抽出部は、前記テンプレートに含まれるコマのうち、前記サイズが前記特大コマの次に大きい大コマに配置する画像として、前記第１候補画像グループ、前記第２候補画像グループおよび前記第４候補画像グループに含まれる画像のうちの前記表紙ページに配置する１枚の画像および前記特大コマの数の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記大コマの数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記大コマの数の画像を前記大コマに配置する、請求項１４に記載の画像処理装置。
16. 前記画像抽出部は、前記テンプレートに含まれるコマのうち、前記サイズが前記大コマよりも小さい通常コマに配置する画像として、前記第１候補画像グループ、前記第２候補画像グループおよび前記第４候補画像グループに含まれる画像のうちの前記表紙ページに配置する１枚の画像、前記特大コマの数の画像および前記大コマの数の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記通常コマの数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記通常コマの数の画像を前記通常コマに配置する、請求項１５に記載の画像処理装置。
17. 前記画像抽出部は、前記テンプレートに含まれるコマのうち、前記サイズが前記大コマよりも小さい通常コマに配置する画像として、前記第４肯定的評価が付与された画像よりも前記第３肯定的評価が付与された画像を優先的に抽出する場合に、前記第１候補画像グループ、前記第２候補画像グループおよび前記第３候補画像グループに含まれる画像のうち、前記表紙ページに配置する１枚の画像、前記特大コマの数の画像および前記大コマの数の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記通常コマの数以下の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記通常コマの数以下の画像を前記通常コマに配置する、請求項１５に記載の画像処理装置。
18. 前記画像抽出部は、前記通常コマに配置する画像として、前記通常コマの数未満の画像を抽出した場合に、前記通常コマのうちの前記通常コマの数未満の通常コマ以外の残りの通常コマに配置する画像として、前記第１候補画像グループ、前記第２候補画像グループ、前記第３候補画像グループおよび前記第４候補画像グループに含まれる画像のうち、前記表紙ページに配置する１枚の画像、前記特大コマの数の画像、前記大コマの数の画像、および、前記通常コマの数未満の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記残りの通常コマの数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記残りの通常コマの数の画像を前記残りの通常コマに配置する、請求項１７に記載の画像処理装置。
19. 前記画像抽出部は、前記複数のユーザのうちの少なくとも一人の第１ユーザの指示に応じて、前記第４肯定的評価が付与された画像よりも前記第３肯定的評価が付与された画像を優先的に抽出するか否かを決定する、請求項１７または１８に記載の画像処理装置。
20. 前記画像抽出部は、前記第３候補画像グループに含まれる画像の数が閾値以上である場合に、前記第４肯定的評価が付与された画像よりも前記第３肯定的評価が付与された画像を優先的に抽出する、請求項１７または１８に記載の画像処理装置。
21. 前記合成画像における画像のレイアウトを決定する複数のテンプレートを記憶するテンプレート記憶部と、
    第１テンプレート決定モードの場合に、前記複数のユーザのうちの少なくとも一人の第１ユーザの指示に応じて設定された前記合成画像の商材の種類、ページ数およびテーマに基づいて、前記複数のテンプレートの中から前記合成画像を作成する時に使用するテンプレートを決定し、第２テンプレート決定モードの場合に、前記複数の画像の数および前記各々の画像に付与された肯定的評価に基づいて、前記複数のテンプレートの中から前記合成画像を作成する時に使用するテンプレートを決定するテンプレート決定部とを備え、
    前記合成画像作成部は、前記テンプレート決定部によって決定されたテンプレートを用いて前記合成画像を作成する、請求項１０ないし２０のいずれか一項に記載の画像処理装置。
22. 前記テンプレート決定部は、前記第２テンプレート決定モードの場合に、前記第１候補画像グループ、前記第２候補画像グループ、前記第３候補画像グループおよび前記第４候補画像グループに含まれる画像の総数、ならびに、前記第１候補画像グループ、前記第２候補画像グループおよび前記第４候補画像グループの各々に含まれる画像の数に応じて、前記テンプレートに含まれるコマのうち、サイズが最も大きい特大コマおよび前記特大コマの次に大きい大コマの数を決定し、前記特大コマおよび前記大コマの数に応じて、前記合成画像を作成する時に使用するテンプレートを決定する、請求項２１に記載の画像処理装置。
23. 前記テンプレート決定部は、前記テンプレートに含まれるコマのうち、前記サイズが前記大コマよりも小さい通常コマに、前記第４肯定的評価が付与された画像よりも前記第３肯定的評価が付与された画像を優先的に配置する場合に、前記第３肯定的評価が付与された画像を優先的に配置しない場合よりも、前記合成画像を作成する時に使用するテンプレートを、前記通常コマの数がより多いテンプレートに変更する、請求項２２に記載の画像処理装置。
24. 前記各々の画像を解析する画像解析部を備え、
    前記評価値算出部は、さらに、前記各々の画像の解析結果に基づいて前記各々の画像の解析評価値を算出し、前記各々の画像の前記解析評価値および前記ユーザ評価値を加算して前記各々の画像の総合評価値を算出し、
    前記各々の画像の総合評価値に基づいて、前記複数の画像の少なくとも一部の画像を抽出する画像抽出部を備える、請求項１ないし２３のいずれか一項に記載の画像処理装置。
25. 複数のユーザから複数の画像を取得する画像取得部と、
    前記複数の画像、および、前記複数の画像の各々に対して、前記複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部に表示させる表示制御部と、
    前記画像表示部に表示された各々の画像に対して、前記各々のユーザが前記２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得する評価取得部と、
    前記各々の画像に付与された肯定的評価に基づいて前記各々の画像に対するユーザ評価値を算出する評価値算出部と、
    前記各々の画像に対するユーザ評価値に基づいて、前記複数の画像の少なくとも一部の画像を合成して合成画像を作成する合成画像作成部と、
    前記各々の画像を解析する画像解析部と、
    前記肯定的評価が付与された画像を前記２種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、前記２種類以上の肯定的評価の各々に対応する２以上の評価画像グループの各々を作成する評価画像グループ作成部と、
    前記各々の画像の解析結果に基づいて、前記２以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出する類似画像検出部と、
    前記類似画像のグループ毎に、前記類似画像のグループに含まれる類似画像のうち、前記ユーザ評価値が最も高い第１類似画像のユーザ評価値に対して、前記第１類似画像以外の第２類似画像のユーザ評価値を加算する評価値加算部と、
    前記各々の評価画像グループに含まれる画像の中から前記各々の評価画像グループに含まれる前記第２類似画像を削除して、前記合成画像において使用する候補画像を含む、前記２以上の評価画像グループの各々に対応する２以上の候補画像グループの各々を作成する候補画像グループ作成部と、
    前記ユーザ評価値に基づいて、前記２以上の候補画像グループの各々に含まれる画像の順位を決定する順位決定部とを備える、画像処理装置。
26. 画像取得部が、複数のユーザから複数の画像を取得するステップと、
    表示制御部が、前記複数の画像、および、前記複数の画像の各々に対して、前記複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部に表示させるステップと、
    評価取得部が、前記画像表示部に表示された各々の画像に対して、前記各々のユーザが前記２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得するステップと、
    評価値算出部が、前記各々の画像に付与された肯定的評価に基づいて前記各々の画像に対するユーザ評価値を算出するステップと、
    合成画像作成部が、前記各々の画像に対するユーザ評価値および前記肯定的評価の種類の選択優先度に基づいて、前記複数の画像の少なくとも一部の画像を合成して合成画像を作成するステップとを含む、画像処理方法。
27. 画像取得部が、複数のユーザから複数の画像を取得するステップと、
    表示制御部が、前記複数の画像、および、前記複数の画像の各々に対して、前記複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部に表示させるステップと、
    評価取得部が、前記画像表示部に表示された各々の画像に対して、前記各々のユーザが前記２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得するステップと、
    評価値算出部が、前記各々の画像に付与された肯定的評価に基づいて前記各々の画像に対するユーザ評価値を算出するステップと、
    合成画像作成部が、前記各々の画像に対するユーザ評価値に基づいて、前記複数の画像の少なくとも一部の画像を合成して合成画像を作成するステップと、
    画像解析部が、前記各々の画像を解析するステップと、
    評価画像グループ作成部が、前記肯定的評価が付与された画像を前記２種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、前記２種類以上の肯定的評価の各々に対応する２以上の評価画像グループの各々を作成するステップと、
    類似画像検出部が、前記各々の画像の解析結果に基づいて、前記２以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出するステップと、
    評価値加算部が、前記類似画像のグループ毎に、前記類似画像のグループに含まれる類似画像のうち、前記ユーザ評価値が最も高い第１類似画像のユーザ評価値に対して、前記第１類似画像以外の第２類似画像のユーザ評価値を加算するステップと、
    候補画像グループ作成部が、前記各々の評価画像グループに含まれる画像の中から前記各々の評価画像グループに含まれる前記第２類似画像を削除して、前記合成画像において使用する候補画像を含む、前記２以上の評価画像グループの各々に対応する２以上の候補画像グループの各々を作成するステップと、
    順位決定部が、前記ユーザ評価値に基づいて、前記２以上の候補画像グループの各々に含まれる画像の順位を決定するステップとを含む、画像処理方法。
28. 請求項２６または２７に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
29. 請求項２６または２７に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。