JP6601966B2 - 背面画像候補決定装置、背面画像候補決定方法および背面画像候補決定プログラム - Google Patents

Description

本発明は背面画像候補決定装置、背面画像候補決定方法および背面画像候補決定プログラムに関し、特に、フォトブックの背面画像候補決定装置、背面画像候補決定方法および背面画像候補決定プログラムに関する。

フォトブックは、デジタルカメラやスマートフォンなどで撮影された複数の画像が、各ページにおける各画像のレイアウトを規定したテンプレート等に配置されることで完成する写真集である。フォトブックを作成する場合、ユーザは、例えば、あらかじめ画像の配置可能な位置が決定されたレイアウトの複数のテンプレートの中から所望のテンプレートを選択し、フォトブックのページ数、各々のページに含める画像、各々のページにおける画像の配置等を自由に決定することができる。

従来のフォトブックの作成方法として、画像の連続性や関連性を考慮し、例えば、撮影時刻などに基づいて、複数の画像をグループに分類し、各々のグループに含まれる画像を各々対応するページに自動レイアウトするものなどが知られている。

あるいは、画像に対してオブジェクト抽出などの解析を行う技術や、オブジェクト解析の結果に基づいて、フォトブックにおける画像の配置を決定する技術が従来存在する。

例えば、特許文献１では、背景などに対してストライプや市松模様などの模様（非可視化情報）を形成し、当該非可視化情報を用いて、その背景上に描画したり貼り付けた人物、物体、文字情報などのオブジェクト抽出を行う。

特許文献２では、画像のコラージュの作成において、前景画像は背景画像中に適切に配置される。すなわち、前景画像が互いにオーバラップせず、且つ背景の関心領域を塞がないよう配置される。

特許文献３では、連続して撮影された複数の画像から主被写体を判定し、主被写体のサイズが小さく主被写体を除くスペース（空きスペース）が大きいコマを台紙に選択した上、台紙上に重ねて表示する人物の画像のコマを選択し、選択したコマを台紙に合成した合成画像を作成することが記載されている。

特許文献４では、物体が映った撮影画像に物体に関する付加情報（文字列または画像などのラベル）を見易く重畳するため、付加情報の見易さを意味する評価値として、空が映された空領域に関する評価値を算出する。

特開2013-239006号公報 特表2010-503101号公報 特開2011-172103号公報 特開2015-138428号公報

図１６および図１７のように、画像を重ね合わせたレイアウトを採用すると、よりデザイン性の高いフォトブックを作ることが可能である。この時に重要なのがテンプレートの背面に配置される画像すなわち背面画像としてどの画像を選択するかである。例えば、図１８のように背面画像と前面画像の組合せの意図が良く分からない配置がなされてしまうと、ユーザから見たフォトブックの満足度は下がってしまう。

特許文献１および２では、背面画像としてどの画像を選択するかの判断は全く行われていない。

また、特許文献３では、主被写体が異なる画像については、背景画像として適切か否かの判断はできない。

また、特許文献４では、付加情報の見易さを表す評価値を算出するのみで、フォトブックの背面画像に適した画像を判断するものではない。

本発明は、フォトブックの背面画像に最適な画像を画像の内容に応じて決定する背面画像候補決定装置、背面画像候補決定方法および背面画像候補決定プログラムを提供することを目的とする。

本願発明の第１の態様は、複数の画像を受け付ける画像受付部と、複数の画像の各々が第１オブジェクトを含むか否かを判定する第１オブジェクト判定部と、第１オブジェクト判定部が第１オブジェクトを含むと判定した画像である第１オブジェクト判定画像について、第１オブジェクト判定画像の評価値である第１評価値を算出する第１評価値算出部と、第１評価値を評価するための第１評価基準を記憶する第１評価基準記憶部と、第１評価値算出部の算出した第１評価値と第１評価基準記憶部に記憶された第１評価基準とに基づいて、第１オブジェクト判定画像の中から第１背面画像候補を決定する第１背面画像候補決定部と、を備える背面画像候補決定装置を提供する。

この態様によると、第１オブジェクト判定画像の第１評価値と第１評価基準とに基づいて、第１オブジェクト判定画像の中から第１背面画像候補が決定される。これにより、第１オブジェクトを含みかつ第１評価基準を満たす適切な画像が、背面画像候補に決定される。

本願発明の第２の態様において、第１オブジェクト判定部は、複数の画像の各々の色相、明度および彩度に基づいて複数の画像の各々が第１オブジェクトを含むか否かを判定する。

この態様によると、複数の画像の各々の色相、明度および彩度に基づいて複数の画像の各々が第１オブジェクトを含むか否かを判定することが可能である。

本願発明の第３の態様において、第１オブジェクトは山、海、および空のうち少なくとも１つを含み、第１オブジェクト判定部は、山、海、および空のうち少なくとも１つに対応する画像の部分領域の色相、明度および彩度に基づいて複数の画像の各々が第１オブジェクトを含むか否かを判定する。

この態様によると、山、海、および空のうち少なくとも１つに対応する画像の部分領域の色相、明度および彩度に基づいて複数の画像の各々が第１オブジェクトを含むか否かを判定することができる。

本願発明の第４の態様において、第１オブジェクトは結婚式の新郎新婦のみを含み、第１オブジェクト判定部は、結婚式の新郎新婦に対応する画像の部分領域の色相、明度および彩度に基づいて複数の画像の各々が第１オブジェクトを含むか否かを判定する。

この態様によると、結婚式の新郎新婦に対応する画像の部分領域の色相、明度および彩度に基づいて複数の画像の各々が第１オブジェクトを含むか否かを判定することができる。

本願発明の第５の態様において、第１オブジェクトは笑顔の子供を含み、第１オブジェクト判定部は、笑顔の子供に対応する画像の部分領域の色相、明度および彩度に基づいて複数の画像の各々が第１オブジェクトを含むか否かを判定する。

この態様によると、笑顔の子供に対応する画像の部分領域の色相、明度および彩度に基づいて複数の画像の各々が第１オブジェクトを含むか否かを判定することができる。

本願発明の第６の態様において、第１評価値は、第１オブジェクト判定画像の画質に関する値であり、第１評価基準は、第１オブジェクト判定画像の画質に関する閾値である。

本願発明の第７の態様において、第１評価値は、第１オブジェクト判定画像のボケ、ぶれ、および明るさの度合いのうち少なくとも１つを含み、第１評価基準は、第１オブジェクト判定画像のボケ、ぶれ、および明るさの度合いのうち少なくとも１つの閾値を含む。

本願発明の第８の態様は、背面画像を配置する背面画像配置領域および１または複数の前面画像を配置する前面画像配置領域を有する第１背面画像テンプレートの背面画像配置領域に、第１背面画像候補決定部が決定した第１背面画像候補を配置する第１背面画像候補配置部をさらに備える背面画像候補決定装置を提供する。

この態様によると、背面画像を配置する背面画像配置領域および１または複数の前面画像を配置する前面画像配置領域を有する第１背面画像テンプレートの背面画像配置領域に、第１背面画像候補決定部が決定した第１背面画像候補を配置することが可能である。

本願発明の第９の態様は、複数の画像の各々が、人物を含む人物画像であるか否かを判定する人物画像判定部と、複数の画像の各々が、風景を含む風景画像であるか否かを判定する風景画像判定部と、人物画像と風景画像との比率を記憶する人物風景比率記憶部と、人物画像と風景画像との比率に従って、第１背面画像テンプレートの前面画像配置領域に、人物画像および風景画像を配置する第１前面画像配置部と、をさらに備える背面画像候補決定装置を提供する。

この態様によると、人物画像と風景画像との比率に従って、第１背面画像テンプレートの前面画像配置領域に、人物画像および風景画像を配置することが可能である。なお比率とは、個数の比率または面積の比率である。

本願発明の第１０の態様は、前面画像配置領域、背面画像配置領域における前面画像配置領域を除外した除外領域、および複数の画像の少なくとも一部を一覧表示する一覧表示領域とを区別可能に表示する表示部と、除外領域の選択を受け付ける除外領域選択部と、をさらに備え、表示部は、除外領域選択部が除外領域の選択を受け付けたことに応じ、第１背面画像候補決定部が決定した第１背面画像候補を示す画像のうち、背面画像配置領域に配置されている第１背面画像候補以外の第１背面画像候補を一覧表示領域に表示する背面画像候補決定装置を提供する。

この態様によると、除外領域の選択を受け付けたことに応じ、第１背面画像候補決定部が決定した第１背面画像候補を示す画像のうち、背面画像配置領域に配置されている第１背面画像候補以外の第１背面画像候補を一覧表示領域に表示することが可能である。

本願発明の第１１の態様は、前面画像配置領域の選択を受け付ける前面画像配置領域選択部をさらに備え、表示部は、前面画像配置領域選択部が前面画像配置領域の選択を受け付けたことに応じ、複数の画像の少なくとも一部を一覧表示領域に表示する背面画像候補決定装置を提供する。

この態様によると、前面画像配置領域選択部が前面画像配置領域の選択を受け付けたことに応じ、複数の画像の少なくとも一部を一覧表示領域に表示することが可能である。

本願発明の第１２の態様は、複数の画像の中から所望の画像の選択を受け付ける画像選択部と、画像選択部が第１背面画像候補の選択を受け付けたことに応じ、第１背面画像テンプレートの候補を表示する表示部と、第１背面画像テンプレートの候補の中から所望の第１背面画像テンプレートの選択を受け付ける第１背面画像テンプレート選択部と、をさらに備え、表示部は、第１背面画像テンプレート選択部が選択を受け付けた第１背面画像テンプレートにおける背面画像配置領域に配置された第１背面画像候補と第１背面画像テンプレート選択部が選択を受け付けた第１背面画像テンプレートにおける前面画像配置領域に配置された人物画像および風景画像とが合成された合成画像を表示する。

この態様によると、第１背面画像テンプレート選択部が選択を受け付けた第１背面画像テンプレートにおける背面画像配置領域に配置された第１背面画像候補と第１背面画像テンプレート選択部が選択を受け付けた第１背面画像テンプレートにおける前面画像配置領域に配置された人物画像および風景画像とが合成された合成画像を表示することが可能である。

本願発明の第１３の態様は、複数の画像の各々が第２オブジェクトを含むか否かを判定する第２オブジェクト判定部と、第２オブジェクト判定部が第２オブジェクトを含まないと判定した画像である第２オブジェクト判定画像の中から第２背面画像候補を決定する第２背面画像候補決定部と、をさらに備える背面画像候補決定装置を提供する。

本願発明の第１４の態様において、第２オブジェクトは人物を含み、第２オブジェクト判定部は、人物検出により複数の画像の各々が第２オブジェクトを含むか否かを判定する。

本願発明の第１５の態様は、第２オブジェクト判定画像について、第２オブジェクト判定画像の評価値である第２評価値を算出する第２評価値算出部と、第２評価値を評価するための第２評価基準を記憶する第２評価基準記憶部と、をさらに備え、第２背面画像候補決定部は、第２評価値算出部の算出した第２評価値と第２評価基準記憶部の記憶した第２評価基準とに基づいて、第２オブジェクト判定画像の中から第２背面画像候補を決定する背面画像候補決定装置を提供する。

この態様によると、第２オブジェクト判定画像の第２評価値と第２評価基準とに基づいて、第２オブジェクト判定画像の中から第２背面画像候補を決定する。これにより、第２オブジェクトを含まずかつ第２評価基準を満たす適切な画像が、前面画像候補に決定される。

本願発明の第１６の態様において、第２評価値は、第２オブジェクト判定画像の画質に関する値であり、第２評価基準は、第２オブジェクト判定画像の画質に関する閾値である。

本願発明の第１７の態様は、後景として背面画像を配置する背面画像配置領域および前景として１または複数の前面画像を配置する前面画像配置領域を有する第２背面画像テンプレートの背面画像配置領域に、第２背面画像候補決定部が決定した第２背面画像候補を配置する第２背面画像候補配置部をさらに備える背面画像候補決定装置を提供する。

本願発明の第１８の態様は、第２オブジェクト判定部が第２オブジェクトを含むと判定した画像である前面画像候補が、人物が含まれる人物前面画像であるか否かを判定する人物画像判定部と、第２オブジェクト判定部が第２オブジェクトを含むと判定した画像である前面画像候補が、風景が含まれる風景前面画像であるか否かを判定する風景画像判定部と、第２背面画像テンプレートの前面画像配置領域に配置すべき人物前面画像および風景前面画像の比率を記憶する人物風景比率記憶部と、人物風景比率記憶部に記憶された人物前面画像および風景前面画像の比率に従って、第２背面画像テンプレートの前面画像配置領域に、人物前面画像および風景前面画像を配置する第２前面画像配置部と、をさらに備える背面画像候補決定装置を提供する。

本願発明の第１９の態様は、複数の画像を受け付けるステップと、複数の画像の各々が第１オブジェクトを含むか否かを判定するステップと、第１オブジェクトを含むと判定した画像である第１オブジェクト判定画像について、第１オブジェクト判定画像の評価値である第１評価値を算出するステップと、第１評価値を評価するための第１評価基準を記憶するステップと、第１評価値と第１評価基準とに基づいて、第１オブジェクト判定画像の中から第１背面画像候補を決定するステップと、を備える背面画像候補決定方法を提供する。

本願発明の第２０の態様は、第１９の態様に係る背面画像候補決定方法をコンピュータに実行させるための背面画像候補決定プログラムを提供する。

本発明によると、第１オブジェクト判定画像の第１評価値と第１評価基準とに基づいて、第１オブジェクト判定画像の中から第１背面画像候補が決定される。これにより、第１オブジェクトを含みかつ第１評価基準を満たす適切な画像が、背面画像候補に決定される。

背面画像候補決定装置１のブロック図 第１背面画像テンプレート配置処理のフローチャート 第２背面画像テンプレート配置処理のフローチャート 中間テンプレート配置処理のフローチャート 第１背面画像テンプレートの一例を示す図 第２背面画像テンプレートの一例を示す図 中間テンプレートの一例を示す図 第１背面画像テンプレート配置処理によって作成された合成画像の表示例 第１背面画像候補のサムネイル画像の一覧表示の一例および合成画像の表示例 前面画像候補のサムネイル画像の一覧表示の一例および合成画像の表示例 第２背面画像テンプレート配置処理によって作成された合成画像の表示例 中間テンプレート配置処理によって作成された合成画像の表示例 任意に選択されたテンプレートに前面画像が配置された合成画像の表示例 選択可能なテンプレートの一覧の表示例 従来のフォトブックで画像を重ねずに各フレームを並べた配置の一例 従来のフォトブックで画像を重ね合わせたレイアウトの一例 従来のフォトブックで画像を重ね合わせたレイアウトの他の一例 従来のフォトブックでの背面画像の選択例背面画像の選択例

本明細書で使用する以下の用語の意味は、次の通りである。

フォトブックとは、デジタルカメラやスマートフォンなどで撮影された複数の画像から任意に選択された１以上の画像が、１以上のページの各ページに任意のレイアウトで配置され、配置されたこれらの画像が合成されることで得られる写真集である。なおページとは、左右のページの一方のみ、および左右のページの双方を含む見開きページのいずれも含む。また配置された画像に各種の装飾や加工を加えて合成されたものもフォトブックに含まれる。

テンプレートとは、フォトブックにおいて、１以上のページの各々に配置する１または複数の画像の各々の位置およびサイズを含むレイアウトを規定するデータである。画像の位置およびサイズは領域によって規定される。またテンプレートには、テンプレートにおける特定のページの全体領域をカバーする１以上の（好ましくは単一の）背面画像配置領域と、当該特定のページの部分領域をカバーする１以上の前面画像配置領域とが存在しうる。背面画像配置領域同士、あるいは背面画像配置領域と前面画像配置領域とが一部重複してもよい。この場合、テンプレートは、重複する前面画像配置領域同士の優先順位および重複する背面画像配置領域と前面画像配置領域との間の優先順位をさらに規定する。すなわち優先順位とは、両者が重複する部分ではどちらが見えてどちらが隠れるかの順序付けである。前面画像配置領域は、背面画像配置領域よりも優先順位が高く、両者が重複する部分では、前面画像が見える一方、背面画像は前面画像に隠れて見えない。テンプレートには、結婚式、旅行、子供といった、フォトブックのテーマに応じた画像のレイアウトや画像の装飾が含まれてもよい。さらに、フォトブックのテーマはユーザが自由に設定できてもよい。

フレームとは、テンプレートにて個々の画像が配置される位置およびサイズを含むレイアウトを規定する個々の領域である。背面画像配置領域および前面画像配置領域はフレームの一例である。また、フレーム同士が重複する場合、フレームごとの優先順位がテンプレートで定義される。

背面画像候補とは、背面画像配置領域に相当するフレームに配置されるべき画像の候補である。

前面画像候補とは、前面画像配置領域に相当するフレームに配置されるべき画像の候補である。

背面画像とは、背面画像配置領域に相当するフレームに配置された画像である。どの画像が背面画像になるかは以下で説明する。

前面画像とは、前面画像配置領域に相当するフレームに配置された画像である。どの画像が前面画像になるかは以下で説明する。

合成画像とは、テンプレートのレイアウトに従って、背面画像と前面画像とが合成された画像である。

第１背面画像テンプレートとは、特定のページにおいて前面画像配置領域よりも背景画像配置領域の占める面積が大きいレイアウトを規定するテンプレートである。第１背面画像テンプレートは、予め定められたテンプレートとしてフラッシュメモリなどのコンピュータ読み取り可能な非一時的有形媒体に記憶されていてもよいし、ユーザが任意に背面画像配置領域および前面画像配置領域を設定したテンプレートでもよい。ユーザが任意に設定したテンプレートを第１背面画像テンプレートとする場合、ユーザが任意に設定したテンプレートが特定のページにおいて前面画像配置領域よりも背景画像配置領域の占める面積が大きいレイアウトを規定しているか否かをプロセッサで判断するプログラムを上記媒体に記憶しておいてこれを適宜実行してもよい。

第２背景画像テンプレートとは、特定のページにおいて背景画像配置領域よりも前面画像配置領域の占める面積が大きいレイアウトを規定するテンプレートである。第２背面画像テンプレートは、予め定められたテンプレートとしてフラッシュメモリなどの媒体に記憶されていてもよいし、ユーザが任意に設定したテンプレートでもよい。ユーザが任意に設定したテンプレートを第２背面画像テンプレートとする場合、ユーザが任意に設定したテンプレートが特定のページにおいて背景画像配置領域よりも前面画像配置領域の占める面積が大きいレイアウトを規定しているか否かをプロセッサで判断するプログラムを上記媒体に記憶しておいてこれを適宜実行してもよい。

中間テンプレートとは、特定のページにおいて背景画像配置領域と前面画像配置領域との占める面積の割合が同等のレイアウトを規定するテンプレートである。

通常テンプレートとは、第１背面画像テンプレート、第２背景画像テンプレート、および中間テンプレートのいずれにも該当しないテンプレートである。

一覧表示とは、複数の画像または複数の画像の各々に対応する代表画像（サムネイル画像やアイコンなど）を並べて表示することである。

除外領域とは、背面画像配置領域から前面画像配置領域を除いた領域である。

＜第１実施形態＞
図１は本発明の背面画像候補決定装置の一実施形態である背面画像候補決定装置１のブロック図である。背面画像候補決定装置１は、画像受付部１１、第１オブジェクト判定部１２、第１評価値算出部１３、第１評価基準記憶部１４、第１背面画像候補決定部１５、第１背面画像候補配置部１６、人物画像判定部１７、風景画像判定部１８、人物風景比率記憶部１９、第１前面画像配置部２０、表示部２１、除外領域選択部２２、前面画像配置領域選択部２３、前面画像選択部２４、第１背面画像テンプレート選択部２５、第２オブジェクト判定部２６、第２背面画像候補決定部２７、第２評価値算出部２８、第２評価基準記憶部２９、第２背面画像候補配置部３０、第２前面画像配置部３１、画像グルーピング部３２、テーマ設定部３３、合成部３４、中間背面画像候補配置部３５、および中間前面画像候補配置部３６を備える。背面画像候補決定装置１は、既知のパソコンで構成可能であり、また、背面画像候補決定装置１の各部は、既知のコンピュータ（デスクトップ型およびタブレット型の両方を含む）を構成するデバイスまたは既知のコンピュータで使用される各種周辺機器（キーボード、タッチパネル、マウス、プリンタ、およびディスプレイなど）、あるいはこれらの周辺機器の一部または全部をコンピュータに組み込んだ装置で構成可能である。

例えば、第１オブジェクト判定部１２、第１評価値算出部１３、第１評価基準記憶部１４、第１背面画像候補決定部１５、第１背面画像候補配置部１６、人物画像判定部１７、風景画像判定部１８、人物風景比率記憶部１９、第１前面画像配置部２０、前面画像配置領域選択部２３、第２オブジェクト判定部２６、第２背面画像候補決定部２７、第２評価値算出部２８、第２評価基準記憶部２９、第２背面画像候補配置部３０、第２前面画像配置部３１、画像グルーピング部３２、テーマ設定部３３、合成部３４、中間背面画像候補配置部３５、および中間前面画像候補配置部３６は、プロセッサで構成される。例えば、これらの各部は、パソコンに内蔵されたＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、およびこれらを接続するバスで構成されうる。あるいは、これらの各部は、ＣＰＵ、ＲＡＭ、およびＲＯＭを一体化したワンチップマイクロコンピュータなどで構成されうる。

また、画像受付部１１は、ＵＳＢ(Universal Serial Bus)ポート、有線ＬＡＮ（Local Area Network）アダプタ、無線ＬＡＮアダプタ、あるいはメモリカードリーダなどで構成されうる。また、表示部２１は、ディスプレイおよびドライバなどで構成され、各種の情報を表示する。

また、除外領域選択部２２、前面画像配置領域選択部２３、前面画像選択部２４、および第１背面画像テンプレート選択部２５は、キーボード、マウス、あるいはタッチパネルなどの各種ユーザインターフェースで構成されうる。

画像受付部１１は、有線通信、無線通信、あるいは記録媒体の読み取りなどによって、デジタルカメラやスマートフォンなどで撮影された複数の画像を受け付ける装置である。画像受付部１１が受け付ける画像はＪＰＥＧ（Joint Photographic Experts Group）ファイルなどの各種画像ファイルの形式に従って記録されており、画像本体の他、撮影日時などの付帯情報も画像本体と合わせて受け付ける。画像受付部１１が受け付けた画像および付帯情報は、図示しないハードディスクユニットなどの各種記憶媒体に記憶される。

第１オブジェクト判定部１２は、画像受付部１１の受け付けた複数の画像の各々が第１オブジェクトを含むか否かを判定する装置である。

第１オブジェクトは山、海、および空のうち少なくとも１つを含みうる。第１オブジェクト判定部１２は、山、海、および空のうち少なくとも１つに対応する画像の部分領域の色相、明度および彩度に基づいて、複数の画像の各々が第１オブジェクトを含むか否かを判定することができる。これは風景のシーン判定、画像アノテーション、または機械学習など既知の風景解析によって実現することができる。ユーザの任意の指示に応じてテーマ設定部３３がフォトブックのテーマに「旅行」を設定した場合に、第１オブジェクト判定部１２は山、海、および空のうち少なくとも１つを含むか否かを判定してもよい。

第１オブジェクトは結婚式の新郎新婦を含みうる。あるいは、第１オブジェクトは結婚式の新郎新婦のみでもよい。第１オブジェクト判定部１２は、結婚式の新郎新婦に対応する画像の部分領域の色相、明度および彩度に基づいて、複数の画像の各々が第１オブジェクトを含むか否かを判定することができる。これは結婚式のシーン検出、画像アノテーションまたは機械学習など既知の被写体解析によって実現することができる。テーマ設定部３３がフォトブックのテーマに「結婚」を設定した場合に、第１オブジェクト判定部１２は複数の画像の各々が新郎新婦のみを含むか否かを判定してもよい。

第１オブジェクトは子供を含みうる。あるいは、第１オブジェクトは表情が笑顔である子供を含みうる。第１オブジェクト判定部１２は、笑顔の子供に対応する画像の部分領域の色相、明度および彩度に基づいて、複数の画像の各々が第１オブジェクトを含むか否かを判定することができる。これは笑顔検出、または画像アノテーションなど既知の被写体解析によって実現することができる。テーマ設定部３３がフォトブックのテーマに「子供」を設定した場合に、第１オブジェクト判定部１２は複数の画像の各々が笑顔の子供を含むか否かを判定してもよい。

第１評価値算出部１３は、第１オブジェクト判定部１２が第１オブジェクトを含むと判定した画像である第１オブジェクト判定画像について、第１オブジェクト判定画像の評価値である第１評価値を算出する装置である。第１オブジェクト判定画像の第１評価値は、第１オブジェクト判定画像のボケ、ぶれ、および明るさの度合いのうち少なくとも１つを含む画質に関する値である。すなわち、第１オブジェクト判定画像の第１評価値は、１次元の値に限られず、２以上の次元の値でもよい。例えば、第１評価値は、ボケ、ぶれ、および明るさの度合いのうち少なくとも１つと、笑顔度との組み合わせでもよい。

第１評価基準記憶部１４は、第１評価値を評価するための第１評価基準を記憶する装置である。第１評価基準記憶部１４は、ＲＯＭあるいはフラッシュメモリなどで構成されうる。第１評価基準は、第１オブジェクト判定画像の画質に関する閾値である。第１評価基準は、第１オブジェクト判定画像のボケ、ぶれ、および明るさの度合いのうち少なくとも１つの閾値を含む。この閾値は必要に応じて自動または手動で更新されてもよい。

第１背面画像候補決定部１５は、第１評価値算出部１３の算出した第１評価値と第１評価基準記憶部１４に記憶された第１評価基準とに基づいて、第１オブジェクト判定画像の中から第１背面画像候補を決定する装置である。

第１背面画像候補配置部１６は、背面画像を配置する背面画像配置領域および１または複数の前面画像を配置する前面画像配置領域を有する第１背面画像テンプレートの背面画像配置領域に、第１背面画像候補決定部１５が決定した第１背面画像候補を配置する装置である。

人物画像判定部１７は、複数の画像の各々が、人物を含む人物画像であるか否かを判定する装置である。これは顔検出、画像アノテーション、または機械学習など既知の被写体解析によって実現することができる。

風景画像判定部１８は、複数の画像の各々が、風景を含む風景画像であるか否かを判定する装置である。これはシーン判定、画像アノテーション、または機械学習など既知の被写体解析によって実現することができる。

人物風景比率記憶部１９は、テーマごとに各テンプレートの各ページにおける人物画像と風景画像との配置数の比率を記憶する。例えば、人物風景比率記憶部１９は、「旅行」のテーマの第１背面画像テンプレートの２ページ目における人物画像と風景画像との比率＝２：２を記憶する。あるいは、人物風景比率記憶部１９は、「旅行」のテーマの第２背面画像テンプレートの２ページ目における人物画像と風景画像との比率＝４：１を記憶する。

第１前面画像配置部２０は、後述のテーマ設定部３３によって設定されたテーマに対応する人物画像と風景画像との配置数の比率に従って、第１背面画像テンプレートの前面画像配置領域に、人物画像および風景画像を配置する装置である。

表示部２１は、前面画像配置領域、背面画像配置領域における前面画像配置領域を除外した除外領域、および複数の画像の少なくとも一部を一覧表示する一覧表示領域とを区別可能に表示する装置である。また前面画像配置領域、除外領域、および一覧表示領域とを区別可能に表示とは、これらの領域が視覚的に区別できる各種の表示を含み、例えば、これらの領域が同一ウィンドウの異なる領域で表示されること、色分け表示、強調表示、およびこれらの領域が別のウィンドウで表示されることを含む。除外領域選択部２２は、除外領域の選択を受け付ける装置である。

ここで、表示部２１は、除外領域選択部２２が除外領域の選択を受け付けたことに応じ、第１背面画像候補決定部が決定した第１背面画像候補を示す画像のうち、背面画像配置領域に配置されている第１背面画像候補以外の第１背面画像候補を一覧表示領域に表示する。

前面画像配置領域選択部２３は、前面画像配置領域の選択を受け付ける装置である。ここで、表示部２１は、前面画像配置領域選択部２３が前面画像配置領域の選択を受け付けたことに応じ、複数の画像の少なくとも一部を一覧表示領域に表示する。

前面画像選択部２４は、画像受付部１１が受け付けた複数の画像の中から所望の画像の選択を受け付ける装置である。

第１背面画像テンプレート選択部２５は、第１背面画像テンプレートの候補の中から所望の第１背面画像テンプレートの選択を受け付ける装置である。ここで、表示部２１は、第１背面画像テンプレート選択部２５が選択を受け付けた第１背面画像テンプレートにおける背面画像配置領域に配置された第１背面画像候補と第１背面画像テンプレート選択部２５が選択を受け付けた第１背面画像テンプレートにおける前面画像配置領域に配置された人物画像および風景画像とが合成された合成画像を表示する。

第２オブジェクト判定部２６は、画像受付部１１が受け付けた複数の画像の各々が第２オブジェクトを含むか否かを判定する装置である。

第２背面画像候補決定部２７は、第２オブジェクト判定部２６が第２オブジェクトを含まないと判定した画像である第２オブジェクト判定画像の中から第２背面画像候補を決定する装置である。

第２評価値算出部２８は、第２オブジェクト判定画像について、第２オブジェクト判定画像の評価値である第２評価値を算出する。

第２評価基準記憶部２９は、第２評価値を評価するための第２評価基準を記憶する装置である。

ここで、第２背面画像候補決定部２７は、第２評価値算出部２８の算出した第２評価値と第２評価基準記憶部２９の記憶した第２評価基準とに基づいて、第２オブジェクト判定画像の中から第２背面画像候補を決定する。

第２オブジェクトは人物を含む。ここで、第２オブジェクト判定部２６は、人物検出により複数の画像の各々が第２オブジェクトを含むか否かを判定する。これは顔検出、画像アノテーション、または機械学習など既知の被写体解析によって実現することができる。

なお、第２評価値算出部２８の算出する第２評価値は、第２オブジェクト判定画像の画質に関する値であり、第２評価基準記憶部２９の記憶する第２評価基準は、第２オブジェクト判定画像の画質に関する閾値である。第２評価基準は、第２オブジェクト判定画像のボケ、ぶれ、および明るさの度合いのうち少なくとも１つの閾値を含む。

第２背面画像候補配置部３０は、後景として背面画像を配置する背面画像配置領域および前景として１または複数の前面画像を配置する前面画像配置領域を有する第２背面画像テンプレートの背面画像配置領域に、第２背面画像候補決定部が決定した第２背面画像候補を配置する装置である。

人物画像判定部１７は、第２オブジェクト判定部２６が第２オブジェクトを含むと判定した画像である前面画像候補が、人物が含まれる人物前面画像であるか否かを判定することが可能である。

風景画像判定部１８は、第２オブジェクト判定部２６が第２オブジェクトを含むと判定した画像である前面画像候補が、風景が含まれる風景前面画像であるか否かを判定することが可能である。

人物風景比率記憶部１９は、第２背面画像テンプレートの前面画像配置領域に配置すべき人物前面画像および風景前面画像の比率を記憶することが可能である。

第２前面画像配置部３１は、人物風景比率記憶部１９に記憶された人物前面画像および風景前面画像の比率に従って、第２背面画像テンプレートの前面画像配置領域に、人物前面画像および風景前面画像を配置する装置である。

図２〜図４は本発明の背面画像候補決定方法の一実施形態であるフォトブック作成処理のフローチャートを示す。フォトブック作成処理は、第１背面画像テンプレート配置処理（図２参照）、第２背面画像テンプレート配置処理（図３参照）、および中間テンプレート配置処理（図４参照）を含む。これらの処理を背面画像候補決定装置１のプロセッサに実行させるための背面画像候補決定プログラムは、フラッシュメモリなどのコンピュータ読み取り可能な非一時的有形媒体に記憶されている。

図２に従い、第１背面画像テンプレート配置処理を説明する。

Ｓ０では、画像受付部１１は、複数の画像を受け付ける。

Ｓ１では、テーマ設定部３３は、フォトブックのテーマを設定する。テーマ設定部３３は、ユーザ入力に応じてまたは上記複数の画像に対する画像解析の結果に応じて、「結婚」、「旅行」、または「子供」の中から、フォトブックのテーマを設定する。画像解析は、画像アノテーションによって行うことができ、被写体から新郎新婦が検出された場合は「結婚」のテーマ、風景が検出された場合は「旅行」のテーマ、または子供が検出された場合は「子供」のテーマが設定される。

Ｓ２では、画像グルーピング部３２は、上記複数の画像に対する付帯情報に従って、複数の画像を撮影日時順にグルーピングし、なおかつ、撮影日時に従ってグルーピングされた画像群に対し、撮影日時の古いものから新しいものの順に、ナンバリングを行う。例えば、画像グルーピング部３２は、ＡＭ１０：００−１１：００の間に撮影された画像群はグループ１、ＡＭ１１：００−１２：００の間に撮影された画像群はグループ２、ＰＭ０：００−１：００の間に撮影された画像群はグループ３、ＰＭ１：００−２：００の間に撮影された画像群はグループ４といったようなグルーピングおよびナンバリングを行う。以下、撮影日時の最も古いのグループの番号は１とし、撮影日時の最も古いのグループの番号はｎ（ｎは１以上の整数）とする。

Ｓ３では、第１オブジェクト判定部１２は、グループｋ（ｋは１以上ｎ以下の整数）に含まれる画像の各々が、Ｓ１で設定されたテーマに対応した第１オブジェクトを含むか否かを判断する。グループｋの画像候補の少なくとも１つがテーマに対応した第１オブジェクトを含んでいればＳ１０に進み、グループｋの画像のいずれもテーマに対応した第１オブジェクトを含んでいなければＳ４（図３参照）に進む。

Ｓ１０では、第１評価値算出部１３が、第１オブジェクトを含んでいる画像である第１オブジェクト判定画像について、第１評価値を算出する。

Ｓ１１では、第１評価基準記憶部１４が、第１評価基準、すなわち、第１オブジェクト判定画像のボケ、ぶれ、および明るさの度合いのうち少なくとも１つの閾値を記憶する。ただし、第１評価基準記憶部１４が第１評価基準を記憶するタイミングは、次のＳ１２の処理が開始する以前であればいつでもよく、必ずしも第１背面画像テンプレート配置処理の中の１つの処理として行わなくてよい。

Ｓ１２では、第１背面画像候補決定部１５は、第１評価値算出部１３の算出した第１評価値と第１評価基準記憶部１４に記憶された第１評価基準とに基づいて、第１オブジェクト判定画像の中から第１背面画像候補を決定する。例えば、第１背面画像候補決定部１５は、第１評価基準以上の第１評価値が算出された第１オブジェクト判定画像（これは１つでも複数でもよい）を第１背面画像候補に決定する。第１評価基準以上の第１評価値が１つもない場合は、Ｓ１１に戻って第１評価基準を下げ、再び第１背面画像候補を決定してもよい。

Ｓ１３では、表示部２１は、Ｓ１２で決定された第１背面画像候補のサムネイル画像を一覧表示する。

Ｓ１４では、第１背面画像候補配置部１６は、ユーザ操作により、第１背面画像候補のサムネイル画像の中から、任意のサムネイル画像の選択を受け付ける。第１背面画像候補のサムネイル画像が選択された場合はＳ１５に進む。

Ｓ１５では、第１背面画像候補配置部１６は、選択されたサムネイル画像に対応する第１背面画像候補である第１背面画像を、第１背面画像テンプレートの背面画像配置領域に相当するフレームに配置する。第１背面画像候補が１つしかない場合、第１背面画像候補配置部１６は、この第１背面画像候補を第１背面画像テンプレートの背面画像領域に配置してもよい。

ここで、図５に例示するような第１背面画像テンプレートは、第１背面画像のフレームFr(1)に対する前面画像のフレームFf(1)-1, Ff(1)-2, Ff(1)-3, およびFf(1)-4の占める面積が小さいテンプレートである。第１背面画像テンプレートはＳ１で設定されたテーマのテンプレートのｋページ目に対応している。なお、重複する前面画像のフレームFf(1)-1, Ff(1)-2,およびFf(1)-3の優先順位は、Ff(1)-1>Ff(1)-2>Ff(1)-3である。

Ｓ１６では、表示部２１は、グループｋに属する第１背面画像以外の画像である前面画像候補のサムネイル画像を一覧表示する。

Ｓ１７では、前面画像選択部２４は、ユーザ操作により、前面画像候補のサムネイル画像の中から、任意のサムネイル画像の選択を受け付ける。前面画像候補のサムネイル画像が選択された場合はＳ１８に進む。なお選択可能なサムネイル画像の数は、第１背面画像テンプレートにおける前面画像のフレームの数と同じかそれ以上である。例えば図５のテンプレートの場合、４つ以上の前面画像候補のサムネイル画像が選択可能である。前面画像候補のサムネイル画像全てがデフォルトで選択されていてもよく、ユーザ操作によって前面画像候補を前面画像のフレームの数まで絞り込む必要はない。

Ｓ１８では、人物画像判定部１７は、選択されたサムネイルに対応する前面画像候補の各々が、人物を含む人物画像であるか否かを判定する。また、風景画像判定部１８は、選択されたサムネイルに対応する前面画像候補の各々が、風景を含む風景画像であるか否かを判定する。

第１前面画像配置部２０は、人物画像と風景画像とを、人物風景比率記憶部１９に記憶された、テーマ設定部３３の設定したテーマに対応する人物画像と風景画像との配置数の比率に従って、第１背面画像テンプレートの前面画像配置領域に相当するフレームに配置する。合成部３４は、第１背面画像テンプレートのフレームに配置された背面画像および前面画像を合成することで、合成画像を作成する。表示部２１は、合成画像を表示する。

Ｓ１９では、第１オブジェクト判定部１２は、グループ１〜ｎの画像に基づいて、１〜ｎページ目の第１背景画像テンプレートのすべてのフレームに画像が配置されたか否かを判定する。Ｙｅｓの場合は処理を終了し、Ｎｏの場合は画像の配置されていないページまたはユーザが画像の配置をやり直したいページについてＳ３以降の処理を行う。

次に図３に従い、第２背面画像テンプレート配置処理を説明する。

Ｓ４では、第２オブジェクト判定部２６は、グループｋに含まれる画像の各々が、第２オブジェクトを含むか否かを判断する。グループｋの画像候補の少なくとも１つが第２オブジェクトを含んでいればＳ３１（図４参照）に進み、グループｋの画像のいずれも第２オブジェクトを含んでいなければＳ２０に進む。

Ｓ２０では、第２評価値算出部２８は、第２オブジェクト判定画像について、第２オブジェクト判定画像の評価値である第２評価値を算出する。

Ｓ２１では、第２評価基準記憶部２９は、第２評価基準を記憶する。ただし、第２評価基準記憶部２９が第２評価基準を記憶するタイミングは、次のＳ２２の処理が開始する以前であればいつでもよく、必ずしも第２背面画像テンプレート配置処理の中の１つの処理として行わなくてよい。

Ｓ２２では、第２背面画像候補決定部２７は、第２評価値算出部２８の算出した第２評価値と第２評価基準記憶部２９の記憶した第２評価基準とに基づいて、第２オブジェクト判定画像の中から第２背面画像候補を決定する。

Ｓ２３では、表示部２１は、Ｓ２２で決定された第２背面画像候補のサムネイル画像を一覧表示する。

Ｓ２４では、第２背面画像候補配置部３０は、ユーザ操作により、第２背面画像候補のサムネイル画像の中から、任意のサムネイル画像の選択を受け付ける。第１背面画像候補のサムネイル画像が選択された場合はＳ２５に進む。

Ｓ２５では、第２背面画像候補配置部３０は、選択されたサムネイル画像に対応する第２背面画像候補である第２背面画像を、第２背面画像テンプレートの背面画像配置領域に相当するフレームに配置する。第２背面画像候補が１つしかない場合、第２背面画像候補配置部３０は、この第２背面画像候補を第２背面画像テンプレートの背面画像領域に配置してもよい。

ここで、図６に例示するような第２背面画像テンプレートは、背面画像のフレームFr(2)に対する前面画像のフレームFf(2)-1, Ff(2)-2, Ff(2)-3, およびFf(2)-4の占める面積が大きいテンプレートである。第２背面画像テンプレートはＳ２で設定されたテーマのテンプレートのｋページ目に対応している。なお、重複する前面画像のフレームFf(2)-1およびFf(2)-2の優先順位は、Ff(2)-1>Ff(2)-2である。

Ｓ２６では、表示部２１は、グループｋに属する第２背面画像以外の画像である前面画像候補のサムネイル画像を一覧表示する。

Ｓ２７では、第２前面画像配置部３１は、ユーザ操作により、前面画像候補のサムネイル画像の中から、任意のサムネイル画像の選択を受け付ける。前面画像候補のサムネイル画像が選択された場合はＳ２８に進む。なお選択可能なサムネイル画像の数は、第２背面画像テンプレートにおける前面画像のフレームと同じである。

Ｓ２８では、第２前面画像配置部３１は、選択されたサムネイル画像に対応する前面画像を、第２背面画像テンプレートの前面画像配置領域に相当するフレームに配置する。合成部３４は、第２背面画像テンプレートのフレームに配置された背面画像および前面画像を合成することで、合成画像を作成する。

Ｓ２９では、第２オブジェクト判定部２６は、グループ１〜ｎの画像に基づいて、１〜ｎページ目の第２背景画像テンプレートのすべてのフレームに画像が配置されたか否かを判定する。Ｙｅｓの場合は処理を終了し、Ｎｏの場合は画像の配置されていないページまたはユーザが画像の配置をやり直したいページについてＳ４以降の処理を行う。

次に図４に従い、中間テンプレート配置処理を説明する。

Ｓ３１では、表示部２１は、Ｓ４にて第２オブジェクトを含んでいると判定された画像以外の全画像を背景画像候補とみなし、この背景画像候補のサムネイル画像を一覧表示する。

Ｓ３２では、中間背面画像候補配置部３５は、ユーザ操作により、背面画像候補のサムネイル画像の中から、任意のサムネイル画像の選択を受け付ける。背面画像候補のサムネイル画像が選択された場合はＳ３３に進む。

Ｓ３３では、中間背面画像候補配置部３５は、選択されたサムネイル画像に対応する背面画像を、中間テンプレートの背面画像配置領域に相当するフレームに配置する。背面画像候補が１つしかない場合、中間背面画像候補配置部３５は、この第２背面画像候補を中間テンプレートの背面画像領域に配置してもよい。

ここで、図７に例示するような中間テンプレートは、背面画像のフレームFr(3)に対する前面画像のフレームFf(3)-1, Ff(3)-2, Ff(3)-3, Ff(3)-4,および Ff(3)-5の占める面積が同等のテンプレートである。中間テンプレートはＳ２で設定されたテーマのテンプレートのｋページ目に対応している。なお、重複する前面画像のフレームFf(3)-1, Ff(3)-2,およびFf(3)-3の優先順位は、Ff(3)-1>Ff(3)-2>Ff(3)-3である。

Ｓ３４では、表示部２１は、グループｋに属する通常背面画像以外の画像である前面画像候補のサムネイル画像を一覧表示する。

Ｓ３５では、中間前面画像候補配置部３６は、ユーザ操作により、前面画像候補のサムネイル画像の中から、任意のサムネイル画像の選択を受け付ける。前面画像候補のサムネイル画像が選択された場合はＳ３６に進む。なお選択可能なサムネイル画像の数は、中間テンプレートにおける前面画像のフレームと同じである。

Ｓ３６では、中間前面画像候補配置部３６は、選択されたサムネイル画像に対応する前面画像候補である前面画像を、中間テンプレートの前面画像配置領域に相当するフレームに配置する。合成部３４は、中間テンプレートのフレームに配置された背面画像および前面画像を合成することで、合成画像を作成する。

Ｓ３７では、第２オブジェクト判定部２６は、グループ１〜ｎの画像に基づいて、１〜ｎページ目の通常背景画像テンプレートのすべてのフレームに画像が配置されたか否かを判定する。Ｙｅｓの場合は処理を終了し、Ｎｏの場合は画像の配置されていないページまたはユーザが画像の配置をやり直したいページについてＳ３１以降の処理を行う。

図８は第１背面画像テンプレート配置処理によって作成された合成画像の表示例である。背面画像配置領域には第１評価基準を満たした風景画像が配置されている。一方、前面画像配置領域には、人物を含む画像と風景を含む画像とが同数ずつ（比率２：２で）配置されている。このように、第１評価基準を満たしたきれいな風景背景をバックグラウンドに生かしたフォトアルバムを自動または半自動で作成することが可能である。

図９は第１背面画像候補のサムネイル画像の一覧表示の一例および合成画像の表示例を示す。図９では、グルーピングされた画像群のサムネイル画像Ｔ１が一覧表示されており、その画像群に含まれる第１背面画像候補のサムネイル画像には、星など所定形状のアイコンによるマーキングがされている。マーキングされている第１背面画像候補のサムネイル画像のうち、所望のサムネイル画像が選択されると、その選択されたサムネイル画像にチェックマークなどのマーキングがされ、これらのサムネイル画像に対応する第１背面画像が、第１背面画像配置領域のフレームに配置される。合成画像Ｉ１の作成後に第１背面画像の選択をやり直したい場合、ユーザは、合成画像Ｉ１の第１背面画像配置領域Ｒｒから前面画像配置領域Ｒｆ−１，Ｒｆ−２，Ｒｆ−３，およびＲｆ−４を除いた除外領域Ｒｚを、タッチパネルのタッチなどで選択することができる。除外領域選択部２２は、ユーザ操作による除外領域Ｒｚの選択を受け付ける。除外領域選択部２２によって除外領域Ｒｚの選択が受け付けられたことにより、第１背面画像候補を含む画像群のサムネイル画像Ｔ１が表示され、第１背面画像候補の再選択と配置が可能となる。第１背面画像候補のサムネイル画像Ｔ１は、合成画像Ｉ１の下部または合成画像とは別のウィンドウ内部など、合成画像Ｉ１、前面画像配置領域Ｒｆ−１，Ｒｆ−２，Ｒｆ−３，およびＲｆ−４、および除外領域Ｒｚとは区別可能に表示される。

図１０は前面画像候補のサムネイル画像の一覧表示の一例および合成画像の表示例を示す。図１０では、グルーピングされた画像群のサムネイル画像Ｔ２が一覧表示されており、その画像群に含まれる前面画像候補のサムネイル画像には、星など所定形状のアイコンによるマーキングがされている。マーキングされている前面画像候補のサムネイル画像のうち、所望のサムネイル画像が選択されると、その選択されたサムネイル画像にチェックマークなどのマーキングがされ、これらのサムネイル画像に対応する前面画像が、前面画像配置領域のフレームに配置される。合成画像Ｉ１の作成後に前面画像の選択をやり直したい場合、ユーザは、タッチパネルなどで構成された前面画像配置領域選択部２３を介して、前面画像配置領域Ｒｆ−１，Ｒｆ−２，Ｒｆ−３，またはＲｆ−４を選択することができる。前面画像配置領域選択部２３を介して前面画像配置領域が選択されたことにより、前面画像候補を含む画像群のサムネイル画像Ｔ２が表示され、前面画像候補の再選択と配置が可能となる。前面画像候補のサムネイル画像は、合成画像Ｉ１の下部または合成画像とは別のウィンドウ内部など、合成画像Ｉ１、前面画像配置領域Ｒｆ−１，Ｒｆ−２，Ｒｆ−３，およびＲｆ−４、および除外領域Ｒｚとは区別可能に表示される。

図１１は第２背面画像テンプレート配置処理によって作成された合成画像の表示例である。背面画像配置領域には風景も人物も含まない画像が配置されている。一方、前面画像配置領域には、任意に選択された画像が配置されている。このように、背面画像に比較的適した画質の画像がある場合は、この背面画像を背面画像配置領域に配置し、前面画像が目立ちかつ背面画像が目立たないよう配置することができる。

図１２は中間テンプレート配置処理によって作成された合成画像の表示例である。このように、背面に適した画像がない場合は、ユーザの選択した任意のレイアウトと任意の画像で背面画像と前面画像の両方が同等の大きさで見える合成画像を作成することができる。

＜第２実施形態＞
第１実施形態では、画像群に第１オブジェクトが含まれていた場合、必ず第１背面画像テンプレートに画像が配置される。しかし、ユーザによる任意の通常テンプレート選択がされた場合、当該選択されたテンプレートに選択された画像を配置して合成画像を作成する処理を実行し、その後、合成画像に配置された画像に第１オブジェクトが含まれている場合、ユーザの任意の選択に応じて第１背面画像テンプレート配置処理を実行してもよい。

具体的には、例えば、図１３に示すように、ユーザが任意のテンプレートと任意の前面画像を選択したことに応じ、選択されたテンプレートに前面画像が配置された合成画像が作成され、この合成画像が編集画面に表示されたとする。なお、図示は省略するが、背面画像が選択されている場合は、選択されたテンプレートの背面画像配置領域に背面画像が配置されてもよい。

この場合、第１オブジェクト判定部１２は、編集画面に表示された合成画像に配置された前面画像の各々が、図２のＳ１で設定されたテーマに対応した第１オブジェクトを含むか否かを判断する。前面画像の少なくとも１つがテーマに対応した第１オブジェクトを含んでいると判断された場合、図１３に例示するように、編集画面内で、当該第１オブジェクトを含む前面画像を、太枠などで強調表示するとよい。さらに、第１オブジェクトを含む前面画像が存在する場合、第１背景画像テンプレートを選択可能なテンプレートの一覧として表示してもよい。図１４は選択可能なテンプレートの一覧の表示例である。ここでユーザにより、第１背景画像テンプレートが選択された場合、図２のＳ１０に進み、第１オブジェクトを含む前面画像について、第１背面画像候補決定などを行い、合成画像を作成する。すなわち、ユーザが任意に選択した前面画像の中に第１オブジェクトを含むものすなわち背面画像として適したものがあれば、これを新たな第１背面画像候補に決定することができる。

これにより、ユーザが気づかなかったきれいな風景画像などを、ユーザの指定したテンプレートにそのまま配置するのでなく、これを背面画像としてより有益に活用できる第１背景画像テンプレートへのテンプレート変更を誘導し、より効果的に背面画像を配置するきっかけを与えることができる。

＜第３実施形態＞
第１実施形態では、画像候補に第１オブジェクトが含まれるか否か、または第２オブジェクトが含まれるか否かで、第１背面画像テンプレート、第２背面画像テンプレート、または中間テンプレートに画像が配置される。

これに対し、第１背面画像候補決定部１５または第２背面画像候補決定部２７が決定した背面画像候補を含むオブジェクトおよび画質と、前面画像選択部２４を介してユーザが任意に選択した前面画像候補を含むオブジェクトとに応じて、第１背面画像テンプレート、第２背面画像テンプレート、または中間テンプレートのいずれか１つに背面画像および前面画像を配置するかが決定されてもよい。

例えば、背面画像候補決定装置１のプロセッサにて、以下のようなテンプレート決定を行うプログラムを実行するとよい。

背面画像候補が第１オブジェクトを含みかつ背面画像候補の第１評価値が第１評価基準を超え（画質が非常に良好）、なおかつ前面画像候補が第２オブジェクトを含まない場合は、第１背面画像テンプレートを画像を配置するテンプレートに決定する。

背面画像候補が第１オブジェクトを含みかつ背面画像候補の第１評価値が第１評価基準を超え（画質が非常に良好）、なおかつ前面画像候補が第２オブジェクトを含む場合は、中間テンプレートを画像を配置するテンプレートに決定する。

背面画像候補が第１オブジェクトを含みかつ背面画像候補の第１評価値が第１評価基準と等しい場合（画質が良好）は、前面画像候補が第２オブジェクトを含むか否かにかかわらず、第２背面画像テンプレートを画像を配置するテンプレートに決定する。

背面画像候補が第１オブジェクトを含まない場合は、前面画像候補が第２オブジェクトを含むか否かにかかわらず、ユーザが任意に選択したレイアウトを有するテンプレート（通常テンプレート）を画像を配置するテンプレートに決定する。

以上のようにすれば、第１実施形態のように背面画像候補だけに基づかず、背面画像候補と前面画像候補の双方の内容に基づいて、適切に選択されたテンプレートに画像が配置される。

１ 背面画像候補決定装置
１１ 画像受付部
１２ 第１オブジェクト判定部
１３ 第１評価値算出部
１４ 第１評価基準記憶部
１５ 第１背面画像候補決定部
１６ 第１背面画像候補配置部
１７ 人物画像判定部
１８ 風景画像判定部
１９ 人物風景比率記憶部
２０ 第１前面画像配置部
２１ 表示部
２２ 除外領域選択部
２３ 前面画像配置領域選択部
２４ 前面画像選択部
２５ 第１背面画像テンプレート選択部
２６ 第２オブジェクト判定部
２７ 第２背面画像候補決定部
２８ 第２評価値算出部
２９ 第２評価基準記憶部
３０ 第２背面画像候補配置部
３１ 第２前面画像配置部
３２ 画像グルーピング部
３３ テーマ設定部
３４ 合成部
３５ 中間背面画像候補配置部
３６ 中間前面画像候補配置部

Claims (20)

1. 複数の画像を受け付ける画像受付部と、
   前記複数の画像の各々が第１オブジェクトを含むか否かを判定する第１オブジェクト判定部と、
   前記第１オブジェクト判定部が前記第１オブジェクトを含むと判定した画像である第１オブジェクト判定画像について、前記第１オブジェクト判定画像の評価値である第１評価値を算出する第１評価値算出部と、
   前記第１評価値を評価するための第１評価基準を記憶する第１評価基準記憶部と、
   前記第１評価値算出部の算出した第１評価値と前記第１評価基準記憶部に記憶された第１評価基準とに基づいて、前記第１オブジェクト判定画像の中から第１背面画像候補を決定する第１背面画像候補決定部と、
   を備える背面画像候補決定装置。
2. 前記第１オブジェクト判定部は、前記複数の画像の各々の色相、明度および彩度に基づいて前記複数の画像の各々が第１オブジェクトを含むか否かを判定する請求項１に記載の背面画像候補決定装置。
3. 前記第１オブジェクトは山、海、および空のうち少なくとも１つを含み、
   前記第１オブジェクト判定部は、前記山、海、および空のうち少なくとも１つに対応する画像の部分領域の色相、明度および彩度に基づいて前記複数の画像の各々が第１オブジェクトを含むか否かを判定する請求項２に記載の背面画像候補決定装置。
4. 前記第１オブジェクトは結婚式の新郎新婦のみを含み、
   前記第１オブジェクト判定部は、前記結婚式の新郎新婦に対応する画像の部分領域の色相、明度および彩度に基づいて前記複数の画像の各々が第１オブジェクトを含むか否かを判定する請求項２に記載の背面画像候補決定装置。
5. 前記第１オブジェクトは笑顔の子供を含み、
   前記第１オブジェクト判定部は、前記笑顔の子供に対応する画像の部分領域の色相、明度および彩度に基づいて前記複数の画像の各々が第１オブジェクトを含むか否かを判定する請求項２に記載の背面画像候補決定装置。
6. 前記第１評価値は、前記第１オブジェクト判定画像の画質に関する値であり、
   前記第１評価基準は、前記第１オブジェクト判定画像の画質に関する閾値である請求項１〜５のいずれか１項に記載の背面画像候補決定装置。
7. 前記第１評価値は、前記第１オブジェクト判定画像のボケ、ぶれ、および明るさの度合いのうち少なくとも１つを含み、
   前記第１評価基準は、前記第１オブジェクト判定画像のボケ、ぶれ、および明るさの度合いのうち少なくとも１つの閾値を含む請求項６に記載の背面画像候補決定装置。
8. 背面画像を配置する背面画像配置領域および１または複数の前面画像を配置する前面画像配置領域を有する第１背面画像テンプレートの前記背面画像配置領域に、前記第１背面画像候補決定部が決定した第１背面画像候補を配置する第１背面画像候補配置部を備える請求項１〜７のいずれか１項に記載の背面画像候補決定装置。
9. 前記複数の画像の各々が、人物を含む人物画像であるか否かを判定する人物画像判定部と、
   前記複数の画像の各々が、風景を含む風景画像であるか否かを判定する風景画像判定部と、
   前記人物画像と前記風景画像との比率を記憶する人物風景比率記憶部と、
   前記人物画像と風景画像との比率に従って、前記第１背面画像テンプレートの前記前面画像配置領域に、前記人物画像および前記風景画像を配置する第１前面画像配置部と、
   を備える請求項８に記載の背面画像候補決定装置。
10. 前記前面画像配置領域、前記背面画像配置領域における前記前面画像配置領域を除外した除外領域、および複数の画像の少なくとも一部を一覧表示する一覧表示領域とを区別可能に表示する表示部と、
    前記除外領域の選択を受け付ける除外領域選択部と、
    を備え、
    前記表示部は、前記除外領域選択部が除外領域の選択を受け付けたことに応じ、前記第１背面画像候補決定部が決定した第１背面画像候補を示す画像のうち、前記背面画像配置領域に配置されている第１背面画像候補以外の第１背面画像候補を前記一覧表示領域に表示する請求項８に記載の背面画像候補決定装置。
11. 前記前面画像配置領域の選択を受け付ける前面画像配置領域選択部を備え、
    前記表示部は、前記前面画像配置領域選択部が前記前面画像配置領域の選択を受け付けたことに応じ、前記複数の画像の少なくとも一部を前記一覧表示領域に表示する請求項１０に記載の背面画像候補決定装置。
12. 前記複数の画像の中から所望の画像の選択を受け付ける画像選択部と、
    前記画像選択部が前記第１背面画像候補の選択を受け付けたことに応じ、前記第１背面画像テンプレートの候補を表示する表示部と、
    前記第１背面画像テンプレートの候補の中から所望の第１背面画像テンプレートの選択を受け付ける第１背面画像テンプレート選択部と、
    を備え、
    前記表示部は、前記第１背面画像テンプレート選択部が選択を受け付けた第１背面画像テンプレートにおける背面画像配置領域に配置された前記第１背面画像候補と前記第１背面画像テンプレート選択部が選択を受け付けた第１背面画像テンプレートにおける前面画像配置領域に配置された前記人物画像および前記風景画像とが合成された合成画像を表示する請求項９に記載の背面画像候補決定装置。
13. 前記複数の画像の各々が第２オブジェクトを含むか否かを判定する第２オブジェクト判定部と、
    前記第２オブジェクト判定部が前記第２オブジェクトを含まないと判定した画像である第２オブジェクト判定画像の中から第２背面画像候補を決定する第２背面画像候補決定部と、
    を備える請求項１〜１２のいずれか１項に記載の背面画像候補決定装置。
14. 前記第２オブジェクトは人物を含み、
    前記第２オブジェクト判定部は、人物検出により前記複数の画像の各々が第２オブジェクトを含むか否かを判定する請求項１３に記載の背面画像候補決定装置。
15. 前記第２オブジェクト判定画像について、前記第２オブジェクト判定画像の評価値である第２評価値を算出する第２評価値算出部と、
    前記第２評価値を評価するための第２評価基準を記憶する第２評価基準記憶部と、
    を備え、
    前記第２背面画像候補決定部は、前記第２評価値算出部の算出した第２評価値と前記第２評価基準記憶部の記憶した第２評価基準とに基づいて、前記第２オブジェクト判定画像の中から第２背面画像候補を決定する請求項１３または１４に記載の背面画像候補決定装置。
16. 前記第２評価値は、前記第２オブジェクト判定画像の画質に関する値であり、
    前記第２評価基準は、前記第２オブジェクト判定画像の画質に関する閾値である請求項１５に記載の背面画像候補決定装置。
17. 後景として背面画像を配置する背面画像配置領域および前景として１または複数の前面画像を配置する前面画像配置領域を有する第２背面画像テンプレートの前記背面画像配置領域に、前記第２背面画像候補決定部が決定した第２背面画像候補を配置する第２背面画像候補配置部を備える請求項１３〜１６のいずれか１項に記載の背面画像候補決定装置。
18. 前記第２オブジェクト判定部が前記第２オブジェクトを含むと判定した画像である前面画像候補が、人物が含まれる人物前面画像であるか否かを判定する人物画像判定部と、
    前記第２オブジェクト判定部が前記第２オブジェクトを含むと判定した画像である前面画像候補が、風景が含まれる風景前面画像であるか否かを判定する風景画像判定部と、
    前記第２背面画像テンプレートの前記前面画像配置領域に配置すべき人物前面画像および風景前面画像の比率を記憶する人物風景比率記憶部と、
    前記人物風景比率記憶部に記憶された人物前面画像および風景前面画像の比率に従って、前記第２背面画像テンプレートの前記前面画像配置領域に、前記人物前面画像および前記風景前面画像を配置する第２前面画像配置部と、
    を備える請求項１７に記載の背面画像候補決定装置。
19. 複数の画像を受け付けるステップと、
    前記複数の画像の各々が第１オブジェクトを含むか否かを判定するステップと、
    前記第１オブジェクトを含むと判定した画像である第１オブジェクト判定画像について、前記第１オブジェクト判定画像の評価値である第１評価値を算出するステップと、
    前記第１評価値を評価するための第１評価基準を記憶するステップと、
    前記第１評価値と前記第１評価基準とに基づいて、前記第１オブジェクト判定画像の中から第１背面画像候補を決定するステップと、
    を備える背面画像候補決定方法。
20. 請求項１９に記載の背面画像候補決定方法をコンピュータに実行させるための背面画像候補決定プログラム。

Images