WO2017187751A1 - 画像合成装置、画像合成方法および画像合成プログラム - Google Patents

Abstract

画像を配置した各ページにデザイン上の抑揚が生じるようにデザインされた合成画像を自動生成する画像合成装置、画像合成方法および画像合成プログラムを提供する。ステップ（Ｓ１４）では、画像選択部（１０３）は、グルーピングされたグループ毎に、素材画像を選択する。ステップ（Ｓ１６）では、画像配置部（１０５）は、補正後の素材画像を、合成画像のテーマに応じたテンプレートにレイアウトする。ステップ（Ｓ１７）では、レイアウト評価値算出部（１０６）は、素材画像のテンプレートへの配置後の画像について、ページごとのレイアウト評価値を算出する。ステップ（Ｓ１８）では、レイアウト評価値周期設定部（１０７）は、合成画像のページごとのレイアウト評価値の周期的変動性を設定する。ステップ（Ｓ１９）では、再レイアウト制御部１１１は、素材画像の再選択が必要か否かを判定する。必要と判定した場合はステップ（Ｓ１４）に戻り、素材画像の再選択、再選択された素材画像のレイアウト、レイアウト評価値の再算出を行う。

Description

画像合成装置、画像合成方法および画像合成プログラム

　本発明は、画像合成装置、画像合成方法および画像合成プログラムに関し、特に、複数の画像に基づく合成画像を作成するための画像合成装置、画像合成方法および画像合成プログラムに関する。

　特許文献１では、ページ毎にレイアウト評価値を算出する評価手段、および算出されたページ毎のレイアウト評価値に基づき提示順が評価値の順とは異なる順に提示順を決定する決定手段に関する記載がある。

　特許文献１では、取得したテンプレートの画像配置枠に対して、入力画像を任意に当てはめる処理を繰り返すことで大量に生成した一時レイアウトの定量評価を行う。これは画像の明るさや彩度、ブレぼけ量等の状態を判断し、評価量としてスコア化する。評価量は、画像個別の評価、画像とスロット（画像配置枠）の適合度の評価、レイアウトページ内のバランスの評価の３つに分類される。画像個別の評価は、画像の明るさや彩度、ブレぼけ量等の状態を判断し、スコア化するものである。適合度の評価は、人物適合度、トリミング欠け判定が挙げられる。バランスを評価するための評価値としては、例えば、画像類似性、画素値分布のばらつき、オブジェクトのばらつきが挙げられる。バランスを評価するための評価値としては、例えば、画像類似性、画素値分布のばらつき、オブジェクトのばらつきが挙げられる。

　また、ユーザに対するレイアウト候補の提示順は、評価値の順と異なる順すなわち提示順と評価値のスコア順が完全に一致していなければよく、一部の順が同じであってもよいとする。例えば、提示順は、スコア順が１～３番目のレイアウト候補、６番目のレイアウト候補、８番目のレイアウト候補・・・等のように、評価値の順と一致する部分があってもよいとする。複数の評価値を統合化して、一時レイアウト毎のレイアウト評価値とする。レイアウト評価順序と乱数を用いてレイアウトリストを作成することにより、低コストで異なるバリエーションのレイアウトを容易に提供することができる。

　特許文献２では、レイアウトと背景画像と画像効果の３つの項目に関する選択肢の複数の組合せを周期的に１つずつ順次選択して各ページに適用する旨の記載がある。なお、レイアウトと背景画像と画像効果の３つの項目に関する選択肢の複数の組合せの中からランダムに１つの組合せを選択して各ページに適用する記載もある。

　特許文献３では、複数画像を複数のグループに分類し、画像解析結果に基づいて各々の画像の評価値を決定し、評価値またはユーザ操作情報を元に画像を選択して、所定のレイアウトに配置する。

特開2015-53543号公報 特開2007-128148号公報 特開2014-75778号公報

　特許文献１は、レイアウト評価値の順とは異なる順に提示順を決定するが、レイアウト評価値自体はフォトブック全体の総合的な評価であり、フォトブックのページごとの評価でないため、どのレイアウトのどのページも同じようなデザインの単調なフォトブックとなる可能性がある。

　特許文献２は、周期的に、順番のついた画像の要素（レイアウトと背景画像と画像効果）を単純に並べることにより実現される。このため、どのページも同じようなデザインの単調なフォトブックができ上がる可能性がある。

　特許文献３では、レイアウトされた合成画像全体（一冊のフォトブック）としてのデザイン性は考慮していない。また、元画像の解析結果に基づいてレイアウトされるため、合成画像での仕上がり状態を考慮したレイアウトや、印象や雰囲気の調和がとれた合成画像になるとは限らない。

　このように、上記先行技術文献に記載の方法にて画像選択および自動レイアウトを行うと、単調な画像が並ぶことがあるが、その解決方法は知られていなかった。

　本発明はこのような問題点に鑑みてなされたもので、その目的は、画像を配置した各ページにデザイン上の抑揚が生じるようにデザインされた合成画像を自動生成することにある。上記の課題を解決するため、本願発明の第１の態様に係る画像合成装置は、複数のページの各ページに対応づけて、複数の画像を関連する画像ごとにグルーピングするグルーピング部と、複数のページのページごとに画像配置用テンプレートを選択するテンプレート選択部と、複数のページの各ページに対応づけてグルーピングされた画像のグループごとに、グループ内の画像から１または複数の画像を選択する画像選択部と、テンプレート選択部により選択された複数のページの各ページに対応する画像配置用テンプレートに従って、それぞれ複数のページの各ページに対応するグループごとに画像選択部により選択された画像をレイアウトし、ページごとに合成画像を生成する合成画像生成部と、合成画像生成部により生成されたページごとの合成画像のレイアウト評価値を、ページごとに算出する評価値算出部と、評価値算出部により算出されたページごとのレイアウト評価値がページの進行に沿って規則的変動性をもつよう、テンプレート選択部による画像配置用テンプレートの選択および画像選択部による画像の選択のうちの少なくとも一方の選択を制御する制御部と、を備える。

　この態様によると、ページごとのレイアウト評価値がページの進行に沿って規則的変動性をもつため、抑揚のある生き生きとした印象や雰囲気を見る者に与えることができる。ここで、ページごとのレイアウト評価値がページの進行に沿って規則的変動性をもつとは、ページごとのレイアウト評価値がページの進行に沿って変動し、なおかつその変動が、数学的な規則によって表現のできるものをいう。数学的な規則とは、関数、数列などが挙げられる。

　本願発明の第２の態様に係る画像合成装置は、ページの進行に沿ったレイアウト評価値の規則的変動性を規定する範囲を設定する範囲設定部を備え、制御部は、画像選択部を制御して、画像のグループに属する画像の選択を組み替える、かつ、評価値算出部を制御して、組み替え後のページごとのレイアウト評価値を算出し、組み替え後のページごとのレイアウト評価値が範囲設定部の設定した範囲に属するまで、画像の選択の組み替えと組み替え後のページごとのレイアウト評価値の算出を繰り返す制御を行う。

　本願発明の第３の態様に係る画像合成装置において、ページごとのレイアウト評価値は、ページごとの画像配置用テンプレートにレイアウトされた画像の面積比、画像の数、画像の主要被写体の表情、画像の主要被写体の大きさ、画像の色分布、および合成画像の色分布のうち少なくとも1つに基づいて算出される。

　この態様によると、ページごとの画像配置用テンプレートにレイアウトされた画像の面積比、画像の数、画像の主要被写体の表情、画像の主要被写体の大きさ、画像の色分布、および合成画像の色分布のうち少なくとも1つに基づいて算出されるページごとのレイアウト評価値がページの進行に沿って規則的変動性をもつため、抑揚のある生き生きとした印象や雰囲気を見る者に与えることができる。

　本願発明の第４の態様に係る画像合成装置において、主要被写体の表情に関するレイアウト評価値は、主要被写体の笑顔の度合いに基づいて算出される。

　この態様によると、主要被写体の笑顔の度合いに基づいて算出されるページごとのレイアウト評価値がページの進行に沿って規則的変動性をもつため、抑揚のある生き生きとした印象や雰囲気を見る者に与えることができる。

　本願発明の第５の態様に係る画像合成装置において、制御部は、ページごとのレイアウト評価値の変化率により、ページごとのレイアウト評価値が規則的変動性を持つか否かの判断を行い、判断の結果に基づいてテンプレート選択部による画像配置用テンプレートの選択および画像選択部による画像の選択のうちの少なくとも一方の選択を制御する。

　本願発明の第６の態様に係る画像合成装置において、合成画像のテーマを設定するテーマ設定部を備え、制御部は、ページごとのレイアウト評価値の規則的変動性を、設定されたテーマに予め対応づけられたパターンにするように、テンプレート選択部による画像配置用テンプレートの選択および画像選択部による画像の選択のうちの少なくとも一方の選択を制御する。

　この態様によると、ページごとのレイアウト評価値がページの進行と設定されたテーマとに沿って規則的変動性をもつため、抑揚のある生き生きとした印象や雰囲気を見る者に与えることができる。

　本願発明の第７の態様に係る画像合成装置において、合成画像のテーマを推定するテーマ推定部を備え、制御部は、テンプレート選択部による画像配置用テンプレートの選択および画像選択部による画像の選択のうちの少なくとも一方の選択を制御し、ページごとのレイアウト評価値の規則的変動性を、推定されたテーマに予め対応づけられたパターンにする。

　この態様によると、ページごとのレイアウト評価値がページの進行と推定されたテーマとに沿って規則的変動性をもつため、抑揚のある生き生きとした印象や雰囲気を見る者に与えることができる。

　本願発明の第８の態様に係る画像合成装置において、テーマ推定部は、画像の被写体の解析により合成画像のテーマを推定する。

　本願発明の第９の態様に係る画像合成装置において、規則的変動性は、カラーイメージスケールにおける、合成画像のページごとの色分布に基づくページごとのレイアウト評価値の周期的変動を含む。

　本願発明の第１０の態様に係る画像合成装置において、制御部は、ページごとのレイアウト評価値がページの進行に沿って規則的変動性を持つよう、選択された画像の補正を行う。

　本願発明の第１１の態様に係る画像合成装置において、制御部は、画像の明るさ、色味、およびサイズの変更、ぼかし、および白黒化のうち少なくとも１つを補正する。

　本願発明の第１２の態様に係る画像合成装置は、ページごとのレイアウト評価値に基づいて合成画像の完成度を算出する完成度算出部と、完成度を出力する完成度出力部と、を備える。

　この態様によると、評価値算出部により算出されたページごとのレイアウト評価値がページの進行に沿って規則的変動性をもつよう、テンプレート選択部による画像配置用テンプレートの選択および画像選択部による画像の選択のうちの少なくとも一方の選択を制御した結果を、完成度によってユーザに示すことができる。

　本願発明の第１３の態様に係る画像合成装置において、画像配置用テンプレートはフォトブックの画像配置用テンプレートを含む。

　本願発明の第１４の態様に係る画像合成方法は、複数のページの各ページに対応づけて、複数の画像を関連する画像ごとにグルーピングするステップと、複数のページのページごとに画像配置用テンプレートを選択するステップと、複数のページの各ページに対応づけてグルーピングされた画像のグループごとに、グループ内の画像から１または複数の画像を選択するステップと、選択された複数のページの各ページに対応する画像配置用テンプレートに従って、それぞれ複数のページの各ページに対応するグループごとに選択された画像をレイアウトし、ページごとに合成画像を生成するステップと、生成されたページごとの合成画像のレイアウト評価値を、ページごとに算出するステップと、算出されたページごとのレイアウト評価値がページの進行に沿って規則的変動性をもつよう、画像配置用テンプレートの選択および画像の選択のうちの少なくとも一方の選択を制御するステップと、を実行する。

　この画像合成方法をコンピュータに実行させるための画像合成プログラムも本発明の態様に含まれる。なお、画像合成プログラムは、各種のコンピュータ読み取り可能な非一時的有形媒体(non-transitory computer-readable tangible medium)に記録されて提供されうる。

　本発明によると、ページごとのレイアウト評価値がページの進行に沿って規則的変動性をもつため、抑揚のある生き生きとした印象や雰囲気を見る者に与えることができる。

画像合成装置の構成を表すブロック図 合成画像生成部の詳細な機能を示すブロック図 レイアウト評価値の規則的変動性を規定する閾値範囲の一例を示す図 画像合成処理のフローチャート 各グループに属する各素材画像の選択および選択された各素材画像がテンプレートへレイアウトされた合成画像の一例を示す図 各グループに属する各素材画像の選択の組み替えと選択された各素材画像がテンプレートへレイアウトされた合成画像の一例を示す図

図１は、本発明の実施形態に係る画像合成装置１の構成を表すブロック図である。同図に示す画像合成装置１は、ユーザがサーバにアップロードした画像や、ユーザが任意に画像を保存した可搬性媒体などから読み込まれた画像を用いて、フォトブックやコラージュプリント等の合成画像を自動的に作成する装置である。

合成画像は、画像に基づいて作成された実物のフォトブックやコラージュプリントなどの商材として販売されうるが、有料のものに限らず、無料で提供するものも含む。

画像合成装置１は、通信部１１と、ストレージ１２と、合成画像生成部１３と、操作部１４と、表示部１５とを備えている。画像合成装置１は、既知のパソコンやサーバとこれらの周辺機器で構成可能である。

画像合成装置１は、パソコン、スマートフォン、タブレット端末などのユーザ端末から通信部１１を介してアップロードされた画像をストレージ１２に保存したり、ストレージ１２に保存した画像、合成画像生成部１３の作成したフォトブックやコラージュプリント等の合成画像を、通信部１１を介してユーザ端末に提供したりする。

ストレージ１２は、ハードディスクユニットなどの大容量記憶媒体で構成されており、複数の画像を、オンラインアルバムのようなアルバム形式（フォルダ形式）での保存、年月日単位での保存、その他の形式での保存を含む、各種の画像保存形式で保存することができる。

　合成画像生成部１３は、CPU(Central Processing Unit)で構成されており、ストレージ１２に保存された画像を用いて、フォトブックやコラージュプリント等の合成画像を作成し、ストレージ１２に保存する。

　操作部１４は、タッチパネルやキーなどで構成されており、ユーザからアルバムについての仕様など、各種の操作を受け付ける。

　表示部１５は、ストレージ１２に保存された画像や合成画像のテンプレートの表示、その表示された画像の中から操作部１４によって選択された画像やテンプレートの表示、合成画像生成部１３の作成した合成画像の表示などを行う。

　図２は、合成画像生成部１３の詳細な機能を示すブロック図である。これらの機能は、ストレージ１２などのコンピュータ読み取り可能な非一時的有形媒体(non-transitory computer-readable tangible medium)に記憶されたプログラムが合成画像生成部１３によって実行されることで実現する。

　画像取得部１０１は、ストレージ１２から、フォトブックの素材となる複数の画像である素材画像を取得する。

　グルーピング部１０２は、素材画像の付帯情報(Exifタグなど)に基づいて、素材画像をグルーピングする。例えば、付帯情報として撮影日時が記録されている場合、取得した複数の素材画像を、撮影間隔が比較的大きい素材画像の間で分けて複数のグループにグルーピングする。グルーピングには、各グループの順序付および当該順序に沿ったグループとページとの対応づけも含まれる。

　具体的には、例えば、撮影日時に基づいて、複数の素材画像を、２月２３日の１０：００－１０：２９のグループ、２月２３日の１０：３０－１０：５９のグループ…などにグルーピングし、これらのグループを撮影日時の早いものから、テンプレートの１ページ目に対応するグループ、２ページ目に対応するグループなどと順序付けする。あるいは、素材画像を、付帯情報に含まれる位置情報を同じくするものあるいは位置情報の近接するものごとにグルーピングしてもよい。また、撮影日時や撮影位置以外の付帯情報、例えばタイトル、件名、作成者、コメント、あるいはこれらの組み合わせを用いて、画像をグルーピングしてもよい。

　テーマ設定部１０８は、フォトブックなどの合成画像のテーマを設定する手段である。例えば、テーマ設定部１０８は、規定のテーマ「結婚式」、「旅行」、「成長記録」などから、操作部１４から任意に選択されたテーマを、合成画像のテーマに設定する。

　テーマ推定部１０９は、素材画像を解析し、合成画像のテーマを推定する。これは、被写体の人物の表情、年齢、服や持ち物の配色や色分布などから、素材画像が撮影されたテーマを「結婚式」、「旅行」、「成長記録」などと推定する。

　テーマ推定部１０９がテーマを推定できないか、推定しても不適切な場合、テーマ設定部１０８がユーザ操作によりテーマ設定を受け付けてもよい。また、１つの合成画像に複数のテーマが設定されてもよい。例えば、合成画像の前半ページは結婚式、後半ページは披露宴などのテーマを設定できてもよい。

　テンプレート選択部１１２は、設定または推定された合成画像のテーマに応じた合成画像のテンプレート（画像配置用テンプレート）をストレージ１２から選択する。このテンプレートは、フォトブックやコラージュプリントなどの商材の種別、ページごとの素材画像の配置エリアとなるフレームの位置およびサイズの情報や、フレームのデザインやフレームの外の背景画像などのデザイン情報を含んでいる。なお、ページとは、見開きのページと、見開きのページ以外の各ページを含む。なお、画像配置用テンプレートは、フォトブックの画像配置用テンプレートを含む。

　画像選択部１０３は、テンプレート選択部１１２の選択したテンプレートをストレージ１２から読み出し、読み出されたテンプレートで規定される各ページの画像のフレームに配置すべき素材画像をページごとに選択する。

　例えば、「結婚式」のテーマのフォトブックのある１ページに配置可能な最大画像数が８枚であり、そのページに対応してグルーピングされた画像数が８枚であれば、画像選択部１０３は、全ての画像を選択する。「結婚式」のテーマのフォトブックの１ページに配置可能な画像数が８枚であり、グルーピングされた画像数が１枚～７枚であれば、画像選択部１０３は、全ての画像を選択し、かつ、時間的に隣接するなどの別グループから、配置画像数を充足するのに必要な素材画像を選択する。

　画像補正部１０４は、画像選択部１０３の選択した素材画像について、テンプレート選択部１１２の選択したテンプレートにおける配置先のページのデザイン情報に適合するよう、素材画像の明るさや色味を補正する。これは、素材画像の明るさや色味を、当該素材画像を配置するテンプレートのページの背景画像と統一する補正である。画像補正部１０４は、テンプレートのデザイン情報に適合するよう、素材画像の白黒化やぼかしやサイズ変更を行ってもよい。

　画像配置部１０５は、画像補正部１０４の補正した素材画像を、テンプレートで規定される各ページの画像のフレームに配置し、素材画像とテンプレートとを合成することで、合成画像を作成する。

　レイアウト評価値算出部１０６は、フォトブックの対応するページのテンプレートに素材画像が配置された合成画像の各ページについて、レイアウト評価値を算出する。

　このレイアウト評価値は、１ページ内に配置された全画像の数、１ページ内に配置された全画像と画像以外の部分との面積比、１ページ内に配置された全画像の主要被写体の表情、当該主要被写体の大きさ、１ページ内に配置された全画像とテンプレートとの合成画像の色分布のうち少なくとも１つに基づいて算出される。どのようにレイアウト評価値を定義するかはユーザの自由であるが、いったん定義されたレイアウト評価値は、合成画像の作成が完了するまでは変更されず一貫しているものとする。

　例えば、１ページ内に配置された全画像の面積の合計をS1、１ページ内の画像以外の背景画像の部分の面積をS2とすると、レイアウト評価値はS1/S2である。面積比そのものをレイアウト評価値としてもよいが、面積と閾値との比較によって画像と背景画像の面積のバランスをレイアウト評価値としてもよい。例えば、0.5<S1/S2<0.8ならばレイアウト評価値=1、その他の場合はレイアウト評価値=0などとしてもよい。これにより、極端に背景画像の占める割合が多い場合、あるいは極端に配置画像の占める割合が多い場合は、レイアウト評価値を下げる。

　１ページ内に配置された全画像の主要被写体の表情に関するレイアウト評価値は、各被写体の笑顔の度合いを示す笑顔度の合計によって算出される。顔領域については、公知の方法で、笑顔度を算出できる。具体的には、顔を構成する目、鼻および口等の顔構成部分の輪郭、並びに目頭、目尻、小鼻、口角および唇の位置等の顔構成部分の位置等、笑顔度の算出に必要な特徴量を、テンプレートマッチングやマシンラーニング学習などにより算出し、この特徴量を解析することで、笑顔度を算出する。笑顔度はこの他の公知の手法によっても算出することができる。

　主要被写体の大きさとしては、顔検出によって検出された顔のサイズを利用することができる。顔のサイズそのものをレイアウト評価値としてもよいが、画像の面積に対する顔のサイズのバランスをレイアウト評価値としてもよい。

　全画像とテンプレートとの合成画像の色分布は、色彩に関する数値を投影する２軸以上の色空間に対し、合成画像のページごとの色彩に関する数値の分布を描いた色分布であってよい。例えば、株式会社日本カラーデザイン研究所の開発したWARM,COOLの横軸とSOFT,HARDの縦軸からなるイメージスケールなどの色に関する空間に合成画像の画素からなる配色パターンをプロットすることで得られるものである。

　色分布に関するレイアウト評価値は、テーマ設定部１０８により設定されたフォトブックのテーマに依存する算出方法で算出される。例えば、フォトブックのテーマが「結婚式」であり、イメージスケールの「エレガント」のゾーンに合成画像の配色パターンがプロットされた場合は、レイアウト評価値=1とし、その他のゾーンに合成画像の配色パターンがプロットされた場合は、レイアウト評価値=0とする。

　その他、素材画像の中に含まれる人物の顔（顔領域）の数、顔の大きさ、顔の向き、顔の位置等を検出し、素材画像に含まれる顔の数、顔の大きさ、正面を向いている顔の数に基づいて、レイアウト評価値を算出してもよい。あるいは、顔領域の明るさ、色彩の鮮やかさ、露光アンダーまたはオーバーの度合い、ボケブレの程度等に基づいて、レイアウト評価値を算出してもよい。

　さらに望ましくは、レイアウト評価値算出部１０６は、テーマ設定部１０８の設定したテーマまたはテーマ推定部１０９の推定した合成画像のテーマに対応するレイアウト評価値を算出する。

　例えば、合成画像のテーマが「旅行」であるとする。イメージスケールの「クリア」のゾーンに、合成画像のある１つのページの配色パターンがプロットされた場合、当該ページのレイアウト評価値は、「クリア」のゾーンの外縁から当該ページの配色パターンがプロットされた座標までの最小距離とする。「クリア」以外のゾーンに当該ページの配色パターンがプロットされた場合は、当該ページのレイアウト評価値=0とする。

　あるいは、合成画像のテーマが「結婚式」であるとする。イメージスケールの「エレガント」のゾーンに、合成画像のある１つのページの配色パターンがプロットされた場合、当該ページのレイアウト評価値は、「エレガント」のゾーンの外縁から当該ページの配色パターンがプロットされた座標までの最小距離とする。「エレガント」以外のゾーンに当該ページの配色パターンがプロットされた場合は、当該ページのレイアウト評価値=0とする。

　レイアウト評価値周期設定部（範囲設定部）１０７は、合成画像のページごとのレイアウト評価値の周期的変動性を設定する。

　例えば、図３に示すように、レイアウト評価値周期設定部１０７は、レイアウト評価値算出部１０６の算出したページごとのレイアウト評価値V₁(1),V₂(1),...の中から、その最大値Vmaxを取るページPmaxを特定する。そして、レイアウト評価値周期設定部１０７は、この最大値VmaxをとるページPmaxのレイアウト評価値を起点に、各ページP₁,P₂,...のレイアウト評価値V₁(1), V₂(1),...がページの進行に従って周期的に上下するようなレイアウト評価値の閾値範囲T₁, T₂,...を設定する。なおレイアウト評価値は、１次元のパラメータであってもよいし、２次元以上のパラメータであってもよい。閾値範囲は、レイアウト評価値に対応する次元を有し、１次元のパラメータであってもよいし、２次元以上のパラメータであってもよい。

　図３の閾値範囲T₁, T₂,...の周期的上下動は、Vmaxを振幅の上限とするコサインカーブに従っている。ただしこれは例示にすぎず、サインカーブや、異なる位相や振幅のサインカーブとコサインカーブの合成波や、ウェーブレット関数の合成など、周期的に変動する関数に沿って閾値範囲を設定してもよい。

　また、この規則的変動性を規定するページごとの閾値範囲を、合成画像のテーマに予め対応づけられたパターンにしてもよい。例えば、テーマが「旅行」の場合、レイアウト評価値の最大値と最小値の間の振幅A=1となるよう閾値範囲を設定したり, テーマが「結婚式」の場合、レイアウト評価値の最大値と最小値の間の振幅A=0.8となるよう閾値範囲を設定したりしてもよい。

　再レイアウト制御部（制御部）１１１は、画像選択部１０３、画像配置部１０５、レイアウト評価値算出部１０６を制御して、各ページに配置する素材画像を組み替え、組み替え後のページごとのレイアウト評価値が、レイアウト評価値周期設定部１０７の設定した閾値範囲T₁, T₂,...に収まるようにする。

　すなわち、まず再レイアウト制御部１１１は、ページごとのレイアウト評価値と、ページごとの閾値範囲とを比較する。再レイアウト制御部１１１は、ページごとのレイアウト評価値が、対応するページごとの閾値範囲に収まっていなければ、当該ページの素材画像の再選択が必要（ページごとのレイアウト評価値の変動が単調かランダムである）と判定する。一方、再レイアウト制御部１１１は、ページごとのレイアウト評価値が、対応するページごとの閾値範囲に収まっていれば、当該ページの素材画像の再選択が不要（ページごとのレイアウト評価値の変動が単調でもランダムでもなく、周期的である）と判定する。

　なお、再レイアウト制御部１１１は、ページごとのレイアウト評価値と閾値範囲との比較でなく、異なるページのレイアウト評価値同士の差異や、この差異の変化率などから、ページごとのレイアウト評価値の変動が単調あるいはランダムであるか否かを判定してもよい。

　例えば、あるページＡと、そのページに隣接するページＢとのレイアウト評価値の差の絶対値が、所定の閾値範囲内、例えば１以上２未満であれば、ページＡの素材選択を行わず、これらのレイアウト評価値の差が、所定の範囲外であれば、ページＡの素材画像の再選択を行う。

　あるいは、例えば、レイアウト評価値同士の変化率がどのページ間についても０かその近傍であれば、レイアウト評価値の変動が単調であると判定できる。また、あるページＡ／Ｂ間では当該変化率が所定値よりも大きな値をとるが、別のページＢ／Ｃ間では当該変化率が０かその近傍であれば、ページＢ／Ｃ間ではレイアウト評価値の変動がランダムであると判定できる。

　あるいは、例えば、レイアウト評価値同士の変化率がどのページ間についても同一または近似する値をとれば、ページごとのレイアウト評価値の変動が単調でもランダムでもなく、周期的であると判定できる。

　次に再レイアウト制御部１１１は、画像選択部１０３を制御し、素材画像の再選択が必要と判定されたページのグループか、または、当該グループと時間的に隣接するなど、当該ページの素材画像の選択を行ったグループとは別グループから、レイアウト評価値の上昇または低下に寄与する素材画像を選択する。同一グループに追加的な選択の可能な余剰の素材画像が存在すればそれを選択すればよいが、それがない場合は、別グループから素材画像を選択するとよい。

　すなわち、再レイアウト制御部１１１は、画像選択部１０３を制御し、ページのレイアウト評価値が閾値の下限に満たない場合、当該ページの素材画像を選択したグループから、任意の１つの素材画像（例えば、選択されたテンプレートの背景画像と色味が合わないなどレイアウト評価値の低下に最も寄与する素材画像）を除外する。その代わり、当該ページに対応するグループか、当該ページのグループと時間的に隣接するなどの別グループから、除外された素材画像よりもレイアウト評価値の上昇に寄与する素材画像を追加的に選択し、レイアウト評価値が閾値の下限に満たないページに配置する素材画像とする。

　また、再レイアウト制御部１１１は、画像選択部１０３を制御し、ページのレイアウト評価値が閾値範囲の上限を超える場合、当該ページの素材画像を選択したグループから、任意の１つの素材画像（例えば、選択されたテンプレートの背景画像と色味が合うなどレイアウト評価値の上昇に最も寄与する素材画像）を除外する。その代わり、当該ページに対応するグループか、当該ページのグループと時間的に隣接するなどの別グループから、当該除外された素材画像よりもレイアウト評価値の低下に寄与する素材画像を追加的に選択し、レイアウト評価値が閾値範囲の上限を超えるページに配置する素材画像にする。

　そして、再レイアウト制御部１１１は、画像選択部１０３による素材画像再選択後、画像配置部１０５を制御して、当該ページに、除外されたものを除く選択済みの素材画像と追加選択された素材画像のテンプレートへの再レイアウトと合成画像の生成を行う。また、再レイアウト制御部１１１は、レイアウト評価値算出部１０６を制御して、テンプレートへの再レイアウト後の合成画像について、画像の再選択と再レイアウトのあったページについてレイアウト評価値の再計算を行う。

　再レイアウト制御部１１１は、再レイアウト後のページのレイアウト評価値V₂(2),...
と閾値範囲T₂,T₃,...とを比較し、これらのレイアウト評価値V₂(2),V₃(2) ...が、閾値範囲T₂,T₃,...の外であれば、閾値範囲T₂,T₃,...の内となるまで、上記と同じく素材画像の再選択、再配置、レイアウト評価値の再計算を繰り返す。レイアウト評価値V₁(1),V₂ (1),...や、レイアウト評価値V₁(2),V₂(2), ...が閾値範囲T₁, T₂,...の内であれば、それ以上素材画像の再選択、再配置、レイアウト評価値の再計算は行わない。

　隣接する別グループから素材画像を追加してもレイアウト評価値が閾値範囲を超えたり下回ったりした場合、さらに別グループから素材画像を選択して、追加してもよい。

　また、素材画像の再選択とともに、あるいは素材画像の再選択とは別個に、再選択された素材画像の再配置後のレイアウト評価値が閾値範囲に収まるよう、再選択された素材画像の明るさ、色味、サイズの変更、ぼかし、または白黒化、ならびにこれらの全部または一部の組み合わせを画像補正部１０４によって行うよう、再レイアウト制御部１１１が制御してもよい。

　さらに、素材画像の再選択とともに、あるいは素材画像の再選択とは別個に、設定または推定されたテーマに対応するテンプレートの中から、レイアウト評価値を算出していない未選択のものを選択し、このテンプレートに、選択されている素材画像または再選択した素材画像を配置して、レイアウト評価値を算出することを繰り返してもよい。例えば、テンプレートのフレームの面積比を閾値範囲に対応したものとすることで、素材画像の面積比が規則的に変動するようなレイアウトがされる。

　図３では、レイアウト評価値V₂(1),V₃(1),V₅(1),V₈(1)が、閾値範囲T₂, T₃,T₅,T₈ の外にあるため、素材画像の再選択と再配置が行われる。これにより、レイアウト評価値V₂(1),V₃(1), V₅(1), V₈(1)は、閾値範囲T₂, T₃,T₅,T₈ の内にあるレイアウト評価値V₂(2),V₃(2), V₅(2), V₈(2)に変化し、各ページのレイアウト評価値VがページPの進行に沿って規則的に変化している。

　素材画像の再選択は、操作部１４を介した任意のユーザ操作に基づいてもよい。

　完成度出力部１１０は、再レイアウトの前の合成画像と再レイアウト後の合成画像の完成度を表示部１５に表示させる。この完成度は、合成画像のレイアウト評価値に基づいて定まる数値である。例えば、完成度は、再レイアウトの前の合成画像、および再レイアウト後の合成画像の各ページのレイアウト評価値、各ページのレイアウト評価値の平均値、各ページのレイアウト評価値の総和、あるいはレイアウト評価値の平均値や総和の理想的上限値と実際のレイアウト評価値の平均値や総和との間の比率を百分率で表した数値などであり、完成度算出部１１３によって算出される。

　完成度出力部１１０による完成度の出力および提示とともに、再レイアウトの前の合成画像と再レイアウト後の合成画像とを並列的に表示部１５に表示してもよい。

　図４は、画像合成装置１の実行する画像合成処理のフローチャートである。この処理を画像合成装置１に実行させるためのプログラムは、ストレージ１２などのコンピュータ読み取り可能な非一時的有形媒体(non-transitory computer-readable tangible medium)に記憶されている。

　Ｓ１０（テーマ設定ステップ）では、テーマ設定部１０８は、合成画像のテーマを設定する。テーマ設定ステップの代わりに、テーマ推定部１０９が合成画像のテーマを推定するステップ（テーマ推定ステップ）を実行してもよい。

　Ｓ１１（テンプレート選択ステップ）では、テンプレート選択部１１２は、Ｓ１０で設定または推定された合成画像のテーマに応じたテンプレートをストレージ１２から選択する。

　Ｓ１２（画像取得ステップ）では、画像取得部１０１は、フォトブックの素材となる複数の画像である素材画像をストレージ１２から取得する。

　Ｓ１３（グルーピングステップ）では、グルーピング部１０２は、画像取得部１０１が取得した素材画像を、各々の付帯情報に基づいて複数のグループにグルーピングする。

　Ｓ１４（画像選択ステップ）では、画像選択部１０３は、グルーピングされたグループ毎に、グループに含まれる複数の素材画像の中から、合成画像の１ページに配置可能な画像数だけ素材画像を選択する。グループ内で必要な画像数が確保できない場合は、隣接するグループから素材画像を選択する。

　Ｓ１５（画像補正ステップ）では、画像補正部１０４は、選択された素材画像について、色調整、トリミング、リサイズなどの各種補正を行う。

　Ｓ１６（画像配置ステップ）では、画像配置部１０５は、補正後の素材画像を、Ｓ１０で設定または推定された合成画像のテーマに応じたテンプレートにレイアウトし、合成画像を生成する。

　Ｓ１７（レイアウト評価値算出ステップ）では、レイアウト評価値算出部１０６は、素材画像のテンプレートへの配置後の合成画像について、ページごとのレイアウト評価値を算出する。

　Ｓ１８（レイアウト評価値周期設定ステップ）では、レイアウト評価値周期設定部１０７は、合成画像のページごとのレイアウト評価値の周期的変動性を設定する。

　Ｓ１９（再選択判定ステップ）では、再レイアウト制御部１１１は、合成画像のページごとに、素材画像の再選択が必要か否かを判定する。必要と判定した場合はＳ１４に戻り、素材画像の再選択が必要と判定されたページについて、素材画像の再選択、再選択された素材画像のレイアウト、レイアウト評価値の再算出を行う。Ｓ１５は必要に応じて繰り返してもよい。Ｓ１８（レイアウト評価値周期設定ステップ）は、繰り返さなくてもよい。また、素材画像の補正、異なるテンプレート選択を繰り返してもよい。

　Ｓ２０（完成度提示ステップ）では、完成度出力部１１０は、合成画像の完成度を表示部１５に出力して提示する。なお、完成度提示ステップは、Ｓ１７が実行される度に繰り返されてもよい。

　図５は、グループG₁,G₂,G₃,..にグルーピングされた各素材画像について、グループG₁からは素材画像G₁-I₁, グループG₂からは素材画像G₂-I₃, G₂-I₄, G₂-I₅が選択されるなどして、対応するページP₁,P₂,..のテンプレートのフレームにレイアウトされている合成画像を例示している。ページP₁,P₂,..のテンプレートのフレームにこれらの素材画像がレイアウトされたレイアウト評価値が、上述のV₁(1), V₂(1),...である。

　図６は、グループG₁,G₂,G₃,..にグルーピングされた各素材画像について、グループG₁からは素材画像G₁-I₁, グループG₂からは既選択の素材画像G₂-I₃, G₂-I₄と、G₂-I₅よりもレイアウト評価値の規則的変動に寄与する素材画像G₂-I₂が選択され、対応するページP₁,P₂,..のテンプレートのフレームにこれらの素材画像がレイアウトされている合成画像を例示している。ページP₁,P₂,..のテンプレートのフレームにこれらの再選択後の素材画像がレイアウトされたレイアウト評価値が、上述のV₂(2),...である。

　また図６に例示するように、完成度出力部１１０は、再選択後の素材画像がレイアウトされた状態で、完成度を示してもよい。

　以上の処理により作成された合成画像は、ページの進行に従ってレイアウト評価値が規則的に変動するため、単調ではなく、抑揚のある生き生きとした印象や雰囲気を見る者に与えることができる。

　例えば、テーマが「結婚式」であり、レイアウト評価値がイメージスケールの「エレガント」の外縁からの最小距離で算出されるとすると、イメージスケールの「エレガント」のゾーン内で配色を規則的に変化させるよう素材画像やテンプレートを再選択することで、「結婚式」のテーマに沿った抑揚のある生き生きとした印象や雰囲気を見る者に与えることができる。

　あるいは、テーマが「結婚式」であり、レイアウト評価値が被写体の笑顔の度合いで算出されるとすると、「結婚式」の合成画像において、ページの進行に沿って被写体が緊張から笑顔に、あるいはその逆に周期的に変わっていく様子を見る者に分かり易く与えることができる。

　また、レイアウト評価値が画像の面積比、画像の数、画像の主要被写体の大きさ、画像の色分布に基づいて算出された場合、これらがページの進行に沿って周期的に変わっていく様子を見る者に与えることができる。

１　画像合成装置
１１　通信部
１２　ストレージ
１３　合成画像生成部
１４　操作部
１５　表示部
１０１　画像取得部
１０２　グルーピング部
１０３　画像選択部
１０４　画像補正部
１０５　画像配置部
１０６　レイアウト評価値算出部
１０７　レイアウト評価値周期設定部
１０８　テーマ設定部
１０９　テーマ推定部
１１０　完成度出力部
１１１　再レイアウト制御部
１１２　テンプレート選択部
Ｓ１０　テーマ設定ステップ
Ｓ１１　テンプレート選択ステップ
Ｓ１２　画像取得ステップ
Ｓ１３　グルーピングステップ
Ｓ１４　画像選択ステップ
Ｓ１５　画像補正ステップ
Ｓ１６　画像配置ステップ
Ｓ１７　レイアウト評価値算出ステップ
Ｓ１８　レイアウト評価値周期設定ステップ
Ｓ１９　再選択判定ステップ
Ｓ２０　完成度提示ステップ

Claims (15)

1. 　複数のページの各ページに対応づけて、複数の画像を関連する画像ごとにグルーピングするグルーピング部と、
   　前記複数のページのページごとに画像配置用テンプレートを選択するテンプレート選択部と、
   　前記複数のページの各ページに対応づけてグルーピングされた画像のグループごとに、グループ内の画像から１または複数の画像を選択する画像選択部と、
   　前記テンプレート選択部により選択された前記複数のページの各ページに対応する前記画像配置用テンプレートに従って、それぞれ前記複数のページの各ページに対応するグループごとに前記画像選択部により選択された画像をレイアウトし、前記ページごとに合成画像を生成する合成画像生成部と、
   　前記合成画像生成部により生成された前記ページごとの合成画像のレイアウト評価値を、前記ページごとに算出する評価値算出部と、
   　前記評価値算出部により算出された前記ページごとのレイアウト評価値が前記ページの進行に沿って規則的変動性をもつよう、前記テンプレート選択部による前記画像配置用テンプレートの選択および前記画像選択部による画像の選択のうちの少なくとも一方の選択を制御する制御部と、
   　を備える画像合成装置。
2. 　前記ページの進行に沿ったレイアウト評価値の規則的変動性を規定する範囲を設定する範囲設定部を備え、
   　前記制御部は、前記画像選択部を制御して、前記画像のグループに属する画像の選択を組み替え、かつ、前記評価値算出部を制御して、前記組み替え後のページごとのレイアウト評価値を算出し、前記組み替え後のページごとのレイアウト評価値が前記範囲設定部の設定した範囲に属するまで、前記画像の選択の組み替えと前記組み替え後のページごとのレイアウト評価値の算出を繰り返す制御を行う請求項１に記載の画像合成装置。
3. 　前記ページごとのレイアウト評価値は、前記ページごとの画像配置用テンプレートにレイアウトされた画像の面積比、前記画像の数、前記画像の主要被写体の表情、前記画像の主要被写体の大きさ、前記画像の色分布、および前記合成画像の色分布のうち少なくとも1つに基づいて算出される請求項１または２に記載の画像合成装置。
4. 　前記主要被写体の表情に関する前記レイアウト評価値は、前記主要被写体の笑顔の度合いに基づいて算出される請求項３に記載の画像合成装置。
5. 　前記制御部は、前記ページごとのレイアウト評価値の変化率により、前記ページごとのレイアウト評価値が規則的変動性を持つか否かの判断を行い、前記判断の結果に基づいて前記テンプレート選択部による前記画像配置用テンプレートの選択および前記画像選択部による画像の選択のうちの少なくとも一方の選択を制御する請求項１～４のいずれか１項に記載の画像合成装置。
6. 　前記合成画像のテーマを設定するテーマ設定部を備え、
   　前記制御部は、前記ページごとのレイアウト評価値の規則的変動性を、前記設定されたテーマに予め対応づけられたパターンにするように、前記テンプレート選択部による前記画像配置用テンプレートの選択および前記画像選択部による画像の選択のうちの少なくとも一方の選択を制御する請求項１～５のいずれか１項に記載の画像合成装置。
7. 　前記合成画像のテーマを推定するテーマ推定部を備え、
   　前記制御部は、前記テンプレート選択部による前記画像配置用テンプレートの選択および前記画像選択部による画像の選択のうちの少なくとも一方の選択を制御し、前記ページごとのレイアウト評価値の規則的変動性を、前記推定されたテーマに予め対応づけられたパターンにする請求項１～５のいずれか１項に記載の画像合成装置。
8. 　前記テーマ推定部は、前記画像の被写体の解析により前記合成画像のテーマを推定する請求項７に記載の画像合成装置。
9. 　前記規則的変動性は、色彩に関する数値を投影する２軸以上の色空間に対し、前記合成画像のページごとの色彩に関する数値の分布を描いた色分布に基づく前記ページごとのレイアウト評価値の周期的変動を含む請求項１～８のいずれか１項に記載の画像合成装置。
10. 　前記制御部は、前記ページごとのレイアウト評価値が前記ページの進行に沿って規則的変動性を持つよう、前記選択された画像の補正を行う請求項１～９のいずれか１項に記載の画像合成装置。
11. 　前記制御部は、前記画像の明るさ、色味、サイズの変更、ぼかし、および白黒化のうち少なくとも１つを補正する請求項１０に記載の画像合成装置。
12. 　前記ページごとのレイアウト評価値に基づいて前記合成画像の完成度を算出する完成度算出部と、
    　前記完成度を出力する完成度出力部と、
    　を備える請求項１～１１のいずれか１項に記載の画像合成装置。
13. 　前記画像配置用テンプレートはフォトブックの画像配置用テンプレートを含む請求項１～１２のいずれか１項に記載の画像合成装置。
14. 　複数のページの各ページに対応づけて、複数の画像を関連する画像ごとにグルーピングするステップと、
    　前記複数のページのページごとに画像配置用テンプレートを選択するステップと、
    　前記複数のページの各ページに対応づけてグルーピングされた画像のグループごとに、グループ内の画像から１または複数の画像を選択するステップと、
    　前記選択された前記複数のページの各ページに対応する前記画像配置用テンプレートに従って、それぞれ前記複数のページの各ページに対応するグループごとに前記選択された画像をレイアウトし、前記ページごとに合成画像を生成するステップと、
    　前記生成された前記ページごとの合成画像のレイアウト評価値を、前記ページごとに算出するステップと、
    　前記算出された前記ページごとのレイアウト評価値が前記ページの進行に沿って規則的変動性をもつよう、前記画像配置用テンプレートの選択および前記画像の選択のうちの少なくとも一方の選択を制御するステップと、
    　を実行する画像合成方法。
15. 　請求項１４に記載の画像合成方法をコンピュータに実行させるための画像合成プログラム。
     

Images