JP6101661B2 - 画像合成装置および画像合成方法ならびに画像合成プログラムおよび画像合成プログラムを格納した記録媒体 - Google Patents

Description

この発明は，画像合成装置および画像合成方法ならびに画像合成プログラムおよび画像合成プログラムを格納した記録媒体に関する。

ポスト・カード，電子アルバム，フォト・ブックなどのように，ユーザがテンプレート画像に対象画像を貼り付け，ユーザの所望の合成画像を生成するものが実現されている。たとえば，対象画像の色味に応じてアルバム台紙の色味を調整し，対象画像とアルバム台紙との色味の統一感を得るもの（特許文献１），登録画像に対応して感性表現ワードが設定されており，対応する画像処理を施すもの（特許文献２）などがある。また，商品情報提供メディアが人間に与える印象を評価するデザインイメージ情報評価方法などもある（特許文献３）

さらに，色が変更可能な内部フレーム領域と内部フレーム領域の外側に配置された外部フレーム領域とを含む装飾画像テンプレートを対象画像に付加するもの（特許文献４），顔情報を解析し，解析された顔情報からテンプレート画像を抽出するもの（特許文献５），フレームの画像タイプに応じて対象画像に適用させる画質調整処理が決定されるもの（特許文献６）などもある。

特開2013-81208号公報 特許第4090926号 特許第4978043号 特許第4211560号 特開2012-244226号公報 特開2009-31855号公報

しかしながら，特許文献１に記載のように対象画像の色味に応じてアルバム台紙の色味を調整する場合，特許文献２に記載のように登録画像に対応した感性表現ワードに対応する画像処理を施す場合などは必ずしもユーザの好みに合うものとはならないことがある。また，特許文献３に記載のものでは印象を評価するものであるから，ユーザの好みに合う合成画像を得ることはできない。さらに，特許文献４に記載のように，内部フレームと外部フレームとを含む装飾画像テンプレートにしか適用できない場合には，そのようなテンプレート以外のテンプレートをユーザが好む場合には対処できない。特許文献５に記載のように，顔画像からテンプレート画像を抽出する場合には，対象画像に顔画像が含まれていなければテンプレート画像を抽出できない。さらに，特許文献６に記載のように，フレームの画像タイプに応じて対象画像に適用させる画質調整処理が決定されるものでは，多くのフレームの中から所望のフレームを見つけるのが難しい。

この発明は，合成画像に適したテンプレート画像を見つけることを目的とする。

この発明による画像合成装置は，テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得する対象画像解析情報取得手段，対象画像解析情報取得手段によって取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ対象画像解析情報取得手段によって取得された対象画像解析情報のうち第２の対象画像解析情報と，テンプレート画像解析情報のうち第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけるテンプレート画像検出手段，ならびにテンプレート画像検出手段によって見つけられたテンプレート画像に対象画像を合成する合成手段を備えていることを特徴とする。

この発明は画像合成装置に適した画像合成方法も提供している。すなわち，この方法は，対象画像解析情報取得手段が，テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得し，テンプレート画像検出手段が，対象画像解析情報取得手段によって取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ対象画像解析情報取得手段によって取得された対象画像解析情報のうち第２の対象画像解析情報と，テンプレート画像解析情報のうち第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけ，合成手段が，テンプレート画像検出手段によって見つけられたテンプレート画像に対象画像を合成するものである。

この発明は，画像合成プログラムおよびそのプログラムを格納した記録媒体も提供している。

対象画像解析情報取得手段によって取得された対象画像解析情報にもとづいて，対象画像の１つまたは複数の印象を決定する第１の対象画像印象決定手段をさらに備えてもよい。この場合，テンプレート画像検出手段は,たとえば，第１の近似度が第１のしきい値以上であり，第２の近似度は第２のしきい値未満であり，かつ第１の対象画像印象決定手段によって決定された印象をもつテンプレート画像を見つけるものとなろう。

対象画像の撮像時刻または撮像場所の少なくとも一方の撮像情報を取得する撮像情報取得手段，および撮像情報取得手段によって取得された撮像情報にもとづいて，対象画像の１つまたは複数の印象を決定する第２の対象画像印象決定手段をさらに備えてもよい。この場合，テンプレート画像検出手段は,たとえば，第１の近似度が第１のしきい値以上であり，第２の近似度は第２のしきい値未満であり，かつ第２の対象画像印象決定手段によって決定された印象をもつテンプレート画像を見つけるものとなろう。

対象画像の撮像時刻または撮像場所の少なくとも一方の撮像情報を取得する撮像情報取得手段，撮像情報取得手段によって取得された撮像情報にもとづいて，撮像シーンを決定する撮像シーン決定手段，および撮像シーン決定手段によって決定された撮像シーンにもとづいて，対象画像の１つまたは複数の印象を決定する第３の対象画像印象決定手段をさらに備えてもよい。この場合，テンプレート画像検出手段は，たとえば，第１の近似度が第１のしきい値以上であり，第２の近似度は第２のしきい値未満であり，かつ第３の対象画像印象決定手段によって決定された印象をもつテンプレート画像を見つけるものとなろう。

対象画像に対して，テンプレート画像検出手段によって検出されたテンプレート画像の印象に近づける補正を行なう対象画像補正手段をさらに備えてもよい。

テンプレート画像検出手段によって検出されたテンプレート画像の印象に対応して補正方法があらかじめ定められている場合には，対象画像補正手段は，対象画像に対して，テンプレート画像検出手段によって検出されたテンプレート画像に対応してあらかじめ定められている補正方法による補正を行なうことが好ましい。

対象画像の主要被写体位置情報を取得する主要被写体像情報取得手段，および主要被写体像情報取得手段によって取得された主要被写体位置情報によって表わされる主要被写体の位置からテンプレート画像の合成領域の縦横比を算出する縦横比算出手段をさらに備えてもよい。この場合，テンプレート画像検出手段は，たとえば，第１の近似度が第１のしきい値以上であり，第２の近似度は第２のしきい値未満であり，かつ縦横比算出手段によって算出された縦横比の合成領域をもつテンプレート画像を見つけるものとなろう。

対象画像を，縦横比算出手段によって算出された縦横比にトリミングするトリミング手段をさらに備えてもよい。この場合，合成手段は，たとえば，トリミング手段によってトリミングされた対象画像を，テンプレート画像検出手段によって見つけられたテンプレート画像の合成領域に合成するものとなろう。

テンプレート画像検出手段は，たとえば，一重のフレーム内に上記対象画像を合成する合成領域が形成されているテンプレート画像または上記対象画像を合成する合成領域の周囲の少なくとも一部が開放されているテンプレート画像の中からテンプレート画像を見つけるものでもよい。

この発明によると，テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報が取得される。取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報との第１の近似度が第１のしきい値以上であり，かつ同じ種類の第２の対象画像解析情報と第２のテンプレート画像解析情報との第２の近似度は第２のしきい値未満であるテンプレート画像が見つけられる。見つけられたテンプレート画像に対象画像が合成される。

この発明によると，第１の対象画像解析情報によって表わされる特性に近い特性を有しているが，第２の対象画像解析情報によって表わされる特性からは遠い特性を有しているテンプレート画像が見つけられる。対象画像とテンプレート画像との特性が近似しているだけでは，対象画像をテンプレート画像に合成して得られる合成画像全体のインパクトは弱く，ユーザ好みの合成画像が得られないことが多い。この発明によると，対象画像とテンプレート画像との第１の特性（第１の対象画像解析情報または第１のテンプレート画像解析情報の特性）が近似しているが，対象画像とテンプレート画像の第２の特性（第２の対象画像解析情報または第２のテンプレート画像解析情報の特性）は近似していないようなテンプレート画像が見つけられる。そのようなテンプレート画像に対象画像が合成されることにより，得られた合成画像はユーザに対するインパクトが強いので，ユーザ好みとなる。

画像合成システムの概要を示している。 スマートフォンの電気的構成を示すブロック図である。 画像合成サーバの電気的構成を示すブロック図である。 画像合成システムの処理手順を示すフローチャートである。 画像合成システムの処理手順を示すフローチャートである。 スマートフォンの表示画面の一例である。 対象画像解析結果を示している。 印象−画像解析情報テーブルの一例である。 テンプレート画像解析情報テーブルの一例である。 テンプレート画像候補の一例である。 スマートフォンの表示画面の一例である。 印象−補正テーブルの一例である。 対象画像の印象決定処理手順を示すフローチャートである。 シーン決定テーブルの一例である。 画像合成サーバの処理手順の一部を示すフローチャートである。 画像合成サーバの処理手順の一部を示すフローチャートである。 対象画像の一例である。 テンプレート画像の一例である。

図１は，この発明の実施例を示すもので，画像合成システムの概要を示している。

この実施例では，対象画像をテンプレート画像に合成してポスト・カードの合成画像を生成する場合について説明するが，ポスト・カードに限らず，電子アルバム，フォトグッズなど，対象画像をテンプレート画像に合成して合成画像が生成されるようなシステムすべてについて適用できる。

画像合成システムには，インターネットのようなネットワークを介して互いに通信可能なスマートフォン（多機能携帯電話）１および画像合成サーバ（画像合成装置）20が含まれている。スマートフォン１を利用せずにクライアント・コンピュータなどを利用できるのはいうまでもない。画像合成サーバ20には，画像合成サーバ20において生成された合成画像を表わす画像データからポスト・カードをプリントするためのプリンタ29が接続されている。

図２は，スマートフォン１の電気的構成を示すブロック図である。

スマートフォン１の全体の動作は，ＣＰＵ２によって統括される。

スマートフォン１には，表示制御装置３によって制御される表示装置４が含まれている。表示装置４の表示画面にはタッチ・パネル５が形成されている。タッチ・パネル５から与えられる指令はＣＰＵ２に入力する。また，スマートフォン１には，カメラ６，データを一時的に記憶するメモリ４および外部装置と接続するための外部インターフェイス８も含まれている。さらに，スマートフォン１には，マイクロフォン９，音声制御装置10およびスピーカ11が含まれている。また，上述したようにインターネットに接続するための通信装置12，スマートフォン13の位置を検出するためのＧＰＳ（Global Positioning System）受信装置13および時計14もスマートフォン１に含まれている。

図３は，画像合成サーバ20の電気的構成を示すブロック図である。

画像合成サーバ20の全体の動作は，ＣＰＵ21によって統括される。

画像合成サーバ20には，データを一時的に記憶するメモリ22，コンパクト・ディスク23にアクセスするためのコンパクト・ディスク・ドライブ24およびプリンタ29を接続するためのプリンタ・インターフェイス25が含まれている。また，画像合成サーバ20には，ハードディスク28およびハードディスク28にアクセスするためのハードディスク・ドライブ27も含まれている。

後述する動作を制御するプログラムが格納されているコンパクト・ディスク（記録媒体）23が画像合成サーバ20に装填され，コンパクト・ディスク・ドライブ24によってコンパクト・ディスク23に格納されているプログラムが読み取られる。読み取られたプログラムが画像合成サーバ20にインストールされることにより，画像合成サーバ20は，後述する動作を行う。画像合成サーバ20を制御するプログラムは，コンパクト・ディスク23のような記録媒体から読み取られるのではなく，インターネットを介して送信されたものを受信するようにしてもよい。

図４および図５は，画像合成システムの処理手順を示すフローチャートである。

この実施例による画像合成システムにおいては，テンプレート画像に対象画像が合成されて合成画像が生成される。合成画像の生成に際して，合成画像に適するテンプレート画像が見つけられる。

スマートフォン１のユーザは，タッチ・パネル５をタッチすることにより画像表示指令をスマートフォン１に与える。すると，スマートフォン１のメモリ７に格納されている多数の画像を表す画像データがメモリ７から読み取られ，読み取られた画像データによって表わされる多数の画像が表示装置４の表示画面に表示される（図4ステップ31）。

図６は，スマートフォン１の表示画面４（表示装置と同じ符号を用いる）に表示されている多数（１または複数）の画像の一例である。

表示画面４には，多数の画像Ｐ１からＰ６が表示されている。スクロールすることにより，表示画面４に表示されていない画像も表示画面４に表示されるのはいうまでもない。表示画面４の下部には，「クリアする」の文字列が表示されているクリア・ボタン61および「送信する」の文字列が表示されている送信ボタン62が形成されている。

表示画面４に表示されている多数の画像の中から，テンプレート画像に合成する画像をタッチすることによりユーザは対象画像を選択する（図４ステップ31）。選択した対象画像を変更する場合には，クリア・ボタン61がタッチされる。すると，画像の選択が解除され，再び画像の選択ができるようになる。画像の選択後に送信ボタン62がタッチされると，選択された対象画像を表わす画像データがスマートフォン１から画像合成サーバ20に送信される（図４ステップ33）。ここでは，画像Ｐ１が対象画像として選択されたものとする。

スマートフォン１から送信された対象画像Ｐ１を表わす画像データが画像合成サーバにおいて受信されると（図４ステップ41），受信された画像データによって表わされる対象画像Ｐ１がＣＰＵ21によって解析される（図４ステップ42）。この解析により，テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報が画像合成サーバ20のＣＰＵ21
において取得される（対象画像解析情報取得手段）。取得された対象画像解析情報は，対象画像解析情報テーブルとして，対象画像ごとにメモリ22に格納される。

図７は，対象画像の解析結果の一例を示すもので対象画像解析情報テーブルである。

対象画像解析情報テーブルは，対象画像ごとに対象画像解析情報を格納するものである。図７においては，対象画像Ｐ１の対象画像解析情報として明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のすべてが解析され，かつテーブルに格納されている。もっとも，これらの対象画像解析情報のすべてが取得されなくとも，少なくとも２つの対象画像解析情報が画像合成サーバ20において取得されればよい。

図４に戻って，対象画像解析情報が取得されると，取得された対象画像解析情報にもとづいて対象画像の印象（かわいい，やさしい，さわやか，きれいのように対象画像が，対象画像の閲覧者に与える感じ）が，ＣＰＵ21によって決定される（ステップ43）（第１の対象画像印象決定手段）。決定される印象は１つでもよいし，複数でもよい。

図８は，印象−画像解析情報テーブルの一例である。

印象−画像解析情報テーブルは，画像解析情報から印象を決定するもので，画像合成サーバ20のメモリ22に格納されている。

画像解析情報である明るさ等の値に対応して印象が規定されている。たとえば，明るさがあるレベルであるＬ７以上であり，コントラストがある所定範囲のレベルであるＬ３からＬ５の間であり，彩度がある所定範囲のレベルであるＬ３からＬ５の間であり，色相などのその他の画像解析情報も図８に示す範囲にある対象画像の印象は「かわいい」と決定される。その他の印象についても同様に決定される。

印象−画像解析情報テーブルには画像解析情報としてシーンも含まれているが，取得された画像解析情報に，印象−画像解析情報テーブルに格納されている画像解析情報が存在しない場合には，存在する画像解析情報のみを利用して，対象画像の印象が決定される。

図４に戻って，テンプレート画像解析情報がＣＰＵ21によって読み取られる（ステップ44）。

図９は，テンプレート画像解析情報テーブルの一例である。

テンプレート画像解析情報は，図９に示すテーブルの形態でメモリ22に格納されている。そのようなテンプレート画像解析情報テーブルがＣＰＵ21によって読み取られる。

テンプレート画像解析情報テーブルには，テンプレート画像を特定するテンプレートNo.に対応して，テンプレートの印象およびテンプレート画像解析情報が格納されている。テンプレート画像に複数の印象がある場合には，複数の印象がテンプレート画像解析情報テーブルに格納されている。

画像合成サーバ20のＣＰＵ21によって，同じ種類の画像解析情報について，対象画像が解析されることにより得られた対象画像解析情報と，テンプレート画像解析情報テーブルに格納されている画像解析情報とが，テンプレートNo.順に比較される。この比較により，ＣＰＵ21（対象画像解析情報取得手段）によって取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が，ＣＰＵ21によって算出される。この近似度は，第１の対象画像解析情報と第１のテンプレート画像解析情報とが近ければ高くなり，遠ければ低くなる。第１の対象画像解析情報と第１のテンプレート画像解析情報とが一致していれば，近似度は最も高くなる。明るさ，コントラスト，彩度，周波数特性のように一つの値によって特定できる画像解析情報については，第１の対象画像解析情報と第１のテンプレート画像解析情報との一致の割合が第１の近似度とされる。また，第２の対象画像解析情報と第２のテンプレート画像解析情報との一致の割合が第２の近似度とされる。

たとえば，対象画像解析情報の値（たとえば，対象画像の明るさの値）とテンプレート画像解析情報の値（テンプレート画像の明るさの値）とが一致すれば，近似度は100％となる。テンプレート画像解析情報の値が対象画像解析情報の値のプラスマイナス10％以内に入っていれば，近似度は90％となる。同様に，テンプレート画像解析情報の値が対象画像解析情報の値のプラスマイナス20％から10％以内に入っていれば，近似度は80％となる。その他の場合についても同様である。色相のように一つの値によって特定できない画像解析情報については，たとえば，対象画像の色相の平均値が色相の対象画像解析情報となり，テンプレート画像の色相の平均値が色相のテンプレート画像解析情報となる。そのような色相の平均値同士が近似しているかどうかの近似度が算出される。色バランスについても一つの値によって特定できない画像解析情報については，赤，青おおよび緑（シアン，マゼンタおよびイエロー）の各色についての画像解析情報（色バランスの平均値）とテンプレート画像解析情報（色バランスの平均値）との一致度が近似度とされる。

テンプレート画像ごとに，テンプレート画像解析情報と対象画像解析情報との近似度が得られると，対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像解析情報のうち第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と第１の近似度が第１のしきい値以上（たとえば，近似度が80％以上）であるかどうかがＣＰＵ21によって判定される（図４ステップ45）。第１の近似度が第１のしきい値以上であると（図４ステップ45でＹＥＳ），対象画像解析情報のうち第１の対象画像解析情報以外の第２の対象画像解析情報と，テンプレート画像情報うち第１のテンプレート画像解析情報以外の第２のテンプレート画像解析情報であって，第２の対象画像解析情報と同じ種類の第２のテンプレート画像解析情報と，の第２の近似度が第２のしきい値未満（たとえば，近似度が60％未満）であるかどうかがＣＰＵ21によって判定される（図４ステップ46）。

第２の近似度が第２のしきい値未満であると（図４ステップ46でＹＥＳ），第１の近似度が第１のしきい値以上であり，かつ第２の近似度が第２のしきい値未満であるテンプレート画像の印象が対象画像の印象と同じかどうかが判断される（図４ステップ47）。印象が同じと判断されると（図４ステップ47でＹＥＳ），そのようなテンプレート画像がテンプレート画像候補とＣＰＵ21によって決定される（図５ステップ48）（テンプレート画像検出手段）。

一定数のテンプレート画像候補が得られるまで図４ステップ44から図５ステップ48までの処理が繰り返される（図５ステップ49）。

図10は，上述のようにして得られたテンプレート画像候補の一例である。

この実施例では，テンプレート画像No.１，５，７，10，12および13の６つのテンプレート画像Ｔ１，Ｔ５，Ｔ７，Ｔ10，Ｔ12およびＴ13がテンプレート画像候補とされている。６つよりも多い（少ない）テンプレート画像がテンプレート画像候補とされてもよいのはいうまでもない。

テンプレート画像Ｔ１，Ｔ５，Ｔ７，Ｔ10，Ｔ12およびＴ13には，それぞれ対象画像を合成する合成領域（貼り付ける領域）71，72，73，74，75および76が形成されている。テンプレート画像Ｔ１，Ｔ７，Ｔ12およびＴ13は，合成領域71，73，75および76の周囲に一重フレームが形成されており，かつ合成領域71，73，75および76の周囲にはフレームが形成されているので，合成領域71，73，75および76は閉じている。これに対して，テンプレート画像Ｔ５およびＴ10の合成領域72および74の周囲にはフレームが形成されておらず，合成領域72および74の周囲の少なくとも一部が開放されている。もっとも，合成領域の周囲に二重以上のフレームが形成されていてもよい。

一定数テンプレート画像の候補が得られると，画像合成サーバ20のＣＰＵ21によって，候補となったテンプレート画像のそれぞれの合成領域に対象画像が合成させられる（図５ステップ50）（合成手段）。候補とされたテンプレート画像の合成領域に対象画像が合成させられた合成画像を表わす画像データが画像合成サーバ20からスマートフォン１に送信される（図５ステップ51）。

画像合成サーバ20から送信された画像データがスマートフォン１において受信されると（図５ステップ34），スマートフォン１の表示画面に合成画像が表示される（図５ステッ35）。

図11は，スマートフォン１の表示画面４に表示された合成画像の一例である。

上述したように，候補となったテンプレート画像Ｔ１，Ｔ５，Ｔ７，Ｔ10，Ｔ12およびＴ13のそれぞれの合成領域71，72，73，74，75および76に対象画像Ｐ１が合成された合成画像が表示画面４に表示されている。

ユーザは，表示画面に表示されている合成画像を見て，所望の合成画像をタッチすることにより合成画像を選択する（図５ステップ36）。合成画像の選択を変更する場合には，クリア・ボタン61がタッチされる。すると合成画像の選択が解消される。送信ボタン61がタッチされると，選択された合成画像に利用されているテンプレート画像No.（テンプレート画像識別データ）がスマートフォン１から画像合成サーバ20に送信される（図５ステップ37）。

スマートフォン１から送信されたテンプレート画像No.が画像合成サーバ20において受信されると（図５ステップ52），受信したテンプレート画像No.に対応する印象がテンプレート画像解析情報テーブルから読み取られる。読み取られた印象に近づくように，ＣＰＵ21によって対象画像が補正させられる（図５ステップ53）（対象画像補正手段）。

図12は，印象−補正テーブルの一例である。

印象−補正テーブルには，テンプレート画像の印象ごとに画像解析情報の補正値が格納されている。たとえば，ユーザによって選択された合成画像に利用されるテンプレート画像の印象が「かわいい」であれば，そのテンプレート画像に合成される対象画像の明るさ，コントラスト，彩度などのレベルがそれぞれ一つずつ上げられる。テンプレート画像の印象が複数規定されている場合には，複数の印象に対応する補正の平均補正が行われる。色相，色バランスなどについても印象に対応した補正方法，値が規定されており，その方法および値により対象画像が補正させられる。

対象画像が補正させられると，補正させられた対象画像を含む合成画像がプリンタ29によってプリントされる（図５ステップ54）。これにより，テンプレート画像に対象画像が合成されたポスト・カードが得られる。

上述の実施例では，テンプレート画像候補を決定する場合に対象画像の印象と同じ印象をもつかどうかが判断されている（図４ステップ47）が，この判断は必ずしも必要ではない。また，テンプレート画像の印象に近づくように対象画像を補正する（図５ステップ53）必要も必ずしも無い。さらに，図５ステップ53の補正処理を図５ステップ49と図５ステップ50との間で行ない，補正した画像をユーザに表示するようにしてもよい。

図13は，対象画像の印象を決定する処理手順（図５ステップ43の処理手順）を示すフローチャートである。

対象画像を表わす画像データ（画像ファイル）のヘッダには，対象画像の撮像時刻，撮像場所が格納されており，それらの撮像時刻および撮像場所が画像合成サーバ20のＣＰＵ21によって読み取られる（ステップ81）（撮像情報取得手段）。読み取られた撮像時刻，撮像場所から対象画像の撮像シーンが決定される（ステップ82）。撮像時刻および撮像場所の少なくとも一方が読み取られればよい。

図14は，シーン決定テーブルの一例である。

シーン決定テーブルは，撮像時刻および撮像場所から決定された撮像シーンを格納するものである。

対象画像の撮像時刻および撮像場所が分れば，その時刻およびその場所での天気の状態が分るので，その天気の状態から撮像シーンがＣＰＵ21によって決定される。たとえば，撮像時刻として「2014年７月31日午前12時」，撮像場所「富士山」であったとしたら，天気が「晴」と分り，その天気から撮像シーンも晴の撮像シーンと決定される。撮像シーンはあらかじめ定められているシーンの中から決定されるもので，天気自体を撮像シーンとしてもよいし，天気から決定できるものを撮像シーンとしてもよい。決定した撮像シーンがシーン決定テーブルに格納される。シーン決定テーブルは，画像合成サーバ20のメモリ22に格納される。

撮像シーンが決定されると，決定した撮像シーンから，図８に示す印象−画像解析情報テーブルを利用してＣＰＵ21によって対象画像の１または複数の印象が決定される（ステップ83）（第３の対象画像印象決定手段）。もっとも，撮像シーンから対象画像の印象を決定せずに，撮像時刻および撮像時刻の少なくとも一方からＣＰＵ21によって対象画像の１または複数の印象が決定されてもよい（第２の対象画像印象決定手段）。

図15および図16は，画像合成サーバ20の処理手順の一部を示すフローチャートである。これらの図において，図４または図５に示す処理と同一の処理については同一符号を付して説明を省略する。

上述のように，テンプレート画像解析情報が読み取られ（ステップ44），第１の近似度が第１のしきい値以上であり（ステップ45），第２の近似度が第２のしきい値未満であると（ステップ46），対象画像を表わす画像データ（画像ファイル）のヘッダに格納されている主要被写体位置情報がＣＰＵ21によって読み取られる（ステップ91）（主要被写体像情報取得手段）。主要被写体位置情報によって，対象画像に含まれる主要被写体の位置が分る。

図17は，対象画像Ｐ１を示している。

対象画像Ｐ１には，主要被写体ＯＢ１およびＯＢ２が含まれている。これらの主要被写体ＯＢ１およびＯＢ２の対象画像Ｐ１の全体に対する位置から主要被写体ＯＢ１およびＯＢ２をトリミングする場合の領域100がＣＰＵ21によって検出される。領域100の縦横比は，縦の長さ：横の長さ＝３：２であったとする。そのような領域100の縦横比がテンプレート画像の合成領域として算出される（ステップ92）。算出された縦横比をもつ（近似した）合成領域をもつテンプレート画像がテンプレート画像候補として決定される（ステップ93）。

図18は，テンプレート画像の一例である。

テンプレート画像Ｔ13には，合成領域76が規定されている。この合成領域76の縦横比は，縦の長さ：横の長さ＝３：２である。上述した領域100の縦横比と同じ縦横比をもつので候補としてテンプレート画像Ｔ13が見つけられる。

一定数のテンプレート画像候補が得られると（ステップ49でＹＥＳ），上述したように主要被写体ＯＢ１およびＯＢ２を含み，かつ決定した縦横比をもつ領域100がＣＰＵ21によって対象画像Ｐ１からトリミングされる（ステップ94）（トリミング手段）。領域100でトリミングされた対象画像Ｐ１が候補として見つけられたテンプレート画像の合成領域に合成される（ステップ95）。合成された画像を表わす画像データが上述のように，画像合成サーバ20からスマートフォン１に送信される（ステップ51）。

上述の実施例においては，対象画像が画像合成サーバ20において解析され，対象画像解析情報が取得されているが，対象画像解析情報がヘッダなどに格納されている画像データ（画像ファイル）が画像合成サーバ20に送信されるようにしてもよい。

20 画像合成サーバ（画像合成装置）
21 ＣＰＵ（対象画像解析情報取得手段，テンプレート画像検出手段，合成手段，第１の対象画像印象決定手段，第２の対象画像印象決定手段，撮像シーン決定手段，第３の撮像画像印象決定手段，対象画像補正手段，縦横比算出手段，トリミング手段，）
26 通信装置（撮像情報取得手段）

Claims (16)

1. テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得する対象画像解析情報取得手段，
   上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけるテンプレート画像検出手段，
   上記テンプレート画像検出手段によって見つけられたテンプレート画像に上記対象画像を合成する合成手段，ならびに
   上記対象画像解析情報取得手段によって取得された対象画像解析情報にもとづいて，上記対象画像の１つまたは複数の印象を決定する第１の対象画像印象決定手段を備え，
   上記テンプレート画像検出手段は,
   上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ上記第１の対象画像印象決定手段によって決定された印象をもつテンプレート画像を見つけるものである，
   画像合成装置。
2. テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得する対象画像解析情報取得手段，
   上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけるテンプレート画像検出手段，
   上記テンプレート画像検出手段によって見つけられたテンプレート画像に上記対象画像を合成する合成手段，
   上記対象画像の撮像時刻または撮像場所の少なくとも一方の撮像情報を取得する撮像情報取得手段，ならびに
   上記撮像情報取得手段によって取得された撮像情報にもとづいて，上記対象画像の１つまたは複数の印象を決定する対象画像印象決定手段をさらに備え，
   上記テンプレート画像検出手段は,
   上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ上記対象画像印象決定手段によって決定された印象をもつテンプレート画像を見つけるものである，
   画像合成装置。
3. テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得する対象画像解析情報取得手段，
   上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけるテンプレート画像検出手段，
   上記テンプレート画像検出手段によって見つけられたテンプレート画像に上記対象画像を合成する合成手段，
   上記対象画像の撮像時刻または撮像場所の少なくとも一方の撮像情報を取得する撮像情報取得手段，
   上記撮像情報取得手段によって取得された撮像情報にもとづいて，撮像シーンを決定する撮像シーン決定手段，ならびに
   上記撮像シーン決定手段によって決定された撮像シーンにもとづいて，上記対象画像の１つまたは複数の印象を決定する対象画像印象決定手段をさらに備え，
   上記テンプレート画像検出手段は,
   上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ上記対象画像印象決定手段によって決定された印象をもつテンプレート画像を見つけるものである，
   画像合成装置。
4. 上記対象画像に対して，上記テンプレート画像検出手段によって検出されたテンプレート画像の印象に近づける補正を行なう対象画像補正手段，
   をさらに備えた請求項１から３のうち，いずれか一項に記載の画像合成装置。
5. 上記テンプレート画像検出手段によって検出されたテンプレート画像の印象に対応して補正方法があらかじめ定められており，
   上記対象画像補正手段は，
   上記対象画像に対して，上記テンプレート画像検出手段によって検出されたテンプレート画像に対応してあらかじめ定められている補正方法による補正を行なうものである，
   請求項４に記載の画像合成装置。
6. テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得する対象画像解析情報取得手段，
   上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけるテンプレート画像検出手段，
   上記テンプレート画像検出手段によって見つけられたテンプレート画像に上記対象画像を合成する合成手段，
   上記対象画像の主要被写体位置情報を取得する主要被写体像情報取得手段，ならびに
   上記主要被写体像情報取得手段によって取得された主要被写体位置情報によって表わされる主要被写体の位置からテンプレート画像の合成領域の縦横比を算出する縦横比算出手段をさらに備え，
   上記テンプレート画像検出手段は，
   上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ上記縦横比算出手段によって算出された縦横比の合成領域をもつテンプレート画像を見つけるものである，
   画像合成装置。
7. 上記対象画像を，上記縦横比算出手段によって算出された縦横比にトリミングするトリミング手段をさらに備え，
   上記合成手段は，
   上記トリミング手段によってトリミングされた上記対象画像を，上記テンプレート画像検出手段によって見つけられたテンプレート画像の合成領域に合成する，
   請求項６に記載の画像合成装置。
8. 対象画像解析情報取得手段が，テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得し，
   テンプレート画像検出手段が，上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけ，
   合成手段が，上記テンプレート画像検出手段によって見つけられたテンプレート画像に上記対象画像を合成し，
   対象画像印象決定手段が，上記対象画像解析情報取得手段によって取得された対象画像解析情報にもとづいて，上記対象画像の１つまたは複数の印象を決定し，
   上記テンプレート画像検出手段は,
   上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ上記第１の対象画像印象決定手段によって決定された印象をもつテンプレート画像を見つける，
   画像合成方法。
9. 対象画像解析情報取得手段が，テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得し，
   テンプレート画像検出手段が，上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけ，
   合成手段が，上記テンプレート画像検出手段によって見つけられたテンプレート画像に上記対象画像を合成し，
   撮像情報取得手段が，上記対象画像の撮像時刻または撮像場所の少なくとも一方の撮像情報を取得し，
   対象画像印象決定手段が，上記撮像情報取得手段によって取得された撮像情報にもとづいて，上記対象画像の１つまたは複数の印象を決定し，
   上記テンプレート画像検出手段は,
   上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ上記第２の対象画像印象決定手段によって決定された印象をもつテンプレート画像を見つける，
   画像合成方法。
10. 対象画像解析情報取得手段が，テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得し，
    テンプレート画像検出手段が，上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけ，
    合成手段が，上記テンプレート画像検出手段によって見つけられたテンプレート画像に上記対象画像を合成し，
    撮像情報取得手段が，上記対象画像の撮像時刻または撮像場所の少なくとも一方の撮像情報を取得し，
    撮像シーン決定手段が，上記撮像情報取得手段によって取得された撮像情報にもとづいて，撮像シーンを決定し，
    対象画像印象決定手段が，上記撮像シーン決定手段によって決定された撮像シーンにもとづいて，上記対象画像の１つまたは複数の印象を決定し，
    上記テンプレート画像検出手段は,
    上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ上記対象画像印象決定手段によって決定された印象をもつテンプレート画像を見つける，
    画像合成方法。
11. 対象画像解析情報取得手段が，テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得し，
    テンプレート画像検出手段が，上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ上記対象画像解析情報取得手段によって取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけ，
    合成手段が，上記テンプレート画像検出手段によって見つけられたテンプレート画像に上記対象画像を合成し，
    主要被写体像情報取得手段が，上記対象画像の主要被写体位置情報を取得し，
    縦横比算出手段が，上記主要被写体像情報取得手段によって取得された主要被写体位置情報によって表わされる主要被写体の位置からテンプレート画像の合成領域の縦横比を算出し，
    上記テンプレート画像検出手段は,
    上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ上記縦横比算出手段によって算出された縦横比の合成領域をもつテンプレート画像を見つける，
    画像合成方法。
12. 画像合成装置のコンピュータを制御可能なプログラムであって，
    テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得させ，
    取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけさせ，
    見つけられたテンプレート画像に上記対象画像を合成させ，
    取得された対象画像解析情報にもとづいて，上記対象画像の１つまたは複数の印象を決定させるプログラムであって，
    上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ決定された印象をもつテンプレート画像を見つけるように画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
13. 画像合成装置のコンピュータを制御可能なプログラムであって，
    テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得させ，
    取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけさせ，
    見つけられたテンプレート画像に上記対象画像を合成させ，
    上記対象画像の撮像時刻または撮像場所の少なくとも一方の撮像情報を取得させ，
    取得された撮像情報にもとづいて，上記対象画像の１つまたは複数の印象を決定させるプログラムであって，
    上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ決定された印象をもつテンプレート画像を見つけるように画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
14. 画像合成装置のコンピュータを制御可能なプログラムであって，
    テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得させ，
    取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけさせ，
    見つけられたテンプレート画像に上記対象画像を合成させ，
    上記対象画像の撮像時刻または撮像場所の少なくとも一方の撮像情報を取得させ，
    取得された撮像情報にもとづいて，撮像シーンを決定させ，
    決定された撮像シーンにもとづいて，上記対象画像の１つまたは複数の印象を決定させるプログラムであって，
    上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ決定された印象をもつテンプレート画像を見つけるように画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
15. 画像合成装置のコンピュータを制御可能なプログラムであって，
    テンプレート画像に合成する対象画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のうち，少なくとも２つを含む対象画像解析情報を取得させ，
    取得された対象画像解析情報のうち第１の対象画像解析情報と，テンプレート画像の明るさ，コントラスト，彩度，色相，色バランスおよび周波数特性のテンプレート画像解析情報のうち上記第１の対象画像解析情報と同じ種類の第１のテンプレート画像解析情報と，の第１の近似度が第１のしきい値以上であり，かつ取得された対象画像解析情報のうち第２の対象画像解析情報と，上記テンプレート画像解析情報のうち上記第２の対象画像解析情報と同じ種類の第２のテンプレート対象画像解析情報と，の第２の近似度は第２のしきい値未満であるテンプレート画像を見つけさせ，
    見つけられたテンプレート画像に上記対象画像を合成させ，
    上記対象画像の主要被写体位置情報を取得させ，
    取得された主要被写体位置情報によって表わされる主要被写体の位置からテンプレート画像の合成領域の縦横比を算出させるプログラムであって，
    上記第１の近似度が第１のしきい値以上であり，上記第２の近似度は第２のしきい値未満であり，かつ上記縦横比算出手段によって算出された縦横比の合成領域をもつテンプレート画像を見つけるように，画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
16. 請求項12から15のうち，いずれか一項に記載のプログラムを格納したコンピュータが読み取り可能な記録媒体。

Images