JP6687946B2 - 画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理方法及び画像処理プログラムに関し、特に、ユーザ画像を、立体物の斜視図を含むテンプレート画像の当該立体物の斜面に嵌め込んで合成する画像処理方法及び画像処理プログラムに関する。

近年、年賀状などのポストカードを作成する際に、予め用意されたテンプレート画像をそのまま使用するのではなく、テンプレート画像にユーザが提供する画像を嵌め込み合成して付加価値を高めることが行われている。その際、テンプレート画像内の嵌め込み領域のサイズとユーザが提供する画像のサイズとが一致していないと、テンプレート画像にユーザが提供する画像を嵌め込んだ合成画像に違和感が生じてしまう。そこで、嵌め込みに際して、ユーザが提供する画像の位置や大きさを調整して合成するようにしている。

また、テンプレート画像の向きとユーザが提供する画像の向きとが一致していない場合も、合成画像に違和感が生じてしまう。この問題に対して、例えば、下記特許文献１では、撮像手段により撮影された画像情報とフレーム情報とを合成して出力する画像合成処理方法において、前記画像情報の撮影された上下方向に合わせたフレーム情報を提供するフレーム情報提供ステップを有する画像合成処理方法を提案している。

特開２００１−１１１８０９号公報

このように、テンプレート画像の嵌め込み領域にユーザが提供する画像を嵌め込む場合、従来は、ユーザが提供する画像の位置や大きさを調整したり、テンプレート画像とユーザが提供する画像の上下方向の向きを合わせたりしているが、テンプレート画像の中に立体物を斜めから見た図形を含み、その立体物の斜面にユーザが提供する画像を嵌め込む場合、単に位置や大きさ、上下方向の向きを合わせるだけでは、テンプレート画像とユーザが提供する画像の遠近感を一致させることができないため、合成画像に違和感が生じてしまう。

また、テンプレート画像とユーザが提供する画像との繋ぎ目で濃度や色味、光沢などの画質が大きく変化すると、不自然な合成画像になってしまう。更に、テンプレート画像内に、強い光を発する部分や光が反射する部分を含んでいる場合、テンプレート画像の嵌め込み領域においても、光の映り込みを再現しないと、やはり不自然な合成画像になってしまう。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、立体物の斜視図の斜面内に設けた嵌め込み領域を含むテンプレート画像の当該嵌め込み領域にユーザが提供する画像を嵌め込み合成する場合であっても、テンプレート画像とユーザが提供する画像とを違和感なく合成することができる画像処理方法及び画像処理プログラムを提供することにある。

本発明の一側面は、ユーザが提供する第１画像と、立体物の斜視図の斜面に前記第１画像を嵌め込むための１又は複数の嵌め込み領域を含む第２画像と、を合成する画像処理システムにおける画像処理方法であって、前記画像処理システムは、前記第２画像を選択させる第１ステップと、選択された前記第２画像の中から、前記嵌め込み領域を選択させる第２ステップと、予め登録された前記第１画像の中から、選択された前記嵌め込み領域に嵌め込む前記第１画像を選択させる第３ステップと、選択された前記嵌め込み領域を、前記斜面を正面から見た時の領域を表す矩形枠に変換して第１レイヤーに表示すると共に、選択された前記第１画像を、前記第１レイヤーとは異なる第２レイヤーに重畳表示し、前記矩形枠を基準にして、前記第１画像を加工可能にする第４ステップと、前記矩形枠の四隅に対応する前記第１画像の４点の座標を特定し、前記第１画像の４点の座標と前記第２画像における前記嵌め込み領域の四隅の４点の座標とに基づいて、加工後の前記第１画像を前記嵌め込み領域に嵌め込む第５ステップと、加工後の前記第１画像を前記嵌め込み領域に嵌め込んだ前記第２画像を出力する第６ステップと、を実行することを特徴とする。

本発明の一側面は、ユーザが提供する第１画像と、前記第１画像を嵌め込むための、立体物の斜視図の斜面に前記第１画像を嵌め込むための１又は複数の嵌め込み領域を含む第２画像と、を合成するサーバで動作する画像処理プログラムであって、前記サーバに、予め選択された前記第２画像及び当該第２画像の中の前記嵌め込み領域を特定する情報と、予め選択された前記第１画像の画像データと、前記嵌め込み領域を前記斜面の正面から見た時の矩形枠の四隅に対応する前記第１画像の４点の座標と、を取得する入力処理、前記第１画像の４点の座標と前記第２画像における前記嵌め込み領域の四隅の４点の座標とを対応付けて前記第１画像の各画素の座標変換を行うことにより、前記第１画像を前記嵌め込み領域と同じ形状の画像に変換する画像変換処理、前記第２画像の前記嵌め込み領域に、変換した前記第１画像を合成する画像合成処理、前記嵌め込み領域に嵌め込んだ前記第１画像と前記第２画像との境界を目立たなくするエフェクト処理、前記エフェクト処理後の前記第２画像を出力する出力処理、を実行させることを特徴とする。

本発明の画像処理方法及び画像処理プログラムによれば、立体物の斜視図の斜面内に設けた嵌め込み領域を含むテンプレート画像の当該嵌め込み領域にユーザが提供する画像を嵌め込み合成する場合であっても、テンプレート画像とユーザが提供する画像とを違和感なく合成することができる。

その理由は、画像処理システムは、テンプレート画像の当該嵌め込み領域にユーザが提供するユーザ画像を嵌め込み合成する際に、嵌め込み領域を、正面から見た時の領域を表す矩形枠に変換し、矩形枠とユーザ画像とを別々のレイヤーに表示することによって、矩形枠に対してユーザ画像の移動、拡大／縮小、回転などの加工を可能とし、加工後のユーザ画像の矩形枠の四隅に対応する４点の座標とテンプレート画像における嵌め込み領域の四隅の４点の座標とを対応付けてユーザ画像の各画素の座標変換を行うことにより、ユーザ画像を嵌め込み領域と同じ形状の画像に変換し、変換したユーザ画像を嵌め込み領域に嵌め込んだ合成画像を生成して出力するからである。

また、ユーザ画像を嵌め込み領域に嵌め込む際、又は、ユーザ画像を嵌め込み領域に嵌め込んだ後、ユーザ画像とテンプレート画像との境界の近傍領域に対して、濃度や色味、光沢などの画質を徐々に変化させて境界を目立たなくする画像処理を行ったり、嵌め込み領域近傍に、発光物又は反射物の画像が存在する場合に、嵌め込み領域に発光物からの光の反射を反映、又は、嵌め込み領域近傍の反射物にユーザ画像の映り込みを反映する画像処理を行ったりするからである。

本発明の一実施例に係る画像処理システムの一例を示す模式図である。 本発明の一実施例に係る画像処理システムの他の例を示す模式図である。 本発明の一実施例に係るユーザ端末の構成を示すブロック図である。 本発明の一実施例に係るサーバの構成を示すブロック図である。 本発明の一実施例に係るユーザ端末の処理を示すフローチャート図である。 本発明の一実施例に係るサーバの処理を示すフローチャート図である。 本発明の一実施例に係るユーザ端末に表示されるＷｅｂ画面（デザイン選択画面）の一例を示す図である。 本発明の一実施例に係るユーザ端末に表示されるＷｅｂ画面（デザイン編集画面）の一例を示す図である。 本発明の一実施例に係るユーザ端末に表示されるＷｅｂ画面（写真合成画面１）の一例を示す図である。 本発明の一実施例に係るユーザ端末に表示されるＷｅｂ画面（写真合成画面２）の一例を示す図である。 本発明の一実施例に係るユーザ端末に表示されるＷｅｂ画面（写真合成画面３）の一例を示す図である。 本発明の一実施例に係るユーザ端末に表示されるＷｅｂ画面（写真合成画面４）の一例を示す図である。 本発明の一実施例に係るユーザ端末に表示されるＷｅｂ画面（差出人入力画面）の一例を示す図である。 本発明の一実施例に係るユーザ端末に表示されるＷｅｂ画面（挨拶文編集画面）の一例を示す図である。 本発明の一実施例に係るユーザ画像と画像合成前のテンプレート画像と画像合成後のテンプレート画像の一例である。 本発明の一実施例に係るユーザ画像と画像合成前のテンプレート画像と画像合成後のテンプレート画像の他の例である。 本発明の一実施例に係るユーザ画像と画像合成前のテンプレート画像と画像合成後のテンプレート画像の他の例である。 本発明の一実施例に係るユーザ画像と画像合成前のテンプレート画像と画像合成後のテンプレート画像の他の例である。 本発明の一実施例に係るユーザ画像と画像合成前のテンプレート画像と画像合成後のテンプレート画像の他の例である。

背景技術で示したように、年賀状などのポストカードを作成する際に、予め用意されたテンプレート画像をそのまま使用するのではなく、テンプレート画像にユーザが提供する画像を嵌め込み合成して付加価値を高めることが行われており、嵌め込み合成に際して、ユーザが提供する画像の位置や大きさを調整したり、テンプレート画像とユーザが提供する画像の上下方向の向きを合わせたりして合成画像に違和感が生じないようにしている。

しかしながら、テンプレート画像の中に立体物を斜めから見た図形を含み、その立体物の斜面にユーザが提供する画像を嵌め込む場合、単に位置や大きさ、上下方向の向きを合わせるだけでは、テンプレート画像とユーザが提供する画像の遠近感を一致させることができず、合成画像に違和感が生じてしまう。また、テンプレート画像とユーザが提供する画像との繋ぎ目で濃度や色味、光沢などの画質が大きく変化すると、不自然な合成画像になってしまう。更に、テンプレート画像内に、強い光を発する発光物や光が反射する反射物が存在する場合、テンプレート画像の嵌め込み領域やその近傍領域に、光の反射やユーザが提供する画像の映り込みを再現しないと、やはり不自然な合成画像になってしまう。

そこで、本発明の一実施の形態では、立体物の斜視図の斜面内に設けた１又は複数の嵌め込み領域を含むテンプレート画像の当該嵌め込み領域にユーザが提供するユーザ画像を合成する際に、嵌め込み領域を、正面から見た時の領域を表す矩形枠に変換し、矩形枠とユーザ画像とを別々のレイヤーに表示することによって、矩形枠に対してユーザ画像の移動、拡大／縮小、回転などの加工ができるようにする。また、加工後のユーザ画像の矩形枠の四隅に対応する４点の座標とテンプレート画像における嵌め込み領域の四隅の４点の座標とを対応付けてユーザ画像の各画素の座標変換を行うことにより、ユーザ画像を嵌め込み領域と同じ形状の画像に変換し、変換したユーザ画像を嵌め込み領域に嵌め込んだ合成画像を生成して出力するようにする。また、ユーザ画像を嵌め込み領域に嵌め込む際、又は、ユーザ画像を嵌め込み領域に嵌め込んだ後、ユーザ画像とテンプレート画像との境界の近傍領域に対して、濃度や色味、光沢などの画質を徐々に変化させて境界を目立たなくする画像処理を行ったり、嵌め込み領域近傍に、発光物又は反射物の画像が存在する場合に、嵌め込み領域に発光物からの光の反射を反映、又は、嵌め込み領域近傍の反射物にユーザ画像の映り込みを反映する画像処理を行ったりする。

このような画像処理を行うことにより、風景・背景に「馴染んだ」合成画像を生成することができる。また、「奥行き感」や「立体感」、「色あい」、「コントラスト」、「素材感」、「陰影」等も背景と同じように表現することができる。そして、テンプレート画像にユーザ画像を合成する際の不自然さや違和感を解消することができ、テンプレート画像とユーザ画像とが一体化した、付加価値の高い合成画像を生成することができ、年賀状などのポストカードへの利用促進を図ることができる。

上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像処理方法及び画像処理プログラムについて、図１乃至図１９を参照して説明する。図１及び図２は、本実施例の画像処理システムの一例を示す模式図であり、図３は、ユーザ端末の構成を示すブロック図、図４は、サーバの構成を示すブロック図である。また、図５及び図６は、本実施例の画像処理システムの処理を示すフローチャート図であり、図７乃至図１４は、本実施例のユーザ端末に表示されるＷｅｂ画面の一例、図１５乃至図１９は、本実施例のユーザ画像と合成前のテンプレート画像と合成後のテンプレート画像の一例である。

図１に示すように、本実施例の画像処理システム１０は、画像処理サービスを利用するユーザが操作するユーザ端末２０と、画像処理サービスを提供するサーバ３０と、で構成される。これらは、イーサネット（登録商標）、トークンリング、ＦＤＤＩ（Fiber-Distributed Data Interface）等の規格により定められるＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続されている。

なお、図１では、画像処理システム１０をユーザ端末２０とサーバ３０とで構成したが、図２に示すように、ユーザが提供する画像（以下、ユーザ画像と呼ぶ。）を嵌め込み合成するための領域（以下、嵌め込み領域と呼ぶ。）を備える画像（以下、テンプレート画像と呼ぶ。）を生成するデザイナ端末４０がネットワークに接続される構成としてもよい。また、サーバ３０が提供する画像処理サービスを、当該画像処理を実行するプログラムをユーザに提供することによって実現する場合は、画像処理システム１０をユーザ端末２０のみで構成することも可能である。以下、図１の構成を前提にして各装置について詳細に説明する。

［ユーザ端末］
ユーザ端末２０は、パーソナルコンピュータなどのコンピュータ装置、スマートフォンやタブレットなどの携帯端末などであり、図３（ａ）に示すように、制御部２１、記憶部２５、ネットワークＩ／Ｆ部２６、表示部２７、操作部２８などで構成される。

制御部２１は、ＣＰＵ（Central Processing Unit）２２とＲＯＭ（Read Only Memory）２３やＲＡＭ（Random Access Memory）２４などのメモリとで構成され、ＣＰＵ２２は、ＲＯＭ２３や記憶部２５に記憶した制御プログラムをＲＡＭ２４に展開して実行することにより、ユーザ端末２０全体の動作を制御する。なお、本実施例では、制御部２１は、ＷＷＷ（World Wide Web）上の情報リソース（HTML（Hyper Text Markup Language）でマークアップされたドキュメントや画像）を扱うアプリケーション（Ｗｅｂブラウザ）、Ｗｅｂブラウザに読み込まれて実行されるJava（登録商標）アプレット、FLASH、ActiveXなどのアプリケーション（Ｗｅｂプラグイン）などのアプリケーションを実行するＷｅｂクライアントとして機能し、Ｗｅｂサーバから提供されるＷｅｂ画面を表示／操作することによって画像処理を行う。

具体的には、上記制御部２１は、図３（ｂ）に示すように、Ｗｅｂ画面表示制御部２１ａ、Ｗｅｂ画面操作制御部２１ｂ、ユーザ画像加工部２１ｃなどとして機能する。

Ｗｅｂ画面表示制御部２１ａは、サーバ３０から提供されるＷｅｂ画面を表示部２７に表示させる。なお、Ｗｅｂ画面は、テンプレート画像を選択するデザイン選択画面、テンプレート画像を調整するデザイン編集画面、テンプレート画像にユーザが撮影した写真などのユーザ画像を合成する写真合成画面、ポストカードの差出人の住所や氏名などの差出人情報を入力する差出人入力画面、ポストカードに掲載する挨拶文などを編集する挨拶文編集画面、ポストカードのデータを保存する保存終了画面などで構成される。

Ｗｅｂ画面操作制御部２１ｂは、Ｗｅｂ画面における各種操作を制御する。例えば、デザイン選択画面におけるテンプレート画像の選択、デザイン編集画面におけるテンプレート画像のサイズ調整、背景色の選択、写真枚数の設定、タイトルの選択、写真合成画面におけるテンプレート画像内の嵌め込み領域（マスクと呼ぶ。）の選択、ユーザ画像の登録及び選択、ユーザ画像の加工、差出人入力画面における差出人情報の入力、挨拶文編集画面における挨拶文の選択や編集などの操作を制御する。

ユーザ画像加工部２１ｃは、写真合成画面において、選択された嵌め込み領域（立体物の斜視図の斜面内に設けた領域）を正面から見た時の領域を表す矩形枠に変換し、矩形枠とユーザ画像とを別々のレイヤーに表示し、ユーザ画像に対して特定の操作が行われた場合に、その操作に応じてユーザ画像を加工する。そして、ユーザ画像の加工を適用する指示（適用ボタンの押下など）を検出したら、矩形枠の四隅に対応する、加工後のユーザ画像の４点の座標を取得し、嵌め込み対象のテンプレート画像及び嵌め込み領域を特定する情報と加工後のユーザ画像と４点の座標とをサーバ３０に送信する。

上記ユーザ画像の加工としては、例えば、ユーザ画像上にマウスのカーソルを置き、マウスを左クリックした状態でカーソルを移動させる操作を行った場合は、矩形枠を基準にして、ユーザ画像をカーソルの移動方向に移動させる。また、ユーザ画像の四隅に設けたマーク上にマウスのカーソルを置き、マウスを左クリックした状態でカーソルを移動させる操作を行った場合は、ユーザ画像をカーソルの移動距離に応じて拡大／縮小する。また、ユーザ画像の四辺の中央に設けたマーク上にマウスのカーソルを置き、マウスを左クリックした状態で移動させる操作を行った場合は、ユーザ画像をカーソルの移動方向に応じて回転させる。

出力データ生成部２１ｄは、画像合成後のテンプレート画像に、必要に応じて、テキスト情報（差出人や挨拶文など）を付加した出力データ（ポストカードデータ）を生成する。

なお、表示部２７がタッチパネルで構成されている時においては、ユーザ画像上に指やペンをタッチし、タッチ位置を移動させる操作を行った場合は、矩形枠を基準にして、ユーザ画像をタッチ位置の移動方向に移動させる。また、ユーザ画像の四隅に設けたマーク上に指やペンをタッチし、タッチ位置を移動させる操作を行った場合は、ユーザ画像をタッチ位置の移動距離に応じて拡大／縮小する。また、ユーザ画像の四辺の中央に設けたマーク上に指やペンをタッチし、タッチ位置を移動させる操作を行った場合は、ユーザ画像をタッチ位置の移動方向に応じて回転させる。なお、ユーザ画像の加工は、移動、拡大／縮小、回転に限定されず、反転、変形、濃度調整、カラー調整などを行うようにしてもよい。

記憶部２５は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などで構成され、ＣＰＵ２２が各部を制御するためのプログラム、自装置の処理機能に関する情報、Ｗｅｂ画面の画面データ、ユーザ画像の画像データ、ユーザ画像加工部２１ｃの加工結果（テンプレート画像及び嵌め込み領域を特定する情報と加工後のユーザ画像と４点の座標など）などを記憶する。

ネットワークＩ／Ｆ部２６は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、ユーザ端末２０をネットワークに接続し、サーバ３０からＷｅｂ画面の画面データ、画像合成後の画像データなどを受信し、サーバ３０にＷｅｂ画面での操作情報、ユーザ画像加工部２１ｃの加工結果などを通知する。

表示部２７は、液晶表示装置（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（electroluminescence）表示装置などで構成され、Ｗｅｂ画面表示制御部２１ａの指示に従って、サーバ３０から提供されるＷｅｂ画面などを表示する。

操作部２８は、マウスやキーボード、タッチパネルなどで構成され、Ｗｅｂ画面上での各種操作を可能にし、操作情報をＷｅｂ画面操作制御部２１ｂに通知する。

［サーバ］
サーバ３０は、コンピュータ装置などであり、図４（ａ）に示すように、制御部３１、記憶部３５、ネットワークＩ／Ｆ部３６、必要に応じて表示部及び操作部などで構成される。

制御部３１は、ＣＰＵ３２とＲＯＭ３３やＲＡＭ３４などのメモリとで構成され、ＣＰＵ３２は、ＲＯＭ３３や記憶部３５に記憶した制御プログラムをＲＡＭ３４に展開して実行することにより、サーバ３０全体の動作を制御する。特に、本実施例では、制御部３１は、Ｗｅｂクライアントとして機能するユーザ端末２０にＷｅｂ画面を表示させ、Ｗｅｂ画面に対する操作を受け付ける、Ｗｅｂサーバとして機能する。

また、上記制御部３１は、図４（ｂ）に示すように、Ｗｅｂ画面作成部３１ａ、画像変換部３１ｂ、画像合成部３１ｃ、エフェクト処理部３１ｄなどとして機能する。

Ｗｅｂ画面作成部３１ａは、ユーザ端末２０のＷｅｂブラウザで表示可能なＷｅｂ画面を作成し、Ｗｅｂ画面の画面データをユーザ端末２０に送信する。上記Ｗｅｂ画面は、上述したように、デザイン選択画面、デザイン編集画面、写真合成画面、差出人入力画面、挨拶文編集画面、保存終了画面などで構成される（詳細は後述する）。上記デザイン選択画面の画面データを送信する際に、予めデザイナ（デザイナ端末４０）によって作成された複数のテンプレート画像の画像データを取得する。このテンプレート画像の画像データの形式は特に限定されないが、例えば、Adobe（登録商標）社のPhotoshop（登録商標、以下、省略）を用いてテンプレート画像を作成した場合は、拡張子がpsdのPSDファイルとなる。この場合、テンプレート内の各々の嵌め込み領域（マスク）に対して１つのPSDファイルが必要であり、１つのテンプレート画像中に複数のマスクがある場合は、複数のPSDファイルとなる。また、マスクを除いたテンプレートの画像と各々のマスクの画像とを個別に処理できるように、Photoshopのレイヤー、チャンネル、パスなどを使用してテンプレート画像を作成すると共に、サーバ３０がPhotoshop用スクリプト（JSXなどのウェブアプリケーション向けのプログラミング言語）を読み込めるようにマスク内処理の構築方法のルールを予め定めておく。なお、テンプレート画像を作成するアプリケーションはPhotoshopに限らず、Illustrator（登録商標）などを使用してもよい。

画像変換部３１ｂは、ユーザ端末２０から、ユーザ画像加工部２１ｃの加工結果（テンプレート画像及び嵌め込み領域を特定する情報と加工後のユーザ画像と４点の座標など）を取得すると共に、当該嵌め込み領域の四隅の４点の座標を取得する。そして、ユーザ画像の４点の座標と嵌め込み領域の４点の座標を対応付けてユーザ画像の各画素の座標変換を行う（４点以外の画素の座標は、４点の座標を補間して座標変換を行う）ことにより、矩形状のユーザ画像を嵌め込み領域と同じ形状（台形や平行四辺形）の画像に変換する。このように矩形状のユーザ画像を台形や平行四辺形に変換する処理をパース処理と呼び、上記PSDファイルを用いてパース処理を行う場合は、Photoshopのパスを使用して、嵌め込み領域の右上、右下、左上、左下の４点の座標を記録しておくことができる。

画像合成部３１ｃは、座標変換したユーザ画像をテンプレート画像の嵌め込み領域に嵌め込んで合成画像を生成する。この画像合成は任意の画像処理アプリケーションを用いて行うことができるが、例えば、ImageMagick Studio LLC社のImageMagick（登録商標、以下、省略）を用いることができる。

エフェクト処理部３１ｄは、ユーザ画像をテンプレート画像の嵌め込み領域に嵌め込む際、又は、嵌め込んだ後に、合成画像に対して、各種エフェクト処理を行う。例えば、ユーザ画像とテンプレートの境界の近傍領域に対して、境界を目立たなくする画像処理（例えば、境界の近傍領域において、ユーザ画像とテンプレートの構成比を徐々に変化させたり、ユーザ画像の濃度や色味、光沢などの画質を徐々に変化させたりする処理）を行う。更に、テンプレート画像内に強い光を発する発光物や光を反射する反射物の画像が存在する場合に、嵌め込み領域の近傍の画像要素に応じた画像処理（例えば、嵌め込み領域に発光物からの光の反射を反映する画像処理や、反射物にユーザ画像の映り込みを反映する画像処理など）を行う。上記エフェクト処理は、Photoshopデータにチャンネルを作成し、予め定めたルールでチャンネル名を入力することによって指定することができ、ImageMagickを用いて、指定されたエフェクト処理を実行することができる。

上記画像合成部３１ｃによる処理後、又は、上記エフェクト処理部３１ｄによる処理後の合成画像の画像データをユーザ端末２０に送信して、Ｗｅｂ画面の表示を更新するが、ユーザ画像の解像度が高いと、上記画像変換部３１ｂ、画像合成部３１ｃ、エフェクト処理部３１ｄの処理に時間を要し、速やかにＷｅｂ画面上に合成画像を表示することができなくなる。一方、Ｗｅｂ画面上では、ユーザ画像がどのように合成されるかが認識できればよく、合成画像を高解像度で表示する必要はない。そこで、サーバ３０はユーザ端末２０から高解像度のユーザ画像を取得したら、画像変換部３１ｂが解像度を低くしたユーザ画像（例えば、解像度を段階的に低くした複数のユーザ画像）を生成して、低解像度のユーザ画像（例えば、最も解像度が低いユーザ画像）に対して座標変換、画像合成、エフェクト処理を行って、ユーザ端末２０に低解像度の合成画像を表示させ、その間に高解像度のユーザ画像（又は、次に解像度が低いユーザ画像）に対して座標変換、画像合成、エフェクト処理を行って、ユーザ端末２０に合成画像の画像データを再送して表示を更新させることにより、速やかにＷｅｂ画面上に合成画像を表示できるようにすることができる。

なお、上記Ｗｅｂ画面作成部３１ａ、画像変換部３１ｂ、画像合成部３１ｃ、エフェクト処理部３１ｄは、ハードウェアとして構成してもよいし、制御部３１を、Ｗｅｂ画面作成部３１ａ、画像変換部３１ｂ、画像合成部３１ｃ、エフェクト処理部３１ｄ（特に、画像変換部３１ｂ、画像合成部３１ｃ、エフェクト処理部３１ｄ）として機能させる画像処理プログラムとして構成し、当該画像処理プログラムをＣＰＵ３２に実行させるようにしてもよい。

記憶部３５は、ＨＤＤやＳＳＤなどで構成され、ＣＰＵ３２が各部を制御するためのプログラム、自装置の処理機能に関する情報、テンプレート画像の画像データ、ユーザ画像の画像データ、画像合成後の画像データ、ユーザに提供する出力データなどを記憶する。

ネットワークＩ／Ｆ部３６は、ＮＩＣやモデムなどで構成され、サーバ３０をネットワークに接続し、ユーザ端末２０にＷｅｂ画面の画面データや画像合成後のデータなどを送信し、ユーザ端末２０からユーザ画像の加工結果（テンプレート画像及び嵌め込み領域を特定する情報と加工後のユーザ画像と４点の座標など）を受信する。

なお、図１乃至図４は、本実施例の画像処理システム１０の一例であり、その構成は適宜変更可能である。例えば、上記では、ユーザ端末２０のユーザ画像加工部２１ｃがユーザ画像の移動や拡大／縮小、回転などの加工を行い、嵌め込み領域の矩形枠の四隅に対応する４点の座標を特定してサーバ３０に通知し、サーバ３０の画像変換部３１ｂが加工後のユーザ画像を嵌め込み領域の形状の画像に変換し、画像合成部３１ｃが変換後のユーザ画像をテンプレート画像に合成し、エフェクト処理部３１ｄが合成画像に所定の画像処理を行う構成としたが、これらの処理をユーザ端末２０又はサーバ３０の一方の装置で実行するようにしてもよい。

次に、サーバ３０のＷｅｂ画面作成部３１ａによって作成され、ユーザ端末２０のＷｅｂ画面表示制御部２１ａによって表示部２７に表示されるＷｅｂ画面５０について、図７乃至図１４を参照して説明する。

図７に示すように、Ｗｅｂ画面５０（デザイン選択画面）は、予めデザイナ（デザイナ端末４０）によって作成されたデザイン（テンプレート画像）を含み、複数のテンプレート画像は、複数のカテゴリ（例えば、ノスタルジック、今年の新作、人気ランキング、家族の定番など）に分類されている。そして、ユーザがカテゴリを選択すると、そのカテゴリに属する複数のテンプレート画像５１が選択可能に表示され、ユーザがその中から所望のテンプレート画像を選択すると、デザイン編集画面に遷移する。なお、上述したように、テンプレート画像のデータをPSDファイルとする場合は、Photoshopのレイヤー、チャンネル、パスを使用することにより、ユーザ画像の加工や座標変換（パース処理）、画像合成、エフェクト処理などを容易に実行することができる。

図８に示すように、Ｗｅｂ画面５０（デザイン編集画面）には、デザイン選択画面で選択されたテンプレート画像が表示される。このテンプレート画像では、嵌め込み領域（マスク）５２が所定のパターンで塗りつぶされており、ユーザ画像を嵌め込む領域が分かるようになっている。また、デザイン編集画面では、テンプレート画像の周縁に切り取り線が表示され、切り取り線を移動させることによりテンプレート画像を所望のサイズに調整することが可能である。また、テンプレート画像の背景の色や、何枚のユーザ画像を嵌め込むか、タイトルは何にするかなどを設定することも可能である。

図９乃至図１２に示すように、Ｗｅｂ画面５０（写真合成画面）は、複数の画面で構成される。まず、図９に示す画面で、テンプレート画像の中からユーザ画像を嵌め込む嵌め込み領域（マスク）５２を選択すると、図１０に示すように、ユーザ画像の登録及びマスクに嵌め込むユーザ画像の選択を行う画面が表示される。その画面でユーザ画像５３を選択すると、図１１に示すように、選択された嵌め込み領域（立体物の斜視図の斜面に設けた領域）が、正面から見た時の領域を表す矩形枠５２ａに変換され、矩形枠５２ａとユーザ画像５３とが別々のレイヤーに表示され、ユーザ画像５３に対して、移動、拡大／縮小、回転などの加工が可能になる。ユーザ画像５３の加工後、適用ボタンを選択すると、ユーザ画像５３の矩形枠５２ａの四隅に対応する４点の座標が特定され、加工結果（テンプレート画像及び嵌め込み領域を特定する情報と加工後のユーザ画像５３と４点の座標など）がサーバ３０に送信される。そして、サーバ３０で座標変換（パース処理）、画像合成、エフェクト処理が行われ、図１２に示すように、ユーザ画像５３がテンプレート画像の嵌め込み領域に嵌め込まれた合成画像５５が表示される。

図１３に示すように、Ｗｅｂ画面５０（差出人入力画面）では、ポストカードの差出人の住所や氏名などの差出人情報の入力が可能になり、入力した結果は、テンプレート画像上（矩形の枠内）に表示される。

図１４に示すように、Ｗｅｂ画面５０（挨拶文編集画面）では、ポストカードに掲載する挨拶文などのテキスト情報の入力が可能になり、入力した結果は、テンプレート画像上に（矩形の枠内）表示される。

なお、デザイン選択画面、デザイン編集画面、写真合成画面、差出人入力画面、挨拶文編集画面などのＷｅｂ画面５０は、図７乃至図１４の構成に限定されず、適宜変更可能である。

次に、図１の構成の画像処理システム１０におけるユーザ端末２０及びサーバ３０の処理について、図５及び図６のフローチャート図を参照して説明する。なお、以下の説明において、テンプレート画像は予めデザイナによって作成され、作成されたテンプレート画像の画像データは、サーバ３０の記憶部３５などに保存されているものとする。また、Ｗｅｂ画面５０は、サーバ３０のＷｅｂ画面作成部３１ａによって作成され、ユーザ端末２０のＷｅｂ画面表示制御部２１ａによって表示部２７に表示され、Ｗｅｂ画面操作制御部２１ｂによって操作部２８の操作に応じた処理が実行されてＷｅｂ画面５０の表示が更新される。

［ユーザ端末の処理］
図５のフローチャート図に示すように、ユーザが、ユーザ端末２０のＷｅｂブラウザを用いて、本画像処理サービスを提供するサイトにアクセスすると（Ｓ１０１）、制御部２１（Ｗｅｂ画面表示制御部２１ａ）は、表示部２７に図７に示すデザイン選択画面を表示させ、制御部２１（Ｗｅｂ画面操作制御部２１ｂ）は、ユーザによるテンプレート画像５１の選択を受け付ける。次に、制御部２１（Ｗｅｂ画面表示制御部２１ａ）は、表示部２７に図８に示すデザイン編集画面を表示させ、制御部２１（Ｗｅｂ画面操作制御部２１ｂ）は、ユーザによるテンプレート画像５１のサイズ調整、背景の色や使用するユーザ画像の数、タイトルなどの設定などの編集操作を受け付ける（Ｓ１０２）。次に、制御部２１（Ｗｅｂ画面表示制御部２１ａ）は、表示部２７に図９に示す写真合成画面１を表示させ、制御部２１（Ｗｅｂ画面操作制御部２１ｂ）は、ユーザによる嵌め込み領域（マスク）５２の選択を受け付ける（Ｓ１０３）。

次に、制御部２１（Ｗｅｂ画面表示制御部２１ａ）は、表示部２７に図１０に示す写真合成画面２を表示させ、制御部２１（Ｗｅｂ画面操作制御部２１ｂ）は、ユーザによるユーザ画像５３の登録、及び、嵌め込み領域に嵌め込むユーザ画像５３の選択を受け付ける（Ｓ１０４）。その際、ＳＤ（Secure Digital）カードやＣＦ（CompactFlash）カード、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）などの記録媒体、デジタルカメラやスマートフォンなどの機器から、ユーザが撮影した写真などを読み取って写真合成画面２の右欄にサムネイル画像を一覧表示し、その中から所望のユーザ画像５３を選択させる。なお、ここでは、嵌め込み領域５２を選択した後にユーザ画像５３を登録するようにしたが、ユーザ画像５３の登録は、テンプレート画像５１を選択する前、嵌め込み領域５２を選択する前などの任意のタイミングで行うようにしてもよい。

次に、制御部２１（Ｗｅｂ画面表示制御部２１ａ）は、表示部２７に図１１に示す写真合成画像３を表示させ、制御部２１（Ｗｅｂ画面操作制御部２１ｂ）は、ユーザによるユーザ画像５３の加工を受け付ける（Ｓ１０５）。具体的には、ユーザ画像加工部２１ｃは、Ｓ１０３で選択された嵌め込み領域を、正面から見た時の領域を表す矩形枠５２ａに変換し、矩形枠５２ａとユーザ画像５３とを別々のレイヤーに表示する。その際、ユーザ画像５３の四隅に拡大／縮小指示マーク５４ｂを表示させると共に、ユーザ画像５３の四辺の中央に回転指示マーク５４ｃを表示させる。そして、ユーザがユーザ画像５３上にマウスのカーソルを移動させたら（又はタッチしたら）、カーソル位置（タッチ位置）に移動指示マーク５４ａを表示させ、ユーザが移動指示マーク５４ａを移動させたら、矩形枠５２ａを基準にして、ユーザ画像５３をカーソル位置（タッチ位置）の移動方向に移動させる。また、ユーザが拡大／縮小指示マーク５４ｂ上のカーソル位置（タッチ位置）を移動させたら、ユーザ画像５３をカーソルやタッチ位置の移動距離に応じて拡大／縮小する。また、ユーザが回転指示マーク５４ｃ上のカーソル位置（タッチ位置）を移動させたら、ユーザ画像５３をカーソルやタッチ位置の移動方向に応じて回転する。

そして、ユーザがユーザ画像５３を加工した後、適用ボタンを選択（クリック又はタッチ）すると、制御部２１（Ｗｅｂ画面操作制御部２１ｂ）は、ユーザによる適用ボタンの操作を受け付け、制御部２１（ユーザ画像加工部２１ｃ）は、矩形枠５２ａの四隅に対応するユーザ画像５３の４点の座標を取得し、嵌め込み対象のテンプレート画像５１及び嵌め込み領域５２を特定する情報と加工後のユーザ画像５３と４点の座標とをサーバ３０に送信する（Ｓ１０６）。なお、テンプレート画像をPSDファイルとすれば、Photoshopのレイヤーを使用してユーザ画像５３の加工を容易に行うことができ、また、Photoshopのパスを使用して４点の座標を指定することができる。

サーバ３０では、図６のフローチャート図に示すように、ユーザ端末２０から、嵌め込み対象のテンプレート画像５１及び嵌め込み領域５２を特定する情報と加工後のユーザ画像５３と４点の座標とを受信すると（Ｓ２０１）、画像変換部３１ｂは、ユーザ画像５３の４点の座標と嵌め込み領域の４点の座標を対応付けてユーザ画像５３の各画素の座標変換を行うことにより、矩形状のユーザ画像を嵌め込み領域と同じ形状（台形や平行四辺形）の画像に変換する（Ｓ２０２）。次に、画像合成部３１ｃは、変換したユーザ画像５３をテンプレート画像５１の嵌め込み領域５２に嵌め込んで合成画像５５を生成する（Ｓ２０３）。そして、エフェクト処理部３１ｄは、合成画像５５に対して、所定のエフェクト処理を実施する（Ｓ２０４）。なお、上記エフェクト処理は、Photoshopデータのチャンネルを使用することにより、容易に実施することができる。また、上記処理は、ユーザ画像５３を使用して実施してもよいし、処理速度を速くするために、ユーザ画像５３の解像度を下げた低解像度ユーザ画像を生成し、低解像度ユーザ画像を用いて座標変換、画像合成及びエフェクト処理を実施してもよい。そして、エフェクト処理後の合成画像５５又はテンプレート画像５１の画像データをユーザ端末２０に送信し（Ｓ２０５）、Ｓ２０１〜Ｓ２０５の処理を画像合成が終了するまで繰り返し実施する（Ｓ２０６）。

図５のフローチャート図に戻って、サーバ３０から合成画像５５の画像データ又はテンプレート画像５１の画像データを受信したら（Ｓ１０７のＹｅｓ）、制御部２１（Ｗｅｂ画面表示制御部２１ａ）は、表示部２７に図１２に示す写真合成画面４を表示して、テンプレート画像５１の嵌め込み領域５２にユーザ画像５３を合成した合成画像５５を表示させる（Ｓ１０８）。

その後、制御部２１（Ｗｅｂ画面表示制御部２１ａ）は、表示部２７に図１３に示す差出人入力画面を表示させ、制御部２１（Ｗｅｂ画面操作制御部２１ｂ）は、ユーザによる差出人情報の入力を受け付け（Ｓ１０９）、制御部２１（Ｗｅｂ画面表示制御部２１ａ）は、表示部２７に図１４に示す挨拶文編集画面を表示させ、制御部２１（Ｗｅｂ画面操作制御部２１ｂ）は、ユーザによる挨拶文などのテキスト情報の入力を受け付ける（Ｓ１１０）。その後、制御部２１（Ｗｅｂ画面表示制御部２１ａ）は、表示部２７に図示しない保存終了画面を表示させ、制御部２１（Ｗｅｂ画面操作制御部２１ｂ）は、ユーザによる指示を監視し（Ｓ１１１）、再度の画像処理が指示されたら（Ｓ１１１のＮｏ）、Ｓ１０２（又は、Ｓ１０３やＳ１０４）に戻って同様の処理を繰り返し、保存が指示されたら（Ｓ１１１のＹｅｓ）、入力された差出人や挨拶文などをテンプレート画像に合成してポストカードデータを作成して保存し（Ｓ１１２）、一連の処理を終了する。

次に、上記フローチャートに従って画像処理を行った場合の具体例について、図１５乃至図１９を参照して説明する。図１５乃至図１９の（ａ）はユーザ画像の一例、（ｂ）は画像合成前のテンプレート画像の一例、（ｃ）は画像合成後のテンプレート画像の一例である。

図１５は、立体物（食パン）の斜視図の斜面（上面）にユーザ画像を合成する画像処理の一例である。この場合、ユーザ画像５３をトリミングして嵌め込み領域５２に合成し、ユーザ画像５３の境界を目立たなくすることにより、あたかも食パンの表面にユーザ画像をプリントしたような画像を作成することができ、利用価値の高い年賀状を作成することができる。

図１６は、立体物（ネガフィルム）の斜視図の斜面（フィルム面）にユーザ画像を合成する画像処理の一例である。この場合、複数のユーザ画像５３を、濃度を薄くして順に嵌め込み領域５２に合成することにより、あたかもユーザ画像のネガフィルムを撮影したような画像を作成することができ、利用価値の高い年賀状を作成することができる。

図１７は、立体物（現像後の写真）の斜視図の斜面（現像面）にユーザ画像を合成する画像処理の一例である。この場合、複数のユーザ画像５３を順に嵌め込み領域５２に合成することにより、あたかもユーザ画像５３の写真を現像した時の状態を撮影したような画像を作成することができ、利用価値の高い年賀状を作成することができる。

図１８は、立体物（宇宙服を着た人）の斜視図の斜面（ヘルメット面）にユーザ画像を合成する画像処理の一例である。この場合、ユーザ画像５３をトリミングして嵌め込み領域５２に合成し、ユーザ画像５３の境界を目立たなくすると共に、ヘルメットの横のライトから発する光をヘルメットで反射させることにより、あたかも宇宙服を着用したユーザを撮影したような画像を作成することができ、利用価値の高い年賀状を作成することができる。

図１９は、立体物（机の上のフォトスタンド）の斜視図の斜面（写真取り付け面）にユーザ画像を合成する画像処理の一例である。この場合、ユーザ画像５３を嵌め込み領域５２に合成すると共に、机の表面でユーザ画像を反射させることにより、あたかもユーザ画像の写真を取り付けたフォトスタンドを撮影した画像を作成することができ、利用価値の高い年賀状を作成することができる。

以上、説明したように、立体物の斜視図の斜面内の嵌め込み領域にユーザ画像を合成する際に、嵌め込み領域を、正面から見た時の領域を表す矩形枠に変換し、矩形枠とユーザ画像とを別々のレイヤーに表示することによって、矩形枠に対してユーザ画像の移動、拡大／縮小、回転などの加工を行い、加工後のユーザ画像の矩形枠の四隅に対応する４点の座標と嵌め込み領域の四隅の４点の座標とを対応付けてユーザ画像の各画素の座標変換を行うことにより、ユーザ画像を嵌め込み領域と同じ形状の画像に変換し、変換したユーザ画像を嵌め込み領域に嵌め込んで合成画像を生成し、更に、合成画像に対して、ユーザ画像とテンプレート画像との境界近傍領域の濃度や色味、光沢などの画質を徐々に変化させて境界を目立たなくしたり、嵌め込み領域に発光物からの光の反射を反映、又は、嵌め込み領域近傍の反射物にユーザ画像の映り込みを反映する画像処理を行ったりすることにより、立体物の斜視図の斜面内に設けた嵌め込み領域を含むテンプレート画像の当該嵌め込み領域にユーザが提供する画像を嵌め込み合成する場合であっても、テンプレート画像とユーザが提供する画像とを違和感なく合成することができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。

例えば、上記実施例では、ユーザが提供する画像として、人物を撮影した画像を例にして説明したが、人物以外を撮影した画像（例えば、風景画像）や、インターネットなどから取得した画像などの任意の画像に対して、本発明の画像処理方法を同様に適用することができる。

また、上記実施例では、年賀状を作成するための画像処理について説明したが、アルバムなどを作成するための画像処理などに対しても本発明の画像処理方法を同様に適用することができる。

本発明は、ユーザ画像を、立体物の斜視図を含むテンプレート画像の当該立体物の斜面に嵌め込んで合成する画像処理方法及び画像処理プログラム並びに当該画像処理プログラムを記録した記録媒体に利用可能である。

１０ 画像処理システム
２０ ユーザ端末
２１ 制御部
２１ａ Ｗｅｂ画面表示制御部
２１ｂ Ｗｅｂ画面操作制御部
２１ｃ ユーザ画像加工部
２１ｄ 出力データ生成部
２２ ＣＰＵ
２３ ＲＯＭ
２４ ＲＡＭ
２５ 記憶部
２６ ネットワークＩ／Ｆ部
２７ 表示部
２８ 操作部
３０ サーバ
３１ 制御部
３１ａ Ｗｅｂ画面作成部
３１ｂ 画像変換部
３１ｃ 画像合成部
３１ｄ エフェクト処理部
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
３５ 記憶部
３６ ネットワークＩ／Ｆ部
４０ デザイナ端末
５０ Ｗｅｂ画面
５１ テンプレート画像
５２ 嵌め込み領域
５２ａ 矩形枠
５３ ユーザ画像
５４ａ 移動指示マーク
５４ｂ 拡大／縮小指示マーク
５４ｃ 回転指示マーク
５５ 合成画像

Claims (6)

1. ユーザが提供する第１画像と、立体物の斜視図の斜面に前記第１画像を嵌め込むための１又は複数の嵌め込み領域を含む第２画像と、を合成する画像処理システムにおける画像処理方法であって、
   前記画像処理システムは、
   前記第２画像を選択させる第１ステップと、
   選択された前記第２画像の中から、前記嵌め込み領域を選択させる第２ステップと、
   予め登録された前記第１画像の中から、選択された前記嵌め込み領域に嵌め込む前記第１画像を選択させる第３ステップと、
   選択された前記嵌め込み領域を、前記斜面を正面から見た時の領域を表す矩形枠に変換して第１レイヤーに表示すると共に、選択された前記第１画像を、前記第１レイヤーとは異なる第２レイヤーに重畳表示し、前記矩形枠を基準にして、前記第１画像を加工可能にする第４ステップと、
   前記矩形枠の四隅に対応する前記第１画像の４点の座標を特定し、前記第１画像の４点の座標と前記第２画像における前記嵌め込み領域の四隅の４点の座標とに基づいて、加工後の前記第１画像を前記嵌め込み領域に嵌め込む第５ステップと、
   加工後の前記第１画像を前記嵌め込み領域に嵌め込んだ前記第２画像を出力する第６ステップと、を実行する、
   ことを特徴とする画像処理方法。
2. 前記第４ステップでは、前記第１画像に対して、移動、拡大／縮小、回転、濃度調整、カラー調整の少なくとも１つの処理を行い、
   前記第５ステップでは、前記第１画像の前記４点の座標と、前記第２画像における前記嵌め込み領域の四隅の４点の座標と、を対応付けて前記第１画像の各画素の座標変換を行うことにより、前記第１画像を前記嵌め込み領域と同じ形状の画像に変換する、
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記第５ステップでは、前記第１画像を前記嵌め込み領域に嵌め込む際、又は、前記第１画像を前記嵌め込み領域に嵌め込んだ後に、前記第１画像と前記第２画像との境界の近傍領域に対して、前記境界を目立たなくする画像処理を行う、
   ことを特徴とする請求項２に記載の画像処理方法。
4. 前記第５ステップでは、前記第２画像の前記嵌め込み領域近傍に発光物又は反射物の画像が存在する場合は、前記第１画像を嵌め込んだ前記嵌め込み領域に前記発光物からの光の反射を反映、又は、前記嵌め込み領域近傍の前記反射物に前記第１画像の映り込みを反映させる画像処理を行う、
   ことを特徴とする請求項３に記載の画像処理方法。
5. ユーザが提供する第１画像と、立体物の斜視図の斜面に前記第１画像を嵌め込むための１又は複数の嵌め込み領域を含む第２画像と、を合成するサーバで動作する画像処理プログラムであって、
   前記サーバに、
   予め選択された前記第２画像及び当該第２画像の中の前記嵌め込み領域を特定する情報と、予め選択された前記第１画像の画像データと、前記嵌め込み領域を前記斜面の正面から見た時の矩形枠の四隅に対応する前記第１画像の４点の座標と、を取得する入力処理、
   前記第１画像の４点の座標と前記第２画像における前記嵌め込み領域の四隅の４点の座標とを対応付けて前記第１画像の各画素の座標変換を行うことにより、前記第１画像を前記嵌め込み領域と同じ形状の画像に変換する画像変換処理、
   前記第２画像の前記嵌め込み領域に、変換した前記第１画像を合成する画像合成処理、
   前記嵌め込み領域に嵌め込んだ前記第１画像と前記第２画像との境界を目立たなくするエフェクト処理、
   前記エフェクト処理後の前記第２画像を出力する出力処理、を実行させる、
   ことを特徴とする画像処理プログラム。
6. 前記エフェクト処理では、前記第２画像の前記嵌め込み領域近傍に発光物又は反射物の画像が存在する場合は、前記第１画像を嵌め込んだ前記嵌め込み領域に前記発光物からの光の反射を反映、又は、前記嵌め込み領域近傍の前記反射物に前記第１画像の映り込みを反映させる、
   ことを特徴とする請求項５に記載の画像処理プログラム。

Images