JP4168800B2 - 画像配信装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラ付携帯端末などにおいて撮影された撮影画像に応じた画像を配信するための画像配信装置に関する。
【０００２】
【従来の技術】
従来、各種のスチルカメラやビデオカメラにおいて、撮影した画像に対し他の画像を合成して表示あるいは印刷して出力するものがある。
【０００３】
例えば撮影フレームの固定した位置に予め用意された花や人気キャラクタなどのアニメ画像を合成して出力するものや、同予め用意されたアニメ画像を撮影フレーム内の希望の位置に合成して出力するものなどが実用されている。
【０００４】
また、デジタルカメラにより撮影された画像をパーソナルコンピュータの表示画面上に表示させて他の画像と合成して編集することもできるが、この場合に他の画像は例えば他の画像ファイルから選択的に切り出したり、インターネット上の任意のホームページ画面からダウンロードしたりするなどして取得され、撮影画像上の希望位置に合成される。
【０００５】
また、デジタルカメラにより撮影された画像の任意の領域（例えば顔の部分）を切り出し、この切り出し画像を予め用意されたアニメ画像（例えばアニメキャラクタの顔部分）に合成させて新たな別の画像を作成するものや、任意の画像の指定した領域に対して、これに関連付けたアニメ画像を合成するものも考えられている。（例えば、特許文献１参照。）
【０００６】
【特許文献１】
特開２００１−２３０９７２号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、このような従来の画像処理システムでは、撮影画像に対して、予め用意された画像をそのまま固定あるいは希望の位置に合成して出力したり、あるいは任意の切り出し画像に対して予め用意された画像を合成して出力したりするだけのものであるため、撮影画像以外の合成画像が常に固定的で変化が無く、またインターネットから多様な画像をダウンロードして利用するにしても、撮影画像とは関係のない単なる飾りでしかないため、面白味に欠け飽きが来やすい問題がある。
【０００８】
本発明は、前記のような問題に鑑みてなされたもので、端末での撮影画像に対して単に固定的な画像を合成配信するのではなく、当該撮影画像中の物体（例えば人物）像に対応した画像を合成して配信することが可能になる画像配信装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
すなわち、本発明の請求項１に係る画像配信装置では、端末から撮影画像と当該撮影画像に対する対象範囲を受信する撮影画像受信手段と、この撮影画像受信手段により受信された撮影画像の対象範囲の画像に応じた対応画像を取得する対応画像取得手段と、この対応画像取得手段により取得された対応画像を前記撮影画像に合成する画像合成手段と、この画像合成手段により合成された画像を送信する合成画像送信手段とを備え、前記対応画像取得手段は、複数のモデル画像と複数の対応画像とを対応付けて記憶する対応画像記憶手段と、前記撮影画像受信手段により受信された撮影画像の対象範囲に対応する画像と前記対応画像記憶手段により記憶された各モデル画像との類似度を評価する類似度評価手段とを有し、この類似度評価手段により評価された対象範囲に対応する画像と各モデル画像との類似度に応じて当該対象範囲の画像に応じたモデル画像に対応付けられて前記対応画像記憶手段により記憶された対応画像を取得することを特徴とする。
【００１０】
請求項１に係る画像配信装置によれば、端末による撮影画像上で設定した対象範囲に対応する画像に応じたまね画像などの対応画像を取得して、当該撮影画像に合成した画像を得ることができる。そればかりでなく、撮影画像の対象範囲に対応する人物などの被写体画像と類似度の高い（よく似た）画像を、モデル画像を用いた類似度評価により、合成すべき対応画像として容易且つ確実に取得できることになる。
【００１１】
また、本発明の請求項２に係る画像配信装置では、前記請求項１に係る画像配信装置にあって、撮影画像受信手段により受信される撮影画像の対象範囲は、端末において当該撮影画像に対し任意に設定された画像の範囲とされる。
【００１２】
これによれば、合成すべき対応画像の基準となる撮影画像上の対象範囲を、任意の被写体などに合わせて設定できることになる。
【００１３】
また、本発明の請求項３に係る画像配信装置では、前記請求項２に係る画像配信装置にあって、撮影画像の対象範囲は楕円であり、その大きさ，形状は任意に変更されて設定される。
【００１４】
これによれば、合成すべき対応画像の基準となる撮影画像上の対象範囲を大きさ，形状自在な楕円として、任意の人物像などに容易に合わせて設定できることになる。
【００１５】
また、本発明の請求項４に係る画像配信装置では、前記請求項１乃至請求項３の何れか１項に係る画像配信装置にあって、輪郭ブロック抽出手段により、前記撮影画像受信手段により受信された撮影画像から輪郭に対応したブロックが抽出され、この抽出されたブロックのうち、前記対象範囲に対応したブロックの画像が対象画像抽出手段により抽出される。すると、対応画像取得手段では、前記対象画像抽出手段により抽出された画像に応じた対応画像が合成すべき対応画像として取得される。
【００１６】
これによれば、撮影画像上の対象範囲に存在する被写体などの輪郭ブロックの画像に応じた対応画像を取得して合成できることになる。
【００３９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００４０】
（第１実施形態）
図１は本発明の実施形態に係る画像配信システムにおける画像配信サーバ１０の電子回路の構成を示すブロック図である。
【００４１】
図２は前記画像配信システムにおける端末装置２０の電子回路の構成を示すブロック図である。
【００４２】
この画像配信システムは、画像配信サーバ１０からインターネット，Bluetooth(R)などの通信ネットワークに接続された携帯電話２０Ａ，携帯端末（ＰＤＡ）２０Ｂ，パーソナルコンピュータ（ＰＣ）２０Ｃ，デジタルカメラ２０Ｄなどの各種の端末装置２０…に対して画像を配信するサービスを行うシステムである。この画像配信サーバ１０は、各端末装置２０（２０Ａ〜２０Ｄ）…において取得された撮影画像中の任意の対象画像に応じた他の画像（例えば撮影画像中の人物画像に応じた（真似た）キャラクタの画像）を該撮影画像に合成して配信する。
【００４３】
図１において、画像配信サーバ１０は、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ(central processing unit)１１が備えられる。
【００４４】
ＣＰＵ１１は、メモリ１２内に予め記憶されたサーバ制御プログラム、あるいはＣＤ−ＲＯＭなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたサーバ制御プログラム、あるいはインターネットＮ上の他のＷｅｂサーバ（この場合はプログラムサーバ）から電送制御部１５を介して前記メモリ１２に読み込まれたサーバ制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたサーバ制御プログラムは、伝送制御部１５を介して接続されるインターネットＮ上の各端末装置２０（２０Ａ〜２０Ｃ）…からの通信信号、あるいは近距離無線通信部１６を介して接続されるデジタルカメラ２０Ｄからの通信信号、あるいはキーやタッチパネルからなる入力部１７からのオペレータ操作に応じた入力信号に応じて起動される。
【００４５】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、近距離無線通信部１６、入力部１７が接続される他に、ＬＣＤやＣＲＴからなる表示部１８などが接続される。
【００４６】
メモリ１２には、当該画像配信サーバ１０の全体の動作を司るシステムプログラムや電送制御部１５を介してインターネットＮ上の各端末装置２０（２０Ａ〜２０Ｃ）…とデータ通信するための通信プログラム、近距離無線通信部１６を介してその通信範囲内に存在するデジタルカメラ２０Ｄとデータ通信するための近距離通信プログラムが記憶される他に、前記電送制御部１５や近距離無線通信部１６を介して通信接続される各端末装置２０（２０Ａ〜２０Ｄ）…から取得された撮影画像に対して当該撮影画像内の任意指定の対象画像に応じた対応画像の生成・合成・配信処理などを行うための画像配信処理プログラム１２ａなどが記憶される。
【００４７】
また、このメモリ１２には、モデルポーズ画像メモリ１２ｂ、修正モデルポーズ画像メモリ１２ｃ、キャラ１「ウサギ」ポーズ画像メモリ１２ｄ、キャラ２「クマ」ポーズ画像メモリ１２ｅ、キャラ３「ネコ」ポーズ画像メモリ１２ｆ、依頼者端末情報メモリ１２ｇが用意され、さらにそのワークエリアには撮影画像メモリ１２ｈや画像処理ワークエリア１２ｉなどが用意される。
【００４８】
図３は前記画像配信サーバ１０のキャラ１「ウサギ」ポーズ画像メモリ１２ｄ：キャラ２「クマ」ポーズ画像メモリ１２ｅ：キャラ３「ネコ」ポーズ画像メモリ１２ｆにそれぞれ記憶された各種のポーズに対応する各キャラクタ画像を示す図である。
【００４９】
このキャラ１「ウサギ」，２「クマ」，３「ネコ」の各ポーズ画像メモリ１２ｄ，１２ｅ，１２ｆに記憶された各キャラクタそれぞれの各種のポーズ画像は、通信接続される外部の各端末装置２０（２０Ａ〜２０Ｄ）からの依頼に伴い入力された撮影画像上の被写体画像（対象画像）のポーズに応じた真似画像として使用されるもので、異なるポーズ毎にそのポーズＮｏ．が対応付けられて記憶される。
【００５０】
図４は前記画像配信サーバ１０のモデルポーズ画像メモリ１２ｂに記憶されたモデルポーズに対応するモデル画像を示す図である。
【００５１】
このモデルポーズ画像メモリ１２ｂに記憶された各種ポーズのモデル画像は、通信接続される外部の各端末装置２０（２０Ａ〜２０Ｄ）…からの依頼に伴い入力された撮影画像上の被写体画像（対象画像）のポーズに応じた類似のモデル画像を取得するために使用されるもので、異なるポーズ毎にそのポーズＮｏ．が対応付けられて記憶され、さらに各ポーズＮｏ．毎に３種のバリエーションＡ，Ｂ，Ｃのモデル画像が記憶される。
【００５２】
そして、前記キャラ１「ウサギ」ポーズ画像メモリ１２ｄ，キャラ２「クマ」ポーズ画像メモリ１２ｅ，キャラ３「ネコ」ポーズ画像メモリ１２ｆにそれぞれ記憶された各キャラクタ画像には、前記モデルポーズ画像メモリ１２ｂに記憶された全てのポーズＮｏ．（Ｎｏ．1A,1B,1C、2A,2B,2C、〜、nA,nB,nC）に対応する同じポーズのキャラクタ画像が用意されて記憶される。
【００５３】
修正モデルポーズ画像メモリ１２ｃに記憶される修正モデル画像は、まず図４のポーズＮｏ．2Aで示した全身ポーズの標準モデル画像が、標準外の被写体画像（対象画像）に合わせて縦横修正され、ポーズＮｏ．2Aに対応する修正モデル画像として得られるもので、このポーズＮｏ．2Aに対応する修正モデル画像の修正比（修正バランス）に従って他の各ポーズに対応する前記全ての標準モデル画像が修正され、当該修正モデルポーズ画像メモリ１２ｃに記憶される。
【００５４】
依頼者端末情報メモリ１２ｇには、当該画像配信サーバ１０に対して画像配信会員の登録依頼のあった端末装置２０（２０Ａ〜２０Ｄ）…それぞれの通信取引個人情報として、各端末ＩＤ，銀行口座番号，パスワードなどが記憶され、会員登録される。
【００５５】
撮影画像メモリ１２ｈには、通信接続された外部の各端末装置２０（２０Ａ〜２０Ｄ）…から入力された撮影画像データがその撮影画像単位で一時記憶される。
【００５６】
画像処理ワークエリア１２ｉには、前記画像配信処理プログラム１２ａに従い処理される画像データがその画像処理に応じて一時記憶される。
【００５７】
図２において、端末装置２０は、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ(central processing unit)２１が備えられる。
【００５８】
ＣＰＵ２１は、メモリ２２内に予め記憶された端末制御プログラム、あるいはＣＤ−ＲＯＭやＲＯＭカードなどの外部記録媒体２３から記録媒体読取部２４を介して前記メモリ２２に読み込まれた端末制御プログラム、あるいはインターネットＮ上のＷｅｂサーバ（この場合はプログラムサーバ）から電送制御部２５を介して前記メモリ２２に読み込まれた端末制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ２２に記憶された端末制御プログラムは、キーやタッチパネルからなる入力部２６からのユーザ操作に応じた入力信号、あるいは画像入力部２７ａを介してデジタルカメラ（部）３２から入力される画像信号、あるいは電送制御部２５を介して接続されるインターネットＮ上の画像配信サーバ１０など各Ｗｅｂサーバとの通信信号、あるいは近距離無線通信部２８を介して接続される画像配信サーバ１０との通信信号、あるいはＧＰＳ(global positioning system)２９からの本端末装置２０の移動に応じた現在位置検出信号に応じて起動される。
【００５９】
前記ＣＰＵ２１には、前記メモリ２２、記録媒体読取部２４、電送制御部２５、入力部２６、画像入力部２７ａ、近距離無線通信部２８、ＧＰＳ２９が接続される他に、ＬＣＤからなる表示部３０、画像出力部２７ｂを介した画像印刷機３１などが接続される。
【００６０】
画像入力部２７は、外部接続されたデジタルカメラ３２あるいは内蔵されたデジタルカメラ（部）３２からの撮影画像データを入力するもので、例えば本端末装置２０がケータイ電話２０Ａや携帯端末装置（ＰＤＡ）２０Ｂ，デジタルカメラ２０Ｄである場合には内蔵されたデジタルカメラ部３０からの撮影画像データが入力され、パーソナルコンピュータ（ＰＣ）２０Ｃである場合には外部接続されたデジタルカメラ３２からの撮影画像データが入力される。
【００６１】
画像出力部２７ｂは、前記画像入力部２７ａから入力された撮影画像データや当該撮影画像に基づいて前記画像配信サーバ１０に依頼して画像処理され配信された画像データを出力するもので、この出力画像データは画像印刷機３１に出力されて印刷が行われる。
【００６２】
メモリ２２には、当該端末装置２０（２０Ａ〜２０Ｄ）の全体の動作を司るシステムプログラムや電送制御部２５を介してインターネットＮ上にある画像配信サーバ１０などの各Ｗｅｂサーバとデータ通信するための通信プログラム、近距離無線通信部２８を介してその通信範囲内に存在する画像配信サーバ１０とデータ通信するための近距離通信プログラムが記憶される他に、画像入力部２７ａから入力された撮影画像に基づいた前記画像配信サーバ１０への画像処理の依頼処理や当該画像配信サーバ１０から配信された画像データの表示や画像出力部２７ｂを介した印刷処理などを行うための通信・画像処理プログラム２２ａなどが記憶される。
【００６３】
前記メモリ２２のワークエリアには、前記通信・画像処理プログラム２２ａに従い処理される画像データがその画像処理に応じて一時記憶される画像処理ワークエリア２２ｂなどが用意される。
【００６４】
このように構成された画像配信システムについて、その動作概要を説明する。
【００６５】
図５は前記画像配信システムの端末装置２０からの画像配信依頼に基づいた画像配信サーバ１０による左右反転合成モード(4)指定時のキャラクタ画像「ウサギ」による左右反転位置追加合成状態を示す図である。
【００６６】
図５（Ａ）に示すように、端末装置２０において、例えばパートナーとのダンスを予め意識した被写体画像（対象画像）Ｈを撮影し、この撮影画像１２h1について、真似対象の被写体画像範囲Ｔを設定し、画像配信サーバ１０へ左右反転合成モード(4)を選択して画像配信を依頼する。
【００６７】
すると、図５（Ｂ）に示すように、端末装置２０から画像配信依頼された撮影画像１２h1とその真似対象画像範囲Ｔに基づいて被写体画像（対象画像）Ｈが抽出され、左右反転位置追加の真似させるべきキャラクタ画像として「ウサギ」が指定されると、図５（Ｃ）に示すように被写体画像（対象画像）Ｈのポーズに類似のポーズＮｏ．１９「ダンス」の「ウサギ」のキャラクタ画像がキャラ１「ウサギ」ポーズ画像メモリ１２ｄから読み出される。すると、このキャラ１「ウサギ」ポーズ画像メモリ１２ｄから読み出された被写体画像（対象画像）Ｈに類似のポーズＮｏ．１９「ダンス」の「ウサギ」のキャラクタ画像が左右反転され、図５（Ｄ）に示すように撮影画像１２h1上の中心を対称とした被写体（対象画像）Ｈと反転した位置に合成される。そして、この左右反転位置追加の合成画像は、前記画像配信依頼元の端末装置２０へ配信されて表示あるいは印刷出力される。
【００６８】
これにより、画像配信サーバ１０では、端末装置２０での撮影画像１２h1において真似対象画像範囲Ｔを設定したダンスポーズの被写体（対象画像）Ｈの真似をした「ウサギ」のキャラクタ画像が左右反転され、当該撮影画像１２h1上でダンスポーズをする被写体（対象画像）Ｈと左右対称となる位置にダンスパートナーとして追加合成されて端末装置２０に配信される。
【００６９】
図６は前記画像配信システムの端末装置２０からの画像配信依頼に基づいた画像配信サーバ１０による複数回撮影置き換え（別写真合成）モード(2)指定時のキャラクタ画像「クマ」による置き換え合成状態を示す図である。
【００７０】
端末装置２０において、例えば置き換え画像となる「クマ」のキャラクタと被写体となる自分が“さよなら”をしている画像を作成したい場合には、まず図６（Ａ）に示すように、キャラクタにさせたい“さよなら”のポーズで被写体画像（対象画像）Ｈ１を撮影し、この撮影画像１２h2について、真似対象の被写体画像範囲Ｔを設定し、画像配信サーバ１０へ複数回撮影置き換え（別写真合成）モード(2)を指定して画像配信を依頼する。
【００７１】
すると、図６（Ｂ）に示すように、端末装置２０から画像配信依頼された１回目の撮影画像１２h2とその真似対象画像範囲Ｔに基づいて被写体画像（対象画像）Ｈ１が抽出される。そして、置き換えのキャラクタ画像として「クマ」が指定されると、図６（Ｃ）に示すように被写体画像（対象画像）Ｈ１のポーズに類似のポーズＮｏ．１１「さよなら」の「クマ」のキャラクタ画像がキャラ２「クマ」ポーズ画像メモリ１２ｅから読み出される。この場合、現在時刻「ＰＭ８」が検知されて夜であることが判定され、前記「さよなら」のポーズの「クマ」のキャラクタ画像は、例えば月に乗った夜用のキャラクタ画像１２e11Nとして読み出される。
【００７２】
つぎに図６（Ｄ）に示すように、前記１回目の被写体画像（対象画像）Ｈ１に対応した相手方となるポーズの被写体画像Ｈ２を端末装置２０にて撮影すると、この撮影した２回目の撮影画像１２h2′に対して、図６（Ｅ）に示すように、前記キャラ２「クマ」ポーズ画像メモリ１２ｅから読み出された１回目の被写体画像（対象画像）Ｈ１に類似のポーズＮｏ．１１「さよなら」の夜時間用の「クマ」のキャラクタ画像が合成される。そして、この複数回撮影置き換え（別写真合成）による合成画像は、前記画像配信依頼元の端末装置２０へ配信されて表示あるいは印刷出力される。
【００７３】
これにより、画像配信サーバ１０では、端末装置２０による１回目の撮影画像１２h2において真似対象画像範囲Ｔを設定した被写体（対象画像）Ｈ１の真似をした「さよなら」のキャラクタ画像が、同端末装置２０による２回目の撮影画像１２h2′において撮影された被写体（対象画像）Ｈ２に合わせて合成され、当該端末装置２０へ配信される。
【００７４】
図７は前記画像配信システムの端末装置２０からの画像配信依頼に基づいた画像配信サーバ１０による被写体選択置き換えモード(1)指定時のキャラクタ画像「ウサギ」による置き換え合成状態を示す図である。
【００７５】
図７（Ａ）に示すように、端末装置２０において、例えば３人の人物を含む被写体画像（対象画像）Ｈ１〜Ｈ３を撮影し、この撮影画像１２h3について、真似対象の被写体画像範囲Ｔを設定し、画像配信サーバ１０へ被写体選択置き換えモード(1)を指定して画像配信を依頼する。
【００７６】
すると、画像配信サーバ１０では、図７（Ｂ）に示すように、端末装置２０から画像配信依頼された撮影画像１２h3とその真似対象画像範囲Ｔに基づいて置き換えの対象となる被写体画像（対象画像）Ｈ１が抽出され、置き換えのキャラクタ画像として「ウサギ」が指定されると、図７（Ｃ）に示すように被写体画像（対象画像）Ｈ１のポーズに類似のポーズＮｏ．１「はいチーズ（アップ）」の「ウサギ」のキャラクタ画像がキャラ１「ウサギ」ポーズ画像メモリ１２ｄから読み出される。
【００７７】
一方、図７（Ｄ）（Ｅ）（Ｆ）に示すように、撮影画像１２h3から前記真似対象画像範囲Ｔに対応した被写体画像（対象画像）Ｈ１を含めた３つの被写体画像Ｈ２，Ｈ３を切り出した撮影背景画像１２h3′が生成される。
【００７８】
すると、図７（Ｇ）に示すように、前記キャラ１「ウサギ」ポーズ画像メモリ１２ｄから読み出された指定の被写体画像（対象画像）Ｈ１に類似の「ウサギ」のキャラクタ画像と、前記撮影画像１２h3から切り出された残り２つの被写体画像Ｈ２，Ｈ３が、前記撮影背景画像１２h3′に対しその撮影距離が遠い順に各被写体位置に対応して合成される。そして、この被写体選択置き換えによる合成画像は、前記画像配信依頼元の端末装置２０へ配信されて表示あるいは印刷出力される。
【００７９】
これにより、画像配信サーバ１０では、端末装置２０による撮影画像１２h3において真似対象画像範囲Ｔを設定した被写体（対象画像）Ｈ１のポーズの真似をした「ウサギ」のキャラクタ画像が当該範囲Ｔの被写体（対象画像）Ｈ１と置き換えられて合成され、当該端末装置２０へ配信される。
【００８０】
なお、この動作概要での図示による説明は省略するが、本画像配信システムでの画像処理モードとしては、前記左右反転合成モード(4)、複数回撮影置き換え（別写真合成）モード(2)、被写体選択置き換えモード(1)の他に、背景追加モード(3)がある。
【００８１】
すなわち、端末装置２０において、任意の被写体（対象画像）Ｈを撮影すると共に、この撮影画像１２h3について、真似対象の被写体画像範囲Ｔを設定し、画像配信サーバ１０へ背景追加モード(3)を指定して画像配信を依頼すると、画像配信サーバ１０では、撮影画像１２hnにおいて被写体画像範囲Ｔを設定した被写体（対象画像）Ｈnのポーズの真似をした任意指定のキャラクタ画像が当該撮影画像１２hnの背景エリアのランダムな位置に追加合成され、端末装置２０へ配信される。
【００８２】
次に、前記構成による画像配信システムの画像配信サーバ１０及び端末装置２０による詳細な画像配信処理動作について説明する。
【００８３】
ここでは、端末装置２０をデジタルカメラ付の携帯電話２０Ａとして実施した場合について説明する。
【００８４】
図８は前記画像配信システムの端末装置２０であるカメラ付携帯電話２０Ａの外観構成を示す正面図である。
【００８５】
図９は前記画像配信システムのカメラ付携帯電話２０Ａによる画像処理「まねキャラ工房」での新規作成処理に伴う操作表示状態（その１）を示す図である。
【００８６】
図１０は前記画像配信システムのカメラ付携帯電話２０Ａによる画像処理「まねキャラ工房」での新規作成処理に伴う操作表示状態（その２）を示す図である。
【００８７】
図１１は前記画像配信システムのカメラ付携帯電話２０Ａによる画像処理「まねキャラ工房」での新規作成処理に伴う操作表示状態（その３）を示す図である。
【００８８】
図１２は前記画像配信システムのカメラ付携帯電話２０Ａによる画像処理「まねキャラ工房」での新規作成処理（その１）を示すフローチャートである。
【００８９】
図１３は前記画像配信システムのカメラ付携帯電話２０Ａによる画像処理「まねキャラ工房」での新規作成処理（その２）を示すフローチャートである。
【００９０】
図１４は前記画像配信システムの画像配信サーバ１０による画像処理「まねキャラ工房」の新規作成に対応したサーバ処理（その１）を示すフローチャートである。
【００９１】
図１５は前記画像配信システムの画像配信サーバ１０による画像処理「まねキャラ工房」の新規作成に対応したサーバ処理（その２）を示すフローチャートである。
【００９２】
まず、カメラ付携帯電話２０Ａにおいて、入力部２６の操作に応じて電送制御部２５または近距離無線通信部２８を介しインターネットＮ上または近距離無線通信範囲にある画像配信サーバ１０の画像処理サイト「まねキャラ工房」と接続されると、図９（Ａ）に示すように、「まねキャラ工房」の初期メニュー画面Ｇが受信表示される。
【００９３】
この「まねキャラ工房」の初期メニュー画面Ｇにおいて、入力部２６の選択決定キー２６Ａを操作して「サンプル」を選択し決定（ＯＫ）すると、図９（Ａ１）（Ａ２）に示すように、各種の画像合成モード「置き換え合成モード」(1)・「別写真合成モード」(2)・「背景追加合成モード」(3)・「左右反転合成モード」(4)に応じたサンプル画面Ｇｓ１，Ｇｓ２，…が、それぞれ選択決定キー２６Ａの左右キー操作に従って選択的に受信表示される。
【００９４】
また、図９（Ｂ）に示すように、「まねキャラ工房」の初期メニュー画面Ｇにおいて、入力部２６の選択決定キー２６Ａを操作して「作り方説明」を選択し決定（ＯＫ）すると、図９（Ｂ１）に示すように、当該「まねキャラ工房」の作り方説明画面Ｇｍが受信表示される。
【００９５】
この作り方説明画面Ｇｍでは、当該「まねキャラ工房」による合成画像の作り方が、例えば「▲１▼写真を選びます。」「▲２▼まねさせる対象（人）の画像範囲を指定し登録します。」「▲３▼キャラクタを選びます。」「▲４▼まねキャラの交換（合成）方法を選びます。」「▲５▼完成したまねキャラ画像はダウンロードしたり友達に送ることができます。」として表示される。
【００９６】
また、図９（Ｃ）に示すように、「まねキャラ工房」の初期メニュー画面Ｇにおいて、入力部２６の選択決定キー２６Ａを操作して「会員登録／ご利用規約」を選択し決定（ＯＫ）すると、図９（Ｃ１）に示すように、会員登録画面Ｇｒが受信表示される。
【００９７】
この会員登録画面Ｇｒでは、月額サービス料やキャラクタ画像の利用料などが紹介表示され、さらに数字キー「１」「２」の組み合わせ操作に従って、図９（Ｃ２）に示すような利用規約画面Ｇｒ１、図９（Ｃ３）に示すような登録承諾画面Ｇｒ２が受信表示される。
【００９８】
この会員登録画面Ｇｒに従った会員登録操作を行うと、画像配信サーバ１０の依頼者端末情報メモリ１２ｇに対して、当該端末ユーザに対応した端末ＩＤ，パスワード，銀行口座番号などの会員個人情報が登録される。
【００９９】
会員登録後のカメラ付携帯電話２０Ａで、図１０（Ｄ）に示すように、「まねキャラ工房」の初期メニュー画面Ｇにおいて、入力部２６の選択決定キー２６Ａを操作して「新規作成」を選択し決定（ＯＫ）すると、画像配信サーバ１０の画像処理サイト「まねキャラ工房」に対して、当該端末ユーザのＩＤ及びパスワードが送信される（ステップＡ１）。
【０１００】
そして、図１０（Ｅ）に示すように、当該携帯電話２０Ａにより撮影されて画像処理ワークエリア２２ｂに記録されている撮影画像の中から、「まねキャラ工房」での作成対象としたい写真をユーザ選択させるための写真選択ガイド画面Ｇ１が表示される（ステップＡ２）。
【０１０１】
この写真選択ガイド画面Ｇ１では、入力部２６の選択決定キー２６Ａの左右キー操作に従って、例えば図１０（Ｅ１）（Ｅ２）に示すように、画像処理ワークエリア２２ｂに記録されている撮影画像ｐ１，ｐ２，…が順次読み出されて表示される（ステップＡ３→Ａ４）。
【０１０２】
ここで、例えば図１０（Ｅ２）で示したように表示された撮影画像ｐ２を選択して決定（ＯＫ）すると（ステップＡ５）、図１０（Ｆ）に示すように、選択された撮影画像ｐ２上でまね対象とすべき被写体（この場合は人物）の画像範囲Ｔをユーザ選択により設定するための範囲選択ガイド画面Ｇ２が表示される（ステップＡ６）。
【０１０３】
この範囲選択ガイド画面Ｇ２では、入力部２６の選択決定キー２６Ａを上下左右操作するのに伴い、図１０（Ｆ１）（Ｆ２）に示すように撮影画像ｐ２の表示された範囲設定画面Ｇｐ２において、楕円形の真似対象画像範囲Ｔが上下左右に自在に移動表示され（ステップＡ７→Ａ８）、また、数字キーである「２」２６Ｕ，「８」２６Ｄ，「４」２６Ｌ，「６」２６Ｒを操作するのに伴い、当該真似対象画像範囲Ｔの楕円形サイズが上下左右方向に伸縮変更表示される（ステップＡ７→Ａ９）。
【０１０４】
ここで、例えば図１０（Ｆ２）で示したように表示された範囲設定画面Ｇｐ２上での真似対象画像範囲Ｔの選択設定状態において、入力部２６の選択決定キー２６Ａにより決定（ＯＫ）操作すると、「まねキャラ工房」の作成対象として選択された撮影画像ｐ２に対する真似対象画像範囲Ｔが設定され（ステップＡ７→Ａ１０）、当該選択された撮影画像ｐ２とその真似対象画像範囲Ｔのデータが画像配信サーバ１０へ送信される（ステップＡ１１）。
【０１０５】
画像配信サーバ１０において、インターネットＮから電送制御部１５を介して接続されたカメラ付携帯電話２０Ａまたは近距離無線通信部１６を介して接続されたカメラ付携帯電話２０ＡからのＩＤ及びパスワードが受信されると（ステップＢ１）、メモリ１２内の依頼者端末情報メモリ１２ｇに会員登録された端末ＩＤのパスワードとの一致／不一致に応じて端末“ＯＫ”か“ＮＧ”が判断される（ステップＢ２）。
【０１０６】
ここで、前記接続されたカメラ付携帯電話２０Ａのパスワードと、予め会員登録された端末ＩＤのパスワードとが不一致となり、端末“ＮＧ”と判断された場合には、当該カメラ付携帯電話２０Ａとの接続が遮断され、エラー処理が行われる（ステップＢ２→Ｎｏ）。
【０１０７】
この画像配信サーバ１０において、端末“ＯＫ”と判断された後、当該端末“ＯＫ”と判断された接続中のカメラ付携帯電話２０Ａから撮影画像ｐ２とその真似対象画像範囲Ｔのデータが受信されると、この受信された撮影画像ｐ２とその真似対象画像範囲Ｔのデータは撮影画像メモリ１２ｈに登録される（ステップＢ２→Ｂ３）。
【０１０８】
すると、前記受信された撮影画像ｐ２とその真似対象画像範囲Ｔに応じて追加あるいは置き換え合成すべき対応アニメ画像の候補となる各キャラクタの基本画像１２ｄ▲１▼〜１２ｆ▲１▼が、キャラクタ１「ウサギ」ポーズ画像メモリ１２ｄ〜キャラクタ３「ネコ」ポーズ画像メモリ１２ｆから読み出され、各キャラクタ毎の利用情報と共に、キャラクタ一覧情報・画像データとして携帯電話２０Ａへ送信される（ステップＢ４）。
【０１０９】
携帯電話２０Ａにおいて、前記画像配信サーバ１０から送信されたキャラクタ一覧情報・画像データが受信されると（ステップＡ１２）、図１１（Ｇ）に示すように、当該受信された各キャラクタの中から対応アニメ画像として合成すべき任意のキャラクタをユーザ選択させるためのキャラクタ選択画面Ｇ３が表示される（ステップＡ１３）。
【０１１０】
このキャラクタ選択画面Ｇ３では、入力部２６の選択決定キー２６Ａの左右キー操作に従って、例えば図１１（Ｇ１）（Ｇ２）に示すように、前記画像配信サーバ１０から受信された各キャラクタ情報とその画像が、各キャラクタ毎のキャラクタ紹介画面Ｇｃ１，Ｇｃ２，…として順次切り替えられて表示される（ステップＡ１４→Ａ１５）。なお、各キャラクタ情報としては、キャラクタに応じた著作料などの利用料が、所定の利用回数毎の金額、月極など所定期間毎の一括払い金額などとして表示される。
【０１１１】
ここで、例えば図１１（Ｇ１）で示した「ウサギ」のキャラクタ紹介画面Ｇｃ１において、入力部２６の選択決定キー２６Ａの右キー操作により「決定」ボタンを指定すると、前記撮影画像ｐ２に追加合成または置き換え合成すべきキャラクタの種類「ウサギ」が選択決定され（ステップＡ１４→Ａ１６）、この決定されたキャラクタの種類「ウサギ」が画像配信サーバ１０へ送信される（ステップＡ１７）。
【０１１２】
画像配信サーバ１０において、携帯電話２０Ａから指定送信されたキャラクタの種類「ウサギ」が受信されると（ステップＢ５）、この「まねキャラ工房」におけるまねキャラ画像合成モード(1)〜(4)をユーザ選択させるためのモード選択画面Ｇ４が生成され、携帯電話２０Ａへ送信される（ステップＢ６）。
【０１１３】
携帯電話２０Ａにおいて、前記画像配信サーバ１０から生成送信されたモード選択画面Ｇ４が受信されると、例えば図１１（Ｈ）に示すように、これまでにユーザ選択した撮影画像ｐ２とその真似対象画像範囲Ｔおよびこれに応じて合成すべきキャラクタの基本画像１２d(n)と共に、まねキャラ画像合成モード(1)〜(4)を一覧にしたモード選択画面Ｇ４が表示される（ステップＡ１８）。
【０１１４】
そして、例えば前記図１１（Ｈ）で示したモード選択画面Ｇ４において、数字キー「１」の操作によりまねキャラ置き換え合成モード(1)が選択設定されると（ステップＡ１９→Ａ２０）、この選択されたまねキャラ置き換え合成モードの番号(1)が画像配信サーバ１０へ送信される（ステップＡ２１）。
【０１１５】
画像配信サーバ１０において、前記携帯電話２０Ａから送信されたまねキャラ置き換え合成モードの番号(1)が受信されると（ステップＢ７）、図１６における対象画像抽出処理へ移行される（ステップＢＣ）。
【０１１６】
図１６は前記画像配信システムの画像配信サーバ１０におけるサーバ処理に伴う対象画像抽出処理を示すフローチャートである。
【０１１７】
この対象画像抽出処理では、まず、前記携帯電話２０Ａから選択受信されてワークエリアの撮影画像メモリ１２ｈに記憶されている撮影画像ｐｎおよびその真似対象画像範囲Ｔ（図１０（Ｆ２）参照）が読み出される（ステップＣ１）。
【０１１８】
すると、この撮影画像メモリ１２ｈから読み出された撮影画像ｐｎから当該画像データ中で隣接する輝度値や色差値などに基づき、該撮影画像に含まれる各物体（被写体）それぞれの輪郭に対応した各被写体ブロックが抽出され（ステップＣ２）、これにより抽出された各被写体画像Ｈnがそのブロック毎に画像処理ワークエリア１２ｉに保存される（ステップＣ３）。
【０１１９】
こうして、撮影画像ｐｎから当該撮影画像ｐｎに含まれる各被写体画像Ｈnがそのブロック毎に抽出されて画像処理ワークエリア１２ｉに保存されると（ステップＢＣ）、このブロック化された各被写体画像Ｈnについて、前記真似対象画像範囲Ｔと最も合致するブロック領域の被写体画像Ｈnが真似対象画像として抽出設定される（ステップＢ８）。
【０１２０】
そして、前記真似対象となる被写体画像Ｈnが抽出設定されると、図１７における対応アニメ画像（まね画像）取得処理に移行される（ステップＢＤ）。
【０１２１】
図１７は前記画像配信システムにおける画像配信サーバ１０のサーバ処理に伴う対応アニメ画像取得処理を示すフローチャートである。
【０１２２】
この対応アニメ画像取得処理では、まず、前記撮影画像ｐｎからその真似対象画像範囲Ｔに応じて抽出され、真似対象画像として設定された被写体画像Ｈnとモデルポーズ画像メモリ１２ｂに記憶されている各ポーズのモデル画像との類似度が評価され（ステップＤＥ）、最も類似度の高いポーズのモデル画像のポーズＮｏ．に対応する選択された種類のキャラクタ画像Ａが第１の合成画像として設定される（ステップＤ１）。
【０１２３】
そして、次に類似度の高いポーズのモデル画像が存在する場合には、当該次に類似度の高い各モデル画像毎に、そのそれぞれの各ポーズＮｏ．に対応する選択種類のキャラクタ画像Ａが順番に第２，第３，…の合成画像として設定される（ステップＤ２→Ｄ４）。
【０１２４】
この後、前記真似対象画像として設定された被写体画像Ｈnと順次類似度の高いポーズのモデル画像の全てに対応して、選択種類のキャラクタ画像Ａが合成画像として設定されると、この被写体画像Ｈnとの類似度の高い順に設定された各ポーズＮｏ．それぞれのキャラクタ画像が真似対象画像に対応するアニメ画像として類似度順に登録される（ステップＤ２→Ｄ３）。
【０１２５】
このように、画像配信サーバ１０における対応アニメ画像取得処理では、携帯電話２０Ａによる撮影画像ｐｎから範囲Ｔに応じて抽出設定された真似対象画像としての被写体画像Ｈnに対し、人物の基本モデルである各ポーズ毎のモデル画像との類似度が評価され、これに基づき被写体画像Ｈnを真似たポーズのキャラクタとして追加または置き換えられる選択された種類のキャラクタ画像が類似度順に決定される。
【０１２６】
この場合、範囲Ｔで設定した真似対象画像としての被写体画像Ｈnに対し、選択された種類のキャラクタの各ポーズ毎のキャラクタ画像との類似度を直接評価して追加または置き換えのキャラクタ画像を決定する場合に比較して、各ポーズ毎のモデル画像との類似度を評価し選択されたモデルポーズＮｏ．から追加または置き換えのキャラクタ画像を決定するようにした本対応アニメ画像取得処理の方が、類似度の評価対象に人物モデルを用いることから被写体画像Ｈnとの高い類似度が得られやすく、より類似性（真似度）の高いキャラクタ画像を取得できる利点がある。
【０１２７】
図１８は前記画像配信システムにおける画像配信サーバ１０のサーバ処理に伴う対応アニメ画像取得処理での真似対象画像との類似度評価処理を示すフローチャートである。
【０１２８】
図１９は前記画像配信サーバ１０の対応アニメ画像取得処理での類似度評価処理に伴うモデル画像との類似度評価例を示す図である。
【０１２９】
例えば図１９（Ａ）に示すように、先頭のポーズＮｏ．のモデル画像が読み出され（ステップＥ１）、同図（Ｘ）で示す真似対象画像Ｈ１との縦・横のサイズが合わされる（ステップＥ２）。
【０１３０】
すると、前記真似対象画像Ｈ１と縦横サイズの合わされたモデル画像との重ね合わせ評価が行われ、その評価値（％）が算出されて当該ポーズのモデル画像との類似度として記憶される（ステップＥ３）。
【０１３１】
ここで、今回の類似度評価対象のポーズＮｏ．のモデル画像が左右非対称の画像であるか否か判断され（ステップＥ４）、例えば図１９（Ａ）で示すように、当該ポーズのモデル画像１２ｂ1Aが左右非対称の画像ではないと判断された場合には（ステップＥ４「Ｎｏ」）、次のポーズＮｏ．のモデル画像が読み出され（ステップＥ８→Ｅ９）、前記同様に真似対象画像Ｈ１と次のポーズのモデル画像との類似度評価処理が繰り返される（ステップＥ２〜Ｅ４）。
【０１３２】
一方、例えば図１９（Ｂ）で示すように、今回の類似度評価対象のポーズＮｏ．19のモデル画像１２ｂ19が左右非対称のモデル画像であると判断された場合には、当該ポーズＮｏ．19のモデル画像が左右反転され（ステップＥ４→Ｅ５）、図１９（Ｃ）で示すように、この反転されたモデル画像１２ｂ19Rについて真似対象画像Ｈ１との縦・横のサイズが合わされる（ステップＥ６）。
【０１３３】
すると、前記真似対象画像Ｈ１と縦横サイズの合わされた反転モデル画像１２ｂ19Rとの重ね合わせ評価が行われ、その評価値（％）が算出されて当該ポーズの反転モデル画像１２ｂ19Rとの類似度として記憶される（ステップＥ７）。
【０１３４】
この後、次のポーズＮｏ．のモデル画像がある場合には（ステップＥ８）、当該次のポーズＮｏ．のモデル画像が順次読み出され（ステップＥ９）、前記同様に真似対象画像と各ポーズ毎のモデル画像との類似度評価処理が繰り返される（ステップＥ２〜Ｅ７）。
【０１３５】
これにより、例えば図１９で示したように、被写体画像（対象画像）Ｈ１に対してモデル画像との類似度評価を行った場合には、ポーズＮｏ．19に対応するモデル画像１２ｂ19が最も類似度の高いポーズのモデル画像として評価される。
【０１３６】
このように、前記図１７〜図１９を参照して説明した対応アニメ画像取得処理（ステップＢＤ）によって、撮影画像ｐｎとその範囲Ｔから抽出設定された真似対象画像としての被写体画像Ｈnを真似たポーズの選択種類のキャラクタ画像が決定されると、携帯電話２０Ａからの合成画像作成依頼の待機状態となる（ステップＢ９）。
【０１３７】
携帯電話２０Ａにおいて、前記選択されたまねキャラ置き換え合成モードの番号(1)が画像配信サーバ１０へ送信された後（ステップＡ２１）、その合成画像作成依頼が画像配信サーバ１０へ送信されると（ステップＡ２２）、画像配信サーバ１０において、前記携帯電話２０Ａから送信された合成画像作成依頼が受信され（ステップＢ９）、前記対応アニメ画像取得処理（ステップＢＤ）に従い取得された第１類似度のまねキャラクタ画像が読み出される（ステップＢ１０）。
【０１３８】
すると、前記携帯電話２０Ａから選択受信された画像の合成モード番号が、番号１「置き換え合成モード」，番号２「別写真合成モード」，番号３「追加合成モード」，番号４「左右反転合成モード」の何れであるか判断される（ステップＢ１１）。
【０１３９】
ここで、携帯電話２０Ａにより指定された画像の合成モードが「置き換え合成モード」(1)であると判断された場合には（ステップＢ１１「番号(1)」）、例えば図７で示したように、前記対応アニメ画像取得処理（図１７参照）により取得されステップＢ１０にて読み出された、撮影画像１２h3において範囲Ｔで設定された真似対象画像である被写体Ｈ１のポーズの真似をした「ウサギ」の第１類似度のキャラクタ画像１２ｄ1が当該被写体（対象画像）Ｈ１と置き換えられて合成され（ステップＢ１２ａ）、この合成画像が携帯電話２０Ａへ送信される（ステップＢ１３）。
【０１４０】
この場合、撮影画像１２h3から前記範囲Ｔで設定された被写体画像（対象画像）Ｈ１を含めた３つの被写体画像Ｈ２，Ｈ３を切り出した撮影背景画像１２h3′が生成される。そして、前記被写体画像（対象画像）Ｈ１に類似の「ウサギ」の第１類似度のキャラクタ画像１２ｄ1と、前記撮影画像１２h3から切り出された残り２つの被写体画像Ｈ２，Ｈ３とは、例えば前記撮影背景画像１２h3′に対しその撮影時に検出された撮影距離が遠い順に各被写体位置に対応して合成される。
【０１４１】
なお、前記被写体画像Ｈ１，Ｈ２，Ｈ３を切り出した背景画像１２h3′の生成をせずに、撮影画像１２h3に対して、前記被写体画像（対象画像）Ｈ１に類似の「ウサギ」のキャラクタ画像１２ｄ1と、残り２つの被写体画像Ｈ２，Ｈ３とを、その撮影時に検出された撮影距離が遠い順に各被写体位置に重ねて合成してもよい。
【０１４２】
携帯電話２０Ａにおいて、例えば前記図１１（Ｈ）で示したモード選択画面Ｇ４において、撮影画像ｐ２について真似対象画像範囲Ｔを設定し、まねキャラの種類として「ウサギ」キャラクタを選択して、置き換え合成モード(1)が選択されていた場合には、前記図７で示したように第１類似度の「ウサギ」のキャラクタ画像１２d1が置き換え合成処理された第１の置き換え合成画像画面Ｇｑ１が、図１１（Ｈ１）に示すように受信表示される（ステップＡ２３）。
【０１４３】
この携帯電話２０Ａにおける第１の置き換え合成画像画面Ｇｑ１の表示状態において、当該置き換え合成表示された第１類似度の「ウサギ」のキャラクタ画像１２d1を次の類似度の「ウサギ」のキャラクタ画像１２dnに替えて再合成表示させるために、さらに「置き換え合成モード」を選択するための数字キー「１」を操作すると、繰り返し前記同様の合成画像作成依頼が画像配信サーバ１０へ送信される（ステップＡ２４→Ａ２２）。
【０１４４】
すると、画像配信サーバ１０では、前記携帯電話２０Ａから繰り返し送信された新たな合成画像作成依頼が受信され（ステップＢ１４→Ｂ９）、前記対応アニメ画像取得処理（ステップＢＤ）に従い取得登録された次の類似度のまねキャラクタ画像が読み出される（ステップＢ１０）。
【０１４５】
そして、ステップＢ１１における再度の置き換え合成モード(1)の判断に応じて、ステップＢ１２ａでの置き換え合成処理が繰り返し行われることで、例えば前記図７における撮影画像１２h3において設定された真似対象画像である被写体Ｈ１のポーズの真似をした「ウサギ」の第２類似度のキャラクタ画像１２ｄnが当該被写体（対象画像）Ｈ１と置き換えられて合成され（ステップＢ１２ａ）、この合成画像が新たに携帯電話２０Ａへ送信される（ステップＢ１３）。
【０１４６】
すなわち、携帯電話２０Ａにおいて、例えば前記図１１（Ｈ１）で示したように、第１類似度の「ウサギ」のキャラクタ画像１２d1が置き換え合成処理された第１の置き換え合成画像画面Ｇｑ１が表示された状態で、さらに、数字キー「１」を操作して繰り返し置き換え合成モード(1)を選択した場合には、第２類似度の「ウサギ」のキャラクタ画像１２dnにより再度置き換え合成処理された第２の置き換え合成画像画面Ｇｑ２が、図１１（Ｈ２）に示すように受信表示される（ステップＡ２３）。
【０１４７】
一方、画像配信サーバ１０において、携帯電話２０Ａにより指定された画像の合成モードが「まねキャラの別写真合成モード」(2)であると判断された場合には（ステップＢ１１「番号(2)」）、例えば図６で示したように、１回目の撮影画像１２h2において真似対象画像範囲Ｔとして設定された被写体（対象画像）Ｈ１の位置が真似画像の置き換え位置として記憶される（ステップＢ１１→Ｂ１２ｂ１）。
【０１４８】
そして、２回目の撮影画像１２h2′が取得されると（ステップＢ１２ｂ２）、この２回目の撮影画像１２h2′における前記記憶された１回目撮影時の被写体（対象画像）Ｈ１の位置に対して前記対応アニメ画像取得処理（図１７参照）により取得された同被写体Ｈ１の真似をした第１類似度の「クマ」のキャラクタ画像１２ｅ11N（この場合は夜間用の特別キャラクタ）が、２回目の撮影画像１２h2′において撮影された被写体Ｈ２と組み合わされて合成され（ステップＢ１２ｂ３）、この合成画像が携帯電話２０Ａへ送信される（ステップＢ１３）。
【０１４９】
すると、携帯電話２０Ａにおいて、前記画像配信サーバ１０から送信された別写真合成画像が受信表示される（ステップＡ２３）。
【０１５０】
これにより、画像配信サーバ１０では、複数回撮影置き換え（別写真合成）モードに応じて作成され、図６（Ｅ）で示したように、１回目撮影の設定範囲Ｔに対応した被写体画像Ｈ１のさよならのポーズを真似た「クマ」のキャラクタ画像（夜間用特別キャラクタ）が２回目の撮影画像１２h2′の被写体画像Ｈ２と組み合わされて合成されてなる画像データが、携帯電話２０Ａへ送信されて配信される。
【０１５１】
そしてこの場合も、携帯電話２０Ａにおいて、前記まねキャラ別写真合成モード(2)を繰り返し選択操作する毎に（ステップＡ２２）、画像配信サーバ１０では、前記対応アニメ画像取得処理（図１７参照）により取得された次の類似度の「クマ」のキャラクタ画像１２ｅｎが読み出され（ステップＢ９，Ｂ１０）、前記２回目の撮影画像１２h2′において撮影された被写体Ｈ２と再度組み合わされて合成され（ステップＢ１１〜Ｂ１２ｂ３）、この再合成画像が携帯電話２０Ａへ送信される（ステップＢ１３）。
【０１５２】
また、画像配信サーバ１０において、携帯電話２０Ａにより指定された画像の合成モードが「まねキャラの背景追加合成モード」(3)であると判断された場合には（ステップＢ１１「番号(3)」）、撮影画像ｐnにおける真似対象画像範囲Ｔに応じて抽出された被写体ブロックＭ以外の空きエリアのランダムな位置に、前記対応アニメ画像取得処理（図１７参照）により取得された真似対象の被写体画像Ｈ１のポーズの真似をした第１類似度の選択種類のキャラクタ画像が追加合成され（ステップＢ１２ｃ）、この合成画像が携帯電話２０Ａへ送信される（ステップＢ１３）。
【０１５３】
すると、携帯電話２０Ａにおいて、前記画像配信サーバ１０から送信された背景追加合成画像が受信表示される（ステップＡ２３）。
【０１５４】
これにより、画像配信サーバ１０では、まねキャラ背景追加合成モードに応じて作成され、範囲Ｔで設定された被写体画像Ｈ１のポーズを真似た選択種類のキャラクタ画像が撮影画像ｐｎ上の空きエリアのランダム位置に合成され、この合成画像データが携帯電話２０Ａへ送信されて配信される。
【０１５５】
そしてこの場合にも、携帯電話２０Ａにおいて、前記まねキャラ背景追加合成モード(3)を繰り返し選択操作する毎に（ステップＡ２２）、画像配信サーバ１０では、前記対応アニメ画像取得処理（図１７参照）により取得された次の類似度の選択種類のキャラクタ画像１２ｅｎが読み出され（ステップＢ９，Ｂ１０）、撮影画像ｐｎ上の空きエリアのランダム位置に再合成され（ステップＢ１１ｎ→Ｂ１２ｃ）、この再合成画像が携帯電話２０Ａへ送信される（ステップＢ１３）。
【０１５６】
また、画像配信サーバ１０において、携帯電話２０Ａにより指定された画像の合成モードが「まねキャラの左右反転合成モード」(4)であると判断された場合には（ステップＢ１１「番号(4)」）、例えば図５で示したように、前記対応アニメ画像取得処理（図１７参照）により取得された、撮影画像１２h1における範囲Ｔを設定したダンスポーズの被写体（対象画像）Ｈの真似をした「ウサギ」のキャラクタ画像１２ｄ19が左右反転され、当該撮影画像１２h1上でダンスポーズをする被写体（対象画像）Ｈと左右対称となる位置に追加合成され（ステップＢ１２ｄ）、この合成画像が携帯電話２０Ａへ送信される（ステップＢ１３）。
【０１５７】
すると、携帯電話２０Ａにおいて、前記画像配信サーバ１０から送信された左右反転合成画像が受信表示される（ステップＡ２３）。
【０１５８】
これにより、画像配信サーバ１０では、左右反転合成モードに応じて作成され、図５（Ｄ）で示したように、範囲Ｔで設定した被写体画像Ｈのダンスポーズを真似た「ウサギ」のキャラクタ画像が撮影画像１２h1上の当該被写体画像Ｈの左右反対位置に反転合成され、この合成画像データが、端末装置２０へ送信されて配信される。
【０１５９】
そしてこの場合にも、携帯電話２０Ａにおいて、前記まねキャラ左右反転合成モード(4)を繰り返し選択操作する毎に（ステップＡ２２）、画像配信サーバ１０では、前記対応アニメ画像取得処理（図１７参照）により取得された次の類似度の「うざき」のキャラクタ画像１２ｅｎが読み出され（ステップＢ９，Ｂ１０）、再度、撮影画像１２h1上の被写体画像Ｈの左右反対位置に反転合成され、（ステップＢ１１→Ｂ１２ｄ）、この再合成画像が携帯電話２０Ａへ送信される（ステップＢ１３）。
【０１６０】
このように、カメラ付携帯電話２０Ａでの撮影画像に基づいて、範囲Ｔで設定した被写体画像Ｈｎを真似対象画像とした選択種類のキャラクタ画像による追加合成処理あるいは置き換え合成処理が画像配信サーバ１０にて行われ、その合成画像が携帯電話２０Ａへ配信されて表示された状態で、このまねキャラ合成画像について、入力部２６の選択決定キー２６Ａにより決定（ＯＫ）操作すると、当該選択決定されたまねキャラ合成画像が画像処理ワークエリア２２ｂに登録されると共に（ステップＡ２４→Ａ２５）、現在のまねキャラ合成画像についての選択決定情報が画像配信サーバ１０へ送信される（ステップＡ２６）。
【０１６１】
画像配信サーバ１０において、前記携帯電話２０Ａから送信された現在のまねキャラ合成画像についての選択決定情報が受信されると、当該まねキャラ合成画像がユーザＩＤに対応付けて画像処理ワークエリア１２ｉに登録されると共に（ステップＢ１４→Ｂ１５）、この登録完了情報が携帯電話２０Ａへ送信される（ステップＢ１６）。
【０１６２】
すると、携帯電話２０Ａでは、例えば図１１（Ｉ）に示すように、前記選択決定したまねキャラ合成画像（この場合は第１の置き換え合成画像画面Ｇｑ１）およびその登録完了メッセージと共に、当該合成画像の友人への配信を促すメッセージを表示した合成画像登録画面Ｇ５が表示される（ステップＡ２７）。
【０１６３】
そして、この携帯電話２０Ａに配信された合成画像を指定の相手端末に送りたい場合には、前記合成画像登録画面Ｇ５において「贈る」ボタンを指定操作することで、図１１（Ｉ１）に示すように、送信情報設定画面Ｇ６が表示され、この送信情報設定画面Ｇ６において、入力部２６の操作に応じて自分の名前、指定の相手端末の宛先アドレス、メッセージなどが入力され、画像配信サーバ１０へ送信される（ステップＡ２７→Ａ２８）。
【０１６４】
画像配信サーバ１０において、前記携帯電話２０Ａから送信された指定の相手端末の宛先アドレスおよび送信人の名前・メッセージなどが受信されると（ステップＢ１７）、当該宛先アドレスに従った指定の相手の端末装置２０′へ前記合成画像・名前・メッセージが送信され（ステップＢ１８）、今回の画像配信の依頼元ユーザ分及び指定の相手端末送信分からなる課金内容が計算され、当該配信依頼元の携帯電話２０Ａへ送信される（ステップＢ１９）。
【０１６５】
すると、配信依頼元の携帯電話２０Ａでは、前記画像配信サーバ１０から送信された指定の相手端末への合成画像の送信分をも含む当該サーバ利用の課金内容が受信され、表示部３０に表示される（ステップＡ２９）。
【０１６６】
一方、携帯電話２０Ａにおいて、指定の相手端末に対する宛先アドレスの入力・送信が行われない場合には（ステップＡ２７→Ｎｏ）、画像配信サーバ１０では、今回の画像配信の依頼元ユーザ分のみからなる課金内容が計算され、当該配信依頼元の携帯電話２０Ａへ送信される（ステップＢ１７→Ｂ２０）。
【０１６７】
すると、配信依頼元の携帯電話２０Ａでは、前記画像配信サーバ１０から送信された当該配信依頼元ユーザ分のみのサーバ利用の課金内容が受信され、表示部３０に表示される（ステップＡ３０）。
【０１６８】
そして、画像配信サーバ１０では、前記計算された課金内容に応じたサーバ利用料金が、依頼者端末情報メモリ１２ｇに登録されている配信依頼元端末に対応する銀行口座に対して課金される（ステップＢ２１）。
【０１６９】
なお、前記ユーザに対する課金処理については、一回利用毎などの利用回数毎の課金実施、または一月毎などの一定期間毎の課金実施の何れであってもよい。
【０１７０】
したがって、前記構成の画像配信システムによる画像配信処理機能によれば、デジタルカメラ付携帯電話２０Ａなどの端末装置２０による撮影画像を該撮影画像に真似対象画像範囲Ｔを設定して画像配信サーバ１０へ送信すると、画像配信サーバ１０では、受信された撮影画像の真似対象画像範囲Ｔに対応して被写体画像が抽出されると共に、この抽出された被写体画像に対応するポーズの任意選択種のキャラクタ画像がキャラ１「ウサギ」ポーズ画像メモリ１２ｄ，キャラ２「クマ」ポーズ画像メモリ１２ｅ，キャラ３「ネコ」ポーズ画像メモリ１２ｆから取得され、前記撮影画像における被写体画像との置き換え又は追加によって合成され、前記端末装置２０へ配信されるので、単に撮影フレーム内に固定的なアニメ画像を追加合成して配信するのではなく、範囲Ｔで設定した被写体のポーズを真似たアニメ画像を置き換えあるいは追加合成することによって非常に楽しいアニメ付の撮影画像を作成配信することができる。
【０１７１】
そして、このような画像配信システムにおける画像配信サーバ１０を用いることで、撮影画像の任意設定範囲Ｔに対応する被写体像を真似たポーズのキャラクタ画像を追加または置き換えにより合成した画像付メールの配信サービス、デジタルカメラ付携帯電話２０Ａなどの撮影可能な移動端末装置２０Ｂ，２０Ｃ，２０Ｄを対象として各撮影画像への設定範囲Ｔに対応する被写体ポーズを真似たキャラクタ画像の合成配信を行う画像合成有償配信サービス、特定のホームページにおいて特定キャラクタ宣伝のための特定キャラクタを撮影画像の設定範囲Ｔに対応する被写体ポーズを真似たキャラクタ画像として追加あるいは置き換え合成して有償あるいは無償配信するサービス、さらにはアミューズメントスポットなどでの特定の場所のみにおいて近距離無線通信部１６を介して接続されるデジタルカメラ端末装置２０Ｄでの撮影画像の設定範囲Ｔを対象とする被写体ポーズを真似た人気キャラクタ画像の合成有償配信サービスなどを実現できる。
【０１７２】
なお、前記実施形態では、撮影画像からその真似対象画像範囲Ｔに対応して抽出された被写体に対応するポーズのキャラクタ画像を選択的に取得し、追加や置き換えによる画像の合成などを行う構成としたが、実写による様々な表情の顔画像や人物画像を予め記憶させておき、この実写による顔画像や人物画像を撮影画像から抽出された被写体に対応する真似画像として取得し、追加や置き換えによる画像の合成などを行う構成としてもよい。
【０１７３】
また、前記実施形態では、撮影画像が静止画である場合について説明したが、撮影画像が動画である場合には当該撮影入力される動画像から、その動画像内の背景画像に対して設定範囲Ｔに対応して時系列的に変化する被写体画像を順次抽出し、この順次抽出される被写体画像にそれぞれ対応する動画用ポーズのキャラクタ画像を選択的に取得して配信、あるいは前記撮影動画像内に追加または被写体と置き換え合成して動画配信する構成としてもよい。
【０１７４】
さらに、前記実施形態における画像配信サーバ１０や端末装置２０での画像処理機能を応用し、ゲームなどの動画像を基に任意指定されて抽出される登場キャラクタの画像を真似対象画像として、類似ポーズの予め用意した所望のキャラクタ画像や実写による人物画像を取得配信したり、前記登場キャラクタと置き換えて合成配信したりする構成としてもよい。
【０１７５】
また、ユーザ自身で撮影した各種ポーズの被写体画像やインターネットＮ上のゲームサーバ（ゲームＨＰ）からユーザ自身でダウンロードしたゲームに登場する各種ポーズのキャラクタ画像を、画像配信サーバ１０におけるメモリ１２内のキャラ１「ウサギ」ポーズ画像メモリ１２ｄ，キャラ２「クマ」ポーズ画像メモリ１２ｅ，キャラ３「ネコ」ポーズ画像メモリ１２ｆなどと同様にメモリ登録しておき、前記実施形態において撮影画像からその設定範囲Ｔに対応して抽出された被写体画像に対応するポーズのキャラクタ画像を画像配信サーバ１０にて取得する際には、前記「ウサギ」「クマ」「ネコ」などの元々登録されたキャラクタ画像と前記ユーザ自身で登録した人物画像やゲームキャラクタ画像を選択して取得し合成できる構成としてもよい。
【０１７６】
なお、前記実施形態において記載した画像配信システムによる各処理の手法、すなわち、図１２，図１３のフローチャートに示す端末装置２０による画像処理での新規作成処理、図１４，図１５のフローチャートに示す画像配信サーバ１０による新規作成に対応したサーバ処理、図１６のフローチャートに示す画像配信サーバ１０によるサーバ処理に伴う対象画像抽出処理、図１７のフローチャートに示す画像配信サーバ１０によるサーバ処理に伴う対応アニメ画像取得処理、図１８のフローチャートに示す画像配信サーバ１０による対応アニメ画像取得処理に伴う真似対象画像との類似度評価処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３（２３）に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３（２３）に記憶されたプログラムを記録媒体読取部１４（２４）によってメモリ１２（２２）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した画像配信処理機能を実現し、前述した手法による同様の処理を実行することができる。
【０１７７】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した画像配信処理機能を実現することもできる。
【０１７８】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０１７９】
【発明の効果】
以上のように、本発明の請求項１に係る画像配信装置によれば、端末による撮影画像上で設定した対象範囲に対応する画像に応じたまね画像などの対応画像を取得して、当該撮影画像に合成した画像を得ることができる。
【０１８４】
また、本発明の請求項１に係る画像配信装置によれば、そればかりでなく、撮影画像の対象範囲に対応する人物などの被写体画像と類似度の高い（よく似た）画像を、モデル画像を用いた類似度評価により、合成すべき対応画像として容易且つ確実に取得できるようになる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像配信システムにおける画像配信サーバ１０の電子回路の構成を示すブロック図である。
【図２】前記画像配信システムにおける端末装置２０の電子回路の構成を示すブロック図。
【図３】前記画像配信サーバ１０のキャラ１「ウサギ」ポーズ画像メモリ１２ｄ：キャラ２「クマ」ポーズ画像メモリ１２ｅ：キャラ３「ネコ」ポーズ画像メモリ１２ｆにそれぞれ記憶された各種のポーズに対応する各キャラクタ画像を示す図。
【図４】前記画像配信サーバ１０のモデルポーズ画像メモリ１２ｂに記憶されたモデルポーズに対応するモデル画像を示す図。
【図５】前記画像配信システムの端末装置２０からの画像配信依頼に基づいた画像配信サーバ１０による左右反転合成モード(4)指定時のキャラクタ画像「ウサギ」による左右反転位置追加合成状態を示す図。
【図６】前記画像配信システムの端末装置２０からの画像配信依頼に基づいた画像配信サーバ１０による複数回撮影置き換え（別写真合成）モード(2)指定時のキャラクタ画像「クマ」による置き換え合成状態を示す図。
【図７】前記画像配信システムの端末装置２０からの画像配信依頼に基づいた画像配信サーバ１０による被写体選択置き換えモード(1)指定時のキャラクタ画像「ウサギ」による置き換え合成状態を示す図。
【図８】前記画像配信システムの端末装置２０であるカメラ付携帯電話２０Ａの外観構成を示す正面図。
【図９】前記画像配信システムのカメラ付携帯電話２０Ａによる画像処理「まねキャラ工房」での新規作成処理に伴う操作表示状態（その１）を示す図。
【図１０】前記画像配信システムのカメラ付携帯電話２０Ａによる画像処理「まねキャラ工房」での新規作成処理に伴う操作表示状態（その２）を示す図。
【図１１】前記画像配信システムのカメラ付携帯電話２０Ａによる画像処理「まねキャラ工房」での新規作成処理に伴う操作表示状態（その３）を示す図。
【図１２】前記画像配信システムのカメラ付携帯電話２０Ａによる画像処理「まねキャラ工房」での新規作成処理（その１）を示すフローチャート。
【図１３】前記画像配信システムのカメラ付携帯電話２０Ａによる画像処理「まねキャラ工房」での新規作成処理（その２）を示すフローチャート。
【図１４】前記画像配信システムの画像配信サーバ１０による画像処理「まねキャラ工房」の新規作成に対応したサーバ処理（その１）を示すフローチャート。
【図１５】前記画像配信システムの画像配信サーバ１０による画像処理「まねキャラ工房」の新規作成に対応したサーバ処理（その２）を示すフローチャート。
【図１６】前記画像配信システムの画像配信サーバ１０におけるサーバ処理に伴う対象画像抽出処理を示すフローチャート。
【図１７】前記画像配信システムにおける画像配信サーバ１０のサーバ処理に伴う対応アニメ画像取得処理を示すフローチャート。
【図１８】前記画像配信システムにおける画像配信サーバ１０のサーバ処理に伴う対応アニメ画像取得処理での真似対象画像との類似度評価処理を示すフローチャート。
【図１９】前記画像配信サーバ１０の対応アニメ画像取得処理での類似度評価処理に伴うモデル画像との類似度評価例を示す図。
【符号の説明】
１０ …画像配信サーバ
１１ …サーバＣＰＵ
１２ …サーバメモリ
１２ａ…画像配信処理プログラム
１２ｂ…モデルポーズ画像メモリ
１２ｃ…修正モデルポーズ画像メモリ
１２ｄ…キャラ１「ウサギ」ポーズ画像メモリ
１２ｅ…キャラ２「クマ」ポーズ画像メモリ
１２ｆ…キャラ３「ネコ」ポーズ画像メモリ
１２ｇ…依頼者端末情報メモリ
１２ｈ…撮影画像メモリ
１２ｉ…画像処理ワークエリア
１３ …サーバ外部記録媒体
１４ …サーバ記録媒体読取部
１５ …サーバ電送制御部
１６ …サーバ近距離無線通信部
１７ …サーバ入力部
１８ …サーバ表示部
２０ …端末装置
２０Ａ…携帯電話端末
２０Ｂ…携帯端末（ＰＤＡ）
２０Ｃ…端末（ＰＣ）
２０Ｄ…デジタルカメラ端末
２１ …端末ＣＰＵ
２２ …端末メモリ
２２ａ…通信・画像処理プログラム
２２ｂ…画像処理ワークエリア
２３ …端末外部記録媒体
２４ …端末記録媒体読取部
２５ …端末電送制御部
２６ …端末入力部
２６Ａ…選択決定キー
２７ａ…画像入力部
２７ｂ…画像出力部
２８ …端末近距離無線通信部
２９ …ＧＰＳ
３０ …端末表示部
３１ …画像印刷機
３２ …デジタルカメラ（部）
Ｎ …通信ネットワーク（インターネット）
Ｇ …「まねキャラ工房」初期メニュー画面
Ｇ１…写真選択ガイド画面
Ｇ２…範囲選択ガイド画面
Ｇ３…キャラクタ選択画面
Ｇ４…モード選択画面
Ｇ５…合成画像登録画面
Ｇ６…送信情報設定画面

Claims (4)

1. 端末から撮影画像と当該撮影画像に対する対象範囲を受信する撮影画像受信手段と、
   この撮影画像受信手段により受信された撮影画像の対象範囲の画像に応じた対応画像を取得する対応画像取得手段と、
   この対応画像取得手段により取得された対応画像を前記撮影画像に合成する画像合成手段と、
   この画像合成手段により合成された画像を送信する合成画像送信手段とを備え、
   前記対応画像取得手段は、
   複数のモデル画像と複数の対応画像とを対応付けて記憶する対応画像記憶手段と、
   前記撮影画像受信手段により受信された撮影画像の対象範囲に対応する画像と前記対応画像記憶手段により記憶された各モデル画像との類似度を評価する類似度評価手段とを有し、
   この類似度評価手段により評価された対象範囲に対応する画像と各モデル画像との類似度に応じて当該対象範囲の画像に応じたモデル画像に対応付けられて前記対応画像記憶手段により記憶された対応画像を取得することを特徴とする画像配信装置。
2. 前記撮影画像受信手段により受信される対象範囲は、前記端末において撮影画像に対し任意に設定された画像の範囲であることを特徴とする請求項１に記載の画像配信装置。
3. 前記対象範囲は楕円であり、その大きさ，形状は任意に変更されて設定されることを特徴とする請求項２に記載の画像配信装置。
4. さらに、
   前記撮影画像受信手段により受信された撮影画像から輪郭に対応したブロックを抽出する輪郭ブロック抽出手段と、
   この輪郭ブロック抽出手段により抽出されたブロックのうち、前記対象範囲に対応したブロックの画像を抽出する対象画像抽出手段とを備え、
   前記対応画像取得手段は、前記対象画像抽出手段により抽出された画像に応じた対応画像を取得することを特徴とする請求項１乃至請求項３の何れか１項に記載の画像配信装置。

Images