JP4973622B2 - 画像合成装置および画像合成処理プログラム - Google Patents

Description

本発明は、動画撮影された人物画像を他のキャラクタ画像に置き換えた合成画像を生成して出力するための画像合成装置および画像合成処理プログラムに関する。

従来、同一出願人において、デジタルカメラにより撮影された撮影画像に含まれる各画像部分までの距離情報に応じて、当該撮影画像から置き換え対象となる人物画像を抽出し、この抽出された対象人物画像のポーズ（姿勢）に応じた他のキャラクタ画像からなるまね画像を、当該対象人物画像に置き換え合成して表示する画像出力装置が考えられている（例えば、特許文献１参照。）。

また、同一出願人において、通信ネットワーク上の端末装置から送られてくる撮影された置き換え対象となる人物画像の姿勢を示すポーズ情報を受信し、このポーズ情報に対応した姿勢のキャラクタ画像をデータベースから読み出して前記端末装置へ送信提供する画像配信サーバも考えられている（例えば、特許文献２参照。）。

このような従来の画像出力装置や画像配信サーバによれば、撮影画像の中の任意の対象人物画像を他のキャラクタ画像に置き換え合成して表示あるいはプリントすることが可能となり、ユーザ本人や知人を他のキャラクタ画像に置き換えて楽しんだり、あるいは他人に見られてはいけない人物を対象に他のキャラクタ画像に置き換え偽装したりして、撮影画像を様々な状況でより効果的に利用することができる。

そして最近では、モーションキャプチャ技術と３Ｄ画像処理技術によって、予め動画撮影されたモデル（対象人物）の動きにそのまま対応させた任意のキャラクタ画像を動画表示させることができるようになっている。
特許第３９０１０１５号公報 特許第３９１８６３２号公報

前記従来における撮影人物画像の他のキャラクタ画像への置き換え合成技術では、静止画、動画、何れの場合でも、その対象人物画像をそのまま置き換え合成しているだけなので、特に、動画撮影された人物画像について、特撮やアニメーションのように対象人物の意志をもって他のキャラクタ画像に変化（変身）させ、一連のシーンとなるような合成画像を生成することは困難である。

本発明は、このような課題に鑑みなされたもので、動画撮影された人物画像について、対象人物のモーション（身振り）に従い他の画像に変化（変身）していく一連の合成画像の生成を可能とすることを目的とする。

請求項１に記載の発明は、表示手段と、合成対象となるモーションと第１の合成画像データと当該第１の合成画像データが合成されることを示すマークとを対応付けて記憶する第１の記憶手段と、順次撮像されることにより複数の画像データを入力する入力手段と、この入力手段によって入力されている複数の画像データにわたって変化している部分の動きが、前記第１の記憶手段に記憶されているモーションと略同一か否かを判断する第１の判断手段と、この第１の判断手段により略同一と判断されると、このモーションに対応して前記第１の記憶手段に記憶されたマークを読み出し、前記変化している部分に付加して表示するよう前記表示手段を制御する表示制御手段と、前記入力されている複数の画像データを記録する際には、前記表示制御手段によって前記マークが付加された前記変化している部分に、前記マークに代えて前記マークに対応する第１の合成画像データを合成する第１の合成手段と、を備えたことを特徴とする。

請求項２に記載の発明は、前記請求項１に記載の発明において、抽出対象の画像データを記憶する第２の記憶手段と、前記入力手段によって入力された画像データに、前記第２の記憶手段に記憶されている抽出対象の画像データが含まれているか否かを判断する第２の判断手段と、この第２の判断手段により抽出対象の画像データが含まれていると判断されると、この抽出対象の画像データと前記変化している部分を有する画像データとの位置関係に基づき、前記第１の合成手段によって合成された画像データに、所定の画像データを追加して合成する第２の合成手段と、を更に備えたことを特徴としている。

請求項３に記載の発明は、前記請求項２に記載の発明において、前記第２の記憶手段は、前記抽出対象の画像データと対応付けて第２の合成画像データを更に記憶し、前記第２の判断手段により抽出対象の画像データが含まれていると判断されると、この抽出対象の画像データと対応付けて記憶された第２の合成画像データを読み出し、前記抽出対象の画像データの位置に追加して合成する第３の合成手段を更に備えたことを特徴としている。

請求項４に記載の発明は、前記請求項３に記載の発明において、前記変化部分を有する画像データのモーションと第３の合成画像データとを対応付けて記憶する第３の記憶手段と、前記入力手段によって入力された複数の画像データにわたって前記変化している部分を有する画像データの動きが、前記第３の記憶手段に記憶されているモーションと略同一か否かを判断する第３の判断手段と、この第３の判断手段により略同一と判断されると、このモーションに対応して前記第３の記憶手段に記憶された第３の合成画像データを読み出し、前記第１の合成手段によって合成された画像データに追加して合成する第４の合成手段と、を更に備えたことを特徴としている。

請求項５に記載の発明は、前記請求項１に記載の発明において、第１の合成画像データを、複数の画像データにわたって変化している部分の画像データの動きに合わせて変化させた動画データを作成する動画データ作成手段を更に備え、前記第１の合成手段は、前記動画データ作成手段によって作成された動画データを含んだ合成動画データを作成する、
ことを特徴としている。

請求項６に記載の発明は、前記請求項１に記載の発明において、前記入力手段は、撮像手段を含むことを特徴としている。

請求項７に記載の発明は、前記請求項１に記載の発明において、前記入力手段は、当該装置外部から通信により前記複数の画像データを入力する通信手段を含むことを特徴としている。

請求項８に記載の発明は、前記請求項１に記載の発明において、前記第１の合成画像データは、３Ｄ画像であることを特徴としている。

請求項９に記載の発明は、コンピュータを、順次撮像されることにより複数の画像データを入力する入力手段、この入力手段によって入力されている複数の画像データにわたって変化している部分の動きが、合成画像データと当該合成画像データが合成されることを示すマークとに対応付けて設定されているモーションと略同一か否かを判断する判断手段、この判断手段により略同一と判断されると、このモーションに対応して設定されているマークを読み出し、前記変化している部分に付加して表示するよう制御する表示制御手段、前記入力されている複数の画像データを記録する際には、前記表示制御手段によって前記マークが付加された前記変化している部分に、前記マークに代えて前記マークに対応する合成画像データを合成する合成手段、として機能させることを特徴としている。

本発明によれば、動画撮影された人物画像について、対象人物のモーション（身振り）に従い他の画像に変化（変身）していく一連の合成画像を生成することが可能となる。

以下図面により本発明の実施の形態について説明する。

この実施形態では、本発明の画像合成装置を産業上で利用する観点から、より分かり易く具体化した一例を説明する。

図１は、本発明の画像合成装置の実施形態に係るデジタルカメラ１０を利用した動画像の撮影状態と合成画像の生成状態を示す概念図である。

このデジタルカメラ１０は、その背面にＬＣＤ表示部１１、入力部１２、音声出力部（スピーカ）１３を備え、入力部１２の操作に応じて撮影される動画像（撮影画像）Ｇは、リアルタイムで表示部１１に表示される。

このデジタルカメラ１０は、主要な機能として、撮影中の動画像Ｇに含まれる人物・物体画像（Ｐ，Ｋ，Ａ，Ｂ）を抽出する機能、抽出された人物画像が予め登録された人物画像（Ｐ）であるか否かを顔画像を認識処理して識別する機能、抽出された人物画像が予め登録された人物画像（Ｐ）である場合にその登録人物画像（Ｐ）に対応付けて予め設定された役柄画像（２４Ｇｗ）のマーク（役柄変身マーク２４Ｍｗ）を付加する機能、前記役柄変身マーク２４Ｍｗの付加された人物画像（Ｐ）を同予め設定された役柄画像（２４Ｇｗ）に置き換える機能、抽出された人物画像の予め設定された身振り（モーション）を検出する機能、予め設定された身振りが検出された人物画像（Ｋ）についてその身振り検出時点から予め設定された変身画像（１４Ｇｕ）のマーク（変身マーク１４Ｍｕ）を付加する機能、前記変身マーク１４Ｍｕの付加された人物画像（Ｋ）を同予め設定された変身画像（１４Ｇｕ）に置き換える機能、抽出された物体画像が予め登録された破壊対象画像（Ａ，Ｂ）である場合にその破壊対象画像（Ａ，Ｂ）に対応付けて予め設定された破壊画像（１５Ｇａ，１５Ｇｂ）のマーク（破壊マーク１５Ｍａ，１５Ｍｂ）を付加する機能、前記破壊マーク１５Ｍａ，１５Ｍｂの付加された破壊対象画像（Ａ，Ｂ）を同予め設定された破壊画像（１５Ｇａ，１５Ｇｂ）に置き換える機能、そして、前記抽出された人物画像（Ｐ，Ｋ）の動きを捉えて前記役柄画像（２４Ｇｗ）や変身画像（１４Ｇｕ）の３Ｄ画像に変換するためのモーションキャプチャ処理機能、３Ｄ画像処理機能などを有する。

なお、前記顔画像認識処理、モーションキャプチャ処理、３Ｄ画像処理については、周知の画像処理技術であるためその詳細な説明を省略する。

このような主要な機能を有するデジタルカメラ１０を、例えば家族で利用してその父親Ｐを怪獣役、子供Ｋを○○マン役とした一連のシーンを母親が動画撮影して遊ぶ場合に、当該デジタルカメラ１０において、父親Ｐの顔画像を怪獣画像（役柄画像２４Ｇｗ）に対応付けて予め登録すると共に、ビール瓶Ａと紙飛行機Ｂの破壊対象画像をそれぞれ塔と飛行機の破壊画像１５Ｇａと１５Ｇｂに対応付けて予め登録する。

そして、父親Ｐによってビール瓶Ａを倒したり、飛んで来る紙飛行機Ｂを叩き落としたりするのに伴い、子供Ｋが変身のためのモーション（身振り）をして○○マンに変身しようとする一連のシーンを、母親がデジタルカメラ１０により動画撮影する。

撮影中の動画像Ｇは、図１（Ａ）に示すように、リアルタイムで表示部１１に表示されると共に、本デジタルカメラ１０が有する前記各種の機能によって解析され、父親Ｐの人物画像には、対応する怪獣画像（役柄画像２４Ｇｗ）を示す役柄変身マーク２４Ｍｗが付加表示され、子供Ｋの人物画像には、予め設定された身振り（モーション）が検出された時点以降、対応する○○マン画像（変身画像１４Ｇｕ）を示す変身マーク１４Ｍｕが付加表示される。また、ビール瓶Ａには、対応する塔の破壊画像１５Ｇａを示す破壊マーク１５Ｍａが付加表示され、紙飛行機Ｂには、対応する飛行機の破壊画像１５Ｇｂを示す破壊マーク１５Ｍａが付加表示される。

これにより撮影中の母親は、父親Ｐや子供Ｋの人物画像がその役柄通りに変身処理され、またビール瓶Ａや紙飛行機Ｂの物体画像がその登録通りに置き換え処理されていることを容易に認識することができる。

またこの際、前記怪獣画像（役柄画像２４Ｇｗ）と○○マン画像（変身画像１４Ｇｕ）にそれぞれ対応付けられて予め記憶されている音声データ「ガオー」「シュワッチ」が読み出され音声出力部１３から出力されることで、各役柄を演じている最中の父親Ｐや子供Ｋにあっても、自らがその役柄通りに変身処理されていることを容易に認識することができる。

なお、前記撮影された動画像（撮影画像）Ｇに対して役柄変身マーク２４Ｍｗや変身マーク１４Ｍｕ、破壊マーク１５Ｍａ，１５Ｍｂが付加された動画像をマーク付き撮影画像Ｇｍと称する。

この後、前記一連のシーンの動画像Ｇの撮影が終了すると共にそのマーク付き撮影画像Ｇｍが生成されると、当該マーク付き撮影画像Ｇｍが前記各種の機能によって解析され、図１（Ｂ）に示すように、前記役柄変身マーク２４Ｍｗの付加された父親Ｐの人物画像に対応する怪獣の役柄画像２４Ｇｗと、前記変身マーク１４Ｍｕの付加された子供Ｋの人物画像に対応する○○マンの変身画像１４Ｇｕ、および前記各破壊マーク１５Ｍａ，１５Ｍｂの付加されたビール瓶Ａと紙飛行機Ｂの各破壊対象画像に対応する塔と飛行機の各破壊画像１５Ｇａ，１５Ｇｂが、予め設定された背景画像ＢＧに合成されてなる合成動画像ＧＧが生成される。

なお、前記ビール瓶Ａと紙飛行機Ｂの各破壊対象画像に対応付けられた各破壊画像１５Ｇａ，１５Ｇｂは、何れもその破壊対象画像（Ａ，Ｂ）に対して、前記役柄変身マーク２４Ｍｗや変身マーク１４Ｍｕが付加された父親Ｐや子供Ｋの人物画像が接触したことを検知して予め記憶された破壊後の画像に置き換え合成される。

これによりユーザ家族は、容易に特撮風の合成動画像ＧＧを作ることができ、当該生成された合成動画像ＧＧを表示部１１に出力表示させて見たり、外部のモニタに出力表示させて見たりすることで、これまでにない楽しみを得ることができる。

図２は、前記デジタルカメラ１０（通信端末Ａ）の電子回路の構成を示すブロック図である。

このデジタルカメラ１０は、コンピュータであるＣＰＵ１６を備えている。

ＣＰＵ１６は、メモリ１７に予め記憶されたシステムプログラム、あるいはメモリカードなどの外部記録媒体１８からカードスロットなどの記録媒体読取部１９を介して前記メモリ１７に読み込まれたカメラ制御プログラム、あるいは通信ネットワーク（Ｎ）上のサーバ装置３０（この場合はプログラムサーバ）から電送制御部２０を介して前記メモリ１７に読み込まれたカメラ制御プログラムに従い回路各部の動作を制御する。

ＣＰＵ１６には、前記ＬＣＤ表示部１１、入力部１２、音声出力部１３、メモリ１７、記録媒体読取部１９、電送制御部２０が接続される他に、固体撮像素子（ＣＣＤ）や撮像光学系および距離センサや照度センサを備えた画像撮影部２ｌが接続される。

前記メモリ１７のプログラムメモリ２２には、本デジタルカメラ１０の全体の動作を司るシステムプログラムや撮影動作を司るカメラ制御プログラム、通信ネットワークＮ上のサーバ装置３０や外部の通信端末Ｂ（ＰＣ:personal computer）４０との通信動作を司る通信制御プログラムが記憶されると共に、前記画像撮影部２１（入力手段）により撮影された撮影画像Ｇに基づいて、前述したマーク付き撮影画像Ｇｍや合成画像ＧＧを生成したり出力したりするための前記各種の機能を司る画像処理プログラムが予め記憶される。

そして、前記プログラムメモリ２２に記憶された各種のプログラムは、入力部１２からのキー入力信号や画像撮影部２１からの撮影入力信号、電送制御部２０を介した外部機器（３０，４０）からの受信入力信号に応じて起動される。

また、前記メモリ１７には、変身データメモリ１４（第１の記憶手段）、特殊効果データメモリ２３、破壊データメモリ１５（第２の記憶手段）、変身役柄データメモリ２４（第２の記憶手段）、撮影画像データメモリ２５、マーク付き撮影画像データメモリ２６、合成画像データメモリ２７、およびその他の作業用データメモリなどが備えられる。

図３は、前記デジタルカメラ１０の変身データメモリ１４に予め記憶される変身データの内容を示す図である。

この変身データメモリ１４は、変身モーションモデルデータ１４Ｐと変身画像データ１４Ｇｕと変身マークデータ１４Ｍｕの記憶領域を有し、変身画像データ１４Ｇｕの記憶領域には、複数種類の変身画像データ（変身キャラクタ）およびその音声データが、例えば○○マンＡの変身画像データ１４Ｇｕ１およびその音声データ「シュワッチ」１４Ｓｕ１、初代○○マンの変身画像データ１４Ｇｕ２およびその音声データ「ヤー・ター」１４Ｓｕ２として記憶される。また、変身マークデータ１４Ｍｕの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２をそれぞれ簡易表現する変身マークデータ１４Ｍｕ１，１４Ｍｕ２が記憶される。そして、変身モーションモデルデータ１４Ｐの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２にそれぞれ変身するための一連のモーション（身振り）からなる変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃ，１４Ｐ２ａ〜１４Ｐ２ｃが記憶される。

なお、前記変身画像データ１４Ｇｕ１，１４Ｇｕ２は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと３Ｄ画像生成用データとの組み合わせとして記憶される。また前記変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃ，１４Ｐ２ａ〜１４Ｐ２ｃは、当該変身モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。

図４は、前記デジタルカメラ１０の特殊効果データメモリ２３に予め記憶される特殊効果データの内容を示す図である。

この特殊効果データメモリ２３は、特殊効果モーションモデルデータ２３Ｐと特殊効果画像データ２３Ｇｕと特殊効果マークデータ２３Ｍｕの記憶領域を有し、特殊効果画像データ２３Ｇｕの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２にそれぞれ対応する特殊効果画像データおよびその音声データが、例えば○○マンＡ用の特殊効果画像データ２３Ｇｕ１およびその音声データ「ビビビビー」２３Ｓｕ１、初代○○マン用の特殊効果画像データ２３Ｇｕ２およびその音声データ「ピーバリバリー」２３Ｓｕ２として記憶される。また、特殊効果マークデータ２３Ｍｕの記憶領域には、前記複数種類の特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２をそれぞれ簡易表現する特殊効果マークデータ２３Ｍｕ１，２３Ｍｕ２が記憶される。そして、特殊効果モーションモデルデータ２３Ｐの記憶領域には、前記複数種類の特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２をそれぞれ対応する変身画像データ１４Ｇｕ１，１４Ｇｕ２の所定の位置から発生させて付加するための一連のモーション（身振り）からなる特殊効果モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃ，２３Ｐ２ａ〜２３Ｐ２ｃが記憶される。

なお、前記特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２は、画像データそのもの、又は３Ｄ画像生成用データとして記憶される。また前記特殊効果モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃ，２３Ｐ２ａ〜２３Ｐ２ｃは、当該特殊効果モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。

図５は、前記デジタルカメラ１０の破壊データメモリ１５に予め記憶される破壊データの内容を示す図である。

この破壊データメモリ１５は、破壊対象画像データ１５Ｔと破壊画像データ１５Ｇ（第２の合成画像データ）と破壊（前）マークデータ１５Ｍと破壊（後）マークデータ１５Ｍ′の記憶領域を有し、破壊画像データ１５Ｇの記憶領域には、複数種類の一連の破壊画像データおよびその破壊途中の音声データが、例えば塔の破壊前，破壊中，破壊後の各画像データ１５Ｇａ１〜１５Ｇａ３およびその破壊中音声データ「グシャ」１５Ｓａ、飛行機の破壊前，破壊中，破壊後の各画像データ１５Ｇｂ１〜１５Ｇｂ３およびその破壊中音声データ「ドカーン」１５Ｓｂ、建物の破壊前，破壊中，破壊後の各画像データ１５Ｇｃ１〜１５Ｇｃ３およびその破壊中音声データ「ガラガラ」１５Ｓｃとして記憶される。また、破壊（前）マークデータ１５Ｍと破壊（後）マークデータ１５Ｍ′の各記憶領域には、前記複数種類の破壊前後の画像データ１５Ｇａ１，１５Ｇａ３、１５Ｇｂ１，１５Ｇｂ３、１５Ｇｃ１，１５Ｇｃ３をそれぞれ簡易表現する同破壊前後のマークデータ１５Ｍａ，１５Ｍａ′、１５Ｍｂ，１５Ｍｂ′、１５Ｍｃ，１５Ｍｃ′が記憶される。そして、破壊対象画像データ１５Ｔの記憶領域には、前記複数種類の破壊画像データ１５Ｇａ１〜１５Ｇａ３，１５Ｇｂ１〜１５Ｇｂ３，１５Ｇｃ１〜１５Ｇｃ３にそれぞれ置き換えるための対象となる一般家庭にある物体画像が、例えば塔の破壊画像データ１５Ｇａ１〜１５Ｇａ３の場合にはビール瓶Ａ１やペットボトルＡ２、飛行機の破壊画像データ１５Ｇｂ１〜１５Ｇｂ３の場合には紙飛行機Ｂ、建物の破壊画像データ１５Ｇｃ１〜１５Ｇｃ３の場合にはティッシュボックスＣとして記憶される。

なお、前記破壊画像データ１５Ｇａ１〜１５Ｇａ３，１５Ｇｂ１〜１５Ｇｂ３，１５Ｇｃ１〜１５Ｇｃ３は、画像データそのもの、又は３Ｄ画像生成用データとして記憶される。また前記破壊対象画像データＡ１（Ａ２），Ｂ，Ｃは、その物体を撮影した画像データそのもの、又は同物体の特徴を示す形状データとして記憶される。

図６は、前記デジタルカメラ１０の変身役柄データメモリ２４に記憶される変身役柄データの内容を示す図である。

この変身役柄データメモリ２４は、ユーザ登録される変身対象画像データ２４Ｔ、変身（１）画像データ２４Ｇｗと変身（１）マークデータ２４Ｍｗ、変身（２）画像データ２４Ｇｗ′と変身（２）マークデータ２４Ｍｗ′、変身条件データ２４Ｈの記憶領域を有し、変身（１）画像データ２４Ｇｗの記憶領域には、複数種類の第１段階の変身画像データ（変身キャラクタ）およびその音声データが、例えば怪獣Ａの変身（１）画像データ２４Ｇｗ１およびその音声データ「ガオー」２４Ｓｗ１、怪獣Ｂの変身（１）画像データ２４Ｇｗ２およびその音声データ「ギャーギャー」２４Ｓｗ２として記憶される。また、変身（１）マークデータ２４Ｍｗの記憶領域には、前記複数種類の変身（１）画像データ２４Ｇｗ１，２４Ｇｗ２をそれぞれ簡易表現する変身（１）マークデータ２４Ｍｗ１，２４Ｍｗ２が記憶される。また、変身（２）画像データ２４Ｇｗ′の記憶領域には、前記複数種類の第１段階の変身画像データ２４Ｇｗ１，２４Ｇｗ２にそれぞれ対応する第２段階の変身画像データ２４Ｇｗ１′，２４Ｇｗ２′およびその音声データ２４Ｓｗ１′，２４Ｓｗ２′が記憶される。また、変身（２）マークデータ２４Ｍｗ′の記憶領域には、前記変身（２）画像データ２４Ｇｗ１′，２４Ｇｗ２′を簡易表現する変身（２）マークデータ２４Ｍｗ１′，２４Ｍｗ２′が記憶される。さらに、変身条件データ２４Ｈの記憶領域には、前記第１段階の変身（１）画像データ２４Ｇｗ１，２４Ｇｗ２から第２段階の変身（２）画像データ２４Ｇｗ１′，２４Ｇｗ２′に変身するための条件データ２４Ｈ１，２４Ｈ２が記憶される。

なお、本実施形態では、前記第２段階の変身（２）画像データ２４Ｇｗ１′，２４Ｇｗ２′は設定しないので、その変身（２）マークデータ２４Ｍｗ１′，２４Ｍｗ２′および変身条件データ２４Ｈ１，２４Ｈ２も設定されない。

そして、変身対象画像データ２４Ｔの記憶領域には、前記複数種類の変身画像データ２４Ｇｗ１，２４Ｇｗ２にそれぞれ変身させて置き換えるための対象となる人物の顔画像が、例えば父親の顔画像Ｐ、母親の顔画像Ｍとしてユーザ登録され記憶される。

なお、前記変身（１）（２）画像データ２４Ｇｗ，２４Ｇｗ′は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと３Ｄ画像生成用データとの組み合わせとして記憶される。

撮影画像データメモリ２５には、画像撮影部２１により静止画または動画撮影されて入力された撮影画像データＧが記憶される。

マーク付き撮影画像データメモリ２６には、前記撮影画像データメモリ２５に動画撮影されて記憶された撮影画像データＧに基づき、前記画像処理プログラムに従い撮影にリアルタイムで生成されたマーク付き撮影画像データＧｍ（図１（Ａ）参照）が順次記憶される。

合成画像データメモリ２７には、前記マーク付き撮影画像データメモリ２６に生成記憶されたマーク付き撮影画像データＧｍに基づき、前記画像処理プログラムに従い生成された合成画像データＧＧ（図１（Ｂ）参照）が記憶される。

なお、前記構成のデジタルカメラ１０は、当該デジタルカメラ１０自体により動画撮影される撮影画像データＧに基づいて、前記マーク付き撮影画像データＧｍ（図１（Ａ）参照）をリアルタイムに生成表示し、この後に当該マーク付き撮影画像データＧｍから前記合成画像データＧＧ（図１（Ｂ）参照）を生成して表示あるいは外部に出力するものである。これに対し、前記デジタルカメラ１０が有する撮影機能以外の前記動画撮影された撮影画像データＧからマーク付き撮影画像データＧｍ（図１（Ａ）参照）を生成し、このマーク付き撮影画像データＧｍから合成画像データＧＧ（図１（Ｂ）参照）を生成するための各種の機能を、通信ネットワークＮ上のサーバ装置３０に備えさせ、通信機能付きのデジタルカメラ（通信端末Ａ）１０′やＰＣ（通信端末Ｂ）４０から転送された動画撮影データＧに基づき、当該サーバ装置３０が前記マーク付き撮影画像データＧｍおよび合成画像データＧＧを生成し、前記各通信端末（Ａ）１０′，（Ｂ）４０に応答配信してサービスを提供する構成としてもよい。

図７は、本発明の画像合成装置の実施形態に係るサーバ装置３０の電子回路の構成を示すブロック図である。

このサーバ装置３０は、コンピュータであるＣＰＵ３１を備えている。

ＣＰＵ３１は、メモリ３２に予め記憶されたシステムプログラム、あるいはＣＤ−ＲＯＭなどの外部記録媒体３３から光ディスクドライブなどの記録媒体読取部３４を介して前記メモリ３２に読み込まれたサーバ制御プログラムに従い回路各部の動作を制御する。

ＣＰＵ３１には、前記メモリ３２、記録媒体読取部３４が接続される他に、通信ネットワークＮ上の通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０との間でデータの電送制御を行うための電送制御部３５（入力手段）、キーボード・マウスなどの入力部３６、ＬＣＤ表示部３７が接続される。

前記メモリ３２のプログラムメモリ３２Ａには、本サーバ装置３０の全体の動作を司るシステムプログラム、通信ネットワークＮ上の各通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０との通信動作を司る通信制御プログラムが記憶されると共に、当該外部の各通信端末Ａ１０′，Ｂ４０から転送された動画撮影画像データＧに基づいて、前述したデジタルカメラ１０と同様にマーク付き撮影画像Ｇｍや合成画像ＧＧを生成したり出力（配信）したりするための前記図１を参照して説明した各種の機能を司る画像処理プログラムが予め記憶される。

そして、前記プログラムメモリ３２Ａに記憶された各種のプログラムは、入力部３６からの入力信号、電送制御部３５を介した外部の各通信端末Ａ１０′，Ｂ４０からの受信入力信号に応じて起動される。

また、前記メモリ３２には、前記図１〜図６を参照して説明したデジタルカメラ１０におけるそれと略同一のデータ内容である、変身データメモリ３２Ｂ、特殊効果データメモリ３２Ｃ、破壊データメモリ３２Ｄ、変身役柄データメモリ３２Ｅ、撮影画像データメモリ３２Ｆ、マーク付き撮影画像データメモリ３２Ｇ、合成画像データメモリ３２Ｈ、およびその他の作業用データメモリなどが備えられる。

これにより、サーバ装置３０では、通信ネットワークＮに接続された通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０から転送された動画撮影画像データＧに基づき、前記同様のマーク付き撮影画像データＧｍ（図１（Ａ）参照）および合成画像データＧＧ（図１（Ｂ）参照）を生成すると共に、前記撮影画像データＧの転送元である各通信端末Ａ１０′，Ｂ４０に応答配信してサービスを提供できる。

次に、前記構成のデジタルカメラ１０あるいはサーバ装置３０による画像合成装置の動作について説明する。

図８は、前記画像合成装置による合成画像出力処理の全体過程を示すフローチャートである。

図９は、前記合成画像出力処理に伴い撮影画像（Ｇ）中に存在する人物（Ｐ，Ｍ，Ｋ）・物体（Ａ，Ｂ，Ｃ）の対象画像を抽出する対象画像抽出処理を示すフローチャートである。

図１０は、前記合成画像出力処理に伴い役柄登録された人物画像（Ｐ，Ｍ）に変身マーク（２４Ｍｗ）を付加する役柄変身マーク処理を示すフローチャートである。

図１１は、前記合成画像出力処理に伴い抽出された物体画像（Ａ，Ｂ，Ｃ）に破壊マーク（１５Ｍ，１５Ｍ′）を付加すると共に対応音声（１５Ｓ）を出力する破壊マーク処理を示すフローチャートである。

図１２は、前記合成画像出力処理に伴い変身モーション（１４Ｐ）の検出された人物画像（Ｋ）に変身マーク（１４Ｍｕ）を付加すると共に対応音声（１４Ｓｕ）を出力するモーション変身マーク処理を示すフローチャートである。

図１３は、前記合成画像出力処理に伴い特殊効果モーション（２３Ｐ）の検出された人物画像（Ｋ）に特殊効果マーク（２３Ｇｕ）を付加すると共に対応音声（２３Ｓｕ）を出力する特殊効果マーク処理を示すフローチャートである。

図１４は、前記合成画像出力処理に伴い変身マーク（２４Ｍｗ）（１４Ｍｕ）の付加された人物画像（Ｐ）（Ｋ）を変身画像（２４Ｇｗ）（（１４Ｇｕ）に置き換え合成すると共に対応音声（２４Ｓｗ）（１４Ｓｕ）の出力を設定する変身マーク合成処理を示すフローチャートである。

図１５は、前記合成画像出力処理に伴い破壊マーク（１５Ｍ，１５Ｍ′）の付加された物体画像（Ａ，Ｂ）を破壊画像（１５Ｇ）に置き換え合成すると共に対応音声（１５Ｓ）の出力を設定する破壊マーク合成処理を示すフローチャートである。

図１６は、前記合成画像出力処理に伴い特殊効果マーク（２３Ｇｕ）の付加された人物画像（Ｋ）の所定位置に特殊効果画像２３Ｇｕを追加合成すると共に対応音声（２３Ｓｕ）の出力を設定する特殊効果マーク合成処理を示すフローチャートである。

図１７〜図２５は、前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送り（その１）〜（その９）にして示す図であり、同図（Ａ）は撮影画像Ｇを示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍを示す図、同図（Ｃ）は合成画像ＧＧを示す図である。

前記図８における合成画像出力処理のステップＳ１〜Ｓ３の処理は、前記図１７（Ａ）〜図２５（Ａ）に示すように、動画撮影される各コマの撮影画像（Ｇ）が取得されるのに伴い繰り返し実行され、前記図１７（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像（Ｇｍ）が生成出力される。

そして、前記図８における合成画像出力処理のステップＳ４〜Ｓ７の処理は、前記図１７（Ｂ）〜図２５（Ｂ）に示すように生成された一連のマーク付き撮影画像（Ｇｍ）に基づき実行され、前記図１７（Ｃ）〜図２５（Ｃ）に示すような合成画像（ＧＧ）が生成出力される。

なお、ここでは前記デジタルカメラ１０（図２参照）において図８における合成画像出力処理を実行した場合を主体にして説明し、前記サーバ装置３０（図７参照）において同合成画像出力処理を実行した場合については、略同じ処理内容となるためその説明を省略する。

デジタルカメラ１０の画像撮影部１３により、例えば図１７（Ａ）〜図２５（Ａ）で示すように親子によって演じられる一連のシーンが撮影されると、その撮影画像Ｇ１〜Ｇ９は順次撮影画像データメモリ２５に記憶され保存され（ステップＳ１）（入力手段）、リアルタイムで図９における対象画像抽出処理へ移行される（ステップＳＡ）。

この対象画像抽出処理は、２通りの方式があり、図９（Ａ）に示す対象画像抽出処理（方式１）では、前記撮影画像データメモリ２５に順次保存される撮影画像データＧｎが作業用メモリに一時転送記憶され（ステップＡ１１）、前回の撮影画像データＧｎ−１と今回の撮影画像データＧｎとの画像の変化部分がブロック化されて抽出される（ステップＡ１２）。

すると、前記撮影画像データＧｎ上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データＧｎの付加情報として前記撮影画像データメモリ２５に記憶される（ステップＡ１３）。

一方、図９（Ｂ）に示す対象画像抽出処理（方式２）では、前記撮影画像データメモリ２５に順次保存される撮影画像データＧｎの付加情報である前記画像撮影部２１の距離センサにより取得された被写体までの距離情報が読み出され（ステップＡ２１）、その中で近距離に存在する画像部分がブロック化されて抽出される（ステップＡ２２）。

すると、前記撮影画像データＧｎ上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データＧｎの付加情報として前記撮影画像データメモリ２５に記憶される（ステップＡ２３）。

すなわち、図９（Ｂ）で示した対象画像抽出処理（方式２）は、撮影画像データＧｎの付加情報として被写体までの距離情報が必要になるため、デジタルカメラ１０での処理に適し、また、図９（Ａ）で示した対象画像抽出処理（方式１）は、逆に前記撮影画像データＧｎにおける被写体までの距離情報を必要としないので、サーバ装置３０での処理に適している。

このように、前記対象画像抽出処理（ステップＳＡ）により、撮影画像データＧｎの中に存在する人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）が抽出されると、図１０における役柄変身マーク処理へ移行される（ステップＳＢ）。

この役柄変身マーク処理では、前記対象画像抽出処理により抽出された撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記変身役柄データメモリ２４（図６参照）にユーザ登録された変身対象（顔）画像データ２４Ｔとしての人物画像（ＰやＭ）が含まれるか否かが前記顔画像認識処理を用いて識別される（ステップＢ１）（第２の判断手段）。

ここで、図１７（Ａ）〜図２５（Ａ）の撮影画像データＧ１〜Ｇ９にそれぞれ示すように、変身対象（顔）画像データ２４Ｔとしての父親の人物画像Ｐが含まれていることが識別されると（ステップＢ１（Ｙｅｓ））、前記変身役柄データメモリ２４（図６参照）に対応付けられて記憶されている怪獣Ａの変身マークデータ２４Ｍｗ１が読み出されると共に、前記識別された父親の人物画像Ｐの顔画像認識された位置に対応して付加され、図１７（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ１〜Ｇｍ９として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＢ２）。

なお、前記登録された人物画像Ｐの顔画像の位置に対応付加される変身マークデータ２４Ｍｗ１は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。

そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ３（Ｙｅｓ））、前記変身役柄データメモリ２４（図６参照）に対応付けられて記憶されている音声データ「ガオー」２４Ｓｗ１が読み出され、同図１７（Ｂ）〜図２５（Ｂ）に示すように音声出力部１３から出力される（ステップＢ４）。

すると次に、図１１における破壊マーク処理へ移行される（ステップＳＣ）。

この破壊マーク処理では、まず、前記対象画像抽出処理により抽出された撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記破壊データメモリ１５（図５参照）に予め記憶された破壊対象画像データ１５Ｔとしての物体画像（ＡやＢやＣ）が含まれるか否かが画像認識処理により識別される（ステップＣ１）。

ここで、図１７（Ａ）〜図２５（Ａ）の撮影画像データＧ１〜Ｇ９にそれぞれ示すように、破壊対象画像データ１５Ｔとしてのビール瓶Ａ１や紙飛行機Ｂの物体画像が含まれていることが識別されると（ステップＣ１（Ｙｅｓ））、当該識別されたビール瓶Ａ１や紙飛行機Ｂの物体画像は破壊後の状態にあるか否かが、当該各物体画像（Ａ１，Ｂ）が転倒状態や反転状態にあるか否かの画像認識によって判断される（ステップＣ２）。

ここで、例えば図１７（Ａ）におけるビール瓶Ａ１あるいは図１８（Ａ）における紙飛行機Ｂで示すように、その各物体画像Ａ１，Ｂは転倒状態や反転状態にないと画像認識されて破壊後の状態ではないと判断された場合には（ステップＣ２（Ｎｏ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔と飛行機の破壊（前）マークデータ１５Ｍａ，１５Ｍｂが読み出されると共に、前記各物体画像Ａ１，Ｂの位置に対応して付加され、図１７（Ｂ）あるいは図１８（Ｂ）に示すようなマーク付き撮影画像データＧｍ１，Ｇｍ２として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＣ３）。

なお、前記破壊対象の各物体画像Ａ１，Ｂの位置に対応付加される破壊（前）マークデータ１５Ｍａ，１５Ｍｂは、当該各物体画像Ａ１，Ｂに重ねて付加されるか、または当該各物体画像Ａ１，Ｂの近傍に付加されるかの何れであってもよい。

そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＣ４（Ｙｅｓ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている飛行機の破壊（前）画像データ１５Ｇｂ１の音声データ「ビューン」１５Ｓｂ１が読み出され、同図１８（Ｂ）に示すように音声出力部１３から出力される（ステップＣ５）。

すると、前記ステップＣ３において付加表示された塔や飛行機の破壊（前）マークデータ１５Ｍａ，１５Ｍｂに対応する部分であるビール瓶Ａ１や紙飛行機Ｂの破壊対象画像データ（物体画像）の位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定され（ステップＣ６）、他の対象画像抽出ブロックの画像部分と接触したか否か判断される（ステップＣ７）。

ここで、例えば図１８（Ａ）の撮影画像データＧ２におけるビール瓶Ａ１の物体画像と父親の人物画像Ｐとの接触状態、あるいは図１９（Ａ）の撮影画像データＧ３における紙飛行機Ｂの物体画像と同父親の人物画像Ｐとの接触状態において示すように、前記特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の抽出画像部分と接触したと判断された場合には（ステップＣ７（Ｙｅｓ））、当該接触判断された他の抽出画像部分が前記役柄変身マーク処理（ステップＳＢ）にて変身マークデータ２４Ｍｗの付加された人物画像の部分であるか否か判断される（ステップＣ８）。

この場合、前記接触判断された他の抽出画像部分は、怪獣Ａの変身マークデータ２４Ｍｗ１が付加された父親Ｐの人物画像部分であると判断されるので（ステップＣ８（Ｙｅｓ））、図１８（Ｂ）に示すように、ビール瓶Ａ１の破壊対象画像データに対応する位置には、前記破壊データメモリ１５に対応付けられて記憶されている塔の破壊（後）マークデータ１５Ｍａ′が読み出されて付加され、マーク付き撮影画像データＧｍ２として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＣ９）。また同様に、図１９（Ｂ）に示すように、紙飛行機Ｂの破壊対象画像データに対応する位置には、前記破壊データメモリ１５に対応付けられて記憶されている飛行機の破壊（後）マークデータ１５Ｍｂ′が読み出されて付加され、マーク付き撮影画像データＧｍ３として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＣ９）。

そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＣ１０（Ｙｅｓ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔の破壊（中）画像データ１５Ｇａ２の音声データ「グシャ」１５Ｓａが読み出され、同図１８（Ｂ）に示すように音声出力部１３から出力される（ステップＣ１１）。また同様に、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている飛行機の破壊（中）画像データ１５Ｇｂ２の音声データ「ドカーン」１５Ｓｂ２が読み出され、同図１９（Ｂ）に示すように音声出力部１３から出力される（ステップＣ１１）。

この後、当該破壊マーク処理における前記ステップＣ２において、例えば図１９（Ａ）〜図２５（Ａ）におけるビール瓶Ａ１、あるいは図２０（Ａ）〜図２５（Ａ）における紙飛行機Ｂで示すように、その各物体画像Ａ１，Ｂは転倒状態や反転状態にあると画像認識されて破壊後の状態であると判断された場合には（ステップＣ２（Ｙｅｓ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔と飛行機の破壊（後）マークデータ１５Ｍａ′，１５Ｍｂ′が読み出されると共に、前記各物体画像Ａ１，Ｂの位置に対応して付加され、図１９（Ｂ）〜図２５（Ｂ）あるいは図２０（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ３〜Ｇｍ９あるいはＧｍ４〜Ｇｍ９として作業用データメモリに一時保存され表示部１１に表示される（ステップＣ１２）。

すると次に、図１２におけるモーション変身マーク処理へ移行される（ステップＳＤ）。

このモーション変身マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記変身データメモリ１４（図３参照）に予め記憶された○○マンＡの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃや初代○○マンの一連の変身モーションモデルデータ１４Ｐ２ａ〜１４Ｐ２ｃと一致する画像部分が検出されたか否か判断される（ステップＤ１）（第１，第３の判断手段）。

ここで、図２０（Ａ）〜図２２（Ａ）の撮影画像データＧ４〜Ｇ６に順次示すように、前記対象画像抽出処理により抽出される一連の子供の人物画像Ｋについて、前記変身データメモリ１４（図３参照）に予め記憶された○○マンＡの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃと身振りが一致する画像部分であると検出されると（ステップＤ１（Ｙｅｓ））、当該変身データメモリ１４（図３参照）に対応付けられて記憶されている○○マンＡの変身マークデータ１４Ｍｕ１が読み出されると共に、前記モーション検出された子供の人物画像Ｋの顔画像認識された位置に対応して付加され、図２２（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ６〜Ｇｍ９として作業用データメモリに一時保存され表示部１１に表示される（ステップＤ２）。

なお、前記モーション検出された人物画像Ｋの顔画像の位置に対応付加される変身マークデータ１４Ｍｕ１は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。

そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＤ３（Ｙｅｓ））、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている○○マンＡの音声データ「シュワッチ」１４Ｓｕ１が読み出され、同図２２（Ｂ）〜図２５（Ｂ）に示すように音声出力部１３から出力される（ステップＤ４）。

すると次に、図１３における特殊効果マーク処理へ移行される（ステップＳＥ）。

この特殊効果マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記特殊効果データメモリ２３（図４参照）に予め記憶された特殊効果Ａの一連の変身モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃや特殊効果Ｂの一連の変身モーションモデルデータ２３Ｐ２ａ〜２３Ｐ２ｃと一致する画像部分が検出されたか否か判断される（ステップＥ１）。

ここで、図２３（Ａ）〜図２５（Ａ）の撮影画像データＧ７〜Ｇ９に順次示すように、前記対象画像抽出処理により抽出される一連の子供の人物画像Ｋについて、前記特殊効果データメモリ２３（図４参照）に予め記憶された特殊効果Ａの一連の変身モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃと身振りが一致する画像部分であると検出されると（ステップＥ１（Ｙｅｓ））、当該特殊効果データメモリ２３（図４参照）に対応付けられて記憶されている特殊効果Ａの特殊効果マークデータ２３Ｍｕ１が読み出されると共に、前記モーション検出された子供の人物画像Ｋの所定位置（例えば画像上部から３分の１の位置）に対応して前記怪獣Ａの変身マークデータ２４Ｍｗ１が付加されている人物画像（父親）Ｐの方向へ向けて付加され、図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ９として作業用データメモリに一時保存され表示部１１に表示される（ステップＥ２）。

なお、前記モーション検出された人物画像Ｋの所定位置に対応付加される特殊効果マークデータ２４Ｍｕ１は、当該人物画像Ｋに重ねて付加されるか、または当該人物画像Ｋの近傍に付加されるかの何れであってもよい。

そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＥ３（Ｙｅｓ））、前記特殊効果データメモリ２３（図４参照）に対応付けられて記憶されている特殊効果Ａの音声データ「ビビビビー」２３Ｓｕ１が読み出され、同図２５（Ｂ）に示すように音声出力部１３から出力される（ステップＥ４）。

すると、前記図１７（Ｂ）〜図２５（Ｂ）で示したように、前記ステップＳＡ〜ＳＥの処理に従い作業用データメモリ上に生成されたマーク付きの連続した撮影画像データＧｍ１〜Ｇｍ９がマーク付き撮影画像データメモリ２６に記憶され保存される（ステップＳ２）。

そして、画像撮影部２１からの一連の撮影画像データＧ１〜Ｇ９の撮影入力が終了したと判断されると（ステップＳ３（Ｙｅｓ））、前記マーク付き撮影画像データメモリ２６に生成保存された一連のマーク付き撮影画像データＧｍ１〜Ｇｍ９に基づく合成画像の生成処理に進むか否か判断される（ステップＳ４）。

ここで、入力部１２に対する合成画像生成のためのユーザ操作に応じて、あるいは前記一連の撮影画像データの取得終了に伴い自動的に、合成画像の生成処理に進むと判断されると（ステップＳ４（Ｙｅｓ））、前記マーク付き撮影画像データメモリ２６から前記一連のマーク付き撮影画像データＧｍ１〜Ｇｍ９が作業用メモリに読み出され、図１４における変身マーク合成処理へ移行される（ステップＳＦ）（合成手段）。

この変身マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ９について、前記変身役柄データメモリ２４（図６参照）に予め記憶されている変身マークデータ２４Ｍｗや前記変身データメモリ１４（図３参照）に予め記憶されている変身マークデータ１４ｍｕが付加された画像が含まれているか否か判断される（ステップＦ１）。

ここで、図１７（Ｂ）〜図２５（Ｂ）で示すように怪獣Ａの変身マークデータ２４Ｍｗ１が付加された画像、また、図２２（Ｂ）〜図２５（Ｂ）で示すように○○マンＡの変身マークデータ１４Ｍｕ１が付加された画像が存在すると判断された場合には（ステップＦ１（Ｙｅｓ））、当該各変身マークデータ２４Ｍｗ１，１４Ｍｕ１が対応付加されている該マーク近傍の人物画像Ｐ，Ｋの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＦ２）。

すると、前記特定された人物画像Ｐ，Ｋがモーションキャプチャ処理され、変身役柄データメモリ２４（図６参照）に記憶されている前記怪獣Ａの変身マークデータ２４Ｍｗ１に対応するところの変身（１）画像データ２４Ｇｗ１、変身データメモリ１４（図３参照）に記憶されている前記○○マンＡの変身マークデータ１４Ｍｕ１に対応するところの変身画像データ１４Ｇｕ１に基づき、図１７（Ｃ）〜図２５（Ｃ）に示すように当該人物画像（父親）Ｐと同じポーズ（姿勢）の怪獣Ａの変身画像データ２４Ｇｗ１、図２２（Ｃ）〜図２５（Ｃ）に示すように当該人物画像（子供）Ｋと同じポーズ（姿勢）の○○マンＡの変身画像データ１４Ｇｕ１にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ１〜ＧＧ９，ＧＧ６〜ＧＧ９が生成される（ステップＦ３）。

なおこの際、前記図２２（Ｃ）の矢印ｘで示すように、人物画像（子供）Ｋと同じポーズ（姿勢）の○○マンＡの変身画像データ１４Ｇｕ１は拡大処理されて置き換え合成される。

そして、前記変身役柄データメモリ２４（図６参照）に対応付けられて記憶されている怪獣Ａの音声データ「ガオー」２４Ｓｗ１が読み出され、前記図１７（Ｃ）〜図２５（Ｃ）に示すように生成された合成画像ＧＧ１〜ＧＧ９に対応付けられて保存され、また、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている○○マンＡの音声データ「シュワッチ」１４Ｓｕ１が読み出され、前記図２２（Ｃ）〜図２５（Ｃ）に示すように生成された合成画像ＧＧ６〜ＧＧ９に対応付けられて保存される（ステップＦ４）。

すると次に、図１５における破壊マーク合成処理へ移行される（ステップＳＧ）。

この破壊マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ９について、前記破壊データメモリ１５（図５参照）に予め記憶されている破壊（前）マークデータ１５Ｍや破壊（後）マークデータ１５Ｍ′が付加された画像が含まれているか否か判断される（ステップＧ１）。

ここで、図１７（Ｂ）〜図２５（Ｂ）で示すように塔の破壊（前／後）マークデータ１５Ｍａ／１５Ｍａ′が付加された画像、また、図１８（Ｂ）〜図２５（Ｂ）で示すように飛行機の破壊（前／後）マークデータ１５Ｍｂ／１５Ｍｂ′が付加された画像が存在すると判断された場合には（ステップＧ１（Ｙｅｓ））、当該各破壊（前／後）マークデータ１５Ｍａ／１５Ｍａ′や１５Ｍｂ／１５Ｍｂ′が対応付加されている該マーク近傍の破壊対象画像データ（ビール瓶）Ａ１，（紙飛行機）Ｂの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＧ２）。

そして、前記特定された破壊対象画像データ（ビール瓶）Ａ１，（紙飛行機）Ｂの位置が、前記対象画像抽出処理（ステップＳＡ）により抽出されている他の対象画像抽出ブロックの画像部分と接触したか否か判断される（ステップＧ３）。

ここで、例えば図１７（Ｂ）のマーク付き撮影画像データＧｍ１における破壊対象画像データ（ビール瓶）Ａ１、あるいは図１８（Ｂ）のマーク付き撮影画像データＧｍ２における破壊対象画像データ（紙飛行機）Ｂにおいて示すように、当該特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の抽出画像部分と接触してないと判断された場合には（ステップＧ３（Ｎｏ））、該特定されたビール瓶Ａ１や紙飛行機Ｂの破壊対象画像データは破壊後の状態にあるか否かが、当該各物体画像（Ａ１，Ｂ）が転倒状態や反転状態にあるか否かの画像認識によって判断される（ステップＧ４）。

ここで、例えば図１７（Ｂ）におけるビール瓶Ａ１あるいは図１８（Ｂ）における紙飛行機Ｂで示すように、その各物体画像Ａ１，Ｂは転倒状態や反転状態にないと画像認識されて破壊後の状態ではないと判断された場合には（ステップＧ４（Ｎｏ））、その特定されたビール瓶Ａ１あるいは紙飛行機Ｂの破壊対象画像データが、図１７（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記塔の破壊（前）マークデータ１５Ｍａに対応するところの破壊（前）画像データ１５Ｇａ１、あるいは図１８（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記飛行機の破壊（前）マークデータ１５Ｍｂに対応するところの破壊（前）画像データ１５Ｇｂ１にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ１，ＧＧ２が生成される（ステップＧ５）。

そして、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている飛行機の破壊前音声データ「ビューン」１５Ｓｂ１が読み出され、前記図１８（Ｃ）に示すように生成された合成画像ＧＧ２に対応付けられて保存される（ステップＧ６）。

一方、例えば図１８（Ｂ）のマーク付き画像データＧｍ２における破壊対象画像データ（ビール瓶）Ａ１と人物画像（父親）Ｐとの接触状態、あるいは図１９（Ｂ）のマーク付き撮影画像データＧｍ３における破壊対象画像データ（紙飛行機）Ｂと人物画像（父親）Ｐとの接触状態において示すように、当該特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の抽出画像部分と接触したと判断された場合には（ステップＧ３（Ｙｅｓ））、その特定されたビール瓶Ａ１あるいは紙飛行機Ｂの破壊対象画像データが、図１８（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記塔の破壊（後）マークデータ１５Ｍａ′に対応するところの破壊（中）画像データ１５Ｇａ２、あるいは図１９（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記飛行機の破壊（後）マークデータ１５Ｍｂ′に対応するところの破壊（中）画像データ１５Ｇｂ２にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ２，ＧＧ３が生成される（ステップＧ８）。

そして、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔の破壊音データ「グシャ」１５Ｓａが読み出され、前記図１８（Ｃ）に示すように生成された合成画像ＧＧ２に対応付けられて保存され、また飛行機の破壊音データ「ドカーン」１５Ｓｂ２が読み出され、前記１９（Ｃ）に示すように生成された合成画像ＧＧ３に対応付けられて保存される（ステップＧ９）。

一方、例えば図１９（Ｂ）〜図２５（Ｂ）のマーク付き撮影画像データＧｍ３〜Ｇｍ９における破壊対象画像データ（ビール瓶）Ａ１、あるいは図２０（Ｂ）〜図２５（Ｂ）のマーク付き撮影画像データＧｍ４〜Ｇｍ９における破壊対象画像データ（紙飛行機）Ｂにおいて示すように、当該特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の抽出画像部分と接触してないと判断された場合であっても（ステップＧ３（Ｎｏ））、その各破壊対象画像データＡ１，Ｂは転倒状態や反転状態にあると画像認識されて破壊後の状態であると判断された場合には（ステップＧ４（Ｙｅｓ））、当該特定されたビール瓶Ａ１あるいは紙飛行機Ｂの破壊対象画像データは、同図１９（Ｂ）〜図２５（Ｂ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記塔の破壊（後）マークデータ１５Ｍａ′に対応するところの破壊（後）画像データ１５Ｇａ３、あるいは同図２０（Ｂ）〜図２５（Ｂ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記飛行機の破壊（後）マークデータ１５Ｍｂ′に対応するところの破壊（後）画像データ１５Ｇｂ３にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ３〜ＧＧ９あるいはＧＧ４〜ＧＧ９が生成される（ステップＧ１０）。

すると次に、図１６における特殊効果マーク合成処理へ移行される（ステップＳＨ）。

この特殊効果マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ９について、前記特殊効果データメモリ２３（図４参照）に予め記憶されている特殊効果マークデータ２３Ｍｕが付加された画像が含まれているか否か判断される（ステップＨ１）。

ここで、図２５（Ｂ）で示すように特殊効果Ａの特殊効果マークデータ２３Ｍｕ１が付加された画像Ｇｍ９が存在すると判断された場合には（ステップＨ１（Ｙｅｓ））、当該特殊効果マークデータ２３Ｍｕ１が対応付加されている該マーク近傍の人物画像（子供）Ｋの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＨ２）。

すると、前記特殊効果データメモリ２３（図４参照）の特殊効果マークデータ２３Ｍｕ１に対応付けられて記憶されている特殊効果画像データ２３Ｇｕ１が読み出され、前記特定された人物画像（子供）Ｋの所定位置（例えば画像上部から３分の１の位置）に対応して前記怪獣Ａの変身マークデータ２４Ｍｗ１が付加されている人物画像（父親）Ｐの方向へ向けて追加合成され、合成画像データＧＧ９が生成される（ステップＨ３）。

さらに、前記人物画像（子供）Ｋの所定位置に追加合成された特殊効果画像データ２３Ｇｕ１は、その先端部の爆発効果画像部分２３Ｇｕ１′が前記人物画像（父親）Ｐに対応する怪獣Ａの変身（１）画像データ２４Ｇｗ１に到達する位置まで延長されて追加合成され、合成画像データＧＧ９が生成される（ステップＨ４）
そして、前記特殊効果データメモリ２３（図４参照）に対応付けられて記憶されている特殊効果Ａの音声データ「ビビビビー」２３Ｓｕ１が読み出され、前記図２５（Ｃ）に示すように生成された合成画像ＧＧ９に対応付けられて保存される（ステップＨ５）。

すると、前記図１７（Ｃ）〜図２５（Ｃ）で示したように、前記ステップＳＦ〜ＳＨの処理に従い作業用データメモリ上に生成された一連の合成画像データＧＧ１〜ＧＧ９が合成画像データメモリ２７に記憶され保存される（ステップＳ６）。

そして、前記合成画像データメモリ２７に記憶された一連の合成画像データ（対応付けられた音声データを含む）ＧＧ１〜ＧＧ９が、前記図１７（Ｃ）〜図２５（Ｃ）で示すように、表示部１１により再生表示されると共に音声出力部１３により再生出力される（ステップＳ７）。なお、本画像合成装置がサーバ装置３０（図７参照）として構成されている場合には、前記ステップＳ１において受信された一連の撮影画像データＧ１〜Ｇ９の送信元である通信ネットワークＮ上の通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０に対して、前記合成画像データメモリ２７に記憶された一連の合成画像データ（対応付けられた音声データを含む）ＧＧ１〜ＧＧ９が読み出されて応答送信される（ステップＳ７）。

したがって、前記構成のデジタルカメラ１０あるいはサーバ装置３０による画像合成装置によれば、画像撮影部２１により動画撮影された一連の撮影画像データＧｎが入力されると、当該撮影画像データＧｎに含まれる人物画像（Ｐ，Ｋ）が抽出され、予め設定されたモーション（身振り）をしている人物画像（Ｋ）の有無が検出される。そして、撮影画像データＧｎに含まれる予め設定されたモーション（身振り）をしている人物画像（Ｋ）が検出されると、当該設定モーションのモデルデータ１４Ｐに対応付けられて変身データメモリ１４に記憶されている例えば○○マンＡの３Ｄ画像生成用の変身画像データ１４Ｇｕ１に基づき、前記撮影画像データＧｎの人物画像（Ｋ）がそのモーションを同じにした変身画像データ１４Ｇｕ１に置き換えられた合成画像データＧＧｎとして生成出力されるので、前記動画撮影に際して被写体となる人物がアニメのヒーローなどに変身するためのモーション（身振り）をするだけで、その変身モーション以降から当該被写体の人物画像を前記ヒーローの画像に置き換えた合成画像を容易に生成することができる。

よって、動画撮影された人物画像について、対象人物の意志に従い他のキャラクタ画像に変化（変身）していく一連のシーンとなる合成画像を手軽に作成することができる。

これにより、例えばユーザ家族において子供をヒーロー役にした動画撮影を行えば、容易に特撮風の合成動画像ＧＧｎを作ることができ、当該生成された合成動画像ＧＧｎを表示部１１に出力表示させて見たり、外部のモニタに出力表示させて見たりすることで、これまでにない楽しみを得ることができる。

また、前記構成のデジタルカメラ１０あるいはサーバ装置３０による画像合成装置によれば、被写体となる人物画像（Ｋ）の予め設定されたモーション（身振り）を検出して、これに対応する例えば○○マンＡの変身画像データ１４Ｇｕ１に前記人物画像（Ｋ）を置き換え合成した合成画像ＧＧｎを生成した際には、前記変身データメモリ１４に記憶されている当該変身画像データ１４Ｇｕ１の音声データ「シュワッチ」１４Ｓｕ１を、前記合成画像ＧＧｎに対応付けて保存し出力させるので、容易且つよりリアルに特撮風の合成動画像ＧＧｎを作ることができる。

また、前記構成のデジタルカメラ１０による画像合成装置によれば、前記動画撮影中に表示部１１にリアルタイムに表示される撮影画像データＧｎについて、前記予め設定されたモーション（身振り）の人物画像（Ｋ）が検出された際には、当該人物画像（Ｋ）に対して例えば○○マンＡの変身画像データ１４Ｇｕ１への変身対象となったことを示す変身マークデータ１４Ｍｕ１を付加したマーク付き撮影画像データＧｍｎとして表示部１１に表示させ、しかも前記変身画像データ１４Ｇｕ１の音声データ「シュワッチ」１４Ｓｕ１も共に音声出力部１３から出力させるので、例えば撮影操作中の家族は、被写体の人物画像（子供）Ｋがその役柄通りに変身され置き換え処理されていることを容易に認識することができ、またこれを演じている最中の被写体自身（子供Ｋ）にあっても、自らがその役柄通りに変身処理されていることを音声により容易に認識することができる。

前記実施形態では、撮影画像データＧｎから対象画像として抽出される人物画像（Ｋ）の予め設定されたモーション（身振り）を検出するための変身モーションモデルデータ１４Ｐと、これに対応する変身マークデータ１４Ｍｕおよび変身画像データ１４Ｇｕとを、変身データメモリ１４により予め記憶する構成としたが、通信ネットワークＮ上のサーバ装置３０（この場合はサービスサイトのデータ提供サーバ）から変身画像データ（変身キャラクタ）の好みの種類を選択してダウンロードし、変身データメモリ１４として新たに記憶させ前記同様に機能させる構成としてもよい。

なお、前記実施形態において記載した画像合成装置による各処理の手法、すなわち、図８のフローチャートに示す合成画像出力処理、図９のフローチャートに示す前記合成画像出力処理に伴う対象画像抽出処理、図１０のフローチャートに示す前記合成画像出力処理に伴う役柄変身マーク処理、図１１のフローチャートに示す前記合成画像出力処理に伴う破壊マーク処理、図１２のフローチャートに示す前記合成画像出力処理に伴うモーション変身マーク処理、図１３のフローチャートに示す前記合成画像出力処理に伴う特殊効果マーク処理、図１４のフローチャートに示す前記合成画像出力処理に伴う変身マーク合成処理、図１５のフローチャートに示す前記合成画像出力処理に伴う破壊マーク合成処理、図１６のフローチャートに示す前記合成画像出力処理に伴う特殊効果マーク合成処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶媒体１８（３３）に格納して配布することができる。そして、変身データ１４（３２Ｂ）、特殊効果データ２３（３２Ｃ）、破壊データ１５（３２Ｄ）、変身役柄データ２４（３２Ｅ）をメモリ１７（３２）に記憶した種々のコンピュータ端末は、この外部記憶媒体１８（３３）に記憶されたプログラムをプログラムメモリ２２（３２Ａ）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した動画撮影画像データＧｎからの変身画像を用いた合成画像ＧＧｎの作成・出力機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記実施形態の各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末（プログラムサーバ）から前記のプログラムデータを取り込み、前述した動画撮影画像データＧｎからの変身画像を用いた合成画像ＧＧｎの作成・出力機能を実現することもできる。

この実施例は、前記実施形態で説明した画像合成装置の具体例の範囲内で、本発明の画像合成装置の主要な部分を簡潔に纏めた例として説明する。

技術的内容は、前記実施形態の内容と同様である。

図２６は、本実施例に係るデジタルカメラ５０を利用した撮影状態を示す図であり、図２７Ａ、及び、図２７Ｂは、表示部５１に表示される状態を示す図、及び、撮影後、表示部５１に表示される合成画像を示す図である。

デジタルカメラ５０は、その背面にＬＣＤ表示部５１、入力部５２、音声出力部（スピーカ）５３を備え、入力部５２の操作に応じて撮影される撮影画像データＧｎは、リアルタイムで表示部５１に表示される。

そして、演者Ｐｏが物体Ａｏを倒し、飛んで来る物体Ｂｏを叩き落とし、演者Ｋｏが予め登録された身振りをするシーンをデジタルカメラ５０が動画として撮影し、記録する。

時間的に連続して撮影された複数の撮影画像データＧｎは、図２７Ａに示すように、リアルタイムで表示部５１に表示される。そしてこれと同時に複数の撮影画像データが解析され、演者Ｐｏに対応する画像データには置換画像データ６４Ｇｗが合成されることを示すマークデータ６４Ｍｗが付加されて表示され、演者Ｋｏに対応する画像データについては予め設定された身振りが検出されると、置換画像データ５４Ｇｕが合成されること示すマークデータ５４Ｍｕが付加されて表示される。

また、物体Ａｏに対応する画像データには置換画像データ（接触前）５５Ｇａが合成されることを示すマークデータ（接触前）５５Ｍａが付加されて表示され、物体画像データＢｏには置換画像データ（接触前）５５Ｇｂが合成されることを示すマークデータ（接触前）５５Ｍｂが付加されて表示される。

また撮影時には、夫々のマークデータに対応付けられて予め記憶されている音声データが読み出されて、音声出力部５３から出力される。

なお、以降の説明において、撮影された動画にマークデータ６４Ｍｗ、マークデータ５４Ｍｕ、マークデータ５５Ｍａ，及び、マークデータ５５Ｍｂが付加されたものをマーク付き撮影画像Ｇｍと称する。

また、撮影後、マーク付き撮影画像データＧｍにおいてマークデータ６４Ｍｗ、５４Ｍｕ、５５Ｍａ、及び、５５Ｍｂが付加された各画像データ（置換対象画像データ）は、夫々図２７Ｂに示すような、置換画像データ６４Ｇｗ、置換画像データ５４Ｇｕ、置換画像データ５５Ｇａ，置換画像データ５５Ｇｂに置換され、そして、置換画像データ６４Ｇｗ、置換画像データ５４Ｇｕについては、演者ＫｏやＰｏの動きをキャプチャーした動画として生成され、これらが、背景画像データＢＧに合成された合成動画像データＧＧが生成される。

なお、詳細は後述するが、デジタルカメラ５０は物体Ａｏに対応する置換対象画像データや物体Ｂｏに対応する置換対象画像データが演者ＰｏやＫｏに対応する置換対象画像データと接触したことを画像解析により検知すると、マークデータ（接触前）５５Ｍａ，及び、マークデータ（接触前）５５Ｍｂを、夫々マークデータ５５（接触後）Ｍａ’、マークデータ５５（接触後）Ｍｂ’に差し替えるとともに、置換画像データ（接触前）５５Ｇａ，置換画像データ（接触前）５５Ｇｂについても接触後に対応した置換画像データ（接触後）５５Ｇａ’、 置換画像データ（接触後）５５Ｇｂ’に置き換えられて合成される。

図２８は、デジタルカメラ５０の電子回路の構成を示すブロック図である。

このデジタルカメラ５０は、コンピュータであるＣＰＵ５６を備えている。

ＣＰＵ５６は、メモリ５７に予め記憶されたシステムプログラム、あるいはメモリカードなどの外部記録媒体５８からカードスロットなどの記録媒体読取部５９を介してメモリ５７に読み込まれたカメラ制御プログラム、あるいは通信ネットワーク（Ｎ）上のサーバ装置７０から電送制御部６０を介してメモリ５７に読み込まれたカメラ制御プログラムに従い回路各部の動作を制御する。

また、ＣＰＵ５６は、主に以下の機能を処理する処理部を備えている。

・時間的に連続する複数の撮影画像データＧｎにわたって、特定のモーションを行う演者Ｋｏを変化している物体として認識し置換対象画像データとして、また、物体Ａｏ、Ｂｏ、及び、演者Ｐｏを画像解析により認識し置換対象画像データとして連続的に抽出する抽出処理部５６１；
・置換対象画像データが予め登録されたものであるか否かをその画像データの特徴部分や形状を認識して判断する第１の判断処理部５６２；
・予め登録されたものであると判断した場合、複数の撮影画像データのその置換対象画像データに対応付けて、マークデータを付加して表示する第１のマーキング処理部５６３；
・予め登録されたものであると判断した場合、その置換対象となる画像が最適な視角状態で撮影されたもの否かを判断し、この判断結果に基づいて、異なるマークデータを付加して表示する第２のマーキング処理部５６４；
・複数の撮影画像データにおいて、抽出処理された置換対象画像データと他の抽出された置換対象画像データとの位置関係（より具体的には、抽出処理された置換対象画像データと他の抽出された置換対象画像データとが接触或いは重なるか否か）を判断する第２の判断処理部５６５；
・接触或いは重なると判断した場合、マークデータを差し替えて付加し表示する第３のマーキング処理部５６６；
・抽出処理された、又はマーキング処理された置換対象画像データの、複数の撮影画像データＧｎにおける動き（モーション）が、予め登録されたものと略同一であるか否かを判断する第３の判断処理部５６７；（第１，第３の判断手段）
・予め登録されたものであると判断した場合、マークデータを付加して表示する第４のマーキング処理部５６８；
・マークデータが付加された複数の撮影画像データについて、置換対象画像データをマークデータに対応する置換画像データに置き換える置換処理部５６９；（合成手段）
・置換対象画像データの動きをキャプチャーし、置換画像データを三次元的に動かした動画データを生成する動画生成処理部５７０；（動画データ作成手段）
・生成された動画データを含む合成動画データを生成する合成動画生成処理部５７１；（合成手段）
これらの処理部５６１〜５７１の処理プログラムは、予め画像処理プログラム６２に記憶されており、必要に応じてＣＰＵ５６にロードされる。また、画像データの監視処理、画像認識処理、キャプチャー処理、及び、三次元化処理については、予め画像処理プログラムに記憶されており、適宜ロードされる。

尚、プログラムメモリ６２には、デジタルカメラ５０の全体の動作を司るシステムプログラムや撮影動作を司るカメラ制御プログラム、通信ネットワークＮ上のサーバ装置７０や外部のＰＣ（personal computer）８０との通信動作を司る通信制御プログラム、音声出力処理プログラムが記憶され、そして、入力部５２からのキー入力信号や画像撮影部６１（入力手段）からの撮影入力信号、電送制御部６０を介した外部機器（７０，８０）からの入力信号に応じてロードされる。

また、ＣＰＵ５６には、ＬＣＤ表示部５１、入力部５２、音声出力部５３、メモリ５７、記録媒体読取部５９、電送制御部６０が接続される他に、固体撮像素子（ＣＣＤ）や撮像光学系および距離センサや照度センサを備えた画像撮影部６ｌが接続される。

メモリ５７には、変身データメモリ５４（第１の記憶手段）、特殊効果データメモリ６３（第３の記憶手段）、破壊データメモリ５５（第２の記憶手段）、変身役柄データメモリ６４（第２の記憶手段）、撮影画像データメモリ６５、マーク付き撮影画像データメモリ６６、合成画像データメモリ６７、およびその他の作業用データメモリなどが備えられる。

尚、デジタルカメラ５０において、演者Ｐｏに対応する置換対象画像データの顔部分６４Ｔは置換画像データ６４Ｇｗと対応付けて変身役柄データメモリ６４に予め記憶される。

また、置換対象画像データ５５Ｔはそれぞれ置換画像データ５５Ｇａと対応付けて、破壊データメモリ５５に予め記憶される。

図２９は、変身データメモリ５４に予め記憶されるデータの内容を示す図である。

この変身データメモリ５４には、記憶領域５４ａ、５４ｂ夫々に、モーションデータ５４Ｐ、置換画像データ５４Ｇｕ、マークデータ５４Ｍｕ、及び、音声データ５４Ｓｕが対応付けて記憶される。

また、マークデータ５４Ｍｕの記憶領域には、複数種類の置換画像データ５４Ｇｕ１，５４Ｇｕ２をそれぞれ簡易表現したマークデータ５４Ｍｕ１，５４Ｍｕ２が記憶される。

そして、モーションデータ５４Ｐの記憶領域には、置換画像データ５４Ｇｕ１，５４Ｇｕ２を読み出すための一連のモーション（身振り）からなるモーションデータ５４Ｐ１ａ〜５４Ｐ１ｃ，５４Ｐ２ａ〜５４Ｐ２ｃが記憶される。

なお、置換画像データ５４Ｇｕ１，５４Ｇｕ２は、人物の手足の骨格や顔の特徴点の移動データと対応付けられて様々な動きを表現した、３Ｄ画像生成用データが記憶される。

またモーションデータ５４Ｐ１ａ〜５４Ｐ１ｃ，５４Ｐ２ａ〜５４Ｐ２ｃは、このモーションで動いた人物の手足の骨格や顔の特徴点の移動データと画像データとが記憶される。

図３０は、特殊効果データメモリ６３に予め記憶されるデータの内容を示す図である。

この特殊効果データメモリ６３には、記憶領域６３ａ、６３ｂ夫々に、モーションデータ６３Ｐ、置換画像データ６３Ｇｕ、マークデータ６３Ｍｕ、及び、音声データ６３Ｓｕが対応付けて記憶される。

マークデータ６３Ｍｕの記憶領域には、複数種類の置換画像データ６３Ｇｕ１，６３Ｇｕ２をそれぞれ簡易表現したマークデータ６３Ｍｕ１，６３Ｍｕ２が記憶される。

モーションデータ６３Ｐの記憶領域には、置換画像データ６３Ｇｕ１，６３Ｇｕ２のそれぞれを、置換画像データ５４Ｇｕ１，５４Ｇｕ２の所定の位置に合成するための一連のモーション（身振り）からなるモーションデータ６３Ｐ１ａ〜６３Ｐ１ｃ，６３Ｐ２ａ〜６３Ｐ２ｃが記憶される。

なお、置換画像データ６３Ｇｕ１，６３Ｇｕ２は、画像データそのもの、又は３Ｄ画像生成用データとして記憶される。

またモーションデータ６３Ｐ１ａ〜６３Ｐ１ｃ，６３Ｐ２ａ〜６３Ｐ２ｃは、このモーションで動いた人物の手足の骨格や顔の特徴点の移動データと画像データとが記憶される。

図３１は、破壊データメモリ５５に予め記憶されるデータの内容を示す図である。

この破壊データメモリ５５は、記憶領域５５ａ〜５５ｃ夫々に、置換対象画像データ５５Ｔ、置換画像データ５５Ｇ（第２の合成画像データ）、マークデータ（接触前）５５Ｍ、マークデータ（接触後）５５Ｍ′、及び、音声データ５５Ｓを対応付けて記憶し、置換画像データ５５Ｇの記憶領域には、例えば接触前，接触時，接触後の各置換画像データ５５Ｇａ１〜５５Ｇａ３が記憶される。

また、音声データ５５Ｓについては、音声データ５５Ｓａは接触時を出力タイミングとして、音声データ５５Ｓｂ１は接触前を出力タイミングとして、音声データ５５Ｓｂ２は接触時を出力タイミングとして、音声データ５５Ｓｃは接触後を出力タイミングとして夫々設定されている。

マークデータ（接触前）５５Ｍとマークデータ５５Ｍ′（接触後）の各記憶領域には、例えば、記憶領域５５ａについては、置換画像データ５５Ｇａ１を簡易表現するマークデータ５５Ｍａ、置換画像データ５５Ｇａ３を簡易表現するマークデータ５５Ｍａ’が記憶される。そして、置換対象画像データ５５Ｔの記憶領域は、例えば、記憶領域５５ａには、置換画像データ５５Ｇａ１〜５５Ｇａ３の置き換え対象となる置換対象画像データ（例えば物体Ａｏの画像データ）の最適な視角状態が記憶される。

なお、置換画像データ５５Ｇａ１〜５５Ｇａ３，５５Ｇｂ１〜５５Ｇｂ３，５５Ｇｃ１〜５５Ｇｃ３は、画像データそのもの、又は３Ｄ画像生成用データとして記憶される。

また置換対象画像データ５５Ｔは、その物体を撮影した画像データそのもの、又は同物体の特徴を示す形状データとして記憶される。

図３２は、変身役柄データメモリ６４に記憶される内容を示す図である。

この変身役柄データメモリ６４は、記憶領域６４ａ、６４ｂ夫々にユーザが任意に登録することができる置換対象画像データ６４Ｔ、置換画像データ（１）６４Ｇｗ、マークデータ（１）６４Ｍｗ、置換画像データ（２）６４Ｇｗ′、マークデータ（２）６４Ｍｗ′及び、音声データ６４Ｓが対応付けて記憶される
置換画像データ（１）６４Ｇｗの記憶領域には、例えば、記憶領域６４ａの場合、複数種類の第１段階の置換画像データ６４Ｇｗ１が記憶される。

マークデータ（１）６４Ｍｗの記憶領域には、例えば、記憶領域６４ａの場合、置換画像データ６４Ｇｗ１を簡易表現したマークデータ６４Ｍｗ１が記憶される。

置換画像データ（２）６４Ｇｗ′の記憶領域には、例えば、記憶領域６４ａの場合、第１段階の置換画像データ６４Ｇｗ１に対応する第２段階の置換画像データ６４Ｇｗ１′が記憶される。

マークデータ（２）６４Ｍｗ’の記憶領域には、例えば、記憶領域６４ａの場合、置換画像データ６４Ｇｗ１’を簡易表現したマークデータ６４Ｍｗ１’が記憶される。

置換対象画像データ６４Ｔの記憶領域には、置換画像データ６４Ｇｗ１，６４Ｇｗ２の置き換え対象となる演者の顔画像データが登録される。

音声データ６４Ｓの記憶領域には、例えば、記憶領域６４ａの場合、置換画像データ６４Ｇｗ１及びマークデータ６４Ｍｗ１と対応付けて音声データ６４Ｓｗ１が記憶され、置換画像データ６４Ｇｗ１’及びマークデータ６４Ｍｗ１’と対応付けて音声データ６４Ｓｗ１’が記憶される。

この音声データ６４Ｓは、マーク付き撮影画像データＧｍが表示されるとき、及び、合成動画像データＧＧが表示されるときに音声出力部５３から出力される。

また、置換画像データ６４Ｇｗ，６４Ｇｗ′は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと３Ｄ画像生成用データとの組み合わせとして記憶される。

尚、本実施例では詳述はしないが、第１段階の置換画像データ６４Ｇｗから第２段階の置換画像データ６４Ｇｗ’への表示（合成）の変化は任意に設定できる。例えば、撮影した日付や時間に応じて変化させても良いし、合成画像データとして再生表示した日付や時間に応じて変化させても良い。

また、認識対象画像データ（顔画像部分）について事前に複数種の表情の顔画像を登録しておき、例えば、穏やかな表情には置換画像データ６４Ｇｗ、怒った表情には置換画像データ６４Ｇｗ’を読み出して合成するようにしても良い。

撮影画像データメモリ６５には、画像撮影部６１により時間的に連続して撮影された複数の撮影画像データＧｎが記憶される。

マーク付き撮影画像データメモリ６６には、撮影画像データメモリ６５に記憶された複数の撮影画像データＧｎについて、画像処理プログラムに従い撮影にリアルタイムで生成されたマーク付き撮影画像データＧｍ（図２７Ａ参照）が順次記憶される。

合成画像データメモリ６７には、マーク付き撮影画像データメモリ６６に生成記憶されたマーク付き撮影画像データＧｍに基づき、画像処理プログラムに従い生成された合成画像データＧＧ（図２７Ｂ参照）が記憶される。

なお、前記構成のデジタルカメラ５０は、画像撮影部６１により連続的に撮影される複数の撮影画像データＧｎにマークデータを付加してマーク付き撮影画像データＧｍ（図２７Ａ参照）をリアルタイムに生成して表示し、撮影後に記録されたマーク付き撮影画像データＧｍから合成画像データＧＧ（図２７Ｂ参照）を生成して動画として表示するか、この生成された動画をデジタルカメラ５０の外部に出力するものである。

また、図３３に図示するように、デジタルカメラ５０が具備する上記の機能を、通信ネットワークＮ上のサーバ装置７０に備えさせるようにしても良い。

また、このサーバ装置７０に、デジタルカメラ１１０やＰＣ８０に通信ネットワークＮを介して通信する機能を備えさせ、サーバ装置７０にてマーク付き撮影画像データＧｍおよび合成画像データＧＧを生成し、デジタルカメラ１１０，ＰＣ８０に応答配信してサービスを提供する構成としてもよい。

この場合、サーバ装置７０は、コンピュータであるＣＰＵ７１を備えている。

ＣＰＵ７１は、デジタルカメラ５０のＣＰＵ５６が処理する各処理部５６１〜５７１と同等の処理部を備え、且つ、メモリ７２に予め記憶されたシステムプログラム、あるいはＣＤ−ＲＯＭなどの外部記録媒体７３から光ディスクドライブなどの記録媒体読取部７４を介してメモリ７２に読み込まれたサーバ制御プログラムに従い回路各部の動作を制御する。

また、ＣＰＵ７１には、メモリ７２、記録媒体読取部７４が接続される他に、通信ネットワークＮ上のデジタルカメラ１１０やＰＣ８０との間でデータの電送制御を行うための電送制御部７５（入力手段）、キーボード・マウスなどの入力部７６、ＬＣＤ表示部７７が接続される。

メモリ７２のプログラムメモリ７２Ａには、本サーバ装置７０の全体の動作を司るシステムプログラム、デジタルカメラ１１０やＰＣ８０との通信動作を司る通信制御プログラムが記憶されると共に、デジタルカメラ１１０，ＰＣ８０から転送された動画撮影画像データＧｎに基づいて、前述したデジタルカメラ５０と同様にマーク付き撮影画像データＧｍや合成画像データＧＧを生成したり出力（配信）したりするための各種の機能を司る画像処理プログラムが予め記憶される。

そして、プログラムメモリ７２Ａに記憶された各種のプログラムは、入力部７６からの入力信号、電送制御部７５を介したデジタルカメラ１１０、ＰＣ８０からの入力信号に応じて起動される。

また、メモリ７２には、説明したデジタルカメラ５０におけるそれと略同一のデータ内容である、変身データメモリ５４、特殊効果データメモリ６３、破壊データメモリ５５、変身役柄データメモリ６４、撮影画像データメモリ６５、マーク付き撮影画像データメモリ６６、合成画像データメモリ６７、およびその他の作業用データメモリなどが備えられる。

これにより、サーバ装置７０では、通信ネットワークＮに接続されたデジタルカメラ１１０やＰＣ８０から転送された複数の撮影画像データＧｎに基づき、同様のマーク付き撮影画像データＧｍおよび合成画像データＧＧを生成すると共に、撮影画像データＧｎを送信したデジタルカメラ１１０、ＰＣ８０に応答配信するサービスを提供できる。

次に、構成のデジタルカメラ５０あるいはサーバ装置７０によるＣＰＵ５６、７１の合成画像出力処理について説明する。

図３４は、合成画像出力処理の全体過程を示すフローチャートである。

図３５は、フローチャートにおけるステップＲＡ、すなわち、撮影画像データＧｎ（Ｇ１〜Ｇ９）から置換対象画像データを抽出する抽出処理を示すサブフローチャートである。

図３６は、フローチャートにおけるステップＲＢ、すなわち、ステップＲＡにおいて抽出された置換対象画像データにマークデータ６４Ｍｗを付加して表示させるマーキング処理Ａを示す、サブフローチャートである。

図３７は、フローチャートにおけるステップＲＣ、すなわち、ステップＲＡにおいて抽出された置換対象画像データにマークデータ５５Ｍ，５５Ｍ′を付加して表示すると共に音声データ５５Ｓを出力させるマーキング処理Ｂを示す、サブフローチャートである。

図３８は、フローチャートにおけるステップＲＤ、すなわち、ステップＲＡにおいて抽出された置換対象画像データについて、複数の撮影画像データＧｎにわたる身振り（モーション）を検出し、このモーションが変身データメモリ５４に登録されているモーションデータ５４Ｐと略同一であると判断した場合、その置換対象画像データにマークデータ５４Ｍｕを付加して表示し、対応する音声データ５４Ｓｕを出力させるマーキング処理Ｃを示す、サブフローチャートである。

図３９は、フローチャートにおけるステップＲＥ、すなわち、ステップＲＤにおいてマーキング処理された置換対象画像データについて、複数の撮影画像データＧｎにわたる身振り（モーション）を検出し、このモーションが特殊効果データメモリ６３に登録されているモーション６３Ｐと同じであると判断した場合に、その演者の画像データにマークデータ６３Ｍｕを更に付加して表示し、対応する音声データ６３Ｓｕを出力させるマーキング処理Ｄを示す、サブフローチャートである。

図４０は、フローチャートにおけるステップＲＦ（合成手段）、すなわち、合成画像出力処理に伴いマークデータ６４Ｍｗ、５４Ｍｕが付加された置換対象画像データを置換画像データ６４Ｇｗ、５４Ｇｕに置き換えて合成し、音声データ６４Ｓｗ、５４Ｓｕの出力を設定する合成処理Ａを示すサブフローチャートである。

図４１は、フローチャートにおけるステップＲＧ、すなわち、合成画像出力処理に伴いマークデータ５５Ｍ，５５Ｍ′が付加された置換対象画像データを置換画像データ５５Ｇに置き換えて合成し、音声データ５５Ｓの出力を設定する合成処理Ｂを示すサブフローチャートである。

図４２は、フローチャートにおけるステップＲＨ、すなわち、合成画像出力処理に伴いマークデータ６３Ｍｕが付加された置換対象画像データの所定位置に置換画像データ６３Ｇｕを追加して合成し、音声データ６３Ｓｕの出力を設定する合成処理Ｃを示すサブフローチャートである。

図４３〜図５１は、合成画像出力処理に伴う撮影画像データＧｎに基づいた画像処理状態を順次示す図であり、夫々の図において、Ａは撮影画像データＧｎを示す図、Ｂはマーク付き撮影画像データＧｍを示す図、Ｃは合成画像データＧＧを示す図である。

図３４におけるステップＲ１〜Ｒ３の処理は、図４３Ａ〜図５１Ａに示すように、撮影画像データＧｎ（Ｇ１〜Ｇ９）の取得をトリガーとして実行され、図４３Ｂ〜図５１Ｂに示すようなマーク付き撮影画像データＧｍ（Ｇｍ１〜Ｇｍ９）が順次生成出力される。

また、図３４におけるステップＲ４〜Ｒ７の処理は、図４３Ｂ〜図５１Ｂに示すように生成されたマーク付き撮影画像データＧｍに対して実行され、図４３Ｃ〜図５１Ｃに示すような合成画像データＧＧ（ＧＧ１〜ＧＧ９）が生成出力される。

デジタルカメラ５０の画像撮影部６１により、例えば図４３Ａ〜図５１Ａに示す一連のシーンが撮影されると、複数の撮影画像データＧｎ（Ｇ１〜Ｇ９）は順次撮影画像データメモリ６５に一時的に保存され（ステップＲ１）（入力手段）、次いで、図３５に図示する抽出処理のサブフローチャートが実行処理される（ステップＲＡ）。

・抽出処理
ＣＰＵ５６は、撮影画像データメモリ６５に順次保存される撮影画像データＧｎをＣＰＵ５６内の作業用メモリに一時転送して記憶する（ステップＲＡ１）。そして、抽出処理部５６１が、撮影画像データＧｎの置換対象画像データ５５Ｔ、６４Ｔを認識し（ステップＲＡ２）、認識された置換対象画像データの撮影画像データＧｎにおける位置情報を撮影画像データＧｎに付加し、撮影画像データメモリ６５に記憶する（ステップＲＡ３）。

次いで、先に撮影された撮影画像データＧｎ−１と今回の撮影画像データＧｎとの画像の変化部分をブロック化して抽出し（ステップＲＡ４）、このブロック化された変化部分を有する画像データの位置情報を、撮影画像データＧｎに付加して撮影画像データメモリ６５に記憶する（ステップＲＡ５）。

・マーキング処理Ａ
抽出処理（ステップＲＡ）により撮影画像データＧｎの中に存在する置換対象画像データを抽出すると、次いで、第１の判断処理部５６２、及び、第１のマーキング処理部５６３が図３６に図示するマーキング処理Ａのサブフローチャートを実行する（ステップＲＢ）。

このマーキング処理Ａでは、抽出処理により抽出された置換対象画像データが変身役柄データメモリ６４に置換対象画像データ６４Ｔとして登録されているか否かを、既知の顔画像の認識処理を用いて判断する（ステップＲＢ１）（第２の判断手段）。

ここで、置換対象画像データ６４Ｔとして登録されていると判断すると（ステップＲＢ１（Ｙｅｓ））、この置換対象画像データ６４Ｔと対応付けられて記憶されている記憶領域６４ａのマークデータ６４Ｍｗ１を読み出すと共に、対応する抽出された置換対象画像データの顔画像の位置に付加して表示し、図４３Ｂ〜図５１Ｂに示すようなマーク付き撮影画像データＧｍ１〜Ｇｍ９として作業用メモリに一時的に保存する（ステップＲＢ２）。

このとき、マークデータ６４Ｍｗ１は、抽出された置換対象画像データの顔部分に重ねて表示するか、または顔部分の近傍に表示するかの何れであってもよい。

そして、全ての置換対象画像データについて判断が終了したか否かを判断し、判断が終了していなければ（ステップＲＢ３（Ｎｏ））ステップＲＢ１の処理に戻り、判断が終了していれば（ステップＲＢ３（Ｙｅｓ））、ステップＲＢ４の処理に移行する。

そして、現在、デジタルカメラ５０による撮影が継続中であると判断すると（ステップＲＢ４（Ｙｅｓ））、変身役柄データメモリ６４に対応付けられて記憶されている音声データ６４Ｓｗ１を読み出し、音声出力部５３から出力する（ステップＲＢ５）。

次に、図３７に図示するマーキング処理Ｂのサブフローチャートが実行処理される（ステップＲＣ）。

・マーキング処理Ｂ
このマーキング処理Ｂでは、第２のマーキング処理部５６４が、抽出処理により抽出された置換対象画像データが破壊データメモリ５５に置換対象画像データ５５Ｔとして登録されているか否かを判断する（ステップＲＣ１）。

このステップＲＣ１で、第２のマーキング処理部５６４が、置換対象画像データ５５Ｔとして登録されていると判断すると（ステップＲＣ１（Ｙｅｓ））、抽出された置換対象画像データが最適な視角状態で撮影されたものか否かを判断する（ステップＲＣ２）。そして、最適な視角状態で撮影されていると判断した場合（ステップＲＣ２（Ｙｅｓ））、この置換対象画像データ５５Ｔに対応付けられて記憶されているマークデータ（接触前）５５Ｍを読み出すと共に、対応する抽出された置換対象画像データの位置に付加して表示する（ステップＲＣ３）。

例えば、図４３Ａ、及び、図４４Ａに図示する物体Ａｏ、Ｂｏに対応する抽出された置換対象画像データは、破壊データメモリ５５に登録された最適な視角状態の置換対象画像データ５５Ｔとほぼ同じ状態である。

したがって、これらの置換対象画像データ５５Ｔに対応付けて記憶されているマークデータ（接触前）５５Ｍａと、マークデータ（接触前）５５Ｍｂを読み出すと共に、撮影画像データＧｍ１、Ｇｍ２に図示するように、抽出された置換対象画像データの位置に付加して表示する。

このとき、マークデータ（接触前）５５Ｍａ、マークデータ（接触前）５５Ｍｂは、抽出された置換対象画像データに重ねて表示するか、または置換対象画像データの近傍に表示するかの何れであってもよい。

そして、現在、デジタルカメラ５０による撮影が継続中であると判断された場合には（ステップＲＣ４（Ｙｅｓ））、破壊データメモリ５５に記憶されている音声データ５５Ｓを読み出し、音声出力部５３から出力する（ステップＲＣ５）。

この後、第２の判断処理部５６５が、マークデータが付加された置換対象画像データと他の抽出された置換対象画像データとの位置関係を、両者の置換対象画像データに付加された位置情報に基づいて監視し（ステップＲＣ６）、その結果、置換対象画像データが他の抽出された置換対象画像データと接触するか、或いは重なったか否を判断する（ステップＲＣ７）。

上記の判断とは、より具体的には、図４４Ａにおいて、物体Ａｏに対応する置換対象画像データと演者Ｐｏに対応する置換対象画像データとが接触若しくは重なった、図４５Ａにおいて、物体Ｂｏに対応する置換対象画像データと演者Ｐｏに対応する置換対象画像データとが接触若しくは重なった、等を判断する。

置換対象画像データの位置情報が他の抽出された置換対象画像データの位置情報と接触若しくは重なったと判断した場合には（ステップＲＣ７（Ｙｅｓ））、この接触若しくは重なった他の抽出された置換対象画像データが、マーキング処理Ａにてマークデータ６４Ｍｗが付加された置換対象画像データの一部分であるか否かを判断する（ステップＲＣ８）。

上記の判断とは、例えば、図４４Ａにおいて、演者Ｐｏに対応する置換対象画像データにマークデータ（１）６４Ｍｗ１が付加されているか否か等を判断する。

ステップＲＣ８によりマークデータ６４Ｍｗが付加されている他の抽出された置換対象画像データの一部分であると判断すると（ステップＲＣ８（Ｙｅｓ））、第３のマーキング処理部５６６が、マークデータ（接触後）５５Ｍ’を読み出すと共に、ステップＲＣ３にて付加されたマークデータ（接触前）５５Ｍに差し替えて付加し、作業用データメモリに一時保存し、マーク付き撮影画像データＧｍを表示する（ステップＲＣ９）。

このステップＲＣ９の処理を図４４Ｂを用いて説明すると、マークデータ（接触前）５５Ｍａの位置には、置換対象画像データ５５Ｔに対応付けられて記憶されているマークデータ（接触後）５５Ｍａ′が読み出され、マークデータ（接触前）５５Ｍａに差し替えて付加し、作業用データメモリに一時保存すると共に表示部５１に表示する（ステップＲＣ９）。

そして、現在、デジタルカメラ５０による撮影が継続中であると判断された場合には（ステップＲＣ１０（Ｙｅｓ））、置換対象画像データ５５Ｔに対応付けられて記憶されている音声データ５５Ｓを読み出し、音声出力部５３から出力する（ステップＲＣ１１）。

尚、ステップＲＣ２において、例えば図４５Ａ〜図５１Ａに図示した物体Ａｏに対応する置換対象画像データ、図４６Ａ〜図５１Ａに図示した物体Ｂｏに対応する置換対象画像データのように、抽出された置換対象画像データが最適な視角状態で撮影されていないと判断した場合には（ステップＲＣ２（Ｎｏ））、置換対象画像データ５５Ｔに対応付けられて記憶されているマークデータ（接触後）５５Ｍ′を読み出すと共に、対応する抽出された置換対象画像データ位置に付加して表示する（ステップＲＣ１２）。

そして、現在、デジタルカメラ５０による撮影が継続中であると判断された場合には（ステップＲＣ１３（Ｙｅｓ））、置換対象画像データ５５Ｔに対応付けられて記憶されている音声データ５５Ｓを読み出し、音声出力部５３から出力する（ステップＲＣ１４）。

次に、図３８に図示するマーキング処理Ｃのサブフローチャートが実行処理される（ステップＲＤ）。

・マーキング処理Ｃ
このマーキング処理Ｃでは、第３の判断処理部５６７が、抽出処理により抽出された置換対象画像データが、複数の撮影画像データＧｎに渡って動いており、その動き（モーション）が変身データメモリ５４に予め記憶されたモーションデータ５４Ｐと略同一か否かを判断する（ステップＲＤ１）（第１，第３の判断手段）。

このステップＲＤ１について、図４６〜図４８を用いて説明する。

図４６Ａ〜図４８Ａに示すように、演者Ｋｏに対応する置換対象画像データの動きが、変身データメモリ５４に予め記憶された５４ａのモーションデータ５４Ｐ（５４Ｐ１ａ〜５４Ｐ１ｃ）と略同一か否かを判断する。

そして、略同一と判断すると（ステップＲＤ１（Ｙｅｓ））、第５のマーキング処理部５６８が、このモーションデータ５４Ｐと対応付けて記憶されているマークデータ５４Ｍｕ１を読み出すと共に、抽出された置換対象画像データの顔部分の画像に付加して表示し、図４８Ｂ〜図５１Ｂに示すようなマーク付き撮影画像データＧｍ６〜Ｇｍ９として作業用データメモリに一時保存する（ステップＲＤ２）。

このとき、マークデータ５４Ｍｕ１は、抽出された置換対象画像データの顔部分に重ねて表示するか、または顔部分の近傍に表示するかの何れであってもよい。

そして、現在、デジタルカメラ５０による撮影が継続中であると判断された場合には（ステップＲＤ３（Ｙｅｓ））、モーションデータ５４Ｐに対応付けられて記憶されている音声データ５４Ｓｕを読み出し、音声出力部５３から出力する（ステップＲＤ４）。

次に、図３９に図示するマーキング処理Ｄのサブフローチャートが実行処理される（ステップＲＥ）。

・マーキング処理Ｄ
このマーキング処理Ｄでは、第３の判断処理部５６７が、マーキング処理Ｃによりマークデータが付加された置換対象画像データが、複数の撮影画像データＧｎにおいて更に動いており、その動き（モーション）が特殊効果データメモリ６３に予め記憶されたモーションデータと略同一か否かを判断する（ステップＲＥ１）。

このステップＲＥ１について、図４９〜図５１を用いて説明する。

図４９Ｂ〜図５１Ｂに示すように、マークデータ５４Ｍｕが付加された置換対象画像データの動きが、特殊効果データメモリ６３に予め記憶された６３ａのモーションデータ６３Ｐ（６３Ｐ１ａ〜６３Ｐ１ｃ）と略同一か否かを判断する。

そして、略同一と判断すると（ステップＲＥ１（Ｙｅｓ））、第４のマーキング処理部５６８が、このモーションデータ６３Ｐと対応付けて記憶されているマークデータ６３Ｍｕ１を読み出す共に、抽出された置換対象画像データの顔部分の画像に付加して表示し、図５１Ｂに示すようなマーク付き撮影画像データＧｍ９として作業用データメモリに一時保存する（ステップＲＥ２）。

そして、現在、デジタルカメラ５０による撮影が継続中であると判断された場合には（ステップＲＥ３（Ｙｅｓ））、モーションデータ６３Ｐに対応付けられて記憶されている音声データ６３Ｓｕを読み出し、音声出力部５３から出力する（ステップＲＥ４）。

そしてこの後、ステップＲ２の処理に移行する。

尚、マークデータ６３Ｍｕ１は、抽出された置換対象画像データの顔部分に重ねて表示するか、または顔部分の近傍に表示するかの何れであってもよい。

ステップＲＡ〜ＲＥの処理に従い作業用データメモリ上に生成されたマーク付きの連続した撮影画像データＧｍ１〜Ｇｍ９は、マーク付き撮影画像データメモリ６６に記憶される（ステップＲ２）。

そして、画像撮影部６１からの一連の撮影画像データＧｎ（Ｇ１〜Ｇ９）の撮影が終了したと判断されると（ステップＲ３（Ｙｅｓ））、マーク付き撮影画像データメモリ６６に生成保存された一連のマーク付き撮影画像データＧｍ（Ｇｍ１〜Ｇｍ９）に基づいた合成画像の生成処理に進むか否かを判断する（ステップＲ４）。

ＣＰＵ５６は、入力部５２から操作信号の入力検出により合成画像の生成が指示されるか、あるいは、撮影画像データの取得とマーキング処理の終了が検出されると、合成画像の生成処理に進むと判断する（ステップＲ４（Ｙｅｓ））。

すると、マーク付き撮影画像データメモリ６６からマーク付き撮影画像データＧｍ（Ｇｍ１〜Ｇｍ９）が作業用メモリに読み出され、図４０における合成処理Ａへ移行する（ステップＲＦ）。

・合成処理Ａ
ＣＰＵ５６は、マーク付き撮影画像データメモリ６６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ（Ｇｍ１〜Ｇｍ９）について、マークデータが付加された置換対象画像データに、マーキング処理Ａ、及び、Ｃによってマークデータが付加されたものが存在するか否かを判断する（ステップＲＦ１）。

このステップＲＦ１について、図４３Ｂ〜図５１Ｂを用いて説明すると、マークデータ６４Ｍｗ１が付加された置換対象画像データ（演者Ｐｏの画像データ）や、マークデータ５４Ｍｕ１が付加された置換対象画像データ（演者Ｋｏの画像データ）がマーク付き撮影画像データＧｍに存在するか否かを判断する。

そして、置換対象画像データが存在すると判断した場合は（ステップＲＦ１（Ｙｅｓ））、動画生成処理部５７０が、このマークデータが付加されている置換対象画像データに付加されている位置情報に基づき、撮影画像データＧｍ（Ｇｍ１〜Ｇｍ９）における置換対象画像データの動きをキャプチャーする（ステップＲＦ２）。

そして置換処理部５６９が、変身役柄データメモリ６４におけるマークデータ６４Ｍｗ１に対応する置換画像データ（１）６４Ｇｗ１、及び、変身データメモリ５４におけるマークデータ５４Ｍｕ１に対応する置換画像データ５４Ｇｕ１を読み出し、キャプチャーされた動きに応じた、図４３Ｃ〜図５１Ｃに図示する複数のポーズで置換画像データを描画する。

その後、合成動画生成処理部５７０が、この置換画像データを対応する置換対象画像データの位置情報に基づいて置き換えると共に、予め用意された背景画像ＢＧに合成した合成画像データＧＧ（ＧＧ１〜ＧＧ９）を生成する（ステップＲＦ３）。

なおこの際、図４８Ｃの矢印ｘで示すように、演者Ｋｏと同じポーズが描画された置換画像データ５４Ｇｕ１は描画の際、拡大処理される。

そして、ＣＰＵ５６は、置換画像データ６４Ｇｗ１と対応付けられて記憶されている音声データ６４Ｓｗ１を読み出し、合成画像ＧＧ（ＧＧ１〜ＧＧ９）に対応付けて保存する。

また、置換画像データ５４Ｇｕ１に対応付けられて記憶されている音声データ５４Ｓｕ１を読み出し、合成画像ＧＧ（ＧＧ６〜ＧＧ９）に対応付けて保存する（ステップＲＦ４）。

次に、図４１に図示する合成処理Ｂのサブフローチャートが実行処理される（ステップＲＧ）。

・合成処理Ｂ
ＣＰＵ５６は、マーク付き撮影画像データメモリ６６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ（Ｇｍ１〜Ｇｍ９）において、マークデータが付加された置換対象画像データに、マーキング処理Ｂによってマークデータが付加されたものが存在するか否かを判断する（ステップＲＧ１）。

このステップＲＧ１について、図４３Ｂ〜図５１Ｂを用いて説明すると、マークデータ５５Ｍａ１が付加された置換対象画像データ（物体Ａｏの画像データ）や、マークデータ５５Ｍｂ１が付加された置換対象画像データ（物体Ｂｏの画像データ）がマーク付き撮影画像データＧｍに存在するか否かを判断する。

そして、置換対象画像データが存在すると判断した場合は（ステップＲＧ１（Ｙｅｓ））、破壊データメモリ５５におけるマークデータに対応する置換画像データを読み出し、合成動画生成処理部５７０がこの置換画像データを対応する置換対象画像データの位置情報に基づいて置き換えると共に、ステップＲＦ３にて生成された合成動画データＧＧ（ＧＧ１〜ＧＧ９）に追加して合成する（ステップＲＧ２）。

このステップＲＧ２について、図４３Ｂ〜図５１Ｂを用いて説明すると、マークデータ（接触前）５５Ｍｂ１が付加された置換対象画像データ（物体Ｂｏの画像データ）には、置換画像データ５５Ｇｂ１が置き換えられ、ステップＲＦ３にて生成された合成動画データＧＧに追加して合成する。

そして、ＣＰＵ５６は、置換画像データ５５Ｇｂ１と対応付けられて記憶されている音声データ５５Ｓｂ１を読み出し、合成画像ＧＧ（ＧＧ１〜ＧＧ９）に対応付けて保存する（ステップＲＧ３）。

次に、図４２に図示する合成処理Ｃのサブフローチャートが実行処理される（ステップＲＨ）。

・合成処理Ｃ
ＣＰＵ５６は、マーク付き撮影画像データメモリ６６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ（Ｇｍ１〜Ｇｍ９）について、マークデータが付加された置換対象画像データに、マーキング処理Ｄによってマークデータが付加されたものが存在するか否かを判断する（ステップＲＨ１）。

このステップＲＨ１について、図５１Ｂを用いて説明すると、マークデータ６３Ｍｕ１が付加された置換対象画像データがマーク付き撮影画像データＧｍに存在するか否かを判断する。

そして、置換対象画像データが存在すると判断した場合は（ステップＲＨ１（Ｙｅｓ））、特殊効果データメモリ６３におけるマークデータに対応する置換画像データを読み出し、合成動画生成処理部５７０がこの置換画像データを対応するマークデータの位置情報に基づいて置き換えると共に、ステップＲＧ２にて生成された合成動画データＧＧ（ＧＧ１〜ＧＧ９）に追加して合成する（ステップＲＨ２）。

そして更に、追加して合成された置換画像データの位置情報を取得し、この置換画像データの縁部分と他の置換画像データとの位置関係を判断し、置換画像データの縁部分と他の置換画像データとが接触或いは重なる場合には、その接触或いは重なる位置情報に更に画像データを追加して合成する（ステップＲＨ３）。

このステップＲＨ２とＲＨ３について、図５１Ｃを用いて説明すると、マークデータ６３Ｍｕ１が付加された位置には、置換画像データ６３Ｇｕ１が追加して合成され、更に、この置換画像データ６３Ｇｕ１が置換画像データ６４Ｇｗ１と接触する位置に画像データ６３Ｇｕ１’が追加して合成される。

そして、ＣＰＵ５６は、置換画像データ６３Ｇｕ１と対応付けられて記憶されている音声データ６３Ｓｕ１を読み出し、合成画像ＧＧ（ＧＧ１〜ＧＧ９）に対応付けて保存する（ステップＲＨ４）。

この後、図３４に示すように合成処理Ａ〜Ｃによって合成された合成画像ＧＧ（ＧＧ１〜ＧＧ９）を音声データが付加された合成動画データに変換し、合成画像データメモリ６７に保存する（ステップＲ６）。

そして、この合成動画データを表示部５１に出力して再生表示する（ステップＲ７）。

なお、上記の各処理をサーバ装置７０が行う場合には、ステップＲ１（入力手段）において受信された撮影画像データＧｎ（Ｇ１〜Ｇ９）の送信元である、デジタルカメラ１１０やＰＣ８０に対して、合成画像データメモリ６７に記憶された合成動画データが読み出されて応答送信される（ステップＲ７）。

したがって、動画撮影された画像について、演者の意志に従った合成動画を手軽に作成することができる。

なお、この実施例において記載した画像合成装置による各処理は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶媒体５８（７３）に格納して配布することができる。

また、この実施例の各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末（プログラムサーバ）からのプログラムデータを取り込み、前述した撮影画像データＧｎから合成動画データの作成・出力機能を実現することもできる。

なお、本願発明は、前記実施形態や実施例に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記実施形態や実施例には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態や実施例に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

本発明の画像合成装置の実施形態に係るデジタルカメラ１０を利用した動画像の撮影状態と合成画像の生成状態を示す概念図。 前記デジタルカメラ１０（通信端末Ａ）の電子回路の構成を示すブロック図。 前記デジタルカメラ１０の変身データメモリ１４に予め記憶される変身データの内容を示す図。 前記デジタルカメラ１０の特殊効果データメモリ２３に予め記憶される特殊効果データの内容を示す図。 前記デジタルカメラ１０の破壊データメモリ１５に予め記憶される破壊データの内容を示す図。 前記デジタルカメラ１０の変身役柄データメモリ２４に記憶される変身役柄データの内容を示す図。 本発明の画像合成装置の実施形態に係るサーバ装置３０の電子回路の構成を示すブロック図。 前記画像合成装置による合成画像出力処理の全体過程を示すフローチャート。 前記合成画像出力処理に伴い撮影画像（Ｇ）中に存在する人物（Ｐ，Ｍ，Ｋ）・物体（Ａ，Ｂ，Ｃ）の対象画像を抽出する対象画像抽出処理を示すフローチャート。 前記合成画像出力処理に伴い役柄登録された人物画像（Ｐ，Ｍ）に変身マーク（２４Ｍｗ）を付加する役柄変身マーク処理を示すフローチャート。 前記合成画像出力処理に伴い抽出された物体画像（Ａ，Ｂ，Ｃ）に破壊マーク（１５Ｍ，１５Ｍ′）を付加すると共に対応音声（１５Ｓ）を出力する破壊マーク処理を示すフローチャート。 前記合成画像出力処理に伴い変身モーション（１４Ｐ）の検出された人物画像（Ｋ）に変身マーク（１４Ｍｕ）を付加すると共に対応音声（１４Ｓｕ）を出力するモーション変身マーク処理を示すフローチャート。 前記合成画像出力処理に伴い特殊効果モーション（２３Ｐ）の検出された人物画像（Ｋ）に特殊効果マーク（２３Ｇｕ）を付加すると共に対応音声（２３Ｓｕ）を出力する特殊効果マーク処理を示すフローチャート。 前記合成画像出力処理に伴い変身マーク（２４Ｍｗ）（１４Ｍｕ）の付加された人物画像（Ｐ）（Ｋ）を変身画像（２４Ｇｗ）（（１４Ｇｕ）に置き換え合成すると共に対応音声（２４Ｓｗ）（１４Ｓｕ）の出力を設定する変身マーク合成処理を示すフローチャート。 前記合成画像出力処理に伴い破壊マーク（１５Ｍ，１５Ｍ′）の付加された物体画像（Ａ，Ｂ）を破壊画像（１５Ｇ）に置き換え合成すると共に対応音声（１５Ｓ）の出力を設定する破壊マーク合成処理を示すフローチャート。 前記合成画像出力処理に伴い特殊効果マーク（２３Ｇｕ）の付加された人物画像（Ｋ）の所定位置に特殊効果画像２３Ｇｕを追加合成すると共に対応音声（２３Ｓｕ）の出力を設定する特殊効果マーク合成処理を示すフローチャート。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その１）であり、同図（Ａ）は撮影画像Ｇ１を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ１を示す図、同図（Ｃ）は合成画像ＧＧ１を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その２）であり、同図（Ａ）は撮影画像Ｇ２を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ２を示す図、同図（Ｃ）は合成画像ＧＧ２を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その３）であり、同図（Ａ）は撮影画像Ｇ３を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ３を示す図、同図（Ｃ）は合成画像ＧＧ３を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その４）であり、同図（Ａ）は撮影画像Ｇ４を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ４を示す図、同図（Ｃ）は合成画像ＧＧ４を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その５）であり、同図（Ａ）は撮影画像Ｇ５を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ５を示す図、同図（Ｃ）は合成画像ＧＧ５を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その６）であり、同図（Ａ）は撮影画像Ｇ６を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ６を示す図、同図（Ｃ）は合成画像ＧＧ６を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その７）であり、同図（Ａ）は撮影画像Ｇ７を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ７を示す図、同図（Ｃ）は合成画像ＧＧ７を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その８）であり、同図（Ａ）は撮影画像Ｇ８を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ８を示す図、同図（Ｃ）は合成画像ＧＧ８を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その９）であり、同図（Ａ）は撮影画像Ｇ９を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ９を示す図、同図（Ｃ）は合成画像ＧＧ９を示す図。 実施例における動画撮影状態を示す図。 図２６において、表示部５０に表示される状態を示す図。 撮影後、表示部５０に表示される合成画像を示す図。 デジタルカメラ５０の回路構成を示すブロック図。 変身データメモリ５４に予め記憶される内容を示す図。 特殊効果データメモリ６３に予め記憶される内容を示す図。 破壊データメモリ５５に予め記憶される内容を示す図。 変身役柄データメモリ６４に記憶される内容を示す図。 サーバ装置７０の電子回路の構成を示すブロック図。 合成画像出力処理の全体過程を示すフローチャート。 図３４におけるステップＲＡの処理を示すサブフローチャート。 図３４におけるステップＲＢの処理を示すサブフローチャート。 図３４におけるステップＲＣの処理を示すサブフローチャート。 図３４におけるステップＲＤの処理を示すサブフローチャート。 図３４におけるステップＲＥの処理を示すサブフローチャート。 図３４におけるステップＲＦの処理を示すサブフローチャート。 図３４におけるステップＲＧの処理を示すサブフローチャート。 図３４におけるステップＲＨの処理を示すサブフローチャート。 撮影画像データＧ１を示す図。 マーク付き撮影画像データＧｍ１を示す図。 合成画像データＧＧ１を示す図。 撮影画像データＧ２を示す図。 マーク付き撮影画像データＧｍ２を示す図。 合成画像データＧＧ２を示す図。 撮影画像データＧ３を示す図。 マーク付き撮影画像データＧｍ３を示す図。 合成画像データＧＧ３を示す図。 撮影画像データＧ４を示す図。 マーク付き撮影画像データＧｍ４を示す図。 合成画像データＧＧ４を示す図。 撮影画像データＧ５を示す図。 マーク付き撮影画像データＧｍ５を示す図。 合成画像データＧＧ５を示す図。 撮影画像データＧ６を示す図。 マーク付き撮影画像データＧｍ６を示す図。 合成画像データＧＧ６を示す図。 撮影画像データＧ７を示す図。 マーク付き撮影画像データＧｍ７を示す図。 合成画像データＧＧ７を示す図。 撮影画像データＧ８を示す図。 マーク付き撮影画像データＧｍ８を示す図。 合成画像データＧＧ８を示す図。 撮影画像データＧ９を示す図。 マーク付き撮影画像データＧｍ９を示す図。 合成画像データＧＧ９を示す図。

符号の説明

（実施形態）
１０ …デジタルカメラ（通信端末Ａ）
１１（３７）…表示部
１２（３６）…入力部
１３ …音声出力部
１４（３２Ｂ）…変身データメモリ
１４Ｐ…変身モーションモデルデータ
１４Ｇｕ…変身画像データ
１４Ｓｕ…変身音声データ
１４Ｍｕ…変身マークデータ
１５（３２Ｄ）…破壊データメモリ
１５Ｔ…破壊対象画像データ
１５Ｇ…破壊画像データ
１５Ｓ…破壊音声データ
１５Ｍ…破壊（前）マークデータ
１５Ｍ′…破壊（後）マークデータ
１６（３１）…ＣＰＵ
１７（３２）…メモリ
１８（３３）…外部記録媒体
１９（３４）…記録媒体読取部
２０（３５）…電送制御部
２１ …画像撮影部
２２（３２Ａ）…プログラムメモリ
２３（３２Ｃ）…特殊効果データメモリ
２３Ｐ…特殊効果モーションモデルデータ
２３Ｇｕ…特殊効果画像データ
２３Ｓｕ…特殊効果音声データ
２３Ｍｕ…特殊効果マークデータ
２４（３２Ｅ）…変身役柄データメモリ
２４Ｔ…変身対象（顔）画像データ
２４Ｇｗ…変身画像データ
２４Ｓｗ…変身音声データ
２４Ｍｗ…変身マークデータ
２４Ｈ …変身条件データ
２５（３２Ｆ）…撮影画像データメモリ
２６（３２Ｇ）…マーク付き撮影画像データメモリ
２７（３２Ｈ）…合成画像データメモリ
３０ …サーバ装置
４０ …通信端末Ｂ（ＰＣ）
Ｎ …通信ネットワーク（インターネット）
ＢＧ…背景画像データ
Ｇｎ…撮影画像データ
Ｇｍｎ…マーク付き撮影画像データ
ＧＧｎ…合成画像データ
Ｐ …人物画像（父親）
Ｋ …人物画像（子供）
Ｍ …人物画像（母親）
Ａ１…物体画像（ビール瓶）
Ａ２…物体画像（ペットボトル）
Ｂ …物体画像（紙飛行機）
Ｃ …物体画像（ティッシュボックス）
（実施例）
５０ …デジタルカメラ（通信端末Ａ）
５１（７７）…表示部
７２（７６）…入力部
５３ …音声出力部
５４…変身データメモリ
５４Ｐ…モーションデータ
５４Ｇｕ…置換画像データ
５４Ｓｕ…音声データ
５４Ｍｕ…マークデータ
５５ …破壊データメモリ
５５Ｔ…置換対象画像データ
５５Ｇ…置換画像データ（接触前）
５５Ｓ…音声データ
５５Ｍ…マークデータ（接触前）
５５Ｍ′…マークデータ（接触後）
５６（７１）…ＣＰＵ
５６１…抽出処理部
５６２…第１の判断処理部
５６３…第１のマーキング処理部
５６４…第２のマーキング処理部
５６５…第２の判断処理部
５６６…第３のマーキング処理部
５６７…第３の判断処理部
５６８…第４のマーキング処理部
５６９…置換処理部
５７０…動画生成処理部
５７１…合成動画生成処理部
５７（７２）…メモリ
５８（７３）…外部記録媒体
５９（７４）…記録媒体読取部
６０（７５）…電送制御部
６１ …画像撮影部
６２（７２Ａ）…プログラムメモリ
６３ …特殊効果データメモリ
６３Ｐ…モーションデータ
６３Ｇｕ…置換画像データ
６３Ｓｕ…音声データ
６３Ｍｕ…マークデータ
６４ …変身役柄データメモリ
６４Ｔ…置換対象画像データ
６４Ｇｗ…置換画像データ
６４Ｓｗ…音声データ
６４Ｍｗ…マークデータ
６５ …撮影画像データメモリ
６６ …マーク付き撮影画像データメモリ
６７ …合成画像データメモリ
７０ …サーバ装置
８０ …通信端末Ｂ（ＰＣ）
Ｐｏ，Ｋｏ…演者
Ａｏ，Ｂｏ…物体

Claims (9)

1. 表示手段と、
   合成対象となるモーションと第１の合成画像データと当該第１の合成画像データが合成されることを示すマークとを対応付けて記憶する第１の記憶手段と、
   順次撮像されることにより複数の画像データを入力する入力手段と、
   この入力手段によって入力されている複数の画像データにわたって変化している部分の動きが、前記第１の記憶手段に記憶されているモーションと略同一か否かを判断する第１の判断手段と、
   この第１の判断手段により略同一と判断されると、このモーションに対応して前記第１の記憶手段に記憶されたマークを読み出し、前記変化している部分に付加して表示するよう前記表示手段を制御する表示制御手段と、
   前記入力されている複数の画像データを記録する際には、前記表示制御手段によって前記マークが付加された前記変化している部分に、前記マークに代えて前記マークに対応する第１の合成画像データを合成する第１の合成手段と、
   を備えたことを特徴とする画像合成装置。
2. 抽出対象の画像データを記憶する第２の記憶手段と、
   前記入力手段によって入力された画像データに、前記第２の記憶手段に記憶されている抽出対象の画像データが含まれているか否かを判断する第２の判断手段と、
   この第２の判断手段により抽出対象の画像データが含まれていると判断されると、この抽出対象の画像データと前記変化している部分を有する画像データとの位置関係に基づき、前記第１の合成手段によって合成された画像データに、所定の画像データを追加して合成する第２の合成手段と、
   を更に備えたことを特徴とする請求項１に記載の画像合成装置。
3. 前記第２の記憶手段は、前記抽出対象の画像データと対応付けて第２の合成画像データを更に記憶し、
   前記第２の判断手段により抽出対象の画像データが含まれていると判断されると、この抽出対象の画像データと対応付けて記憶された第２の合成画像データを読み出し、前記抽出対象の画像データの位置に追加して合成する第３の合成手段を更に備えたことを特徴とする請求項２に記載の画像合成装置。
4. 前記変化部分を有する画像データのモーションと第３の合成画像データとを対応付けて記憶する第３の記憶手段と、
   前記入力手段によって入力された複数の画像データにわたって前記変化している部分を有する画像データの動きが、前記第３の記憶手段に記憶されているモーションと略同一か否かを判断する第３の判断手段と、
   この第３の判断手段により略同一と判断されると、このモーションに対応して前記第３の記憶手段に記憶された第３の合成画像データを読み出し、前記第１の合成手段によって合成された画像データに追加して合成する第４の合成手段と、
   を更に備えたことを特徴とする請求項３に記載の画像合成装置。
5. 第１の合成画像データを、複数の画像データにわたって変化している部分の画像データの動きに合わせて変化させた動画データを作成する動画データ作成手段を更に備え、
   前記第１の合成手段は、前記動画データ作成手段によって作成された動画データを含んだ合成動画データを作成する、
   ことを特徴とする請求項１に記載の画像合成装置。
6. 前記入力手段は、撮像手段を含むことを特徴とする請求項１に記載の画像合成装置。
7. 前記入力手段は、当該装置外部から通信により前記複数の画像データを入力する通信手段を含むことを特徴とする請求項１に記載の画像合成装置。
8. 前記第１の合成画像データは、３Ｄ画像であることを特徴とする請求項１記載の画像合成装置。
9. コンピュータを、
   順次撮像されることにより複数の画像データを入力する入力手段、
   この入力手段によって入力されている複数の画像データにわたって変化している部分の動きが、合成画像データと当該合成画像データが合成されることを示すマークとに対応付けて設定されているモーションと略同一か否かを判断する判断手段、
   この判断手段により略同一と判断されると、このモーションに対応して設定されているマークを読み出し、前記変化している部分に付加して表示するよう制御する表示制御手段、
   前記入力されている複数の画像データを記録する際には、前記表示制御手段によって前記マークが付加された前記変化している部分に、前記マークに代えて前記マークに対応する合成画像データを合成する合成手段、
   として機能させるようにしたコンピュータ読み込み可能な画像合成処理プログラム。

Images