以下図面により本発明の実施の形態について説明する。
(第1実施形態)
図1は、本発明の合成画像出力装置の第1実施形態に係るデジタルカメラ10を利用した動画像の撮影状態と合成画像の生成状態を示す概念図である。
このデジタルカメラ10は、その背面にLCD表示部11、入力部12、音声出力部(スピーカ)13を備え、入力部12の操作に応じて撮影される動画像(撮影画像)Gは、リアルタイムで表示部11に表示される。
このデジタルカメラ10は、主要な機能として、撮影中の動画像Gに含まれる人物画像(P,J,K)を抽出する機能、抽出された人物画像が予め登録された人物画像(P)であるか否かを顔画像を認識処理して識別する機能、抽出された人物画像が予め登録された人物画像(P)である場合にその登録人物画像(P)に対応付けて予め設定された役柄画像(24Gw)のマーク(役柄変身マーク24Mw)を付加する機能、前記役柄変身マーク24Mwの付加された人物画像(P)を同予め設定された役柄画像(24Gw)に置き換える機能、抽出された人物画像の予め設定された身振り(モーション)を検出する機能、予め設定された身振りが検出された人物画像(K)について、予め設定された変身画像(14Gu2)のマーク(変身マーク14Mu2)を付加する機能、前記変身マーク14Muの付加された人物画像(K)から顔画像(Kf)を抽出する機能、さらにこの顔画像のまま(Kf’)で顔以外の部分を同予め設定された変身画像(14Gu2)に置き換える機能、予め登録された人物画像(P)の予め設定された身振りが検出された際に対する相手の人物画像(J)を変身画像(Gk)にする機能、そして、前記抽出された人物画像(P,J,K)の動きを捉えて前記役柄画像(24Gw)や変身画像(14Gu)の3D画像に変換するためのモーションキャプチャ処理機能、3D画像処理機能などを有する。
なお、前記顔画像認識処理、モーションキャプチャ処理、3D画像処理については、周知の画像処理技術であるためその詳細な説明を省略する。
このような主要な機能を有するデジタルカメラ10を、例えば家族で利用してその男の子Pを死神役、妹Kを美少女戦士B役(主人公)、姉Jを美少女戦士A役(脇役)とした一連のシーンを母親が動画撮影して遊ぶ場合に、当該デジタルカメラ10において、男の子Pの顔画像を死神画像(役柄画像24Gw)に対応付けて予め登録する。
そして、死神の鎌に見立てた棒Bを振って近づく男の子Pと、死神のモーション(身振り)によって仮面少女に変身された設定でふらふら近づく姉Jに遭遇して、妹Kが魔法スティックに見立てたペンDを振って自己変身のためのモーション(身振り)をして美少女戦士Bに変身しようとする一連のシーンを、母親がデジタルカメラ10により動画撮影する。
撮影中の動画像Gは、図1(A)に示すように、リアルタイムで表示部11に表示されると共に、本デジタルカメラ10が有する前記各種の機能によって解析され、男の子Pの人物画像には、対応する死神画像(役柄画像24Gw)を示す役柄変身マーク24Mwが付加表示され、妹Kの人物画像には、予め設定された身振り(モーション)が検出された時点以降、対応する美少女戦士B(変身画像14Gu2)を示す身振変身マーク14Mu2が付加表示される。なお、姉Jの人物画像には、すでに予め設定された身振り(モーション)が検出されており、美少女戦士A(変身画像14Gu1)を示す身振変身マーク14Mu1が付加表示されるとともに、死神役として予め登録された男の子Pの予め設定された身振り(モーション)に応じて仮面少女に変身された仮面画像(Gk)を示す仮面マークMkが付加表示される。
これにより撮影中の母親は、男の子Pや妹Kや姉Jの人物画像がその役柄通りに変身処理されていることがわかり、しかも姉Jについては美少女戦士Aへの変身処理からさらに仮面少女への変身処理がされていることがわかる。
またこの際、前記美少女戦士B(変身画像14Gu2)と仮面付きの美少女戦士A(変身画像14Gu1)、死神画像(役柄画像24Gw)にそれぞれ対応付けられて予め記憶されている音声データ「キュート♪キュート♪」「クックック」「ザクッ、ザクッ」が読み出され音声出力部13から出力されることで、各役柄を演じている最中の妹Kや男の子Pや姉Jにあっても、自らがその役柄通りに変身処理されていることを容易に認識することができる。
なお、前記撮影された動画像(撮影画像)Gに対して役柄変身マーク24Mwや身振変身マーク14Muが付加された動画像をマーク付き撮影画像Gmと称する。
この後、前記一連のシーンの動画像Gの撮影が終了すると共にそのマーク付き撮影画像Gmが生成されると、当該マーク付き撮影画像Gmが前記各種の機能によって解析され、図1(B)に示すように、前記役柄変身マーク24Mwの付加された男の子Pの人物画像に対応する死神の役柄画像24Gw1と、前記身振変身マーク14Mu2の付加された妹Kの人物画像に対応する元の顔画像Kf’での美少女戦士Bの変身画像14Gu2、前記身振変身マーク14Mu1と仮面マークMkの付加された姉Jの人物画像に対応する仮面画像Gk付きの美少女戦士Aの変身画像14Gu1が、予め設定された背景画像BGに合成されてなる合成動画像GGが生成される。また、各変身マークに対応する音声データを対応づけて保存するようにしたので、適切な効果音がついた合成画像を容易に作成することができる。
これによりユーザ家族は、容易に特撮風の合成動画像GGを作ることができ、当該生成された合成動画像GGを表示部11に出力表示させて見たり、外部のモニタに出力させて視聴することで、これまでにない楽しみを得ることができる。この際、予め顔画像の登録された役柄となる人物画像の人だけが予め設定された身振り(モーション)を行い検知させることで、他の人物画像を変身させた変身画像を作成することができる。また元の顔を付けて衣装を変えた変身画像を生成するようにしたので、撮影画像そのままの表情の変身画像が容易に作成できる。
図2は、前記デジタルカメラ10(通信端末A)の電子回路の構成を示すブロック図である。
このデジタルカメラ10は、コンピュータであるCPU16を備えている。
CPU16は、メモリ17に予め記憶されたシステムプログラム、あるいはメモリカードなどの外部記録媒体18からカードスロットなどの記録媒体読取部19を介して前記メモリ17に読み込まれたカメラ制御プログラム、あるいは通信ネットワーク(N)上のサーバ装置30(この場合はプログラムサーバ)から電送制御部20を介して前記メモリ17に読み込まれたカメラ制御プログラムに従い回路各部の動作を制御する。
CPU16には、前記LCD表示部11、入力部12、音声出力部13、メモリ17、記録媒体読取部19、電送制御部20が接続される他に、固体撮像素子(CCD)や撮像光学系および距離センサや照度センサを備えた画像撮影部2lが接続される。
前記メモリ17のプログラムメモリ22には、本デジタルカメラ10の全体の動作を司るシステムプログラムや撮影動作を司るカメラ制御プログラム、通信ネットワークN上のサーバ装置30や外部の通信端末B(PC:personal computer)40との通信動作を司る通信制御プログラムが記憶されると共に、前記画像撮影部21により撮影された撮影画像Gに基づいて、前述したマーク付き撮影画像Gmや合成画像GGを生成したり出力したりするための前記各種の機能を司る画像処理プログラムが予め記憶される。
そして、前記プログラムメモリ22に記憶された各種のプログラムは、入力部12からのキー入力信号や画像撮影部21からの撮影入力信号、電送制御部20を介した外部機器(30,40)からの受信入力信号に応じて起動される。
また、前記メモリ17には、変身データメモリ14、特殊効果データメモリ23A、防御効果データメモリ23B、変身役柄データメモリ24A、役柄別変身状態メモリ24B、撮影画像データメモリ25、マーク付き撮影画像データメモリ26、合成画像データメモリ27、およびその他の作業用データメモリなどが備えられる。
図3は、前記デジタルカメラ10の第1実施形態の変身データメモリ14に予め記憶される変身データの内容を示す図である。
この変身データメモリ14は、変身モーションモデルデータ14Pと変身画像データ14Guと変身マークデータ14Muの記憶領域を有し、変身画像データ14Guの記憶領域には、複数種類の変身画像データ(変身キャラクタ)、その音声データおよび顔合成位置データが記憶される。例えば美少女戦士Aの変身画像データ14Gu1、その音声データ「レモン♪レモン♪」14Su1、および顔合成位置データ14F1、美少女戦士Bの変身画像データ14Gu2、その音声データ「キュート♪キュート♪」14Su2、および顔合成位置データ14F2として記憶される。
また、変身マークデータ14Muの記憶領域には、前記複数種類の変身画像データ14Gu1,14Gu2をそれぞれ簡易表現する変身マークデータ14Mu1,14Mu2が記憶される。
そして、変身モーションモデルデータ14Pの記憶領域には、前記複数種類の変身画像データ14Gu1,14Gu2にそれぞれ変身するための一連のモーション(身振り)からなる変身モーションモデルデータ14P1a〜14P1c(回転しながら両手を丸く上げていくモーション),14P2a〜14P2c(回転しながらペンを持つ右手を上げていくモーション)が記憶される。なお美少女戦士Bの変身モーションモデルデータ14P2a〜14P2cには、ペンを振るモーションモデルデータ部分14P2aD〜14P2cDが含まれており、ペンの物品を持って行われた特定モーションのみが変身モーションとして検出される。このため美少女戦士B役のペンを持った人のみが美少女戦士Bに変身できることとなる。
なお、前記変身画像データ14Gu1,14Gu2は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと3D画像生成用データとの組み合わせとして記憶される。また前記変身モーションモデルデータ14P1a〜14P1c,14P2a〜14P2cは、当該変身モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。
図4は、前記デジタルカメラ10の第1実施形態の特殊効果データメモリ23Aに予め記憶される特殊効果データの内容を示す図である。
本実施形態の特殊効果には、相手を悩乱状態から正常状態に戻すキュア(癒し)効果23K1,23K2と、相手を正常状態から悩乱状態にするデス(死神)効果23K3とがある。
前記特殊効果データメモリ23Aは、特殊効果モーションモデルデータ23Pと特殊効果画像データ23Guと効果の内容23Wと特殊効果マークデータ23Muの記憶領域を有し、特殊効果画像データ23Guの記憶領域には、前記複数種類の変身画像データ14Gu1,14Gu2,24Gw1にそれぞれ対応する特殊効果A,B,Cについて、特殊効果画像データおよびその音声データが記憶される。例えば美少女戦士A用の特殊効果画像データ23Gu1およびその音声データ「キュアーハート」23Su1、美少女戦士B用の特殊効果画像データ23Gu2およびその音声データ「キュアースター」23Su2、死神用の特殊効果画像データ23Gu3およびその音声データ「デスムーン」23Su3として記憶される。
効果の内容23Wの記憶領域は、効果の種類23Kと効果の対象23Tの記憶領域を有し、効果の種類23Kの記憶領域には、美少女戦士A,Bに対応させて相手(効果対象)を悩乱状態から正常状態に戻すキュア(癒し)効果23K1,23K2と、死神に対応させて相手(効果対象)を正常状態から悩乱状態にするデス(死神)効果23K3が記憶される。
効果の種類23Wの記憶領域の中の効果の対象23Tの記憶領域には、前記特殊効果A,B,Cについて、「特殊効果が出る相手」として、例えば「特殊効果モーションを向けた相手」23T1、「周辺の敵すべて」23T2、「周辺の敵すべて」23T3が記憶される。ここで周辺の敵とは、美少女戦士A、美少女戦士Bに対しては、死神、仮面付(悩乱状態)の美少女戦士をいう。逆に死神、仮面付(悩乱状態)の美少女戦士に対しては、正常な美少女戦士A、美少女戦士Bをいう。
また、特殊効果マークデータ23Muの記憶領域には、前記複数種類の特殊効果画像データ23Gu1,23Gu2,23Gu3をそれぞれ簡易表現する特殊効果マークデータ23Mu1,23Mu2,23Mu3が記憶される。そして、特殊効果モーションモデルデータ23Pの記憶領域には、前記複数種類の特殊効果画像データ23Gu1,23Gu2,23Gu3を、それぞれ対応する変身画像データ14Gu1,14Gu2,23Gwの所定の位置から発生させて付加するための一連のモーション(身振り)からなる特殊効果モーションモデルデータ23P1a〜23P1c(両腕を左右に離した状態から両手を手前で合わせて特殊効果を与える相手に向けて突き出すモーション),23P2a〜23P2c(左手を腰につけて右手でペンを持ち頭上でくるくる回すモーション),23P3a〜23P3c(右手で棒を前方に振り下ろすモーション)が記憶される。なお美少女戦士Bの特殊効果モーションモデルデータ23P2a〜23P2cには、ペンを振るモーションモデルデータ部分23P2aD〜23P2cDが含まれている。このため、ペンの物品を持って行われた特定モーションのみが特殊効果モーションとして検出されるので、美少女戦士B役のペンを持った人のみが美少女戦士Bの特殊効果を出せることとなる。
なお、前記特殊効果画像データ23Gu1,23Gu2,23Gu3は、画像データそのもの、又は3D画像生成用データとして記憶される。また前記特殊効果モーションモデルデータ23P1a〜23P1c,23P2a〜23P2c,23P3a〜23P3cは、当該特殊効果モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。
図5は、前記デジタルカメラ10の第1実施形態の防御効果データメモリ23Bに予め記憶される防御効果データの内容を示す図である。
防御効果は、相手から受けた特殊効果を無効化する効果である。例えば相手の特殊効果モーションによって、「キュア効果」23K1,23K2や、デス効果23K3等をされた人が、この防御効果モーションを行うことにより、相手の特殊効果を防御して、無効化するものである。
この防御効果データメモリ23Bは、防御効果モーションモデルデータ23'Pと防御効果画像データ23'Guと防御効果マークデータ23'Muの記憶領域を有し、防御効果画像データ23'Guの記憶領域には、防御効果A,Bについて、防御効果画像データおよびその音声データが記憶される。例えば死神P用のデス効果23K3を無効にする防御効果画像データ23'Gu1およびその音声データ「バキン」23'Su1、美少女戦士A用のキュア効果23K1を無効にする防御効果画像データ23'Gu2およびその音声データ「パーン」23'Su2として記憶される。また、防御効果マークデータ23'Muの記憶領域には、前記複数種類の防御効果画像データ23'Gu1,23'Gu2をそれぞれ簡易表現する防御効果マークデータ23'Mu1,23'Mu2が記憶される。そして、防御効果モーションモデルデータ23'Pの記憶領域には、前記特殊効果画像データ23Gu1,23Gu3をそれぞれ対応する変身画像データ24Gw1,14Gu2の所定の位置で防御するための一連のモーション(身振り)からなる防御効果モーションモデルデータ23'P2a〜23'P2c(棒を突き出したり頭上手前に傾けたりするモーション),23'P1a〜23'P1c(顔の前方で右手でペンを回転させるモーション)が記憶される。
なお美少女戦士Bの防御効果モーションモデルデータ23'P1a〜23P1cには、ペンを振るモーションモデルデータ部分23'P1aD〜23'P1cDが含まれている。そして、ペンの物品を持って行われた特定モーションのみが防御効果モーションとして検出され、美少女戦士B役のペンを持った人のみが美少女戦士Bの防御の防御効果を出せることとなる。また死神(P)の防御効果モーションモデルデータ23'P2a〜23'P2cには、棒を振るモーションモデルデータ部分23'P2aB〜23'P2cBが含まれている。そして、棒の物品を持って行われた特定モーションのみが防御効果モーションとして検出され、死神役(P)の棒を持った人のみが死神役(P)の防御の防御効果を出せることとなる。
前記特殊効果と防御効果を用いることにより、例えば美少女戦士A(J)が死神(P)に向けてキュア効果モーション23P1a〜23P1cを行ってキュア効果23K1を出したり(図17)、死神(P)が美少女戦士A(J)から受けたキュア効果23K1に対し防御効果モーション23′P2a〜23′P2cを行って防御効果を出し、そのキュア効果を無効化したり(図17)、死神(P)が美少女戦士A(J)に対しデス効果モーション23P3a〜23P3cを行ってデス効果23K3を出し、その美少女戦士A(J)を悩乱状態の仮面(Gk)付き少女に変身させたり(図18)、美少女戦士Bが悩乱状態の仮面付き美少女戦士A(J)と死神(P)に対しキュア効果モーション23P2a〜23P2cを行ってキュア効果23K2を出し(図21)、該美少女戦士A(J)を仮面なしの正常状態に戻すと共に死神(P)を王子(P)に変身させたり(図22)、といったシナリオを、特殊効果モーションをつけて演技するだけで実現でき、事前の準備なしに、特撮風の変身合成画像の動画を作成できることとなる。
図6は、前記デジタルカメラ10の第1実施形態の変身役柄データメモリ24Aに記憶される変身役柄データの内容を示す図である。
この変身役柄データメモリ24Aは、ユーザ登録される変身対象画像データ24T、変身(1)画像データ24Gwと変身(1)マークデータ24Mw、変身(2)画像データ24Gw′と変身(2)マークデータ24Mw′、変身条件データ24Hの記憶領域を有し、変身(1)画像データ24Gwの記憶領域には、複数種類の第1段階の変身画像データ(変身キャラクタ)およびその音声データが記憶される。
変身対象(顔)画像データ24Tの記憶領域には、役柄別に複数種類の変身画像データ24Gwnに変身させて置き換えるための対象となる人物の顔画像が、例えば登録A;男の子Pの顔画像24T1として予めユーザ登録され記憶される。
これにより、登録Aの男の子Pの画像に対応して前記変身(1)画像データ24Gwの記憶領域には、役柄-死神の変身(1)画像データ24Gw1およびその音声データ「ザクッ、ザクッ」24Sw1として記憶される。また、変身(1)マークデータ24Mwの記憶領域には、前記変身(1)画像データ24Gw1を簡易表現する変身(1)マークデータ24Mw1が記憶される。
また、変身(2)画像データ24Gw′の記憶領域には、前記第1段階の変身(1)画像データ24Gw1に対応する第2段階の変身(2)画像データ24Gw1′およびその音声データ24Sw1′が記憶される。また、変身(2)マークデータ24Mw′の記憶領域には、前記変身(2)画像データ24Gw1′を簡易表現する変身(2)マークデータ24Mw1′が記憶される。さらに、変身条件データ24Hの記憶領域には、前記第1段階の変身(1)画像データ24Gw1から第2段階の変身(2)画像データ24Gw1′に変身するための条件データ24H1が記憶される。
例えば、男の子Pの画像に対応した第2段階の変身(2)画像データ24Gw′として、役柄-王子の変身画像データ24Gw1′およびその音声データ「キラリ、キラリ、」24Sw1′が設定されている。そして、変身条件データ24H1として「美少女戦士Bのキュア効果」が設定されている。
また、前記図2における役柄別変身状態メモリ24Bには、前記変身役柄データメモリ24Aに登録された登録者(登録A〜登録D)についての現時点での変身状態(変身(1)又は変身(2))を記憶しており、初期状態では、変身(1)を記憶している。各役柄別の変身条件24Hが満たされた時点(例えば、登録Aでは「美少女戦士Bのキュア効果23K2が検出された後」)で、この役柄別の変身状態が「変身(2)」に変更して記憶される。なお本第1実施形態では、役柄の(登録B〜登録D)は、未登録となっている。
なお、前記変身(1)(2)画像データ24Gw,24Gw′は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと3D画像生成用データとの組み合わせとして記憶される。
撮影画像データメモリ25には、画像撮影部21により静止画または動画撮影されて入力された撮影画像データGが記憶される。
マーク付き撮影画像データメモリ26には、前記撮影画像データメモリ25に動画撮影されて記憶された撮影画像データGに基づき、前記画像処理プログラムに従い撮影にリアルタイムで生成されたマーク付き撮影画像データGm(図1(A)参照)が順次記憶される。
合成画像データメモリ27には、前記マーク付き撮影画像データメモリ26に生成記憶されたマーク付き撮影画像データGmに基づき、前記画像処理プログラムに従い生成された合成画像データGG(図1(B)参照)が記憶される。
なお、前記構成のデジタルカメラ10は、当該デジタルカメラ10自体により動画撮影される撮影画像データGに基づいて、前記マーク付き撮影画像データGm(図1(A)参照)をリアルタイムに生成表示し、この後に当該マーク付き撮影画像データGmから前記合成画像データGG(図1(B)参照)を生成して表示あるいは外部に出力するものである。
これに対し、前記デジタルカメラ10が有する撮影機能以外の前記動画撮影された撮影画像データGからマーク付き撮影画像データGm(図1(A)参照)を生成し、このマーク付き撮影画像データGmから合成画像データGG(図1(B)参照)を生成するための各種の機能を、通信ネットワークN上のサーバ装置30に備えさせ、通信機能付きのデジタルカメラ(通信端末A)10′やPC(通信端末B)40から転送された動画撮影データGに基づき、当該サーバ装置30が前記マーク付き撮影画像データGmおよび合成画像データGGを生成し、前記各通信端末(A)10′,(B)40に応答配信してサービスを提供する構成としてもよい。
図7は、本発明の合成画像出力装置に係るサーバ装置30の電子回路の構成を示すブロック図である。
このサーバ装置30は、コンピュータであるCPU31を備えている。
CPU31は、メモリ32に予め記憶されたシステムプログラム、あるいはCD−ROMなどの外部記録媒体33から光ディスクドライブなどの記録媒体読取部34を介して前記メモリ32に読み込まれたサーバ制御プログラムに従い回路各部の動作を制御する。
CPU31には、前記メモリ32、記録媒体読取部34が接続される他に、通信ネットワークN上の通信端末A(デジタルカメラ)10′や通信端末B(PC)40との間でデータの電送制御を行うための電送制御部35、キーボード・マウスなどの入力部36、LCD表示部37が接続される。
前記メモリ32のプログラムメモリ32Aには、本サーバ装置30の全体の動作を司るシステムプログラム、通信ネットワークN上の各通信端末A(デジタルカメラ)10′や通信端末B(PC)40との通信動作を司る通信制御プログラムが記憶されると共に、当該外部の各通信端末A10′,B40から転送された動画撮影画像データGに基づいて、前述したデジタルカメラ10と同様にマーク付き撮影画像Gmや合成画像GGを生成したり出力(配信)したりするための前記図1を参照して説明した各種の機能を司る画像処理プログラムが予め記憶される。
そして、前記プログラムメモリ32Aに記憶された各種のプログラムは、入力部36からの入力信号、電送制御部35を介した外部の各通信端末A10′,B40からの受信入力信号に応じて起動される。
また、前記メモリ32には、前記図1〜図6を参照して説明したデジタルカメラ10におけるそれと略同一のデータ内容である、変身データメモリ32B、特殊効果データメモリ32CA、特殊効果データメモリ32CB、変身役柄データメモリ32D、役柄別変身状態メモリ32E、撮影画像データメモリ32F、マーク付き撮影画像データメモリ32G、合成画像データメモリ32H、およびその他の作業用データメモリなどが備えられる。
これにより、サーバ装置30では、通信ネットワークNに接続された通信端末A(デジタルカメラ)10′や通信端末B(PC)40から転送された動画撮影画像データGに基づき、前記同様のマーク付き撮影画像データGm(図1(A)参照)および合成画像データGG(図1(B)参照)を生成すると共に、前記撮影画像データGの転送元である各通信端末A10′,B40に応答配信してサービスを提供できる。
次に、前記構成の第1実施形態のデジタルカメラ10あるいはサーバ装置30による合成画像出力装置の動作について説明する。
図8は、前記第1実施形態の合成画像出力装置による合成画像出力処理の全体過程を示すフローチャートである。
図9は、前記第1実施形態の合成画像出力処理に伴い撮影画像(G)中に存在する人物(P,J,K)の対象画像を抽出する対象画像抽出処理を示すフローチャートである。
図10は、前記第1実施形態の合成画像出力処理に伴い役柄登録された人物画像(P)に変身マーク(24Mw)を付加する役柄変身マーク処理を示すフローチャートである。
図11は、前記第1実施形態の合成画像出力処理に伴い変身モーション(14P)の検出された人物画像(J,K)に変身マーク(14Mu)を付加すると共に対応音声(14Su)を出力するモーション変身マーク処理を示すフローチャートである。
図12は、前記第1実施形態の合成画像出力処理に伴い特殊効果モーション(23P)の検出された人物画像(P,J,K)に特殊効果マーク(23Mu)を付加すると共に対応音声(23Su)を出力する特殊効果マーク処理を示すフローチャートである。
図13は、前記第1実施形態の合成画像出力処理に伴い変身マーク(24Mw)(14Mu)の付加された人物画像(P)(J,K)を変身画像(24Gw)(14Gu)に置き換え合成すると共に対応音声(24Sw)(14Su)の出力を設定する変身マーク合成処理を示すフローチャートである。
図14は、前記第1実施形態の合成画像出力処理に伴い特殊効果マーク(23Mu)の付加された人物画像(P,J,K)の所定位置に特殊効果画像23Guを追加合成すると共に対応音声(23Su)の出力を設定する特殊効果マーク合成処理を示すフローチャートである。
図15〜図22は、前記第1実施形態の合成画像出力処理に伴う動画撮影画像(G)に基づいた画像処理状態を順次代表的なコマ送り(その1)〜(その8)にして示す図であり、同図(A)は撮影画像Gを示す図、同図(B)はマーク付き撮影画像Gmを示す図、同図(C)は合成画像GGを示す図である。
前記図8における合成画像出力処理のステップS1〜S3の処理は、前記図15(A)〜図22(A)に示すように、動画撮影される各コマの撮影画像(G)が取得されるのに伴い繰り返し実行され、前記図15(B)〜図22(B)に示すようなマーク付き撮影画像(Gm)が生成出力される。
そして、前記図8における合成画像出力処理のステップS4〜S7の処理は、前記図15(B)〜図22(B)に示すように生成された一連のマーク付き撮影画像(Gm)に基づき実行され、前記図15(C)〜図22(C)に示すような合成画像(GG)が生成出力される。
なお、ここでは前記デジタルカメラ10(図2参照)において図8における合成画像出力処理を実行した場合を主体にして説明し、前記サーバ装置30(図7参照)において同合成画像出力処理を実行した場合については、略同じ処理内容となるためその説明を省略する。
デジタルカメラ10の画像撮影部21により、例えば図15(A)〜図22(A)で示すように家族によって演じられる一連のシーンが撮影されると、その撮影画像G1〜G8は順次撮影画像データメモリ25に記憶され保存され(ステップS1)、リアルタイムで図9における対象画像抽出処理へ移行される(ステップSA)。
この対象画像抽出処理は、2通りの方式があり、図9(A)に示す対象画像抽出処理(方式1)では、前記撮影画像データメモリ25に順次保存される撮影画像データGnが作業用メモリに一時転送記憶され(ステップA11)、前回の撮影画像データGn−1と今回の撮影画像データGnとの画像の変化部分がブロック化されて抽出される(ステップA12)。
すると、前記撮影画像データGn上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データGnの付加情報として前記撮影画像データメモリ25に記憶される(ステップA13)。
一方、図9(B)に示す対象画像抽出処理(方式2)では、前記撮影画像データメモリ25に順次保存される撮影画像データGnの付加情報である前記画像撮影部21の距離センサにより取得された被写体までの距離情報が読み出され(ステップA21)、その中で近距離に存在する画像部分がブロック化されて抽出される(ステップA22)。
すると、前記撮影画像データGn上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データGnの付加情報として前記撮影画像データメモリ25に記憶される(ステップA23)。
すなわち、図9(B)で示した対象画像抽出処理(方式2)は、撮影画像データGnの付加情報として被写体までの距離情報が必要になるため、デジタルカメラ10での処理に適し、また、図9(A)で示した対象画像抽出処理(方式1)は、逆に前記撮影画像データGnにおける被写体までの距離情報を必要としないので、サーバ装置30での処理に適している。
このように、前記対象画像抽出処理(ステップSA)により、撮影画像データGnの中に存在する人物画像(J,P,K)が抽出されると、図10における役柄変身マーク処理へ移行される(ステップSB)。
この役柄変身マーク処理では、前記対象画像抽出処理により抽出された撮影画像データGnの中の人物画像(J,P,K)について、前記変身役柄データメモリ24A(図6参照)にユーザ登録された変身対象(顔)画像データ24Tとしての人物画像(J)が含まれるか否かが前記顔画像認識処理を用いて識別される(ステップB1)。
ここで、変身対象(顔)画像データ24Tとしての男の子Pの顔画像24T1を有する人物画像が含まれていないことが識別されると(ステップB1(No))、本処理を終了し、モーション変身マーク処理(ステップSD)に進む。また、図15(A)〜図22(A)の撮影画像データG1〜G8にそれぞれ示すように、変身対象(顔)画像データ24Tとしての男の子Pの顔画像24T1を有する人物画像が含まれていることが識別されると(ステップB1(Yes))、役柄別変身状態メモリ24B内の変身状態フラグが検出され、現在の男の子の人物画像Pに対応する登録Aの役柄状態が検出される(ステップB2)。
そして、変身(2)の状態でない(変身(1)の状態である)と判断されると(ステップB2(No))、変身対象画像が含まれる一連の撮影画像中に、特殊効果モーション23Pが検出されたか否かが判断される(ステップB6)。(この特殊効果については後述の特殊効果マーク処理(ステップSE)で詳述する。)
例えば図15(A)に示す撮影画像G1では、特殊効果モーション23Pは検出されないので(ステップB6(No))、前記変身役柄データメモリ24A(図6参照)に対応付けられて記憶されている変身(1)の死神用の変身(1)マークデータ24Mw1が読み出されると共に、前記識別された男の子の人物画像Pの顔画像認識された位置に対応して付加され、図15(B)〜図21(B)に示すようなマーク付き撮影画像データGm1〜Gm7として作業用データメモリに一時保存されると共に表示部11に表示される(ステップB8)。
なお、前記登録された人物画像Pの顔画像の位置に対応付加される変身(1)マークデータ24Mw1は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記変身役柄データメモリ24A(図6参照)に対応付けられて記憶されている音声データ「ザクッ、ザクッ」24Sw1が読み出され、同図15(B)〜図21(B)に示すように音声出力部13から出力される(ステップB5)。
また、前記同様に現在の男の子の人物画像Pに対応する登録Aの変身状態が検出され、変身(2)の状態ではない(変身(1)の状態である)と判断された場合であっても(ステップB2(No))、変身対象画像が含まれる一連の撮影画像中に、例えば図21,図22に示すように、特殊効果モーション23P2が妹Kによって行われたことが検出された場合には(ステップB6(Yes))、役柄別変身状態メモリ24B内の役柄状態フラグが変身(2)の状態に変更されると共に(ステップB7)、変身対象画像(P)に対応する位置に変身(2)マーク24Mw1′が付加され、図22(B)に示すようなマーク付き撮影画像データGm8として作業用データメモリに一時保存されると共に表示部11に表示される(ステップB3)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記変身役柄データメモリ24A(図6参照)に対応付けられて記憶されている変身(2)の音声データ「キラリ、キラリ」24Sw1′が読み出され、同図22(B)に示すように音声出力部13から出力される(ステップB5)。
一方、現在の男の子の人物画像Pに対応する登録Aの変身状態が検出され、変身(2)の状態であると判断された場合には(ステップB2(Yes))、変身対象画像に対応する位置に変身(2)マーク24Mw1′が付加され、図22(B)に示すようなマーク付き撮影画像データGm1〜Gm8として作業用データメモリに一時保存されると共に表示部11に表示される(ステップB3)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記変身役柄データメモリ24A(図6参照)に対応付けられて記憶されている音声データ「キラリ、キラリ」24Sw1′が読み出され、同図22(B)に示すように音声出力部13から出力される(ステップB5)。
すると次に、図11におけるモーション変身マーク処理へ移行される(ステップSD)。
このモーション変身マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データGnの中の人物画像(J,P,K)について、前記変身データメモリ14(図3参照)に予め記憶された美少女戦士Aの一連の変身モーションモデルデータ14P1a〜14P1cや美少女戦士Bの一連の変身モーションモデルデータ14P2a〜14P2cと一致する画像部分が検出されたか否か判断される。この際、美少女戦士B用の変身モーションモデルデータ14P2a〜14P2cには、ペンを振るモーションモデルデータ部分14P2aD〜14P2cDが含まれているので、ペンの物品を持って行われた特定モーションのみが変身モーションとして検出される。このため美少女戦士B役のペンを持った人物(K)のみが美少女戦士Bに変身できることとなる。(ステップD1)。
すなわち、図16(A)の撮影画像データG2に示すように、前記対象画像抽出処理により抽出される一連の姉の人物画像Jについて、前記変身データメモリ14(図3参照)に予め記憶された美少女戦士Aの一連の変身モーションモデルデータ14P1a〜14P1cと身振りが一致する画像部分であると検出されると(ステップD1(Yes))、当該変身データメモリ14(図3参照)に対応付けられて記憶されている美少女戦士Aの変身マークデータ14Mu1が読み出されると共に、前記モーション検出された姉の人物画像Jの顔画像認識された位置に対応して付加され、図16(B)に示すようなマーク付き撮影画像データGm2として作業用データメモリに一時保存され表示部11に表示される(ステップD2)。一方、変身モーションモデルデータ14Pに身振りが一致する画像部分が検出されない場合は(ステップD1(No))、本処理を終了し、図12における特殊効果マーク処理(ステップSE)へ移行される。
なお、前記モーション検出された人物画像Jの顔画像の位置に対応付加される変身マークデータ14Mu1は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップD3(Yes))、前記変身データメモリ14(図3参照)に対応付けられて記憶されている美少女戦士Aの音声データ「レモン♪レモン♪」14Su1が読み出され、同図16(B)に示すように音声出力部13から出力される(ステップD4)。
また、図20(A)の撮影画像データG6に示すように、前記対象画像抽出処理により抽出される一連の妹の人物画像Kについて、前記変身データメモリ14(図3参照)に予め記憶された美少女戦士Bの一連のペンを振るモーションモデルデータ部分14P2aD〜14P2cDを含む変身モーションモデルデータ14P2a〜14P2cと身振りが一致する画像部分であると判断された場合には(ステップD1(Yes))、当該美少女戦士B役のペンを持った人物のみが美少女戦士Bに変身できることとなる。これにより、変身データメモリ14(図3参照)に対応付けられて記憶されている美少女戦士Bの変身マークデータ14Mu2が読み出されると共に、前記モーション検出された妹の人物画像Kの顔画像認識された位置に対応して付加され、図20(B)〜図22(B)に示すようなマーク付き撮影画像データGm6〜Gm8として作業用データメモリに一時保存され表示部11に表示される(ステップD2)。
なお、前記モーション検出された人物画像Kの顔画像の位置に対応付加される変身マークデータ14Mu2は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップD3(Yes))、前記変身データメモリ14(図3参照)に対応付けられて記憶されている美少女戦士Bの音声データ「キュート♪キュート♪」14Su2が読み出され、同図20(B)〜図22(B)に示すように音声出力部13から出力される(ステップD4)。
すると次に、図12における特殊効果マーク処理へ移行される(ステップSE)。
本合成画像出力装置の実施形態における特殊効果(図4参照)には、相手を悪の状態から正常状態に変身させて戻すキュア(癒し)効果23K1,23K2と、相手を正常状態から悪の状態に変身させるデス(死神)効果23K3とがある。
この特殊効果マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データGnの中の人物画像(P,J,K)について、前記特殊効果データメモリ23A(図4参照)に予め記憶された特殊効果Aの一連の変身モーションモデルデータ23P1a〜23P1cや特殊効果Bの一連の変身モーションモデルデータ23P2a〜23P2cや特殊効果Cの一連の変身モーションモデルデータ23P3a〜23P3cと一致する画像部分が検出されたか否か判断される。この際、特殊効果Bや特殊効果Cのように、特殊効果モーションモデルデータ23P2や23P3にペンや棒が含まれる場合は、ペンや棒を持つ人物による一致モーションのみ特殊効果モーションとして検出される(ステップE1)。
すなわち、図17(A)の撮影画像データG3に示すように、前記対象画像抽出処理により抽出される一連の姉の人物画像Jについて、前記特殊効果データメモリ23A(図4参照)に予め記憶された特殊効果Aの一連の変身モーションモデルデータ23P1a〜23P1cと身振りが一致する画像部分であると検出されると(ステップE1(Yes))、当該特殊効果データメモリ23A(図4参照)に対応付けられて記憶されている特殊効果Aの特殊効果マークデータ23Mu1が読み出されると共に、前記モーション検出された姉の人物画像Jの所定位置(例えば画像上部から3分の1の位置)に対応して、効果の対象23T1(特殊効果モーションを向けた相手)である前記死神Pの変身マークデータ24Mw1が付加されている人物画像(男の子)Pの方向へ向けて付加され、図17(B)に示すようなマーク付き撮影画像データGm3として作業用データメモリに一時保存され表示部11に表示される(ステップE2)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップE3(Yes))、前記特殊効果データメモリ23A(図4参照)に対応付けられて記憶されている特殊効果Aの音声データ「キュアーハート」23Su1が読み出され、同図17(B)に示すように音声出力部13から出力される(ステップE4)。このようにデジタルカメラ10から特殊効果Aの音声データ「キュアーハート」23Su1が出力されることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者(姉J、男の子P)により容易に認識でき、リアルな感覚で演技をすることができる。
なお、前記モーション検出された人物画像Jの所定位置に対応付加される特殊効果マークデータ23Mu1は、当該人物画像Jに重ねて付加されるか、または当該人物画像Jの近傍に付加されるかの何れであってもよい。これにより撮影中の母親は、姉(J)が、特殊効果モーションを行った結果、コンピュータにより特殊効果処理が適切に実行され、当該特殊効果の画像を付加した合成画像が作成されることを容易に認識できる。
また、図18(A)の撮影画像データG4に示すように、前記対象画像抽出処理により抽出される顔画像登録された男の子の一連の人物画像Pについて、前記特殊効果データメモリ23A(図4参照)に予め記憶された特殊効果Cの一連の変身モーションモデルデータ23P3a〜23P3cと、棒を持つ部分(23P3aB〜23P3cB)も含めて、身振りが一致する画像部分であると検出されると(ステップE1(Yes))、当該特殊効果データメモリ23Aに対応付けられて記憶されている特殊効果Cの特殊効果マークデータ23Mu3が読み出されると共に、前記モーション検出された男の子の人物画像Pの所定位置(例えば画像上部から3分の1の位置)に対応して、効果の対象23T3(周辺の敵すべて)である前記美少女戦士Aの変身マークデータ14Mu1が付加されている人物画像(姉)Jの方向へ向けて付加され、図18(B)に示すようなマーク付き撮影画像データGm4として作業用データメモリに一時保存され表示部11に表示される(ステップE2)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップE3(Yes))、前記特殊効果データメモリ23A(図4参照)に対応付けられて記憶されている特殊効果Cの音声データ「デスムーン」23Su3が読み出され、同図18(B)に示すように音声出力部13から出力される(ステップE4)。このようにデジタルカメラ10から特殊効果Cの音声データ「デスムーン」23Su3が出力されることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者(姉J、男の子P)により容易に認識できる。
また、図21(A)の撮影画像データG7に示すように、前記対象画像抽出処理により抽出される一連の妹の人物画像Kについて、前記特殊効果データメモリ23Aに予め記憶された特殊効果Bの一連の特殊効果モーションモデルデータ23P2a〜23P2cと、ペンを持つ部分(23P2aD〜23P2cD)も含めて、身振りが一致する画像部分であると検出されると(ステップE1(Yes))、当該特殊効果データメモリ23A(図4参照)に対応付けられて記憶されている特殊効果Bの特殊効果マークデータ23Mu2が読み出されると共に、前記モーション検出された妹の人物画像Kの所定位置(例えば画像上部から3分の1の位置)に対応して、効果の対象23T2(周辺の敵すべて)である仮面マークデータMk付き(悩乱状態)美少女戦士Aの人物画像(姉)Jと死神の変身マークデータ24Mw1が付加されている人物画像(男の子)Pの方向へ向けて付加され、図21(B)に示すようなマーク付き撮影画像データGm7として作業用データメモリに一時保存され表示部11に表示される(ステップE2)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップE3(Yes))、前記特殊効果データメモリ23A(図4参照)に対応付けられて記憶されている特殊効果Bの音声データ「キュアースター」23Su2が読み出され、同図21(B)に示すように音声出力部13から出力される(ステップE4)。このようにデジタルカメラ10から特殊効果Bの音声データ「キュアースター」23Su2が出力されることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者(妹K、姉J、男の子P)により容易に認識できる。
ここで、特殊効果(図4参照)には、効果の対象23Tである相手を悩乱状態から正常状態に戻すキュア(癒し)効果23K1,23K2と、正常状態から悩乱状態にするデス(死神)効果23K3とがあり、一方で防御効果(図5参照)は、相手から受けた特殊効果を無効化する。この特殊効果や防御効果に伴う変身処理(ステップE5〜E23)について、以下で説明する。
すなわち、図17(B)のマーク付き撮影画像データGm3で示したように、美少女戦士Aの変身マークデータ14Mu1が付加されている姉(J)の位置から特殊効果A(キュア効果23K1)に伴う特殊効果マークデータ23Mu1が表示出力された場合において(ステップE1,E2)、前記特殊効果データメモリ23A(図4参照)に予め記憶された特殊効果Aの効果の対象23Tが、周辺の敵すべてではない特殊効果モーションを向けた相手23T1であると判断されると(ステップE5(No))、当該画面(Gm3)内で特殊効果モーション23P1を向けた相手(死神役の男の子である人物画像P)が検出され、効果の対象者として設定される(ステップE12)。このように人物画像の身振り(モーション)で示した相手の人物画像を特殊効果の対象者として検出設定するようにしたので、当該特殊効果を行う演技者の思い通りの相手に、適宜、その特殊効果を出すことができ相手を変身させた合成画像を容易に作成できる。
そして、前記特殊効果Aの効果の種類23Kがキュア効果23K1であると判断されると(ステップE7(Yes))、前記検出設定された効果の対象は、仮面マークMk付き美少女戦士の人物画像ではないと判断されると共に(ステップE13(No))、死神マーク24Mw1付きの人物画像Pであると判断される(ステップE15(Yes))。
そして、効果の対象である男の子(死神役)の人物画像Pについて、図5における防御効果モーションモデルデータ23'P2a〜23'P2cと、棒を持つ部分(23'P2aB〜23'P2cB)も含めて、身振りが一致する画像部分であると検出されると(ステップE16(Yes))、対応するハート形の特殊効果マークデータ23Mu1の隣に、当該特殊効果が無効化されたことを示すハートが割れた形の防御効果マークデータ23'Mu2が読み出されて付加される(ステップE17)。この場合、死神役の男の子(P)の防御効果が出されたことで、当該死神の変身状態は継続されることとなる。
すると、前記防御効果マークデータ23'Mu2に対応する音声データ「パーン」23'Su2が読み出されて音声出力部13から出力される(ステップE22)。
このように、特殊効果が無効化されたことを示す防御効果マーク23'Mu2がマーク付き撮影画像Gm3として表示されることによりにより、カメラ画面(11)を見て撮影している母親は、防御効果が適切に出され、特殊効果が無効化されたことを視覚的に確認できる。しかも、前記防御効果マーク23'Mu2に対応する音声データ「パーン」23'Su2が出力されることにより、母親だけでなく演技者全員において、防御効果が適切に出され、特殊効果が無効化されたことを聴覚的に確認できる。
また、図18(B)のマーク付き撮影画像データGm4で示したように、死神の変身マークデータ24Mw1が付加されている顔画像登録された男の子(P)の位置から特殊効果C(デス効果23K3)に伴う特殊効果マークデータ23Mu3が表示出力された場合において(ステップE1,E2)、前記特殊効果データメモリ23A(図4参照)に予め記憶された特殊効果Cの効果の対象23Tが、周辺の敵すべて23T3であると判断されると(ステップE5(Yes))、当該画面(Gm4)内で敵役の相手(美少女戦士A役の姉である人物画像J)が検出され、効果の対象者として設定される(ステップE6)。
そして、前記特殊効果Cの効果の種類23Kがデス効果23K3であると判断されると(ステップE7(No))、前記検出設定された効果の対象は、美少女戦士の変身マークデータ14Mu1付きであると判断される(ステップE8(Yes))。
ここで、効果の対象である姉(美少女戦士A役)の人物画像Jについて、防御効果Aの防御効果モーション(図5参照)が検出されない場合には(ステップE9(No))、当該美少女戦士Aに対応する変身マークデータ14Mu1の隣に、美少女戦士Aが悩乱状態に変身させられたことを示す仮面マークデータMkが付加される(ステップE10)。
すなわちこの場合、美少女戦士A役の姉の人物画像Jは、変身役柄データメモリ24Aに予め登録された死神役の男の子の人物画像Pによる特殊効果Cのモーション23P3a〜23P3cに対応したデス(死神)効果によって、悩乱状態の仮面付き美少女戦士に変身させられたことになる。
すると、前記仮面マークデータMkに対応する音声データ「クックック」Skが音声出力部13から出力される(ステップE19)。
なお、前記ステップE9において、前記デス効果23Kの対象23T3である姉(美少女戦士A役)の人物画像Jについて、防御効果Aのモーションモデルデータ23'P1a〜23'P1c(図5参照)と、ペンを持つ部分(23'P1aD〜23'P1cD)も含めて、身振りが一致する画像部分であると検出されると(ステップE9(Yes))、対応する月形の特殊効果マークデータ23Mu3の隣に、当該特殊効果が無効化されたことを示す月が割れた形の防御効果マークデータ23'Mu1が読み出されて付加される(ステップE11)。この場合、美少女戦士A役の姉Jから防御効果が出されたことで、美少女戦士Aのままの変身状態が継続されることとなる。
すると、前記防御効果マークデータ23'Mu1に対応する音声データ「バキン」23'Su1が読み出されて音声出力部13から出力される(ステップE20)。ただし、本実施形態のように、役柄上ペンを持つのは美少女戦士Bのみと決めている場合には、美少女戦士A役の姉(J)は、ペンを持たないので前記防御効果モーション23'P1a〜23'P1cと一致する身振りが検出されることはなく、当該防御効果Aを出すことはできないことになる。
また、図21(B)のマーク付き撮影画像データGm7で示したように、美少女戦士Bの変身マークデータ14Mu2が付加されている妹(K)の位置から特殊効果B(キュア効果23K2)に伴う特殊効果マークデータ23Mu2が表示出力された場合において(ステップE1,E2)、前記特殊効果データメモリ23A(図4参照)に予め記憶された特殊効果Bの効果の対象23Tが、周辺の敵すべて23T2であると判断されると(ステップE5(Yes))、当該画面(Gm7)内での敵役の相手として、悩乱した仮面Mk付きの美少女戦士Aに変身させられている姉の人物画像Jと、死神役の変身マークデータ24Mw1が付加されている男の子の人物画像Pとが検出され、効果の対象者として設定される(ステップE6)。
そして、前記特殊効果Bの効果の種類23K2がキュア効果であると判断されると(ステップE7(Yes))、前記検出設定された効果の対象である姉の人物画像Jの場合、仮面マークMk付きの美少女戦士Aであると判断される(ステップE13(Yes))。
すると、図22(B)のマーク付き撮影画像データGm8で示すように、当該仮面マークMk付きの美少女戦士Aのその仮面マークデータMkが削除される(ステップE14)。
すなわちこの場合、美少女戦士A役の姉の人物画像Jは、美少女戦士B役の妹の人物画像Kによる特殊効果Bのモーション23P2a〜23P2cに対応したキュア(癒し)効果によって、仮面付きの悩乱した美少女戦士Aから元の正常な美少女戦士Aに戻されたことになる。
そして、元の美少女戦士Aの変身マークデータ14Mu1に対応する音声データ14Su1「レモン♪レモン♪」が読み出され音声出力部13から出力される(ステップE21)。
一方、前記特殊効果Bの効果の種類23K2がキュア効果であると判断された際に(ステップE7(Yes))、前記検出設定された効果の対象である死神役の男の子の人物画像Pの場合には、死神マーク24Mw1付きであると判断される(ステップE15(Yes))。
ここで、前記効果の対象である男の子(死神役)の人物画像Pについて、防御効果Bの防御効果モーション(図5参照)が検出されない場合には(ステップE16(No))、図22(B)のマーク付き撮影画像データGm8で示すように、当該男の子(死神役)の人物画像Pから死神の変身マークデータ24Mw1が削除されると共に、星の王子である変身(2)マークデータ24Mw1′が付加される(ステップE18)。
すなわちこの場合、死神役の男の子の人物画像Pは、美少女戦士B役の妹の人物画像Kによる特殊効果Bのモーション23P2a〜23P2cに対応したキュア(癒し)効果によって、死神から元の星の王子に変身させられて戻されたことになる。
そして、星の王子の変身(2)マークデータ24Mw1′に対応する音声データ24Sw1′「キラリ、キラリ」が読み出され音声出力部13から出力される(ステップE23)。
このように、撮影画像G中の人物画像(P,J,K)による特殊効果モーション23Pや防御効果モーション23′Pの検出に基づいた特殊効果マーク処理(ステップE1〜E23)が完了すると、前記図15(B)〜図22(B)で示したように、前記ステップSA〜SEの処理に従い作業用データメモリ上に生成されたマーク付きの連続した撮影画像データGm1〜Gm8がマーク付き撮影画像データメモリ26に記憶され保存される(ステップS2)。
そして、画像撮影部21からの一連の撮影画像データG1〜G8の撮影入力が終了したと判断されると(ステップS3(Yes))、前記マーク付き撮影画像データメモリ26に生成保存された一連のマーク付き撮影画像データGm1〜Gm8に基づく合成画像の生成処理に進むか否か判断される(ステップS4)。
ここで、入力部12に対する合成画像生成のためのユーザ操作に応じて、あるいは前記一連の撮影画像データの取得終了に伴い自動的に、合成画像の生成処理に進むと判断されると(ステップS4(Yes))、前記マーク付き撮影画像データメモリ26から前記一連のマーク付き撮影画像データGm1〜Gm8が作業用メモリに読み出され(ステップS5)、図13における変身マーク合成処理へ移行される(ステップSF)。
この変身マーク合成処理では、まず、前記マーク付き撮影画像データメモリ26から作業用メモリに読み出されたマーク付き撮影画像データGm1〜Gm8について、前記変身役柄データメモリ24A(図6参照)に予め記憶されている変身マークデータ24Mwや前記変身データメモリ14(図3参照)に予め記憶されている変身マークデータ14Muが付加された画像が含まれているか否か判断される(ステップF1)。
ここで、前記変身役柄データメモリ24A(図6参照)に予め記憶されている変身マークデータ24Mwや前記変身データメモリ14(図3参照)に予め記憶されている変身マークデータ14Muが付加された画像が含まれていないと判断された場合には(ステップF1(No))、本処理を終了し特殊効果マーク合成処理(ステップSH)へ移行される。
また、図15(B)〜図21(B)で示すように死神の変身(1)マークデータ24Mw1が付加された画像、図22(B)で示すように星の王子に戻った変身(2)マークデータ24Mw1'が付加された画像、また、図16(B)〜図22(B)で示すように美少女戦士Aの変身マークデータ14Mu1が付加された画像、また、図20(B)〜図22(B)で示すように美少女戦士Bの変身マークデータ14Mu2が付加された画像が存在すると判断された場合には(ステップF1(Yes))、当該各変身マークデータ24Mw1,24Mw1′,14Mu1,14Mu2が対応付加されている該マーク近傍の人物画像P,J,Kの位置が、前記対象画像抽出処理(ステップSA)により撮影画像データGnの付加情報として得られているブロックの位置情報から特定される(ステップF2)。
すると、前記特定された人物画像P,J,Kがモーションキャプチャ処理され、変身役柄データメモリ24A(図6参照)に記憶されている前記死神の変身マークデータ24Mw1や星の王子の変身マークデータ24Mw1′に対応するところの変身(1)画像データ24Gw1や変身(2)画像データ24Gw1′、変身データメモリ14(図3参照)に記憶されている前記美少女戦士A,美少女戦士Bの変身マークデータ14Mu1,14Mu2に対応するところの変身画像データ14Gu1,14Gu2に基づき、図15(C)〜図21(C)に示すように当該人物画像(男の子)Pと同じポーズ(姿勢)の死神の変身(1)画像データ24Gw1、図22(C)に示すように当該人物画像(男の子)Pと同じポーズ(姿勢)の星の王子の変身(2)画像データ24Gw1′、図16(C)〜図22(C)に示すように当該人物画像(姉)Jと同じポーズ(姿勢)の美少女戦士Aの変身画像データ14Gu1、図20(C)〜図22(C)に示すように当該人物画像(妹)Kと同じポーズ(姿勢)の美少女戦士Bの変身画像データ14Gu2にそれぞれ予め設定された背景画像BG上で置き換えられて合成される(ステップF3)。この際、合成画像データGG1〜GG8が生成される(ステップF3)。
すると、前記各マークデータに対応して置き換えられた変身画像データに顔合成位置データがあるか否かが判断される(ステップF4)。
これ場合、死神の変身(1)画像データ24Gw1に対応する顔合成位置データは記憶されてなく、ステップF8へ進む。また、星の王子の変身(2)画像データ24Gw1′に対応した顔合成位置データ24F′(図6参照)はあると判断され、また、美少女戦士Aの変身画像データ14Gu1に対応した顔合成位置データ14F1(図3参照)はあると判断され、美少女戦士Bの変身画像データ14Gu2に対応した顔合成位置データ14F2(図3参照)はあると判断される(ステップF4(Yes))。
すると、前記顔合成位置データ24F′,14F1,14F2が読み出されて(ステップF5)、各対応する撮影画像Gn中の対象画像における顔画像部分(Pf,Jf,Kf)が抽出され(ステップF6)、この抽出された各顔画像部分(Pf,Jf,Kf)が各対応する変身画像データ24Gw1′,14Gu1,14Gu2の顔合成位置(24F′,14F1,14F2)に合わせてサイズ変更され(Pf′,Jf′,Kf′)、図16(C)〜図22(C)に示すように、当該変身キャラクタの画像データ(24Gw1′,14Gu1,14Gu2)に合成される(ステップF7)。
このように、撮影画像データGnから抽出された顔画像部分(Pf,Jf,Kf)を、前記顔合成位置データに対応する位置に合わせてサイズ変更し、各対応する変身キャラクタの画像データ(24Gw1′,14Gu1,14Gu2)に合成するようにしたので、変身キャラクタの顔サイズに合わせて実写の顔部分が適切に合成され、実写の顔で変身キャラクタを合成表示できることとなる。
このため、変身キャラクタの画像を妖精のように小さく合成表示させたり、巨人のように大きく合成表示させたりすることも容易に行うことができる。
なお、前述したように、各変身画像データ(24Gw1′,14Gu1,14Gu2)の顔合成位置(24F′,14F1,14F2)に合わせて各対応する顔画像部分(Pf,Jf,Kf)をサイズ変更して合成するのではなく、変身画像データ(24Gw1′,14Gu1,14Gu2)を、顔部分を省いた衣装部分のみの変身画像データとし、これを対応する人物画像(男の子P,姉J,妹K)に簡易に合成するようにしてもよい。
次に、この変身マーク合成処理では、処理対象であるマーク付き撮影画像データGmnに仮面マークデータMkが含まれているかが判断される(ステップF8)。
すなわち、前記図18(B)〜図21(B)で示したマーク付き撮影画像データGm4〜Gm7のように、美少女戦士A役の姉の人物画像Jに対して仮面マークデータMkが付加されていると判断された場合には(ステップF8(Yes))、図18(C)〜図21(C)で示すように、同姉の人物画像Jにおける顔画像部分の顔合成位置14F1に合わせて仮面画像Gkが合成された合成画像GGが生成される(ステップF9)。
すると、前記各変身画像データ(24Gw1′,14Gu1,14Gu2)に対応付けられて変身役柄データメモリ24A(図6参照)に記憶されている死神の音声データ「ザクッ、ザクッ」24Sw1、星の王子の音声データ「キラリ、キラリ」24Sw1′、変身データメモリ14(図3参照)に記憶されている美少女戦士A,美少女戦士Bの音声データ「レモン♪レモン♪」14Su1,「キュート♪キュート♪」14Su2が読み出され、前記図15(C)〜図22(C)に示すように生成された合成画像GG1〜GG8に対応付けられて保存される(ステップF10)。ここで、前記美少女戦士A役の姉の人物画像Jや美少女戦士B役の妹の人物画像Kに対して仮面マークデータMkが付加されている場合には、当該美少女戦士A,美少女戦士Bの前記音声データ「レモン♪レモン♪」14Su1,「キュート♪キュート♪」14Su2に替えて、仮面マークデータMkに対応する音声データ「クックック」Skが同合成画像GG1〜GG8に対応付けられて保存される。(ステップF10)。
なお、処理対象であるマーク付き撮影画像データGmnに仮面マークデータMkが含まれていないと判断された場合には(ステップF8(No))、前記仮面画像Gkの合成処理および音声設定処理(ステップF9,F10)をスキップする。
すると次に、図14における特殊効果マーク合成処理へ移行される(ステップSH)。
この特殊効果マーク合成処理では、まず、前記マーク付き撮影画像データメモリ26から作業用メモリに読み出されたマーク付き撮影画像データGm1〜Gm8について、前記特殊効果データメモリ23A(図4参照)に予め記憶されている特殊効果マークデータ23Muまたは防御効果データメモリ23B(図5参照)に予め記憶されている防御効果マークデータ23′Muが付加された画像データGmnが含まれているか否か判断される(ステップH1)。
ここで、図15(B),図16(B),図19(B),図20(B)で示すように、特殊効果マークデータ23Muや防御効果マークデータ23′Muが付加された画像データGmが存在しないと判断された場合には(ステップH1(No))、処理を終了し、ステップS6に進む。
一方、図17(B),図18(B),図21(B),図22(B)で示すように、特殊効果Aに対応する特殊効果マークデータ23Mu1、防御効果Bに対応する防御効果マークデータ23′Mu2、特殊効果Cに対応する特殊効果マークデータ23Mu3、特殊効果Bに対応する特殊効果マークデータ23Mu2が存在すると判断された場合には(ステップH1(Yes))、当該特殊効果マークデータ23Mu1,23Mu2,23Mu3、または防御効果マークデータ23′Mu2が対応付加されている当該マーク近傍の人物画像(姉、妹、男の子)J,K,Pの位置が、前記対象画像抽出処理(ステップSA)により撮影画像データGnの付加情報として得られているブロックの位置情報から特定される(ステップH2)。
すると、前記特殊効果データメモリ23A(図4参照)の特殊効果マークデータ23Mu1,23Mu2,23Mu3、または防御効果データメモリ23B(図5参照)の防御効果マークデータ23′Mu2に対応付けられて記憶されている特殊効果画像データ23Gu1,23Gu2,23Gu3、または防御効果画像データ23′Gu2が読み出され、前記特定された各人物画像(J,K,P)の所定位置(例えば画像上部から3分の1の位置)に対応して、敵役(相手)の変身マークデータが付加されている人物画像の方向へ向けて追加合成され、合成画像データGGが生成される(ステップH3)。
例えば、図17(B)(C)で示すように、特殊効果マークデータ23Mu1が付加されている美少女戦士A役の人物画像Jの腕の位置からは、その特殊効果画像データ23Gu1が死神役の人物画像Pの方向へ向けて追加合成される。一方、防御効果マークデータ23′Mu2が付加されている死神役の人物画像Pの腕の位置からは、その防御効果画像データ23′Gu2が前記美少女戦士A役の人物画像Jの方向へ向けて追加合成される。
また、図18(B)(C)で示すように、特殊効果マークデータ23Mu3が付加されている死神役の人物画像Pの腕の位置からは、その特殊効果画像データ23Gu3が前記美少女戦士A役の人物画像Jの方向へ向けて追加合成される。
また、図21(B)(C)で示すように、特殊効果マークデータ23Mu2が付加されている美少女戦士B役の人物画像Kの腕の位置からは、その特殊効果画像データ23Gu2が悩乱した仮面付きの美少女戦士A役の人物画像Jの方向へ向けて追加合成される(ステップH3)。
さらに、特殊効果によっては、その特殊効果画像データ23Guの先端部を爆発効果画像にして敵役である相手の人物画像の変身画像データに到達する位置まで延長させて追加合成するようにしてもよい(ステップH4)。
そして、前記特殊効果データメモリ23A(図4参照)に対応付けられて記憶されている特殊効果Aの音声データ「キュアーハート」23Su1、特殊効果Bの音声データ「キュアースター」23Su2、特殊効果Cの音声データ「デスムーン」23Su3が読み出され、また前記防御効果データメモリ23B(図5参照)に対応付けられて記憶されている防御効果Bの音声データ「パーン」23′Su2が読み出され、前記図17(C),図18(C),図21(C),図22(C)に示すように生成された各合成画像GG3,GG4,GG7,GG8に対応付けられて保存される(ステップH5)。
すると、前記図15(C)〜図22(C)で示したように、前記ステップSF〜SHの処理に従い作業用データメモリ上に生成された一連の合成画像データGG1〜GG8が合成画像データメモリ27に記憶され保存される(ステップS6)。
そして、前記合成画像データメモリ27に記憶された一連の合成画像データ(対応付けられた音声データを含む)GG1〜GG8が、前記図15(C)〜図22(C)で示すように、表示部11により再生表示されると共に音声出力部13により再生出力される(ステップS7)。なお、本合成画像出力装置がサーバ装置30(図7参照)として構成されている場合には、前記ステップS1において受信された一連の撮影画像データG1〜G8の送信元である通信ネットワークN上の通信端末A(デジタルカメラ)10′や通信端末B(PC)40に対して、前記合成画像データメモリ27に記憶された一連の合成画像データ(対応付けられた音声データを含む)GG1〜GG8が読み出されて応答送信される(ステップS7)。
したがって、前記構成のデジタルカメラ10あるいはサーバ装置30による第1実施形態の合成画像出力装置によれば、画像撮影部21により動画撮影された一連の撮影画像データGnが入力されると、当該撮影画像データGnに含まれる人物画像(P,J,K)が抽出され、そのうちの変身役柄データメモリ24Aに予め顔画像により登録されている死神役の人物画像Pについて、当該死神の変身(1)画像データ24Gw1に置き換えられた合成画像GG1が生成されると共に、特殊効果データメモリ23Aに予め設定されたデス効果23K3の特殊効果モーション(身振り)23P3a〜23P3cをしているか否かが検出判断される。そして、前記撮影画像データG4に含まれる死神役の人物画像Pについて、予め設定されたデス効果23K3の特殊効果モーション(身振り)23P3a〜23P3cをしていることが検出判断された場合には、当該デス効果23K3に対応する特殊効果画像データ23Gu3がその効果の対象23T3として設定された美少女戦士A役の人物画像Jの方向へ向けて画像合成されると共に、当該美少女戦士A役の人物画像Jに仮面画像Gkが付加合成されて仮面付きの美少女戦士Aに変身させられた合成画像GG4として生成出力される。
つまり、このような第1実施形態の合成画像出力装置によれば、予め顔画像により登録されている死神役の人物画像Pについて、予め設定されたデス効果23K3の特殊効果モーション(身振り)23P3a〜23P3cをしていることが検出判断されると、当該デス効果の対象23T3として設定された美少女戦士A役の人物画像Jに仮面画像Gkが付加合成されて仮面付きの美少女戦士Aに変身させられた合成画像GG4として生成出力されるものである。
これにより、動画撮影された撮影画像Gnから抽出された人物画像(P,J,K)のうちで、予め役柄登録された男の子の人物画像Pによる所定の特殊効果モーション23P3だけに応じて、当該特殊効果の対象23T3として設定されている相手役の人物画像Jを変身画像に置き換えた合成画像を生成することができ、事前に定めた配役通りの登場人物がその意志を持って所定の身振り(モーション)を行うことで、特定の相手役を変身させるという特撮映画やアニメーションなどにある変身合成画像を、素人の誰でもが容易に生成することができる。そして、当該生成された合成動画像GGnを表示部11に出力表示させて見たり、外部のモニタに出力表示させて見たりすることで、これまでにない楽しみを得ることができる。
また、前記構成のデジタルカメラ10あるいはサーバ装置30による第1実施形態の合成画像出力装置によれば、予め死神役として登録された男の子の人物画像Pが撮影画像Gnから検出され、その身振り(モーション)に対応した死神の変身(1)画像データ24Gw1に前記人物画像Pを置き換え合成した合成画像GGnを生成した際には、前記変身役柄データメモリ24Aに記憶されている当該変身(1)画像データ24Gw1の音声データ「ザクッ、ザクッ、…」24Sw1を、前記合成画像GGnに対応付けて保存し出力させるので、容易且つよりリアルに特撮風の合成動画像GGnを作ることができる。
また、前記構成のデジタルカメラ10による第1実施形態の合成画像出力装置によれば、前記動画撮影中に表示部11にリアルタイムに表示される撮影画像データGnについて、前記予め死神役として登録された男の子の人物画像Pが撮影画像Gnから検出された際には、当該人物画像Pに対して死神の変身(1)画像データ24Gw1への変身対象となったことを示す変身(1)マークデータ24Mw1を付加したマーク付き撮影画像データGmnとして表示部11に表示させ、しかも前記変身(1)画像データ24Gw1の音声データ「ザクッ、ザクッ、…」24Sw1も共に音声出力部13から出力させるので、例えば撮影操作中の家族は、被写体の人物画像(男の子)Pがその登録された役柄通りに変身され置き換え処理されていることを容易に認識することができ、またこれを演じている最中の被写体自身(男の子P)にあっても、自らがその登録された役柄通りに変身処理されていることを音声により容易に認識することができる。
なお、前記第1実施形態の合成画像出力装置では、変身役柄データメモリ24Aには、死神役となる男の子の変身対象(顔)画像データ24T1だけを予め登録し、撮影画像Gnから検出された当該男の子の人物画像Pについては、そのまま同変身役柄データメモリ24Aに対応付けられて記憶された死神の変身(1)画像データ24Gw1に置き換えた合成画像GGnを生成した。そして、他の役柄である美少女戦士AやBについては変身対象の人物を予め登録することなく、撮影画像Gnから抽出された人物画像の身振り(モーション)が、変身データメモリ14に記憶された美少女戦士AやBの変身モーションモデルデータ14P1a〜14P1cや14P2a(+D)〜14P2c(+D)と一致した場合に、当該美少女戦士AやBの変身画像データ14Gu1や14Gu2に置き換えた合成画像GGnを生成した。
これに対し、次の第2実施形態の合成画像出力装置で説明するように、変身役柄データメモリ24A(図24参照)には、死神役、美少女A役、美少女B役のそれぞれについて、その変身対象(顔)画像データ24T1,24T2,24T3を予め登録し、この登録された人物画像(P,J,K)だけを各対応する変身画像データ24Gw1,24Gu1,24Gu2に置き換え合成する。そして、この登録された各人物画像(P,J,K)による特殊効果の(身振り)モーション23P3a〜23P3c,23P1a〜23P1c,23P2a〜23P2c(図26参照)を検出してその効果対象として設定された相手役の人物画像(P,J,K)を、仮面Gk付き美少女戦士Aの変身画像データ24Gu1′に置き換え合成したり(図33参照)、当該仮面Gk付き美少女戦士Aから通常の美少女戦士Aの変身画像データ24Gu1′に置き換え合成したり(図37参照)、死神から星の王子様の変身画像データ24Gw1′に置き換え合成したり(図37参照)して、予め役柄登録された各人物だけがそれぞれその所定の身振り(モーション)によって相手役を変身させることのできる構成としてもよい。
(第2実施形態)
図23は、本発明の合成画像出力装置の第2実施形態に係るデジタルカメラ10を利用した動画像の撮影状態と合成画像の生成状態を示す概念図である。
この第2実施形態のデジタルカメラ10でも、前記第1実施形態と同様に、各役柄を演じている人物(P,J,K)を撮影すると、同図(A)に示すように、その撮影画像Gに含まれる各人物画像P,J,Kが抽出され、この抽出された人物画像P,J,Kがそれぞれ変身すべき役柄のキャラクタ(変身画像データ24Gw1,24Gu1′(+Gk),24Gu2′)に置き換えられることを示す変身マークデータ(24Mw1,24Mu1′(+Mk)、24Mu2′)を付加したマーク付き撮影画像Gmがリアルタイムに生成されて表示部11に表示される。
すると、前記マーク付き撮影画像Gmの各人物画像P,J,Kに付加された変身マークデータ(24Mw1,24Mu1′(+Mk)、24Mu2′)に従って、同図(B)に示すように、当該各人物画像P,J,Kが各対応する変身画像データ(24Gw1,24Gu1′(+Gk),24Gu2′)に置き換えられた合成画像GGが生成される。
これに伴い、例えば美少女戦士Bの変身画像データ24Gu2′に置き換えられる人物画像Kの身振りについて、同図(A)(B)に示すように、特殊効果(キュア効果)のモーション23P2が一致検出されると、当該特殊効果(キュア効果)のマークデータ23Mu2が付加されたマーク付き撮影画像Gmが生成表示されると共に、このマークデータ23Mu2に対応して特殊効果(キュア効果)の画像データ23Gu2に置き換えられた合成画像GGが生成される。
すると、同図(B)(C)に示すように、前記特殊効果(キュア効果)の効果対象として設定されている仮面付き美少女戦士Aの仮面画像Gkが削除されて元の美少女戦士Aの変身画像データ24Gu1′に置き換えられると共に、死神である変身(1)画像データ24Gw1が星の王子である変身(2)画像データ24Gw1′に置き換えられた合成画像GGが生成される。
ここで、本第2実施形態の合成画像出力装置では、死神役、美少女(美少女戦士)A役、美少女(美少女戦士)B役である各変身対象の人物画像P,J,Kそれぞれについて、予め顔画像登録して前記撮影画像Gから抽出判断するので、予め役柄登録された各人物だけがそれぞれその所定の身振り(モーション)によって相手役を変身させた画像合成を行わせることができる。
なお、この第2実施形態のデジタルカメラ10とサーバ装置30の電子回路の構成については、前記図2と図7を参照して説明した第1実施形態のそれと同一であるため、ここでの説明を省略する。
図24は、前記デジタルカメラ10の第2実施形態の変身役柄データメモリ24Aに記憶される変身役柄データの内容を示す図である。
この第2実施形態の変身役柄データメモリ24Aは、ユーザ登録される変身対象画像データ24T、変身(1)画像データ24Gと変身(1)マークデータ24M、変身(2)画像データ24G′と変身(2)マークデータ24M′、変身条件データ24Hの記憶領域を有し、変身(1)画像データ24Gの記憶領域には、複数種類の第1段階の変身画像データ(変身キャラクタ)およびその音声データと顔合成位置データが記憶される。
変身対象(顔)画像データ24Tの記憶領域には、役柄別に複数種類の変身画像データ24G…に変身させて置き換えるための対象となる人物の顔画像が、例えば登録A;男の子Pの顔画像24T1、登録B;姉Jの顔画像24T2、登録C;妹Kの顔画像24T3として予めユーザ登録され記憶される。
これにより、登録Aの男の子Pの画像に対応して前記変身(1)画像データ24Gの記憶領域には、役柄-死神の変身(1)画像データ24Gw1およびその音声データ「ザクッ、ザクッ」24Sw1として記憶され、変身(1)マークデータ24Mの記憶領域には、前記変身(1)画像データ24Gw1を簡易表現する変身(1)マークデータ24Mw1が記憶される。
また、登録Bの姉Jの画像に対応して前記変身(1)画像データ24Gの記憶領域には、役柄-美少女Aの変身(1)画像データ24Gu1およびその音声データ「レモ、レモ、…」24Su1と顔合成位置データ24F1として記憶され、変身(1)マークデータ24Mの記憶領域には、前記変身(1)画像データ24Gu1を簡易表現する変身(1)マークデータ24Mu1が記憶される。
さらに、登録Cの妹Kの画像に対応して前記変身(1)画像データ24Gの記憶領域には、役柄-美少女Bの変身(1)画像データ24Gu2およびその音声データ「キュ、キュ、…」24Su2と顔合成位置データ24F2として記憶され、変身(1)マークデータ24Mの記憶領域には、前記変身(1)画像データ24Gu2を簡易表現する変身(1)マークデータ24Mu2が記憶される。
また、変身(2)画像データ24G′の記憶領域には、前記第1段階の変身(1)画像データ24Gに対応する第2段階の変身(2)画像データ24G′およびその音声データ24S′と顔合成位置データが記憶される。また、変身(2)マークデータ24M′の記憶領域には、前記変身(2)画像データ24G′を簡易表現する変身(2)マークデータ24M′が記憶される。
これにより、登録Aの男の子Pの画像に対応して前記変身(2)画像データ24G′の記憶領域には、前記死神役が元の星の王子に戻った変身(2)画像データ24Gw1′およびその音声データ「キラリ、キラリ」24Sw1′と顔合成位置データ24F′として記憶され、変身(2)マークデータ24M′の記憶領域には、前記変身(2)画像データ24Gw1′を簡易表現する変身(2)マークデータ24Mw1′が記憶される。
また、登録Bの姉Jの画像に対応して前記変身(2)画像データ24G′の記憶領域には、前記美少女Aがさらに美少女戦士Aに変身した変身(2)画像データ24Gu1′およびその音声データ「レモン、レモン、…」24Su1′と顔合成位置データ24F1′として記憶され、変身(2)マークデータ24M′の記憶領域には、前記変身(2)画像データ24Gu1′を簡易表現する変身(2)マークデータ24Mu1′が記憶される。
さらに、登録Cの妹Kの画像に対応して前記変身(2)画像データ24G′の記憶領域には、前記美少女Bがさらに美少女戦士Bに変身した変身(2)画像データ24Gu2′およびその音声データ「キュート、キュート、…」24Su2′と顔合成位置データ24F2′として記憶され、変身(2)マークデータ24M′の記憶領域には、前記変身(2)画像データ24Gu2′を簡易表現する変身(2)マークデータ24Mu2′が記憶される。
そして、変身条件データ24Hの記憶領域には、前記第1段階の変身(1)画像データ24Gから第2段階の変身(2)画像データ24G′に変身するための条件データ24Hが記憶される。
具体的には、登録Aの男の子Pの画像に対応した第1段階(死神)の変身(1)画像データ24Gw1から第2段階(星の王子)の変身(2)画像データ24Gw1′への変身条件データ24H1として「美少女戦士Bのキュア効果」が設定され、登録Bの姉Jの画像に対応した第1段階(美少女A)の変身(1)画像データ24Gu1から第2段階(美少女戦士A)の変身(2)画像データ24Gu1′への変身条件データ24H2として「本人の変身モーション」が設定され、登録Cの妹Kの画像に対応した第1段階(美少女B)の変身(1)画像データ24Gu2から第2段階(美少女戦士B)の変身(2)画像データ24Gu2′への変身条件データ24H3として「本人の変身モーション」が設定される。
図25は、前記デジタルカメラ10の第2実施形態の変身データメモリ14に予め記憶される変身データの内容を示す図である。
この変身データメモリ14は、ユーザ登録される変身対象画像データ24T、変身モーションモデルデータ14P、変身画像データ24G′、変身マークデータ24M′の記憶領域を有する。
変身画像データ24G′と変身マークデータ24M′の記憶領域には、前記変身役柄データメモリ24A(図24参照)における変身条件24Hが「本人の変身モーション」24H2,24H3であるところの、第2段階の変身(2)画像データ24G′と変身(2)マークデータ24M′に対応している、美少女戦士Aの変身画像データ24Gu1′、音声データ「レモン♪レモン♪」24Su1′、顔合成位置データ24F1′、変身マークデータ24Mu1′、また、美少女戦士Bの変身画像データ24Gu2′、音声データ「キュート♪キュート♪」24Su2′、顔合成位置データ24F2′、変身マークデータ24Mu2′が記憶される。
そして、変身モーションモデルデータ14Pの記憶領域には、前記2種類の第2段階の変身画像データ24Gu1′,24Gu2′にそれぞれ変身するための一連のモーション(身振り)からなる変身モーションモデルデータ14P1a〜14P1c(回転しながら両手を丸く上げていくモーション),14P2a〜14P2c(回転しながら右手を上げていくモーション)が記憶される。
そして、変身対象画像データ24Tの記憶領域には、前記変身役柄データメモリ24Aにて予め登録された美少女A役である姉Jの顔画像データ24T2がそのまま、前記第2段階の変身画像データ(美少女戦士A)24Gu1′に変身するための変身モーションモデルデータ14P1a〜14P1cに対応付けられて記憶され、また、同予め登録された美少女B役である妹Kの顔画像データ24T3がそのまま、前記第2段階の変身画像データ(美少女戦士B)24Gu2′に変身するための変身モーションモデルデータ14P2a〜14P2cに対応付けられて記憶される。
図26は、前記デジタルカメラ10の第2実施形態の特殊効果データメモリ23Aに予め記憶される特殊効果データの内容を示す図である。
この第2実施形態の特殊効果データメモリ23Aには、前記第1実施形態と同様に、3種類の特殊効果モーションモデルデータ23P1a〜23P1c,23P2a〜23P2c,23P3a〜23P3cのそれぞれに対応して、その特殊効果画像データ23Gu1,23Gu2,23Gu3、音声データ「キュアーハート」23Su1,「キュアースター」23Su2,「デスムーン」23Su3、効果の種類「キュア効果」23K1,「キュア効果」23K2,「デス効果」23K3、効果の対象「特殊効果モーションを向けた相手」23T1,「周辺の敵すべて」23T2,「周辺の敵すべて」23T3、特殊効果マークデータ23Mu1,23Mu2,23Mu3が記憶される。
そして、同特殊効果データメモリ23Aにおける変身対象(顔)画像データ24Tの記憶領域には、前記変身役柄データメモリ24Aにおいて第2段階の変身(2)画像データ24Gu1′として記憶された美少女戦士Aが行える特殊効果モーションモデルデータ23P1a〜23P1cに対応付けて、姉Jの顔画像データ24T2が登録され、また、第2段階の変身(2)画像データ24Gu2′として記憶された美少女戦士Bが行える特殊効果モーションモデルデータ23P2a〜23P2cに対応付けて、妹Kの顔画像データ24T3が登録され、さらに、第1段階の変身(1)画像データ24Gw1として記憶された死神が行える特殊効果モーションモデルデータ23P3a〜23P3cに対応付けて、男の子Pの顔画像データ24T1が登録される。
図27は、前記デジタルカメラ10の第2実施形態の防御効果データメモリ23Bに予め記憶される防御効果データの内容を示す図である。
この第2実施形態の防御効果データメモリ23Bには、前記第1実施形態と同様に、2種類の防御効果モーションモデルデータ23′P1a〜23′P1c,23′P2a〜23′P2cのそれぞれに対応して、その防御効果画像データ23′Gu1,23′Gu2、音声データ「バキン」23′Su1,「パーン」23′Su2、防御効果マークデータ23′Mu1,23′Mu2が記憶される。
そして、同防御効果データメモリ23Bにおける変身対象(顔)画像データ24Tの記憶領域には、前記変身役柄データメモリ24Aにおいて第2段階の変身(2)画像データ24Gu2′として記憶された美少女戦士Bが行える防御効果モーションモデルデータ23′P1a〜23′P1cに対応付けて、妹Kの顔画像データ24T3が登録され、さらに、第1段階の変身(1)画像データ24Gw1として記憶された死神が行える防御効果モーションモデルデータ23′P2a〜23′P2cに対応付けて、男の子Pの顔画像データ24T1が登録される。
なお、この第2実施形態の合成画像出力装置において、前記図25で示した変身モーションモデルデータ14P、前記図26で示した特殊効果モーションモデルデータ23P、前記図27で示した防御効果モーションモデルデータ23′Pには、それぞれ個々のモーションモデルデータについて当該モーション(身振り)の検出対象となる特定の人物(顔)画像24Tが予め登録されるので、前記第1実施形態の合成画像出力装置における同モーションモデルデータにて必要とした、特定の人物のモーション(身振り)をある程度識別して検出するためのペンDや棒Bを含んでいる各モーションモデルデータ(変身;14P2aD〜14P2cD)(特殊効果;23P2aD〜23P2cD,23P3aB〜23P3cB)(防御効果;23′P1aD〜23′P1cD,23′P2aB〜23′P2cB)を必要としない。
よって、この第2実施形態の合成画像出力装置によれば、死神役、美少女戦士A役、美少女戦士B役など、各役柄を特定の人物に定めておくための小道具を一切必要としない。
次に、前記構成の第2実施形態のデジタルカメラ10あるいはサーバ装置30による合成画像出力装置の動作について説明する。
この第2実施形態の合成画像出力装置において、合成画像出力処理の全体過程を示すフローチャート(図8参照)、当該合成画像出力処理に伴い撮影画像(G)中に存在する人物(P,J,K)の対象画像を抽出する対象画像抽出処理のフローチャート(図9参照)、当該合成画像出力処理に伴い役柄登録された人物画像(P,J,K)に変身マーク(24M/24M′)を付加する役柄変身マーク処理を示すフローチャート(図10参照)、当該合成画像出力処理に伴い変身マーク(24M/24M′)の付加された人物画像(P,J,K)を変身画像(24G/24G′)に置き換え合成すると共に対応音声(24S/24S′)の出力を設定する変身マーク合成処理を示すフローチャート(図13参照)、当該合成画像出力処理に伴い特殊/防御効果マーク(23Mu/23′Mu)の付加された人物画像(P,J,K)の所定位置に特殊/防御効果画像(23Gu/23′Gu)を追加合成すると共に対応音声(23Su/23′Su)の出力を設定する特殊効果マーク合成処理を示すフローチャート(図14参照)については、何れの処理ステップも前記第1実施形態の合成画像出力処理と同様であるためその図示を省略する。
図28は、前記第2実施形態の合成画像出力処理に伴い変身モーション(14P)の検出された人物画像(J,K)に変身マーク(24M′)を付加すると共に対応音声(24S′)を出力するモーション変身マーク処理を示すフローチャートである。
図29は、前記第2実施形態の合成画像出力処理に伴い特殊/防御効果モーション(23P/23′P)の検出された人物画像(P,J,K)に特殊/防御効果マーク(23Mu/23′Mu)を付加すると共に対応音声(23Su/23′Su)を出力する特殊効果マーク処理を示すフローチャートである。
図30〜図37は、前記第2実施形態の合成画像出力処理に伴う動画撮影画像(G)に基づいた画像処理状態を順次代表的なコマ送り(その1)〜(その8)にして示す図であり、同図(A)は撮影画像Gを示す図、同図(B)はマーク付き撮影画像Gmを示す図、同図(C)は合成画像GGを示す図である。
前記図8における合成画像出力処理のステップS1〜S3の処理は、前記第1実施形態と同様に、前記図30(A)〜図37(A)に示すように、動画撮影される各コマの撮影画像(G)が取得されるのに伴い繰り返し実行され、前記図30(B)〜図37(B)に示すようなマーク付き撮影画像(Gm)が生成出力される。
そして、前記図8における合成画像出力処理のステップS4〜S7の処理は、前記第1実施形態と同様に、前記図30(B)〜図37(B)に示すように生成された一連のマーク付き撮影画像(Gm)に基づき実行され、前記図30(C)〜図37(C)に示すような合成画像(GG)が生成出力される。
なお、この第2実施形態でも、前記デジタルカメラ10(図2参照)において図8における合成画像出力処理を実行した場合を主体にして説明し、前記サーバ装置30(図7参照)において同合成画像出力処理を実行した場合については、略同じ処理内容となるためその説明を省略する。
デジタルカメラ10の画像撮影部21により、例えば図30(A)〜図37(A)で示すように家族によって演じられる一連のシーンが撮影されると、その撮影画像G1〜G8は順次撮影画像データメモリ25に記憶され保存され(ステップS1)、リアルタイムで図9における対象画像抽出処理へ移行される(ステップSA)。
この対象画像抽出処理(ステップSA)により、撮影画像データGnの中に存在する人物画像(P,J,K)が抽出されると、図10における役柄変身マーク処理へ移行される(ステップSB)。
この役柄変身マーク処理では、前記対象画像抽出処理により抽出された撮影画像データGnの中の人物画像(P,J,K)について、前記変身役柄データメモリ24A(図24参照)にユーザ登録された変身対象(顔)画像データ24Tとしての人物画像(P)(J)(K)が含まれるか否かが前記顔画像認識処理を用いて識別される(ステップB1)。
ここで、図30(A)〜図37(A)の撮影画像データG1〜G8にそれぞれ示すように、変身対象(顔)画像データ24Tとしての男の子Pの顔画像24T1を有する人物画像、あるいは姉Jの顔画像24T2を有する人物画像、あるいは妹Kの顔画像24T3を有する人物画像が含まれていることが識別されると(ステップB1(Yes))、役柄別変身状態メモリ24B内の各対応する変身状態フラグが検出され、現在の男の子の人物画像Pに対応する登録Aの役柄状態、あるいは現在の姉の人物画像Jに対応する登録Bの役柄状態、あるいは現在の妹の人物画像Kに対応する登録Cの役柄状態が検出される(ステップB2)。
そして、変身(2)の状態でない(変身(1)の状態である)と判断された場合には(ステップB2(No))、各対応する変身対象画像が含まれる一連の撮影画像中に、特殊効果モーション23P(男の子の人物画像Pの場合にはデス効果のモーション23P3a〜23P3c、姉の人物画像Jの場合にはキュア効果のモーション23P1a〜23P1c、妹の人物画像Kの場合にはキュア効果のモーション23P2a〜23P2c)が検出されたか否かが判断される(ステップB6)。(この特殊効果については後述の特殊効果マーク処理(ステップSE)で詳述する。)
例えば図30(A)に示す撮影画像G1に含まれる男の子の人物画像Pの場合は、その特殊効果モーション23Pは検出されないので(ステップB6(No))、前記変身役柄データメモリ24A(図24参照)に対応付けられて記憶されている変身(1)の死神用の変身(1)マークデータ24Mw1が読み出されると共に、前記識別された男の子の人物画像Pの顔画像認識された位置に対応して付加され、図30(B)〜図36(B)に示すようなマーク付き撮影画像データGm1〜Gm7として作業用データメモリに一時保存されると共に表示部11に表示される(ステップB8)。
また、例えば図30(A)に示す撮影画像G1に含まれる姉の人物画像Jの場合も、その特殊効果モーション23Pは検出されないので(ステップB6(No))、前記変身役柄データメモリ24A(図24参照)に対応付けられて記憶されている変身(1)の美少女A用の変身(1)マークデータ24Mu1が読み出されると共に、前記識別された姉の人物画像Jの位置に対応して付加され、図30(B)に示すようなマーク付き撮影画像データGm1として作業用データメモリに一時保存されると共に表示部11に表示される(ステップB8)。
また、例えば図34(A)に示す撮影画像G5に含まれる妹の人物画像Kの場合も、その特殊効果モーション23Pは検出されないので(ステップB6(No))、前記変身役柄データメモリ24A(図24参照)に対応付けられて記憶されている変身(1)の美少女B用の変身(1)マークデータ24Mu2が読み出されると共に、前記識別された妹の人物画像Kの位置に対応して付加され、図34(B)に示すようなマーク付き撮影画像データGm5として作業用データメモリに一時保存されると共に表示部11に表示される(ステップB8)。
なお、前記登録された人物画像P,J,Kそれぞれの位置に対応付加される変身(1)マークデータ24Mw1,24Mu1,24Mu2は、当該人物画像P,J,Kに重ねて付加されるか、または当該人物画像P,J,Kの近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ10による撮影中にあると判断された場合に(ステップB4(Yes))、例えば図30(B)〜図36(B)に示すように、死神用の変身(1)マークデータ24Mw1が付加された場合には、前記変身役柄データメモリ24A(図24参照)に対応付けられて記憶されている音声データ「ザクッ、ザクッ」24Sw1が読み出され、音声出力部13から出力される(ステップB5)。
また、同様に例えば図30(B)に示すように、美少女A用の変身(1)マークデータ24Mu1が付加された場合には、前記変身役柄データメモリ24A(図24参照)に対応付けられて記憶されている音声データ「レモ、レモ」24Su1が読み出され、音声出力部13から出力される(ステップB5)。
また、同様に図34(B)に示すように美少女B用の変身(1)マークデータ24Mu2が付加された場合には、前記変身役柄データメモリ24A(図24参照)に対応付けられて記憶されている音声データ「キュ、キュ」24Su2が読み出され、音声出力部13から出力される(ステップB5)。
また、前記同様に現在の男の子の人物画像Pに対応する登録Aの変身状態が検出され、変身(2)の状態ではない(変身(1)の状態である)と判断された場合であっても(ステップB2(No))、変身対象画像が含まれる一連の撮影画像中に、例えば図36,図37に示すように、顔画像登録された妹の人物画像Kについて特殊効果モーション23P2a〜23P2cとの一致が検出された場合には(ステップB6(Yes))、役柄別変身状態メモリ24B内の男の子Pの役柄状態フラグが変身(2)の状態に変更されると共に(ステップB7)、変身対象画像(P)に対応する位置に変身(2)マーク24Mw1′が付加され、図37(B)に示すようなマーク付き撮影画像データGm8として作業用データメモリに一時保存されると共に表示部11に表示される(ステップB3)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記変身役柄データメモリ24A(図24参照)に対応付けられて記憶されている変身(2)の音声データ「キラリ、キラリ」24Sw1′が読み出され、同図37(B)に示すように音声出力部13から出力される(ステップB5)。
一方、現在の男の子の人物画像Pに対応する登録Aの変身状態が検出され、変身(2)の状態であると判断された場合には(ステップB2(Yes))、変身対象画像に対応する位置に変身(2)マーク24Mw1′が付加され、図37(B)に示すようなマーク付き撮影画像データGm8として作業用データメモリに一時保存されると共に表示部11に表示される(ステップB3)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記変身役柄データメモリ24A(図24参照)に対応付けられて記憶されている音声データ「キラリ、キラリ」24Sw1′が読み出され、同図37(B)に示すように音声出力部13から出力される(ステップB5)。
また、現在の姉の人物画像Jに対応する登録Bの変身状態が検出され、変身(2)の状態であると判断された場合には(ステップB2(Yes))、変身対象画像に対応する位置に変身(2)マーク24Mu1′が付加され、図31(B)〜図37(B)に示すようなマーク付き撮影画像データGm2〜Gm8として作業用データメモリに一時保存されると共に表示部11に表示される(ステップB3)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記変身役柄データメモリ24A(図24参照)に対応付けられて記憶されている音声データ「レモン、レモン」24Su1′が読み出され、同図31(B)〜図37(B)に示すように音声出力部13から出力される(ステップB5)。
また、現在の妹の人物画像Kに対応する登録Cの変身状態が検出され、変身(2)の状態であると判断された場合には(ステップB2(Yes))、変身対象画像に対応する位置に変身(2)マーク24Mu2′が付加され、図35(B)〜図37(B)に示すようなマーク付き撮影画像データGm6〜Gm8として作業用データメモリに一時保存されると共に表示部11に表示される(ステップB3)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記変身役柄データメモリ24A(図24参照)に対応付けられて記憶されている音声データ「キュート、キュート」24Su2′が読み出され、図35(B)〜図37(B)に示すように音声出力部13から出力される(ステップB5)。
すると次に、図28におけるモーション変身マーク処理へ移行される(ステップSD′)。
このモーション変身マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データGnの中の人物画像(P,J,K)において、前記変身データメモリ14(図25参照)に予め登録された姉の顔の人物画像Jによる美少女戦士Aの一連の変身モーションモデルデータ14P1a〜14P1cや妹の顔の人物画像Kによる美少女戦士Bの一連の変身モーションモデルデータ14P2a〜14P2cと一致する画像部分が検出されたか否か判断される(ステップD1′)。
すなわち、図31(A)の撮影画像データG2に示すように、前記対象画像抽出処理により抽出される顔画像登録された姉の一連の人物画像Jについて、前記変身データメモリ14(図25参照)に記憶された美少女戦士Aの一連の変身モーションモデルデータ14P1a〜14P1cと身振りが一致する画像部分であると検出されると(ステップD1′(Yes))、当該変身データメモリ14(図25参照)に対応付けられて記憶されている美少女戦士Aの変身マークデータ24Mu1′が読み出されると共に、前記モーション検出された姉の人物画像Jの顔画像認識された位置に対応して付加され、図31(B)に示すようなマーク付き撮影画像データGm2として作業用データメモリに一時保存され表示部11に表示される(ステップD2)。一方、変身モーションモデルデータ14Pに身振りが一致する画像部分が検出されない場合は(ステップD1(No))、本処理を終了し、図29における特殊効果マーク処理(ステップSE′)へ移行される。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップD3(Yes))、前記変身データメモリ14(図25参照)に対応付けられて記憶されている美少女戦士Aの音声データ「レモン♪レモン♪」24Su1′が読み出され、同図31(B)に示すように音声出力部13から出力される(ステップD4)。
また、図35(A)の撮影画像データG6に示すように、前記対象画像抽出処理により抽出される顔画像登録された妹の一連の人物画像Kについて、前記変身データメモリ14(図25参照)に記憶された美少女戦士Bの一連の変身モーションモデルデータ14P2a〜14P2cと身振りが一致する画像部分であると判断された場合には(ステップD1(Yes))、変身データメモリ14(図25参照)に対応付けられて記憶されている美少女戦士Bの変身マークデータ24Mu2′が読み出されると共に、前記モーション検出された妹の人物画像Kの顔画像認識された位置に対応して付加され、図35(B)〜図37(B)に示すようなマーク付き撮影画像データGm6〜Gm8として作業用データメモリに一時保存され表示部11に表示される(ステップD2)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップD3(Yes))、前記変身データメモリ14(図25参照)に対応付けられて記憶されている美少女戦士Bの音声データ「キュート♪キュート♪」24Su2′が読み出され、同図35(B)〜図37(B)に示すように音声出力部13から出力される(ステップD4)。
すると次に、図29における特殊効果マーク処理へ移行される(ステップSE′)。
この特殊効果マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データGnの中の人物画像(P,J,K)について、前記特殊効果データメモリ23A(図26参照)に予め顔画像登録された人物画像による特殊効果Aの一連の変身モーションモデルデータ23P1a〜23P1cや特殊効果Bの一連の変身モーションモデルデータ23P2a〜23P2cや特殊効果Cの一連の変身モーションモデルデータ23P3a〜23P3cと一致する画像部分が検出されたか否か判断される(ステップE1′)。
すなわち、図32(A)の撮影画像データG3に示すように、前記対象画像抽出処理により抽出される顔画像登録された姉の一連の人物画像Jについて、前記特殊効果データメモリ23A(図26参照)に予め記憶された特殊効果Aの一連の変身モーションモデルデータ23P1a〜23P1cと身振りが一致する画像部分であると検出されると(ステップE1′(Yes))、当該特殊効果データメモリ23A(図26参照)に対応付けられて記憶されている特殊効果Aの特殊効果マークデータ23Mu1が読み出されると共に、前記モーション検出された姉の人物画像Jの所定位置に対応して、効果の対象23T1(特殊効果モーションを向けた相手)である死神の変身マークデータ24Mw1が付加されている人物画像(男の子)Pの方向へ向けて付加され、図32(B)に示すようなマーク付き撮影画像データGm3として作業用データメモリに一時保存され表示部11に表示される(ステップE2)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップE3(Yes))、前記特殊効果データメモリ23A(図26参照)に対応付けられて記憶されている特殊効果Aの音声データ「キュアーハート」23Su1が読み出され、同図32(B)に示すように音声出力部13から出力される(ステップE4)。このようにデジタルカメラ10から特殊効果Aの音声データ「キュアーハート」23Su1が出力されることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者(姉J、男の子P)により容易に認識でき、リアルな感覚で演技をすることができる。
なお、前記モーション検出された人物画像Jの所定位置に対応付加される特殊効果マークデータ23Mu1は、当該人物画像Jに重ねて付加されるか、または当該人物画像Jの近傍に付加されるかの何れであってもよい。これにより撮影中の母親は、予め顔画像登録した姉(J)が、特殊効果モーションを行った結果、コンピュータにより特殊効果処理が適切に実行され、当該特殊効果の画像を付加した合成画像が作成されることを容易に認識できる。
また、図33(A)の撮影画像データG4に示すように、前記対象画像抽出処理により抽出される顔画像登録された男の子の一連の人物画像Pについて、前記特殊効果データメモリ23A(図26参照)に予め記憶された特殊効果Cの一連の変身モーションモデルデータ23P3a〜23P3cと身振りが一致する画像部分であると検出されると(ステップE1′(Yes))、当該特殊効果データメモリ23Aに対応付けられて記憶されている特殊効果Cの特殊効果マークデータ23Mu3が読み出されると共に、前記モーション検出された男の子の人物画像Pの所定位置に対応して、効果の対象23T3(周辺の敵すべて)である前記美少女戦士Aの変身マークデータ24Mu1′が付加されている人物画像(姉)Jの方向へ向けて付加され、図33(B)に示すようなマーク付き撮影画像データGm4として作業用データメモリに一時保存され表示部11に表示される(ステップE2)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップE3(Yes))、前記特殊効果データメモリ23A(図26参照)に対応付けられて記憶されている特殊効果Cの音声データ「デスムーン」23Su3が読み出され、同図33(B)に示すように音声出力部13から出力される(ステップE4)。このようにデジタルカメラ10から特殊効果Cの音声データ「デスムーン」23Su3が出力されることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者(姉J、男の子P)により容易に認識できる。
また、図36(A)の撮影画像データG7に示すように、前記対象画像抽出処理により抽出される顔画像登録された妹の一連の人物画像Kについて、前記特殊効果データメモリ23Aに予め記憶された特殊効果Bの一連の特殊効果モーションモデルデータ23P2a〜23P2cと身振りが一致する画像部分であると検出されると(ステップE1′(Yes))、当該特殊効果データメモリ23A(図26参照)に対応付けられて記憶されている特殊効果Bの特殊効果マークデータ23Mu2が読み出されると共に、前記モーション検出された妹の人物画像Kの所定位置(例えば画像上部から3分の1の位置)に対応して、効果の対象23T2(周辺の敵すべて)である仮面マークデータMk付き(悩乱状態)美少女戦士Aの人物画像(姉)Jと死神の変身マークデータ24Mw1が付加されている人物画像(男の子)Pの方向へ向けて付加され、図36(B)に示すようなマーク付き撮影画像データGm7として作業用データメモリに一時保存され表示部11に表示される(ステップE2)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップE3(Yes))、前記特殊効果データメモリ23A(図26参照)に対応付けられて記憶されている特殊効果Bの音声データ「キュアースター」23Su2が読み出され、同図36(B)に示すように音声出力部13から出力される(ステップE4)。このようにデジタルカメラ10から特殊効果Bの音声データ「キュアースター」23Su2が出力されることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者(妹K、姉J、男の子P)により容易に認識できる。
ここで、特殊効果(図26参照)には、前記第1実施形態と同様に、効果の対象23Tである相手を悩乱状態から正常状態に戻すキュア(癒し)効果23K1,23K2と、正常状態から悩乱状態にするデス(死神)効果23K3とがあり、一方で防御効果(図27参照)は、これも前記第1実施形態と同様に、相手から受けた特殊効果を無効化する。この特殊効果や防御効果に伴う変身処理(ステップE5〜E23)について、以下で説明する。
すなわち、図32(B)のマーク付き撮影画像データGm3で示したように、美少女戦士Aの変身マークデータ24Mu1′が付加されている顔画像登録された姉(J)の位置から特殊効果A(キュア効果23K1)に伴う特殊効果マークデータ23Mu1が表示出力された場合において(ステップE1′,E2)、前記特殊効果データメモリ23A(図26参照)に予め記憶された特殊効果Aの効果の対象23Tが、周辺の敵すべてではない特殊効果モーションを向けた相手23T1であると判断されると(ステップE5(No))、当該画面(Gm3)内で特殊効果モーション23P1を向けた相手(死神役の男の子である人物画像P)が検出され、効果の対象者として設定される(ステップE12)。このように顔画像登録された人物画像の身振り(モーション)で示した相手の人物画像を特殊効果の対象者として検出設定するようにしたので、当該特殊効果を行う登録済み演技者の思い通りの相手に、適宜、その特殊効果を出すことができ相手を変身させた合成画像を容易に作成できる。
そして、前記特殊効果Aの効果の種類23Kがキュア効果23K1であると判断されると(ステップE7(Yes))、前記検出設定された効果の対象は、仮面マークMk付き美少女戦士の人物画像ではないと判断されると共に(ステップE13(No))、死神マーク24Mw1付きの人物画像Pであると判断される(ステップE15(Yes))。
そして、効果の対象である顔画像登録された男の子(死神役)の人物画像Pについて、図27における防御効果モーションモデルデータ23'P2a〜23'P2cと身振りが一致する画像部分であると検出されると(ステップE16′(Yes))、対応するハート形の特殊効果マークデータ23Mu1の隣に、当該特殊効果が無効化されたことを示すハートが割れた形の防御効果マークデータ23'Mu2が読み出されて付加される(ステップE17)。この場合、顔画像登録された死神役の男の子(P)の防御効果が出されたことで、当該死神の変身状態は継続されることとなる。
すると、前記防御効果マークデータ23'Mu2に対応する音声データ「パーン」23'Su2が読み出されて音声出力部13から出力される(ステップE22)。
このように、特殊効果が無効化されたことを示す防御効果マーク23'Mu2がマーク付き撮影画像Gm3として表示されることによりにより、カメラ画面(11)を見て撮影している母親は、防御効果が適切に出され、特殊効果が無効化されたことを視覚的に確認できる。しかも、前記防御効果マーク23'Mu2に対応する音声データ「パーン」23'Su2が出力されることにより、母親だけでなく演技者全員において、防御効果が適切に出され、特殊効果が無効化されたことを聴覚的に確認できる。
また、図33(B)のマーク付き撮影画像データGm4で示したように、死神の変身マークデータ24Mw1が付加されている顔画像登録された男の子(P)の位置から特殊効果C(デス効果23K3)に伴う特殊効果マークデータ23Mu3が表示出力された場合において(ステップE1′,E2)、前記特殊効果データメモリ23A(図26参照)に予め記憶された特殊効果Cの効果の対象23Tが、周辺の敵すべて23T3であると判断されると(ステップE5(Yes))、当該画面(Gm4)内で敵役の相手(美少女戦士A役の姉である人物画像J)が検出され、効果の対象者として設定される(ステップE6)。
そして、前記特殊効果Cの効果の種類23Kがデス効果23K3であると判断されると(ステップE7(No))、前記検出設定された効果の対象は、美少女戦士の変身マークデータ24Mu1′付きであると判断される(ステップE8(Yes))。
ここで、効果の対象である顔画像登録された姉(美少女戦士A役)の人物画像Jについて、防御効果Aの防御効果モーション(図27参照)が検出されない場合には(ステップE9′(No))、当該美少女戦士Aに対応する変身マークデータ24Mu1′の隣に、美少女戦士Aが悩乱状態に変身させられたことを示す仮面マークデータMkが付加される(ステップE10)。
すなわちこの場合、美少女戦士A役の姉の人物画像Jは、変身役柄データメモリ24Aに予め登録された死神役の男の子の人物画像Pによる特殊効果Cのモーション23P3a〜23P3cに対応したデス(死神)効果によって、悩乱状態の仮面付き美少女戦士に変身させられたことになる。
すると、前記仮面マークデータMkに対応する音声データ「クックック」Skが音声出力部13から出力される(ステップE19)。
なお、前記ステップE9′において、前記デス効果23Kの対象23T3である顔画像登録された姉(美少女戦士A役)の人物画像Jについて、防御効果Aのモーションモデルデータ23'P1a〜23'P1c(図27参照)と身振りが一致する画像部分であると検出されると(ステップE9′(Yes))、対応する月形の特殊効果マークデータ23Mu3の隣に、当該特殊効果が無効化されたことを示す月が割れた形の防御効果マークデータ23'Mu1が読み出されて付加される(ステップE11)。この場合、美少女戦士A役の顔画像登録された姉Jから防御効果が出されたことで、美少女戦士Aのままの変身状態が継続されることとなる。
すると、前記防御効果マークデータ23'Mu1に対応する音声データ「バキン」23'Su1が読み出されて音声出力部13から出力される(ステップE20)。
また、図36(B)のマーク付き撮影画像データGm7で示したように、美少女戦士Bの変身マークデータ24Mu2′が付加されている顔画像登録された妹(K)の位置から特殊効果B(キュア効果23K2)に伴う特殊効果マークデータ23Mu2が表示出力された場合において(ステップE1′,E2)、前記特殊効果データメモリ23A(図26参照)に予め記憶された特殊効果Bの効果の対象23Tが、周辺の敵すべて23T2であると判断されると(ステップE5(Yes))、当該画面(Gm7)内での敵役の相手として、悩乱した仮面Mk付きの美少女戦士Aに変身させられている姉の人物画像Jと、死神役の変身マークデータ24Mw1が付加されている男の子の人物画像Pとが検出され、効果の対象者として設定される(ステップE6)。
そして、前記特殊効果Bの効果の種類23K2がキュア効果であると判断されると(ステップE7(Yes))、前記検出設定された効果の対象である姉の人物画像Jの場合、仮面マークMk付きの美少女戦士Aであると判断される(ステップE13(Yes))。
すると、図37(B)のマーク付き撮影画像データGm8で示すように、当該仮面マークMk付きの美少女戦士Aのその仮面マークデータMkが削除される(ステップE14)。
すなわちこの場合、美少女戦士A役の姉の人物画像Jは、美少女戦士B役として予め顔画像登録された妹の人物画像Kによる特殊効果Bのモーション23P2a〜23P2cに対応したキュア(癒し)効果によって、仮面付きの悩乱した美少女戦士Aから元の正常な美少女戦士Aに変身にされ戻されたことになる。
そして、元の美少女戦士Aの変身マークデータ24Mu1′に対応する音声データ24Su1′「レモン♪レモン♪」が読み出され音声出力部13から出力される(ステップE21)。
一方、前記特殊効果Bの効果の種類23K2がキュア効果であると判断された際に(ステップE7(Yes))、前記検出設定された効果の対象である死神役の男の子の人物画像Pの場合には、死神マーク24Mw1付きであると判断される(ステップE15(Yes))。
ここで、前記効果の対象である顔画像登録された男の子(死神役)の人物画像Pについて、防御効果Bの防御効果モーション(図27参照)が検出されない場合には(ステップE16′(No))、図37(B)のマーク付き撮影画像データGm8で示すように、当該男の子(死神役)の人物画像Pから死神の変身マークデータ24Mw1が削除されると共に、星の王子である変身(2)マークデータ24Mw1′が付加される(ステップE18)。
すなわちこの場合、死神役の男の子の人物画像Pは、美少女戦士B役として予め顔画像登録された妹の人物画像Kによる特殊効果Bのモーション23P2a〜23P2cに対応したキュア(癒し)効果によって、死神から元の星の王子に変身させられて戻されたことになる。
そして、星の王子の変身(2)マークデータ24Mw1′に対応する音声データ24Sw1′「キラリ、キラリ」が読み出され音声出力部13から出力される(ステップE23)。
このように、撮影画像G中の予め顔画像登録された人物画像(P,J,K)による特殊効果モーション23Pや防御効果モーション23′Pの検出に基づいた特殊効果マーク処理(ステップE1〜E23)が完了すると、前記図30(B)〜図37(B)で示したように、前記ステップSA〜SE′の処理に従い作業用データメモリ上に生成されたマーク付きの連続した撮影画像データGm1〜Gm8がマーク付き撮影画像データメモリ26に記憶され保存される(ステップS2)。
そして、画像撮影部21からの一連の撮影画像データG1〜G8の撮影入力が終了したと判断されると(ステップS3(Yes))、前記マーク付き撮影画像データメモリ26に生成保存された一連のマーク付き撮影画像データGm1〜Gm8に基づく合成画像の生成処理に進むか否か判断される(ステップS4)。
ここで、入力部12に対する合成画像生成のためのユーザ操作に応じて、あるいは前記一連の撮影画像データの取得終了に伴い自動的に、合成画像の生成処理に進むと判断されると(ステップS4(Yes))、前記マーク付き撮影画像データメモリ26から前記一連のマーク付き撮影画像データGm1〜Gm8が作業用メモリに読み出され(ステップS5)、図13における変身マーク合成処理へ移行される(ステップSF)。
この変身マーク合成処理では、まず、前記マーク付き撮影画像データメモリ26から作業用メモリに読み出されたマーク付き撮影画像データGm1〜Gm8について、前記変身役柄データメモリ24A(図24参照)に予め記憶されている変身(1)(2)マークデータ24M,24M′や前記変身データメモリ14(図25参照)に予め記憶されている変身マークデータ24M′が付加された画像が含まれているか否か判断される(ステップF1)。
ここで、前記変身役柄データメモリ24A(図24参照)に予め記憶されている変身マークデータ24M,24M′や前記変身データメモリ14(図25参照)に予め記憶されている変身マークデータ24M′が付加された画像が含まれていないと判断された場合には(ステップF1(No))、本処理を終了し特殊効果マーク合成処理(ステップSH)へ移行される。
また、図30(B)〜図37(B)で示すように死神の変身(1)マークデータ24Mw1が付加された画像、図37(B)で示すように星の王子に戻った変身(2)マークデータ24Mw1'が付加された画像、また、図30(B)で示すように美少女Aの変身マークデータ24Mu1が付加された画像、図31(B)〜図37(B)で示すように美少女戦士Aの変身マークデータ24Mu1′が付加された画像、また、図34(B)で示すように美少女Bの変身マークデータ24Mu2が付加された画像、図35(B)〜図37(B)で示すように美少女戦士Bの変身マークデータ24Mu2′が付加された画像が存在すると判断された場合には(ステップF1(Yes))、当該各変身マークデータ24Mw1,24Mw1′,24Mu1,24Mu1′,24Mu2,24Mu2′が対応付加されている該マーク近傍の人物画像P,J,Kの位置が、前記対象画像抽出処理(ステップSA)により撮影画像データGnの付加情報として得られているブロックの位置情報から特定される(ステップF2)。
すると、前記特定された人物画像P,J,Kがモーションキャプチャ処理され、変身役柄データメモリ24A(図24参照)に記憶されている前記死神の変身マークデータ24Mw1や星の王子の変身マークデータ24Mw1′に対応するところの変身(1)画像データ24Gw1や変身(2)画像データ24Gw1′、同変身役柄データメモリ24A(図24参照)あるいは変身データメモリ14(図25参照)に記憶されている前記美少女A,Bの変身マークデータ24Mu1,24Mu2や美少女戦士A,Bの変身マークデータ24Mu1′,24Mu2′に対応するところの変身(1)画像データ24Gu1,24Gu2や変身(2)画像データ24Gu1′,24Gu2′に基づき、図30(C)〜図36(C)に示すように当該人物画像(男の子)Pと同じポーズ(姿勢)の死神の変身(1)画像データ24Gw1、図37(C)に示すように当該人物画像(男の子)Pと同じポーズ(姿勢)の星の王子の変身(2)画像データ24Gw1′、図30(C)〜図37(C)に示すように当該人物画像(姉)Jと同じポーズ(姿勢)の美少女Aの変身(1)画像データ24Gu1や美少女戦士Aの変身(2)画像データ24Gu1′、図19(C)〜図37(C)に示すように当該人物画像(妹)Kと同じポーズ(姿勢)の美少女Bの変身(1)画像データ24Gu2や美少女戦士Bの変身(2)画像データ24Gu2′にそれぞれ予め設定された背景画像BG上で置き換えられて合成される(ステップF3)。この際、合成画像データGG1〜GG8が生成される(ステップF3)。
すると、前記各マークデータに対応して置き換えられた変身画像データに顔合成位置データがあるか否かが判断される(ステップF4)。
これ場合、死神の変身(1)画像データ24Gw1に対応する顔合成位置データは記憶されてなく、ステップF8へ進む。また、星の王子の変身(2)画像データ24Gw1′に対応した顔合成位置データ24F′(図24参照)はあると判断され、また、美少女Aの変身(1)画像データ24Gu1に対応した顔合成位置データ24F1や美少女戦士Aの変身(2)画像データ24Gu1′に対応した顔合成位置データ24F1′、美少女Bの変身(1)画像データ24Gu2に対応した顔合成位置データ24F2や美少女戦士Bの変身(2)画像データ24Gu2′に対応した顔合成位置データ24F2′(図24,図25参照)もあると判断される(ステップF4(Yes))。
すると、前記顔合成位置データ24F′,24F1,24F1′,24F2,24F2′が読み出されて(ステップF5)、各対応する撮影画像Gn中の対象画像における顔画像部分(Pf,Jf,Kf)が抽出され(ステップF6)、この抽出された各顔画像部分(Pf,Jf,Kf)が各対応する変身画像データ24Gw1′,24Gu1,24Gu1′,24Gu2,24Gu2′の顔合成位置(24F′,24F1,24F1′,24F2,24F2)に合わせてサイズ変更され(Pf′,Jf′,Kf′)、図30(C)〜図37(C)に示すように、当該変身キャラクタの画像データ(24Gw1′,24Gu1,24Gu1′,24Gu2,24Gu2′)に合成される(ステップF7)。
このように、撮影画像データGnから抽出された顔画像部分(Pf,Jf,Kf)を、前記顔合成位置データに対応する位置に合わせてサイズ変更し、各対応する変身キャラクタの画像データ(24Gw1′,24Gu1,24Gu1′,24Gu2,24Gu2′)に合成するようにしたので、変身キャラクタの顔サイズに合わせて実写の顔部分が適切に合成され、実写の顔で変身キャラクタを合成表示できることとなる。
次に、この変身マーク合成処理では、処理対象であるマーク付き撮影画像データGmnに仮面マークデータMkが含まれているかが判断される(ステップF8)。
すなわち、前記図32(B)〜図36(B)で示したマーク付き撮影画像データGm4〜Gm7のように、美少女戦士A役の顔画像登録された姉の人物画像Jに対して仮面マークデータMkが付加されていると判断された場合には(ステップF8(Yes))、図32(C)〜図36(C)で示すように、同姉の人物画像Jにおける顔画像部分の顔合成位置24F1に合わせて仮面画像Gkが合成された合成画像GGが生成される(ステップF9)。
すると、前記各変身画像データ(24Gw1′,24Gu1,24Gu1′,24Gu2,24Gu2′)に対応付けられて変身役柄データメモリ24A(図24参照)に記憶されている死神の音声データ「ザクッ、ザクッ」24Sw1、星の王子の音声データ「キラリ、キラリ」24Sw1′、同変身役柄データメモリ24A(図24参照)あるいは変身データメモリ14(図25参照)に記憶されている美少女A,美少女戦士Aの音声データ「レモ,レモ」24Su1,「レモン♪レモン♪」24Su1′、美少女B,美少女戦士Bの音声データ「キュ,キュ」24Su2,「キュート♪キュート♪」24Su2′が読み出され、前記図30(C)〜図37(C)に示すように生成された合成画像GG1〜GG8に対応付けられて保存される(ステップF10)。ここで、前記美少女A役または美少女戦士A役の姉の人物画像Jや美少女B役または美少女戦士B役の妹の人物画像Kに対して仮面マークデータMkが付加されている場合には、当該美少女A,美少女戦士A,美少女B,美少女戦士Bの前記音声データ「レモ,レモ」24Su1,「レモン♪レモン♪」24Su1′,「キュ,キュ」24Su2,「キュート♪キュート♪」24Su2′に替えて、仮面マークデータMkに対応する音声データ「クックック」Skが同合成画像GG1〜GG8に対応付けられて保存される。(ステップF10)。
なお、処理対象であるマーク付き撮影画像データGmnに仮面マークデータMkが含まれていないと判断された場合には(ステップF8(No))、前記仮面画像Gkの合成処理および音声設定処理(ステップF9,F10)をスキップする。
すると次に、図14における特殊効果マーク合成処理へ移行される(ステップSH)。
この特殊効果マーク合成処理では、まず、前記マーク付き撮影画像データメモリ26から作業用メモリに読み出されたマーク付き撮影画像データGm1〜Gm8について、前記特殊効果データメモリ23A(図26参照)に予め記憶されている特殊効果マークデータ23Muまたは防御効果データメモリ23B(図27参照)に予め記憶されている防御効果マークデータ23′Muが付加された画像データGmnが含まれているか否か判断される(ステップH1)。
ここで、図30(B),図31(B),図34(B),図35(B)で示すように、特殊効果マークデータ23Muや防御効果マークデータ23′Muが付加された画像データGmが存在しないと判断された場合には(ステップH1(No))、処理を終了し、ステップS6に進む。
一方、図32(B),図33(B),図36(B),図37(B)で示すように、特殊効果Aに対応する特殊効果マークデータ23Mu1、防御効果Bに対応する防御効果マークデータ23′Mu2、特殊効果Cに対応する特殊効果マークデータ23Mu3、特殊効果Bに対応する特殊効果マークデータ23Mu2が存在すると判断された場合には(ステップH1(Yes))、当該特殊効果マークデータ23Mu1,23Mu2,23Mu3、または防御効果マークデータ23′Mu2が対応付加されている当該マーク近傍の人物画像(姉、妹、男の子)J,K,Pの位置が、前記対象画像抽出処理(ステップSA)により撮影画像データGnの付加情報として得られているブロックの位置情報から特定される(ステップH2)。
すると、前記特殊効果データメモリ23A(図26参照)の特殊効果マークデータ23Mu1,23Mu2,23Mu3、または防御効果データメモリ23B(図27参照)の防御効果マークデータ23′Mu2に対応付けられて記憶されている特殊効果画像データ23Gu1,23Gu2,23Gu3、または防御効果画像データ23′Gu2が読み出され、前記特定された各人物画像(J,K,P)の所定位置(例えば画像上部から3分の1の位置)に対応して、敵役(相手)の変身マークデータが付加されている人物画像の方向へ向けて追加合成され、合成画像データGGが生成される(ステップH3)。
例えば、図32(B)(C)で示すように、特殊効果マークデータ23Mu1が付加されている美少女戦士A役の顔画像登録された人物画像Jの腕の位置からは、その特殊効果画像データ23Gu1が死神役の人物画像Pの方向へ向けて追加合成される。一方、防御効果マークデータ23′Mu2が付加されている死神役の顔画像登録された人物画像Pの腕の位置からは、その防御効果画像データ23′Gu2が前記美少女戦士A役の人物画像Jの方向へ向けて追加合成される。
また、図33(B)(C)で示すように、特殊効果マークデータ23Mu3が付加されている死神役の顔画像登録された人物画像Pの腕の位置からは、その特殊効果画像データ23Gu3が前記美少女戦士A役の人物画像Jの方向へ向けて追加合成される。
また、図36(B)(C)で示すように、特殊効果マークデータ23Mu2が付加されている美少女戦士B役の顔画像登録された人物画像Kの腕の位置からは、その特殊効果画像データ23Gu2が悩乱した仮面付きの美少女戦士A役の人物画像Jの方向へ向けて追加合成される(ステップH3)。
さらに、特殊効果によっては、その特殊効果画像データ23Guの先端部を爆発効果画像にして敵役である相手の人物画像の変身画像データに到達する位置まで延長させて追加合成するようにしてもよい(ステップH4)。
そして、前記特殊効果データメモリ23A(図26参照)に対応付けられて記憶されている特殊効果Aの音声データ「キュアーハート」23Su1、特殊効果Bの音声データ「キュアースター」23Su2、特殊効果Cの音声データ「デスムーン」23Su3が読み出され、また前記防御効果データメモリ23B(図27参照)に対応付けられて記憶されている防御効果Bの音声データ「パーン」23′Su2が読み出され、前記図32(C),図33(C),図36(C),図37(C)に示すように生成された各合成画像GG3,GG4,GG7,GG8に対応付けられて保存される(ステップH5)。
すると、前記図30(C)〜図37(C)で示したように、前記ステップSF〜SHの処理に従い作業用データメモリ上に生成された一連の合成画像データGG1〜GG8が合成画像データメモリ27に記憶され保存される(ステップS6)。
そして、前記合成画像データメモリ27に記憶された一連の合成画像データ(対応付けられた音声データを含む)GG1〜GG8が、前記図30(C)〜図37(C)で示すように、表示部11により再生表示されると共に音声出力部13により再生出力される(ステップS7)。なお、本第2実施形態の合成画像出力装置がサーバ装置30(図7参照)として構成されている場合には、前記ステップS1において受信された一連の撮影画像データG1〜G8の送信元である通信ネットワークN上の通信端末A(デジタルカメラ)10′や通信端末B(PC)40に対して、前記合成画像データメモリ27に記憶された一連の合成画像データ(対応付けられた音声データを含む)GG1〜GG8が読み出されて応答送信される(ステップS7)。
したがって、前記構成のデジタルカメラ10あるいはサーバ装置30による第2実施形態の合成画像出力装置によれば、画像撮影部21により動画撮影された一連の撮影画像データGnが入力されると、当該撮影画像データGnに含まれる人物画像(P,J,K)が抽出され、そのうちの変身役柄データメモリ24Aに予め顔画像により登録されている死神役の人物画像Pについては、当該死神の変身(1)画像データ24Gw1に置き換えられた合成画像GG1〜GG7が生成されると共に、特殊効果データメモリ23Aに予め設定されたデス効果23K3の特殊効果モーション(身振り)23P3a〜23P3cをしているか否かが検出判断され、また、同変身役柄データメモリ24Aに予め顔画像により登録されている美少女戦士A役の人物画像Jについては、その顔画像をそのままにして当該美少女戦士Aの変身画像データ24Gu1′に置き換えられた合成画像GG2〜GG8が生成されると共に、特殊効果データメモリ23Aに予め設定されたキュア効果23K1の特殊効果モーション(身振り)23P1a〜23P1cをしているか否かが検出判断され、また、同変身役柄データメモリ24Aに予め顔画像により登録されている美少女戦士B役の人物画像Kについては、その顔画像をそのままにして当該美少女戦士Bの変身画像データ24Gu2′に置き換えられた合成画像GG6〜GG8が生成されると共に、特殊効果データメモリ23Aに予め設定されたキュア効果23K2の特殊効果モーション(身振り)23P2a〜23P2cをしているか否かが検出判断される。
そして、前記撮影画像データG4に含まれる死神役の人物画像Pについて、予め設定されたデス効果23K3の特殊効果モーション(身振り)23P3a〜23P3cをしていることが検出判断された場合には、当該デス効果23K3に対応する特殊効果画像データ23Gu3がその効果の対象23T3として設定された美少女戦士A役の人物画像Jの方向へ向けて画像合成されると共に、当該美少女戦士A役の人物画像Jに仮面画像Gkが付加合成されて仮面付きの美少女戦士Aに変身させられた合成画像GG4として生成出力される。また、例えば前記撮影画像データG7に含まれる美少女戦士B役の人物画像Jについて、予め設定されたキュア効果23K2の特殊効果モーション(身振り)23P2a〜23P2cをしていることが検出判断された場合には、当該キュア効果23K2に対応する特殊効果画像データ23Gu2がその効果の対象23T2として設定された仮面Gk付き美少女戦士A役の人物画像Jおよび死神役の人物画像Pの方向へ向けて画像合成されると共に、当該仮面Gk付き美少女戦士A役の人物画像Jからはその仮面画像Gkが削除されて元の美少女戦士Aに変身させられ、また当該死神の変身(1)画像データ24Gw1は星の王子の変身(2)画像データ24Gw1′に変身させられた合成画像GG8として生成出力される。
つまり、このような第2実施形態の合成画像出力装置によれば、予め顔画像により登録されている死神役の人物画像Pについて、予め設定されたデス効果23K3の特殊効果モーション(身振り)23P3a〜23P3cをしていることが検出判断されると、当該デス効果の対象23T3として設定された美少女戦士A役の人物画像Jに仮面画像Gkが付加合成されて仮面付きの美少女戦士Aに変身させられた合成画像GG4として生成出力されるものである。またそればかりでなく、予め顔画像により登録されている美少女戦士B役の人物画像Jについても、予め設定されたキュア効果23K2の特殊効果モーション(身振り)23P2a〜23P2cをしていることが検出判断されると、当該キュア効果の対象23T2として設定された仮面Gk付き美少女戦士A役の人物画像Jからはその仮面画像Gkが削除されて元の美少女戦士Aに変身させられ、また同キュア効果の対象23T2として設定された死神役の人物画像Pは星の王子の変身(2)画像データ24Gw1′に変身させられた合成画像GG8として生成出力されるものである。
これにより、動画撮影された撮影画像Gnから抽出された人物画像(P,J,K)のうちで、予め役柄登録された男の子や姉や妹の人物画像P,J,Kによる所定の特殊効果モーション23P3,23P1,23P2だけに応じて、当該特殊効果の対象23T3,23T1,23T2として設定されている相手役の人物画像(J)(P)(P,J)を変身画像に置き換えた合成画像を生成することができ、事前に定めた配役通りの登場人物がその意志を持って所定の身振り(モーション)を行うことで、特定の相手役を変身させるという特撮映画やアニメーションなどにある変身合成画像を、素人の誰でもが容易に生成することができる。そして、当該生成された合成動画像GGnを表示部11に出力表示させて見たり、外部のモニタに出力表示させて見たりすることで、これまでにない楽しみを得ることができる。
また、前記構成のデジタルカメラ10あるいはサーバ装置30による第2実施形態の合成画像出力装置によれば、予め死神役として登録された男の子の人物画像Pが撮影画像Gnから検出され、その身振り(モーション)に対応した死神の変身(1)画像データ24Gw1に前記人物画像Pを置き換え合成した合成画像GGnを生成した際には、前記変身役柄データメモリ24Aに記憶されている当該変身(1)画像データ24Gw1の音声データ「ザクッ、ザクッ、…」24Sw1を、前記合成画像GGnに対応付けて保存し出力させ、また、予め美少女戦士A役として登録された姉の人物画像Jが撮影画像Gnから検出され、その身振り(モーション)に対応した美少女戦士Aの変身画像データ24Gu1′に前記人物画像Jを置き換え合成した合成画像GGnを生成した際には、前記変身役柄データメモリ24Aに記憶されている当該変身画像データ24Gu1′の音声データ「レモン、レモン、…」24Su1′を、前記合成画像GGnに対応付けて保存し出力させ、また、美少女戦士B役として登録された妹の人物画像Kが撮影画像Gnから検出され、その身振り(モーション)に対応した美少女戦士Bの変身画像データ24Gu2′に前記人物画像Kを置き換え合成した合成画像GGnを生成した際には、前記変身役柄データメモリ24Aに記憶されている当該変身画像データ24Gu2′の音声データ「キュート、キュート、…」24Sw2′を、前記合成画像GGnに対応付けて保存し出力させるので、容易且つよりリアルに特撮風の合成動画像GGnを作ることができる。
また、前記構成のデジタルカメラ10による第2実施形態の合成画像出力装置によれば、前記動画撮影中に表示部11にリアルタイムに表示される撮影画像データGnについて、前記予め死神役として登録された男の子の人物画像Pが撮影画像Gnから検出された際には、当該人物画像Pに対して死神の変身(1)画像データ24Gw1への変身対象となったことを示す変身(1)マークデータ24Mw1を付加したマーク付き撮影画像データGmnとして表示部11に表示させ、しかも前記変身(1)画像データ24Gw1の音声データ「ザクッ、ザクッ、…」24Sw1も共に音声出力部13から出力させ、また、前記予め美少女戦士A役として登録された姉の人物画像Jが撮影画像Gnから検出された際には、当該人物画像Jに対して美少女戦士Aの変身画像データ24Gu1′への変身対象となったことを示す変身マークデータ24Mu1′を付加したマーク付き撮影画像データGmnとして表示部11に表示させ、しかも前記変身画像データ24Gu1′の音声データ「レモン、レモン、…」24Su1′も共に音声出力部13から出力させ、また、前記予め美少女戦士B役として登録された妹の人物画像Kが撮影画像Gnから検出された際には、当該人物画像Kに対して美少女戦士Bの変身画像データ24Gu2′への変身対象となったことを示す変身マークデータ24Mu2′を付加したマーク付き撮影画像データGmnとして表示部11に表示させ、しかも前記変身画像データ24Gu2′の音声データ「キュート、キュート、…」24Su2′も共に音声出力部13から出力させるので、例えば撮影操作中の家族は、被写体の人物画像(男の子,姉,妹)P,J,Kがその登録された役柄通りに変身され置き換え処理されていることを容易に認識することができ、またこれを演じている最中の被写体自身(男の子P,姉J,妹K)にあっても、自らがその登録された役柄通りに変身処理されていることを音声により容易に認識することができる。
なお、前記各実施形態において記載した合成画像出力装置による各処理の手法、すなわち、図8のフローチャートに示す合成画像出力処理、図9のフローチャートに示す前記合成画像出力処理に伴う対象画像抽出処理、図10のフローチャートに示す前記合成画像出力処理に伴う役柄変身マーク処理、図11のフローチャートに示す前記合成画像出力処理に伴う第1実施形態のモーション変身マーク処理、図12のフローチャートに示す前記合成画像出力処理に伴う第1実施形態の特殊効果マーク処理、図13のフローチャートに示す前記合成画像出力処理に伴う変身マーク合成処理、図14のフローチャートに示す前記合成画像出力処理に伴う特殊効果マーク合成処理、図28のフローチャートに示す前記合成画像出力処理に伴う第2実施形態のモーション変身マーク処理、図29のフローチャートに示す前記合成画像出力処理に伴う第2実施形態の特殊効果マーク処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記憶媒体18(33)に格納して配布することができる。そして、変身データ14(32B)、特殊効果データ23A(32CA)、防御効果データ23B(32CB)、変身役柄データ24A(32D)をメモリ17(32)に記憶した種々のコンピュータ端末は、この外部記憶媒体18(33)に記憶されたプログラムをプログラムメモリ22(32A)に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した動画撮影画像データGnからの役割登録された人物画像の抽出とその変身画像を用いた合成画像GGnの作成・出力機能を実現し、前述した手法による同様の処理を実行することができる。
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク(インターネット)N上を伝送させることができ、この通信ネットワーク(インターネット)Nに接続されたコンピュータ端末(プログラムサーバ)から前記のプログラムデータを取り込み、前述した動画撮影画像データGnからの役割登録された人物画像の抽出とその変身画像を用いた合成画像GGnの作成・出力機能を実現することもできる。
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。