JP3901015B2 - 画像出力装置、画像出力処理プログラム、および画像出力方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影画像に他の画像を合成して出力するための画像出力装置、画像出力処理プログラム、および画像出力方法に関する。
【０００２】
【従来の技術】
従来、各種のスチルカメラやビデオカメラにおいて、撮影した画像に対し他の画像を合成して表示あるいは印刷して出力するものがある。
【０００３】
例えば撮影フレームの固定した位置に予め用意された花や人気キャラクタなどのアニメ画像を合成して出力するものや、同予め用意されたアニメ画像を撮影フレーム内の希望の位置に合成して出力するものなどが実用されている。
【０００４】
また、デジタルカメラにより撮影された画像をパーソナルコンピュータの表示画面上に表示させて他の画像と合成して編集することもできるが、この場合に他の画像は例えば他の画像ファイルから選択的に切り出すなどして取得され、撮影画像上の希望位置に貼り付けられる。
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来の画像処理装置では、撮影画像に対して、予め用意された画像を固定あるいは希望の位置に合成して出力するだけのものであるため、撮影画像以外の合成画像が常に固定的で変化が無く、面白味に欠け飽きが来やすい問題がある。
【０００６】
本発明は、前記のような問題に鑑みてなされたもので、撮影画像に対して単に固定的なアニメ画像を合成して出力するだけでなく、撮影画像に応じたアニメ画像を合成して出力することが可能になる画像出力装置、画像出力処理プログラム、および画像出力方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の請求項１に係る画像出力装置は、撮影画像を取得する撮影画像取得手段と、この撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段と、この対象画像抽出手段により抽出された対象画像に応じた対応画像を取得する対応画像取得手段と、前記対象画像抽出手段により抽出された対象画像を前記対応画像取得手段により取得された対応画像に置き換えて前記撮影画像取得手段により取得された撮影画像に合成する画像置き換え合成手段と、この画像置き換え合成手段により前記対象画像が前記対応画像に置き換えられて合成された撮影画像を出力する画像出力手段と、を備え、前記対象画像抽出手段は、前記撮影画像取得手段により取得される撮影画像の各部分までの距離を測定する距離測定手段を有し、この距離測定手段により測定された撮影画像の各部分までの距離に応じて対象画像を抽出することを特徴とする。
【０００８】
このような、本発明の請求項１に係る画像出力装置では、撮影画像取得手段により取得された撮影画像の中から対象画像抽出手段により対象画像が抽出されると、この抽出された対象画像に応じた対応画像が対応画像取得手段により取得される。すると画像置き換え合成手段により、対象画像抽出手段により抽出された対象画像が対応画像取得手段により取得された対応画像に置き換えられて撮影画像取得手段により取得された撮影画像に合成され、この合成により前記対象画像が前記対応画像に置き換えられて合成された撮影画像が画像出力手段により出力されるので、撮影画像の中から抽出された対象画像をこの対象画像に応じた対応画像に置き換えて合成し出力できることになる。この際、前記対象画像抽出手段は、撮影画像取得手段により取得される撮影画像の各部分までの距離を測定する距離測定手段を有し、この距離測定手段により測定された撮影画像の各部分までの距離に応じて適切に対象画像を抽出することができる。
【０００９】
本発明の請求項２に係る画像出力装置は、撮影画像を取得する撮影画像取得手段と、この撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段と、この対象画像抽出手段により抽出された対象画像に応じた対応画像を取得する対応画像取得手段と、この対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像に追加して合成する画像追加合成手段と、この画像追加合成手段により前記対応画像が追加されて合成された撮影画像を出力する画像出力手段と、を備え、前記対象画像抽出手段は、前記撮影画像取得手段により取得される撮影画像の各部分までの距離を測定する距離測定手段を有し、この距離測定手段により測定された撮影画像の各部分までの距離に応じて対象画像を抽出することを特徴とする。
【００１０】
このような、本発明の請求項２に係る画像出力装置では、撮影画像取得手段により取得された撮影画像の中から対象画像抽出手段により対象画像が抽出されると、この抽出された対象画像に応じた対応画像が対応画像取得手段により取得される。すると、画像追加合成手段により、対応画像取得手段により取得された対応画像が撮影画像取得手段により取得された撮影画像に追加して合成され、この合成により前記対応画像が追加されて合成された撮影画像が画像出力手段により出力されるので、撮影画像の中から抽出された対象画像をこの対象画像に応じた対応画像として追加して合成し出力できることになる。この際、前記対象画像抽出手段は、撮影画像取得手段により取得される撮影画像の各部分までの距離を測定する距離測定手段を有し、この距離測定手段により測定された撮影画像の各部分までの距離に応じて適切に対象画像を抽出することができる。
また本発明の請求項３に係る画像出力装置は、撮影画像を取得する撮影画像取得手段と、この撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段と、この対象画像抽出手段により抽出された対象画像に応じた対応画像を取得する対応画像取得手段と、この対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像に追加して合成する画像追加合成手段と、この画像追加合成手段により前記対応画像が追加されて合成された撮影画像を出力する画像出力手段と、を備え、前記画像置き換え合成手段は、前記対象画像抽出手段により複数の対象画像の候補が抽出された場合に、１つの対象画像を指定する対象画像指定手段を有し、前記撮影画像取得手段により取得された撮影画像に対して、前記対象画像指定手段により指定された対象画像の位置には前記対応画像取得手段により取得された対応画像を、前記対象画像指定手段により指定された対象画像以外の対象画像候補の位置には該候補の対象画像を、各対象画像の撮影距離が遠い順に合成することを特徴とする。
このような、本発明の請求項３に係る画像出力装置では、撮影画像取得手段により取得された撮影画像の中から対象画像抽出手段により対象画像が抽出されると、この抽出された対象画像に応じた対応画像が対応画像取得手段により取得される。すると画像置き換え合成手段により、対象画像抽出手段により抽出された対象画像が対応画像取得手段により取得された対応画像に置き換えられて撮影画像取得手段により取得された撮影画像に合成され、この合成により前記対象画像が前記対応画像に置き換えられて合成された撮影画像が画像出力手段により出力されるので、撮影画像の中から抽出された対象画像をこの対象画像に応じた対応画像に置き換えて合成し出力できることになる。この際、前記撮影画像取得手段により取得された撮影画像に対して、対象画像指定手段により指定された対象画像の位置には前記対応画像取得手段により取得された対応画像を、前記対象画像指定手段により指定された対象画像以外の対象画像候補の位置には該候補の対象画像を、各対象画像の撮影距離が遠い順に適切に合成することができる。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００１２】
図１は本発明の実施形態に係る画像出力装置１０の電子回路の構成を示すブロック図である。
【００１３】
この画像出力装置１０は、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ(central processing unit)１１が備えられる。
【００１４】
ＣＰＵ１１は、メモリ１２内に予め記憶された装置制御プログラム、あるいはＣＤ−ＲＯＭなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれた装置制御プログラム、あるいはインターネットＮ上のＷｅｂサーバ２１（この場合はプログラムサーバ）から電送制御部１５を介して前記メモリ１２に読み込まれた装置制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶された装置制御プログラムは、キーやタッチパネルからなる入力部１６からのユーザ操作に応じた入力信号、あるいは画像入力部１７を介して入力される画像信号、あるいは電送制御部１５を介して接続されるインターネットＮ上の各Ｗｅｂサーバ２１…との通信信号に応じて起動される。
【００１５】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、入力部１６、画像入力部１７が接続される他に、距離センサ１８、ＬＣＤからなる表示部１９、画像出力部２０などが接続される。
【００１６】
画像入力部１７は、撮影画像データを入力するもので、この撮影画像データは、デジタルカメラ１７Ａ、デジタルビデオムービー１７Ｂ、ＶＴＲ（画像再生装置）１７Ｃから選択的に取得される。
【００１７】
距離センサ１８は、前記画像入力部１７において入力される撮影画像の被写体までの距離を検出する。
【００１８】
画像出力部２０は、前記画像入力部１７から入力された撮影画像に基づき本装置により処理された画像データを出力するもので、この出力画像データは、メモリカード２０Ａ、ＶＴＲ（録画装置）２０Ｂ、画像印刷機２０Ｃに選択的に出力され、当該画像の記憶，録画，印刷が行われる。
【００１９】
メモリ１２には、当該画像出力装置１０の全体の動作を司るシステムプログラムや電送制御部１５を介してインターネットＮ上の各Ｗｅｂサーバ２１…とデータ通信するための通信プログラムが記憶される他に、画像入力部１７や画像出力部２０を介して本画像出力装置１０で撮影画像内の対象画像に応じた対応画像の合成出力処理などを行うための画像処理プログラム１２ａなどが記憶される。
【００２０】
また、このメモリ１２には、モデルポーズ画像メモリ１２ｂ、修正モデルポーズ画像メモリ１２ｃ、キャラ１「ウサギ」ポーズ画像メモリ１２ｄ、キャラ２「クマ」ポーズ画像メモリ１２ｅ、キャラ３「ネコ」ポーズ画像メモリ１２ｆが用意され、さらにそのワークエリアには撮影画像メモリ１２ｇや画像処理ワークエリア１２ｈなどが用意される。
【００２１】
図２は前記画像出力装置１０のキャラ１「ウサギ」ポーズ画像メモリ１２ｄ：キャラ２「クマ」ポーズ画像メモリ１２ｅ：キャラ３「ネコ」ポーズ画像メモリ１２ｆにそれぞれ記憶された各種のポーズ（その１）に対応する各キャラクタ画像を示す図である。
【００２２】
図３は前記画像出力装置１０のキャラ１「ウサギ」ポーズ画像メモリ１２ｄ：キャラ２「クマ」ポーズ画像メモリ１２ｅ：キャラ３「ネコ」ポーズ画像メモリ１２ｆにそれぞれ記憶された各種のポーズ（その２）に対応する各キャラクタ画像を示す図である。
【００２３】
図４は前記画像出力装置１０のキャラ１「ウサギ」ポーズ画像メモリ１２ｄ：キャラ２「クマ」ポーズ画像メモリ１２ｅ：キャラ３「ネコ」ポーズ画像メモリ１２ｆにそれぞれ記憶された各種のポーズ（その３）に対応する各キャラクタ画像を示す図である。
【００２４】
このキャラ１「ウサギ」，２「クマ」，３「ネコ」の各ポーズ画像メモリ１２ｄ，１２ｅ，１２ｆに記憶された各キャラクタそれぞれの各種のポーズ画像は、画像入力部１７から入力された撮影画像上の被写体画像（対象画像）のポーズに応じた真似画像として使用されるもので、異なるポーズ毎にそのポーズＮｏ．が対応付けられて記憶される。
【００２５】
図５は前記画像出力装置１０のモデルポーズ画像メモリ１２ｂに記憶されたモデルポーズ（その１）に対応するモデル画像を示す図である。
【００２６】
図６は前記画像出力装置１０のモデルポーズ画像メモリ１２ｂに記憶されたモデルポーズ（その２）に対応するモデル画像を示す図である。
【００２７】
図７は前記画像出力装置１０のモデルポーズ画像メモリ１２ｂに記憶されたモデルポーズ（その３）に対応するモデル画像を示す図である。
【００２８】
このモデルポーズ画像メモリ１２ｂに記憶された各種ポーズのモデル画像は、画像入力部１７から入力された撮影画像上の被写体画像（対象画像）のポーズに応じた類似のモデル画像を取得するために使用されるもので、異なるポーズ毎にそのポーズＮｏ．が対応付けられて記憶され、さらに各ポーズＮｏ．毎に３種のバリエーションＡ，Ｂ，Ｃのモデル画像が記憶される。
【００２９】
そして、前記キャラ１「ウサギ」ポーズ画像メモリ１２ｄ，キャラ２「クマ」ポーズ画像メモリ１２ｅ，キャラ３「ネコ」ポーズ画像メモリ１２ｆにそれぞれ記憶された各キャラクタ画像には、前記モデルポーズ画像メモリ１２ｂに記憶された全てのポーズＮｏ．（Ｎｏ．1A,1B,1C、2A,2B,2C、〜、nA,nB,nC）に対応する同じポーズのキャラクタ画像が用意されて記憶される。
【００３０】
図８は前記画像出力装置１０の修正モデルポーズ画像メモリ１２ｃに記憶される修正モデル画像を示す図であり、同図（Ａ）は標準の被写体画像（対象画像）に合わせて生成記憶されたモデル画像の一例（ポーズＮｏ．1A〜5A）を示す図、同図（Ｂ）は標準外の被写体画像（対象画像）に合わせて修正された修正モデル画像の一例（ポーズＮｏ．1A〜5A）を示す図である。
【００３１】
修正モデルポーズ画像メモリ１２ｃに記憶される修正モデル画像は、まず図８（Ａ）のポーズＮｏ．2Aで示す全身ポーズの標準モデル画像が、図８（Ｂ）で示す標準外の被写体画像（対象画像）に合わせて縦横修正され、ポーズＮｏ．2Aに対応する修正モデル画像として得られるもので、このポーズＮｏ．2Aに対応する修正モデル画像の修正比（修正バランス）に従って他の各ポーズに対応する全ての標準モデル画像が修正され、修正モデルポーズ画像メモリ１２ｃに記憶される。
【００３２】
撮影画像メモリ１２ｇには、画像入力部１７を介して入力された撮影画像データがその撮影画像単位で記憶される。
【００３３】
画像処理ワークエリア１２ｈには、前記画像処理プログラム１２ａに従い処理される画像データがその画像処理に応じて一時記憶される。
【００３４】
このように構成された画像出力装置１０について、その動作概要を説明する。
【００３５】
図９は前記画像出力装置１０による後追い追加モード指定時のキャラクタ画像「クマ」による後追い追加合成状態を示す図である。
【００３６】
図９（Ａ）に示すような撮影画像１２g1から、図９（Ｂ）に示すように被写体画像（対象画像）Ｈが抽出され、後追い追加のキャラクタ画像として「クマ」が指定されると、図９（Ｃ）に示すように被写体画像（対象画像）Ｈのポーズに類似のポーズＮｏ．４「歩く（横）」の「クマ」のキャラクタ画像がキャラ２「クマ」ポーズ画像メモリ１２ｅから読み出される。すると、撮影画像１２g1上の被写体（対象画像）Ｈが一定時間前に存在した位置が当該一連の撮影画像１２g1…上の被写体（対象画像）Ｈの存在位置から認識され、図９（Ｄ）に示すように当該被写体（対象画像）Ｈが一定時間前に存在した位置に前記キャラ２「クマ」ポーズ画像メモリ１２ｅから読み出されたポーズＮｏ．４「歩く（横）」の「クマ」のキャラクタ画像が合成される。
【００３７】
これにより、撮影画像１２g1における被写体（対象画像）Ｈのポーズの真似をした「クマ」のキャラクタ画像が当該被写体（対象画像）Ｈの歩く後を追うような位置に追加合成される。
【００３８】
図１０は前記画像出力装置１０による空きエリア追加モード指定時のキャラクタ画像「ネコ」による空きエリア追加合成状態を示す図である。
【００３９】
図１０（Ａ）に示すような撮影画像１２g2から、図１０（Ｂ）に示すように真似の対象となる被写体画像（対象画像）Ｈ１が指定されて抽出され、空きエリア追加のキャラクタ画像として「ネコ」が指定されると、図１０（Ｃ）に示すように被写体画像（対象画像）Ｈ１のポーズに類似のポーズＮｏ．１０「バンザイ」の「ネコ」のキャラクタ画像がキャラ３「ネコ」ポーズ画像メモリ１２ｆから読み出される。すると、図１０（Ｄ）に示すように撮影画像１２g2上の各被写体（対象画像）Ｈ１，Ｈ２が存在しない空きエリアのランダムな位置に、前記キャラ３「ネコ」ポーズ画像メモリ１２ｆから被写体画像（対象画像）Ｈ１のポーズに応じて読み出されたポーズＮｏ．１０「バンザイ」の「ネコ」のキャラクタ画像が合成される。
【００４０】
これにより、撮影画像１２g2における指定の被写体（対象画像）Ｈ１のポーズの真似をした「ネコ」のキャラクタ画像が当該撮影画像１２g2の空きエリアのランダムな位置に追加合成される。
【００４１】
図１１は前記画像出力装置１０による左右反対位置追加モード指定時のキャラクタ画像「ウサギ」による左右反対位置追加合成状態を示す図である。
【００４２】
図１１（Ａ）に示すように、例えばパートナーとのダンスを予め意識した被写体画像（対象画像）Ｈを撮影した撮影画像１２g3から、図１１（Ｂ）に示すように当該被写体画像（対象画像）Ｈが抽出され、左右反対位置追加のキャラクタ画像として「ウサギ」が指定されると、図１１（Ｃ）に示すように被写体画像（対象画像）Ｈのポーズに類似のポーズＮｏ．１９「ダンス」の「ウサギ」のキャラクタ画像がキャラ１「ウサギ」ポーズ画像メモリ１２ｄから読み出される。すると、このキャラ１「ウサギ」ポーズ画像メモリ１２ｄから読み出された被写体画像（対象画像）Ｈに類似のポーズＮｏ．１９「ダンス」の「ウサギ」のキャラクタ画像が左右反転され、図１１（Ｄ）に示すように撮影画像１２g3上の中心を対称とした被写体（対象画像）Ｈと反転した位置に合成される。
【００４３】
これにより、撮影画像１２g3におけるダンスポーズの被写体（対象画像）Ｈの真似をした「ウサギ」のキャラクタ画像が左右反転され、当該撮影画像１２g3上でダンスポーズをする被写体（対象画像）Ｈと左右対称となる位置にダンスパートナーとして追加合成される。
【００４４】
図１２は前記画像出力装置１０による複数回撮影置き換えモード指定時のキャラクタ画像「ウサギ」による置き換え合成状態を示す図である。
【００４５】
例えば置き換え画像となる「ウサギ」のキャラクタと被写体となる自分がキスをしている画像を作成したい場合には、まず図１２（Ａ）に示すように、キャラクタにさせたいキスのポーズで被写体画像（対象画像）Ｈ１を撮影した１回目の撮影画像１２g4から、図１２（Ｂ）に示すように当該被写体画像（対象画像）Ｈ１が抽出される。そして、置き換えのキャラクタ画像として「ウサギ」が指定されると、図１２（Ｃ）に示すように被写体画像（対象画像）Ｈ１のポーズに類似のポーズＮｏ．２０「キス」の「ウサギ」のキャラクタ画像がキャラ１「ウサギ」ポーズ画像メモリ１２ｄから読み出される。
【００４６】
つぎに図１２（Ｄ）に示すように、前記１回目の被写体画像（対象画像）Ｈ１に応じた相手方ポーズの被写体画像Ｈ２を撮影した２回目の撮影画像１２g4′に対して、図１２（Ｅ）に示すように、前記キャラ１「ウサギ」ポーズ画像メモリ１２ｄから読み出された１回目の被写体画像（対象画像）Ｈ１に類似のポーズＮｏ．２０「キス」の「ウサギ」のキャラクタ画像が合成される。
【００４７】
これにより、１回目の撮影画像１２g4における被写体（対象画像）Ｈ１の真似をした「ウサギ」のキャラクタ画像が、２回目の撮影画像１２g4′において撮影された被写体（対象画像）Ｈ２に合わせて合成される。
【００４８】
図１３は前記画像出力装置１０による被写体選択置き換えモード指定時のキャラクタ画像「ウサギ」による置き換え合成状態を示す図である。
【００４９】
図１３（Ａ）に示すような例えば３人の被写体Ｈ１〜Ｈ３が撮影された撮影画像１２g5から、図１３（Ｂ）に示すように置き換えの対象となる被写体画像（対象画像）Ｈ１が指定されて抽出され、置き換えのキャラクタ画像として「ウサギ」が指定されると、図１３（Ｃ）に示すように被写体画像（対象画像）Ｈ１のポーズに類似のポーズＮｏ．１「はいチーズ（アップ）」の「ウサギ」のキャラクタ画像がキャラ１「ウサギ」ポーズ画像メモリ１２ｄから読み出される。
【００５０】
一方、図１３（Ｄ）（Ｅ）（Ｆ）に示すように、撮影画像１２g5から前記指定された被写体画像（対象画像）Ｈ１を含めた３つの被写体画像Ｈ２，Ｈ３を切り出した撮影背景画像１２g5′が生成される。
【００５１】
すると、図１３（Ｇ）に示すように、前記キャラ１「ウサギ」ポーズ画像メモリ１２ｄから読み出された指定の被写体画像（対象画像）Ｈ１に類似の「ウサギ」のキャラクタ画像と、前記撮影画像１２g5から切り出された残り２つの被写体画像Ｈ２，Ｈ３が、前記撮影背景画像１２g5′に対しその撮影距離が遠い順に各被写体位置に対応して合成される。
【００５２】
これにより、撮影画像１２g5における指定の被写体（対象画像）Ｈ１のポーズの真似をした「ウサギ」のキャラクタ画像が当該指定の被写体（対象画像）Ｈ１と置き換えられて合成される。
【００５３】
次に、前記構成による画像出力装置１０による詳細な画像処理動作について説明する。
【００５４】
図１４は前記画像出力装置１０による画像処理（その１）を示すフローチャートである。
【００５５】
図１５は前記画像出力装置１０による画像処理（その２）を示すフローチャートである。
【００５６】
まず、入力部１６の操作により、撮影画像１２ｇに追加合成または置き換え合成すべきキャラクタの種類（「ウサギ」「クマ」「ネコ」）が指定される（ステップＳ１）。
【００５７】
また、追加合成モードまたは置き換え合成モードが、「１−１：ランダム空きエリア追加モード」「１−２：後追い追加モード」「１−３：左右反対位置追加モード」または「２−１：被写体選択置き換えモード」「２−２：複数回撮影置き換えモード」の何れかから選択されて指定される（ステップＳ２）。
【００５８】
そして、デジタルカメラ１７Ａまたはデジタルビデオムービー１７ＢまたはＶＴＲ（画像再生装置）１７Ｃによる撮影画像１２gnの入力が開始され（ステップＳ３）、この撮影画像１２gnに対して前記指定のキャラクタ画像を合成するためのスタート操作が為されると（ステップＳ４）、図１６における対象画像の抽出処理に移行される（ステップＳＡ）。
【００５９】
図１６は前記画像出力装置１０の画像処理に伴う対象画像抽出処理を示すフローチャートであり、同図（Ａ）はその対象画像抽出処理（方式１）を示すフローチャート、同図（Ｂ）はその対象画像抽出処理（方式２）を示すフローチャートである。
【００６０】
図１６（Ａ）における対象画像抽出処理（方式１）では、前記画像入力部１７を介して所定のタイミングで順次入力される一連の撮影画像１２gn…がワークエリアの撮影画像メモリ１２ｇに対し記憶される（ステップＡ１１）。
【００６１】
すると、この撮影画像メモリ１２ｇに記憶された一連の撮影画像１２gn…のそれぞれから被写体の動きに伴う画像の変化部分が当該各被写体のブロック毎に抽出され（ステップＡ１２）、これにより抽出された各被写体画像Ｈnがそのブロック毎に画像処理ワークエリア１２ｈに保存される（ステップＡ１３）。
【００６２】
図１６（Ｂ）における対象画像抽出処理（方式２）では、前記画像入力部１７を介して入力される撮影画像１２gnの各部分毎に距離センサ１８による距離測定が行われ（ステップＡ２１）、背景画像と被写体画像との距離差に基づき近距離側として判別される各被写体画像Ｈnがそのブロック毎に抽出される（ステップＡ２２）。
【００６３】
これにより抽出された各被写体画像Ｈnがそのブロック毎に画像処理ワークエリア１２ｈに保存される（ステップＡ２３）。
【００６４】
こうして、撮影画像１２gnから当該撮影画像１２gnに含まれる各被写体画像Ｈnがそのブロック毎に抽出されて画像処理ワークエリア１２ｈに保存されると（ステップＳＡ）、例えば図９（Ａ）または図１０（Ａ）または図１１（Ａ）または図１２（Ａ）または図１３（Ａ）で示すように、抽出された各被写体画像Ｈnのそれぞれに囲みマークＭが付加された撮影画像１２gnが表示部１９に表示される（ステップＳ５）。
【００６５】
すると、表示部１９に表示された撮影画像１２gnにおいて、被写体画像Ｈnが複数ブロック存在するか否か判断される（ステップＳ６）。
【００６６】
撮影画像１２gnにおいて被写体画像Ｈnが複数ブロック存在しないと判断された場合には、当該撮影画像１２gnから抽出された１つの被写体画像Ｈnが真似対象画像として設定される（ステップＳ６→Ｓ７ａ）。
【００６７】
また、撮影画像１２gnにおいて被写体画像Ｈnが複数ブロック存在すると判断された場合には、入力部１６によるユーザ操作に応じて複数ブロック存在する被写体画像Ｈn…の中から真似対象画像が指定される（ステップＳ６→Ｓ７ｂ）。
【００６８】
こうして、前記撮影画像１２gnの中から被写体画像Ｈnが抽出され、さらに真似対象となる被写体画像Ｈnが設定されると、図１７における対応アニメ画像取得処理に移行される（ステップＳＢ）。
【００６９】
図１７は前記画像出力装置１０の画像処理に伴う対応アニメ画像取得処理を示すフローチャートであり、同図（Ａ）はその対応アニメ画像取得処理（方式１）を示すフローチャート、同図（Ｂ）はその対応アニメ画像取得処理（方式２）を示すフローチャートである。
【００７０】
図１７（Ａ）における対応アニメ画像取得処理（方式１）では、まず、前記撮影画像１２gnから抽出されて真似対象画像として設定された被写体画像Ｈnと前記指定されたキャラクタの各ポーズのキャラクタ画像との類似度が評価され（ステップＢ１Ｃ）、最も類似度の高いポーズのキャラクタ画像が表示部１９に表示される（ステップＢ１２）。
【００７１】
ここで、入力部１６に対するユーザ操作に応じて前記表示部１９に表示された真似対象画像に最も類似度の高いポーズのキャラクタ画像が選択されると、この選択されたポーズＮｏ．の指定のキャラクタ画像が真似対象画像に対応するアニメ画像として登録される（ステップＢ１３→Ｂ１４）。
【００７２】
一方、前記表示部１９に真似対象画像に最も類似度の高いポーズのキャラクタ画像が表示された状態で、入力部１６に対するユーザ操作に応じて「次表示」が指示されると、当該「次表示」の操作毎に次に類似度の高いポーズのキャラクタ画像が順番に表示される（ステップＢ１３→Ｂ１５）。
【００７３】
そして、所望の類似度のポーズのキャラクタ画像が選択表示され、入力部１６に対するユーザ操作に応じて当該表示されたキャラクタ画像が選択されると、この選択されたポーズＮｏ．の指定のキャラクタ画像が真似対象画像に対応するアニメ画像として登録される（ステップＢ１３→Ｂ１４）。
【００７４】
このように、対応アニメ画像取得処理（方式１）では、撮影画像１２gnから抽出設定された真似対象画像としての被写体画像Ｈnに対し、指定されたキャラクタの各ポーズ毎のキャラクタ画像との類似度が直接評価され、これに基づき被写体画像Ｈnを真似たポーズのキャラクタとして追加または置き換えられる指定のキャラクタ画像が決定される。
【００７５】
図１７（Ｂ）における対応アニメ画像取得処理（方式２）では、まず、前記撮影画像１２gnから抽出されて真似対象画像として設定された被写体画像Ｈnとモデルポーズ画像メモリ１２ｂに記憶されている各ポーズのモデル画像との類似度が評価され（ステップＢ２Ｃ）、最も類似度の高いポーズのモデル画像のポーズＮｏ．に対応する指定のキャラクタ画像が表示部１９に表示される（ステップＢ２２）。
【００７６】
ここで、入力部１６に対するユーザ操作に応じて前記表示部１９に表示された真似対象画像に最も類似度の高いモデルポーズに対応するキャラクタ画像が選択されると、この選択されたポーズＮｏ．の指定のキャラクタ画像が真似対象画像に対応するアニメ画像として登録される（ステップＢ２３→Ｂ２４）。
【００７７】
一方、前記表示部１９に真似対象画像に最も類似度の高いポーズのモデル画像のポーズＮｏ．に対応するキャラクタ画像が表示された状態で、入力部１６に対するユーザ操作に応じて「次表示」が指示されると、当該「次表示」の操作毎に次に類似度の高いモデル画像のポーズＮｏ．に対応する指定のキャラクタ画像が順番に表示される（ステップＢ２３→Ｂ２５）。
【００７８】
そして、所望の類似度のモデルポーズに対応するキャラクタ画像が選択表示され、入力部１６に対するユーザ操作に応じて当該表示されたキャラクタ画像が選択されると、この選択されたポーズＮｏ．の指定のキャラクタ画像が真似対象画像に対応するアニメ画像として登録される（ステップＢ２３→Ｂ２４）。
【００７９】
このように、対応アニメ画像取得処理（方式２）では、撮影画像１２gnから抽出設定された真似対象画像としての被写体画像Ｈnに対し、人物の基本モデルである各ポーズ毎のモデル画像との類似度が評価され、これに基づき被写体画像Ｈnを真似たポーズのキャラクタとして追加または置き換えられる指定のキャラクタ画像が決定される。
【００８０】
この場合、真似対象画像としての被写体画像Ｈnに対し、指定されたキャラクタの各ポーズ毎のキャラクタ画像との類似度を直接評価して追加または置き換えのキャラクタ画像を決定するようにした対応アニメ画像取得処理（方式１）に比較して、各ポーズ毎のモデル画像との類似度を評価し選択されたモデルポーズＮｏ．から追加または置き換えのキャラクタ画像を決定するようにした対応アニメ画像取得処理（方式２）の方が、類似度の評価対象に人物モデルを用いることから被写体画像Ｈnとの高い類似度が得られやすく、より類似性（真似度）の高いキャラクタ画像を取得できる利点がある。
【００８１】
図１８は前記画像出力装置１０の画像処理に伴う対応アニメ画像取得処理（方式１）（方式２）での真似対象画像との類似度評価処理を示すフローチャートである。
【００８２】
対応アニメ画像取得処理（方式１）での類似度評価処理の場合は指定されたキャラクタの各ポーズ毎のキャラクタ画像との類似度を評価し、対応アニメ画像取得処理（方式２）での類似度評価処理の場合は各ポーズ毎のモデル画像との類似度を評価する。
【００８３】
図１９は前記画像出力装置１０の対応アニメ画像取得処理（方式１）での類似度評価処理に伴う指定のキャラクタ画像との類似度評価例を示す図である。
【００８４】
図２０は前記画像出力装置１０の対応アニメ画像取得処理（方式２）での類似度評価処理に伴うモデル画像との類似度評価例（その１）を示す図である。
【００８５】
図２１は前記画像出力装置１０の対応アニメ画像取得処理（方式２）での類似度評価処理に伴うモデル画像との類似度評価例（その２）を示す図である。
【００８６】
まず、類似度評価処理（方式１）の場合、例えば図１９（Ａ）に示すように、指定のキャラクタにおける先頭のポーズＮｏ．のキャラクタ画像が読み出され（ステップＣ１）、同図（Ｘ）で示す真似対象画像Ｈ１との縦・横のサイズが合わされる（ステップＣ２）。
【００８７】
すると、前記真似対象画像Ｈ１と縦横サイズの合わされたキャラクタ画像との重ね合わせ評価が行われ、その評価値（％）が算出されて当該ポーズのキャラクタ画像との類似度として記憶される（ステップＣ３）。
【００８８】
ここで、今回の類似度評価対象のポーズＮｏ．のキャラクタ画像が左右非対称の画像であるか否か判断され（ステップＣ４）、当該ポーズのキャラクタ画像が左右非対称の画像ではないと判断された場合には（ステップＣ４「Ｎｏ」）、例えば図１９（Ｂ）、図１９（Ｃ）に示すように、順次、次のポーズＮｏ．の指定のキャラクタ画像との間でサイズ合わせ処理と重ね合わせ評価値の算出処理とによる類似度の算出，記憶処理が繰り返される（ステップＣ８→Ｃ９→Ｃ２〜Ｃ４）。
【００８９】
一方、今回の類似度評価対象のポーズＮｏ．のキャラクタ画像が左右非対称のキャラクタ画像であると判断された場合には、当該ポーズのキャラクタ画像が左右反転され（ステップＣ４→Ｃ５）、この反転されたキャラクタ画像について真似対象画像との縦・横のサイズが合わされる（ステップＣ６）。
【００９０】
すると、前記真似対象画像と縦横サイズの合わされた反転キャラクタ画像との重ね合わせ評価が行われ、その評価値（％）が算出されて当該ポーズの反転キャラクタ画像との類似度として記憶される（ステップＣ７）。
【００９１】
この後、指定のキャラクタにおける次のポーズＮｏ．のキャラクタ画像がある場合には（ステップＣ８）、当該次のポーズＮｏ．のキャラクタ画像が順次読み出され（ステップＣ９）、前記同様に真似対象画像と各ポーズ毎の指定のキャラクタ画像との類似度評価処理が繰り返される（ステップＣ２〜Ｃ７）。
【００９２】
これにより、例えば図１９で示したように、被写体画像（対象画像）Ｈ１に対して「ウサギ」のキャラクタ画像との類似度評価を行った場合には、ポーズＮｏ．1Aに対応する「ウサギ」のキャラクタ画像１２ｄ(1A)が最も類似度の高いキャラクタ画像として評価される。
【００９３】
次に、類似度評価処理（方式２）の場合、例えば図２０（Ａ）または図２１（Ａ）に示すように、先頭のポーズＮｏ．のモデル画像が読み出され（ステップＣ１）、同図（Ｘ）で示す真似対象画像Ｈ１またはＨとの縦・横のサイズが合わされる（ステップＣ２）。
【００９４】
すると、前記真似対象画像Ｈ１またはＨと縦横サイズの合わされたモデル画像との重ね合わせ評価が行われ、その評価値（％）が算出されて当該ポーズのモデル画像との類似度として記憶される（ステップＣ３）。
【００９５】
ここで、今回の類似度評価対象のポーズＮｏ．のモデル画像が左右非対称の画像であるか否か判断され（ステップＣ４）、例えば図２０（Ａ）または図２１（Ａ）で示すように、当該ポーズのモデル画像１２ｂ(1A)が左右非対称の画像ではないと判断された場合には（ステップＣ４「Ｎｏ」）、次のポーズＮｏ．のモデル画像が読み出され（ステップＣ８→Ｃ９）、前記同様に真似対象画像Ｈ１またはＨと次のポーズのモデル画像との類似度評価処理が繰り返される（ステップＣ２〜Ｃ４）。
【００９６】
一方、例えば図２０（Ｂ）または図２１（Ｂ）で示すように、今回の類似度評価対象のポーズＮｏ．1B，4Bのモデル画像１２ｂ(1B)，１２ｂ(4B)が左右非対称のモデル画像であると判断された場合には、当該ポーズ1B，4Bのモデル画像が左右反転され（ステップＣ４→Ｃ５）、図２０（Ｃ）または図２１（Ｃ）で示すように、この反転されたモデル画像１２ｂ(1B)R，１２ｂ(4B)Rについて真似対象画像Ｈ１，Ｈとの縦・横のサイズが合わされる（ステップＣ６）。
【００９７】
すると、前記真似対象画像Ｈ１，Ｈと縦横サイズの合わされた反転モデル画像１２ｂ(1B)R，１２ｂ(4B)Rとの重ね合わせ評価が行われ、その評価値（％）が算出されて当該ポーズの反転モデル画像１２ｂ(1B)R，１２ｂ(4B)Rとの類似度として記憶される（ステップＣ７）。
【００９８】
この後、次のポーズＮｏ．のモデル画像がある場合には（ステップＣ８）、当該次のポーズＮｏ．のモデル画像が順次読み出され（ステップＣ９）、前記同様に真似対象画像と各ポーズ毎のモデル画像との類似度評価処理が繰り返される（ステップＣ２〜Ｃ７）。
【００９９】
これにより、例えば図２０で示したように、被写体画像（対象画像）Ｈ１に対してモデル画像との類似度評価を行った場合には、ポーズＮｏ．1Bに対応するモデル画像１２ｂ(1B)が最も類似度の高いポーズのモデル画像として評価され、また、例えば図２１で示したように、被写体画像（対象画像）Ｈに対してモデル画像との類似度評価を行った場合には、ポーズＮｏ．4BRに対応するモデル画像１２ｂ(4B)Rが最も類似度の高いポーズのモデル画像として評価される。
【０１００】
このように、前記図１７〜図２１を参照して説明した対応アニメ画像取得処理（ステップＳＢ）によって、撮影画像１２gnから抽出設定された真似対象画像としての被写体画像Ｈnを真似たポーズの指定のキャラクタ画像が決定されると、指定された画像の合成モードが「追加合成モード」であるか又はそうではない「置き換え合成モード」であるかが判断される（ステップＳ８）。
【０１０１】
ここで、指定された画像の合成モードが「追加合成モード」で、「１−１：ランダム空きエリア追加モード」であると判断された場合には（ステップＳ８→Ｓ９「１−１」）、例えば図１０で示したように、撮影画像１２g2において抽出された被写体ブロックＭ以外の空きエリアのランダムな位置に、前記対応アニメ画像取得処理（図１７参照）により取得された真似対象の被写体画像Ｈ１のポーズ「バンザイ」の真似をした「ネコ」のキャラクタ画像１２ｆ(10)が追加合成されて表示される（ステップＳ１１ａ）。
【０１０２】
この際、前記撮影画像１２g2上の空きエリアのランダム位置に追加合成表示された「ネコ」のキャラクタ画像１２ｆ(10)について、当該合成位置のマニュアルによる移動操作が為されると（ステップＳ１６→Ｓ１７）、この移動操作後の位置で合成し直されて再表示される（ステップＳ１８）。
【０１０３】
すると、このランダム空きエリア追加モードに応じて作成され、図１０（Ｄ）で示したように、指定の被写体画像Ｈ１のポーズを真似た「ネコ」のキャラクタ画像が空きエリアのランダム位置に合成されてなる画像データが、画像出力部２０から出力され（ステップＳ１９）、メモリカード２０Ａによる記録、またはＶＴＲ（録画装置）２０Ｂによる記録、または画像印刷機２０Ｃによる印刷が適宜行われる。
【０１０４】
また、指定された画像の合成モードが「追加合成モード」で、「１−２：後追い追加モード」であると判断された場合には（ステップＳ８→Ｓ９「１−２」）、例えば図９で示したように、前記対応アニメ画像取得処理（図１７参照）により取得された、撮影画像１２g1における被写体（対象画像）Ｈのポーズ「歩く」の真似をした「クマ」の反転キャラクタ画像１２ｅ(4A)Rが当該被写体（対象画像）Ｈの歩く後を追うような位置、つまり当該一連の撮影画像１２g1…のうちの被写体（対象画像）Ｈが存在する一定時間前の位置に追加合成されて表示される（ステップＳ１１ｂ）。
【０１０５】
この際、前記撮影画像１２g1上の被写体（対象画像）Ｈの後追い位置に追加合成表示された「クマ」のキャラクタ画像１２ｅ(4A)Rについて、当該合成位置のマニュアルによる移動操作が為されると（ステップＳ１６→Ｓ１７）、この移動操作後の位置で合成し直されて再表示される（ステップＳ１８）。
【０１０６】
すると、この後追い追加モードに応じて作成され、図９（Ｄ）で示したように、被写体画像Ｈのポーズを真似た「クマ」のキャラクタ画像が当該被写体画像Ｈの後追い位置に合成されてなる画像データが、画像出力部２０から出力され（ステップＳ１９）、メモリカード２０Ａによる記録、またはＶＴＲ（録画装置）２０Ｂによる記録、または画像印刷機２０Ｃによる印刷が適宜行われる。
【０１０７】
また、指定された画像の合成モードが「追加合成モード」で、「１−３：左右反対位置追加モード」であると判断された場合には（ステップＳ８→Ｓ９「１−３」）、例えば図１１で示したように、前記対応アニメ画像取得処理（図１７参照）により取得された、撮影画像１２g3におけるダンスポーズの被写体（対象画像）Ｈの真似をした「ウサギ」のキャラクタ画像１２ｄ(19A)が左右反転され、当該撮影画像１２g3上でダンスポーズをする被写体（対象画像）Ｈと左右対称となる位置に追加合成されて表示される（ステップＳ１１ｃ）。
【０１０８】
この際、前記撮影画像１２g3上の被写体（対象画像）Ｈの左右反対位置に追加合成表示された「ウサギ」の反転キャラクタ画像１２ｄ(19A)Rについて、当該合成位置のマニュアルによる移動操作が為されると（ステップＳ１６→Ｓ１７）、この移動操作後の位置で合成し直されて再表示される（ステップＳ１８）。
【０１０９】
すると、この左右反対位置追加モードに応じて作成され、図１１（Ｄ）で示したように、被写体画像Ｈのダンスポーズを真似た「ウサギ」のキャラクタ画像が当該被写体画像Ｈの左右反対位置に反転合成されてなる画像データが、画像出力部２０から出力され（ステップＳ１９）、メモリカード２０Ａによる記録、またはＶＴＲ（録画装置）２０Ｂによる記録、または画像印刷機２０Ｃによる印刷が適宜行われる。
【０１１０】
一方、指定された画像の合成モードが「置き換え合成モード」で、「２−１：被写体選択置き換えモード」であると判断された場合には（ステップＳ８→Ｓ１０「２−１」）、例えば図１３で示したように、前記対応アニメ画像取得処理（図１７参照）により取得された、撮影画像１２g5において指定された真似対象画像である被写体Ｈ１のポーズの真似をした「ウサギ」のキャラクタ画像１２ｄ(1A)が当該指定の被写体（対象画像）Ｈ１と置き換えられて合成表示される。
【０１１１】
この場合、撮影画像１２g5から前記指定された被写体画像（対象画像）Ｈ１を含めた３つの被写体画像Ｈ２，Ｈ３を切り出した撮影背景画像１２g5′が生成される。そして、前記指定の被写体画像（対象画像）Ｈ１に類似の「ウサギ」のキャラクタ画像１２ｄ(1A)と、前記撮影画像１２g5から切り出された残り２つの被写体画像Ｈ２，Ｈ３とは、前記撮影背景画像１２g5′に対しその撮影時に距離センサ１８により検出された撮影距離が遠い順に各被写体位置に対応して合成される。
【０１１２】
なお、前記被写体画像Ｈ１，Ｈ２，Ｈ３を切り出した背景画像１２g5′の生成をせずに、撮影画像１２g5に対して、前記指定の被写体画像（対象画像）Ｈ１に類似の「ウサギ」のキャラクタ画像１２ｄ(1A)と、残り２つの被写体画像Ｈ２，Ｈ３とを、その撮影時に距離センサ１８により検出された撮影距離が遠い順に各被写体位置に重ねて合成してもよい。
【０１１３】
この際、前記撮影画像１２g5上の被写体（対象画像）Ｈ１と置き換えられて合成表示された「ウサギ」のキャラクタ画像１２ｄ(1A)について、当該合成位置のマニュアルによる移動操作が為されると（ステップＳ１６→Ｓ１７）、この移動操作後の位置で合成し直されて再表示される（ステップＳ１８）。
【０１１４】
すると、この被写体選択置き換えモードに応じて作成され、図１３（Ｇ）で示したように、被写体画像Ｈ１のはいチーズのポーズを真似た「ウサギ」のキャラクタ画像が当該被写体画像Ｈ１と置き換えられて合成されてなる画像データが、画像出力部２０から出力され（ステップＳ１９）、メモリカード２０Ａによる記録、またはＶＴＲ（録画装置）２０Ｂによる記録、または画像印刷機２０Ｃによる印刷が適宜行われる。
【０１１５】
また、例えば図１２に示すように、指定された画像の合成モードが「置き換え合成モード」で、「２−２：複数回撮影置き換えモード」であると判断された場合には（ステップＳ８→Ｓ１０「２−２」）、例えば図１２で示したように、１回目の撮影画像１２g4における被写体（対象画像）Ｈ１の位置が真似画像の置き換え位置として記憶される（ステップＳ１０→Ｓ１３）。
【０１１６】
そして、２回目の撮影画像１２g4′が取得されると（ステップＳ１４）、この２回目の撮影画像１２g4′における前記記憶された１回目撮影時の被写体（対象画像）Ｈ１の位置に対して前記対応アニメ画像取得処理（図１７参照）により取得された同被写体Ｈ１の真似をした「ウサギ」のキャラクタ画像１２ｄ(20A)が、２回目の撮影画像１２g4′において撮影された被写体Ｈ２と組み合わされて合成表示される（ステップＳ１５）。
【０１１７】
この際、前記１回目の撮影画像１２g4上の被写体（対象画像）Ｈ１と置き換えられて２回目の撮影画像１２ｄg4′に合成表示された「ウサギ」のキャラクタ画像１２ｄ(20A)について、当該合成位置のマニュアルによる移動操作が為されると（ステップＳ１６→Ｓ１７）、この移動操作後の位置で合成し直されて再表示される（ステップＳ１８）。
【０１１８】
すると、この複数回撮影置き換えモードに応じて作成され、図１２（Ｆ）で示したように、１回目撮影の被写体画像Ｈ１のキスのポーズを真似た「ウサギ」のキャラクタ画像が２回目の撮影画像１２g4′の被写体画像Ｈ２と組み合わされて合成されてなる画像データが、画像出力部２０から出力され（ステップＳ１９）、メモリカード２０Ａによる記録、またはＶＴＲ（録画装置）２０Ｂによる記録、または画像印刷機２０Ｃによる印刷が適宜行われる。
【０１１９】
したがって、前記構成の画像出力装置１０による画像処理機能によれば、画像入力部１７を介して入力された撮影画像の中から被写体画像が抽出されると、この抽出された被写体画像に対応するポーズの任意指定種のキャラクタ画像がキャラ１「ウサギ」ポーズ画像メモリ１２ｄ，キャラ２「クマ」ポーズ画像メモリ１２ｅ，キャラ３「ネコ」ポーズ画像メモリ１２ｆから取得され、前記撮影画像における被写体画像との置き換え又は追加によって合成され表示されるので、単に撮影フレーム内に固定的なアニメ画像を追加合成するのではなく、被写体のポーズを真似たアニメ画像を置き換えあるいは追加合成することによって非常に楽しいアニメ付の撮影画像を容易に作成することができる。
【０１２０】
次に、この画像出力装置１０によるモデル画像の修正機能について説明する。
【０１２１】
このモデル画像の修正機能では、モデルポーズ画像メモリ１２ｂに記憶されている標準の被写体画像（対象画像）に合わせた各ポーズのモデル画像を、標準外の被写体画像（対象画像）に合わせて修正した修正モデル画像として修正モデルポーズ画像メモリ１２ｃに記憶させる。そして、前記対応アニメ画像取得処理（方式２）では、この修正モデルポーズ画像メモリ１２ｃに修正記憶した修正モデル画像を使って真似対象画像としての被写体画像との類似性を評価してそのポーズに対応する指定のキャラクタ画像を得ることで、あらゆる体型の被写体画像に類似のポーズのキャラクタ画像を容易に得ることができる。
【０１２２】
図２２は前記画像出力装置１０によるモデルポーズの修正処理を示すフローチャートである。
【０１２３】
画像入力部１７を介して、例えば図８（Ｂ）で示した標準外体型のユーザの全身直立姿勢を撮影した撮影画像が入力されると（ステップＤ１）、前記図１６における対象画像抽出処理（方式１又は方式２）に従い当該撮影画像の中からユーザを被写体とする画像が抽出され（ステップＤＡ）、モデルポーズ画像メモリ１２ｂに記憶されている標準全身ポーズのモデル画像１２ｂ(2A)と比較される（ステップＤ２）。
【０１２４】
すると、このモデルポーズ画像メモリ１２ｂに記憶されている標準全身ポーズのモデル画像１２ｂ(2A)が前記撮影画像から抽出された被写体画像に合わせて、その全身サイズと顔サイズのバランスが修正され（ステップＤ３）、さらに、身長と幅のバランスが修正される（ステップＤ４）。
【０１２５】
すると、前記被写体画像に合わせて標準全身ポーズのモデル画像１２ｂ(2A)を修正したその修正バランスに対応させて、前記モデルポーズ画像メモリ１２ｂに記憶されている他の全てのポーズのモデル画像も修正され、この修正後の各ポーズの修正モデル画像がそれぞれ修正モデルポーズ画像メモリ１２ｃに登録される（ステップＤ５）。
【０１２６】
したがって、このように修正モデルポーズ画像メモリ１２ｃに修正記憶した修正モデル画像を使って真似対象画像としての被写体画像との類似性を評価してそのポーズに対応する指定のキャラクタ画像を得ることで、あらゆる体型の被写体画像に類似のポーズのキャラクタ画像を容易に得ることができ、真似対象となる被写体画像により類似したポーズのキャラクタ画像によって撮影画像への追加合成や被写体画像との置き換え合成を行うことができる。
【０１２７】
なお、前記実施形態では、撮影画像から抽出された被写体に対応するポーズのキャラクタ画像を選択的に取得して、この取得されたキャラクタのアニメ画像を追加又は置き換え合成して出力する構成としたが、実写による様々な表情の顔画像や人物画像を予め記憶させておき、この実写による顔画像や人物画像を撮影画像から抽出された被写体に対応する真似画像として追加又は置き換え合成して出力する構成としてもよい。
【０１２８】
本発明は、デジタルカメラに内蔵して好適に実施することができる。液晶表示付のデジタルカメラで実施した場合、画像を撮影してその場で合成画像を確認することができる。
【０１２９】
また、前記実施形態では、撮影画像が静止画である場合について説明したが、画像入力部１７を介して例えばデジタルビデオムービー１７Ｂにより撮影入力される動画像から、当該動画像内の背景画像に対して時系列的に変化する被写体画像を順次抽出し、この順次抽出される被写体画像にそれぞれ対応するポーズのキャラクタ画像を選択的に取得して、前記撮影動画像内に追加または被写体と置き換え合成して動画出力する構成としてもよい。
【０１３０】
さらに、前記実施形態における画像処理機能を応用し、ゲームなどの動画像から任意指定されて抽出される登場キャラクタの画像を真似対象画像として、予め用意した所望のキャラクタ画像や実写による人物画像と置き換えて表示する構成としてもよい。
【０１３１】
なお、前記実施形態において記載した画像出力装置１０による各処理の手法、すなわち、図１４，図１５のフローチャートに示す画像処理、図１６のフローチャートに示す当該画像処理に伴う対象画像抽出処理、図１７のフローチャートに示す当該画像処理に伴う対応アニメ画像取得処理、図１８のフローチャートに示す当該対応アニメ画像取得処理に伴う真似対象画像との類似度評価処理、図２２のフローチャートに示すモデルポーズの修正処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した画像処理機能を実現し、前述した手法による同様の処理を実行することができる。
【０１３２】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した画像処理機能を実現することもできる。
【０１３３】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０１３４】
【発明の効果】
以上のように、本発明の請求項１に係る画像出力装置によれば、撮影画像取得手段により取得された撮影画像の中から対象画像抽出手段により対象画像が抽出されると、この抽出された対象画像に応じた対応画像が対応画像取得手段により取得される。すると画像置き換え合成手段により、対象画像抽出手段により抽出された対象画像が対応画像取得手段により取得された対応画像に置き換えられて撮影画像取得手段により取得された撮影画像に合成され、この合成により前記対象画像が前記対応画像に置き換えられて合成された撮影画像が画像出力手段により出力されるので、撮影画像の中から抽出された対象画像をこの対象画像に応じた対応画像に置き換えて合成し出力できるようになる。この際、前記対象画像抽出手段は、撮影画像取得手段により取得される撮影画像の各部分までの距離を測定する距離測定手段を有し、この距離測定手段により測定された撮影画像の各部分までの距離に応じて適切に対象画像を抽出することができる。
【０１３５】
また、本発明の請求項２に係る画像出力装置によれば、撮影画像取得手段により取得された撮影画像の中から対象画像抽出手段により対象画像が抽出されると、この抽出された対象画像に応じた対応画像が対応画像取得手段により取得される。すると、画像追加合成手段により、対応画像取得手段により取得された対応画像が撮影画像取得手段により取得された撮影画像に追加して合成され、この合成により前記対応画像が追加されて合成された撮影画像が画像出力手段により出力されるので、撮影画像の中から抽出された対象画像をこの対象画像に応じた対応画像として追加して合成し出力できるようになる。この際、前記対象画像抽出手段は、撮影画像取得手段により取得される撮影画像の各部分までの距離を測定する距離測定手段を有し、この距離測定手段により測定された撮影画像の各部分までの距離に応じて適切に対象画像を抽出することができる。
また、本発明の請求項３に係る画像出力装置によれば、撮影画像取得手段により取得された撮影画像の中から対象画像抽出手段により対象画像が抽出されると、この抽出された対象画像に応じた対応画像が対応画像取得手段により取得される。すると画像置き換え合成手段により、対象画像抽出手段により抽出された対象画像が対応画像取得手段により取得された対応画像に置き換えられて撮影画像取得手段により取得された撮影画像に合成され、この合成により前記対象画像が前記対応画像に置き換えられて合成された撮影画像が画像出力手段により出力されるので、撮影画像の中から抽出された対象画像をこの対象画像に応じた対応画像に置き換えて合成し出力できることになる。この際、前記撮影画像取得手段により取得された撮影画像に対して、対象画像指定手段により指定された対象画像の位置には前記対応画像取得手段により取得された対応画像を、前記対象画像指定手段により指定された対象画像以外の対象画像候補の位置には該候補の対象画像を、各対象画像の撮影距離が遠い順に適切に合成することができる。
【０１３６】
よって、撮影画像に対して単に固定的なアニメ画像を合成して出力するだけでなく、撮影画像に応じたアニメ画像を合成して出力することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像出力装置１０の電子回路の構成を示すブロック図。
【図２】前記画像出力装置１０のキャラ１「ウサギ」ポーズ画像メモリ１２ｄ：キャラ２「クマ」ポーズ画像メモリ１２ｅ：キャラ３「ネコ」ポーズ画像メモリ１２ｆにそれぞれ記憶された各種のポーズ（その１）に対応する各キャラクタ画像を示す図。
【図３】前記画像出力装置１０のキャラ１「ウサギ」ポーズ画像メモリ１２ｄ：キャラ２「クマ」ポーズ画像メモリ１２ｅ：キャラ３「ネコ」ポーズ画像メモリ１２ｆにそれぞれ記憶された各種のポーズ（その２）に対応する各キャラクタ画像を示す図。
【図４】前記画像出力装置１０のキャラ１「ウサギ」ポーズ画像メモリ１２ｄ：キャラ２「クマ」ポーズ画像メモリ１２ｅ：キャラ３「ネコ」ポーズ画像メモリ１２ｆにそれぞれ記憶された各種のポーズ（その３）に対応する各キャラクタ画像を示す図。
【図５】前記画像出力装置１０のモデルポーズ画像メモリ１２ｂに記憶されたモデルポーズ（その１）に対応するモデル画像を示す図。
【図６】前記画像出力装置１０のモデルポーズ画像メモリ１２ｂに記憶されたモデルポーズ（その２）に対応するモデル画像を示す図。
【図７】前記画像出力装置１０のモデルポーズ画像メモリ１２ｂに記憶されたモデルポーズ（その３）に対応するモデル画像を示す図。
【図８】前記画像出力装置１０の修正モデルポーズ画像メモリ１２ｃに記憶される修正モデル画像を示す図であり、同図（Ａ）は標準の被写体画像（対象画像）に合わせて生成記憶されたモデル画像の一例（ポーズＮｏ．1A〜5A）を示す図、同図（Ｂ）は標準外の被写体画像（対象画像）に合わせて修正された修正モデル画像の一例（ポーズＮｏ．1A〜5A）を示す図。
【図９】前記画像出力装置１０による後追い追加モード指定時のキャラクタ画像「クマ」による後追い追加合成状態を示す図。
【図１０】前記画像出力装置１０による空きエリア追加モード指定時のキャラクタ画像「ネコ」による空きエリア追加合成状態を示す図。
【図１１】前記画像出力装置１０による左右反対位置追加モード指定時のキャラクタ画像「ウサギ」による左右反対位置追加合成状態を示す図。
【図１２】前記画像出力装置１０による複数回撮影置き換えモード指定時のキャラクタ画像「ウサギ」による置き換え合成状態を示す図。
【図１３】前記画像出力装置１０による被写体選択置き換えモード指定時のキャラクタ画像「ウサギ」による置き換え合成状態を示す図。
【図１４】前記画像出力装置１０による画像処理（その１）を示すフローチャート。
【図１５】前記画像出力装置１０による画像処理（その２）を示すフローチャート。
【図１６】前記画像出力装置１０の画像処理に伴う対象画像抽出処理を示すフローチャートであり、同図（Ａ）はその対象画像抽出処理（方式１）を示すフローチャート、同図（Ｂ）はその対象画像抽出処理（方式２）を示すフローチャート。
【図１７】前記画像出力装置１０の画像処理に伴う対応アニメ画像取得処理を示すフローチャートであり、同図（Ａ）はその対応アニメ画像取得処理（方式１）を示すフローチャート、同図（Ｂ）はその対応アニメ画像取得処理（方式２）を示すフローチャート。
【図１８】前記画像出力装置１０の画像処理に伴う対応アニメ画像取得処理（方式１）（方式２）での真似対象画像との類似度評価処理を示すフローチャート。
【図１９】前記画像出力装置１０の対応アニメ画像取得処理（方式１）での類似度評価処理に伴う指定のキャラクタ画像との類似度評価例を示す図。
【図２０】前記画像出力装置１０の対応アニメ画像取得処理（方式２）での類似度評価処理に伴うモデル画像との類似度評価例（その１）を示す図。
【図２１】前記画像出力装置１０の対応アニメ画像取得処理（方式２）での類似度評価処理に伴うモデル画像との類似度評価例（その２）を示す図。
【図２２】前記画像出力装置１０によるモデルポーズの修正処理を示すフローチャート。
【符号の説明】
１０ …画像出力装置
１１ …ＣＰＵ
１２ …メモリ
１２ａ…画像処理プログラム
１２ｂ…モデルポーズ画像メモリ
１２ｃ…修正モデルポーズ画像メモリ
１２ｄ…キャラ１「ウサギ」ポーズ画像メモリ
１２ｅ…キャラ２「クマ」ポーズ画像メモリ
１２ｆ…キャラ３「ネコ」ポーズ画像メモリ
１２ｇ…撮影画像メモリ
１２ｈ…画像処理ワークエリア
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …入力部
１７ …画像入力部
１７Ａ…デジタルカメラ
１７Ｂ…デジタルビデオムービー
１７Ｃ…ＶＴＲ（画像再生装置）
１８ …距離センサ
１９ …表示部
２０ …画像出力部
２０Ａ…メモリカード
２０Ｂ…ＶＴＲ（録画装置）
２０Ｃ…画像印刷機
２１ …Ｗｅｂサーバ
Ｎ …通信ネットワーク（インターネット）

Claims (23)

1. 撮影画像を取得する撮影画像取得手段と、
   この撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段と、
   この対象画像抽出手段により抽出された対象画像に応じた対応画像を取得する対応画像取得手段と、
   前記対象画像抽出手段により抽出された対象画像を前記対応画像取得手段により取得された対応画像に置き換えて前記撮影画像取得手段により取得された撮影画像に合成する画像置き換え合成手段と、
   この画像置き換え合成手段により前記対象画像が前記対応画像に置き換えられて合成された撮影画像を出力する画像出力手段と、
   を備え、
   前記対象画像抽出手段は、
   前記撮影画像取得手段により取得される撮影画像の各部分までの距離を測定する距離測定手段を有し、
   この距離測定手段により測定された撮影画像の各部分までの距離に応じて対象画像を抽出することを特徴とする画像出力装置。
2. 撮影画像を取得する撮影画像取得手段と、
   この撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段と、
   この対象画像抽出手段により抽出された対象画像に応じた対応画像を取得する対応画像取得手段と、
   この対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像に追加して合成する画像追加合成手段と、
   この画像追加合成手段により前記対応画像が追加されて合成された撮影画像を出力する画像出力手段と、
   を備え、
   前記対象画像抽出手段は、
   前記撮影画像取得手段により取得される撮影画像の各部分までの距離を測定する距離測定手段を有し、
   この距離測定手段により測定された撮影画像の各部分までの距離に応じて対象画像を抽出することを特徴とする画像出力装置。
3. 撮影画像を取得する撮影画像取得手段と、
   この撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段と、
   この対象画像抽出手段により抽出された対象画像に応じた対応画像を取得する対応画像取得手段と、
   前記対象画像抽出手段により抽出された対象画像を前記対応画像取得手段により取得された対応画像に置き換えて前記撮影画像取得手段により取得された撮影画像に合成する画像置き換え合成手段と、
   この画像置き換え合成手段により前記対象画像が前記対応画像に置き換えられて合成された撮影画像を出力する画像出力手段と、
   を備え、
   前記画像置き換え合成手段は、
   前記対象画像抽出手段により複数の対象画像の候補が抽出された場合に、１つの対象画像を指定する対象画像指定手段を有し、
   前記撮影画像取得手段により取得された撮影画像に対して、前記対象画像指定手段により指定された対象画像の位置には前記対応画像取得手段により取得された対応画像を、前記対象画像指定手段により指定された対象画像以外の対象画像候補の位置には該候補の対象画像を、各対象画像の撮影距離が遠い順に合成することを特徴とする画像出力装置。
4. 前記対応画像取得手段は、
   複数の対応画像を記憶する対応画像記憶手段と、
   前記対象画像抽出手段により抽出された対象画像と前記対応画像記憶手段により記憶された各対応画像との類似度を評価する類似度評価手段とを有し、
   この類似度評価手段により評価された対象画像と各対応画像との類似度に応じて当該対象画像に応じた対応画像を取得することを特徴とする請求項１又は請求項２に記載の画像出力装置。
5. 前記対応画像取得手段は、
   複数のモデル画像と複数の対応画像とを対応付けて記憶する対応画像記憶手段と、
   前記対象画像抽出手段により抽出された対象画像と前記対応画像記憶手段により記憶された各モデル画像との類似度を評価する類似度評価手段とを有し、
   この類似度評価手段により評価された対象画像と各モデル画像との類似度に応じて当該対象画像に応じたモデル画像に対応付けられて前記対応画像記憶手段により記憶された対応画像を取得することを特徴とする請求項１又は請求項２に記載の画像出力装置。
6. 前記対応画像取得手段は、
   異なる種類毎に複数の対応画像を記憶する対応画像記憶手段と、
   この対応画像記憶手段により記憶された対応画像の種類を指定する種類指定手段と、
   前記対象画像抽出手段により抽出された対象画像と前記対応画像記憶手段により記憶され前記種類指定手段により指定された種類の各対応画像との類似度を評価する類似度評価手段とを有し、
   この類似度評価手段により評価された対象画像と指定の種類の各対応画像との類似度に応じて当該対象画像に応じた指定の種類の対応画像を取得することを特徴とする請求項１又は請求項２に記載の画像出力装置。
7. 前記対応画像取得手段は、
   複数のモデル画像と、異なる種類毎の複数の対応画像とを対応付けて記憶する対応画像記憶手段と、
   この対応画像記憶手段により記憶された対応画像の種類を指定する種類指定手段と、
   前記対象画像抽出手段により抽出された対象画像と前記対応画像記憶手段により記憶された各モデル画像との類似度を評価する類似度評価手段とを有し、
   この類似度評価手段により評価された対象画像と各モデル画像との類似度に応じて当該対象画像に応じたモデル画像に対応付けられて前記対応画像記憶手段により記憶された前記種類指定手段により指定された種類の対応画像を取得することを特徴とする請求項１又は請求項２に記載の画像出力装置。
8. さらに、
   前記対応画像記憶手段により記憶された複数のモデル画像を前記対象画像抽出手段により抽出された対象画像の縦及び横のバランスに合わせて修正するモデル画像修正手段を備え、
   前記類似度評価手段は、前記対象画像抽出手段により抽出された対象画像と前記モデル画像修正手段により修正された各モデル画像との類似度を評価することを特徴とする請求項５または請求項７に記載の画像出力装置。
9. 前記画像追加合成手段は、前記対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像上の前記対象画像抽出手段により抽出される対象画像とは別の位置に重ねて合成することを特徴とする請求項２に記載の画像出力装置。
10. さらに、
    前記合成手段により撮影画像上に合成された対応画像の位置の移動を指定する移動指定手段と、
    この移動指定手段による移動の指定に応じて前記撮影画像上に合成された対応画像の位置を移動させて合成する対応画像移動合成手段とを備え、
    前記画像出力手段は、前記対応画像移動合成手段により対応画像が移動されて合成された撮影画像を出力することを特徴とする請求項１又は請求項２に記載の画像出力装置。
11. 前記画像追加合成手段は、
    前記対応画像取得手段により取得された対応画像を、前記対応画像取得手段により取得された一連の複数の撮影画像のうちの最新の撮影画像に対し、前記対象画像抽出手段により古い撮影画像の中から抽出される対象画像の位置に重ねて合成することを特徴とする請求項２に記載の画像出力装置。
12. 前記画像追加合成手段は、前記対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像上の前記対象画像抽出手段により抽出される対象画像と左右反転の位置に重ねて合成することを特徴とする請求項２に記載の画像出力装置。
13. 前記画像置き換え合成手段は、
    前記対象画像抽出手段により複数の対象画像の候補が抽出された場合に、１つの対象画像を指定する対象画像指定手段を有し、
    この対象画像指定手段により指定された対象画像を前記対応画像取得手段により取得された対応画像に置き換えて前記撮影画像取得手段により取得された撮影画像に合成することを特徴とする請求項１に記載の画像出力装置。
14. 前記対象画像抽出手段は、前記撮影画像取得手段により取得された第１の撮影画像の中から対象画像を抽出し、
    前記画像置き換え合成手段は、前記撮影画像取得手段により取得された第２の撮影画像に対して、前記対応画像取得手段により取得された対応画像を合成することを特徴とする請求項１に記載の画像出力装置。
15. 前記撮影画像取得手段は、撮影手段を有し、この撮影手段により撮影された撮影画像を取得することを特徴とする請求項１又は請求項２に記載の画像出力装置。
16. 前記撮影画像取得手段は、ビデオ画像に基づいて撮影画像を取得することを特徴とする請求項１乃至請求項３の何れか１項に記載の画像出力装置。
17. 前記画像は動画像であることを特徴とする請求項１又は請求項２に記載の画像出力装置。
18. コンピュータを制御して画像の出力処理を行うための画像出力処理プログラムであって、
    前記コンピュータを、
    撮影画像を取得する撮影画像取得手段、
    この撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段、
    この対象画像抽出手段により抽出された対象画像に応じた対応画像を取得する対応画像取得手段、
    前記対象画像抽出手段により抽出された対象画像を前記対応画像取得手段により取得された対応画像に置き換えて前記撮影画像取得手段により取得された撮影画像に合成する画像置き換え合成手段、
    この画像置き換え合成手段により前記対象画像が前記対応画像に置き換えられて合成された撮影画像を出力する画像出力手段、として機能させ、
    前記対象画像抽出手段は、
    前記撮影画像手段により取得される撮影画像の各部分までの距離を測定する距離測定手段と、
    この距離測定手段により測定された撮影画像の各部分までの距離に応じて対象画像を抽出する手段と、を有するように
    機能させるようにしたコンピュータ読み込み可能な画像出力処理プログラム。
19. コンピュータを制御して画像の出力処理を行うための画像出力処理プログラムであって、
    前記コンピュータを、
    撮影画像を取得する撮影画像取得手段、
    この撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段、
    この対象画像抽出手段により抽出された対象画像に応じた対応画像を取得する対応画像取得手段、
    この対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像に追加して合成する画像追加合成手段、
    この画像追加合成手段により前記対応画像が追加されて合成された撮影画像を出力する画像出力手段、として機能させ、
    前記対象画像抽出手段は、
    前記撮影画像手段により取得される撮影画像の各部分までの距離を測定する距離測定手段と、
    この距離測定手段により測定された撮影画像の各部分までの距離に応じて対象画像を抽出する手段と、を有するように
    機能させるようにしたコンピュータ読み込み可能な画像出力処理プログラム。
20. コンピュータを制御して画像の出力処理を行うための画像出力処理プログラムであって、
    前記コンピュータを、
    撮影画像を取得する撮影画像取得手段、
    この撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段、
    この対象画像抽出手段により抽出された対象画像に応じた対応画像を取得する対応画像取得手段、
    前記対象画像抽出手段により抽出された対象画像を前記対応画像取得手段により取得された対応画像に置き換えて前記撮影画像取得手段により取得された撮影画像に合成する画像置き換え合成手段、
    この画像置き換え合成手段により前記対象画像が前記対応画像に置き換えられて合成された撮影画像を出力する画像出力手段、として機能させ、
    前記画像置き換え合成手段は、
    前記対象画像抽出手段により複数の対象画像の候補が抽出された場合に、１つの対象画像を指定する対象画像指定手段と、
    前記撮影画像取得手段により取得された撮影画像に対して、前記対象画像指定手段により指定された対象画像の位置には前記対応画像取得手段により取得された対応画像を、前記対象画像指定手段により指定された対象画像以外の対象画像候補の位置には該候補の対象画像を、各対象画像の撮影距離が遠い順に合成する撮影距離順合成手段と、を有するように
    機能させるようにしたコンピュータ読み込み可能な画像出力処理プログラム。
21. 撮影画像を取得する撮影画像取得ステップと、
    この撮影画像取得ステップにて取得された撮影画像の中から対象画像を抽出する対象画像抽出ステップと、
    この対象画像抽出ステップにて抽出された対象画像に応じた対応画像を取得する対応画像取得ステップと、
    前記対象画像抽出ステップにて抽出された対象画像を前記対応画像取得ステップにて取得された対応画像に置き換えて前記撮影画像取得ステップにて取得された撮影画像に合成する画像置き換え合成ステップと、
    この画像置き換え合成ステップにより前記対象画像が前記対応画像に置き換えられて合成された撮影画像を出力する画像出力ステップと、
    からなり、
    前記対象画像抽出ステップは、
    前記撮影画像ステップにより取得される撮影画像の各部分までの距離を測定する距離測 定ステップと、
    この距離測定ステップにより測定された撮影画像の各部分までの距離に応じて対象画像を抽出する距離対応対象画像抽出ステップと、を有する
    ことを特徴とする画像出力方法。
22. 撮影画像を取得する撮影画像取得ステップと、
    この撮影画像取得ステップにて取得された撮影画像の中から対象画像を抽出する対象画像抽出ステップと、
    この対象画像抽出ステップにて抽出された対象画像に応じた対応画像を取得する対応画像取得ステップと、
    この対応画像取得ステップにて取得された対応画像を前記撮影画像取得ステップにて取得された撮影画像に追加して合成する画像追加合成ステップと、
    この画像追加合成ステップにて前記対応画像が追加されて合成された撮影画像を出力する画像出力ステップと、
    からなり、
    前記対象画像抽出ステップは、
    前記撮影画像ステップにより取得される撮影画像の各部分までの距離を測定する距離測定ステップと、
    この距離測定ステップにより測定された撮影画像の各部分までの距離に応じて対象画像を抽出する距離対応対象画像抽出ステップとを有する
    ことを特徴とする画像出力方法。
23. 撮影画像を取得する撮影画像取得手段ステップと、
    この撮影画像取得ステップにて取得された撮影画像の中から対象画像を抽出する対象画像抽出ステップと、
    この対象画像抽出手段にて抽出された対象画像に応じた対応画像を取得する対応画像取得手段ステップと、
    前記対象画像抽出ステップにより抽出された対象画像を前記対応画像取得手段により取得された対応画像に置き換えて前記撮影画像取得ステップにより取得された撮影画像に合成する画像置き換え合成ステップと、
    この画像置き換え合成ステップにより前記対象画像が前記対応画像に置き換えられて合成された撮影画像を出力する画像出力ステップと、
    からなり、
    前記画像置き換え合成ステップは、
    前記対象画像抽出ステップにより複数の対象画像の候補が抽出された場合に、１つの対象画像を指定する対象画像指定ステップと、
    前記撮影画像取得ステップにより取得された撮影画像に対して、前記対象画像指定ステップにより指定された対象画像の位置には前記対応画像取得ステップにより取得された対応画像を、前記対象画像指定ステップにより指定された対象画像以外の対象画像候補の位置には該候補の対象画像を、各対象画像の撮影距離が遠い順に合成する撮影距離順合成ステップと、を有する
    ことを特徴とする画像出力方法。

Images