JP5651939B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、撮影された静止画に動画を合成して表示させるための画像処理装置及びプログラムに関する。

近年、銀塩カメラに替わりデジタルカメラが急速に普及している。

デジタルカメラにより撮影された画像は、デジタルデータとしてメモリに記憶して保存できる。

このため、記憶された画像データを自在に読み出して液晶などの表示画面に表示できるのは元より、タッチパネルやキーにより入力された文字や絵を上書きして加工したり、予め用意された別の画像を合成して加工したりすることが、比較的容易に行える。

そして、任意に選択した静止画像上の指定した位置に、予め用意された動画の画像オブジェクトを貼り付けて合成し、この合成画像を表示画面に動画として表示させるための画像処理装置が考えられている（例えば、特許文献１参照。）。

また、任意に選択した静止画像上の指定した位置に、実写して用意した動画像を貼り付けて合成し、この合成画像を表示画面に動画として表示できるデジタルカメラも実用化されている（例えば、非特許文献１参照。）。

特開２００６−１３３８９７号公報

ＥＸＬＩＭ｜Ｄｙｍａｍｉｃ Ｐｈｏｔｏ ダイナミックフォト広場｜ＣＡＳＩＯ、[online]、［２００９年６月２６日検索］、インターネット＜ＵＲＬ：http://dp.exilim.com/jp/whats_dynamicphoto.html＞

前記従来の画像処理装置やデジタルカメラでは、静止画像に動画像を貼り付けて合成し、当該静止画像上で動画像の部分が動く動画として表示させることができる。

しかし、これらの画像処理装置は、実写あるいは外部機器から読み込んで予め用意した静止画像に対して、予め用意した動画像のオブジェクトや画像合成専用に実写された動画像を貼り付けて合成するものである。

このため、静止画像と動画像との間に直接的な関係はなく、例えばファインダ一杯に撮影した掌の静止画像に対して、小さく撮影した自分自身の歩く動画像を貼り付けて合成し、掌の上で小人になった自分が歩き回るような動画を生成したり、玩具で作った街並みを撮影した静止画像に対して、自分自身の歩く動画像を貼り付けて合成し、玩具の街中で自分が歩き回るような動画を生成したりするなど、主に特撮的あるいは漫画的な合成画像を生成することになる。

しかも、静止画像の撮影と、動画像の撮影とを別々に行った後に、所望の静止画像と動画像の選択操作、および当該動画像の静止画像上での位置指定操作を行わなければならないので、結構面倒で手間の掛かる問題がある。

本発明は、このような課題に鑑みなされたもので、一般的な記念撮影などに伴い、特別面倒な操作を行う必要なく、静止画像に動画像を合成した実用性の高い合成動画像を生成できることを目的とする。

請求項１に記載の発明に係る画像処理装置は、所定の操作に応じて時間の経過に従って連続して撮像された一連の画像のうち何れかを静止画像として取得する取得手段と、
前記一連の画像の中で変化している各画像の部分画像を動画像として抽出する抽出手段と、
前記取得手段により取得された静止画像の中の前記動画像に対応する部分画像を特定する静止画部分画像特定手段と、
前記静止画部分画像特定手段により特定された静止画像の中の部分画像を前記抽出手段により抽出された動画像で置換するように前記静止画像と前記動画像とを個々に合成する合成手段と、
前記取得手段により取得された静止画像の中の部分画像がユーザ操作に応じて指定されたか否かを判断する判断手段と、
前記取得手段により取得された前記静止画像の中の部分画像が、前記判断手段によりユーザ操作に応じて指定されたと判断された場合、前記合成手段により個々に合成された一連の合成画像を表示手段に順次切り替え表示させる表示制御手段と、
を備えたことを特徴としている。

請求項２に記載の発明は、前記請求項１に記載の画像処理装置において、前記判断手段は、前記表示制御手段により前記表示手段に静止画像が表示された後、当該静止画像の中の部分画像がユーザ操作に応じて指定されたか判断し、
前記表示制御手段は、前記判断手段により前記静止画像の中の部分画像が指定されたと判断された場合に、前記一連の合成画像を順次切り替え表示させる、ことを特徴としている。
請求項３に記載の発明は、前記請求項１又は２に記載の画像処理装置において、前記判断手段は、前記合成手段により前記動画像と合成された前記静止画像の中の部分画像がユーザ操作に応じて指定されたか否かを判断し、
前記表示制御手段は、前記合成手段により前記動画像と合成された前記静止画像の中の部分画像が、前記判断手段によりユーザ操作に応じて指定されたと判断された場合、前記合成手段により個々に合成された一連の合成画像を表示手段に順次切り替え表示させる、
ことを特徴としている。

請求項４に記載の発明は、前記請求項１又は２に記載の画像処理装置において、前記抽出手段は、
前記一連の画像の中で変化している部分画像を検知する変化部分検知手段を有し、
前記合成手段は、前記取得手段により取得された静止画像に対して前記抽出手段により抽出された動画像を合成する、ことを特徴としている。

請求項５に記載の発明は、前記請求項１から４の何れか１項に記載の画像処理装置において、予め顔画像を登録する顔画像登録手段を更に備え、
前記抽出手段は、前記一連の画像の中で前記顔画像登録手段により登録された顔画像と同じ顔画像を含んでいる部分の画像を、前記動画像として抽出する、ことを特徴としている。
請求項６に記載の発明は、前記請求項１から５の何れか１項に記載の画像処理装置において、撮像手段を更に備え、
前記取得手段は、前記撮像手段により連続して撮像された一連の画像のうち何れかを静止画像として取得する、ことを特徴としている。

請求項７に記載の発明は、コンピュータを、
所定の操作に応じて時間の経過に従って連続して撮像された一連の画像のうち何れかを静止画像として取得する前記取得手段と、
前記一連の画像の中で変化している各画像の部分画像を動画像として抽出する抽出手段と、
前記取得手段により取得された静止画像の中の前記動画像に対応する部分画像を特定する静止画部分画像特定手段と、
前記静止画部分画像特定手段により特定された静止画像の中の部分画像を前記抽出手段により抽出された動画像で置換するように前記静止画像と前記動画像とを個々に合成する合成手段と、
前記取得手段により取得された静止画像の中の部分画像が操作入力に応じて指定されたか否かを判断する判断手段と、
前記取得手段により取得された前記静止画像の中の部分画像が、前記判断手段によりユーザ操作に応じて指定されたと判断された場合、前記合成手段により個々に合成された一連の合成画像を表示手段に順次切り替え表示させる表示制御手段と、
して機能させることを特徴としている。

本発明によれば、一般的な記念撮影などに伴い、特別面倒な操作を行う必要なく、静止画像に動画像を合成した実用性の高い画像を生成して表示できる。

本発明の画像撮影表示装置の実施形態に係るデジタルカメラ１０の外観構成を示す図であり、同図（Ａ）はその正面図、同図（Ｂ）はその背面図。 前記デジタルカメラ１０の電子回路の構成を示すブロック図。 前記デジタルカメラ１０の顔画像登録データメモリ２２ｃに登録される顔画像データの具体例を示す図。 前記デジタルカメラ１０による撮影画像合成処理を示すフローチャート。 前記デジタルカメラ１０による合成画像表示処理を示すフローチャート。 前記デジタルカメラ１０の撮影画像合成処理に伴いフルオートの撮影モードで連写撮影された一連の静止画像データＧ１，Ｇ２，…および当該一連の静止画像データＧ１，Ｇ２，…に基づき大きく変化した部分の画像データＴ１，Ｔ２，…を残して得られた一連の動画像データＧＢ１，ＧＢ２，…を示す図。 前記デジタルカメラ１０の撮影画像合成処理に伴い連写撮影された先頭の静止画像データＧ１に前記一連の動画像データＧＢ１，ＧＢ２，…を個々に合成して得られた一連の合成画像データＧ１ａ，Ｇ１ｂ，…を示す図。 前記デジタルカメラ１０の撮影画像合成処理に伴い生成された一連の合成画像データＧ１ａ，Ｇ１ｂ，…を対象とする表示設定画面ＧＳを示す図。 前記デジタルカメラ１０の合成画像表示処理に伴う一連の合成画像データＧ１ａ〜Ｇ１ｃの表示動作（実施例１）を示す図。 前記デジタルカメラ１０の撮影画像合成処理に伴い連写撮影された先頭の静止画像データＧ１に対し次第に拡大してなる部分画像Ｔ１〜Ｔ２′〜Ｔ３′を個々に合成して得られた一連の合成画像データＧ１ａ〜Ｇ１ｂ′〜Ｇ１ｃ′を示す図。 前記デジタルカメラ１０の撮影画像合成処理に伴い顔認識機能付きの撮影モードで連写撮影された一連の静止画像データＧ１，Ｇ２，…を示す図。 前記顔認識機能付きの撮影モードで連写撮影された一連の静止画像データＧ１，Ｇ２，…に基づき主要な被写体の画像データＴ１，Ｔ２，…を残して得られた一連の動画像データＧＢ１，ＧＢ２，…を示す図。 前記顔認識機能付きの撮影モードで連写撮影された先頭の静止画像データＧ１に前記一連の動画像データＧＢ１，ＧＢ２，…を個々に合成して得られた一連の合成画像データＧ１ａ，Ｇ１ｂ，…を示す図。 前記デジタルカメラ１０の撮影画像合成処理に伴い動画タイミングをマニュアル操作する撮影モードで連写撮影された一連の静止画像データＧ１，Ｇ２，…を示す図。 前記デジタルカメラ１０の合成画像表示処理に伴う一連の合成画像データＧ１ａ〜Ｇ１ｃの表示動作（実施例２）を示す図。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の画像撮影表示装置の実施形態に係るデジタルカメラ１０の外観構成を示す図であり、同図（Ａ）はその正面図、同図（Ｂ）はその背面図である。

デジタルカメラ１０の正面には、撮像レンズ１１、距離センサ１２、ストロボ発光部１３が設けられ、上端側面には、シャッタボタン１４が設けられる。

また、デジタルカメラ１０の背面には、撮影時には前記撮像レンズ１１を通して撮像される画像を表示し、再生時には前記撮像されて記憶された画像を表示する液晶表示部１５、各種の動作モードにおいて前記表示部１５に表示される選択項目の位置を移動させたりポインタＰを移動させたりするための方向ボタン１６、前記選択項目やポインタＰの移動位置を決定するための決定ボタン１７などが設けられる。

そして、このデジタルカメラ１０は、連写モードにおいて撮影された一連の静止画像の中から変化した部分の画像を動画像として抽出し、前記一連の静止画像のうちの先頭の静止画像に対し前記抽出した動画像を合成して記録・再生（表示）する機能を備えている。

図２は、前記デジタルカメラ１０の電子回路の構成を示すブロック図である。

このデジタルカメラ１０は、コンピュータであるＣＰＵ２１を備えている。

ＣＰＵ２１は、メモリ２２に予め記憶されたシステムプログラム、あるいはメモリカードなどの外部記録媒体２３からカードスロットなどの記録媒体読取部２４を介して前記メモリ２２に読み込まれたカメラ制御プログラム、あるいは通信ネットワークＮ上のサーバ装置３０（この場合はプログラムサーバ）から電送制御部２５を介して前記メモリ２２に読み込まれたカメラ制御プログラムに従い回路各部の動作を制御する。

ＣＰＵ２１には、前記液晶表示部１５、メモリ２２、記録媒体読取部２４、電送制御部２５が接続される他に、前記撮像レンズ１１を通した光学像を撮像して電気信号に変換する固体撮像素子（ＣＣＤ）や距離センサ１２などを備えた画像撮影部２６、前記シャッタボタン１４や方向ボタン１６、決定ボタン１７などを備えた入力部２７が接続される。

前記メモリ２２に記憶されるカメラ制御プログラムとしては、本デジタルカメラ１０の通常の撮影・表示の動作を司る撮影処理プログラム、通信ネットワークＮ上のサーバ装置３０や外部の通信端末（ＰＣ:personal computer／携帯電話）４０との通信動作を司る通信制御プログラムが記憶される他に、画像撮影部２１により連写モードで撮影された一連の静止画像Ｇ１，Ｇ２，…に基づいて、当該各静止画像Ｇ１，Ｇ２，…間で大きく変化した部分の画像Ｔ１，Ｔ２，…を検知すると共に、この一連の部分画像Ｔ１，Ｔ２，…を動画像ＧＢ１，ＧＢ２，…として抽出し、この抽出された一連の動画像ＧＢ１，ＧＢ２，…を、前記一連の静止画像Ｇ１，Ｇ２のうちの先頭の静止画像Ｇ１に個々に合成して一連の合成画像データＧ１ａ，Ｇ１ｂ，…を生成するための撮影画像合成処理プログラム２２ａ、この撮影画像合成処理プログラム２２ａにより生成された一連の合成画像データＧ１ａ，Ｇ１ｂ，…を、ユーザ設定される表示の形態に応じて表示させるための合成画像表示処理プログラム２２ｂが記憶される。

また、メモリ２２には、前記各種のプログラムを記憶するプログラムメモリの他に、各種の作業用データを記憶するメモリとして、顔画像登録データメモリ２２ｃ、撮影画像データメモリ２２ｄ、静止画データメモリ２２ｅ、静止画部分画像メモリ２２ｆ、対応動画データメモリ２２ｇ、合成画像データメモリ２２ｈ、表示設定データメモリ２２ｉ、送信用データメモリ２２ｊなどが確保される。

図３は、前記デジタルカメラ１０の顔画像登録データメモリ２２ｃに登録される顔画像データの具体例を示す図である。

この顔画像登録データメモリ２２ｃには、本デジタルカメラ１０において主要な被写体となる可能性の高い人物の顔画像（家族や友達）を予め撮影して記憶するもので、例えば本デジタルカメラ１０を所有する家族の父の顔画像２２ｃａ、母の顔画像２２ｃｂ、子供の顔画像２２ｃｃを記憶する。

撮影画像データメモリ２２ｄには、画像撮影部２１により連写モードで撮影された一連の静止画像データＧ１，Ｇ２，…（図６（Ａ１）〜（Ａ３）参照）が記憶される。

静止画データメモリ２２ｅには、前記撮影画像データメモリ２２ｄに記憶された一連の静止画像データＧ１，Ｇ２，…のうち、先頭の静止画像データＧ１（図６（Ａ１）参照）が選択的に記憶される。

静止画部分画像メモリ２２ｆには、前記撮影画像データメモリ２２ｄに記憶された一連の各静止画像データＧ１，Ｇ２，…間で大きく変化した部分の画像データＴ１，Ｔ２，…（図６（Ａ１）〜（Ａ３）参照）が検知され、このうち前記静止画データメモリ２２ｅに記憶された先頭の静止画像データＧ１の中での部分画像データＴ１（図６（Ａ１）参照）が記憶される。

対応動画データメモリ２２ｇには、前記撮影画像データメモリ２２ｄに記憶された一連の各静止画像データＧ１，Ｇ２，…において、大きく変化した部分の画像データＴ１，Ｔ２，…を残し、その他の領域をマスクして得られた一連の動画像データＧＢ１，ＧＢ２，…（図６（Ｂ１）〜（Ｂ３）参照）が記憶される。

合成画像データメモリ２２ｈには、前記対応動画データメモリ２２ｇに記憶された一連の動画像データＧＢ１，ＧＢ２，…を、前記静止画データメモリ２２ｅに記憶された先頭の静止画像データＧ１に個々に合成して生成した一連の合成画像データＧ１ａ，Ｇ１ｂ，…（図７（Ａ）〜（Ｃ）参照）が記憶される。

表示設定データメモリ２２ｉには、前記合成画像データメモリ２２ｈに記憶された一連の合成画像データＧ１ａ，Ｇ１ｂ，…を、その先頭の合成画像データＧ１ａ（静止画像データＧ１と同じ）を初期表示させた後に、どのようなタイミングで順次表示させるかを設定するデータが記憶される。

具体的には、先頭の合成画像データＧ１ａ（静止画像データＧ１）を初期表示させた状態で、当該画像Ｇ１ａ（Ｇ１）に含まれる部分画像データＴ１（静止画部分画像メモリ２２ｆ）の位置がユーザ操作に応じたポインタＰなどにより指定された時点で、残りの合成画像データＧ１ｂ，…の表示を開始する条件１（部分画像指定時動画ＯＮ）、または先頭の合成画像データＧ１ａ（静止画像データＧ１）を初期表示させてから一定時間の経過後に、残りの合成画像データＧ１ｂ，…の表示を開始する条件２（一定時間後動画ＯＮ）、または当該条件１および条件２を組み合わせたデータが記憶される。

送信用データメモリ２２ｊには、前記合成画像データメモリ２２ｈに記憶された一連の合成画像データＧ１ａ，Ｇ１ｂ，…を、外部の通信端末４０に送信して表示させる場合に、当該合成画像データＧ１ａ，Ｇ１ｂ，…と共に、前記静止画部分画像メモリ２２ｆに記憶された部分画像データＴ１、および前記表示設定データメモリ２２ｉに記憶された表示条件の設定データが、送信用データとして記憶される。

そして、前記メモリ２２に記憶された各種のプログラムは、入力部２７からのユーザ操作入力信号や画像撮影部２６からの撮影入力信号、電送制御部２５を介した外部機器（３０，４０）からの受信入力信号に応じて起動される。

なお、前記撮影画像データメモリ２２ｄに記憶される一連の静止画像データＧ１，Ｇ２，…は、動画形式のファイルとして記憶してもよい。

また、前記静止画データメモリ２２ｅに記憶される先頭の静止画像データＧ１は、前記動画形式ファイルのうち、シャッタボタン１４を押した時点の最初の撮影画像として記憶してもよい。

また、前記静止画部分画像メモリ２２ｆに記憶される部分画像データＴ１は、前記先頭の静止画像データＧ１の中での部分画像データＴ１の範囲情報として記憶してもよい。

また、前記対応動画データメモリ２２ｇに記憶される一連の動画像データＧＢ１，ＧＢ２，…は、前記動画形式ファイルのうちで大きく変化した部分の画像データＴ１，Ｔ２，…を抽出して記憶してもよい。

さらに、前記合成画像データメモリ２２ｈに記憶される一連の合成画像データＧ１ａ，Ｇ１ｂ，…も、動画形式のファイルとして記憶してもよい。

次に、前記構成のデジタルカメラ１０の動作について説明する。

図４は、前記デジタルカメラ１０による撮影画像合成処理を示すフローチャートである。

図５は、前記デジタルカメラ１０による合成画像表示処理を示すフローチャートである。

（合成画像生成（実施例１））
図６は、前記デジタルカメラ１０の撮影画像合成処理に伴いフルオートの撮影モードで連写撮影された一連の静止画像データＧ１，Ｇ２，…および当該一連の静止画像データＧ１，Ｇ２，…に基づき大きく変化した部分の画像データＴ１，Ｔ２，…を残して得られた一連の動画像データＧＢ１，ＧＢ２，…を示す図である。

図７は、前記デジタルカメラ１０の撮影画像合成処理に伴い連写撮影された先頭の静止画像データＧ１に前記一連の動画像データＧＢ１，ＧＢ２，…を個々に合成して得られた一連の合成画像データＧ１ａ，Ｇ１ｂ，…を示す図である。

表示部１５に表示させる撮影モードの選択画面に従って、動画付き画像撮影のモードが選択されると（ステップＳ１（Ｙｅｓ））、さらに、詳細な撮影モードが選択され（ステップＳ２）、フルオートの撮影モードが選択されたか（ステップＳ３）、顔認識機能付きの撮影モードが選択されたか（ステップＳ４）、動画タイミングをマニュアル操作する撮影モードが選択されたか（ステップＳ５）の何れかが判断される。

フルオートの撮影モードが選択されたと判断されると（ステップＳ３（Ｙｅｓ））、連写撮影による一連の静止画像の撮影が、１回のシャッタボタン１４の押下操作だけで可能な状態になる。

例えば図６（Ａ１）に示すように、ユーザの友人など主要な被写体（Ｔ１）を含む記念撮影に際し、当該友人が撮影画像内の何処に居るかが簡単に分かるような動画付きの撮影を行うのに、その友人には撮影開始直後にジャンプするなどの周囲と異なる大きな体の動きをするように予め指示しておく。

シャッタボタン１４が押下されると、画像撮影部２６にて、例えば１０秒間で１００枚の連写撮影が開始され、図６（Ａ１）〜（Ａ３）に示すように表示部１５に表示される一連の静止画像データＧ１〜Ｇ３が順次撮影されて撮影画像データメモリ２２ｄに記憶される。この際、前記撮影画像データメモリ２２ｄに記憶された一連の静止画像データＧ１〜Ｇ３の中から先頭の静止画像データＧ１が読み出され、静止画データメモリ２２ｅに記憶される（ステップＳ６〜Ｓ８）。

すると、前記撮影画像データメモリ２２ｄに記憶された一連の静止画像データＧ１〜Ｇ３の中から、画像が大きく変化している部分（Ｔ１〜Ｔ３）が検知され（ステップＳ９）、そのうち先頭の静止画像データＧ１の中の部分画像Ｔ１が特定される（ステップＳ１０）。

すると、図６（Ａ１）に示すように、前記先頭の静止画像データＧ１が表示部１５に表示されると共に、前記特定された部分画像Ｔ１が枠Ｗで囲まれて表示され（ステップＳ１１）、今回の撮影に伴う主要な被写体が前記枠Ｗで囲まれた部分画像Ｔ１でよいのか“ＯＫ”、そうではないのか“ＮＧ”のユーザ判断が促される（ステップＳ１２）。

ここで、入力部２７により“ＮＧ”のユーザ入力がされた場合は（ステップＳ１２（Ｎｏ））、前記部分画像Ｔ１以外の別の部分画像を検知すべきと判定され（ステップＳ１３）、前記ステップＳ９からの処理が繰り返される（ステップＳ９〜Ｓ１１）。

一方、前記図６（Ａ１）で示したように、先頭の静止画像データＧ１にて特定された部分画像Ｔ１が枠Ｗで囲まれて表示された状態で（ステップＳ１１）、入力部２７により“ＯＫ”のユーザ入力がされた場合は（ステップＳ１２（Ｙｅｓ））、当該静止画像データＧ１にて特定された部分画像Ｔ１が静止画部分画像メモリ２２ｆに登録される（ステップＳ１４）。

すると、前記撮影画像データメモリ２２ｄに記憶された一連の静止画像データＧ１〜Ｇ３の中から、前記ステップＳ９にて検知された画像が大きく変化している部分（Ｔ１〜Ｔ３）の画像が、例えば図６（Ｂ１）〜（Ｂ３）に示すように、当該変化部分の画像（部分画像）Ｔ１〜Ｔ３のみを残し他の領域をマスクすることで抽出される（ステップＳ１５）。

そして、前記抽出された変化部分の画像（部分画像）Ｔ１〜Ｔ３は、前記静止画部分画像メモリ２２ｆに記憶された先頭の静止画像データＧ１の中の特定部分画像Ｔ１に対応する一連の動画像データＧＢ１〜ＧＢ３として対応動画データメモリ２２ｇに登録される（ステップＳ１６）。

すると、前記静止画データメモリ２２ｅに記憶された先頭の静止画像データＧ１（図６（Ａ１））に対して、前記対応動画データメモリ２２ｇに記憶された一連の動画像データＧＢ１〜ＧＢ３（図６（Ｂ１）〜（Ｂ３））を個々に合成することで、図７に示すように、一連の合成画像データＧ１ａ〜Ｇ１ｃが生成され、合成画像データメモリ２２ｈに記憶される（ステップＳ１７）。

これにより、記念写真として撮影した静止画像データＧ１を先頭とし、その中で大きく動いた（ジャンプした）主要な被写体（Ｔ１〜Ｔ３）だけが動画として合成された一連の合成画像データＧ１ａ〜Ｇ１ｃが得られるようになる。

図８は、前記デジタルカメラ１０の撮影画像合成処理に伴い生成された一連の合成画像データＧ１ａ，Ｇ１ｂ，…を対象とする表示設定画面ＧＳを示す図である。

前記ステップＳ１７の処理により、一連の合成画像データＧ１ａ〜Ｇ１ｃが生成されて合成画像データメモリ２２ｈに記憶されると、図８に示すように、当該一連の合成画像データＧ１ａ〜Ｇ１ｂをどのようなタイミングで順次表示させるかを設定するための表示設定画面［部分動画表示設定］ＧＳが表示部１５に表示される。

この表示設定画面［部分動画表示設定］ＧＳに従った入力部２７でのユーザ入力に応じて、条件１［部分画像指定時動画ＯＮ／ＯＦＦ］および条件２［一定時間後動画ＯＮ／ＯＦＦ］が設定され、「決定ボタン」Ｅが入力されると、当該設定された条件１および条件２のデータが表示設定データメモリ２２ｉに記憶される（ステップＳ１８）。

すると、今回生成した一連の合成画像データＧ１ａ〜Ｇ１ｃを外部の機器に送信する必要があるか否かのユーザ判断を促すメッセージ［外部機器へ送信ＹＥＳ／ＮＯ］が表示部１５に表示される（ステップＳ１９）。

このメッセージ［外部機器へ送信ＹＥＳ／ＮＯ］に従い、［ＹＥＳ］が選択されたと判断されると（ステップＳ１９（Ｙｅｓ））、前記合成画像データメモリ２２ｈに記憶された一連の合成画像データＧ１ａ〜Ｇ１ｃと、前記静止画部分画像メモリ２２ｆに記憶された先頭の静止画像データＧ１（Ｇ１ａ）の中の特定部分画像データＴ１と、前記表示設定データメモリ２２ｉに記憶された条件１および条件２の表示設定データＧＳとからなる送信用データが生成され、送信用データメモリ２２ｊに記憶される（ステップＳ２０）。

すると、送信先（宛先）のユーザ入力を促す送信先設定画面が表示部１５に表示される。この送信先設定画面に従い、ユーザ所望の通信端末４０のアドレスやＷｅｂサイト（３０）のＵＲＬ／ユーザ名などが入力されると（ステップＳ２１）、当該入力された送信先の外部機器に対して、前記送信用データメモリ２２ｊに記憶された一連の合成画像データＧ１ａ〜Ｇ１ｃと、先頭の静止画像データＧ１（Ｇ１ａ）の中の特定部分画像データＴ１と、条件１および条件２の表示設定データＧＳとからなる送信用データが送信される（ステップＳ２２）。

なお、前記送信用データの送信先の外部機器において、一連の合成画像データＧ１ａ〜Ｇ１ｃを表示させるには、図５のフローチャートに示す合成画像表示処理プログラム２２ｂが必要である。この合成画像表示処理プログラム２２ｂは、前記外部機器に予めインストールされるか、または前記送信用データと一体にして外部機器に送信してもよい。

外部の通信端末４０に送信された一連の合成画像データＧ１ａ〜Ｇ１ｃは、当該通信端末４０自身により表示させて閲覧することになり、また、Ｗｅｂサイト（３０）に送信された一連の合成画像データＧ１ａ〜Ｇ１ｃは、外部の通信端末４０から当該Ｗｅｂサイト（３０）の専用ＨＰにアクセスして閲覧することになる。

（合成画像表示（実施例１））
図９は、前記デジタルカメラ１０の合成画像表示処理に伴う一連の合成画像データＧ１ａ〜Ｇ１ｃの表示動作（実施例１）を示す図である。

表示部１５に表示させる表示モードの選択画面に従って、合成画像の表示モードが選択されると、図５における合成画像表示処理プログラムが起動され、先ず、合成画像データメモリ１１ｈに記憶されている先頭の合成画像データＧ１ａ（先頭の静止画像データＧ１と同じ）が読み出され、図９に示すように、表示部１５に表示される（ステップＡ１）。

すると、表示設定データメモリ２２ｉに記憶されている条件１の表示設定データＧＳに基づき、［部分画像指定時動画ＯＮ］または［ＯＦＦ］が判断され、［部分画像指定時動画ＯＮ］と判断された場合には（ステップＡ２（Ｙｅｓ））、方向ボタン１６および決定ボタン１７のユーザ操作に応じて前記表示中の合成画像データＧ１ａ（Ｇ１）上で移動表示され指定されるポインタＰの位置が、検知されたか否か判断される（ステップＡ３）。

ここで、図９に示すように、前記表示中の合成画像データＧ１ａ（Ｇ１）上での位置指定が検知されたポインタＰの位置が（ステップＡ３（Ｙｅｓ））、静止画部分画像メモリ２２ｆに記憶されている特定（主要な被写体）の部分画像Ｔ１の位置と一致したと判断されると（ステップＡ４（Ｙｅｓ））、当該部分画像Ｔ１が枠で囲まれたり色変更されたりして識別表示Ｈされる（ステップＡ５）。これにより、前記合成画像データＧ１ａ（Ｇ１）内の主要な被写体が、ユーザ操作によって当てられたことが報知される。

するとこれ以降、前記表示中の先頭の合成画像データＧ１ａ（先頭の静止画像データＧ１と同じ）に続けて前記合成画像データメモリ２２ｈに記憶されている一連の合成画像データ〜Ｇ１ｂ〜Ｇ１ｃが読み出され、図７（Ｂ）〜（Ｃ）に示すように、表示部１５に順次切り替えられて表示される（ステップＡ６）。

これにより、記念写真として撮影した静止画像データＧ１を先ず表示させた後に、注目すべき被写体（Ｔ１）の位置を指定すると、当該被写体（Ｔ１）だけ大きく動いた（ジャンプした）動画として合成された一連の合成画像データＧ１ａ〜Ｇ１ｃが順次表示されるようになる。よって、例えば大勢の人物が写っている記念写真の中で、注目すべき人物を容易に見つけることが可能な実用性の高い合成画像を簡単に生成して表示できる。

一方、前記ステップＡ２において、表示設定データメモリ２２ｉに記憶されている条件１の表示設定データＧＳに基づき、［部分画像指定時動画ＯＦＦ］と判断された場合（ステップＡ２（Ｎｏ））、または前記ステップＡ３において、表示中の先頭の合成画像データＧ１ａ（Ｇ１）上で移動表示され指定されるポインタＰの位置が検知されないと判断された場合（ステップＡ３（Ｎｏ））には、前記表示設定データメモリ２２ｉに記憶されている条件２の表示設定データＧＳに基づき、［一定時間後動画ＯＮ］または［ＯＦＦ］が判断される（ステップＡ７）。

ここで、［一定時間後動画ＯＮ］と判断された場合には（ステップＡ７（Ｙｅｓ））、前記ステップＡ１における先頭の合成画像データＧ１ａ（先頭の静止画像データＧ１）の表示時点から予め設定された一定時間（例えば１０秒）が経過したか否か判断される（ステップＡ８）。

そして、一定時間（例えば１０秒）が経過したと判断されると（ステップＡ８（Ｙｅｓ））、図９に示すように、前記表示中の合成画像データＧ１ａ（Ｇ１）の中の特定（主要な被写体）の部分画像Ｔ１が枠で囲まれたり色変更されたりして識別表示Ｈされる（ステップＡ５）。

するとこれ以降、前記表示中の先頭の合成画像データＧ１ａ（先頭の静止画像データＧ１）に続けて前記合成画像データメモリ２２ｈに記憶されている一連の合成画像データ〜Ｇ１ｂ〜Ｇ１ｃが読み出され、図７（Ｂ）〜（Ｃ）に示すように、表示部１５に順次切り替えられて表示される（ステップＡ６）。

これにより、記念写真として撮影した静止画像データＧ１を先ず表示させた後に、一定時間が経過すると、注目すべき被写体（Ｔ１）だけ大きく動いた（ジャンプした）動画として合成された一連の合成画像データＧ１ａ〜Ｇ１ｃが順次表示されるようになる。よって、例えば大勢の人物が写っている記念写真の中で、注目すべき人物を容易に見つけることが可能な実用性の高い合成画像を簡単に生成して表示できる。

一方、前記ステップＡ７において、表示設定データメモリ２２ｉに記憶されている条件２の表示設定データＧＳに基づき、［一定時間後動画ＯＦＦ］と判断された場合（ステップＡ７（Ｎｏ））、または前記ステップＡ８において、前記ステップＡ１における先頭の合成画像データＧ１ａ（先頭の静止画像データＧ１）の表示時点から予め設定された一定時間（例えば１０秒）が経過しないと判断された場合（ステップＡ８（Ｎｏ））には、本合成画像表示処理の終了操作がないことの判断処理（ステップＡ９（Ｎｏ））を経て、前記ステップＡ２からの処理に戻る。

なお、前記合成画像データメモリ２２ｈに記憶され表示される一連の合成画像データＧ１ａ〜Ｇ１ｃは、前記図７（Ａ）〜（Ｃ）で示したように、主要な被写体である部分画像Ｔ１〜Ｔ３をそれぞれ元の大きさのままで先頭の静止画像データＧ１に合成して生成した。これに対し、図１０（Ａ）〜（Ｃ）に示すように、主要な被写体である部分画像Ｔ１〜Ｔ３をそれぞれ順次拡大した部分画像Ｔ１〜Ｔ２′〜Ｔ３′とし、先頭の静止画像データＧ１に個々に合成した一連の合成画像データＧ１ａ〜Ｇ１ｂ′〜Ｇ１ｃ′を生成してもよい。

図１０は、前記デジタルカメラ１０の撮影画像合成処理に伴い連写撮影された先頭の静止画像データＧ１に対し次第に拡大してなる部分画像Ｔ１〜Ｔ２′〜Ｔ３′を個々に合成して得られた一連の合成画像データＧ１ａ〜Ｇ１ｂ′〜Ｇ１ｃ′を示す図である。

これによれば、特に、大勢の人物が写っている記念写真の中で、注目すべき人物をより容易に見つけることが可能な実用性の高い合成画像を簡単に生成して表示できる。

（合成画像生成（実施例２））
図１１は、前記デジタルカメラ１０の撮影画像合成処理に伴い顔認識機能付きの撮影モードで連写撮影された一連の静止画像データＧ１，Ｇ２，…を示す図である。

図１２は、前記顔認識機能付きの撮影モードで連写撮影された一連の静止画像データＧ１，Ｇ２，…に基づき主要な被写体の画像データＴ１，Ｔ２，…を残して得られた一連の動画像データＧＢ１，ＧＢ２，…を示す図である。

図１３は、前記顔認識機能付きの撮影モードで連写撮影された先頭の静止画像データＧ１に前記一連の動画像データＧＢ１，ＧＢ２，…を個々に合成して得られた一連の合成画像データＧ１ａ，Ｇ１ｂ，…を示す図である。

前記図４における撮影画像合成処理での撮影モードの選択に従い（ステップＳ１，Ｓ２）、顔認識機能付きの撮影モードが選択されたと判断されると（ステップＳ４（Ｙｅｓ））、連写撮影による一連の静止画像の撮影が、１回のシャッタボタン１４の押下操作だけで可能な状態になる。

例えば図１１（Ａ）に示すように、顔画像登録データメモリ２２ｃ（図３参照）に登録された本デジタルカメラ１０を所有する家族の子供（２２ｃｃ）を主要な被写体（Ｔ１）として含む集合写真の撮影に際し、当該主要な被写体（Ｔ１）が撮影画像内の何処に居るかが簡単に分かるような動画付きの撮影を行うのに、ユーザは撮影開始直後に、その主要な被写体（Ｔ１）に対しバンザイするなどのアピールをするように声を掛ける。

シャッタボタン１４が押下されると、画像撮影部２６にて連写撮影が開始され、図１１（Ａ）〜（Ｃ）に示すように表示部１５に表示される一連の静止画像データＧ１〜Ｇ３が順次撮影されて撮影画像データメモリ２２ｄに記憶される。この際、前記顔画像登録データメモリ２２ｃに登録されている子供の顔画像２２ｃｃが、前記一連の静止画像データＧ１〜Ｇ３の中の被写体（Ｔ１）の顔画像と一致することが認識され、当該被写体（Ｔ１）の顔を囲む顔認識枠Ｆが表示される。また、前記撮影画像データメモリ２２ｄに記憶された一連の静止画像データＧ１〜Ｇ３の中から先頭の静止画像データＧ１が読み出され、静止画データメモリ２２ｅに記憶される（ステップＳ２３〜Ｓ２５）。

なお、この（合成画像生成（実施例２））では、撮影開始直後にユーザが主要な被写体（Ｔ１）に対しバンザイするなどのアピールをするように声を掛けたものの、顔画像登録されていない別の被写体（Ｔｓ１）も共にバンザイしてしまい、前記撮影された一連の静止画像データＧ１〜Ｇ３は、主要な被写体（Ｔ１）と別の被写体（Ｔｓ１）が何れもバンザイする格好（Ｔ２〜Ｔ３）（Ｔｓ２〜Ｔｓ３）となって記録される。

すると、前記撮影画像データメモリ２２ｄに記憶された一連の静止画像データＧ１〜Ｇ３の中から、前記顔画像認識されて顔認識枠Ｆで囲まれたところの被写体の画像部分（Ｔ１〜Ｔ３）が検知される（ステップＳ２６）。

そして、先頭の静止画像データＧ１にて顔画像認識されて検知された部分画像Ｔ１が静止画部分画像メモリ２２ｆに登録される（ステップＳ２７）。

すると、前記撮影画像データメモリ２２ｄに記憶された一連の静止画像データＧ１〜Ｇ３の中から、前記ステップＳ２６にて検知された顔画像認識されたところの変化する部分画像Ｔ１〜Ｔ３が、例えば図１２（Ａ）〜（Ｃ）に示すように、当該部分画像Ｔ１〜Ｔ３のみを残し他の領域をマスクすることで抽出される（ステップＳ２８）。

そして、前記抽出された変化部分の画像（部分画像）Ｔ１〜Ｔ３は、前記静止画部分画像メモリ２２ｆに記憶された先頭の静止画像データＧ１の中の部分画像Ｔ１に対応する一連の動画像データＧＢ１〜ＧＢ３として対応動画データメモリ２２ｇに登録される（ステップＳ１６）。

すると、前記静止画データメモリ２２ｅに記憶された先頭の静止画像データＧ１（図１１（Ａ））に対して、前記対応動画データメモリ２２ｇに記憶された一連の動画像データＧＢ１〜ＧＢ３（図１２（Ａ）〜（Ｃ））を個々に合成することで、図１３に示すように、顔画像認識された被写体（Ｔ１）だけがバンザイしている一連の合成画像データＧ１ａ〜Ｇ１ｃが生成され、合成画像データメモリ２２ｈに記憶される（ステップＳ１７）。

これにより、集合写真として撮影した静止画像データＧ１を先頭とし、その中で顔画像認識された主要な被写体（Ｔ１〜Ｔ３）だけがバンザイする動画として合成された一連の合成画像データＧ１ａ〜Ｇ１ｃが得られるようになる。

この後の表示設定データ（ＧＳ）の設定処理（ステップＳ１８）、および送信用データ（Ｇ１ａ〜Ｇ１ｃ：Ｔ１：ＧＳ）の生成・送信処理（ステップＳ１９〜Ｓ２２）に係る各動作は、前記（合成画像生成（実施例１））で説明した各動作と同様であるため、その説明は省略する。

（合成画像生成（実施例３））
図１４は、前記デジタルカメラ１０の撮影画像合成処理に伴い動画タイミングをマニュアル操作する撮影モードで連写撮影された一連の静止画像データＧ１，Ｇ２，…を示す図である。

前記図４における撮影画像合成処理での撮影モードの選択に従い（ステップＳ１，Ｓ２）、動画タイミングをマニュアル操作する撮影モードが選択されたと判断されると（ステップＳ５（Ｙｅｓ））、シャッタボタン１４の押下操作に応じて、画像撮影部２６にて連写撮影が開始され、図１４（Ａ）〜（Ｂ）に示すように表示部１５に表示される一連の静止画像データＧ１〜Ｇ２が順次撮影されて撮影画像データメモリ２２ｄに記憶される。この際、前記撮影画像データメモリ２２ｄに記憶された一連の静止画像データＧ１〜Ｇ２の中から先頭の静止画像データＧ１だけが読み出され、静止画データメモリ２２ｅに記憶される（ステップＳ２９，Ｓ３０）。

なお、この（合成画像生成（実施例３））では、前記シャッタボタン１４の押下に応じた静止画撮影が開始された後に、例えばユーザの子供などの主要な被写体（Ｔ１）に対し、周囲と異なる目立つ身体の動きをするように声を掛ける。そして、前記主要な被写体（Ｔ１）だけが目立つ動き（バンザイ）を開始したタイミングで、例えばシャッタボタン１４を再押下するなど、動画付き撮影のための追加の操作をする。

図１４（Ｃ）に示すように、主要な被写体（Ｔ１）だけが目立つ動き（バンザイ）を開始したタイミングで、シャッタボタン１４を再押下することで、動画付き撮影のための追加の操作があったと判断されると（ステップＳ３１（Ｙｅｓ））、当該主要な被写体（Ｔ１）の動き（Ｔ２〜Ｔ３）に伴い連写撮影される個々の静止画像データＧ３…が、前記撮影画像データメモリ２２ｄに新たに記憶される。

すると、前記動画付き撮影のための追加操作後に撮影画像データメモリ２２ｄに記憶された一連の静止画像データＧ３…の中から、画像が大きく変化している部分（Ｔ２〜Ｔ３）が検知される（ステップＳ９）。

そして、前記検知された画像の変化部分（Ｔ２〜Ｔ３）に対応するところの、前記静止画データメモリ２２ｅに記憶された先頭の静止画像データＧ１の中の部分画像Ｔ１が特定される（ステップＳ１０）。

すると、図１４（Ａ）に示すように、前記先頭の静止画像データＧ１が表示部１５に表示されると共に、前記特定された部分画像Ｔ１が枠Ｗで囲まれて表示され（ステップＳ１１）、今回の撮影に伴う主要な被写体が前記枠Ｗで囲まれた部分画像Ｔ１でよいのか“ＯＫ”、そうではないのか“ＮＧ”のユーザ判断が促される（ステップＳ１２）。

ここで、入力部２７により“ＯＫ”のユーザ入力がされると（ステップＳ１２（Ｙｅｓ））、当該先頭の静止画像データＧ１にて特定された部分画像Ｔ１が静止画部分画像メモリ２２ｆに登録される（ステップＳ１４）。

すると、前記動画付き撮影のための追加操作後に撮影画像データメモリ２２ｄに記憶された一連の静止画像データＧ３…の中から、前記ステップＳ９にて検知された画像が大きく変化している部分（Ｔ２〜Ｔ３）の画像が、例えば図１２（Ｂ）〜（Ｃ）に示すように、当該変化部分の画像（部分画像）Ｔ２〜Ｔ３のみを残し他の領域をマスクすることで抽出される（ステップＳ１５）。

そして、前記抽出された変化部分の画像（部分画像）Ｔ２〜Ｔ３は、前記静止画部分画像メモリ２２ｆに記憶された先頭の静止画像データＧ１の中の特定部分画像Ｔ１に対応する一連の動画像データＧＢ２〜ＧＢ３として対応動画データメモリ２２ｇに登録される（ステップＳ１６）。

すると、前記静止画データメモリ２２ｅに記憶された先頭の静止画像データＧ１（図１４（Ａ））に対して、前記対応動画データメモリ２２ｇに記憶された一連の動画像データＧＢ２〜ＧＢ３（図１２（Ｂ）〜（Ｃ））を個々に合成することで、図１３（Ａ）〜（Ｃ）に示すように、一連の合成画像データＧ１ａ（＝Ｇ１）〜Ｇ１ｃが生成され、合成画像データメモリ２２ｈに記憶される（ステップＳ１７）。

これにより、集合写真として撮影した静止画像データＧ１を先頭とし、その中で大きく動いた（バンザイした）主要な被写体（Ｔ１〜Ｔ３）だけが動画として合成された一連の合成画像データＧ１ａ（＝Ｇ１）〜Ｇ１ｃが得られるようになる。

この後の表示設定データ（ＧＳ）の設定処理（ステップＳ１８）、および送信用データ（Ｇ１ａ〜Ｇ１ｃ：Ｔ１：ＧＳ）の生成・送信処理（ステップＳ１９〜Ｓ２２）に係る各動作は、前記（合成画像生成（実施例１））で説明した各動作と同様であるため、その説明は省略する。

（合成画像表示（実施例２））
図１５は、前記デジタルカメラ１０の合成画像表示処理に伴う一連の合成画像データＧ１ａ〜Ｇ１ｃの表示動作（実施例２）を示す図である。

この一連の合成画像データＧ１ａ〜Ｇ１ｃの表示動作（実施例２）では、前記（合成画像生成（実施例２））、前記（合成画像生成（実施例３））で生成されて合成画像データメモリ２２ｈに記憶された一連の合成画像データＧ１ａ〜Ｇ１ｃ（図１３参照）を表示する動作について説明する。

表示部１５に表示させる表示モードの選択画面に従って、合成画像の表示モードが選択されると、図５における合成画像表示処理プログラムが起動され、先ず、合成画像データメモリ１１ｈに記憶されている先頭の合成画像データＧ１ａ（先頭の静止画像データＧ１と同じ）が読み出され、図１５に示すように、表示部１５に表示される（ステップＡ１）。

すると、表示設定データメモリ２２ｉに記憶されている条件１の表示設定データＧＳに基づき、［部分画像指定時動画ＯＮ］または［ＯＦＦ］が判断され、［部分画像指定時動画ＯＮ］と判断された場合には（ステップＡ２（Ｙｅｓ））、方向ボタン１６および決定ボタン１７のユーザ操作に応じて前記表示中の合成画像データＧ１ａ（Ｇ１）上で移動表示され指定されるポインタＰの位置が、検知されたか否か判断される（ステップＡ３）。

ここで、図１５に示すように、前記表示中の合成画像データＧ１ａ（Ｇ１）上での位置指定が検知されたポインタＰの位置が（ステップＡ３（Ｙｅｓ））、静止画部分画像メモリ２２ｆに記憶されている特定（主要な被写体）の部分画像Ｔ１の位置と一致したと判断されると（ステップＡ４（Ｙｅｓ））、当該部分画像Ｔ１が枠で囲まれたり色変更されたりして識別表示Ｈされる（ステップＡ５）。これにより、前記合成画像データＧ１ａ（Ｇ１）内の主要な被写体が、ユーザ操作によって当てられたことが報知される。

するとこれ以降、前記表示中の先頭の合成画像データＧ１ａ（先頭の静止画像データＧ１と同じ）に続けて前記合成画像データメモリ２２ｈに記憶されている一連の合成画像データ〜Ｇ１ｂ〜Ｇ１ｃが読み出され、図１３（Ｂ）〜（Ｃ）に示すように、表示部１５に順次切り替えられて表示される（ステップＡ６）。

これにより、集合写真として撮影した静止画像データＧ１を先ず表示させた後に、注目すべき被写体（Ｔ１）の位置を指定すると、当該被写体（Ｔ１）だけ大きく動いた（バンザイした）動画として合成された一連の合成画像データＧ１ａ〜Ｇ１ｃが順次表示されるようになる。よって、例えば複数の人物が写っている集合写真の中で、注目すべき人物を容易に見つけることが可能な実用性の高い合成画像を簡単に生成して表示できる。

一方、前記ステップＡ２において、表示設定データメモリ２２ｉに記憶されている条件１の表示設定データＧＳに基づき、［部分画像指定時動画ＯＦＦ］と判断された場合（ステップＡ２（Ｎｏ））、または前記ステップＡ３において、表示中の先頭の合成画像データＧ１ａ（Ｇ１）上で移動表示され指定されるポインタＰの位置が検知されないと判断された場合（ステップＡ３（Ｎｏ））には、前記表示設定データメモリ２２ｉに記憶されている条件２の表示設定データＧＳに基づき、［一定時間後動画ＯＮ］または［ＯＦＦ］が判断される（ステップＡ７）。

ここで、［一定時間後動画ＯＮ］と判断された場合には（ステップＡ７（Ｙｅｓ））、前記ステップＡ１における先頭の合成画像データＧ１ａ（先頭の静止画像データＧ１）の表示時点から予め設定された一定時間（例えば１０秒）が経過したか否か判断される（ステップＡ８）。

そして、一定時間（例えば１０秒）が経過したと判断されると（ステップＡ８（Ｙｅｓ））、図１５に示すように、前記表示中の合成画像データＧ１ａ（Ｇ１）の中の特定（主要な被写体）の部分画像Ｔ１が枠で囲まれたり色変更されたりして識別表示Ｈされる（ステップＡ５）。

するとこれ以降、前記表示中の先頭の合成画像データＧ１ａ（先頭の静止画像データＧ１）に続けて前記合成画像データメモリ２２ｈに記憶されている一連の合成画像データ〜Ｇ１ｂ〜Ｇ１ｃが読み出され、図１３（Ｂ）〜（Ｃ）に示すように、表示部１５に順次切り替えられて表示される（ステップＡ６）。

これにより、集合写真として撮影した静止画像データＧ１を先ず表示させた後に、一定時間が経過すると、注目すべき被写体（Ｔ１）だけ大きく動いた（バンザイした）動画として合成された一連の合成画像データＧ１ａ〜Ｇ１ｃが順次表示されるようになる。よって、例えば複数の人物が写っている集合写真の中で、注目すべき人物を容易に見つけることが可能な実用性の高い合成画像を簡単に生成して表示できる。

一方、前記ステップＡ７において、表示設定データメモリ２２ｉに記憶されている条件２の表示設定データＧＳに基づき、［一定時間後動画ＯＦＦ］と判断された場合（ステップＡ７（Ｎｏ））、または前記ステップＡ８において、前記ステップＡ１における先頭の合成画像データＧ１ａ（先頭の静止画像データＧ１）の表示時点から予め設定された一定時間（例えば１０秒）が経過しないと判断された場合（ステップＡ８（Ｎｏ））には、本合成画像表示処理の終了操作がないことの判断処理（ステップＡ９（Ｎｏ））を経て、前記ステップＡ２からの処理に戻る。

したがって、前記構成のデジタルカメラ１０によれば、記念写真や集合写真などの撮影に伴い、通常のシャッタボタン１４の操作に応じて、予め設定された一定時間、一連の静止画像データ（または動画像データ）Ｇ１〜Ｇ３が撮影される。すると、撮影された一連の画像データＧ１〜Ｇ３の中で大きく変化した部分の画像Ｔ１〜Ｔ３、または顔画像登録データメモリ２２ｃに予め登録された顔画像と一致する顔画像を有する部分の画像Ｔ１〜Ｔ３が検知され、この検知された部分画像Ｔ１〜Ｔ３だけが主要な被写体の動画像データＧＢ１〜ＧＢ３として抽出される。すると、前記一連の静止画像データ（または動画像データ）Ｇ１〜Ｇ３のうち先頭の静止画像データＧ１に対して、前記抽出された主要な被写体（部分画像Ｔ１〜Ｔ３）だけの動画像データＧＢ１〜ＧＢ３を合成した合成画像データＧ１ａ〜Ｇ１ｃが生成される。

そして、前記生成された合成画像データＧ１ａ〜Ｇ１ｃは、その先頭の合成画像データＧ１ａ（先頭の静止画像データＧ１と同じ）が表示された後、前記検知された部分画像（主要な被写体）Ｔ１がユーザ操作に応じて指定されたか、または一定時間経過したかの判断に応じて順次表示される。

このため、特別面倒な操作を行う必要なく、複数の人物が写っている記念写真や集合写真の中で、注目すべき人物を容易に見つけることが可能な実用性の高い合成画像を簡単に生成して表示できる。

なお、前記各実施形態において記載した画像撮影表示装置による各処理の手法、すなわち、図４のフローチャートに示す撮影画像合成処理、図５のフローチャートに示す合成画像表示処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体２３に格納して配布することができる。そして、撮影画像を取得可能な種々のコンピュータ端末は、この外部記録媒体２３に記憶されたプログラムをメモリ２２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した一連の撮影画像からの主要な被写体を抽出した合成画像の生成・表示機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末（プログラムサーバ）から前記のプログラムデータを取り込み、前述した一連の撮影画像からの主要な被写体を抽出した合成画像の生成・表示機能を実現することもできる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

１０ …デジタルカメラ
１１ …撮像レンズ
１２ …距離センサ
１３ …ストロボ発光部
１４ …シャッタボタン
１５ …液晶表示部
１６ …方向ボタン
１７ …決定ボタン
２１ …ＣＰＵ
２２ …メモリ
２２ａ…撮影画像合成処理プログラム
２２ｂ…合成画像表示処理プログラム
２２ｃ…顔画像登録データメモリ
２２ｄ…撮影画像データ（Ｇ１，Ｇ２，…）メモリ
２２ｅ…静止画データ（Ｇ１）メモリ
２２ｆ…静止画部分画像（Ｔ１）メモリ
２２ｇ…対応動画データ（ＧＢ１，ＧＢ２，…）メモリ
２２ｈ…合成画像データ（Ｇ１ａ，Ｇ１ｂ，…）メモリ
２２ｉ…表示設定データ（ＧＳ）メモリ
２２ｊ…送信用データ（Ｇ１ａ，Ｇ１ｂ，…、Ｔ１、ＧＳ）メモリ
２３ …外部記録媒体
２４ …記録媒体読取部
２５ …伝送制御部
２６ …画像撮影部
２７ …入力部
３０ …サーバ装置
４０ …通信端末
Ｎ …通信ネットワーク
Ｗ …特定された部分画像Ｔ１を示す枠
Ｐ …ポインタ
Ｈ …識別表示

Claims (7)

1. 所定の操作に応じて時間の経過に従って連続して撮像された一連の画像のうち何れかを静止画像として取得する取得手段と、
   前記一連の画像の中で変化している各画像の部分画像を動画像として抽出する抽出手段と、
   前記取得手段により取得された静止画像の中の前記動画像に対応する部分画像を特定する静止画部分画像特定手段と、
   前記静止画部分画像特定手段により特定された静止画像の中の部分画像を前記抽出手段により抽出された動画像で置換するように前記静止画像と前記動画像とを個々に合成する合成手段と、
   前記取得手段により取得された前記静止画像の中の部分画像がユーザ操作に応じて指定されたか否かを判断する判断手段と、
   前記取得手段により取得された前記静止画像の中の部分画像が、前記判断手段によりユーザ操作に応じて指定されたと判断された場合、前記合成手段により個々に合成された一連の合成画像を表示手段に順次切り替え表示させる表示制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記判断手段は、前記表示制御手段により前記表示手段に静止画像が表示された後、当該静止画像の中の部分画像がユーザ操作に応じて指定されたか判断し、
   前記表示制御手段は、前記判断手段により前記静止画像の中の部分画像が指定されたと判断された場合に、前記一連の合成画像を順次切り替え表示させる、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記判断手段は、前記合成手段により前記動画像と合成された前記静止画像の中の部分画像がユーザ操作に応じて指定されたか否かを判断し、
   前記表示制御手段は、前記合成手段により前記動画像と合成された前記静止画像の中の部分画像が、前記判断手段によりユーザ操作に応じて指定されたと判断された場合、前記合成手段により個々に合成された一連の合成画像を表示手段に順次切り替え表示させる、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記抽出手段は、
   前記一連の画像の中で変化している部分画像を検知する変化部分検知手段を有し、
   前記合成手段は、前記取得手段により取得された静止画像に対して前記抽出手段により抽出された動画像を合成する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 予め顔画像を登録する顔画像登録手段を更に備え、
   前記抽出手段は、前記一連の画像の中で前記顔画像登録手段により登録された顔画像と同じ顔画像を含んでいる部分の画像を、前記動画像として抽出する、
   ことを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 撮像手段を更に備え、
   前記取得手段は、前記撮像手段により連続して撮像された一連の画像のうち何れかを静止画像として取得する、
   ことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. コンピュータを、
   所定の操作に応じて時間の経過に従って連続して撮像された一連の画像のうち何れかを静止画像として取得する取得手段と、
   前記一連の画像の中で変化している各画像の部分画像を動画像として抽出する抽出手段と、
   前記取得手段により取得された静止画像の中の前記動画像に対応する部分画像を特定する静止画部分画像特定手段と、
   前記静止画部分画像特定手段により特定された静止画像の中の部分画像を前記抽出手段により抽出された動画像で置換するように前記静止画像と前記動画像とを個々に合成する合成手段と、
   前記取得手段により取得された前記静止画像の中の部分画像がユーザ操作に応じて指定されたか否かを判断する判断手段と、
   前記取得手段により取得された前記静止画像の中の部分画像が、前記判断手段によりユーザ操作に応じて指定されたと判断された場合、前記合成手段により個々に合成された一連の合成画像を表示手段に順次切り替え表示させる表示制御手段と、
   して機能させることを特徴とするプログラム。

Images