JP5267279B2 - 画像合成装置及びプログラム - Google Patents

Description

本発明は、複数の画像を合成する画像合成装置及びプログラムに関する。

従来、被写体画像と背景用画像やフレーム画像を合成することにより合成画像を生成する技術が知られている（例えば、特許文献１参照）。

特開２００４−１５９１５８号公報

しかしながら、上記特許文献１のように静止画像どうしを合成した場合、合成後の画像において被写体の位置は合成位置で固定されたままであり、興趣に欠ける画像になってしまう。

そこで、本発明の課題は、合成後の画像に動きを与えることができ、興趣性の高い画像を生成することができる画像合成装置及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の画像合成装置は、
第１及び第２静止画像を取得する静止画取得手段と、前記第１及び第２静止画像とは異なる複数の画像に共通して含まれる被写体の前記複数の画像にわたる変化を検出する検出手段と、前記第２静止画像を背景として、前記検出手段によって検出された変化を反映して前記第１静止画像を合成した合成動画を生成する合成手段と、を備えたことを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像合成装置において、
前記被写体の前記複数の画像にわたる変化とは、前記複数の画像の画角における前記被写体の位置の単位時間当たりの変化、前記複数の画像における前記被写体の画像が占める範囲の単位時間当たりの変化、前記複数の画像の水平方向及び垂直方向の少なくとも一方に対する前記被写体の回転角度の単位時間当たりの変化の少なくとも何れか一つであることを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の画像合成装置において、
前記検出手段によって検出された変化を複数枚の画像として記憶する記憶手段を更に備え、前記合成手段は、前記記憶手段から複数枚の画像を読み出す読出手段と、前記第２静止画像を背景画像として、前記読出手段によって読み出された複数枚の画像の夫々における被写体の位置に前記第１静止画像を合成した合成静止画像を複数生成する生成手段と、を含むことを特徴としている。

請求項４に記載の発明は、請求項３に記載の画像合成装置において、
前記生成手段は、前記検出手段により検出された変化に基づいて、合成内容情報を順次生成する合成内容生成手段と、前記合成内容生成手段により順次生成された合成内容情報に応じて、前記第１静止画像の合成位置、大きさや形状、及び、回転角度のうち、少なくとも何れか一つを設定する設定手段と、を含むことを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像合成装置において、
連続した複数の静止画を含む動画像或いは連写画像を取得する画像取得手段を更に備え、前記検出手段は、前記画像取得手段により取得された前記動画像及び前記連写画像を前記第１及び第２静止画像とは異なる複数の画像として、これら複数の画像に共通して含まれる被写体の前記複数の画像にわたる変化を検出することを特徴としている。

請求項６に記載の発明は、請求項５に記載の画像合成装置において、
前記画像取得手段は、撮像手段を含むことを特徴としている。

請求項７に記載の発明は、請求項１〜６の何れか一項に記載の画像合成装置において、
前記第１静止画像は、所定の静止画像から特定の領域を抽出した抽出画像であることを特徴としている。

請求項８に記載の発明のプログラムは、
コンピュータを、第１及び第２静止画像を取得する静止画取得手段、前記第１及び第２静止画像とは異なる複数の画像に共通して含まれる被写体の前記複数の画像にわたる変化を検出する検出手段、前記第２静止画像を背景として、前記検出手段によって検出された変化を反映して前記第１静止画像を合成した合成動画を生成する合成手段、として機能させることを特徴としている。

本発明によれば、静止画像同士の合成後の画像に動きを与えることができ、興趣性の高い画像を生成することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図２の被写体切り抜き処理に係る画像の一例を模式的に示す図である。 図１の撮像装置による背景用画像生成処理に係る動作の一例を示すフローチャートである。 図１の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。 図５の合成画像生成処理における第１画像合成処理に係る動作の一例を示すフローチャートである。 図５の合成画像生成処理における第２画像合成処理に係る動作の一例を示すフローチャートである。 図５の合成画像生成処理にて画像合成される画像の一例を模式的に示す図である。 図５の合成画像生成処理に係る動画像データの一例を模式的に示す図である。 図９の動画像データから抽出された動く被写体の一例を模式的に示す図である。 図５の合成画像生成処理により生成された合成動画の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、動く被写体Ｏ（図９（ａ）等参照）の動きを記録した動き画像データに基づいて動く被写体Ｏの「動き情報」を検出し、検出された「動き情報」に基づいて、動く被写体Ｏの動きに応じて被写体切り抜き画像Ｐ３（図８（ｂ）参照）の被写体領域Ｓを所定動作させるように当該被写体切り抜き画像Ｐ３と背景用画像Ｐ４（図８（ａ）参照）とを合成して被写体合成画像Ｐ５（図１１（ａ）〜図１１（ｄ）参照）の合成動画を生成する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。

このように構成された撮像レンズ部１、電子撮像部２及び撮像制御部３は、撮像手段として、画像合成処理に係る被写体存在画像Ｐ１（図３（ａ）参照）や背景用画像Ｐ４（図８（ａ）参照）を撮像する。
また、撮像レンズ部１、電子撮像部２及び撮像制御部３は、被写体存在画像Ｐ１の撮像後、当該被写体存在画像Ｐ１の撮像の際の撮像条件を固定した状態で、被写体切り抜き画像Ｐ３（図３（ｃ）参照）の生成のための被写体非存在画像Ｐ２（図３（ｂ）参照）を撮像する。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３等によって処理されるデータ等を一時記憶する。

特徴量演算部６は、被写体非存在画像Ｐ２を基準として、当該被写体非存在画像Ｐ２から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６は、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。

ブロックマッチング部７は、被写体非存在画像Ｐ２と被写体存在画像Ｐ１の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像Ｐ１内のどこに対応するか、つまり、被写体存在画像Ｐ１内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。

画像処理部８は、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との位置合わせを行う位置合わせ部８ａを具備している。
位置合わせ部８ａは、被写体非存在画像Ｐ２から抽出した特徴点に基づいて、被写体非存在画像Ｐ２に対する被写体存在画像Ｐ１の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ１を座標変換して被写体非存在画像Ｐ２と位置合わせを行う。

また、画像処理部８は、位置合わせ部８ａにより位置合わせされた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在画像Ｐ１から被写体が含まれる被写体領域Ｓを抽出する被写体領域抽出部８ｂを具備している。

また、画像処理部８は、被写体存在画像Ｐ１内で抽出された被写体領域Ｓの位置を特定して、被写体存在画像Ｐ１における被写体領域Ｓの位置を示す位置情報を生成する位置情報生成部８ｃを具備している。
ここで、位置情報としては、例えば、アルファマップが挙げられ、アルファマップとは、被写体存在画像Ｐ１の各画素について、被写体領域Ｓの画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。

また、画像処理部８は、生成されたアルファマップに基づいて、被写体存在画像Ｐ１の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体の画像を所定の単一色画像と合成して被写体切り抜き画像Ｐ３（図３（ｃ）参照）の画像データを生成する切抜画像生成部８ｄを具備している。
これにより、切抜画像生成部８ｄは、背景と被写体とが存在する被写体存在画像Ｐ１から被写体が含まれる領域を切り抜いた被写体切り抜き画像Ｐ３を取得する。

また、画像処理部８は、動く被写体Ｏの動きを連続した複数の静止画を含む動画像又は連写画像で記録した動き画像データ（詳細後述）を取得する動き画像取得部８ｅを具備している。
具体的には、動き画像取得部８ｅは、記録媒体９に記録されている動き画像データのうち、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて指示された動き画像データを読み出して取得する。

また、画像処理部８は、動き画像取得部８ｅにより取得された動き画像データから動く被写体Ｏの「動き情報」を検出する動き検出部８ｆを具備している。
具体的には、動き検出部８ｆは、動き画像データに対して所定の画像処理を施すことにより当該動き画像データに含まれる動く被写体Ｏを特定して、当該動く被写体Ｏの単位時間当たりの「動き情報」（複数の画像に共通して含まれる動く被写体Ｏの複数の画像にわたる変化）を検出する。例えば、動き画像データとして、Ｍｏｔｉｏｎ−ＪＰＥＧ形式で記録された複数の画像フレームｆ１、…からなる動画像データＭが動き画像取得部８ｅにより取得された場合、動き検出部８ｆは、これら複数の画像フレームｆ１、…に対して、平滑化処理を行ってノイズを除去した後、マトリックス演算により１階微分処理を行って画素集合の輪郭線（エッジ部分）を抽出する。そして、動き検出部８ｆは、抽出処理後の画像に対してエッジの連結性を高めるために膨張処理を行った後、所定数よりも画素の連結数の少ない孤立した連結成分（画像集合）を除く処理を行って、面積が最大となる動く被写体Ｏの外周輪郭を特定することで、動く被写体Ｏの外周輪郭で囲まれた画像領域の位置を、各画像フレームｆ中の動く被写体Ｏの位置として特定する。

そして、動き検出部８ｆは、動画像データＭを構成する複数の画像フレームｆ、…の各々の動く被写体Ｏの位置に基づいて、各画像フレームｆ中の動く被写体Ｏの中心座標を特定するとともに、各画像フレームｆの所定位置（例えば、左端及び上端）から所定方向（例えば、左端から右端に向けてＸ軸方向や、上端から下端に向けてＹ軸方向等）に走査することで、当該動く被写体Ｏを囲む矩形枠Ｗ（図１０（ａ）等参照）を特定して、当該矩形枠ＷのＸ軸（水平）方向のサイズ及びＹ軸（垂直）方向のサイズ（縦横のサイズ）を算出する。
また、動き検出部８ｆは、最初の画像フレームｆ１の矩形枠Ｗに対する二番目以降の各画像フレームｆの矩形枠Ｗ（図１０（ｂ）〜図１０（ｄ）参照）の各角部の座標の移動量として相対位置情報を順次算出する。さらに、動き検出部８ｆは、最初の画像フレームｆ１の矩形枠Ｗに対する二番目以降の各画像フレームｆの矩形枠ＷのＸ軸方向及びＹ軸方向の変倍率として相対範囲情報を順次算出する。さらに、動き検出部８ｆは、最初の画像フレームｆ１の矩形枠Ｗに対する二番目以降の各画像フレームｆの矩形枠Ｗの回転角度として相対角度情報を順次算出する。
このように、動き検出部８ｆは、二番目以降の画像フレームｆ中の動く被写体Ｏの単位時間当たりの「動き情報」として、相対位置情報、相対範囲情報、相対角度情報を検出する。

なお、上記した動く被写体Ｏの特定の手法は、一例であってこれに限られるものではなく、適宜任意に変更しても良い。
例えば、最初の画像フレームｆ１にて、特定の被写体にピントが合っている場合には、ＡＦエリア（合焦箇所）内の撮像対象を動く被写体Ｏとして特定しても良い。また、二番目以降の画像フレームｆについては、最初の画像フレームｆ１から検出された動く被写体Ｏを動体として特定し、所定の動体解析技術を利用して隣合う画像フレームｆ間で動く被写体Ｏを追跡しても良い。
また、操作入力部１２としてタッチパネル（図示略）を表示画面に配設して、タッチパネルの接触位置に応じて動く被写体Ｏを特定するような構成としても良い。即ち、表示部１１に表示された画像フレームｆにおける動く被写体Ｏの位置を、ユーザによるタッチパネルの所定の接触操作により指示入力して、動き検出部８ｆは、タッチパネルの接触操作に基づいて入力された位置情報に基づいて動く被写体Ｏを特定するようにしても良い。
また、上記の各処理の高速化を図る上では、各画像フレームｆの解像度を低減させた低解像度画像を用いて行っても良い。

また、画像処理部８は、被写体切り抜き画像Ｐ３と背景用画像Ｐ４とを合成する画像合成部８ｇを具備している。具体的には、画像合成部８ｇは、記録媒体９からユーザ所望の背景用画像Ｐ４を取得して、当該背景用画像Ｐ４の各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし、さらに、背景用画像Ｐ４の各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））と合成する。

また、画像合成部８ｇは、被写体切り抜き画像Ｐ３の背景用画像Ｐ４に対する合成を制御する合成制御部８ｈを具備している。即ち、画像合成部８ｇは、合成制御部８ｈの制御下にて背景用画像Ｐ４に対する被写体切り抜き画像Ｐ３の合成位置、大きさ、形状及び回転角度等を調整して画像合成により複数の画像フレームｇ、…を生成して、当該複数の画像フレームｇ、…からなる被写体合成画像Ｐ５の合成動画を生成する。
具体的には、合成制御部８ｈは、動き検出部８ｆにより検出された相対位置情報、相対範囲情報、相対角度情報等の「動き情報」に基づいて、合成動画を構成する二番目以降の画像フレームｇについて被写体切り抜き画像Ｐ３の合成内容情報を順次生成する。
ここで、合成内容情報としては、相対位置情報に基づいて生成される被写体切り抜き画像Ｐ３の合成位置に係る被写体領域Ｓの中心座標や、相対範囲情報に基づいて生成される被写体切り抜き画像Ｐ３の合成サイズに係る最初の画像フレームｇ１に対する被写体領域Ｓの変倍率や、相対角度情報に基づいて生成される被写体切り抜き画像Ｐ３の合成の向きに係る最初の画像フレームｇ１に対する被写体領域Ｓの回転角度等が挙げられる。
そして、合成制御部８ｈは、被写体切り抜き画像Ｐ３の最初の画像フレームｇ１をユーザにより指定された所望の位置に画像合成部８ｇにより合成した後、二番目以降の画像フレームｇについて、順次生成された被写体切り抜き画像Ｐ３の合成内容情報に応じて当該被写体切り抜き画像Ｐ３の合成位置、大きさ、形状及び回転角度等を設定して画像合成部８ｇに合成させる。例えば、図１０に示したように、動画像データＭの二番目の画像フレームｆ２の動く被写体Ｏは、最初の画像フレームｆ１に対して合成位置が右側にずれているとともに、上下方向に伸びていることから、二番目の画像フレームｇ２は、被写体領域Ｓが動く被写体Ｏと略同様に最初の画像フレームｇ１に対して合成位置が右側にずれているとともに、上下方向に伸びるように形状を変化させて合成する。また、動画像データＭの三番目の画像フレームｆ３は、合成位置が二番目の画像フレームｆ２よりもさらに右側にずれているが、最初の画像フレームｆ１と大きさ及び形状が略等しくなっていることから、三番目の画像フレームｇ３は、被写体領域Ｓの合成位置が動く被写体Ｏと略同様に二番目の画像フレームｇ２よりもさらに右側にずれているが、最初の画像フレームｇ１と大きさ及び形状が略等しくなるように合成する。また、動画像データＭのｎ番目の画像フレームｆｎは、合成位置が三番目の画像フレームｆ３よりもさらに右側にずれているとともに、最初の画像フレームｆ１に対して上下方向に縮んでいることから、ｎ番目の画像フレームｇｎは、被写体領域Ｓの合成位置が動く被写体Ｏと略同様に三番目の画像フレームｇ３よりもさらに右側にずれているとともに、最初の画像フレームｇ１に対して上下方向に縮んだように合成する。

このように、画像合成部８ｇは、合成動画を構成する複数の画像フレームｇ、…について、背景用画像Ｐ４に対する被写体切り抜き画像Ｐ３の合成位置、大きさ、形状及び回転角度のうち、少なくとも何れか一を変えて合成して当該画像フレームｇを順次生成していくことで、動き検出部８ｆにより検出された「動き情報」に基づいて、動被写体切り抜き画像Ｐ３を所定動作させるように当該被写体切り抜き画像Ｐ３と背景用画像Ｐ４とを合成して合成動画を生成する。
なお、画像フレームｇの合成数は、例えば、動画像データＭの画像フレームｆ数と同じであっても良いし、生成される合成動画の時間に応じて予め指定された数であっても良い。

記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された背景用画像Ｐ４や被写体切り抜き画像Ｐ３の静止画像データを記憶する。
また、被写体切り抜き画像Ｐ３の画像データは、画像処理部８の位置情報生成部８ｃにより生成されたアルファマップと対応付けられて、当該被写体切り抜き画像Ｐ３の画像データの拡張子を「.jpe」として保存されている。

また、記録媒体９は、撮像レンズ部１、電子撮像部２及び撮像制御部３による動く被写体Ｏの撮像により生成された複数の画像フレームｆ、…を画像処理部８の符号化部（図示略）により所定の圧縮形式で符号化した動き画像データを記憶する。
動き画像データは、動く被写体Ｏの動きを所定の記録方式で記録したものであり、例えば、所定の撮像フレームレートで撮像された連続した複数の画像フレーム（例えば、ｎ枚の画像フレーム）ｆ、…からなる動画像データＭ（図９参照）や、所定のシャッタースピードで連写された連写画像データ等が挙げられる。
ここで、動画像データＭとしては、例えば、図９（ａ）〜図９（ｄ）に示すように、人物の跳躍動作を横から撮像してＭｏｔｉｏｎ−ＪＰＥＧ形式で記録したものが挙げられる。なお、図９（ａ）〜図９（ｄ）は、動画像データＭを構成する連続するｎ枚の画像フレームｆ１〜ｆｎを模式的に表しており、これらの画像フレームｆ１〜ｆｎを時間軸に沿って図９（ａ）〜図９（ｄ）として表すものとする。

表示制御部１０は、画像メモリ５に一時的に記憶されている表示用の画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。

表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１１は、撮像モードにて、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームｆ、…に基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。

操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン１２ａ、撮像モードや機能等の選択指示や被写体切り抜き画像Ｐ３の初期合成位置の設定指示に係る選択決定ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１３に出力する。

ＣＰＵ１３は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１３は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。

次に、撮像装置１００による被写体切り抜き処理について、図２及び図３を参照して説明する。
図２は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図３は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。
被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。

図２に示すように、先ず、ＣＰＵ１３は、表示制御部１０に、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１）。

次に、ＣＰＵ１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、被写体存在画像Ｐ１（図３（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させて、画像データ生成部４に、電子撮像部２から転送された被写体存在画像Ｐ１の画像フレームのＹＵＶデータを生成させる（ステップＳ３）。なお、当該被写体存在画像Ｐ１のＹＵＶデータは、画像メモリ５に一時記憶される。
また、ＣＰＵ１３は、撮像制御部３を制御して、当該被写体存在画像Ｐ１の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。

そして、ＣＰＵ１３は、表示制御部１０に、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の半透過の表示態様の画像と被写体非存在画像Ｐ２の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ４）。
この後、ＣＰＵ１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ５）。そして、ユーザは、被写体を画角外に移動させるか、或いは被写体が移動するのを待った後、ユーザにより被写体非存在画像Ｐ２が被写体存在画像Ｐ１の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１２のシャッタボタン１２ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ５；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、被写体非存在画像Ｐ２（図３（ｂ）参照）の光学像を被写体存在画像Ｐ１の撮像後に固定された条件で電子撮像部２により撮像させて、画像データ生成部４に、電子撮像部２から転送された被写体非存在画像Ｐ２の画像フレームに基づいて、被写体非存在画像Ｐ２のＹＵＶデータを生成させる（ステップＳ６）。なお、当該被写体存在画像Ｐ１のＹＵＶデータは、画像メモリ５に一時記憶される。

次に、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時記憶されている被写体非存在画像Ｐ２のＹＵＶデータを基準として、被写体存在画像Ｐ１のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ７）。
具体的には、特徴量演算部６は、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、画像処理部８の位置合わせ部８ａは、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１の射影変換行列を算出する。

次に、ＣＰＵ１３は、位置合わせ部８ａに、算出された射影変換行例に基づいて被写体存在画像Ｐ１を射影変換させることで、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ８）。

そして、ＣＰＵ１３は、画像処理部８の被写体領域抽出部８ｂに、被写体存在画像Ｐ１から被写体が含まれる被写体領域Ｓを抽出する処理を行わせる（ステップＳ９）。
具体的には、被写体領域抽出部８ｂは、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部８ｂは、ローパスフィルタをかけた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部８ｂは、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部８ｂは、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域Ｓとして特定し、収縮分を修正するための膨張処理を行う。

次に、ＣＰＵ１３は、画像処理部８の位置情報生成部８ｃに、抽出された被写体領域Ｓの被写体存在画像Ｐ１内での位置を示すアルファマップを生成させる（ステップＳ１０）。

その後、ＣＰＵ１３は、画像処理部８の切抜画像生成部８ｄに、被写体の画像を所定の単一色画像と合成した被写体切り抜き画像Ｐ３（図３（ｃ）参照）の画像データを生成する処理を行わせる（ステップＳ１１）。
具体的には、切抜画像生成部８ｄは、被写体存在画像Ｐ１、単一色画像及びアルファマップを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ１の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。

その後、ＣＰＵ１３は、記録媒体９の所定の記憶領域に、画像処理部８の位置情報生成部８ｃにより生成されたアルファマップと被写体切り抜き画像Ｐ３の画像データを対応付けて、当該被写体切り抜き画像Ｐ３の画像データの拡張子を「.jpe」として一ファイルで記憶させる（ステップＳ１２）。
これにより、被写体切り抜き処理を終了する。この結果、例えば、背景内から被写体として自動車が抽出された被写体切り抜き画像Ｐ３の静止画像データが生成される。

次に、撮像装置１００による背景用画像生成処理について、図４を参照して説明する。
図４は、背景用画像生成処理に係る動作の一例を示すフローチャートである。
背景用画像生成処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。

図４に示すように、先ず、ＣＰＵ１３は、表示制御部１０に、撮像レンズ部１、電子撮像部２及び撮像制御部３による背景用画像Ｐ４の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させる（ステップＳ２１）。

次に、ＣＰＵ１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２２；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、背景用画像Ｐ４（図８（ｂ）参照）の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ２３）。

続けて、ＣＰＵ１３は、画像データ生成部４に、電子撮像部２から転送された背景用画像Ｐ４の画像フレームのＹＵＶデータを生成させた後、記録媒体９の所定の記憶領域に、背景用画像Ｐ４のＹＵＶデータをＥｘｉｆ形式の画像ファイルとして記憶させる（ステップＳ２４）。
これにより、背景用画像生成処理を終了する。この結果、例えば、山林が記録された背景用画像Ｐ４の静止画像データが生成される。

次に、合成画像生成処理について図５〜図１１を参照して詳細に説明する。
図５は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図６は、合成画像生成処理における第１画像合成処理に係る動作の一例を示すフローチャートであり、図７は、合成画像生成処理における第２画像合成処理に係る動作の一例を示すフローチャートである。また、図８（ａ）及び図８（ｂ）は、合成画像生成処理にて画像合成される画像の一例を模式的に示す図である。また、図９（ａ）〜図９（ｄ）は、合成画像生成処理に係る動画像データの一例を模式的に示す図であり、図１０（ａ）〜図１０（ｄ）は、動画像データから抽出された動く被写体の一例を模式的に示す図である。また、図１１（ａ）〜図１１（ｄ）は、合成画像生成処理により生成された合成動画の一例を模式的に示す図である。

合成画像生成処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から画像合成モードが選択指示された場合に実行される処理である。
図５に示すように、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９に記録されている複数の画像の中で合成画像の背景となる所望の背景用画像Ｐ４（図８（ａ）参照）が選択して指定されると、画像処理部８は、指定された背景用画像Ｐ４の画像データを読み出して画像メモリ５に展開する（ステップＳ３１）。

次に、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の被写体切り抜き画像Ｐ３（図８（ｂ）参照）が選択して指定されると、画像処理部８は、指定された被写体切り抜き画像Ｐ３の画像データを読み出して画像メモリ５に展開する（ステップＳ３２）。
続けて、ＣＰＵ１３は、静止画像である被写体切り抜き画像Ｐ３の被写体領域Ｓの画像を所定動作させる合成動画の生成指示選択画面を表示部の表示画面に表示させて、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて合成動画の生成指示が入力されたか否かを判定する（ステップＳ３３）。

ここで、合成動画の生成指示が入力されたと判定されると（ステップＳ３３；ＹＥＳ）、ＣＰＵ１３は、記録媒体９に記録されている動き画像データのうち、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて指定された動き画像データを動き画像取得部８ｅに読み出させる（ステップＳ３４）。ここで、例えば、連写によりＭｏｔｉｏｎ−ＪＰＥＧ形式で記録された複数の画像フレームｆ、…からなる動画像データＭ（図９（ａ）〜図９（ｄ）参照）を、動き画像データとして読み出すものとする。
続けて、ＣＰＵ１３は、読み出された動画像データＭに対して所定の画像処理を施すことにより当該動画像データＭに含まれる動く被写体Ｏを特定し、この動く被写体Ｏの単位時間当たりの変化を「動き情報」として検出する（ステップＳ３５）。
ここで、上記の「動き情報」には、動画像データＭを構成する各画像フレームｆの画角における動く被写体Ｏの中心位置の単位時間当たりの変化（以下、相対位置情報という）、動画像データＭを構成する各画像フレームｆにおける動く被写体Ｏの画像が占める範囲の単位時間当たりの変化（以下、相対範囲情報という）、動画像データＭを構成する各画像フレームｆの水平方向及び垂直方向の少なくとも一方に対する、動く被写体Ｏの回転角度の単位時間当たりの変化（以下、相対角度情報という）が含まれる。
その後、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、合成動画の最初の画像フレームｆ１における被写体切り抜き画像Ｐ３の初期合成位置が決定されると（ステップＳ３６）、ＣＰＵ１３は、背景用画像Ｐ４と被写体切り抜き画像Ｐ３とを合成して合成動画を生成する第１画像合成処理を画像合成部８ｇに行わせる（ステップＳ３７）。
なお、被写体切り抜き画像Ｐ３の初期合成位置は、動き検出部８ｆにより検出された「動き情報」などに基づいて当該被写体切り抜き画像Ｐ３の被写体領域Ｓの画像が背景用画像Ｐ４からはみ出さないように画像合成部８ｇが自動的に決定するようにしても良い。

ここで、第１画像合成処理について図６のフローチャートを参照して詳細に説明する。
図６に示すように、画像合成部８ｇは、被写体切り抜き画像Ｐ３と対応付けて保存されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ５１）。
なお、図５のステップＳ３６にて背景用画像Ｐ４における被写体切り抜き画像Ｐ３の合成位置が決定された際に、背景用画像Ｐ４とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。

次に、画像合成部８ｇの合成制御部８ｈは、合成動画を構成する複数の画像フレームｇ、…のうち、処理対象に係る最初の画像フレームｇ１のフレーム番号として「１」を指定する（ステップＳ５２）。
次に、画像合成部８ｇは、背景用画像Ｐ４の何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ５３）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ５４）。具体的には、画像合成部８ｇは、背景用画像Ｐ４の何れか一の画素のうち、アルファ値が１の画素については（ステップＳ５４；α＝１）、被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし（ステップＳ５５）、アルファ値が０＜α＜１の画素については（ステップＳ５４；０＜α＜１）、１の補数（１−α）を用いて被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））と合成し（ステップＳ５６）、アルファ値が０の画素については（ステップＳ５４；α＝０）、何もせずに背景用画像Ｐ４を透過さるようにする。

続けて、画像合成部８ｇは、背景用画像Ｐ４の全ての画素について処理したか否かを判定する（ステップＳ５７）。
ここで、全ての画素について処理していないと判定されると（ステップＳ５７；ＮＯ）、画像合成部８ｇは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ５８）、処理をステップＳ５４に移行させる。
上記の処理を、ステップＳ５７にて全ての画素について処理したと判定されるまで（ステップＳ５７；ＹＥＳ）、繰り返すことで、画像合成部８ｇは、被写体切り抜き画像Ｐ３と背景用画像Ｐ４とを合成した被写体合成画像Ｐ５の合成動画を構成する最初の画像フレームｇ１（図１１（ａ）参照）を生成する。

そして、ステップＳ５７にて全ての画素について処理したと判定されると（ステップＳ５７；ＹＥＳ）、合成制御部８ｈは、合成動画を構成する全ての画像フレームｇについて処理したか否かを判定する（ステップＳ５９）。
ここで、全ての画像フレームｇについて処理していないと判定されると（ステップＳ５９；ＮＯ）、合成制御部８ｈは、合成動画を構成する複数の画像フレームｇ、…のうち、処理対象として次の画像フレームｇに係るフレーム番号を＋１インクリメントして指定する（ステップＳ６０）。これにより、二番目の画像フレームｇ２が画像合成処理の対象として指定される。

次に、合成制御部８ｈは、動き検出部８ｆにより検出された相対位置情報、相対範囲情報、相対角度情報等の「動き情報」に基づいて、合成動画を構成する二番目の画像フレームｇ２について、被写体切り抜き画像Ｐ３の合成位置に係る被写体領域Ｓの中心座標、最初の画像フレームｇ１に対する被写体領域Ｓが占める範囲、最初の画像フレームｇ１に対する被写体領域Ｓの回転角度等の合成内容情報を生成する（ステップＳ６１）。
続けて、合成制御部８ｈは、二番目の画像フレームｇ２について、順次生成された被写体切り抜き画像Ｐ３の合成内容情報に応じて当該被写体切り抜き画像Ｐ３の合成位置、大きさや形状、及び、回転角度等を設定する（ステップＳ６２）。このとき、合成制御部８ｈは、設定した被写体切り抜き画像Ｐ３の合成位置、大きさや形状、及び、回転角度等に応じてアルファマップにおける被写体領域部分（α＝１）及び被写体領域以外の部分（α＝０）を修正して、各画像フレームｇにおける被写体切り抜き画像Ｐ３とアルファマップとがずれないように調整する。

次に、画像合成部８ｇは、処理をステップＳ５３に移行させて、背景用画像Ｐ４の例えば左上隅部の画素からステップＳ５４〜Ｓ５８を順次行うことで、被写体切り抜き画像Ｐ３と背景用画像Ｐ４とを合成した被写体合成画像Ｐ５の合成動画を構成する二番目の画像フレームｇ２を生成する。これにより、最初の画像フレームｇ１に対して被写体領域Ｓの合成位置、大きさや形状、及び、回転角度等が調整された二番目の画像フレームｇ２（図１１（ｂ）参照）が生成される。
そして、二番目の画像フレームｇ２の生成が完了することによって、ステップＳ５７にて全ての画素について合成処理したと判定されると（ステップＳ５７；ＹＥＳ）、処理をステップＳ５８に移行させて、合成制御部８ｈは、合成動画を構成する全ての画像フレームｇについて合成処理したか否かを判定する（ステップＳ５９）。
上記の合成処理を、全ての画像フレームｇについて行った判定されるまで（ステップＳ５９；ＹＥＳ）、繰り返すことで、画像合成部８ｇは、被写体合成画像Ｐ５の合成動画を構成する全ての画像フレームｇ１〜ｇｎ（図１１（ａ）〜図１１（ｄ）参照）を生成する。
これにより、第１画像合成処理を終了する。

図５に示すように、その後、ＣＰＵ１３は、表示制御部１０に、画像合成部８ｇにより生成された複数の画像フレームｇ、…からなる被写体合成画像Ｐ５の合成動画の画像データに基づいて、各画像フレームｇを所定の表示フレームレートで切り換えて表示部１１の表示画面に再生表示させることで、背景用画像Ｐ４を背景として自動車（被写体領域Ｓ）が所定動作する被写体合成画像Ｐ５の合成動画を再生する（ステップＳ３８）。

一方、ステップＳ３３にて、合成動画の生成指示が入力されていないと判定されると（ステップＳ３３；ＮＯ）、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、ユーザ所望の被写体切り抜き画像Ｐ３の合成位置を指定して決定した後（ステップＳ３９）、ＣＰＵ１３は、背景用画像Ｐ４と被写体切り抜き画像Ｐ３とを合成して通常の静止画像である被写体合成画像を生成する第２画像合成処理を画像合成部８ｇに行わせる（ステップＳ４０）。

ここで、第２画像合成処理について図７を参照して詳細に説明する。
図７に示すように、画像合成部８ｇは、被写体切り抜き画像Ｐ３と対応付けて保存されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ７１）。
なお、図５のステップＳ３９にて背景用画像Ｐ４における被写体切り抜き画像Ｐ３の合成位置が決定された際に、背景用画像Ｐ４とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。

次に、画像合成部８ｇは、背景用画像Ｐ４の何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ７２）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ７３）。具体的には、画像合成部８ｇは、背景用画像Ｐ４の何れか一の画素のうち、アルファ値が１の画素については（ステップＳ７３；α＝１）、被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし（ステップＳ７４）、アルファ値が０＜α＜１の画素については（ステップＳ７３；０＜α＜１）、１の補数（１−α）を用いて被写体領域ＳＡを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを被写体領域ＳＡを切り抜いた画像（背景用画像×（１−α））と合成し（ステップＳ７５、アルファ値が０の画素については（ステップＳ７３；α＝０）、何もせずに背景用画像Ｐ４を透過さるようにする。

続けて、画像合成部８ｇは、背景用画像Ｐ４の全ての画素について処理したか否かを判定する（ステップＳ７６）。
ここで、全ての画素について処理していないと判定されると（ステップＳ７６；ＮＯ）、画像合成部８ｇは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ７７）、処理をステップＳ７３に移行させる。
上記の処理を、ステップＳ７６にて全ての画素について処理したと判定されるまで（ステップＳ７６；ＹＥＳ）、繰り返すことで、画像合成部８ｇは、被写体切り抜き画像Ｐ３と背景用画像Ｐ４とを合成した通常の静止画像である被写体合成画像の画像データを生成させる。
これにより、第２画像合成処理を終了する。

図５に示すように、その後、ＣＰＵ１３は、表示制御部１０に、画像合成部８ｇにより生成された被写体合成画像の画像データに基づいて、背景用画像Ｐ４に被写体が重畳された被写体合成画像（図示略）を表示部１１の表示画面に表示させる（ステップＳ３８）。
これにより、合成画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、動く被写体Ｏの「動き情報」を動き検出部８ｆにより検出し、当該「動き情報」を反映させて被写体切り抜き画像Ｐ３の被写体領域Ｓを所定動作させるように当該被写体切り抜き画像Ｐ３と背景用画像Ｐ４とを合成して被写体合成画像Ｐ５の合成動画を画像合成部８ｇにより生成する。
具体的には、動き検出部８ｆは、「動き情報」として、動き画像取得部８ｅにより取得された動画像データＭにおける画像フレームｆにわたる動く被写体Ｏの変化を「動き情報」として検出する。そして、合成制御部８ｈは、動き検出部８ｆにより検出された「動き情報」に基づいて、当該合成動画の画像フレームｆの各々を構成する被写体切り抜き画像Ｐ３の合成内容情報を順次生成して、順次生成された合成内容情報に応じて、被写体切り抜き画像Ｐ３の背景用画像Ｐ４における合成位置、大きさ、形状及び回転角度等を設定して、各画像フレームｇ毎に背景用画像Ｐ４と合成していくことで、複数の画像フレームｇ、…からなる被写体合成画像Ｐ５の合成動画を生成する。
従って、静止画像どうしの画像合成であっても、動き画像データから検出した動く被写体Ｏの「動き情報」に基づいて、当該動く被写体Ｏの動きと略等しい動作を合成後の被写体合成画像Ｐ５に与えることができ、興趣性の高い被写体合成画像Ｐ５を生成することができる。

また、動画像データＭから動く被写体Ｏの「動き情報」として当該動く被写体Ｏの位置、大きさ、形状、回転角度を検出するので、当該「動き情報」を用いることで被写体切り抜き画像Ｐ３の被写体領域Ｓの合成位置や向きだけでなく、大きさや形状も動的に変更することができ、静止画像どうしの画像合成であっても、表現力豊かな動きを付与することができる。

また、動く被写体Ｏを撮像することで連続した複数の静止画からなる動画像データＭ（動き画像データ）を生成して、動き画像取得部８ｅは、生成された動画像データＭを記録媒体９から取得することができる。
つまり、所定の動く被写体Ｏの動きが記録された動き画像データを記録媒体９に記録しておくだけで、この記録媒体９から動き画像データを取得して当該動き画像データに基づいて「動き情報」を生成することができ、当該撮像装置１００単体で被写体切り抜き画像Ｐ３の被写体領域Ｓを所定動作させるように被写体切り抜き画像Ｐ３と背景用画像Ｐ４とを合成して被写体合成画像Ｐ５を生成することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、動き画像データとして、Ｍｏｔｉｏｎ−ＪＰＥＧ形式で記録された動画像データＭを例示したが、これに限られるものではなく、例えば、連続した複数の静止画からなる連写画像であっても良い。この場合にあっても、上記実施形態と同様に、連続する静止画どうしの間で動く被写体Ｏの単位時間当たりの「動き情報」を検出して、当該「動き情報」に基づいて被写体切り抜き画像Ｐ３の被写体領域Ｓを所定動作させる。
また、前もって被写体切り抜き処理を実行して、当該処理により生成された複数の画像フレームｆ、…からなる被写体切り抜き画像Ｐ３の動画像データＭを利用して、「動き情報」を検出しても良い。この場合には、動く被写体Ｏである被写体領域Ｓが予め抽出されていることから、動く被写体Ｏの特定の処理を簡略化して、被写体切り抜き処理の高速化を図ることができる。

また、上記実施形態にあっては、動画像データＭの記録方式として、Ｍｏｔｉｏｎ−ＪＰＥＧ形式を例示したが、ＭＰＥＧ形式であっても良い。かかる場合には、動く被写体Ｏの動きを検出する際に、予め当該ＭＰＥＧ形式の動画像データＭを復号化して複数の画像フレームｆ、…を生成することで、画像フレームｆ間の動く被写体Ｏの動きの検出を行うことができる。

さらに、上記実施形態にあっては、「動き情報」としての相対位置情報、相対範囲情報、相対角度情報を、最初の画像フレームｆ１を基準として二番目以降の各画像フレームｆについて算出するようにしたが、これに限られるものではなく、連続する画像フレームｆ間で算出するようにしても良い。即ち、連続する画像フレームｆ間にて、矩形枠Ｗの各角部の座標の移動量として相対位置情報を算出し、矩形枠ＷのＸ軸方向及びＹ軸方向の変倍率として相対範囲情報を算出し、矩形枠Ｗの回転角度として相対角度情報を算出しても良い。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像合成装置として、撮像装置を例示したが、これに限られるものではい。例えば、被写体切り抜き画像Ｐ３、背景用画像Ｐ４及び動き画像データの生成は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された画像データのみを記録して、合成画像生成処理のみを実行する画像合成装置であっても良い。

加えて、上記実施形態にあっては、静止画取得手段、検出手段、合成制御手段としての機能を、ＣＰＵ１３の制御下にて、画像処理部８の切抜画像生成部８ｄ、動き検出部８ｆ、画像合成部８ｇが駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、静止画取得処理ルーチン、検出処理ルーチン、合成制御処理ルーチンを含むプログラムを記憶しておく。そして、静止画取得処理ルーチンによりＣＰＵ１３に、第１及び第２静止画像を取得させるようにしても良い。また、検出処理ルーチンによりＣＰＵ１３に、複数の画像に共通して含まれる被写体の複数の画像にわたる変化を検出させるようにしても良い。また、合成制御処理ルーチンによりＣＰＵ１３に、第２静止画像を背景として、検出された複数の画像にわたる変化を反映して第１静止画像を合成した合成動画を生成させるようにしても良い。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
８ 画像処理部
８ｄ 切抜画像生成部
８ｅ 動き画像取得部
８ｆ 動き検出部
８ｈ 画像合成部
８ｇ 合成制御部
９ 記録媒体
１１ 表示部
１３ ＣＰＵ

Claims (8)

1. 第１及び第２静止画像を取得する静止画取得手段と、
   前記第１及び第２静止画像とは異なる複数の画像に共通して含まれる被写体の前記複数の画像にわたる変化を検出する検出手段と、
   前記第２静止画像を背景として、前記検出手段によって検出された変化を反映して前記第１静止画像を合成した合成動画を生成する合成手段と、
   を備えたことを特徴とする画像合成装置。
2. 前記被写体の前記複数の画像にわたる変化とは、前記複数の画像の画角における前記被写体の位置の単位時間当たりの変化、前記複数の画像における前記被写体の画像が占める範囲の単位時間当たりの変化、前記複数の画像の水平方向及び垂直方向の少なくとも一方に対する前記被写体の回転角度の単位時間当たりの変化の少なくとも何れか一つであることを特徴とする請求項１に記載の画像合成装置。
3. 前記検出手段によって検出された変化を複数枚の画像として記憶する記憶手段を更に備え、
   前記合成手段は、
   前記記憶手段から複数枚の画像を読み出す読出手段と、
   前記第２静止画像を背景画像として、前記読出手段によって読み出された複数枚の画像の夫々における被写体の位置に前記第１静止画像を合成した合成静止画像を複数生成する生成手段と、
   を含むことを特徴とする請求項１又は２に記載の画像合成装置。
4. 前記生成手段は、
   前記検出手段により検出された変化に基づいて、合成内容情報を順次生成する合成内容生成手段と、
   前記合成内容生成手段により順次生成された合成内容情報に応じて、前記第１静止画像の合成位置、大きさや形状、及び、回転角度のうち、少なくとも何れか一つを設定する設定手段と、
   を含むことを特徴とする請求項３に記載の画像合成装置。
5. 連続した複数の静止画を含む動画像或いは連写画像を取得する画像取得手段を更に備え、
   前記検出手段は、前記画像取得手段により取得された前記動画像及び前記連写画像を前記第１及び第２静止画像とは異なる複数の画像として、これら複数の画像に共通して含まれる被写体の前記複数の画像にわたる変化を検出することを特徴とする請求項１〜４の何れか一項に記載の画像合成装置。
6. 前記画像取得手段は、撮像手段を含むことを特徴とする請求項５に記載の画像合成装置。
7. 前記第１静止画像は、所定の静止画像から特定の領域を抽出した抽出画像であることを特徴とする請求項１〜６の何れか一項に記載の画像合成装置。
8. コンピュータを、
   第１及び第２静止画像を取得する静止画取得手段、
   前記第１及び第２静止画像とは異なる複数の画像に共通して含まれる被写体の前記複数の画像にわたる変化を検出する検出手段、
   前記第２静止画像を背景として、前記検出手段によって検出された変化を反映して前記第１静止画像を合成した合成動画を生成する合成手段、
   として機能させることを特徴とするプログラム。

Images