JP5589333B2 - 画像合成装置、画像合成方法及びプログラム - Google Patents

Description

本発明は、画像合成装置、画像合成方法及びプログラムに関する。

従来、被写体画像と背景画像やフレームとを合成することにより合成画像を生成し、この合成画像を印刷する技術が知られている（例えば、特許文献１参照）。
また近年では、連写撮影により複数の画像を得、これらの画像から主要な被写体画像を夫々切り抜き、この切り抜かれた複数の被写体画像を順次切り換えて再生表示することにより動画の如く再生表示させる技術が登場している。

特開２００４−１５９１５８号公報

しかしながら、上記の特許文献１の技術は主たる目的がプリントであるため、切り抜かれた複数の被写体画像を背景画像やフレーム画像に合成するという思想そのものが無く、仮に合成したとしても、静止画の背景に被写体画像だけが動くという変化に乏しい合成動画像となってしまうといった問題が予期される。

そこで、本発明の課題は、興趣性の高い変化に富んだ合成動画像を生成することができる画像合成装置、画像合成方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の画像合成装置は、
複数の背景画像を取得する背景取得手段と、この背景取得手段により取得された複数の背景画像の撮像条件を取得する撮像条件取得手段と、被写体が連続して撮像された被写体画像から前記撮像条件取得手段により取得された撮像条件に応じた数の被写体画像を取得する被写体取得手段と、この被写体取得手段により取得された複数の前記被写体画像の各々と前記背景取得手段により取得された前記複数の背景画像の各々とを合成して合成動画像を生成する合成手段と、を備えたことを特徴としている。

請求項２に記載の画像合成装置は、請求項１に記載の画像合成装置において、
前記複数の背景画像から構成される背景画像群を複数記録する背景群記録手段と、この背景群記録手段に記録された複数の背景画像群の中から何れか一の背景画像群を指定する背景群指定手段と、を更に備え、前記背景取得手段は、前記背景群指定手段により指定された一の背景画像群を構成する前記複数の背景画像を取得することを特徴としている。

請求項３に記載の画像合成装置は、請求項１又は２に記載の画像合成装置において、
前記複数の背景画像を記録する背景記録手段と、この背景記録手段に記録された前記複数の背景画像の中から合成すべき背景画像を複数指定する背景指定手段と、を更に備え、前記背景取得手段は、前記背景指定手段により指定された複数の背景画像を取得することを特徴としている。

請求項４に記載の画像合成装置は、請求項１〜３の何れか一項に記載の画像合成装置において、
前記複数の背景画像は、連続して撮像された画像であることを特徴としている。

請求項５に記載の画像合成装置は、請求項１〜４の何れか一項に記載の画像合成装置において、
前記被写体取得手段は、前記背景取得手段により取得された前記複数の背景画像の撮像条件に基づいて撮像された前記被写体画像を取得することを特徴としている。

請求項６に記載の画像合成装置は、請求項４に記載の画像合成装置において、
前記被写体取得手段は、前記複数の背景画像が撮像された際の撮像フレームレートと同じ撮像フレームレートで撮像された被写体画像を取得することを特徴としている。

請求項７に記載の画像合成装置は、請求項１〜６の何れか一項に記載の画像合成装置において、
前記合成手段によって前記複数の背景画像と合成される被写体画像は、背景内に被写体が存在する被写体存在画像から被写体が含まれる被写体領域を抽出した画像であることを特徴としている。

請求項８に記載の画像合成装置は、請求項１〜７の何れか一項に記載の画像合成装置において、
撮像手段を更に備え、前記被写体取得手段は、前記撮像手段による連続撮像により前記背景取得手段によって取得した背景画像の数と少なくとも同数の被写体画像を取得することを特徴としている。
請求項９に記載の画像合成装置は、請求項１〜８の何れか一項に記載の画像合成装置において、
前記撮像条件取得手段によって取得された撮像条件に応じた撮像条件となるように、前記撮像手段による撮像を制御する撮像制御手段を更に備え、
前記被写体取得手段は、前記撮像制御手段の制御により前記撮像手段で撮像された被写体画像を取得することを特徴としている。
請求項１０に記載の画像合成装置は、請求項１〜８の何れか一項に記載の画像合成装置において、
前記撮像条件は、撮像フレームレート又は撮像数であることを特徴としている。

請求項１１に記載の発明の画像合成方法は、
複数の背景画像を取得する背景取得ステップと、この背景取得ステップにて取得された複数の背景画像の撮像条件を取得する撮像条件取得ステップと、被写体が連続して撮像された被写体画像から前記撮像条件取得ステップにて取得された撮像条件に応じた数の被写体画像を取得する被写体取得ステップと、この被写体取得ステップにて取得された複数の前記被写体画像の各々と前記背景取得ステップにて取得された前記複数の背景画像の各々とを合成して合成動画像を生成する合成ステップと、を実行することを特徴としている。

請求項１２に記載の発明のプログラムは、
画像合成装置のコンピュータを、複数の背景画像を取得する背景取得手段、この背景取得手段により取得された複数の背景画像の撮像条件を取得する撮像条件取得手段、被写体が連続して撮像された被写体画像から前記撮像条件取得手段により取得された撮像条件に応じた数の被写体画像を取得する被写体取得手段、この被写体取得手段により取得された複数の前記被写体画像の各々と前記背景取得手段により取得された前記複数の背景画像の各々とを合成して合成動画像を生成する合成手段、として機能させることを特徴としている。

本発明によれば、興趣性の高い変化に富んだ合成動画像を生成することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 背景画像生成処理に係る動作の一例を示すフローチャートである。 背景画像生成処理に係る背景画像の一例を示す図である。 合成画像生成処理に係る動作の一例を示すフローチャートである。 被写体切り抜き処理に係る画像の一例を模式的に示す図である。 被写体切り抜き画像の一例を示す図である。 合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。 画像合成処理を説明するための画像の一例を示す図である。 画像合成処理に係る合成画像の一例を示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、表示態様が異なる複数の背景画像Ｄ１〜Ｄｎ（図３参照）と同数の被写体切り抜き画像（被写体画像）Ｃ１〜Ｃｎ（図６参照）を撮像して、複数の背景画像Ｄ１〜Ｄｎの各々と被写体切り抜き画像Ｃ１〜Ｃｎの各々とを合成（図８参照）して合成動画像Ｍ（図９参照）を生成する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、画像処理部７と、記録媒体８と、表示制御部９と、表示部１０と、操作入力部１１と、ＣＰＵ１２とを備えている。
また、撮像制御部３と、特徴量演算部６と、画像処理部７と、ＣＰＵ１２は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮影時にライブビュー画像表示を行う場合には、撮像制御部３は、電子撮像部２により被写体を所定の撮像フレームレートで連続して撮像させて、各画像フレームを電子撮像部２から画像データ生成部４に逐次出力させる。

また、合成画像生成処理（後述）にて、背景画像Ｄ１〜Ｄｎの各々と合成される被写体切り抜き画像Ｃ１〜Ｃｎを生成する場合には、撮像制御部３は、当該背景画像Ｄ１〜Ｄｎの画像ファイルに付帯されたＥｘｉｆ情報から撮像フレームレート及び撮像数に係るデータを読み出す。そして、撮像制御部３は、読み出された背景画像の撮像フレームレート及び撮像数と同じ撮像条件で被写体存在画像Ａ１〜Ａｎを電子撮像部２に撮像させる。例えば、背景画像Ｄ１〜Ｄｎの画像ファイルに付帯されたＥｘｉｆ情報から読み出された撮像フレームレートデータが１０ｆｐｓで撮像数データが２０枚の場合、撮像制御部３は、撮像フレームレート１０ｆｐｓで被写体存在画像Ａ１〜Ａｎを電子撮像部２に２０枚撮像させる。

また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、特徴量演算部６と、画像処理部７と、ＣＰＵ１２等によって処理されるデータ等を一時記憶する。

特徴量演算部６は、被写体Ｓが存在する被写体存在画像Ａ１〜Ａｎ（図５参照）から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６は、被写体存在画像Ａ１〜ＡｎのＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。

画像処理部７は、背景取得部７ａと、被写体取得制御部７ｂと、画像合成部７ｅとを具備している。

背景取得部７ａは、複数の背景画像Ｄ１〜Ｄｎを取得する。
即ち、背景取得部７ａは、合成画像生成処理にて、ユーザ所望の一の背景画像群Ｄを構成する表示態様の異なる背景画像Ｄ１〜Ｄｎを取得する。具体的には、合成画像生成処理にて、ユーザによる選択決定ボタン１１ｂの所定操作に基づいて、表示部１０の再生表示画面に表示された複数の背景画像群の中から何れか一の背景画像群（例えば、背景画像群Ｄ）が指定されると、背景取得部７ａは、指定された背景画像群Ｄを構成する背景画像Ｄ１〜Ｄｎの画像データを記録媒体８から読み出して取得する。
また、背景取得部７ａは、背景画像Ｄ１〜Ｄｎの画像データの取得の際に、当該背景画像Ｄ１〜Ｄｎの連続撮像の際の撮像フレームレート及び撮像数（撮像条件）に係るデータを背景画像Ｄ１〜Ｄｎの画像データに付帯されたＥｘｉｆ情報から読み出して取得する。

被写体取得制御部７ｂは、切り抜き画像生成部７ｃ及び被写体取得部７ｄを有し、当該切り抜き画像生成部７ｃ及び被写体取得部７ｄに、背景取得部７ａにより取得された背景画像Ｄ１〜Ｄｎの数と同数の被写体切り抜き画像Ｃ１〜Ｃｎを取得する処理を行わせる。
即ち、被写体取得制御部７ｂは、例えば、合成画像生成処理にて、撮像制御部３を制御して、背景取得部７ａにより取得された背景画像Ｄ１〜Ｄｎの撮像の際の撮像数や撮像フレームレート等の撮像条件と同じ条件で被写体存在画像Ａ１〜Ａｎを電子撮像部２により撮像させる。そして、被写体取得制御部７ｂの切り抜き画像生成部７ｃは、被写体存在画像Ａ１〜Ａｎの各々から被写体Ｓが含まれる領域を抽出した被写体切り抜き画像Ｃ１〜Ｃｎを生成する処理を行う。

切り抜き画像生成部７ｃは、具体的には、被写体領域抽出部と、位置情報生成部等（何れも図示略）を備えている。
被写体領域抽出部は、被写体存在画像Ａ１〜Ａｎの各々から被写体Ｓが含まれる被写体領域を抽出する。例えば、被写体領域抽出部は、被写体存在画像Ａ１〜ＡｎのＹＵＶデータの各々に対して、特徴量演算部６によって得られた色情報や輝度情報などの特徴量に基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択し、選択されたブロック領域のうち一番大きな島のパターンを被写体領域として特定し、収縮分を修正するための膨張処理を行う。
位置情報生成部は、各被写体存在画像Ａ１〜Ａｎ内で抽出された被写体領域の位置を特定して、被写体存在画像Ａ１〜Ａｎの各々における被写体領域の位置を示す位置情報を生成する。
ここで、位置情報としては、例えば、アルファマップが挙げられ、アルファマップとは、各被写体存在画像Ａ１〜Ａｎの各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。

そして、切り抜き画像生成部７ｃは、位置情報生成部により生成されたアルファマップに基づいて、被写体存在画像Ａ１〜Ａｎそれぞれの各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体Ｓの画像を所定の単一色画像と合成して被写体切り抜き画像Ｃ１〜Ｃｎ各々の画像データを生成する。

被写体取得部７ｄは、背景取得部７ａにより取得された背景画像Ｄ１〜Ｄｎの数と同数の被写体切り抜き画像Ｃ１〜Ｃｎを取得する。
即ち、被写体取得制御部７ｂは、合成画像生成処理にて、背景取得部７ａにより取得された背景画像Ｄ１〜Ｄｎの撮像条件（撮像数や撮像フレームレート等）と同じ条件で電子撮像部２により撮像された被写体存在画像Ａ１〜Ａｎの各々から被写体Ｓが含まれる領域を抽出した被写体切り抜き画像Ｃ１〜Ｃｎを切り抜き画像生成部７ｃに生成させる。そして、被写体取得部７ｄは、切り抜き画像生成部７ｃにより生成された被写体切り抜き画像Ｃ１〜Ｃｎを取得する。
これにより、被写体取得部７ｄにより取得された被写体切り抜き画像Ｃ１〜Ｃｎと、背景取得部７ａにより取得された背景画像Ｄ１〜Ｄｎの数は同数となる。

画像合成部７ｅは、複数の被写体切り抜き画像Ｃ１〜Ｃｎと複数の背景画像Ｄ１〜Ｄｎのそれぞれとを合成し合成画像Ｍ１〜Ｍｎを生成する。即ち、画像合成部７ｅは、複数の被写体切り抜き画像Ｃ１〜Ｃｎと複数の背景画像Ｄ１〜Ｄｎについて、１枚目どうし（図８（ａ）参照）、２枚目どうし（図８（ｂ）参照）、３枚目どうし（図８（ｃ）参照）、…Ｎ枚目どうし（図８（ｄ）参照）というようにそれぞれの画像の撮像順に合成する。
具体的には、画像合成部７ｅは、１枚目の背景画像Ｄ１の各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は１枚目の被写体切り抜き画像Ｃ１の対応する画素の画素値で上書きし、さらに、背景画像Ｄ１の各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｃ１を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｃ１から減算し、それを被写体領域を切り抜いた画像（背景用画像×（１−α））と合成する。
また、画像合成部７ｅは、２枚目以降の被写体切り抜き画像Ｃ２…と背景画像Ｄ２…についても、上記説明したものと略同様の合成処理を行う。これにより、全ての被写体切り抜き画像Ｃ１〜Ｃｎと背景画像Ｄ１〜Ｄｎについて合成処理を行い、複数の合成画像Ｍ１〜Ｍｎから構成される合成動画像Ｍ（図９参照）を生成する。

記録媒体８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部７の符号化部（図示略）により符号化された複数の背景画像（背景画像Ｄ１〜Ｄｎ等）から構成される背景画像群をそれぞれ一画像ファイルとして複数記録する。
また、背景画像Ｄ１〜Ｄｎの画像データは、当該背景画像Ｄ１〜Ｄｎを連続撮像した際の撮像フレームレート及び撮像数（撮像条件）がＥｘｉｆ情報として付帯されたＥｘｉｆ形式の画像ファイルから構成されている。

表示制御部９は、画像メモリ５に一時的に記憶されている表示用の画像データを読み出して表示部１０に表示させる制御を行う。
具体的には、表示制御部９は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１２の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１０に出力する。

表示部１０は、例えば、液晶表示装置であり、表示制御部９からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１０は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。

操作入力部１１は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１１は、被写体の撮影指示に係るシャッタボタン１１ａ、撮像モードや機能等の選択指示や被写体切り抜き画像Ｃ１〜Ｃｎの各々における被写体領域の基準合成位置の設定指示、表示部１０の表示画面上に表示された複数の背景画像群の中から一の背景画像群を指定する指定指示等に係る選択決定ボタン１１ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１２に出力する。

ＣＰＵ１２は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１２は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。

次に、撮像装置１００による背景画像生成処理について、図２及び図３を参照して説明する。
背景画像生成処理は、ユーザによる選択決定ボタン１１ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から連続撮像モードが選択指示された場合に実行される処理である。なお、本実施形態の背景画像生成処理では、ユーザによる選択決定ボタン１１ｂの所定操作に基づいて、撮像条件として撮像フレームレートが１０ｆｐｓ、撮像数が２０枚に設定されているものとする。

図２に示すように、先ず、ＣＰＵ１２は、表示制御部９に、レンズ部１、電子撮像部２及び撮像制御部３による背景画像Ｄ１〜Ｄｎの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面に表示させる（ステップＳ１）。

次に、ＣＰＵ１２は、ユーザによるシャッタボタン１１ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、ＣＰＵ１２は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件やホワイトバランス等の条件を調整させて、背景画像Ｄ１〜Ｄｎの光学像を撮像フレームレート１０ｆｐｓで電子撮像部２により２０枚撮像させて画像データ生成部４に、電子撮像部２から転送された各背景画像Ｄ１〜ＤｎのＹＵＶデータを生成させる（ステップＳ３）。そして、ＣＰＵ１２は、各背景画像Ｄ１〜ＤｎのＹＵＶデータと当該背景画像Ｄ１〜Ｄｎを連続撮像した際の撮像フレームレート及び撮像数のデータとを対応付けて記録媒体８に記録する（ステップＳ４）。
これにより、背景画像生成処理を終了する。この結果、例えば、トラックが左側から右側に走行する複数の背景画像Ｄ１〜Ｄｎ（図３参照）の画像データが生成される。

次に、撮像装置１００による合成画像生成処理について、図４〜図９を参照して説明する。
合成画像生成処理は、ユーザによる選択決定ボタン１１ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から合成画像生成モードが選択指示された場合に実行される処理である。

図４に示すように、先ず、ＣＰＵ１２は、ユーザによる選択決定ボタン１１ｂの所定操作に基づいて、表示部１０の再生表示画面に表示された複数の背景画像群の中から何れか一の背景画像群（例えば、背景画像群Ｄ）が指定されたか否かを判定する（ステップＳ１１）。そして、背景画像群Ｄが指定されたと判定されると（ステップＳ１１；ＹＥＳ）、ＣＰＵ１２は、記録媒体８から背景画像群Ｄの画像データと当該画像データと対応付けられて記憶された撮像条件（撮像フレームレート及び撮像数）を読み出して背景取得部７ａに取得させる（ステップＳ１２）。

次に、ＣＰＵ１２は、取得された背景画像群Ｄを構成する複数の背景画像Ｄ１〜Ｄｎと対応付けられて記憶された撮像条件（撮像フレームレート及び撮像数）を読み出す。そして、ＣＰＵ１２は、当該撮像条件を設定する処理を撮像制御部３に行わせる（ステップＳ１３）。

続けて、ＣＰＵ１２は、表示制御部９に、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面に表示させるとともに、当該ライブビュー画像に透過させて、ステップＳ１１で指定された背景画像群の中の何れか一の背景画像を表示部１０の表示画面に表示させる（ステップＳ１４）。

次に、ＣＰＵ１２は、ユーザによるシャッタボタン１１ａの全押し操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ１５）。ここで、撮像指示が入力されたと判定されると（ステップＳ１５；ＹＥＳ）、ＣＰＵ１２は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件やホワイトバランス等の条件を調整させて、被写体存在画像Ａ１〜Ａｎの光学像を撮像フレームレート１０ｆｐｓで電子撮像部２により２０枚連続して撮像させ、画像データ生成部４に、電子撮像部２から転送された各被写体存在画像Ａ１〜ＡｎのＹＵＶデータを生成させる（ステップＳ１６）。なお、各被写体存在画像Ａ１〜ＡｎのＹＵＶデータは、画像メモリ５に一時記憶される。
また、ＣＰＵ１２は、撮像制御部３を制御して、当該被写体存在画像Ａ１〜Ａｎの撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。

次に、ＣＰＵ１２は、切り抜き画像生成部７ｃに、画像メモリ５に一時記憶された各被写体存在画像Ａ１〜Ａｎの各画像データに含まれる被写体Ｓの画像を所定の単一色画像と合成した被写体切り抜き画像Ｃ１〜Ｃｎの画像データを生成する処理を行わせる（ステップＳ１７）。
即ち、切り抜き画像生成部７ｃは、１枚目の被写体存在画像Ａ１、２枚目の被写体存在画像Ａ２、３枚目の被写体存在画像Ａ３、…Ｎ枚目の被写体存在画像Ａｎというようにそれぞれの画像の撮像順に、所定の単一色画像とそれぞれ合成した被写体切り抜き画像Ｃ１〜Ｃｎの画像データを生成する。
具体的には、先ず特徴量演算部６によって、各被写体存在画像Ａ１〜Ａｎについて色情報や輝度情報などの特徴量を演算し、その特徴量から各被写体存在画像Ａ１〜Ａｎに含まれる被写体Ｓを認識する。切り抜き画像生成部７ｃは、特徴量演算部６の認識結果に基づいて各被写体存在画像Ａ１〜Ａｎの特徴量各画像データから被写体Ｓを抽出する。次に、ＣＰＵ１２は、切り抜き画像生成部７ｃに抽出された被写体領域の各被写体存在画像Ａ１〜Ａｎ内での位置を示すアルファマップをそれぞれ生成させる。
その後、ＣＰＵ１２は、切り抜き画像生成部７ｃに、被写体Ｓの画像を所定の単一色画像と合成した被写体切り抜き画像Ｃ１〜Ｃｎの画像データを生成する処理を行わせる。
即ち、切り抜き画像生成部７ｃは、１枚目の被写体存在画像Ａ１、単一色画像及び被写体存在画像Ａ１と対応するアルファマップを読み出して画像メモリ５に展開した後、被写体存在画像Ａ１の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。
また、切り抜き画像生成部７ｃは、２枚目以降の被写体存在画像Ａ２…についても同様の処理を行う。これにより、全ての被写体存在画像Ａ１〜Ａｎについて切抜画像生成処理を行い、複数の被写体切り抜き画像Ｃ１〜Ｃｎを生成する。

そして、被写体取得部７ｄは、切り抜き画像生成部７ｃにより生成された各被写体切り抜き画像Ｃ１〜Ｃｎの画像データを対応付けて一の画像ファイルとして取得して、画像メモリ５に一時記憶する。
これにより、被写体切り抜き処理を終了する。この結果、背景内から被写体Ｓ（例えば、人）（図５参照）が抽出された被写体切り抜き画像Ｃ１〜Ｃｎ（図６参照）の画像データが生成される。

次に、ＣＰＵ１２は、背景画像Ｄ１〜Ｄｎの各々と被写体切り抜き画像Ｃ１〜Ｃｎの各々とを合成して合成画像Ｍ１〜Ｍｎからなる合成動画像Ｍを生成する画像合成処理を画像合成部７ｅに行わせる（ステップＳ１８）。

ここで、画像合成処理について図７〜図９を参照して詳細に説明する。
画像合成処理は、複数の被写体切り抜き画像Ｃ１〜Ｃｎと複数の背景画像Ｄ１〜Ｄｎについて、１枚目どうし、２枚目どうし、３枚目どうし、…Ｎ枚目どうしというようにそれぞれの画像の撮像順に合成処理を行う。
図７に示すように、先ず、画像合成部７ｅは、被写体取得部７ｄにより取得された被写体切り抜き画像Ｃ１〜Ｃｎの中から１枚目の被写体切り抜き画像Ｃ１と１枚目の背景画像Ｄ１のＹＵＶデータを指定する（ステップＳ４１）。

次に、画像合成部７ｅは、１枚目の被写体切り抜き画像Ｃ１と対応付けて保存されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ４２）。

次に、画像合成部７ｅは、１枚目の背景画像Ｄ１の何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ４３）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ４４）。具体的には、画像合成部７ｅは、当該背景画像Ｄ１の何れか一の画素のうち、アルファ値が１の画素については（ステップＳ４５；α＝１）、１枚目の被写体切り抜き画像Ｃ１の対応する画素の画素値で上書きし（ステップＳ４５）、アルファ値が０＜α＜１の画素については（ステップＳ４６；０＜α＜１）、１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて１枚目の被写体切り抜き画像Ｃ１を生成した際に単一背景色とブレンドした値を計算し、当該値を１枚目の被写体切り抜き画像Ｃ１から減算し、それを被写体領域を切り抜いた画像（背景用画像×（１−α））と合成し（ステップＳ４６）、アルファ値が０の画素については（ステップＳ４４；α＝０）、何もせずに当該１枚目の背景画像Ｄ１を透過させるようにする。

続けて、画像合成部７ｅは、当該１枚目の背景画像Ｄ１の全ての画素について処理したか否かを判定する（ステップＳ４７）。
ここで、全ての画素について処理していないと判定されると（ステップＳ４７；ＮＯ）、画像合成部７ｅは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ４８）、処理をステップＳ４４に移行させる。
上記の処理を、ステップＳ４７にて全ての画素について処理したと判定されるまで（ステップＳ４７；ＹＥＳ）繰り返すことで、画像合成部７ｅは、１枚目の被写体切り抜き画像Ｃ１と１枚目の背景画像Ｄ１とを合成した合成動画像Ｍを構成する１枚目の合成画像Ｍ１を生成する。

次に、画像合成部７ｅは、複数の被写体切り抜き画像Ｃ１〜Ｃｎの全ての画像について合成処理したか否かを判定する（ステップＳ４９）。
ここで、全ての画像について合成処理していないと判定されると（ステップＳ４９；ＮＯ）、画像合成部７ｅは、処理対象として次の画像（例えば、２枚目の被写体切り抜き画像Ｃ２と２枚目の背景画像Ｄ２）を指定して当該画像に処理対象を移動させて（ステップＳ５０）、処理をステップＳ４２に移行させる。
上記の処理を、ステップＳ４９にて全ての画像について処理したと判定されるまで（ステップＳ４９；ＹＥＳ）繰り返すことで、画像合成部７ｅは、被写体切り抜き画像Ｃ１〜Ｃｎの各々と背景画像Ｄ１〜Ｄｎの各々とを合成し合成画像Ｍ１〜Ｍｎを生成する。
これにより、画像合成処理を終了する。そしてこのように生成された合成画像Ｍ１〜Ｍｎは、Ｍ１→Ｍ２→Ｍ３→……→Ｍｎと順次切り換えて表示されることで合成動画像Ｍとして再生される。

そして、図４に戻り、ＣＰＵ１２は、記録媒体８の所定の記憶領域に、合成画像Ｍ１〜Ｍｎの画像データの拡張子を「.jpg」とした複数の画像ファイルからなるグループを記憶させる（ステップＳ１９）。
尚、合成動画像Ｍはそれ自体ファイルとして存在せず、合成画像Ｍ１〜Ｍｎの集合体として存在するようにしたが、合成画像Ｍ１〜Ｍｎをフレーム（コマ）としたＭｏｔｉｏｎ ＪＰＥＧからなる動画ファイル（拡張子は「.avi」）、若しくは、ＭＰＥＧに準拠したファイル形式で圧縮符号化された動画ファイル（拡張子は「.mpg」、「.mov」、「.3g2」、「.3gp」等）として記憶させてもよい。
これにより、合成画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、複数の背景画像Ｄ１〜Ｄｎと同数の被写体切り抜き画像Ｃ１〜Ｃｎを取得し、その複数の背景画像Ｄ１〜Ｄｎの各々と複数の被写体切り抜き画像Ｃ１〜Ｃｎの各々とを、１枚目どうし、２枚目どうし、…Ｎ枚目どうしというようにそれぞれの画像の撮像順に合成して合成動画像Ｍを生成することができるので、被写体切り抜き画像Ｃ１〜Ｃｎに係る被写体Ｓだけでなく、背景画像Ｄ１〜Ｄｎに係る背景にも動きが生じ、従来のように背景が動かないというような違和感を軽減させることができ、興趣性の高い変化に富んだ合成動画像Ｍを生成することができる。
また、複数の背景画像Ｄ１〜Ｄｎの数と少なくとも同数の被写体切り抜き画像Ｃ１〜Ｃｎを取得するので、画像合成処理に係る背景画像Ｄ１〜Ｄｎ及び被写体切り抜き画像Ｃ１〜Ｃｎの数を揃えることができ、画像合成処理を適正に行うことができる。即ち、例えば、背景画像Ｄ１〜Ｄｎ及び被写体切り抜き画像Ｃ１〜Ｃｎのうち、何れか一方の画像が足りなくなった場合に、少ない方の画像に合わせたユーザ所望の数よりも少ない合成枚数での画像合成処理や、当該足りなくなった分の画像を後から追加生成するといった煩雑な処理を回避することができ、画像合成処理を適正に行うことができる。

また、合成動画像の生成に係る背景画像Ｄ１〜Ｄｎとして、記録媒体８に記録された複数の背景画像群の中から、ユーザ所望の背景画像群Ｄを指定することで、当該背景画像群Ｄを構成する複数の背景画像Ｄ１〜Ｄｎを取得するので、背景画像の選択の自由度を上げることができる。さらに、取得された背景画像Ｄ１〜Ｄｎの数と少なくとも同数の被写体切り抜き画像Ｃ１〜Ｃｎを取得することができ、画像合成処理に係る背景画像Ｄ１〜Ｄｎ及び被写体切り抜き画像Ｃ１〜Ｃｎの数を揃えて画像合成処理を適正に行うことができる。

また、複数の背景画像Ｄ１〜Ｄｎは、連続して撮像された画像であるので、当該複数の背景画像Ｄ１〜Ｄｎに係る背景にストーリー性を持たせることができるようになり、より興趣性の高い合成動画像を生成することができる。

また、背景取得部７ａにより取得された複数の背景画像Ｄ１〜Ｄｎの撮像条件に基づいて複数の被写体切り抜き画像Ｃ１〜Ｃｎを取得することができる。特に、当該複数の背景画像Ｄ１〜Ｄｎの撮像の際の撮像フレームレートと同じ撮像フレームレートで複数の被写体切り抜き画像Ｃ１〜Ｃｎを取得することができるので、背景画像Ｄ１〜Ｄｎと被写体切り抜き画像Ｃ１〜Ｃｎとの撮影間隔を合わせることができ、より違和感を軽減させて、興趣性の高い変化に富んだ合成動画像を生成することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、背景画像Ｄ１〜Ｄｎの取得に際して、記録媒体８に記録された背景画像群の中から一の背景画像群Ｄを指定するようにしたが、背景画像の取得方法はこれに限られるものではなく、複数の背景画像を取得する方法であれば適宜任意に変更することができる。
即ち、例えば、記録媒体８（背景記録手段）に複数の背景画像を記録しておき、ユーザによる選択決定ボタン１１ｂ（背景指定手段）の所定操作に基づいて、当該複数の背景画像の中からユーザ所望の背景画像を複数指定して、複数の背景画像Ｄ１〜Ｄｎを取得するようにしても良い。

これにより、記録媒体８に記録された複数の背景画像の中から、ユーザは所望の背景画像を一つ一つ選択指定して組み合わせることができ、背景画像の選択の自由度を更に上げることができ、当該撮像装置１００の使い勝手をより向上させることができる。例えば、表示態様が異なる２枚の背景画像（例えば、赤色の背景画像と白色の背景画像）が交互に表示されるように当該２枚の背景画像を所定組取得するようにしても良い。これにより、興趣性の高い変化に富んだ合成動画像を生成することができる。

また、上記実施形態にあっては、被写体取得部７ｄにより被写体切り抜き画像Ｃ１〜Ｃｎを取得する場合に、背景取得部７ａにより取得された背景画像Ｄ１〜Ｄｎの数と同数の被写体存在画像Ａ１〜Ａｎを撮像するようにしたが、例えば、被写体取得部７ｄにより複数の被写体切り抜き画像Ｃ１〜Ｃｎを取得する場合には、背景取得部７ａにより取得された複数の背景画像Ｄ１〜Ｄｎの数よりも所定の数だけ多く被写体存在画像Ａ１〜Ａｎ を連続して撮像するようにしても良い。特徴量の少ない無地の背景をバックに被写体を撮影する場合には、被写体領域の抽出に成功する可能性が高いため、背景取得部７ａにより取得された背景画像Ｄ１〜Ｄｎの数と同数の被写体存在画像Ａ１〜Ａｎを撮像しても良い。これに対して、例えば、特徴量の多い背景をバックに被写体を撮影する場合には、被写体領域の抽出に成功する可能性が低下するため、背景の特徴量を基準として被写体存在画像Ａ１〜Ａｎを背景画像Ｄ１〜Ｄｎに対して多く撮像する枚数や割合を算出しておく。これにより、複数の背景画像Ｄ１〜Ｄｎの数よりも多く被写体存在画像Ａ１〜Ａｎを撮像しておくことができ、被写体領域の抽出に失敗した場合でも、当該複数の背景画像Ｄ１〜Ｄｎの数に対して被写体切り抜き画像Ｃ１〜Ｃｎの数が足りなくなるといった状況を回避することができ、適切な画像合成処理を行うことができる。

また、上記実施形態にあっては、合成画像生成処理の最初のステップにて、記録媒体８に記憶された複数の背景画像群の中から一の背景画像群Ｄを指定するようにしたが、これに限らず、当該合成画像生成処理の最初のステップにて、連続して背景画像Ｄ１〜Ｄｎを撮像することにより複数の背景画像を取得するようにしても良い。
これによれば、背景画像Ｄ１〜Ｄｎの撮像と被写体存在画像Ａ１〜Ａｎの撮像とを一連の流れで行い、当該背景画像Ｄ１〜Ｄｎと被写体切り抜き画像Ｃ１〜Ｃｎとを画像合成することができるので、背景画像Ｄ１〜Ｄｎを撮像する際の撮像条件を固定しておくことができるようになり、迅速な画像合成ができるようになる。

また、上記実施形態にあっては、画像合成装置として、撮像装置を例示したが、これに限られるものではなく、少なくとも、背景取得手段、被写体取得手段、合成手段を備える構成であれば適宜任意に変更することができる。
例えば、被写体存在画像Ａ１〜Ａｎ、複数の背景画像Ｄ１〜Ｄｎの生成は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された画像データ等を記憶して、合成画像生成処理を実行する画像合成装置であっても良い。

また、上記実施形態にあっては、背景取得手段、被写体取得手段、合成手段としての機能を、ＣＰＵ１２の制御下にて、画像処理部７が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１２によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、背景取得処理ルーチン、被写体取得処理ルーチン、合成処理ルーチンを含むプログラムを記憶しておく。そして、背景取得処理ルーチンによりＣＰＵ１２を、複数の背景画像を取得する背景取得手段として機能させるようにしても良い。また、被写体取得処理ルーチンによりＣＰＵ１２を、被写体が連続して撮像された被写体画像を背景取得処理ルーチンによって取得した背景画像の数と少なくとも同数取得する被写体取得手段として機能させるようにしても良い。また、合成処理ルーチンによりＣＰＵ１２を、被写体取得処理ルーチンにより取得された複数の被写体画像の各々と背景取得処理ルーチンにより取得された複数の背景画像の各々とを合成して合成動画像を生成する合成手段として機能させるようにしても良い。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
７ 画像処理部
７ａ 背景取得部
７ｂ 被写体取得制御部
７ｃ 切り抜き画像生成部
７ｄ 被写体取得部
７ｅ 画像合成部
１１ａ シャッタボタン
１１ｂ 選択決定ボタン
１２ ＣＰＵ

Claims (12)

1. 複数の背景画像を取得する背景取得手段と、
   この背景取得手段により取得された複数の背景画像の撮像条件を取得する撮像条件取得手段と、
   被写体が連続して撮像された被写体画像から前記撮像条件取得手段により取得された撮像条件に応じた数の被写体画像を取得する被写体取得手段と、
   この被写体取得手段により取得された複数の前記被写体画像の各々と前記背景取得手段により取得された前記複数の背景画像の各々とを合成して合成動画像を生成する合成手段と、
   を備えたことを特徴とする画像合成装置。
2. 前記複数の背景画像から構成される背景画像群を複数記録する背景群記録手段と、
   この背景群記録手段に記録された複数の背景画像群の中から何れか一の背景画像群を指定する背景群指定手段と、を更に備え、
   前記背景取得手段は、前記背景群指定手段により指定された一の背景画像群を構成する前記複数の背景画像を取得することを特徴とする請求項１に記載の画像合成装置。
3. 前記複数の背景画像を記録する背景記録手段と、
   この背景記録手段に記録された前記複数の背景画像の中から合成すべき背景画像を複数指定する背景指定手段と、を更に備え、
   前記背景取得手段は、前記背景指定手段により指定された複数の背景画像を取得することを特徴とする請求項１又は２に記載の画像合成装置。
4. 前記複数の背景画像は、連続して撮像された画像であることを特徴とする請求項１〜３の何れか一項に記載の画像合成装置。
5. 前記被写体取得手段は、前記背景取得手段により取得された前記複数の背景画像の撮像条件に基づいて撮像された前記被写体画像を取得することを特徴とする請求項１〜４の何れか一項に記載の画像合成装置。
6. 前記被写体取得手段は、前記複数の背景画像が撮像された際の撮像フレームレートと同じ撮像フレームレートで撮像された被写体画像を取得することを特徴とする請求項４に記載の画像合成装置。
7. 前記合成手段によって前記複数の背景画像と合成される被写体画像は、背景内に被写体が存在する被写体存在画像から被写体が含まれる被写体領域を抽出した画像であることを特徴とする請求項１〜６の何れか一項に記載の画像合成装置。
8. 撮像手段を更に備え、
   前記被写体取得手段は、前記撮像手段による連続撮像により前記背景取得手段によって取得した背景画像の数と少なくとも同数の被写体画像を取得することを特徴とする請求項１〜７の何れか一項に記載の画像合成装置。
9. 前記撮像条件取得手段によって取得された撮像条件に応じた撮像条件となるように、前記撮像手段による撮像を制御する撮像制御手段を更に備え、
   前記被写体取得手段は、前記撮像制御手段の制御により前記撮像手段で撮像された被写体画像を取得する
   ことを特徴とする請求項８に記載の画像合成装置。
10. 前記撮像条件は、撮像フレームレート又は撮像数であることを特徴とする請求項１〜８の何れか一項に記載の画像合成装置。
11. 複数の背景画像を取得する背景取得ステップと、
    この背景取得ステップにて取得された複数の背景画像の撮像条件を取得する撮像条件取得ステップと、
    被写体が連続して撮像された被写体画像から前記撮像条件取得ステップにて取得された撮像条件に応じた数の被写体画像を取得する被写体取得ステップと、
    この被写体取得ステップにて取得された複数の前記被写体画像の各々と前記背景取得ステップにて取得された前記複数の背景画像の各々とを合成して合成動画像を生成する合成ステップと、
    を実行することを特徴とする画像合成方法。
12. 画像合成装置のコンピュータを、
    複数の背景画像を取得する背景取得手段、
    この背景取得手段により取得された複数の背景画像の撮像条件を取得する撮像条件取得手段、
    被写体が連続して撮像された被写体画像から前記撮像条件取得手段により取得された撮像条件に応じた数の被写体画像を取得する被写体取得手段、
    この被写体取得手段により取得された複数の前記被写体画像の各々と前記背景取得手段により取得された前記複数の背景画像の各々とを合成して合成動画像を生成する合成手段、
    として機能させることを特徴とするプログラム。

Images