JP5359856B2 - 画像合成装置、画像合成方法及びプログラム - Google Patents

Description

本発明は、複数の画像を合成する画像合成装置、画像合成方法及びプログラムに関する。

従来、被写体画像と背景画像やフレーム画像を合成することにより合成画像を生成する技術が知られている（例えば、特許文献１参照）。

特開２００４−１５９１５８号公報

しかしながら、複数の画像を合成して興趣性の高い合成画像を生成する場合に、被写体画像とこの被写体画像に合成される背景画像との画質のギャップが大きいと、違和感のみが強い合成画像が生成されてしまうといった問題がある。

そこで、本発明の課題は、合成に係る双方の画像間に生じる違和感を和らげた興趣性の高い合成画像を生成することができる画像合成装置、画像合成方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の画像合成装置は、
被写体画像を記録した記録手段と、
前記記録手段に記録されている被写体画像とは異なる画像を取得する取得手段と、
前記取得手段により取得された画像を背景画像として前記記録手段により記録された被写体画像を合成する合成位置を指定する指定手段と、
前記背景画像における前記指定手段により指定された前記合成位置に前記被写体画像を合成して合成画像を生成する合成手段と、
前記合成画像に対して、前記合成位置を基準とした距離が遠い位置ほど、平滑化処理の強度を段階的に強くするように変更して当該平滑化処理を施す画像処理手段と、
を備えたことを特徴としている。
また、請求項２に記載の発明は、請求項１に記載の画像合成装置において、
前記平滑化処理を施すための処理強度の強さが異なる複数の平均化フィルタと前記被写体画像の中心座標からの距離とを対応付けて記憶する平均化フィルタ記憶手段と、
前記被写体画像の中心座標を算出する座標算出手段と、
を更に備え、
前記画像処理手段は、前記平均化フィルタ記憶手段に対応付けて記憶された複数の平均化フィルタと被写体画像の中心座標とに基づいて、前記座標算出手段により算出された中心座標を前記基準として、当該中心座標からの距離が遠い位置の画素ほど前記処理強度の強い平均化フィルタを用いることで、前記合成画像に対して段階的に平滑化処理を施すことを特徴としている。
また、請求項３に記載の発明は、請求項２に記載の画像合成装置において、
前記複数の平均化フィルタは、各々異なるサイズからなり、前記平均化フィルタ記憶手段により複数の平均化フィルタの最小サイズの平均化フィルタに対応付けられている座標からの距離は、前記被写体画像の最小包含円を有することを特徴としている。
また、請求項４に記載の発明は、請求項２又は３記載の画像合成装置において、
前記座標算出手段は、前記被写体画像のｘ方向の各々の位置に対するｙ方向の位置の画素値のヒストグラムの合計を算出する第１のヒストグラム算出手段と、前記第１のヒストグラム算出手段により算出されたヒストグラムの合計に基づいて、前記被写体画像の座標のｘ座標を算出するｘ座標算出手段と、前記被写体画像のｙ方向の各々の位置に対するｘ方向の位置の画素値のヒストグラムの合計を算出する第２のヒストグラム算出手段と、前記第２のヒストグラム算出手段により算出されたヒストグラムの合計に基づいて、前記被写体画像の座標のｙ座標を算出するｙ座標算出手段と、を含むことを特徴としている。
また、請求項５に記載の発明は、請求項４に記載の画像合成装置において、
前記ｘ座標算出手段及び前記ｙ座標算出手段は、対応する各ヒストグラムの合計の値の分布にピークが存在するときは、当該ピークが存在する位置を前記座標のｘ座標及びｙ座標として算出する一方、前記ピークが存在しないときは、対応する各ヒストグラムの合計の値の分布の最大値と最小値の中心となる位置を前記座標のｘ座標及びｙ座標として算出することを特徴としている。
また、請求項６に記載の発明は、請求項２〜５の何れか一項に記載の画像合成装置において、
前記座標算出手段により算出された中心座標を前記背景画像の座標系に変換する座標系変換手段を更に備え、前記画像処理手段は、前記座標系変換手段により変換された中心座標を前記基準とした距離に応じて、前記合成画像に対して平滑化処理を段階的に施すことを特徴としている。

請求項７に記載の発明は、請求項１に記載の画像合成装置において、
前記合成画像における前記被写体画像を略中心とする所定範囲を特定する領域特定手段を更に備え、前記画像処理手段は、前記領域特定手段により特定された前記被写体画像を略中心とする所定範囲内の領域に対して前記平滑化処理を施さないことを特徴としている。

請求項８に記載の発明は、請求項１〜７の何れか一項に記載の画像合成装置において、
前記画像処理手段は、前記合成画像における前記被写体画像からの距離が遠い位置ほど、前記平滑化処理の強度を段階的に強くするように変更して当該平滑化処理を施すことを特徴としている。

請求項９に記載の発明は、請求項８に記載の画像合成装置において、
前記画像処理手段は、前記合成画像における前記被写体画像からの距離が遠い位置ほど、所定の一方向及び当該一方向に略直交する直交方向のうち、少なくとも一の方向と略平行な方向に沿って前記平滑化処理の強度を段階的に強くするように変更して当該平滑化処理を施すことを特徴としている。

請求項１０に記載の発明は、請求項８又は９に記載の画像合成装置において、
前記距離は、前記被写体画像の略中央部からの距離であることを特徴としている。

請求項１１に記載の発明は、請求項１〜１０の何れか一項に記載の画像合成装置において、
前記被写体画像は、背景と被写体とが存在する画像から被写体が含まれる領域を切り抜いた画像であることを特徴としている。

請求項１２に記載の発明の画像合成方法は、
画像合成装置を用いた画像合成方法であって、
記録手段に記録されている被写体画像とは異なる画像を取得するステップと、
取得された画像を背景画像として記録された被写体画像を合成する合成位置を指定するステップと、
前記背景画像における前記合成位置に前記被写体画像を合成して合成画像を生成するステップと、
前記合成画像に対して、前記合成位置を基準とした距離が遠い位置ほど、平滑化処理の強度を段階的に強くするように変更して当該平滑化処理を施すステップと、
を実行させることを特徴としている。

請求項１３に記載の発明のプログラムは、
コンピュータを、
記録手段に記録されている被写体画像とは異なる画像を取得する取得手段、
前記取得手段により取得された画像を背景画像として前記記録手段により記録された被写体画像を合成する合成位置を指定する指定手段、
前記背景画像における前記指定手段により指定された前記合成位置に前記被写体画像を合成して合成画像を生成する合成手段、
前記合成画像に対して、前記合成位置を基準とした距離が遠い位置ほど、平滑化処理の強度を段階的に強くするように変更して当該平滑化処理を施す画像処理手段、
として機能させることを特徴としている。

本発明によれば、合成に係る双方の画像間に生じる違和感を和らげた興趣性の高い合成画像を生成することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による合成画像生成処理に係る被写体画像のヒストグラムの一例を説明するための図である。 図１の撮像装置による合成画像生成処理に係る平均化フィルタの一例を説明するための図である。 図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 被写体切り抜き処理に係る画像の一例を模式的に示す図である。 図１の撮像装置による背景画像撮像処理に係る動作の一例を示すフローチャートである。 図１の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。 合成画像生成処理における中心算出処理に係る動作の一例を示すフローチャートである。 合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。 合成画像生成処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

本実施形態の撮像装置１００は、俯瞰撮像された背景画像Ｐ４ａ（図１０（ａ）参照）における被写体画像Ｇ（図５（ａ）参照）の合成位置に当該被写体画像Ｇを合成して被写体合成画像Ｐ５を生成し、被写体画像Ｇの合成位置を基準として被写体合成画像Ｐ５に対して平滑化処理を施す。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、中央制御部１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体Ｓの撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体Ｓの撮像条件の調整制御を行う。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３等によって処理されるデータ等を一時記憶する。

特徴量演算部６は、被写体非存在画像Ｐ２を基準として、当該被写体非存在画像Ｐ２から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６は、例えば、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。

ブロックマッチング部７は、被写体切り抜き画像Ｐ３を生成する際に、被写体非存在画像Ｐ２と被写体存在画像Ｐ１の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像Ｐ１内のどこに対応するか、つまり、被写体存在画像Ｐ１内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。

画像処理部８は、切抜画像生成部８ａと、被写体取得部８ｂと、背景取得部８ｃと、画像合成部８ｄと、領域特定部８ｅと、平滑化処理部８ｆと、フィルタ記憶部８ｇを具備している。

切抜画像生成部８ａは、被写体切り抜き画像Ｐ３の画像データを生成する。具体的には、切抜画像生成部８ａは、図示は省略するが、位置合わせ部と、被写体画像抽出部と、位置情報生成部と、画像生成部等を備えている。
位置合わせ部は、被写体非存在画像Ｐ２から抽出した特徴点に基づいて、被写体非存在画像Ｐ２に対する被写体存在画像Ｐ１の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ１を座標変換して被写体非存在画像Ｐ２と位置合わせを行う。
被写体画像抽出部は、位置合わせ部により位置合わせされた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在画像Ｐ１から被写体が含まれる被写体画像（前景画像）Ｇを抽出する。
位置情報生成部は、被写体存在画像Ｐ１から抽出された被写体画像Ｇの位置を特定して、被写体存在画像Ｐ１における被写体画像Ｇの位置を示す位置情報（例えば、アルファマップ）を生成する。ここで、アルファマップとは、被写体存在画像Ｐ１の各画素について、被写体画像Ｇを所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
画像生成部は、生成されたアルファマップに基づいて、被写体存在画像Ｐ１の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体の画像を所定の単一色画像と合成して被写体切り抜き画像Ｐ３の画像データを生成する。

被写体取得部８ｂは、記録媒体９に記録されている被写体切り抜き画像Ｐ３の画像データを取得する。
即ち、被写体取得部８ｂは、合成画像生成処理にて、記録媒体９に記録されている少なくとも一の被写体切り抜き画像Ｐ３の中から、ユーザによる操作入力部１２の所定操作に基づいて指定された被写体切り抜き画像Ｐ３の画像データを記録媒体９から読み出すことで、当該被写体切り抜き画像Ｐ３の被写体画像（前景画像）Ｇを取得する。

背景取得部８ｃは、記録媒体９に記録されている背景画像Ｐ４ａの画像データを取得する。
即ち、背景取得部８ｃは、合成画像生成処理にて、記録媒体９に記録されている少なくとも一の背景画像Ｐ４ａの中から、ユーザによる操作入力部１２の所定操作に基づいて指定された背景画像Ｐ４ａの画像データを記録媒体９から読み出して取得する。
背景画像Ｐ４ａは、上から見おろすように俯瞰撮像された画像であり、例えば、高い所から広い範囲を見おろすように俯瞰撮像された画像を含む。

このように、被写体取得部８ｂ及び背景取得部８ｃは、俯瞰撮像された背景画像Ｐ４ａと、この背景画像Ｐ４ａと合成すべき前景画像（被写体画像Ｇ）とを個別に取得する取得手段を構成している。

また、画像合成部８ｄは、合成手段として、背景画像Ｐ４ａと被写体切り抜き画像Ｐ３の被写体画像Ｇとを合成して被写体合成画像Ｐ５を生成する。
即ち、画像合成部８ｄは、ユーザによる操作入力部１２の所定操作に基づいて中央制御部１３により指定された背景画像Ｐ４ａにおける被写体画像Ｇの合成位置に当該被写体画像Ｇを合成して被写体合成画像Ｐ５を生成する。具体的には、画像合成部８ｄは、先ず、被写体取得部８ｂにより取得された被写体切り抜き画像Ｐ３の被写体画像Ｇの略中心となる座標を中心座標C1（x1, y1）として算出する。例えば、図２（ａ）及び図２（ｂ）に示すように、画像合成部８ｄは、被写体画像Ｇの横（Ｘ軸）方向及び縦（Ｙ軸）方向の各ヒストグラムを用いて被写体画像Ｇの中心座標C1（x1, y1）を算出する。

ここで、被写体画像ＧのＸ軸方向の大きさがX画素、且つ、Ｙ軸方向の大きさがY画素であるとして、被写体画像Ｇの中心座標C1（x1, y1）の算出方法について説明する。なお、被写体画像Ｇの合成サイズは、ユーザによる操作入力部１２の所定操作に基づいて変更可能となっている。
被写体画像Ｇの画素Ｐの画素値をＰ（x, y）とすると、画像合成部８ｄは、Ｘ軸方向の位置x＝0のヒストグラムの合計Hx（0）＝Ｐ（0, 0）＋Ｐ（0, 1）＋Ｐ（0, 2）＋Ｐ（0, 3）＋Ｐ（0, 4）＋…＋Ｐ（0, Y）を算出する。同様にして、画像合成部８ｄは、Ｘ軸方向の全ての位置のヒストグラムの合計を算出する。そして、画像合成部８ｄは、ヒストグラムの合計の値の分布に所定の値以上のピークが存在する場合、そのピークの位置を中心座標のｘ座標とする一方で（図２（ａ）参照）、ヒストグラムの合計の値の分布に所定の値以上のピークが存在しない場合、当該分布の最大値Maxと最小値Minの中心（若しくは、中央）となる位置を中心座標のｘ座標とする。
Ｙ軸方向も同様にして、画像合成部８ｄは、Ｙ軸方向の全ての位置のヒストグラムの合計を算出する。そして、画像合成部８ｄは、ヒストグラムの合計の値の分布に所定の値以上のピークが存在する場合、そのピークの位置を中心座標のｙ座標とする一方で、ヒストグラムの合計の値の分布に所定の値以上のピークが存在しない場合、当該分布の最大値Maxと最小値Minの中心（若しくは、中央）となる位置を中心座標のｙ座標とする（図２（ｂ）参照）。
このようにして、画像合成部８ｄは、被写体画像Ｇの中心座標C1（x1, y1）を算出する。

その後、画像合成部８ｄは、ユーザによる操作入力部１２の所定操作に基づいて中央制御部１３により指定された背景画像Ｐ４ａにおける被写体画像Ｇの合成位置に基づいて、被写体画像Ｇの中心座標C1（x1, y1）を背景画像Ｐ４ａの座標系に変換した座標C2（x2, y2）を算出する。例えば、被写体画像Ｇの合成位置として、背景画像Ｐ４ａにおける座標（a, b）が指定された場合には、画像合成部８ｄは、中心座標C1（x1, y1）を変換して座標C2（a, b）を算出する。

そして、画像合成部８ｄは、背景取得部８ｃによって取得された背景画像Ｐ４ａの各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし、さらに、背景画像Ｐ４ａの各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体画像Ｇを切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを被写体画像Ｇを切り抜いた画像（背景画像×（１−α））と合成する。

領域特定部８ｅは、領域特定手段として、被写体合成画像Ｐ５における被写体画像Ｇを略中心とする所定範囲を特定する。
即ち、領域特定部８ｅは、中心座標C1（x1, y1）を背景画像Ｐ４ａの座標系に変換した座標C2（a, b）を基準として、被写体画像Ｇの画像データの全ての画素を被写体合成画像Ｐ５の座標系に変換することで、被写体合成画像Ｐ５における被写体画像Ｇによって構成される領域を特定する。なお、領域特定部８ｅは、座標C2（a, b）を基準として、被写体画像Ｇの画像データの全ての画素を背景画像Ｐ４ａの座標系に変換することで、被写体合成画像Ｐ５における被写体画像Ｇによって構成される領域を特定しても良い。
そして、領域特定部８ｅは、被写体合成画像Ｐ５における被写体画像Ｇを略中心とする所定範囲内の領域を特定する。
ここで、所定範囲とは、例えば、Ｙ軸方向の両端部側にのみ平滑化処理が施された被写体合成画像Ｐ５を生成するように、背景画像Ｐ４ａのＸ軸方向の全画素（Ｘ軸方向の全範囲）と被写体画像Ｇを中心とするＹ軸方向の所定画素数Ｒからなる領域（図１０（ｂ）参照）や、被写体画像Ｇと完全に重なる領域のみ（図１０（ｃ）参照）等が挙げられる。
なお、領域特定部８ｅは、切抜画像生成部８ａの位置情報生成部により生成された被写体存在画像Ｐ１における被写体画像Ｇの位置を示す位置情報（例えば、アルファマップ）を用いて、被写体合成画像Ｐ５における被写体画像Ｇの領域を特定しても良い。

平滑化処理部８ｆは、被写体画像Ｇの合成位置を基準として、被写体合成画像Ｐ５に対して平滑化処理を施す。
即ち、平滑化処理部８ｆは、被写体画像Ｇの中心座標C1（x1, y1）を背景画像Ｐ４ａの座標系に変換した座標C2（x2, y2）からの距離Ｄに応じて平滑化処理の処理強度を変更して、被写体合成画像Ｐ５の背景画像部分Ｐ４ｂに対して当該平滑化処理を施す。

具体的には、平滑化処理部８ｆは、領域特定部８ｅにより特定された被写体合成画像Ｐ５における被写体画像Ｇを略中心とする所定範囲内の領域に対しては平滑化処理を施さない。
また、平滑化処理部８ｆは、被写体合成画像Ｐ５の所定範囲外の領域に対しては、被写体合成画像Ｐ５における被写体画像Ｇの略中央部（座標C2（x2, y2））からの距離が遠い位置ほど、平滑化処理の処理強度を強くするように変更して当該平滑化処理を施す。
即ち、平滑化処理部８ｆは、被写体合成画像Ｐ５の各画素について座標C2（x2, y2）からの距離Ｄを算出して、当該距離Ｄに応じて、画像処理部８のフィルタ記憶部８ｇに記憶されている複数の平均化フィルタｆ１（図３（ａ）参照）の中から一の平均化フィルタｆ１（例えば、３×３画素からなる平均化フィルタ）を特定する。具体的には、平滑化処理部８ｆは、複数の平均化フィルタｆ１（図３（ａ）参照）の中から、座標C2（x2, y2）から離れた距離Ｄの画素ほど平滑化処理の処理強度が強くなるように処理強度の強い平均化フィルタを特定する。そして、平滑化処理部８ｆは、被写体合成画像Ｐ５の各画素について、特定された平均化フィルタｆ１を用いて背景画像部分Ｐ４ｂに対して平滑化処理を施すことで、当該背景画像部分Ｐ４ｂの濃淡変化を滑らかにして現実感を軽減させる（図１０（ｃ）参照）。
このとき、平滑化処理部８ｆは、被写体合成画像Ｐ５における被写体画像Ｇからの距離が遠い位置ほど、Ｘ軸方向（所定の一方向）及び当該Ｘ軸方向に略直交するＹ軸方向（直交方向）のうち、少なくとも一の方向と略平行な方向に沿って平滑化処理の処理強度を強くするように変更しても良い（図１０（ｂ）参照）。例えば、図１０（ｂ）にあっては、平滑化処理部８ｆは、Ｙ軸方向と略平行な方向に沿って平滑化処理の処理強度を強くするようになっているが、被写体画像Ｇの合成位置がＹ軸方向の一端部（下端部）よりとなっていることから、Ｙ軸方向の他端部（上端部）側のみ平滑化処理の処理強度が段階的に強くなっている。

平滑化処理部８ｆによる平均化フィルタｆ１を用いた平滑化処理は、背景画像部分Ｐ４ｂの所定位置の画素をフィルタリングする場合、当該画素を中心とする近傍点の平均をその画素に入れ直す処理を行う。例えば、３×３画素の平均化フィルタｆ１を用いる場合、中央部（例えば、図３（ｂ）における「○」で示された領域）の周囲の８つの領域に対応する画素の色の平均を算出して、この算出した平均の色を当該中央部に対応する画素の色とする。
そして、被写体合成画像Ｐ５の背景画像部分Ｐ４ｂにおける被写体画像Ｇの座標C2（x2, y2）からの距離Ｄに応じて、平均化フィルタｆ１のサイズを変更することで（図３（ａ）参照）、平均化する範囲（平均を算出する近傍点の数）を変更して、背景画像部分Ｐ４ｂのぼけの大きさを調整する。具体的には、距離Ｄが大きい程、サイズの大きい平均化フィルタｆ１を用いることで、背景画像部分Ｐ４ｂにより大きいぼけを生じさせる。一方、距離Ｄが小さい程、サイズの小さい平均化フィルタｆ１を用いることで、背景画像部分Ｐ４ｂaにより小さいぼけを生じさせる。

このように、平滑化処理部８ｆは、被写体合成画像Ｐ５に対して、中央制御部（指定手段）１３により指定された背景画像Ｐ４ａにおける被写体画像Ｇの合成位置を基準として処理強度を制御した平滑化処理を施す画像処理手段を構成している。

フィルタ記憶部８ｇは、被写体画像Ｇの座標C2（x2, y2）からの距離Ｄと所定サイズの平均化フィルタｆ１を対応付けて記憶している（図２（ａ）参照）。
具体的には、例えば、被写体画像Ｇの座標C2（x2, y2）からの距離Ｄとしての「被写体画像Ｇの最小包含円の境界までの距離kaよりも大きく所定値k1以下」と「３×３画素の平均化フィルタｆ１」とが対応付けられ、また、距離Ｄとしての「k1よりも大きくk2以下」と「５×５画素の平均化フィルタｆ１」とが対応付けられ、また、距離Ｄとしての「k2よりも大きくk3以下」と「７×７画素の平均化フィルタｆ１」とが対応付けられ、また、距離Ｄとしてのk3よりも大きい」と「５×５画素の平均化フィルタｆ１」とが対応付けられている。
なお、最小包含円とは、主要輪郭線や素材画像を包含する円のうち半径が最小となる円のことである。また、距離kaとして最小包含円に替えて被写体領域の輪郭までの距離を適用しても良い。さらに、距離Ｄは、例えば、被写体合成画像Ｐ５のＸ軸方向及びＹ軸方向の画素数に基づいて算出されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された被写体切り抜き画像Ｐ３や背景画像Ｐ４ａや被写体合成画像Ｐ５の画像データを記憶する。
即ち、記録媒体９は、切抜画像生成部８ａにより生成されたアルファマップと被写体切り抜き画像Ｐ３の画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像Ｐ３の画像データの拡張子を「.jpe」として記憶している。
さらに、記録媒体９は、切抜画像生成部８ａにより生成されたアルファマップと画像合成部８ｄにより生成された被写体合成画像Ｐ５の画像データをそれぞれ圧縮した上で対応付けて、当該被写体合成画像Ｐ５の画像データの拡張子を「.jpg」として記録している。

表示制御部１０は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいてライブビュー画像やレックビュー画像などを表示画面１１ａに表示する。
即ち、表示制御部１０は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像や、本撮像画像として撮像されたレックビュー画像などを表示部１１の表示画面１１ａに表示させる。

操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン１２ａ、撮像モードや機能等の選択指示に係る選択決定用ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１３に出力する。

また、操作入力部１２の選択決定用ボタン１２ｂは、ユーザによる所定操作に基づいて、背景画像Ｐ４ａにおける被写体切り抜き画像Ｐ３の被写体画像Ｇの合成位置の指定指示を中央制御部１３に出力する。例えば、選択決定用ボタン１２ｂは、背景画像Ｐ４ａにおける被写体画像Ｇの中心座標C1（x1, y1）の合成位置の指定指示を中央制御部１３に出力する。
中央制御部１３は、入力された指定指示に基づいて、背景画像Ｐ４ａにおける被写体切り抜き画像Ｐ３の被写体画像Ｇの合成位置を指定する。
ここで、操作入力部１２及び中央制御部１３は、背景画像Ｐ４ａにおける被写体画像（前景画像）Ｇの合成位置を指定する指定手段を構成している。

中央制御部１３は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１３は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による被写体切り抜き処理について、図４及び図５を参照して説明する。
図４は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図５（ａ）〜図５（ｃ）は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。

被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図４に示すように、先ず、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１）。

次に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、被写体存在画像Ｐ１（図５（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ３）。
そして、画像データ生成部４は、電子撮像部２から転送された被写体存在画像Ｐ１のＹＵＶデータを生成した後、当該被写体存在画像Ｐ１のＹＵＶデータを画像メモリ５に一時記憶させる。
また、撮像制御部３は、当該被写体存在画像Ｐ１の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。

次に、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の半透過の表示態様の画像と被写体非存在画像Ｐ２の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ４）。
この後、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ５）。そして、ユーザは、被写体が移動するのを待つか、或いは、被写体を画角外に移動させた後、ユーザにより被写体非存在画像Ｐ２が被写体存在画像Ｐ１の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１２のシャッタボタン１２ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ５；ＹＥＳ）、撮像制御部３は、被写体非存在画像Ｐ２（図５（ｂ）参照）の光学像を被写体存在画像Ｐ１の撮像後に固定された条件で電子撮像部２により撮像させる（ステップＳ６）。
そして、画像データ生成部４は、電子撮像部２から転送された被写体非存在画像Ｐ２のＹＵＶデータを生成した後、当該被写体存在画像Ｐ１Ｐ２のＹＵＶデータを画像メモリ５に一時記憶させる。

次に、中央制御部１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時記憶されている被写体非存在画像Ｐ２のＹＵＶデータを基準として、被写体存在画像Ｐ１のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ７）。
具体的には、特徴量演算部６は、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、切抜画像生成部８ａの位置合わせ部は、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１の射影変換行列を算出する。

次に、切抜画像生成部８ａの位置合わせ部は、算出された射影変換行例に基づいて被写体存在画像Ｐ１を射影変換することで、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータとを位置合わせする処理を行う（ステップＳ８）。

そして、切抜画像生成部８ａの被写体画像抽出部は、被写体存在画像Ｐ１から被写体が含まれる被写体画像Ｇを抽出する処理を行う（ステップＳ９）。
具体的には、被写体領域抽出部は、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部は、ローパスフィルタをかけた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部は、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体画像Ｇとして特定し、収縮分を修正するための膨張処理を行う。

次に、画像処理部８の位置情報生成部は、抽出された被写体画像Ｇの被写体存在画像Ｐ１内での位置を示すアルファマップを生成する（ステップＳ１０）。

その後、画像処理部８の画像生成部は、被写体画像Ｇを所定の単一色画像と合成した被写体切り抜き画像Ｐ３（図５（ｃ）参照）の画像データを生成する処理を行う（ステップＳ１１）。
具体的には、画像生成部は、被写体存在画像Ｐ１、単一色画像及びアルファマップを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ１の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。

その後、中央制御部１３は、記録媒体９の所定の記憶領域に、画像処理部８の位置情報生成部により生成されたアルファマップと被写体切り抜き画像Ｐ３の画像データとを対応付けて一ファイルで記憶させる（ステップＳ１２）。
これにより、被写体切り抜き処理を終了する。

次に、撮像装置１００による背景画像撮像処理について、図６を参照して説明する。
図６は、背景画像撮像処理に係る動作の一例を示すフローチャートである。

背景画像撮像処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。
図６に示すように、先ず、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による背景画像Ｐ４ａの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させる（ステップＳ２１）。

次に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２２；ＹＥＳ）、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、背景画像Ｐ４ａ（図１０（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ２３）。
そして、画像データ生成部４は、電子撮像部２から転送された背景画像Ｐ４ａのＹＵＶデータを生成する。

続けて、中央制御部１３は、記録媒体９の所定の記憶領域に、背景画像Ｐ４ａのＹＵＶデータを記憶させる（ステップＳ２４）。
これにより、背景画像撮像処理を終了する。

次に、撮像装置１００による合成画像生成処理について、図７〜図１０を参照して説明する。
図７は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図８は、合成画像生成処理における中心算出処理に係る動作の一例を示すフローチャートである。また、図９は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。また、図１０（ａ）〜図１０（ｃ）は、合成画像生成処理に係る画像の一例を模式的に示す図である。

合成画像生成処理は、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
図７に示すように、先ず、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の背景画像Ｐ４ａ（図１０（ａ）参照）が選択されて指定されると、中央制御部１３は、画像処理部８の背景取得部８ｃに、指定された背景画像Ｐ４ａの画像データを読み出させて画像メモリ５に展開させる（ステップＳ３１）。

次に、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の被写体切り抜き画像Ｐ３（図５（ｃ）参照）が選択されて指定されると、中央制御部１３は、画像処理部８の被写体取得部８ｂに、指定された被写体切り抜き画像Ｐ３の画像データを読み出させて画像メモリ５に展開させる（ステップＳ３２）。

続けて、中央制御部１３は、被写体切り抜き画像Ｐ３の被写体画像Ｇの中心座標を算出する中心算出処理を画像処理部８の画像合成部８ｄに行わせる（ステップＳ３３）。

以下に、中心算出処理について図８を参照して詳細に説明する。
図８に示すように、画像合成部８ｄは、先ず、被写体切り抜き画像Ｐ３の画像データを読み込んで、被写体画像Ｇの中心座標C1（x1, y1）のうち、ｘ座標を算出する。具体的には、画像合成部８ｄは、被写体画像ＧについてＸ軸方向に全走査が完了したか否かを判定する（ステップＳ４１）。
ここで、被写体画像ＧについてＸ軸方向に全走査が完了していないと判定されると（ステップＳ４１；ＮＯ）、画像合成部８ｄは、Ｘ軸方向の未走査の位置x＝i（i＝0〜X）のヒストグラムの合計Hx（i）＝Ｐ（i, 0）＋Ｐ（i, 1）＋…＋Ｐ（i, Y）を算出した後（ステップＳ４２）、処理をステップＳ４１に移行する。
なお、画像合成部８ｄによる被写体画像ＧのＸ軸方向の走査は、例えば、i＝0〜Xとして順次行われる。

そして、ステップＳ４１にて、Ｘ軸方向に全走査が完了したと判定されると（ステップＳ４１；ＹＥＳ）、画像合成部８ｄは、ヒストグラムの合計Hx（i）の全ての走査位置の中から最大値を特定して、当該最大値をとるＸ軸方向の位置iを「i＝i_peak」として、Hx（i_peak）とともに画像メモリ５に記憶する（ステップＳ４３）。
次に、画像合成部８ｄは、ヒストグラムの合計Hx（i）の全ての走査位置の中から、「Hx（i）＞第1定数」を満たす最大値Max及び最小値Minを特定して、その位置「i＝i_min」、「i＝i_max」を画像メモリ５に記憶する（ステップＳ４４）。

続けて、画像合成部８ｄは、ヒストグラムの合計Hx（i）のうち、最大値Hx（i_peak）が第２定数よりも大きいか否かを判定する（ステップＳ４５）。
ここで、最大値Hx（i_peak）が第２定数よりも大きいと判定されると（ステップＳ４５；ＹＥＳ）、画像合成部８ｄは、最大値Hx（i_peak）の位置を中心座標のｘ座標（x1＝i_peak）とする（ステップＳ４６）。一方、最大値Hx（i_peak）が第２定数よりも大きくないと判定されると（ステップＳ４５；ＮＯ）、画像合成部８ｄは、ヒストグラム分布の最大値Maxと最小値Minの中心となる位置を中心座標のｘ座標（x1＝（i_min＋i_max）／2）とする（ステップＳ４７）。

次に、画像合成部８ｄは、被写体画像Ｇの中心座標C1（x1, y1）のうち、ｙ座標を算出する。具体的には、画像合成部８ｄは、被写体画像ＧについてＹ軸方向に全走査が完了したか否かを判定する（ステップＳ４８）。
ここで、被写体画像ＧについてＹ軸方向に全走査が完了していないと判定されると（ステップＳ４８；ＮＯ）、画像合成部８ｄは、Ｙ軸方向の未走査の位置y＝i（i＝0〜Y）のヒストグラムの合計Hy（i）＝Ｐ（0, i）＋Ｐ（1, i）＋…＋Ｐ（X, i）を算出した後（ステップＳ４９）、処理をステップＳ４８に移行する。
なお、画像合成部８ｄによる被写体画像ＧのＹ軸方向の走査は、例えば、i＝0〜Yとして順次行われる。

そして、ステップＳ４８にて、Ｙ軸方向に全走査が完了したと判定されると（ステップＳ４８；ＹＥＳ）、画像合成部８ｄは、ヒストグラムの合計Hy（i）の全ての走査位置の中から最大値を特定して、当該最大値をとるＹ軸方向の位置iを「i＝i_peak」として、Hy（i_peak）とともに画像メモリ５に記憶する（ステップＳ５０）。
次に、画像合成部８ｄは、ヒストグラムの合計Hy（i）の全ての走査位置の中から、「Hy（i）＞第1定数」を満たす最大値Max及び最小値Minを特定して、その位置「i＝i_min」、「i＝i_max」を画像メモリ５に記憶する（ステップＳ５１）。

続けて、画像合成部８ｄは、ヒストグラムの合計Hy（i）のうち、最大値Hy（i_peak）が第２定数よりも大きいか否かを判定する（ステップＳ５２）。
ここで、最大値Hy（i_peak）が第２定数よりも大きいと判定されると（ステップＳ５２；ＹＥＳ）、画像合成部８ｄは、最大値Hy（i_peak）の位置を中心座標のＹ座標（y1＝i_peak）とする（ステップＳ５３）。一方、最大値Hy（i_peak）が第２定数よりも大きくないと判定されると（ステップＳ５２；ＮＯ）、画像合成部８ｄは、ヒストグラム分布の最大値Maxと最小値Minの中心となる位置を中心座標のｙ座標（y1＝（i_min＋i_max）／2）とする（ステップＳ５４）。

そして、画像合成部８ｄは、ステップＳ４６若しくはＳ４７にて算出されたｘ座標（x1）とステップＳ５３若しくはＳ５４にて算出されたｙ座標（y1）から、被写体画像Ｇの中心座標C1（x1, y1）を決定して（ステップＳ５５）、中心算出処理を終了する。

図７に示すように、次に、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、ユーザ所望の被写体切り抜き画像Ｐ３の被写体画像Ｇの合成位置が指定されると（ステップＳ３４）、画像合成部８ｄは、算出された被写体画像Ｇの中心座標C1（x1, y1）を背景画像Ｐ４ａの座標系に変換した座標C2（x2, y2）を算出する（ステップＳ３５）。

次に、中央制御部１３は、被写体画像Ｇの中心座標C1（x1, y1）を背景画像Ｐ４ａの座標系に変換した座標C2（x2, y2）を基準として、背景画像Ｐ４ａと被写体切り抜き画像Ｐ３の被写体画像Ｇを合成する画像合成処理を画像合成部８ｄに行わせる（ステップＳ３６）。

以下に、画像合成処理について図９を参照して詳細に説明する。
図９に示すように、画像合成部８ｄは、先ず、被写体切り抜き画像Ｐ３と対応付けて記憶されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ６１）。
なお、背景画像Ｐ４ａにおける被写体切り抜き画像Ｐ３の合成位置や合成サイズが決定された際に、背景画像Ｐ４ａとアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。

次に、画像合成部８ｄは、背景画像Ｐ４ａの何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ６２）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ６３）。具体的には、画像合成部８ｄは、背景画像Ｐ４ａの何れか一の画素のうち、アルファ値が１の画素については（ステップＳ６３；α＝１）、被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし（ステップＳ６４）、アルファ値が０＜α＜１の画素については（ステップＳ６３；０＜α＜１）、１の補数（１−α）を用いて被写体画像Ｇを切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを被写体画像Ｇを切り抜いた画像（背景画像×（１−α））と合成し（ステップＳ６５）、アルファ値が０の画素については（ステップＳ６３；α＝０）、何もせずに背景画像Ｐ４ａを透過さるようにする。

続けて、画像合成部８ｄは、背景画像Ｐ４ａの全ての画素について処理したか否かを判定する（ステップＳ６６）。
ここで、全ての画素について処理していないと判定されると（ステップＳ６６；ＮＯ）、画像合成部８ｄは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ６７）、処理をステップＳ６３に移行する。
上記の処理を、ステップＳ６６にて全ての画素について処理したと判定されるまで（ステップＳ６６；ＹＥＳ）、繰り返すことで、画像合成部８ｄは、被写体切り抜き画像Ｐ３と背景画像Ｐ４ａとを合成した被写体合成画像Ｐ５の画像データを生成させる。
これにより、画像合成処理を終了する。

図７に示すように、次に、画像処理部８の平滑化処理部８ｆは、被写体切り抜き画像Ｐ３の被写体画像Ｇの合成位置を基準として、被写体合成画像Ｐ５に対して平滑化処理を施す（ステップＳ３７）。
具体的には、平滑化処理部８ｆは、被写体画像Ｇの中心座標C1（x1, y1）を背景画像Ｐ４ａの座標系に変換した座標C2（x2, y2）からの距離Ｄに応じて所定の平均化フィルタを用いることで平滑化処理の処理強度を変更して、被写体合成画像Ｐ５の背景画像部分Ｐ４ｂに対して当該平滑化処理を施す。

その後、表示制御部１０は、平滑化処理後の被写体合成画像Ｐ５を表示部１１の表示画面に表示させる（ステップＳ３８）。
具体的には、例えば、被写体画像Ｇの画素の濃淡変化がはっきりしているが、背景画像部分Ｐ４ｂの画素の濃淡変化が滑らかな被写体合成画像Ｐ５（図１０（ｃ）参照）が表示部１１に表示される。
これにより、合成画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、俯瞰撮像された背景画像Ｐ４ａにおける被写体画像Ｇの合成位置に当該被写体画像Ｇを合成して被写体合成画像Ｐ５を生成し、当該被写体合成画像Ｐ５に対して被写体画像Ｇの合成位置を基準として処理強度を制御した平滑化処理を施すので、被写体画像Ｇに対して被写体合成画像Ｐ５の背景画像部分Ｐ４ｂの画素の濃淡変化をより滑らかにすることができ、当該被写体画像Ｇの合成位置に基づいて背景画像部分Ｐ４ｂの現実感を好適に低減させることができる。
即ち、被写体存在画像Ｐ１から被写体が含まれる領域を切り抜いた被写体画像Ｇと背景画像Ｐ４ａを合成する場合に、被写体合成画像Ｐ５の被写体画像Ｇを略中心とする所定範囲内の領域に対しては平滑化処理を施さずに、被写体合成画像Ｐ５における被写体画像Ｇの略中央部からの距離が遠い位置ほど、平滑化処理の処理強度を強くするように変更して当該平滑化処理を施すことで、被写体画像Ｇの画素の濃淡変化をはっきりとさせ、且つ、背景画像部分Ｐ４ｂの画素の濃淡変化を滑らかにした被写体合成画像Ｐ５を得ることができる。
これにより、俯瞰撮像された背景画像Ｐ４ａに係る背景画像部分Ｐ４ｂの現実感があまりにも強すぎたり、あまりにも弱すぎたりする違和感の強い被写体合成画像Ｐ５の生成を防止し、例えば、ミニチュア画像のように表現力の豊かな被写体合成画像Ｐ５を生成することができることとなって、興趣性の向上を図ることができる。この結果、背景画像Ｐ４ａと被写体画像Ｇとの双方の画像間に生じる違和感を和らげた興趣性の高い被写体合成画像Ｐ５を生成することができる。

特に、被写体合成画像Ｐ５における被写体画像Ｇの略中央部からの距離が遠い位置ほど、Ｘ軸方向及びＹ軸方向のうち、少なくとも一の方向と略平行な方向に沿って平滑化処理の処理強度を強くするように変更して当該平滑化処理を施すので、被写体合成画像Ｐ５の背景画像部分Ｐ４ｂに対して所定方向に平滑化処理を施すことができ、当該被写体合成画像Ｐ５の表現力をより豊かにして興趣性の向上を図ることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、被写体合成画像Ｐ５の背景画像部分Ｐ４ｂに対して平滑化処理を施すようにしたが、平滑化処理の処理対象はこれに限られるものではなく、被写体画像Ｇと合成前の背景画像Ｐ４ａとしても良い。
即ち、ユーザによる操作入力部１２の所定操作に基づいて中央制御部１３により指定された背景画像Ｐ４ａにおける被写体画像Ｇの合成位置を基準として、背景画像Ｐ４ａに対して平滑化処理を施した後、当該平滑化処理後の背景画像Ｐ４ａと被写体画像Ｇとを合成して被写体合成画像Ｐ５を生成するようにしても良い。このような構成としても、被写体画像Ｇに対して被写体合成画像Ｐ５の背景画像部分Ｐ４ｂの画素の濃淡変化をより滑らかにすることができ、当該背景画像部分Ｐ４ｂの現実感を好適に低減させることができることとなって、被写体合成画像Ｐ５の表現力を豊かにして興趣性の向上を図ることができる。
また、かかる構成であっても同様に、被写体合成画像Ｐ５の被写体画像Ｇを略中心とする所定範囲内の領域に対しては平滑化処理を施さないようにしても良いし、また、被写体合成画像Ｐ５における被写体画像Ｇの略中央部からの距離が遠い位置ほど、平滑化処理の処理強度を強くするように変更して当該平滑化処理を施すようにしても良いし、また、被写体合成画像Ｐ５における被写体画像Ｇの略中央部からの距離が遠い位置ほど、Ｘ軸方向及びＹ軸方向のうち、少なくとも一の方向と略平行な方向に沿って平滑化処理の処理強度を強くするように変更して当該平滑化処理を施すようにしても良い。

さらに、上記実施形態にあっては、平滑化処理を、Ｘ軸方向及びＹ軸方向のうち、少なくとも一の方向と略平行な方向に沿って施すようにしたが、当該平滑化処理の方向はこれらに限られるものではなく、所定の一方向及び当該一方向に略直交する直交方向であれば如何なる方向であっても良い。例えば、背景画像Ｐ４ａの少なくとも一の対角線が縦方向若しくは横方向と略平行となるように斜めに傾いた構図にあっては、当該一の対角線の延在方向及びこの延在方向に略直交する直交方向のうち、少なくとも一の方向と略平行な方向に沿って平滑化処理を施すようにしても良い。

また、上記実施形態にあっては、所定の画像処理として、平滑化処理を例示したが、これに限られるものではなく、例えば、平滑化処理に加えて、背景画像部分Ｐ４ｂや被写体画像Ｇのコントラストや明るさを調整する処理を行っても良い。即ち、背景画像部分Ｐ４ｂに対して被写体画像Ｇのコントラストを強くしたり明るさを明るくすることで、被写体画像Ｇに対して背景画像部分Ｐ４ｂの現実感をより低減させることができ、被写体合成画像Ｐ５の興趣性を向上させることができる。

また、上記実施形態にあっては、平滑化処理として、平均化フィルタを用いた手法を例示したが、これに限られるものではなく、画像を平滑化する方法であれば如何なる方法であっても良く、例えば、Irisフィルタなどを用いた手法であっても良い。
また、上記実施形態にあっては、被写体画像Ｇのヒストグラムに基づいて、被写体画像Ｇの略中心となる中心座標C1（x1, y1）を算出したが、これに限られるものではなく、例えば、被写体画像Ｇにおける横（Ｘ軸）方向の最小値及び最大値と、縦（Ｙ軸）方向の最小値及び最大値を用いて、当該被写体画像Ｇを構成する複数の画素の横（Ｘ軸）方向の中央座標（xa, 0）及び縦（Ｙ軸）方向の中央座標（0, ya）から中心座標Ca（xa, ya）を算出しても良い。

また、上記実施形態の合成画像生成処理にあっては、先ず、被写体画像Ｇを取得し、その後、背景画像Ｐ４ａを取得するようにしたが、一例であってこれに限られるものではなく、これらの順序が逆となるように適宜任意に変更可能である。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、例えば、背景画像Ｐ４ａ及び被写体切り抜き画像Ｐ３の撮像は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された画像データを記録して、合成画像生成処理のみを実行する画像合成装置であっても良い。

加えて、上記実施形態にあっては、取得手段、指定手段、合成手段、画像処理手段としての機能を、中央制御部１３及び画像処理部８が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、指定処理ルーチン、合成処理ルーチン、画像処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１３のＣＰＵを、俯瞰撮像された背景画像と、この背景画像と合成すべき前景画像とを個別に取得する取得手段として機能させるようにしても良い。また、指定処理ルーチンにより中央制御部１３のＣＰＵを、この取得手段により取得された背景画像Ｐ４ａにおける前景画像を合成する合成位置を指定する指定手段として機能させるようにしても良い。また、合成処理ルーチンにより中央制御部１３のＣＰＵを、背景画像Ｐ４ａにおける指定手段により指定された合成位置に前景画像を合成して合成画像を生成する合成手段として機能させるようにしても良い。また、画像処理ルーチンにより中央制御部１３のＣＰＵを、合成画像に対して、合成位置を基準として処理強度を制御した平滑化処理を施す画像処理手段として機能させるようにしても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
８ 画像処理部
８ａ 切抜画像生成部
８ｂ 被写体取得部
８ｃ 背景取得部
８ｄ 画像合成部
８ｅ 領域特定部
８ｆ 平滑化処理部
１３ 中央制御部

Claims (13)

1. 被写体画像を記録した記録手段と、
   前記記録手段に記録されている被写体画像とは異なる画像を取得する取得手段と、
   前記取得手段により取得された画像を背景画像として前記記録手段により記録された被写体画像を合成する合成位置を指定する指定手段と、
   前記背景画像における前記指定手段により指定された前記合成位置に前記被写体画像を合成して合成画像を生成する合成手段と、
   前記合成画像に対して、前記合成位置を基準とした距離が遠い位置ほど、平滑化処理の強度を段階的に強くするように変更して当該平滑化処理を施す画像処理手段と、
   を備えたことを特徴とする画像合成装置。
2. 前記平滑化処理を施すための処理強度の強さが異なる複数の平均化フィルタと前記被写体画像の中心座標からの距離とを対応付けて記憶する平均化フィルタ記憶手段と、
   前記被写体画像の中心座標を算出する座標算出手段と、
   を更に備え、
   前記画像処理手段は、前記平均化フィルタ記憶手段に対応付けて記憶された複数の平均化フィルタと被写体画像の中心座標とに基づいて、前記座標算出手段により算出された中心座標を前記基準として、当該中心座標からの距離が遠い位置の画素ほど前記処理強度の強い平均化フィルタを用いることで、前記合成画像に対して段階的に平滑化処理を施すことを特徴とする請求項１記載の画像合成装置。
3. 前記複数の平均化フィルタは、各々異なるサイズからなり、
   前記平均化フィルタ記憶手段により複数の平均化フィルタの最小サイズの平均化フィルタに対応付けられている中心座標からの距離は、前記被写体画像の最小包含円を有することを特徴とする請求項２記載の画像合成装置。
4. 前記座標算出手段は、
   前記被写体画像のｘ方向の各々の位置に対するｙ方向の位置の画素値のヒストグラムの合計を算出する第１のヒストグラム算出手段と、
   前記第１のヒストグラム算出手段により算出されたヒストグラムの合計に基づいて、前記被写体画像の中心座標のｘ座標を算出するｘ座標算出手段と、
   前記被写体画像のｙ方向の各々の位置に対するｘ方向の位置の画素値のヒストグラムの合計を算出する第２のヒストグラム算出手段と、
   前記第２のヒストグラム算出手段により算出されたヒストグラムの合計に基づいて、前記被写体画像の中心座標のｙ座標を算出するｙ座標算出手段と、
   を含むことを特徴とする請求項２又は３記載の画像合成装置。
5. 前記ｘ座標算出手段及び前記ｙ座標算出手段は、対応する各ヒストグラムの合計の値の分布にピークが存在するときは、当該ピークが存在する位置を前記中心座標のｘ座標及びｙ座標として算出する一方、前記ピークが存在しないときは、対応する各ヒストグラムの合計の値の分布の最大値と最小値の中心となる位置を前記中心座標のｘ座標及びｙ座標として算出することを特徴とする請求項４記載の画像合成装置。
6. 前記座標算出手段により算出された中心座標を前記背景画像の座標系に変換する座標系変換手段を更に備え、
   前記画像処理手段は、前記座標系変換手段により変換された中心座標を前記基準とした距離に応じて、前記合成画像に対して平滑化処理を段階的に施すことを特徴とする請求項２〜５の何れか一項に記載の画像合成装置。
7. 前記合成画像における前記被写体画像を略中心とする所定範囲を特定する領域特定手段を更に備え、
   前記画像処理手段は、
   前記領域特定手段により特定された前記被写体画像を略中心とする所定範囲内の領域に対して前記平滑化処理を施さないことを特徴とする請求項１に記載の画像合成装置。
8. 前記画像処理手段は、
   前記合成画像における前記被写体画像からの距離が遠い位置ほど、前記平滑化処理の強度を段階的に強くするように変更して当該平滑化処理を施すことを特徴とする請求項１〜７の何れか一項に記載の画像合成装置。
9. 前記画像処理手段は、
   前記合成画像における前記被写体画像からの距離が遠い位置ほど、所定の一方向及び当該一方向に略直交する直交方向のうち、少なくとも一の方向と略平行な方向に沿って前記平滑化処理の強度を段階的に強くするように変更して当該平滑化処理を施すことを特徴とする請求項８に記載の画像合成装置。
10. 前記距離は、前記被写体画像の略中央部からの距離であることを特徴とする請求項８又は９に記載の画像合成装置。
11. 前記被写体画像は、背景と被写体とが存在する画像から被写体が含まれる領域を切り抜いた画像であることを特徴とする請求項１〜１０の何れか一項に記載の画像合成装置。
12. 画像合成装置を用いた画像合成方法であって、
    記録手段に記録されている被写体画像とは異なる画像を取得するステップと、
    取得された画像を背景画像として記録された被写体画像を合成する合成位置を指定するステップと、
    前記背景画像における前記合成位置に前記被写体画像を合成して合成画像を生成するステップと、
    前記合成画像に対して、前記合成位置を基準とした距離が遠い位置ほど、平滑化処理の強度を段階的に強くするように変更して当該平滑化処理を施すステップと、
    を実行させることを特徴とする画像合成方法。
13. コンピュータを、
    記録手段に記録されている被写体画像とは異なる画像を取得する取得手段、
    前記取得手段により取得された画像を背景画像として前記記録手段により記録された被写体画像を合成する合成位置を指定する指定手段、
    前記背景画像における前記指定手段により指定された前記合成位置に前記被写体画像を合成して合成画像を生成する合成手段、
    前記合成画像に対して、前記合成位置を基準とした距離が遠い位置ほど、平滑化処理の強度を段階的に強くするように変更して当該平滑化処理を施す画像処理手段、
    として機能させることを特徴とするプログラム。