JP5494537B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、複数の画像を合成する画像処理装置及びプログラムに関する。

従来、被写体画像と背景用画像やフレーム画像を合成することにより合成画像を生成する技術が知られている（例えば、特許文献１参照）。

特開２００４−１５９１５８号公報

しかしながら、被写体画像と背景用画像やフレーム画像の撮像条件が異なると、合成画像における被写体画像と背景用画像やフレーム画像とのバランスが悪くなってしまうといった問題がある。例えば、被写体画像の撮像を室内の照明下で行う一方、背景用画像の撮像を晴天の屋外で行った場合、被写体画像と背景用画像とではコントラストや明るさが異なるため、違和感のある合成画像が生成されるという問題があった。

そこで、本発明の課題は、撮影環境の影響を極力少なくし違和感の少ない合成画像を生成することができる画像処理装置及びプログラムを提供することである。

請求項１に記載の発明の画像処理装置は、
少なくとも二つの画像において、一方の画像における光源の位置を特定する位置特定手段と、前記少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域の位置を指定する位置指定手段と、前記一方の画像と前記他方の画像とを合成する合成手段と、前記位置特定手段により特定された光源の位置と前記位置指定手段により指定された合成すべき領域の位置との間の距離に応じて、前記一方の画像又は前記他方の画像の明るさを調整する処理を施す画像処理手段と、を備えたことを特徴としている。

請求項２に記載の発明の画像処理装置は、請求項１に記載の画像処理装置において、
前記画像処理手段は、前記位置特定手段により特定された光源の位置と前記位置指定手段により指定された合成すべき領域の位置との間の距離に応じて、前記一方の画像に付加する影の濃度を調整する処理を施す第１の処理手段を含み、前記第１の処理手段による処理により、前記一方の画像の明るさを調整することを特徴としている。
請求項３に記載の発明の画像処理装置は、請求項２に記載の画像処理装置において、
前記第１の処理手段は、前記合成すべき領域の位置が前記光源の位置に対し相対的に遠い程、前記一方の画像に付加する影の濃度が濃くなるように調整し、前記合成すべき領域の位置が前記光源の位置に対し相対的に近い程、前記一方の画像に付加する影の濃度が薄くなるように調整することを特徴としている。
請求項４に記載の発明の画像処理装置は、請求項１から３の何れかに記載の画像処理装
置において、前記画像処理手段は、前記位置特定手段により特定された光源の位置と前記位置指定手段により指定された合成すべき領域の位置との間の距離に応じて、前記他方の画像の明るさの濃度を調整する処理を施す第２の処理手段を含み、前記第２の処理手段による処理により、前記他方の画像の明るさを調整することを特徴としている。
請求項５に記載の発明の画像処理装置は、請求項４に記載の画像処理装置において、
前記第２の処理手段は、前記合成すべき領域の位置が前記光源の位置に対し相対的に遠い程、前記他方の画像が暗くなるように調整し、前記合成すべき領域の位置が前記光源の位置に対し相対的に近い程、前記他方の画像が明るくなるように調整することを特徴としている。

請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理装置において、
前記他方の画像とは、背景と被写体とが存在する画像から被写体が含まれる領域を切り
抜いた被写体画像であることを特徴としている。

また、請求項７に記載の発明のプログラムは、画像処理装置のコンピュータを、少なくとも二つの画像において、一方の画像における光源の位置を特定する位置特定手段、前記少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域の位置を指定する位置指定手段、前記一方の画像の画像と前記他方の画像とを合成する合成手段、前記位置特定手段により特定された光源の位置と前記位置指定手段により指定された合成すべき領域の位置との間の距離に応じて、前記一方の画像又は前記他方の画像の明るさを調整する処理を施す画像処理手段、として機能させることを特徴としている。

本発明によれば、撮影環境の影響を極力少なくし違和感の少ない合成画像を生成することができる。

本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による背景用画像生成処理に係る動作の一例を示すフローチャートである。 図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図１の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。 図４の合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。 図４の合成画像生成処理に係る画像の一例を模式的に示す図である。 本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。 図７の撮像装置による背景用画像生成処理に係る動作の一例を示すフローチャートである。 図７の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図７の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。 図１０の合成画像生成処理に係る画像の一例を模式的に示す図である。 被写体合成画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
実施形態１の撮像装置１００は、背景用画像Ｐ１及び被写体切り抜き画像Ｐ３の明るさ、コントラスト、色調（色味）等の撮像条件が一致するか否かを判定し、撮像条件が一致しないと判定された場合に、被写体切り抜き画像Ｐ３に所定の画像処理を施してから背景用画像Ｐ１と合成する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。

このように構成された撮像レンズ部１、電子撮像部２及び撮像制御部３は、画像合成処理に係る背景用画像Ｐ１（図６（ａ）参照）や被写体存在画像Ｐ２（図６（ｂ）参照）を撮像する。
また、撮像レンズ部１、電子撮像部２及び撮像制御部３は、被写体存在画像Ｐ２の撮像後、当該被写体存在画像Ｐ２の撮像の際の撮像条件を固定した状態で、被写体切り抜き画像Ｐ３の生成のための被写体非存在画像（図示略）を撮像する。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３等によって処理されるデータ等を一時記憶する。

特徴量演算部６は、被写体非存在画像を基準として、当該被写体非存在画像から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６は、被写体非存在画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。

ブロックマッチング部７は、被写体非存在画像と被写体存在画像Ｐ２の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像Ｐ２内のどこに対応するか、つまり、被写体存在画像Ｐ２内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像と被写体存在画像Ｐ２間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。

画像処理部８は、被写体存在画像Ｐ２と被写体非存在画像との位置合わせを行う位置合わせ部８ａを具備している。
位置合わせ部８ａは、被写体非存在画像から抽出した特徴点に基づいて、被写体非存在画像に対する被写体存在画像Ｐ２の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ２を座標変換して被写体非存在画像と位置合わせを行う。

また、画像処理部８は、位置合わせ部８ａにより位置合わせされた被写体存在画像Ｐ２と被写体非存在画像との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在画像Ｐ２から被写体が含まれる被写体領域を抽出する被写体領域抽出部８ｂを具備している。

また、画像処理部８は、被写体存在画像Ｐ２内で抽出された被写体領域の位置を特定して、被写体存在画像Ｐ２における被写体領域の位置を示す位置情報を生成する位置情報生成部８ｃを具備している。
ここで、位置情報としては、例えば、アルファマップが挙げられ、アルファマップとは、被写体存在画像Ｐ２の各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。

また、画像処理部８は、生成されたアルファマップに基づいて、被写体存在画像Ｐ２の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体の画像を所定の単一色画像と合成して被写体切り抜き画像Ｐ３（図６（ｃ）参照）の画像データを生成する切抜画像生成部８ｄを具備している。

また、画像処理部８は、各画像の画像合成処理に関連する合成関連情報として撮像条件を取得する撮像条件取得部８ｅを具備している。
ここで、撮像条件としては、例えば、明るさ、コントラスト、色調等が挙げられる。そして、撮像条件取得部８ｅは、画像データ生成部４により生成された背景用画像Ｐ１や切抜画像生成部８ｄにより生成された被写体切り抜き画像Ｐ３の画像データに基づいて、各々の画像の明るさやコントラストを取得する。また、撮像条件取得部８ｅは、背景用画像Ｐ１や被写体切り抜き画像Ｐ３の撮像の際に、撮像制御部３からホワイトバランスの調整値を色調として取得する。さらに、撮像条件取得部８ｅは、合成画像生成処理にて、記録媒体９にＥｘｉｆ形式の画像ファイルとして記録されている背景用画像Ｐ１や被写体切り抜き画像Ｐ３の画像データのＥｘｉｆ情報から当該画像の明るさやコントラスト、ホワイトバランスの調整値（色調）等の撮像条件を読み出して取得する。
ここで、撮像条件取得部８ｅは、背景用画像（第１の画像）Ｐ１の画像合成処理に関連する撮像条件を取得し、被写体切り抜き画像（第２の画像）Ｐ３の撮像条件として、当該被写体切り抜き画像Ｐ３の生成に係る被写体存在画像Ｐ２を撮像した際の撮像条件を取得する。

また、画像処理部８は、撮像条件取得部８ｅにより取得された背景用画像Ｐ１の撮像条件と被写体切り抜き画像Ｐ３の撮像条件とが一致するか否かを判定する撮像条件判定部８ｆを具備している。具体的には、撮像条件判定部８ｆは、合成画像生成処理にて、ユーザにより指定された合成画像の背景となる背景用画像Ｐ１の撮像条件と、ユーザにより指定された被写体切り抜き画像Ｐ３の撮像条件とが一致するか否かを判定する。
ここで、撮像条件判定部８ｆは、撮像条件取得部８ｅによって取得された背景用画像（第１の画像）Ｐ１の撮像条件と被写体切り抜き画像（第２の画像）Ｐ３の撮像条件とが一致するか否かを判定する。

また、画像処理部８は、被写体切り抜き画像Ｐ３と背景用画像Ｐ１とを合成する画像合成部８ｇを具備している。具体的には、画像合成部８ｇは、背景用画像Ｐ１の各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし、さらに、背景用画像Ｐ１の各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを被写体領域を切り抜いた画像（背景用画像×（１−α））と合成する。
また、画像合成部８ｇは、撮像条件取得部８ｅによって取得された被写体切り抜き画像Ｐ３の撮像条件と背景用画像Ｐ１の撮像条件に基づいて、被写体切り抜き画像Ｐ３と背景用画像Ｐ１とを合成する。具体的には、画像合成部８ｇは、撮像条件判定部８ｆによって背景用画像Ｐ１の撮像条件と被写体切り抜き画像Ｐ３の撮像条件が一致しないと判定された場合に、背景用画像Ｐ１の明るさ、コントラスト、色調等の撮像条件を基準として被写体切り抜き画像Ｐ３に対して明るさ調整、コントラスト調整、ホワイトバランス調整等の画像処理を施して、当該画像処理後の被写体切り抜き画像Ｐ３と背景用画像Ｐ１とを合成して被写体合成画像Ｐ４を生成する。

記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された背景用画像Ｐ１や被写体切り抜き画像Ｐ３の画像データを記憶する。
また、被写体切り抜き画像Ｐ３の画像データは、画像処理部８の位置情報生成部８ｃにより生成されたアルファマップと対応付けられて、当該被写体切り抜き画像Ｐ３の画像データの拡張子を「.jpe」として保存されている。
また、各画像データは、当該画像の明るさやコントラスト、ホワイトバランスの調整値（色調）等の撮像条件がＥｘｉｆ情報として付帯されたＥｘｉｆ形式の画像ファイルから構成されている。

表示制御部１０は、画像メモリ５に一時的に記憶されている表示用の画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。

表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１１は、撮像モードにて、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。

操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン１２ａ、撮像モードや機能等の選択指示や被写体切り抜き画像Ｐ３の合成位置の設定指示に係る選択決定ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１３に出力する。

ＣＰＵ１３は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１３は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。

次に、撮像装置１００による背景用画像生成処理について、図２を参照して説明する。
図２は、背景用画像生成処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する背景用画像生成処理にあっては、背景用画像Ｐ１の撮像を室内で行うものとし、屋外で撮像される画像（例えば、後述する被写体存在画像Ｐ２）とは、例えば、明るさ、コントラスト、色調等が異なるものとする。

背景用画像生成処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。
図２に示すように、先ず、ＣＰＵ１３は、表示制御部１０に、撮像レンズ部１、電子撮像部２及び撮像制御部３による背景用画像Ｐ１の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させる（ステップＳ１）。

次に、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ２）。ここで、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ２；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、背景用画像Ｐ１（図６（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ３）。

続けて、ＣＰＵ１３は、画像データ生成部４に、電子撮像部２から転送された背景用画像Ｐ１の画像フレームのＹＵＶデータを生成させた後、画像処理部８の撮像条件取得部８ｅに、撮像条件として、背景用画像Ｐ１のＹＵＶデータに基づいて当該画像の明るさやコントラストを取得させるとともに、撮像制御部３から背景用画像Ｐ１の撮像の際のホワイトバランスの調整値を色調として取得させる（ステップＳ４）。
その後、ＣＰＵ１３は、記録媒体９の所定の記憶領域に、背景用画像Ｐ１のＹＵＶデータを撮像条件取得部８ｅにより取得された撮像条件（当該画像の明るさ、コントラスト、色調等）がＥｘｉｆ情報として付帯されたＥｘｉｆ形式の画像ファイルとして記憶させる（ステップＳ５）。
これにより、背景用画像生成処理を終了する。

次に、撮像装置１００による被写体切り抜き処理について、図３を参照して説明する。
図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する被写体切り抜き処理にあっては、被写体存在画像Ｐ２の撮像を屋外で行うものとする。また、被写体存在画像Ｐ２や被写体切り抜き画像Ｐ３の明るさを画像上のドット数で表し、ドット数が少ないほど明るい画像を表すものとする。

被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図３に示すように、先ず、ＣＰＵ１３は、表示制御部１０に、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ２の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１１）。

次に、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ１２）。ここで、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、被写体存在画像Ｐ２（図６（ｂ）参照）の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ１３）。

続けて、ＣＰＵ１３は、画像データ生成部４に、電子撮像部２から転送された被写体存在画像Ｐ２の画像フレームのＹＵＶデータを生成させた後、画像処理部８の撮像条件取得部８ｅに、撮像条件として、被写体存在画像Ｐ２のＹＵＶデータに基づいて当該画像の明るさやコントラストを取得させるとともに、撮像制御部３から被写体存在画像Ｐ２の撮像の際のホワイトバランスの調整値を色調として取得させる（ステップＳ１４）。なお、画像データ生成部４により生成された被写体存在画像Ｐ２のＹＵＶデータは、画像メモリ５に一時記憶される。
また、ＣＰＵ１３は、撮像制御部３を制御して、当該被写体存在画像Ｐ２の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。

そして、ＣＰＵ１３は、表示制御部１０に、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ２の半透過の表示態様の画像と被写体非存在画像の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１５）。
この後、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ１６）。そして、ユーザは、被写体を画角外に移動させるか、或いは被写体が移動するのを待った後、ユーザにより被写体非存在画像が被写体存在画像Ｐ２の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１２のシャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ１６；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、被写体非存在画像の光学像を被写体存在画像Ｐ２の撮像後に固定された条件で電子撮像部２により撮像させる（ステップＳ１７）。
その後、ＣＰＵ１３は、画像データ生成部４に、電子撮像部２から転送された被写体非存在画像の画像フレームに基づいて、被写体非存在画像のＹＵＶデータを生成させて、当該ＹＵＶデータを画像メモリ５に一時記憶させる。

次に、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時記憶されている被写体非存在画像のＹＵＶデータを基準として、被写体存在画像Ｐ２のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ１８）。
具体的には、特徴量演算部６は、被写体非存在画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ２内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像と被写体存在画像Ｐ２間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、画像処理部８の位置合わせ部８ａは、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ２の射影変換行列を算出する。

次に、ＣＰＵ１３は、位置合わせ部８ａに、算出された射影変換行例に基づいて被写体存在画像Ｐ２を射影変換させることで、被写体存在画像Ｐ２のＹＵＶデータと被写体非存在画像のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ１９）。

そして、ＣＰＵ１３は、画像処理部８の被写体領域抽出部８ｂに、被写体存在画像Ｐ２から被写体が含まれる被写体領域を抽出する処理を行わせる（ステップＳ２０）。
具体的には、被写体領域抽出部８ｂは、被写体存在画像Ｐ２のＹＵＶデータと被写体非存在画像のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部８ｂは、ローパスフィルタをかけた被写体存在画像Ｐ２と被写体非存在画像との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部８ｂは、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部８ｂは、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域として特定し、収縮分を修正するための膨張処理を行う。

次に、ＣＰＵ１３は、画像処理部８の位置情報生成部８ｃに、抽出された被写体領域の被写体存在画像Ｐ２内での位置を示すアルファマップを生成させる（ステップＳ２１）。

その後、ＣＰＵ１３は、画像処理部８の切抜画像生成部８ｄに、被写体の画像を所定の単一色画像と合成した被写体切り抜き画像Ｐ３（図６（ｃ）参照）の画像データを生成する処理を行わせる（ステップＳ２２）。
具体的には、切抜画像生成部８ｄは、被写体存在画像Ｐ２、単一色画像及びアルファマップを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ２の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。

その後、ＣＰＵ１３は、被写体切り抜き画像Ｐ３のＹＵＶデータを、撮像条件取得部８ｅにより取得された撮像条件（当該画像の明るさやコントラスト、色調等）及び画像処理部８の位置情報生成部８ｃにより生成されたアルファマップがＥｘｉｆ情報として付帯されたＥｘｉｆ形式の画像ファイルとし、例えば、当該被写体切り抜き画像Ｐ３の画像データの拡張子を「.jpe」とする一ファイルで記録媒体９の所定の記憶領域に記憶させる（ステップＳ２３）。
これにより、被写体切り抜き処理を終了する。

次に、合成画像生成処理について図４及び図５を参照して詳細に説明する。
図４は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図５は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。

合成画像生成処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作からなる指示に基づいて、メニュー画面に表示された複数の撮像モードの中から画像合成モードが選択指示された場合に実行される処理である。
図４に示すように、ユーザによる操作入力部１２の所定操作からなる指示に基づいて、記録媒体９に記録されている複数の画像の中で合成画像の背景となる所望の背景用画像Ｐ１（図６（ａ）参照）が選択して指定されると（ステップＳ３１）、画像処理部８は、指定された背景用画像Ｐ１の画像データを読み出して画像メモリ５に展開するとともに、画像処理部８の撮像条件取得部８ｅが、当該画像データと対応付けて記憶されている撮像条件（当該画像の明るさ、コントラスト、色調等）を読み出して取得する（ステップＳ３２）。

次に、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の被写体切り抜き画像Ｐ３が選択して指定されると（ステップＳ３３）、画像処理部８は、指定された被写体切り抜き画像Ｐ３の画像データを読み出して画像メモリ５に展開するとともに、画像処理部８の撮像条件取得部８ｅが、当該画像データと対応付けて記憶されている撮像条件（当該画像の明るさ、コントラスト、色調等）を読み出して取得する（ステップＳ３４）。

続けて、画像処理部８の撮像条件判定部８ｆは、読み出された背景用画像Ｐ１の撮像条件と被写体切り抜き画像Ｐ３の撮像条件に基づいて、互いの画像の明るさ、コントラスト、色調等が一致するか否かを判定する（ステップＳ３５）。
ここで、背景用画像Ｐ１と被写体切り抜き画像Ｐ３の撮像条件が一致しないと判定されると（ステップＳ３５；ＮＯ）、画像合成部８ｇは、背景用画像Ｐ１の撮像条件を基準として被写体切り抜き画像Ｐ３の撮像条件が背景用画像Ｐ１の撮像条件に近づくように所定の画像処理を施す（ステップＳ３６）。具体的には、背景用画像Ｐ１と被写体切り抜き画像Ｐ３の明るさが一致しない場合には、被写体切り抜き画像Ｐ３に対し、背景用画像Ｐ１に近づくように明るさ調整を施し、また、背景用画像Ｐ１と被写体切り抜き画像Ｐ３のコントラストの強弱が一致しない場合には、被写体切り抜き画像Ｐ３に対し、背景用画像Ｐ１に近づくようにコントラスト調整を施し、また、背景用画像Ｐ１と被写体切り抜き画像Ｐ３の色調が一致しない場合には、被写体切り抜き画像Ｐ３に対し、背景用画像Ｐ１に近づくようにホワイトバランス調整を施す。
一方、ステップＳ３５にて、撮像条件が一致すると判定されると（ステップＳ３５；ＹＥＳ）、被写体切り抜き画像Ｐ３に対する画像処理を行わずに、それ以降の処理を行う。

そして、ユーザによる操作入力部１２の所定操作に基づいて、背景用画像Ｐ１における被写体切り抜き画像Ｐ３の合成位置が指定されると（ステップＳ３７）、画像合成部８ｇは、背景用画像Ｐ１と被写体切り抜き画像Ｐ３（ステップＳ３６における画像処理後のものも含む）とを合成する画像合成処理を行う（ステップＳ３８）。
なお、背景用画像Ｐ１における被写体切り抜き画像Ｐ３の合成位置を指定する処理（ステップＳ３７）は、画像合成処理（ステップＳ３８）よりも前であれば如何なるタイミングで行っても良い。

ここで、画像合成処理について図５を参照して詳細に説明する。
図５に示すように、画像合成部８ｇは、被写体切り抜き画像Ｐ３と対応付けて保存されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ４１）。
なお、図４のステップＳ３７にて背景用画像Ｐ１における被写体切り抜き画像Ｐ３の合成位置が指定された際に、背景用画像Ｐ１とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。

次に、画像合成部８ｇは、背景用画像Ｐ１の何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ４２）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ４３）。具体的には、画像合成部８ｇは、背景用画像Ｐ１の何れか一の画素のうち、アルファ値が１の画素については（ステップＳ４３；α＝１）、被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし（ステップＳ４４）、アルファ値が０＜α＜１の画素については（ステップＳ４３；０＜α＜１）、１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景用画像Ｐ１×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを被写体領域を切り抜いた画像（背景用画像Ｐ１×（１−α））と合成し（ステップＳ４５、アルファ値が０の画素については（ステップＳ４３；α＝０）、何もせずに背景用画像Ｐ１を透過させるようにする。

続けて、画像合成部８ｇは、背景用画像Ｐ１の全ての画素について処理したか否かを判定する（ステップＳ４６）。
ここで、全ての画素について処理していないと判定されると（ステップＳ４６；ＮＯ）、画像合成部８ｇは、処理対象を次の画素に移動させて（ステップＳ４７）、処理をステップＳ４２に移行させる。
上記の処理を、ステップＳ４６にて全ての画素について処理したと判定されるまで（ステップＳ４６；ＹＥＳ）、繰り返すことで、画像合成部８ｇは、被写体切り抜き画像Ｐ３と背景用画像Ｐ１とを合成した被写体合成画像Ｐ４の画像データを生成させる。
これにより、画像合成処理を終了する。

その後、図４に示すように、ＣＰＵ１３は、表示制御部１０に、画像合成部８ｇにより生成された被写体合成画像Ｐ４の画像データに基づいて、背景用画像Ｐ１に被写体が重畳された被写体合成画像Ｐ４（図６（ｃ）参照）を表示部１１の表示画面に表示させる（ステップＳ３９）。
これにより、合成画像生成処理を終了する。

以上のように、実施形態１の撮像装置１００によれば、撮像条件取得部８ｅによって取得された背景用画像Ｐ１及び被写体切り抜き画像Ｐ３の撮像条件に基づいて、背景用画像Ｐ１及び被写体切り抜き画像Ｐ３を合成して被写体合成画像Ｐ４を生成する。具体的には、被写体存在画像Ｐ２を所定の撮像条件で撮像した後、被写体存在画像Ｐ２から被写体が含まれる被写体領域を抽出した被写体切り抜き画像Ｐ３を生成する。そして、背景用画像Ｐ１及び被写体切り抜き画像Ｐ３の明るさ、コントラスト、色調等の撮像条件を取得して、これらの撮像条件が一致するか否かを判定し、撮像条件が一致しないと判定された場合に、被写体切り抜き画像Ｐ３に対し、背景用画像Ｐ１に撮像条件が近づくように所定の画像処理を施してから背景用画像Ｐ１と合成するので、被写体切り抜き画像Ｐ３の撮像条件と背景用画像Ｐ１の撮像条件が異なる場合に、これらの撮像条件を考慮して被写体切り抜き画像Ｐ３と背景用画像Ｐ１の明るさやコントラスト、色調が一致するように画像処理を施すことができ、違和感のより少ない被写体合成画像Ｐ４を生成することができる。

なお、上記実施形態１にあっては、画像合成部８ｇは、撮像条件判定部８ｆによって背景用画像Ｐ１と被写体切り抜き画像Ｐ３の明るさ、コントラスト、色調等の撮像条件が一致しないと判定された場合に、背景用画像Ｐ１の撮像条件を基準として被写体切り抜き画像Ｐ３に画像処理を施して、当該画像処理後の被写体切り抜き画像Ｐ３と背景用画像Ｐ１とを合成するようにしたが、これに限られるものではなく、例えば、被写体切り抜き画像Ｐ３の撮像条件を基準として背景用画像Ｐ１に画像処理を施して、当該画像処理後の背景用画像Ｐ１と被写体切り抜き画像Ｐ３とを合成しても良い。
また、被写体切り抜き画像Ｐ３の撮像条件と背景用画像Ｐ１の撮像条件が互いに近づくように両方の画像に画像処理を施した後、これらの画像を合成しても良い。

［実施形態２］
以下に、実施形態２の撮像装置２００について、図７〜図１１を参照して説明する。
実施形態２の撮像装置２００は、図７〜図１１に示すように、背景用画像Ｐ１１及び被写体切り抜き画像Ｐ１３の水平面に対する傾き（撮像条件）が一致するか否かを判定し、傾きが一致しないと判定された場合に、背景用画像Ｐ１１の水平方向を基準として被写体切り抜き画像Ｐ１３に所定の回転処理を施してから背景用画像Ｐ１１と合成する。
なお、実施形態２の撮像装置２００は、撮像制御部３の構成及び撮像条件の内容が異なる以外の点で上記実施形態１の撮像装置１００と略同様の構成を成し、その説明は省略する。

実施形態２の撮像装置２００の撮像制御部３は、撮像レンズ部１及び電子撮像部２とともに画像を撮像する際の当該撮像装置２００の水平面に対する傾きを検出する傾き検出部３ａを備えている。

傾き検出部３ａは、例えば、加速度センサや角速度センサ等を具備する電子式の水準器等から構成されている。そして、傾き検出部３ａは、背景用画像Ｐ１１や被写体存在画像Ｐ１２の撮像の際に検出した当該撮像装置２００の水平面に対する傾きを各画像の傾き情報（撮像条件）としてＣＰＵ１３に出力する。なお、撮像装置２００の水平面に対する傾きは、画像の天地を考慮して、水平面を基準として所定の一方向の回転角度で検出するのが好ましい。
ここで、傾き検出部３ａは、背景用画像（第１の画像）Ｐ１１を撮像した際の撮像条件を取得し、被写体切り抜き画像（第２の画像）Ｐ１３の撮像条件として、当該被写体切り抜き画像Ｐ１３の生成に係る被写体存在画像Ｐ１２を撮像した際の撮像条件を取得する。

なお、傾き検出部３ａにより検出された傾き情報（撮像条件）は、背景用画像Ｐ１１や被写体切り抜き画像Ｐ１３の画像データにＥｘｉｆ情報として付帯される。

次に、背景用画像生成処理について、図８を参照して説明する。
図８は、背景用画像生成処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する背景用画像生成処理のうち、傾き情報を取得する処理及び傾き情報を記憶する処理以外の処理は、実施形態１におけるものと略同様であり、その詳細な説明は省略する。
また、背景用画像Ｐ１１の撮像にあっては、撮像装置２００が水平面に対して所定の角度傾いた状態で撮像されたものとする（図１１（ａ）参照）。

図８に示すように、実施形態１と同様に、ライブビュー画像の表示中に（ステップＳ１）、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ２；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の撮像条件を調整させて、背景用画像Ｐ１１（図１１（ａ）参照）の光学像を所定の撮像条件で電子撮像部２により撮像させる（ステップＳ３）。
このとき、撮像制御部３の傾き検出部３ａは、背景用画像Ｐ１１の撮像の際の水平面に対する傾きとして当該撮像装置２００の水平面に対する傾きを検出して、その傾き情報をＣＰＵ１３に出力する（ステップＳ６１）。

続けて、ＣＰＵ１３は、画像データ生成部４に、電子撮像部２から転送された背景用画像Ｐ１１の画像フレームのＹＵＶデータを生成させた後、記録媒体９の所定の記憶領域に、背景用画像Ｐ１１のＹＵＶデータを撮像条件取得部８ｅにより取得された傾き情報（撮像条件）がＥｘｉｆ情報として付帯されたＥｘｉｆ形式の画像ファイルとして記憶させる（ステップＳ６２）。
これにより、背景用画像生成処理を終了する。

次に、被写体切り抜き処理について、図９を参照して説明する。
図９は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する被写体切り抜き処理における被写体切り抜き画像Ｐ１３の撮像にあっては、撮像装置２００が水平な状態で撮像されたものとする（図１１（ｂ）参照）。

図９に示すように、実施形態１と同様に、ライブビュー画像の表示中に（ステップＳ１１）、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の撮像条件を調整させて、被写体存在画像Ｐ１２（図１１（ｂ）参照）の光学像を所定の撮像条件で電子撮像部２により撮像させる（ステップＳ１３）。
このとき、撮像制御部３の傾き検出部３ａは、被写体存在画像Ｐ１２の撮像の際の水平面に対する傾きとして当該撮像装置２００の水平面に対する傾きを検出して、その傾き情報をＣＰＵ１３に出力する（ステップＳ７１）。

続けて、ＣＰＵ１３は、実施形態１と同様に、画像データ生成部４に、電子撮像部２から転送された被写体存在画像Ｐ１２の画像フレームのＹＵＶデータを生成させ、当該被写体存在画像Ｐ１２のＹＵＶデータを画像メモリ５に一時記憶させる。

そして、実施形態１と同様に、ライブビュー画像の表示中に（ステップＳ１５）、ユーザにより被写体非存在画像が被写体存在画像Ｐ１２の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１２のシャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ１６；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、被写体非存在画像の光学像を被写体存在画像Ｐ１２の撮像後に固定された撮像条件で電子撮像部２により撮像させる（ステップＳ１７）。
その後、ＣＰＵ１３は、実施形態１と同様に、画像データ生成部４に、電子撮像部２から転送された被写体非存在画像の画像フレームに基づいて、被写体非存在画像のＹＵＶデータを生成させて、当該ＹＵＶデータを画像メモリ５に一時記憶させる。

次に、ＣＰＵ１３は、実施形態１と同様に、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時記憶されている被写体非存在画像のＹＵＶデータを基準として、被写体存在画像Ｐ１２のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ１８）。

次に、ＣＰＵ１３は、実施形態１と同様に、画像処理部８の位置合わせ部８ａに、算出された射影変換行例に基づいて被写体存在画像Ｐ１２を射影変換させることで、被写体存在画像Ｐ１２のＹＵＶデータと被写体非存在画像のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ１９）。
そして、ＣＰＵ１３は、実施形態１と同様に、画像処理部８の被写体領域抽出部８ｂに、被写体存在画像Ｐ１２から被写体が含まれる被写体領域を抽出する処理を行わせる（ステップＳ２０）。

次に、ＣＰＵ１３は、実施形態１と同様に、画像処理部８の位置情報生成部８ｃに、抽出された被写体領域の被写体存在画像Ｐ１２内での位置を示すアルファマップを生成させる（ステップＳ２１）。
その後、ＣＰＵ１３は、実施形態１と同様に、画像処理部８の切抜画像生成部８ｄに、被写体の画像を所定の単一色画像と合成した被写体切り抜き画像Ｐ１３の画像データを生成する処理を行わせる（ステップＳ２２）。

その後、ＣＰＵ１３は、被写体切り抜き画像Ｐ１３のＹＵＶデータを撮像条件取得部８ｅにより取得された傾き情報（撮像条件）及び画像処理部８の位置情報生成部８ｃにより生成されたアルファマップがＥｘｉｆ情報として付帯されたＥｘｉｆ形式の画像ファイルとし、例えば、当該被写体切り抜き画像Ｐ１３の画像データの拡張子を「.jpe」とする一ファイルで記録媒体９の所定の記憶領域に記憶させる（ステップＳ７２）。
これにより、被写体切り抜き処理を終了する。

次に、合成画像生成処理について図１０を参照して詳細に説明する。
図１０は、合成画像生成処理に係る動作の一例を示すフローチャートである。
図１０に示すように、実施形態１と同様に、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９に記録されている複数の画像の中で合成画像の背景となる所望の背景用画像Ｐ１１（図１１（ａ）参照）が選択して指定されると（ステップＳ３１）、画像処理部８は、指定された背景用画像Ｐ１１の画像データを読み出して画像メモリ５に展開するとともに、画像処理部８の撮像条件取得部８ｅが、当該画像データと対応付けて記憶されている撮像条件（傾き情報）を読み出して取得する（ステップＳ８１）。

次に、実施形態１と同様に、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の被写体切り抜き画像Ｐ１３が選択して指定されると（ステップＳ３３）、画像処理部８は、指定された被写体切り抜き画像Ｐ１３の画像データを読み出して画像メモリ５に展開するとともに、画像処理部８の撮像条件取得部８ｅが、当該画像データと対応付けて記憶されている撮像条件（傾き情報）を読み出して取得する（ステップＳ８２）。

続けて、実施形態１と同様に、画像処理部８の撮像条件判定部８ｆは、読み出された背景用画像Ｐ１１の撮像条件（傾き情報）と被写体切り抜き画像Ｐ１３の撮像条件（傾き情報）に基づいて、互いの画像の水平面に対する傾きが一致するか否かを判定する（ステップＳ８３）。
ここで、背景用画像Ｐ１１は撮像の際に撮像装置２００が水平面に対して傾いた画像であり、被写体切り抜き画像Ｐ１３は水平な状態で撮像された被写体存在画像Ｐ１２に係る画像であることから、撮像条件（傾き情報）が一致しないと判定されると（ステップＳ８３；ＮＯ）、画像合成部８ｇは、背景用画像Ｐ１１の撮像条件を基準として被写体切り抜き画像Ｐ１３に対して所定の回転処理（画像処理）を施す（ステップＳ８４）。具体的には、背景用画像Ｐ１１の水平方向と被写体切り抜き画像Ｐ１３の水平方向を一致させるように当該被写体切り抜き画像Ｐ１３を所定の角度回転させる。
一方、ステップＳ８３にて、撮像条件が一致すると判定されると（ステップＳ８３；ＹＥＳ）、被写体切り抜き画像Ｐ１３に対する回転処理を行わずに、それ以降の処理を行う。

そして、実施形態１と同様に、ユーザによる操作入力部１２の所定操作に基づいて、背景用画像Ｐ１１における被写体切り抜き画像Ｐ１３の合成位置が指定されると（ステップＳ３７）、画像合成部８ｇは、背景用画像Ｐ１１と被写体切り抜き画像Ｐ１３（ステップＳ８４における回転処理後のものも含む）とを合成する画像合成処理を行う（ステップＳ３８）。
その後、実施形態１と同様に、ＣＰＵ１３は、表示制御部１０に、画像合成部８ｇにより生成された被写体合成画像Ｐ１４の画像データに基づいて、背景用画像Ｐ１１に被写体が重畳された被写体合成画像Ｐ１４（図１１（ｃ）参照）を表示部１１の表示画面に表示させる（ステップＳ３９）。
これにより、合成画像生成処理を終了する。

以上のように、実施形態２の撮像装置２００によれば、撮像条件として背景用画像Ｐ１１及び被写体切り抜き画像Ｐ１３の水平面に対する傾きを取得して、これらの画像の傾きが一致するか否かを判定し、傾きが一致しないと判定された場合に、被写体切り抜き画像Ｐ１３に所定の回転処理を施してから背景用画像Ｐ１１と合成するので、被写体切り抜き画像Ｐ１３と背景用画像Ｐ１１の水平面に対する傾きが異なる場合に、被写体切り抜き画像Ｐ１３と背景用画像Ｐ１１の水平方向が一致するように背景用画像Ｐ１１の水平方向を基準として被写体切り抜き画像Ｐ１３を所定の角度回転させる回転処理を施すことができ、水平方向が一致した違和感のより少ない被写体合成画像Ｐ１４を生成することができる。

なお、上記実施形態２にあっては、画像合成部８ｇは、撮像条件判定部８ｆによって背景用画像Ｐ１１の撮像条件と被写体切り抜き画像Ｐ１３の撮像条件（傾き情報）が一致しないと判定された場合に、背景用画像Ｐ１１の水平面を基準として被写体切り抜き画像Ｐ１３を所定の角度回転させるようにしたが、これに限られるものではなく、例えば、被写体切り抜き画像Ｐ１３の水平面を基準として背景用画像Ｐ１１を所定の角度回転させても良い。ただし、背景用画像Ｐ１１の回転により画像全体が表示画面に対して斜めに傾いてしまい見栄えが悪いため、被写体部分を含む領域の縦方向及び横方向が天地方向及び水平面と略等しくなるようにトリミング処理を施すか、或いは当該画像の表示の際に傾いた部分が表示画面に表示されないように所定の倍率で拡大表示するのが好ましい。
また、被写体切り抜き画像Ｐ１３の傾きと背景用画像Ｐ１１の傾きが一致するように両方の画像を所定角度ずつ回転させる回転処理を施した後、これらの画像を合成しても良いし、水平面に対する傾きだけでなく垂直面に対する傾きも考慮するようにしてもよい。

なお、本発明は、上記実施形態１、２に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態１、２にあっては、背景用画像Ｐ１（Ｐ１１）や被写体切り抜き画像Ｐ３（Ｐ１３）の明るさ、コントラスト、色調、各画像の水平面に対する傾き等の撮像条件を基準として、背景用画像Ｐ１と被写体切り抜き画像Ｐ３の合成を行うようにしたが、画像合成の基準はこれらに限られるものではない。
即ち、撮像条件取得部８ｅが、背景用画像Ｐ１における被写体切り抜き画像Ｐ３の合成位置の明るさの情報を取得し、画像合成部８ｇが、当該明るさの情報に基づいて、被写体切り抜き画像Ｐ３の明るさを調整して合成して被写体合成画像Ｐ２４を生成するようにしても良い。具体的には、背景用画像Ｐ１の画像データに基づいて各画素の輝度を測定して明るさを検出する。そして、被写体切り抜き画像Ｐ３の合成位置の明るさと背景用画像Ｐ１全体に対する合成位置の相対的な明るさの情報を取得し、当該合成位置の明るさ及び相対的な明るさに合わせて被写体切り抜き画像Ｐ３の明るさを調整して合成するようにしても良い。
これにより、背景用画像Ｐ１における被写体切り抜き画像Ｐ３の合成位置の明るさの情報に基づいて、当該被写体切り抜き画像Ｐ３の明るさを調整して合成することができ、画質が一致した違和感のより少ない被写体合成画像Ｐ４を生成することができる。

また、背景用画像Ｐ１の各画素の輝度に基づいて当該画像中から光源（例えば、蛍光灯や白熱灯）Ｌを検出して、当該光源Ｌの位置に対する被写体切り抜き画像Ｐ２３の合成位置の相対的な距離に応じて、被写体切り抜き画像Ｐ２３の明るさを調整するようにしても良い。例えば、被写体切り抜き画像Ｐ２３が光源Ｌの位置に対して相対的に遠い位置に合成される場合には、被写体切り抜き画像Ｐ２３をより暗くさせるように画像処理し（図１２（ａ）参照）、一方、光源Ｌの位置に対して相対的に近い位置に合成される場合には、被写体切り抜き画像Ｐ２３をより明るくさせるように画像処理する（図１２（ｂ）参照）。なお、図１２（ａ）及び図１２（ｂ）にあっては、被写体切り抜き画像Ｐ２３の明るさを画像上のドット数で表し、ドット数が少ないほど明るい画像を表すものとする。
即ち、撮像条件取得部８ｅによって取得された光源Ｌの位置情報のみに基づいて、被写体切り抜き画像Ｐ２３と背景用画像Ｐ２１とを合成しても良い。

このとき、被写体切り抜き画像Ｐ２３の合成位置と光源Ｌの位置情報に基づいて、被写体切り抜き画像Ｐ２３の影を付して合成しても良い。例えば、光源Ｌの位置に応じて被写体切り抜き画像Ｐ２３の影の向きを変更して合成する。
さらに、光源Ｌの位置に対する相対的な被写体切り抜き画像Ｐ２３の合成位置に従って、合成位置が近くなる程影が濃くなるように影の濃度を変更しても良い。

従って、背景用画像Ｐ２１中の光源Ｌの位置情報を取得して、当該光源Ｌの位置情報と、背景用画像Ｐ２１における被写体切り抜き画像Ｐ２３の合成位置に基づいて、被写体切り抜き画像Ｐ２３の影を付してから画像合成するので、光源Ｌからの被写体切り抜き画像Ｐ２３への光の到来方向（入射方向）を考慮して画像合成することができ、違和感のより少ない被写体合成画像Ｐ２４を生成することができる。

なお、光源として、背景用画像Ｐ１中から太陽が検出された場合には、当該光源の位置に対する被写体切り抜き画像Ｐ２３の合成位置の相対的な距離に応じて被写体切り抜き画像Ｐ２３の明るさを調整する処理を行う必要はなく、被写体切り抜き画像Ｐ２３の影を付して合成するのが好ましい。
また、被写体切り抜き画像Ｐ２３として、モーションＪＰＥＧ画像を合成する場合において、被写体切り抜き画像が背景用画像内で移動することで光源Ｌに対する位置や合成位置の明るさが変化するときには、各画像フレーム毎に光源Ｌに対する位置や合成位置の明るさを取得して、当該位置や明るさに基づいて被写体切り抜き画像の明るさを変更したり、所定の向きで影を付して合成する。

さらに、上記実施形態１、２にあっては、背景用画像Ｐ１（Ｐ１１）に一の被写体切り抜き画像Ｐ３（Ｐ１３）を合成するようにしたが、被写体切り抜き画像Ｐ３の合成数は適宜任意に変更することができ、複数であっても良い。かかる場合には、全ての被写体切り抜き画像Ｐ３、…と背景用画像Ｐ１とが違和感を生じさせないように所定の画像処理や回転処理等を行うのが好ましい。
また、背景用画像生成処理を行った後、被写体切り抜き処理を行うようにしたが、これらの処理の順番は逆であっても良い。

また、画像合成モードを指定した後に、ユーザ所望の背景用画像や被写体切り抜き画像を撮像して、撮像された背景用画像や被写体切り抜き画像を画像合成するようにしても良い。例えば、予め所定の背景用画像を撮像条件と関連付けて記録媒体９に記録しておき、画像合成モードを指定した後に、当該背景用画像と合成される所望の被写体切り抜き画像を撮像し、その際の明るさやコントラスト等の撮像条件を取得して互いの撮像条件を近付けるように画像処理を施すようにしても良い。また、同様に、背景用画像における被写体切り抜き画像の合成領域の明るさを取得しておき、画像合成モードを指定した後に、当該背景用画像と合成される所望の被写体切り抜き画像を撮像し、その画像の明るさを取得して互いの明るさを近付けるように画像処理を施すようにしても良い。また、同様に、背景用画像における光源の位置を特定しておき、画像合成モードを指定した後に、当該背景用画像と合成される所望の被写体切り抜き画像を撮像し、その画像に対して背景用画像における光源の位置及び被写体切り抜き画像の合成位置に基づいて画像処理を施すようにしても良い。

さらに、撮像装置１００、２００の構成は、上記実施形態１、２に例示したものは一例であり、これに限られるものではない。即ち、画像処理装置として、撮像装置を例示したが、これに限られるものではない。例えば、背景用画像、被写体切り抜き画像の生成は、当該撮像装置１００、２００とは異なる撮像装置にて行い、この撮像装置から転送された画像データや撮像条件のみを記録して、合成画像生成処理のみを実行する画像処理装置であっても良い。

加えて、上記実施形態にあっては、ＣＰＵ１３の制御下にて、画像処理部８の撮像条件取得部８ｅや画像合成部８ｇが駆動することにより本発明が実現される構成としたが、これに限られるものではなく、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、指示処理ルーチン、画像処理ルーチン及び合成処理ルーチンを含むプログラム、或いは領域指示処理ルーチン、明るさ取得処理ルーチン及び合成処理ルーチンを含むプログラム、或いは特定処理ルーチン、位置指示処理ルーチン及び合成処理ルーチンを含むプログラムを記憶しておく。そして、指示処理ルーチンによりＣＰＵ１３に、記録媒体９に複数記憶されている画像同士の合成を指示させるようにしても良い。また、画像処理ルーチンによりＣＰＵ１３に、合成が指示された画像に夫々関連付けられた撮像条件を記録媒体９より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理させるようにしても良い。また、合成処理ルーチンによりＣＰＵ１３に、画像処理された他方の画像と一方の画像とを合成させるようにしても良い。
また、領域指示処理ルーチンによりＣＰＵ１３に、少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域を指示させるようにしても良い。また、明るさ取得処理ルーチンによりＣＰＵ１３に、指示された一方の画像の合成すべき領域の明るさを取得させるようにしても良い。また、合成処理ルーチンによりＣＰＵ１３に、他方の画像の明るさが、取得された一方の画像の合成すべき領域の明るさに近づくように処理を施し、二つの画像を合成させるようにしても良い。
また、特定処理ルーチンによりＣＰＵ１３に、少なくとも二つの画像において、一方の画像における光源の位置を特定させるようにしても良い。また、位置指示処理ルーチンによりＣＰＵ１３に、一方の画像において、他方の画像を合成すべき位置を指示させるようにしても良い。また、合成処理ルーチンによりＣＰＵ１３に、指示された位置と一方の画像の光源の位置とに基づいて他方の画像に処理を施し、二つの画像を合成させるようにしても良い。

１００、２００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
３ａ 傾き検出部
８ 画像処理部
８ｅ 撮像条件取得部
８ｆ 撮像条件判定部
８ｇ 画像合成部
９ 記録媒体
１１ 表示部
１３ ＣＰＵ

Claims (7)

1. 少なくとも二つの画像において、一方の画像における光源の位置を特定する位置特定手段と、
   前記少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域の位置を指定する位置指定手段と、
   前記一方の画像と前記他方の画像とを合成する合成手段と、
   前記位置特定手段により特定された光源の位置と前記位置指定手段により指定された合成すべき領域の位置との間の距離に応じて、前記一方の画像又は前記他方の画像の明るさを調整する処理を施す画像処理手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像処理手段は、
   前記位置特定手段により特定された光源の位置と前記位置指定手段により指定された合成すべき領域の位置との間の距離に応じて、前記一方の画像に付加する影の濃度を調整する処理を施す第１の処理手段を含み、
   前記第１の処理手段による処理により、前記一方の画像の明るさを調整することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の処理手段は、前記合成すべき領域の位置が前記光源の位置に対し相対的に遠い程、前記一方の画像に付加する影の濃度が濃くなるように調整し、前記合成すべき領域の位置が前記光源の位置に対し相対的に近い程、前記一方の画像に付加する影の濃度が薄くなるように調整することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理手段は、
   前記位置特定手段により特定された光源の位置と前記位置指定手段により指定された合成すべき領域の位置との間の距離に応じて、前記他方の画像の明るさの濃度を調整する処理を施す第２の処理手段を含み、
   前記第２の処理手段による処理により、前記他方の画像の明るさを調整することを特徴とする請求項１から３の何れかに記載の画像処理装置。
5. 前記第２の処理手段は、前記合成すべき領域の位置が前記光源の位置に対し相対的に遠い程、前記他方の画像が暗くなるように調整し、前記合成すべき領域の位置が前記光源の位置に対し相対的に近い程、前記他方の画像が明るくなるように調整することを特徴とする請求項４に記載の画像処理装置。
6. 前記他方の画像とは、背景と被写体とが存在する画像から被写体が含まれる領域を切り抜いた被写体画像であることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
7. 画像処理装置のコンピュータを、
   少なくとも二つの画像において、一方の画像における光源の位置を特定する位置特定手段、
   前記少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域の位置を指定する位置指定手段、
   前記一方の画像の画像と前記他方の画像とを合成する合成手段、
   前記位置特定手段により特定された光源の位置と前記位置指定手段により指定された合成すべき領域の位置との間の距離に応じて、前記一方の画像又は前記他方の画像の明るさを調整する処理を施す画像処理手段、
   として機能させることを特徴とするプログラム。
   

Images