JP5402361B2 - 撮像装置、画像処理方法及びプログラム - Google Patents
撮像装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP5402361B2 JP5402361B2 JP2009179759A JP2009179759A JP5402361B2 JP 5402361 B2 JP5402361 B2 JP 5402361B2 JP 2009179759 A JP2009179759 A JP 2009179759A JP 2009179759 A JP2009179759 A JP 2009179759A JP 5402361 B2 JP5402361 B2 JP 5402361B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- extraction
- imaging
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像された画像から被写体領域を抽出する撮像装置、画像処理方法及びプログラムに関する。
従来、撮像装置を用いて、背景内に被写体が存在する画像と被写体が存在しない背景画像を撮影して、背景画像と被写体が存在する画像から差分情報を生成し、被写体のみを抜き出すアプリケーションが知られている（例えば、特許文献１参照）。
しかしながら、上記特許文献１のように、背景内に被写体が存在する画像と被写体が存在しない背景画像とを２回に分けて撮影する場合、２回の撮影の間に画角の移動が生じ易く、被写体を抽出する処理にて背景自体の画素値に差分が発生して背景部分を被写体と誤認識して被写体の抽出を適正に行うことができないといった問題がある。
一方、１回の撮影で生成された１枚の撮影画像から被写体を切り抜く技術も知られているが、撮影環境によっては適用が困難となっている。
一方、１回の撮影で生成された１枚の撮影画像から被写体を切り抜く技術も知られているが、撮影環境によっては適用が困難となっている。
そこで、本発明の課題は、１回の撮影での被写体領域の抽出に適した撮影環境を判別することができ、被写体領域の抽出を一回の撮影で簡便に行うことができる撮像装置、画像処理方法及びプログラムを提供することである。
上記課題を解決するため、請求項１に記載の発明の撮像装置は、
撮像手段と、この撮像手段により撮像された被写体領域の抽出用の被写体抽出用画像の画像フレームを生成する生成手段と、この生成手段により生成された前記被写体抽出用画像の画像フレームの非平坦度を演算する演算手段と、この演算手段により演算された前記被写体抽出用画像の画像フレームの非平坦度が所定値以下であるか否かを判定する第１判定手段と、前記撮像手段による背景内に被写体が存在する被写体存在画像の撮像を指示する第１撮像指示手段と、前記第１判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体抽出用画像の画像フレームに基づいて抽出用背景画像を生成する背景生成手段と、前記第１撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第１被写体抽出手段と、前記第１判定手段により非平坦度が所定値以下でないと判定された場合に、前記撮像手段による前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の撮像を指示する第２撮像指示手段と、前記第２撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２被写体抽出手段と、を備えたことを特徴としている。
撮像手段と、この撮像手段により撮像された被写体領域の抽出用の被写体抽出用画像の画像フレームを生成する生成手段と、この生成手段により生成された前記被写体抽出用画像の画像フレームの非平坦度を演算する演算手段と、この演算手段により演算された前記被写体抽出用画像の画像フレームの非平坦度が所定値以下であるか否かを判定する第１判定手段と、前記撮像手段による背景内に被写体が存在する被写体存在画像の撮像を指示する第１撮像指示手段と、前記第１判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体抽出用画像の画像フレームに基づいて抽出用背景画像を生成する背景生成手段と、前記第１撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第１被写体抽出手段と、前記第１判定手段により非平坦度が所定値以下でないと判定された場合に、前記撮像手段による前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の撮像を指示する第２撮像指示手段と、前記第２撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２被写体抽出手段と、を備えたことを特徴としている。
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記生成手段は、背景内に被写体の存在しない第１被写体抽出用画像と前記背景内に被写体の存在する第２被写体抽出用画像の各々を前記撮像手段により撮像して各々の画像フレームを生成し、前記第１被写体抽出用画像の画像フレームと前記第２被写体抽出用画像の画像フレームとの対応する各画素の相違度が所定値以下であるか否かを判定する第２判定手段を更に備え、前記背景生成手段は、前記第２判定手段により相違度が所定値以下であると判定された画素に基づいて、前記抽出用背景画像を生成することを特徴としている。
前記生成手段は、背景内に被写体の存在しない第１被写体抽出用画像と前記背景内に被写体の存在する第２被写体抽出用画像の各々を前記撮像手段により撮像して各々の画像フレームを生成し、前記第１被写体抽出用画像の画像フレームと前記第２被写体抽出用画像の画像フレームとの対応する各画素の相違度が所定値以下であるか否かを判定する第２判定手段を更に備え、前記背景生成手段は、前記第２判定手段により相違度が所定値以下であると判定された画素に基づいて、前記抽出用背景画像を生成することを特徴としている。
請求項３に記載の発明は、請求項２に記載の撮像装置において、
前記背景生成手段は、前記第２判定手段により相違度が所定値以下であると判定された画素と同じ色の前記抽出用背景画像を生成することを特徴としている。
前記背景生成手段は、前記第２判定手段により相違度が所定値以下であると判定された画素と同じ色の前記抽出用背景画像を生成することを特徴としている。
請求項４に記載の発明は、請求項２又は３に記載の撮像装置において、
前記撮像手段により先に撮像される前記第１被写体抽出用画像と当該第１被写体抽出用画像の撮像後に撮像される前記第２被写体抽出用画像の各々の撮像条件を同じ条件に設定する撮像条件設定手段を更に備えることを特徴としている。
前記撮像手段により先に撮像される前記第１被写体抽出用画像と当該第１被写体抽出用画像の撮像後に撮像される前記第２被写体抽出用画像の各々の撮像条件を同じ条件に設定する撮像条件設定手段を更に備えることを特徴としている。
請求項５に記載の発明は、請求項４に記載の撮像装置において、
前記撮像条件設定手段は、更に、前記第２被写体抽出用画像の撮像後に、前記撮像手段により前記被写体存在画像を撮像する際の撮像条件を設定することを特徴としている。
前記撮像条件設定手段は、更に、前記第２被写体抽出用画像の撮像後に、前記撮像手段により前記被写体存在画像を撮像する際の撮像条件を設定することを特徴としている。
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の撮像装置において、
前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出するための抽出用情報を生成する第１抽出用情報生成手段を更に備え、前記第１被写体抽出手段は、前記第１抽出用情報生成手段により生成された抽出用情報を用いて前記被写体存在画像から前記被写体領域を抽出することを特徴としている。
前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出するための抽出用情報を生成する第１抽出用情報生成手段を更に備え、前記第１被写体抽出手段は、前記第１抽出用情報生成手段により生成された抽出用情報を用いて前記被写体存在画像から前記被写体領域を抽出することを特徴としている。
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の撮像装置において、
前記演算手段は、前記非平坦度として、前記被写体抽出用画像の複数の特徴点を抽出し、前記第１判定手段は、更に、前記演算手段により抽出された前記複数の特徴点が所定値以下であるか否かを判定し、前記背景生成手段は、更に、前記第１判定手段により特徴点が所定値以下であると判定された場合に、前記抽出用背景画像を生成することを特徴としている。
前記演算手段は、前記非平坦度として、前記被写体抽出用画像の複数の特徴点を抽出し、前記第１判定手段は、更に、前記演算手段により抽出された前記複数の特徴点が所定値以下であるか否かを判定し、前記背景生成手段は、更に、前記第１判定手段により特徴点が所定値以下であると判定された場合に、前記抽出用背景画像を生成することを特徴としている。
請求項８に記載の発明は、請求項１〜７の何れか一項に記載の撮像装置において、
前記演算手段は、前記非平坦度として、前記被写体抽出用画像の複数の画像領域内の画素値のばらつき量を演算し、前記第１判定手段は、更に、前記演算手段により演算された前記複数の画像領域内の画素値のばらつき量が所定値以下であるか否かを判定し、前記背景生成手段は、更に、前記第１判定手段により画素値のばらつき量が所定値以下であると判定された場合に、前記抽出用背景画像を生成することを特徴としている。
前記演算手段は、前記非平坦度として、前記被写体抽出用画像の複数の画像領域内の画素値のばらつき量を演算し、前記第１判定手段は、更に、前記演算手段により演算された前記複数の画像領域内の画素値のばらつき量が所定値以下であるか否かを判定し、前記背景生成手段は、更に、前記第１判定手段により画素値のばらつき量が所定値以下であると判定された場合に、前記抽出用背景画像を生成することを特徴としている。
請求項９に記載の発明は、請求項１〜８の何れか一項に記載の撮像装置において、
前記撮像手段は、前記第１判定手段により前記被写体抽出用画像の非平坦度が所定値以下であると判定された場合に、前記被写体存在画像を撮像することを特徴としている。
前記撮像手段は、前記第１判定手段により前記被写体抽出用画像の非平坦度が所定値以下であると判定された場合に、前記被写体存在画像を撮像することを特徴としている。
請求項１０に記載の発明は、請求項１に記載の撮像装置において、
前記第１撮像指示手段は、被写体を撮影する指示を表示装置に表示させ、前記第２撮像指示手段は、背景を撮影する指示を表示装置に表示させることを特徴としている。
前記第１撮像指示手段は、被写体を撮影する指示を表示装置に表示させ、前記第２撮像指示手段は、背景を撮影する指示を表示装置に表示させることを特徴としている。
請求項１１に記載の発明は、請求項１に記載の撮像装置において、
前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出するための抽出用情報を生成する第２抽出用情報生成手段を更に備え、前記第２被写体抽出手段は、前記第２抽出用情報生成手段により生成された抽出用情報を用いて前記被写体存在画像から前記被写体領域を抽出することを特徴としている。
前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出するための抽出用情報を生成する第２抽出用情報生成手段を更に備え、前記第２被写体抽出手段は、前記第２抽出用情報生成手段により生成された抽出用情報を用いて前記被写体存在画像から前記被写体領域を抽出することを特徴としている。
請求項１２に記載の発明の画像処理方法は、
撮像装置に、撮像部により撮像された被写体領域の抽出用の被写体抽出用画像の画像フレームを生成する生成ステップと、この生成ステップにより生成された前記被写体抽出用画像の画像フレームの非平坦度を演算する演算ステップと、この演算ステップにより演算された前記被写体抽出用画像の画像フレームの非平坦度が所定値以下であるか否かを判定する判定ステップと、前記撮像部による背景内に被写体が存在する被写体存在画像の撮像を指示する第１指示ステップと、前記判定ステップにより非平坦度が所定値以下であると判定された場合に、前記被写体抽出用画像の画像フレームに基づいて抽出用背景画像を生成する背景生成ステップと、前記第１指示ステップによる撮像指示に従って前記撮像部により撮像された前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第１抽出ステップと、前記判定ステップにより非平坦度が所定値以下でないと判定された場合に、前記撮像部による前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の撮像を指示する第２指示ステップと、前記第２指示ステップによる撮像指示に従って前記撮像部により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２抽出ステップと、を実行させることを特徴としている。
撮像装置に、撮像部により撮像された被写体領域の抽出用の被写体抽出用画像の画像フレームを生成する生成ステップと、この生成ステップにより生成された前記被写体抽出用画像の画像フレームの非平坦度を演算する演算ステップと、この演算ステップにより演算された前記被写体抽出用画像の画像フレームの非平坦度が所定値以下であるか否かを判定する判定ステップと、前記撮像部による背景内に被写体が存在する被写体存在画像の撮像を指示する第１指示ステップと、前記判定ステップにより非平坦度が所定値以下であると判定された場合に、前記被写体抽出用画像の画像フレームに基づいて抽出用背景画像を生成する背景生成ステップと、前記第１指示ステップによる撮像指示に従って前記撮像部により撮像された前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第１抽出ステップと、前記判定ステップにより非平坦度が所定値以下でないと判定された場合に、前記撮像部による前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の撮像を指示する第２指示ステップと、前記第２指示ステップによる撮像指示に従って前記撮像部により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２抽出ステップと、を実行させることを特徴としている。
請求項１３に記載の発明のプログラムは、
撮像装置のコンピュータを、撮像部により撮像された被写体領域の抽出用の被写体抽出用画像の画像フレームを生成する生成手段、この生成手段により生成された前記被写体抽出用画像の画像フレームの非平坦度を演算する演算手段、この演算手段により演算された前記被写体抽出用画像の画像フレームの非平坦度が所定値以下であるか否かを判定する判定手段、前記撮像部による背景内に被写体が存在する被写体存在画像の撮像を指示する第１指示手段、前記判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体抽出用画像の画像フレームに基づいて抽出用背景画像を生成する背景生成手段、前記第１指示手段による撮像指示に従って前記撮像部により撮像された前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第１抽出手段、前記判定手段により非平坦度が所定値以下でないと判定された場合に、前記撮像部による前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の撮像を指示する第２指示手段と、前記第２指示手段による撮像指示に従って前記撮像部により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２抽出手段と、として機能させることを特徴としている。
撮像装置のコンピュータを、撮像部により撮像された被写体領域の抽出用の被写体抽出用画像の画像フレームを生成する生成手段、この生成手段により生成された前記被写体抽出用画像の画像フレームの非平坦度を演算する演算手段、この演算手段により演算された前記被写体抽出用画像の画像フレームの非平坦度が所定値以下であるか否かを判定する判定手段、前記撮像部による背景内に被写体が存在する被写体存在画像の撮像を指示する第１指示手段、前記判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体抽出用画像の画像フレームに基づいて抽出用背景画像を生成する背景生成手段、前記第１指示手段による撮像指示に従って前記撮像部により撮像された前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第１抽出手段、前記判定手段により非平坦度が所定値以下でないと判定された場合に、前記撮像部による前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の撮像を指示する第２指示手段と、前記第２指示手段による撮像指示に従って前記撮像部により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２抽出手段と、として機能させることを特徴としている。
本発明によれば、１回の撮影での被写体領域の抽出に適した撮影環境を判別することができ、この撮影環境にて被写体領域の抽出を一回の撮影で簡便に行うことができる。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
［実施形態１］
実施形態１の撮像装置１００は、第１被写体抽出用画像Ｐ２ａの画像フレームの非平坦度が所定値以下であると判定された場合に、当該第１被写体抽出用画像Ｐ２ａの画像フレームに基づいて抽出用背景画像Ｐ３を生成して、抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａの対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出する。
実施形態１の撮像装置１００は、第１被写体抽出用画像Ｐ２ａの画像フレームの非平坦度が所定値以下であると判定された場合に、当該第１被写体抽出用画像Ｐ２ａの画像フレームに基づいて抽出用背景画像Ｐ３を生成して、抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａの対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出する。
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、解像度変換部６と、非平坦度演算部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、非平坦度演算部７と、画像処理部８と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、解像度変換部６と、非平坦度演算部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、非平坦度演算部７と、画像処理部８と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体Ｓの撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
また、レンズ部１は、図示は省略するが、被写体Ｓの撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
このように構成されたレンズ部１及び電子撮像部２は、撮像手段を構成している。
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮影時にライブビュー画像表示を行う場合には、撮像制御部３は、電子撮像部２により被写体Ｓを所定の撮像フレームレートで連続して撮像させて、各画像フレームを電子撮像部２から画像データ生成部４に逐次出力させる。
また、撮影時にライブビュー画像表示を行う場合には、撮像制御部３は、電子撮像部２により被写体Ｓを所定の撮像フレームレートで連続して撮像させて、各画像フレームを電子撮像部２から画像データ生成部４に逐次出力させる。
また、撮像制御部３は、撮像条件設定手段として、レンズ部１及び電子撮像部２による撮像条件の調整制御を行う。例えば、撮像制御部３は、レンズ部１を光軸方向に移動させて合焦条件を調整するＡＦ（自動合焦処理）や、露出条件（シャッター速度、絞り、増幅率等）を調整するＡＥ（自動露出処理）や、ホワイトバランスを調整するＡＷＢ（自動ホワイトバランス）等を行う。
具体的には、第１被写体抽出用画像Ｐ２ａのライブビュー画像の非平坦度の判定処理（後述）にて、特徴点や当該特徴点内の画素値のばらつき量が所定値以下であると判定された後、第１被写体抽出用画像Ｐ２ａ（図６（ｂ）参照）が撮像された場合には、撮像制御部３は、当該第１被写体抽出用画像Ｐ２ａの撮像の際の撮像条件を固定した状態を維持する。
そして、ユーザによるシャッタボタン１２ａの撮像指示操作に基づいて、撮像制御部３は、第１被写体抽出用画像Ｐ２ａの撮像後に固定された撮像条件で、レンズ部１を通過した被写体存在画像Ｐ１ａ（図７（ａ）参照）と同一の画角の光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から第２被写体抽出用画像Ｐ２ｂ（図６（ｃ）参照）に係る画像フレームを読み出させる。即ち、撮像制御部３は、レンズ部１及び電子撮像部２によりライブビュー画像として撮像される第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂの各々の撮像条件を同じ条件に設定する。
具体的には、第１被写体抽出用画像Ｐ２ａのライブビュー画像の非平坦度の判定処理（後述）にて、特徴点や当該特徴点内の画素値のばらつき量が所定値以下であると判定された後、第１被写体抽出用画像Ｐ２ａ（図６（ｂ）参照）が撮像された場合には、撮像制御部３は、当該第１被写体抽出用画像Ｐ２ａの撮像の際の撮像条件を固定した状態を維持する。
そして、ユーザによるシャッタボタン１２ａの撮像指示操作に基づいて、撮像制御部３は、第１被写体抽出用画像Ｐ２ａの撮像後に固定された撮像条件で、レンズ部１を通過した被写体存在画像Ｐ１ａ（図７（ａ）参照）と同一の画角の光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から第２被写体抽出用画像Ｐ２ｂ（図６（ｃ）参照）に係る画像フレームを読み出させる。即ち、撮像制御部３は、レンズ部１及び電子撮像部２によりライブビュー画像として撮像される第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂの各々の撮像条件を同じ条件に設定する。
また、撮像制御部３は、第２被写体抽出用画像Ｐ２ｂの画像フレームの撮像後に、レンズ部１及び電子撮像部２により撮像される被写体存在画像Ｐ１ａの撮像条件を被写体Ｓに合わせて調整する。その後、撮像制御部３は、レンズ部１を通過した被写体存在画像Ｐ１ａの光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から第２被写体抽出用画像Ｐ２ｂに係る画像フレームを読み出させる。
なお、被写体存在画像Ｐ１ａの撮像の際には、レンズ部１のレンズ位置の調整動作に時間がかかることを考慮すると、ＡＦ（自動合焦処理）を行わずに、例えば、ＡＥ（自動露出処理）やＡＷＢ（自動ホワイトバランス）等を行うのが好ましい。
なお、被写体存在画像Ｐ１ａの撮像の際には、レンズ部１のレンズ位置の調整動作に時間がかかることを考慮すると、ＡＦ（自動合焦処理）を行わずに、例えば、ＡＥ（自動露出処理）やＡＷＢ（自動ホワイトバランス）等を行うのが好ましい。
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
なお、Ａ／Ｄ変換後のデジタルデータを現像するデモザイク部（図示略）が、カスタムＬＳＩ１Ａに実装されていても良い。
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、解像度変換部６と、非平坦度演算部７と、画像処理部８と、ＣＰＵ１３等によって処理されるデータ等を一時記憶する。
解像度変換部６は、画像メモリ５に格納された画像のＹＵＶデータを取得して、当該ＹＵＶデータに対して解像度変換処理を行う。具体的には、解像度変換部６は、撮影時にライブビュー画像表示を行う場合に、電子撮像部２により所定の撮像フレームレートで連続して撮像され、画像データ生成部４により生成された画像フレーム（例えば、３２００×２４００画素）のＹＵＶデータに基づいて、ライブビュー画像表示用の画像フレーム（例えば、３２０×２４０画素）のＹＵＶデータを逐次生成する。
即ち、解像度変換部６は、画像データ生成部４により生成された被写体抽出用画像（第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂ；図６（ｂ）、図６（ｃ）参照）のＹＵＶデータに基づいて、当該被写体抽出用画像のライブビュー画像表示用の画像フレーム（例えば、第１ライブビュー画像や第２ライブビュー画像等）のＹＵＶデータを順次生成する。
ここで、解像度変換部６は、レンズ部１及び電子撮像部２により撮像された被写体抽出用画像の画像フレームを生成する生成手段を構成している。
即ち、解像度変換部６は、画像データ生成部４により生成された被写体抽出用画像（第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂ；図６（ｂ）、図６（ｃ）参照）のＹＵＶデータに基づいて、当該被写体抽出用画像のライブビュー画像表示用の画像フレーム（例えば、第１ライブビュー画像や第２ライブビュー画像等）のＹＵＶデータを順次生成する。
ここで、解像度変換部６は、レンズ部１及び電子撮像部２により撮像された被写体抽出用画像の画像フレームを生成する生成手段を構成している。
非平坦度演算部７は、演算手段として、第１被写体抽出用画像Ｐ２ａの画像フレームの非平坦度を演算する。具体的には、非平坦度演算部７は、特徴量演算部７ａと、ばらつき量算出部７ｂとを具備する。
特徴量演算部７ａは、非平坦度として、第１被写体抽出用画像Ｐ２ａの画像フレームから特徴点を抽出する特徴抽出処理を行う。
具体的には、特徴量演算部７ａは、解像度変換部６により生成された第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）に基づいて、高周波成分の多い特徴の高いブロック領域（例えば、１６×１６画素の正方形）を特徴点として抽出する。
具体的には、特徴量演算部７ａは、解像度変換部６により生成された第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）に基づいて、高周波成分の多い特徴の高いブロック領域（例えば、１６×１６画素の正方形）を特徴点として抽出する。
ばらつき量算出部７ｂは、非平坦度として、特徴点内の画素値のばらつき量を算出する。
ばらつき量算出部７ｂは、解像度変換部６により生成された第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）の特徴点（ブロック領域）内の画素値のばらつき量として、例えば、標準偏差を下記式（１）に従って算出する。
なお、上記式（１）において、ｂ：各ブロック領域の画素値としては、例えば、輝度値が挙げられる。
ばらつき量算出部７ｂは、解像度変換部６により生成された第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）の特徴点（ブロック領域）内の画素値のばらつき量として、例えば、標準偏差を下記式（１）に従って算出する。
このように、特徴量演算部７ａ及びばらつき量算出部７ｂは、第１被写体抽出用画像Ｐ２ａの画像フレームの非平坦度を演算する演算手段を構成している。
画像処理部８は、非平坦度演算処理にて演算された非平坦度の判定を行う非平坦度判定部８ａを具備している。
非平坦度判定部８ａは、解像度変換部６により生成された第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）の特徴点、即ち、特徴量演算部７ａにより抽出された第１ライブビュー画像の特徴の高いブロック領域が所定値以下であるか否かを判定する。また、非平坦度判定部８ａは、ばらつき量算出部７ｂにより算出された第１ライブビュー画像の特徴点内の画素値のばらつき量が所定値以下であるか否かを判定する。
ここで、非平坦度判定部８ａは、被写体抽出用画像の画像フレームの非平坦度が所定値以下であるか否かを判定する第１判定手段を構成している。
非平坦度判定部８ａは、解像度変換部６により生成された第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）の特徴点、即ち、特徴量演算部７ａにより抽出された第１ライブビュー画像の特徴の高いブロック領域が所定値以下であるか否かを判定する。また、非平坦度判定部８ａは、ばらつき量算出部７ｂにより算出された第１ライブビュー画像の特徴点内の画素値のばらつき量が所定値以下であるか否かを判定する。
ここで、非平坦度判定部８ａは、被写体抽出用画像の画像フレームの非平坦度が所定値以下であるか否かを判定する第１判定手段を構成している。
また、画像処理部８は、複数の画像の対応する画素どうしの相違度を算出する相違度算出部８ｂを具備している。
相違度算出部８ｂは、解像度変換部６により生成された第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）と第２被写体抽出用画像Ｐ２ｂのライブビュー画像表示用の画像フレーム（第２ライブビュー画像）との対応する各画素の相違度Ｄを下記式（２）に従って算出する。また、相違度算出部８ｂは、背景生成処理にて生成された抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａとの対応する各画素の相違度Ｄを下記式（２）に従って算出する。
なお、上記式（２）にあっては、第１ライブビュー画像若しくは抽出用背景画像Ｐ３のＹＵＶデータを「Y」、「U」、「V」で表し、第２ライブビュー画像若しくは被写体存在画像Ｐ１ａのＹＵＶデータを「Yc」、「Uc」、「Vc」で表す。また、Ｇは、色差信号U、Vのゲインを表している。
また、上記した相違度Ｄの算出式（２）は、一例であってこれに限られるものではない。
相違度算出部８ｂは、解像度変換部６により生成された第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）と第２被写体抽出用画像Ｐ２ｂのライブビュー画像表示用の画像フレーム（第２ライブビュー画像）との対応する各画素の相違度Ｄを下記式（２）に従って算出する。また、相違度算出部８ｂは、背景生成処理にて生成された抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａとの対応する各画素の相違度Ｄを下記式（２）に従って算出する。
また、上記した相違度Ｄの算出式（２）は、一例であってこれに限られるものではない。
また、画像処理部８は、相違度算出部８ｂにより算出された複数の画像の対応する画素どうしの相違度Ｄを判定する相違度判定部８ｃを具備している。
相違度判定部８ｃは、相違度算出部８ｂにより算出された第１ライブビュー画像と第２ライブビュー画像との対応する各画素の相違度Ｄが所定値以下であるか否かを判定する。
ここで、相違度判定部８ｃは、第１被写体抽出用画像Ｐ２ａの画像フレームと第２被写体抽出用画像Ｐ２ｂの画像フレームとの対応する各画素の相違度Ｄが所定値以下であるか否かを判定する第２判定手段を構成している。
相違度判定部８ｃは、相違度算出部８ｂにより算出された第１ライブビュー画像と第２ライブビュー画像との対応する各画素の相違度Ｄが所定値以下であるか否かを判定する。
ここで、相違度判定部８ｃは、第１被写体抽出用画像Ｐ２ａの画像フレームと第２被写体抽出用画像Ｐ２ｂの画像フレームとの対応する各画素の相違度Ｄが所定値以下であるか否かを判定する第２判定手段を構成している。
また、画像処理部８は、クロマキー技術を利用して被写体領域を抽出するための抽出用背景画像Ｐ３を生成する背景生成部８ｄを具備している。
背景生成部８ｄは、非平坦度判定部８ａによって、第１ライブビュー画像の特徴点が所定値以下であり、且つ、特徴点内の画素値のばらつき量が所定値以下であると判定された場合に、第１被写体抽出用画像Ｐ２ａに基づいて抽出用背景画像Ｐ３を生成する。具体的には、相違度判定部８ｃにより第１ライブビュー画像と第２ライブビュー画像との対応する各画素の相違度Ｄが所定値以下であると判定された場合に、背景生成部８ｄは、当該相違度Ｄが所定値以下であると判定された画素と同じ色の抽出用背景画像Ｐ３を生成する。例えば、図６（ｂ）に示すように、特徴量の少ない無地の背景をバックに被写体Ｓを撮影する場合、第１被写体抽出用画像Ｐ２ａの特徴量が少なくなり、当該第１被写体抽出用画像Ｐ２ａを第２被写体抽出用画像Ｐ２ｂと重ねた状態で、被写体Ｓが重ならない領域の画素と同じ色の抽出用背景画像Ｐ３を生成する。
なお、クロマキーとは、特定の色背景を用いて一の画像データから被写体Ｓを切り抜く手法である。クロマキーでは、通常、背景に被写体Ｓと補色の関係にある青や緑のスクリーンを用いるようになっている。そこで、第１被写体抽出用画像Ｐ２ａと第２被写体抽出用画像Ｐ２ｂとの相違度が所定値以下の画素と同じ色の抽出用背景画像Ｐ３を生成することで、抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａの色情報を基にして背景部分と被写体Ｓ部分を分離することができる。
背景生成部８ｄは、非平坦度判定部８ａによって、第１ライブビュー画像の特徴点が所定値以下であり、且つ、特徴点内の画素値のばらつき量が所定値以下であると判定された場合に、第１被写体抽出用画像Ｐ２ａに基づいて抽出用背景画像Ｐ３を生成する。具体的には、相違度判定部８ｃにより第１ライブビュー画像と第２ライブビュー画像との対応する各画素の相違度Ｄが所定値以下であると判定された場合に、背景生成部８ｄは、当該相違度Ｄが所定値以下であると判定された画素と同じ色の抽出用背景画像Ｐ３を生成する。例えば、図６（ｂ）に示すように、特徴量の少ない無地の背景をバックに被写体Ｓを撮影する場合、第１被写体抽出用画像Ｐ２ａの特徴量が少なくなり、当該第１被写体抽出用画像Ｐ２ａを第２被写体抽出用画像Ｐ２ｂと重ねた状態で、被写体Ｓが重ならない領域の画素と同じ色の抽出用背景画像Ｐ３を生成する。
なお、クロマキーとは、特定の色背景を用いて一の画像データから被写体Ｓを切り抜く手法である。クロマキーでは、通常、背景に被写体Ｓと補色の関係にある青や緑のスクリーンを用いるようになっている。そこで、第１被写体抽出用画像Ｐ２ａと第２被写体抽出用画像Ｐ２ｂとの相違度が所定値以下の画素と同じ色の抽出用背景画像Ｐ３を生成することで、抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａの色情報を基にして背景部分と被写体Ｓ部分を分離することができる。
ここで、背景生成部８ｄは、非平坦度判定部８ａにより第１被写体抽出用画像Ｐ２ａの非平坦度が所定値以下であると判定された場合に、第１被写体抽出用画像Ｐ２ａの画像フレームに基づいて抽出用背景画像Ｐ３を生成する背景生成手段を構成している。
また、画像処理部８は、被写体存在画像Ｐ１ａから被写体領域を抽出するためのマスク画像Ｍを生成するマスク生成部８ｅを具備している。
マスク生成部８ｅは、相違度算出部８ｂにより算出された抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａとの対応する各画素の相違度Ｄに基づいて相違度マップを生成する。そして、マスク生成部８ｅは、生成した相違度マップを所定の閾値で二値化（０、２５５）してマスク画像Ｍを生成する。
マスク生成部８ｅは、相違度算出部８ｂにより算出された抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａとの対応する各画素の相違度Ｄに基づいて相違度マップを生成する。そして、マスク生成部８ｅは、生成した相違度マップを所定の閾値で二値化（０、２５５）してマスク画像Ｍを生成する。
また、マスク生成部８ｅは、細かいノイズを除去するための収縮処理を行って所定値よりも小さい画素集合を除いた後、収縮分を修正するための膨張処理を行い、その後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めも行う。さらに、マスク生成部８ｅは、領域情報に対して平均化フィルタをかけて領域の縁部に合成階調をつける。
ここで、マスク生成部８ｅは、抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａとの対応する各画素の相違度（差分情報）Ｄに基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出するためのマスク画像（抽出用情報）Ｍを生成する第１抽出用情報生成手段を構成している。
ここで、マスク生成部８ｅは、抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａとの対応する各画素の相違度（差分情報）Ｄに基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出するためのマスク画像（抽出用情報）Ｍを生成する第１抽出用情報生成手段を構成している。
また、画像処理部８は、被写体Ｓの画像を所定の単一色背景画像Ｐ５（図７（ｄ）参照）と合成して被写体切り抜き画像Ｐ４（図７（ｄ）参照）の画像データを生成する切抜画像生成部８ｆを具備している。
切抜画像生成部８ｆは、αブレンドを利用して、マスク生成部８ｅにより生成されたマスク画像Ｍを用いて被写体存在画像Ｐ１ａから被写体領域を切り出して、単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４の画像データを生成する。なお、マスク画像Ｍの縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像Ｐ５との境界部分がはっきりしていない自然な感じに合成することができる。
ここで、切抜画像生成部８ｆは、抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａの対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出する被写体抽出手段を構成している。
切抜画像生成部８ｆは、αブレンドを利用して、マスク生成部８ｅにより生成されたマスク画像Ｍを用いて被写体存在画像Ｐ１ａから被写体領域を切り出して、単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４の画像データを生成する。なお、マスク画像Ｍの縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像Ｐ５との境界部分がはっきりしていない自然な感じに合成することができる。
ここで、切抜画像生成部８ｆは、抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａの対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出する被写体抽出手段を構成している。
記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記憶する。
また、記録媒体９は、画像処理部８のマスク生成部８ｅにより生成されたマスク画像Ｍと、被写体切り抜き画像Ｐ４の画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として保存する。
また、記録媒体９は、画像処理部８のマスク生成部８ｅにより生成されたマスク画像Ｍと、被写体切り抜き画像Ｐ４の画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として保存する。
表示制御部１０は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１１は、撮像モードにて、レンズ部１及び電子撮像部２による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体Ｓの撮影指示に係るシャッタボタン１２ａ、メニュー画面にて撮像モードや機能等の選択指示に係るモードボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備えている。
そして、ユーザにより操作入力部１２の所定のボタンが操作されると、当該ボタンに対応する制御指示をＣＰＵ１３に出力する。ＣＰＵ１３は、制御指示が入力されると、操作されたボタンに応じて各部を制御する処理を行う。
そして、ユーザにより操作入力部１２の所定のボタンが操作されると、当該ボタンに対応する制御指示をＣＰＵ１３に出力する。ＣＰＵ１３は、制御指示が入力されると、操作されたボタンに応じて各部を制御する処理を行う。
また、シャッタボタン１２ａは、第１撮像指示手段として、ユーザにより所定操作されると、電子撮像部２による被写体存在画像Ｐ１ａの撮像指示をＣＰＵ１３に出力する。
ＣＰＵ１３は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１３は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。
次に、撮像装置１００による画像処理方法に係る被写体切り抜き処理について、図２〜図７を参照して説明する。
図２及び図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
図２及び図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
被写体切り抜き処理は、ユーザによる操作入力部１２のモードボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に、ＣＰＵ１３によって制御される当該撮像装置１００の各部により実行される処理である。
図２に示すように、先ず、表示制御部１０は、レンズ部１及び電子撮像部２による被写体Ｓの撮像に従って解像度変換部６により順次生成された画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、背景指示メッセージ（例えば、「背景に向けてください」等）を表示部１１の表示画面に表示させる（ステップＳ１；図６（ａ）参照）。
図２に示すように、先ず、表示制御部１０は、レンズ部１及び電子撮像部２による被写体Ｓの撮像に従って解像度変換部６により順次生成された画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、背景指示メッセージ（例えば、「背景に向けてください」等）を表示部１１の表示画面に表示させる（ステップＳ１；図６（ａ）参照）。
そして、表示制御部１０は、レンズ部１及び電子撮像部２による被写体Ｓの撮像によって、解像度変換部６により順次生成された第１被写体抽出用画像Ｐ２ａの画像フレームに基づいてライブビュー画像を更新させる制御を行う（ステップＳ２）。ライブビュー画像の更新が行われる毎に、非平坦度演算部７の特徴量演算部７ａは、第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）のＹＵＶデータに基づいて、特徴の高いブロック領域（特徴点）を抽出し、ばらつき量算出部７ｂは、各ブロック領域内のばらつき量としての標準偏差を式（１）に従って算出する（ステップＳ３）。
次に、非平坦度判定部８ａは、特徴量演算部７ａにより抽出された特徴の高い特徴点（ブロック領域）が所定値以下であるか否か、及びばらつき量算出部７ｂにより算出されたブロック領域内の画素値のばらつき量が所定値以下であるか否かを判定することで、特徴点及び当該ブロック領域内の画素値のばらつき量がないか否かを判断する（ステップＳ４）。
ここで、特徴点及び当該ブロック領域内の画素値のばらつき量があると判断されると（ステップＳ４；ＮＯ）、ＣＰＵ１３は、ユーザによる操作入力部１２の所定操作に基づいて終了指示が入力された否かを判定する（ステップＳ５）。
ここで、特徴点及び当該ブロック領域内の画素値のばらつき量があると判断されると（ステップＳ４；ＮＯ）、ＣＰＵ１３は、ユーザによる操作入力部１２の所定操作に基づいて終了指示が入力された否かを判定する（ステップＳ５）。
ステップＳ５にて、終了指示が入力されていないと判定されると（ステップＳ５；ＮＯ）、ＣＰＵ１３は、処理をステップＳ２に移行して、それ以降の処理を実行する。
一方、終了指示が入力されたと判定されると（ステップＳ５；ＹＥＳ）、ＣＰＵ１３は、被写体切り抜き処理を終了させる。
一方、終了指示が入力されたと判定されると（ステップＳ５；ＹＥＳ）、ＣＰＵ１３は、被写体切り抜き処理を終了させる。
また、ステップＳ４にて、特徴点及び当該ブロック領域内の画素値のばらつき量がないと判断されると（ステップＳ４；ＹＥＳ）、即ち、例えば、特徴量の少ない無地の背景をバックに被写体Ｓを撮影する場合（図６（ｂ）参照）、撮像制御部３は、背景内に被写体Ｓの存在しない第１被写体抽出用画像Ｐ２ａの光学像を所定の撮像条件で電子撮像部２に撮像させ、解像度変換部６は、当該撮像によって画像データ生成部４により生成された第１被写体抽出用画像Ｐ２ａのＹＵＶデータに基づいて、第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）を生成して、画像メモリ５に保存する（ステップＳ６）。
その後、撮像制御部３は、当該第１被写体抽出用画像Ｐ２ａの撮像の際の合焦位置（ＡＦ）や露出条件（ＡＥ）やホワイトバランス（ＡＷＢ）等の撮像条件を固定した状態を維持する（ステップＳ７）。
その後、撮像制御部３は、当該第１被写体抽出用画像Ｐ２ａの撮像の際の合焦位置（ＡＦ）や露出条件（ＡＥ）やホワイトバランス（ＡＷＢ）等の撮像条件を固定した状態を維持する（ステップＳ７）。
次に、表示制御部１０は、ライブビュー画像に重畳させて撮像指示メッセージ（例えば、「被写体Ｓを撮影してください」等）を表示部１１の表示画面に表示させる（ステップＳ８；図６（ｂ）参照）。
その後、表示制御部１０は、レンズ部１及び電子撮像部２による被写体Ｓの撮像に従って解像度変換部６により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行う（ステップＳ９）。ライブビュー画像の更新が行われる際に、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが所定操作されて撮像指示が入力されたか否かを判定する（ステップＳ１０）。
その後、表示制御部１０は、レンズ部１及び電子撮像部２による被写体Ｓの撮像に従って解像度変換部６により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行う（ステップＳ９）。ライブビュー画像の更新が行われる際に、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが所定操作されて撮像指示が入力されたか否かを判定する（ステップＳ１０）。
ステップＳ１０にて、撮像指示が入力されていないと判定されると（ステップＳ１０；ＮＯ）、ユーザによる操作入力部１２の所定操作に基づいて終了指示が入力された否かを判定する（ステップＳ１１）。
ここで、終了指示が入力されていないと判定されると（ステップＳ１１；ＮＯ）、ＣＰＵ１３は、処理をステップＳ９に移行して、それ以降の処理を実行する。
一方、終了指示が入力されたと判定されると（ステップＳ１１；ＹＥＳ）、ＣＰＵ１３は、被写体切り抜き処理を終了させる。
ここで、終了指示が入力されていないと判定されると（ステップＳ１１；ＮＯ）、ＣＰＵ１３は、処理をステップＳ９に移行して、それ以降の処理を実行する。
一方、終了指示が入力されたと判定されると（ステップＳ１１；ＹＥＳ）、ＣＰＵ１３は、被写体切り抜き処理を終了させる。
その後、ユーザは、被写体Ｓを画角内に移動させる、或いは被写体Ｓが移動するのを待った後（図６（ｃ）参照）、ステップＳ１０にて、撮像指示が入力されたと判定されると（ステップＳ１０；ＹＥＳ）、撮像制御部３は、背景内に被写体Ｓの存在する第２被写体抽出用画像Ｐ２ｂの光学像を所定の撮像条件で電子撮像部２に撮像させ、解像度変換部６は、当該撮像によって画像データ生成部４により生成された第２被写体抽出用画像Ｐ２ｂのＹＵＶデータに基づいて、第２被写体抽出用画像Ｐ２ｂのライブビュー画像表示用の画像フレーム（第２ライブビュー画像）を生成して、画像メモリ５に保存する（ステップＳ１２）。
図３に示すように、続けて、撮像制御部３は、被写体存在画像Ｐ１ａ（図７（ａ）参照）の撮像の際の露出条件（ＡＥ）やホワイトバランス（ＡＷＢ）等の撮像条件を被写体Ｓに合わせて調整する（ステップＳ１３）。なお、図７（ａ）にあっては、測光エリア枠Ｗを被写体Ｓの顔の位置に合わせた状態を模式的に表している。
その後、撮像制御部３は、調整された撮像条件で被写体存在画像Ｐ１ａの光学像を電子撮像部２により撮像させ、電子撮像部２から転送された被写体存在画像Ｐ１ａの画像フレームに基づいて、被写体存在画像Ｐ１ａのＹＵＶデータを画像データ生成部４に生成させて、当該ＹＵＶデータを画像メモリ５に一時記憶させる（ステップＳ１４）。
これにより、特徴量の少ない背景をバックに被写体Ｓが撮影された被写体存在画像Ｐ１ａが生成される。
その後、撮像制御部３は、調整された撮像条件で被写体存在画像Ｐ１ａの光学像を電子撮像部２により撮像させ、電子撮像部２から転送された被写体存在画像Ｐ１ａの画像フレームに基づいて、被写体存在画像Ｐ１ａのＹＵＶデータを画像データ生成部４に生成させて、当該ＹＵＶデータを画像メモリ５に一時記憶させる（ステップＳ１４）。
これにより、特徴量の少ない背景をバックに被写体Ｓが撮影された被写体存在画像Ｐ１ａが生成される。
次に、ＣＰＵ１３は、非平坦度演算部７及び画像処理部８に、被写体存在画像Ｐ１ａから被写体領域を抽出するための抽出用背景画像Ｐ３を生成させる背景生成処理を行わせる（ステップＳ１５）。
ここで、背景生成処理について図４を参照して詳細に説明する。
図４は、背景生成処理に係る動作の一例を示すフローチャートである。
図４に示すように、画像処理部８の相違度算出部８ｂは、画像メモリ５に保存されている第１ライブビュー画像と第２ライブビュー画像との対応する各画素の相違度Ｄを下記式（２）に従って算出する（ステップＳ３１）。
図４は、背景生成処理に係る動作の一例を示すフローチャートである。
図４に示すように、画像処理部８の相違度算出部８ｂは、画像メモリ５に保存されている第１ライブビュー画像と第２ライブビュー画像との対応する各画素の相違度Ｄを下記式（２）に従って算出する（ステップＳ３１）。
次に、画像処理部８の相違度判定部８ｃは、相違度算出部８ｂにより算出された第１ライブビュー画像と第２ライブビュー画像との対応する各画素の相違度Ｄが所定値以下であるか否かを判定して、相違度Ｄが所定値以下である画素の集合を背景領域として特定する（ステップＳ３２）。
続けて、非平坦度演算部７の特徴量演算部７ａは、相違度判定部８ｃにより特定された背景領域を第１被写体抽出用画像Ｐ２ａの画像フレームに適用した後、当該第１被写体抽出用画像Ｐ２ａの画像フレームに基づいて、高周波成分の多い特徴の高いブロック領域（例えば、１６×１６画素の正方形）を特徴点として抽出し、ばらつき量算出部７ｂは、特徴量演算部７ａにより抽出された特徴点（ブロック領域）内の画素値のばらつき量として、標準偏差を下記式（１）に従って算出する（ステップＳ３３）。
続けて、非平坦度演算部７の特徴量演算部７ａは、相違度判定部８ｃにより特定された背景領域を第１被写体抽出用画像Ｐ２ａの画像フレームに適用した後、当該第１被写体抽出用画像Ｐ２ａの画像フレームに基づいて、高周波成分の多い特徴の高いブロック領域（例えば、１６×１６画素の正方形）を特徴点として抽出し、ばらつき量算出部７ｂは、特徴量演算部７ａにより抽出された特徴点（ブロック領域）内の画素値のばらつき量として、標準偏差を下記式（１）に従って算出する（ステップＳ３３）。
次に、非平坦度判定部８ａは、特徴量演算部７ａにより抽出された特徴点、及びばらつき量算出部７ｂにより算出された特徴点の評価を行う（ステップＳ３４）。具体的には、非平坦度判定部８ａは、第１被写体抽出用画像Ｐ２ａの各特徴点（ブロック領域）内の画素値のばらつき量が所定値以下であるか否かを判定し、当該判定の結果、ブロック領域内の画素値のばらつき量が所定値以下であると判定されたブロック領域を計数して、ブロック領域が複数あるか否かを判断する。さらに、非平坦度判定部８ａは、画素値のばらつき量が所定値以下であると判断され、ばらつきがないとみなされたブロック領域のうち、同じ色のブロック領域を計数する。
そして、非平坦度判定部８ａは、ばらつきがなく、同じ色のブロック領域の数が所定数（例えば画像全体のブロック数の半分）以上であるか否かを判定する（ステップＳ３５）。
ここで、ばらつきがなく、同じ色のブロック領域が所定数以上あると判断されると（ステップＳ３５；ＹＥＳ）、背景生成部８ｄは、第１被写体抽出用画像Ｐ２ａの当該ブロック領域の色と同じ色を背景色とする抽出用背景画像Ｐ３のＹＵＶデータを生成（ステップＳ３６）して、背景生成成功とする（ステップＳ３７）。
そして、非平坦度判定部８ａは、ばらつきがなく、同じ色のブロック領域の数が所定数（例えば画像全体のブロック数の半分）以上であるか否かを判定する（ステップＳ３５）。
ここで、ばらつきがなく、同じ色のブロック領域が所定数以上あると判断されると（ステップＳ３５；ＹＥＳ）、背景生成部８ｄは、第１被写体抽出用画像Ｐ２ａの当該ブロック領域の色と同じ色を背景色とする抽出用背景画像Ｐ３のＹＵＶデータを生成（ステップＳ３６）して、背景生成成功とする（ステップＳ３７）。
一方、ステップＳ３５にて、ばらつきがなく、同じ色のブロック領域が所定数に満たないと判断されると（ステップＳ３５；ＮＯ）、例えば、ばらつきのない安定したブロック領域があっても、同じ色のブロック領域がない場合等には背景が特定できないため、抽出用背景画像Ｐ３を生成せずに、背景生成失敗とする（ステップＳ３８）。
これにより、背景生成処理を終了する。
これにより、背景生成処理を終了する。
図３に示すように、次に、背景生成部８ｄは、背景生成が成功したか否かを判定する（ステップＳ１６）。
ここで、背景生成が成功したと判定されると（ステップＳ１６；ＹＥＳ）、ＣＰＵ１３は、画像処理部８に、被写体存在画像Ｐ１ａから被写体Ｓが含まれる被写体領域を検出する第１領域検出処理を行わせる（ステップＳ１７）。
ここで、背景生成が成功したと判定されると（ステップＳ１６；ＹＥＳ）、ＣＰＵ１３は、画像処理部８に、被写体存在画像Ｐ１ａから被写体Ｓが含まれる被写体領域を検出する第１領域検出処理を行わせる（ステップＳ１７）。
ここで、第１領域検出処理について図５を参照して詳細に説明する。
図５は、第１領域検出処理に係る動作の一例を示すフローチャートである。
図５に示すように、画像処理部８の相違度算出部８ｂは、背景生成処理にて生成された抽出用背景画像Ｐ３を被写体存在画像Ｐ１ａの実撮像サイズに合わせて拡大（リサイズ）した後（ステップＳ５０）、拡大された抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａとの対応する各画素の相違度Ｄを下記式（２）に従って算出し、画像処理部８のマスク生成部８ｅは、算出された相違度Ｄに基づいて相違度マップを生成する（ステップＳ５１）。
図５は、第１領域検出処理に係る動作の一例を示すフローチャートである。
図５に示すように、画像処理部８の相違度算出部８ｂは、背景生成処理にて生成された抽出用背景画像Ｐ３を被写体存在画像Ｐ１ａの実撮像サイズに合わせて拡大（リサイズ）した後（ステップＳ５０）、拡大された抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａとの対応する各画素の相違度Ｄを下記式（２）に従って算出し、画像処理部８のマスク生成部８ｅは、算出された相違度Ｄに基づいて相違度マップを生成する（ステップＳ５１）。
次に、マスク生成部８ｅは、生成した相違度マップを所定の閾値で二値化してマスク画像を生成する（ステップＳ５２）。そして、マスク生成部８ｅは、例えば、背景（二値化；０）の領域が著しく小さいか否か等を判定することで、二値化が成功したか否かを判断する（ステップＳ５３）。
ここで、二値化に成功したと判断されると（ステップＳ５３；ＹＥＳ）、マスク生成部８ｅは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像Ｍの画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後（ステップＳ５４）、収縮分を修正するための膨張処理を行う（ステップＳ５５）。
ここで、二値化に成功したと判断されると（ステップＳ５３；ＹＥＳ）、マスク生成部８ｅは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像Ｍの画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後（ステップＳ５４）、収縮分を修正するための膨張処理を行う（ステップＳ５５）。
続けて、被写体Ｓに背景色と似たような色がある場合、マスク画像Ｍの被写体領域内が欠損するため、マスク生成部８ｅは、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、マスク画像Ｍの画像データの有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めを行う（ステップＳ５６）。
そして、マスク生成部８ｅは、マスク画像Ｍの画像データに対して平均化フィルタをかけて、被写体領域の縁部に合成階調をつけて（ステップＳ５７）、領域検出成功とする（ステップＳ５８）。
そして、マスク生成部８ｅは、マスク画像Ｍの画像データに対して平均化フィルタをかけて、被写体領域の縁部に合成階調をつけて（ステップＳ５７）、領域検出成功とする（ステップＳ５８）。
一方、ステップＳ５３にて、二値化に成功しなかったと判断されると（ステップＳ５３；ＮＯ）、例えば、背景（二値化；０）の領域が著しく小さい場合などには、マスク生成部８ｅは、二値化に失敗したとみなして領域検出失敗とする（ステップＳ５９）。
これにより、第１領域検出処理を終了する。
これにより、第１領域検出処理を終了する。
図３に示すように、次に、マスク生成部８ｅは、被写体領域の検出が成功したか否かを判定する（ステップＳ１８）。
ここで、被写体領域の検出が成功したと判定されると（ステップＳ１８；ＹＥＳ）、切抜画像生成部８ｆは、αブレンドを利用して、第１領域検出処理にて生成されたマスク画像Ｍを用いて被写体存在画像Ｐ１ａから被写体領域を切り出して、所定の単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４（図７（ｂ）参照）の画像データを生成する（ステップＳ１９）。
具体的には、切抜画像生成部８ｆは、被写体存在画像Ｐ１ａ、単一色背景画像Ｐ５及びマスク画像Ｍの画像データを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ１ａのうち、マスク画像Ｍの画像データの塗りつぶした部分（被写体Ｓ以外の斜線部分）で覆われる画素については、単一色背景画像Ｐ５の所定の単一色で塗りつぶす一方で、被写体Ｓ部分の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、マスク画像Ｍの縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像Ｐ５との境界部分がはっきりしていない自然な感じとなる。
その後、表示制御部１０は、切抜画像生成部８ｆにより生成された被写体切り抜き画像Ｐ４の画像データに基づいて、所定の単一色背景画像Ｐ５に被写体Ｓが重畳された被写体切り抜き画像Ｐ４を表示部１１の表示画面に表示させる（図７（ｃ）参照）。
ここで、被写体領域の検出が成功したと判定されると（ステップＳ１８；ＹＥＳ）、切抜画像生成部８ｆは、αブレンドを利用して、第１領域検出処理にて生成されたマスク画像Ｍを用いて被写体存在画像Ｐ１ａから被写体領域を切り出して、所定の単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４（図７（ｂ）参照）の画像データを生成する（ステップＳ１９）。
具体的には、切抜画像生成部８ｆは、被写体存在画像Ｐ１ａ、単一色背景画像Ｐ５及びマスク画像Ｍの画像データを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ１ａのうち、マスク画像Ｍの画像データの塗りつぶした部分（被写体Ｓ以外の斜線部分）で覆われる画素については、単一色背景画像Ｐ５の所定の単一色で塗りつぶす一方で、被写体Ｓ部分の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、マスク画像Ｍの縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像Ｐ５との境界部分がはっきりしていない自然な感じとなる。
その後、表示制御部１０は、切抜画像生成部８ｆにより生成された被写体切り抜き画像Ｐ４の画像データに基づいて、所定の単一色背景画像Ｐ５に被写体Ｓが重畳された被写体切り抜き画像Ｐ４を表示部１１の表示画面に表示させる（図７（ｃ）参照）。
次に、ＣＰＵ１３は、記録媒体９の所定の記憶領域に、画像処理部８のマスク生成部８ｅにより生成されたマスク画像Ｍの画像データと被写体切り抜き画像Ｐ４の画像データを対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として一ファイルで保存させる（ステップＳ２０）。
これにより、被写体切り抜き処理を終了する。
これにより、被写体切り抜き処理を終了する。
一方、ステップＳ１８にて、被写体領域の検出が成功しなかったと判定されると（ステップＳ１８；ＮＯ）、ＣＰＵ１３は、被写体Ｓの切り抜きの失敗に係る所定のメッセージ（例えば、「被写体Ｓの切り抜きに失敗しました」等）を表示部１１の表示画面に表示させて（ステップＳ２１）、被写体切り抜き処理を終了する。
また、ステップＳ１６にて、背景生成が成功しなかったと判定された場合にも（ステップＳ１６；ＮＯ）、ＣＰＵ１３は、処理をステップＳ２１に移行させて、被写体Ｓの切り抜きの失敗に係る所定のメッセージを表示部１１の表示画面に表示させた後（ステップＳ２１）、被写体切り抜き処理を終了する。
また、ステップＳ１６にて、背景生成が成功しなかったと判定された場合にも（ステップＳ１６；ＮＯ）、ＣＰＵ１３は、処理をステップＳ２１に移行させて、被写体Ｓの切り抜きの失敗に係る所定のメッセージを表示部１１の表示画面に表示させた後（ステップＳ２１）、被写体切り抜き処理を終了する。
以上のように、本実施形態の撮像装置１００によれば、背景内に被写体Ｓの存在しない第１被写体抽出用画像Ｐ２ａの画像フレームを生成して、この第１被写体抽出用画像Ｐ２ａの画像フレームの非平坦度を演算する。そして、第１被写体抽出用画像Ｐ２ａの画像フレームの非平坦度が所定値以下であるか否かに応じて、１回の撮影での被写体領域の抽出に適した撮影環境であるか否かを判別することができる。
具体的には、第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレームから複数の特徴点を抽出し、抽出された複数の特徴点が所定値以下であるか否かを判定する。また、複数の特徴点（ブロック領域）内の画素値のばらつき量を演算し、演算された複数の特徴点内の画素値のばらつき量が所定値以下であるか否かを判定する。そして、特徴点が所定値以下であると判定され、且つ、特徴点内の画素値のばらつき量が所定値以下であると判定された場合には、例えば、撮影環境が特徴量の少ない背景（例えば、一様な背景）をバックに被写体Ｓを撮影する環境であり、１回の撮影での被写体領域の抽出に適した撮影環境であると判別することができる。
第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレームの非平坦度が所定値以下であると判定されると、第１被写体抽出用画像Ｐ２ａの画像フレームに基づいて抽出用背景画像Ｐ３を生成する。具体的には、背景内に被写体Ｓの存在しない第１被写体抽出用画像Ｐ２ａと背景内に被写体Ｓの存在する第２被写体抽出用画像Ｐ２ａの各々の画像フレームの対応する各画素の相違度Ｄが所定値以下であると判定された画素と同じ色の抽出用背景画像Ｐ３を生成する。そして、シャッタボタン１２ａによる撮像指示に従って電子撮像部２により撮像された被写体存在画像Ｐ１ａと抽出用背景画像Ｐ３との対応する各画素の相違度Ｄに基づいてマスク画像Ｍを生成して、当該マスク画像Ｍを用いて被写体存在画像Ｐ１ａから被写体領域を抽出する。
従って、被写体存在画像Ｐ１ａの撮影を一回行うだけで、被写体領域の抽出のための背景画像の撮像を別途行わなくとも抽出用背景画像Ｐ３を生成することができ、当該抽出用背景画像Ｐ３を用いて生成されたマスク画像Ｍを利用して被写体存在画像Ｐ１ａから被写体領域を簡便に抽出することができる。
具体的には、第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレームから複数の特徴点を抽出し、抽出された複数の特徴点が所定値以下であるか否かを判定する。また、複数の特徴点（ブロック領域）内の画素値のばらつき量を演算し、演算された複数の特徴点内の画素値のばらつき量が所定値以下であるか否かを判定する。そして、特徴点が所定値以下であると判定され、且つ、特徴点内の画素値のばらつき量が所定値以下であると判定された場合には、例えば、撮影環境が特徴量の少ない背景（例えば、一様な背景）をバックに被写体Ｓを撮影する環境であり、１回の撮影での被写体領域の抽出に適した撮影環境であると判別することができる。
第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレームの非平坦度が所定値以下であると判定されると、第１被写体抽出用画像Ｐ２ａの画像フレームに基づいて抽出用背景画像Ｐ３を生成する。具体的には、背景内に被写体Ｓの存在しない第１被写体抽出用画像Ｐ２ａと背景内に被写体Ｓの存在する第２被写体抽出用画像Ｐ２ａの各々の画像フレームの対応する各画素の相違度Ｄが所定値以下であると判定された画素と同じ色の抽出用背景画像Ｐ３を生成する。そして、シャッタボタン１２ａによる撮像指示に従って電子撮像部２により撮像された被写体存在画像Ｐ１ａと抽出用背景画像Ｐ３との対応する各画素の相違度Ｄに基づいてマスク画像Ｍを生成して、当該マスク画像Ｍを用いて被写体存在画像Ｐ１ａから被写体領域を抽出する。
従って、被写体存在画像Ｐ１ａの撮影を一回行うだけで、被写体領域の抽出のための背景画像の撮像を別途行わなくとも抽出用背景画像Ｐ３を生成することができ、当該抽出用背景画像Ｐ３を用いて生成されたマスク画像Ｍを利用して被写体存在画像Ｐ１ａから被写体領域を簡便に抽出することができる。
また、先に撮像される第１被写体抽出用画像Ｐ２ａと当該第１被写体抽出用画像Ｐ２ａの撮像後に撮像される第２被写体抽出用画像Ｐ２ｂの各々の撮像条件を同じ条件に設定するので、第１被写体抽出用画像Ｐ２ａと第２被写体抽出用画像Ｐ２ｂの各々の画像フレームの対応する各画素の相違度Ｄの算出を適正に行うことができ、被写体領域の抽出に適した抽出用背景画像Ｐ３を生成することができる。
そして、第２被写体抽出用画像Ｐ２ｂの撮像後に、被写体存在画像Ｐ１ａを撮像する際の撮像条件を設定し直すことで、被写体領域の抽出元となる被写体存在画像Ｐ１ａの撮像を適正に行うことができ、より高画質の被写体切り抜き画像Ｐ４を得ることができる。
そして、第２被写体抽出用画像Ｐ２ｂの撮像後に、被写体存在画像Ｐ１ａを撮像する際の撮像条件を設定し直すことで、被写体領域の抽出元となる被写体存在画像Ｐ１ａの撮像を適正に行うことができ、より高画質の被写体切り抜き画像Ｐ４を得ることができる。
［実施形態２］
以下に、実施形態２の撮像装置２００について、図８〜図１２を参照して説明する。
実施形態２の撮像装置２００は、第１被写体抽出用画像Ｐ２ａの非平坦度が所定値以下でないと判定された場合に、被写体存在画像Ｐ１ｂ（図１２（ａ）参照）の背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Ｐ６（図１２（ｂ）参照）を撮像して、被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂとの対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ｂから被写体領域を抽出する。
なお、実施形態２の撮像装置２００は、以下に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、その説明は省略する。
以下に、実施形態２の撮像装置２００について、図８〜図１２を参照して説明する。
実施形態２の撮像装置２００は、第１被写体抽出用画像Ｐ２ａの非平坦度が所定値以下でないと判定された場合に、被写体存在画像Ｐ１ｂ（図１２（ａ）参照）の背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Ｐ６（図１２（ｂ）参照）を撮像して、被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂとの対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ｂから被写体領域を抽出する。
なお、実施形態２の撮像装置２００は、以下に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、その説明は省略する。
非平坦度演算部７の特徴量演算部７ａは、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ６との位置合わせ処理にて、被写体非存在画像Ｐ６を基準として、当該被写体非存在画像Ｐ６から特徴点を抽出する処理を行う。具体的には、特徴量演算部７ａは、被写体非存在画像Ｐ６のＹＵＶデータに基づいて、多数の候補ブロックから追跡に都合の良い所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロック領域の内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
また、実施形態２の撮像装置２００は、被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂの位置合わせのためのブロックマッチング処理を行うブロックマッチング部１４を備えている。
ブロックマッチング部１４は、例えば、被写体非存在画像Ｐ６を基準画像とするとともに、被写体存在画像Ｐ１ｂを対象画像として位置合わせを行う。具体的には、ブロックマッチング部１４は、特徴抽出処理にて抽出されたテンプレート（例えば、１６×１６画素の正方形）が被写体存在画像Ｐ１ｂ内のどこに対応するか、つまり、被写体存在画像Ｐ１ｂ内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
ブロックマッチング部１４は、例えば、被写体非存在画像Ｐ６を基準画像とするとともに、被写体存在画像Ｐ１ｂを対象画像として位置合わせを行う。具体的には、ブロックマッチング部１４は、特徴抽出処理にて抽出されたテンプレート（例えば、１６×１６画素の正方形）が被写体存在画像Ｐ１ｂ内のどこに対応するか、つまり、被写体存在画像Ｐ１ｂ内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
また、画像処理部８は、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ６との位置合わせを行う位置合わせ部８ｇを具備している。
位置合わせ部８ｇは、被写体非存在画像Ｐ６から抽出した特徴点に基づいて、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ６との位置合わせを行う。即ち、位置合わせ部８ｇは、被写体非存在画像Ｐ６から抽出した特徴点に基づいて、被写体非存在画像Ｐ６に対する被写体存在画像Ｐ１ｂの各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ１ｂを座標変換して被写体非存在画像Ｐ６と位置合わせを行う。
具体的には、位置合わせ部８ｇは、ブロックマッチング部１４により算出された複数のテンプレートの動きベクトルを多数決により演算して、統計的に所定％（例えば、５０％）以上となると判断された動きベクトルを全体の動きベクトルとして、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出する。そして、位置合わせ部８ｇは、射影変換行列に従って被写体存在画像Ｐ１ｂを座標変換して被写体非存在画像Ｐ６と位置合わせを行う。
位置合わせ部８ｇは、被写体非存在画像Ｐ６から抽出した特徴点に基づいて、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ６との位置合わせを行う。即ち、位置合わせ部８ｇは、被写体非存在画像Ｐ６から抽出した特徴点に基づいて、被写体非存在画像Ｐ６に対する被写体存在画像Ｐ１ｂの各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ１ｂを座標変換して被写体非存在画像Ｐ６と位置合わせを行う。
具体的には、位置合わせ部８ｇは、ブロックマッチング部１４により算出された複数のテンプレートの動きベクトルを多数決により演算して、統計的に所定％（例えば、５０％）以上となると判断された動きベクトルを全体の動きベクトルとして、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出する。そして、位置合わせ部８ｇは、射影変換行列に従って被写体存在画像Ｐ１ｂを座標変換して被写体非存在画像Ｐ６と位置合わせを行う。
マスク生成部８ｅは、相違度算出部８ｂにより式（２）に従って算出された被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂとの対応する各画素の相違度Ｄに基づいて相違度マップを生成する。そして、マスク生成部８ｅは、生成した相違度マップを所定の閾値で二値化（０、２５５）してマスク画像Ｍを生成する。
なお、上記式（２）にあっては、被写体非存在画像Ｐ６のＹＵＶデータを「Y」、「U」、「V」で表し、被写体存在画像Ｐ１ｂのＹＵＶデータを「Yc」、「Uc」、「Vc」で表す。また、Ｇは、色差信号U、Vのゲインを表している。
ここで、マスク生成部８ｅは、被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂとの対応する各画素の相違度（差分情報）Ｄに基づいて、被写体存在画像Ｐ１ｂから被写体領域を抽出するためのマスク画像（抽出用情報）Ｍを生成する第２抽出用情報生成手段を構成している。
ここで、マスク生成部８ｅは、被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂとの対応する各画素の相違度（差分情報）Ｄに基づいて、被写体存在画像Ｐ１ｂから被写体領域を抽出するためのマスク画像（抽出用情報）Ｍを生成する第２抽出用情報生成手段を構成している。
また、操作入力部１２のシャッタボタン１２ａは、第１被写体抽出用画像Ｐ２ａの非平坦度が所定値以下でないと判定された後にユーザにより所定操作されると、被写体存在画像Ｐ１ｂの背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Ｐ６の電子撮像部２による撮像指示をＣＰＵ１３に出力する。
即ち、シャッタボタン１２ａは、第１被写体抽出用画像Ｐ２ａの非平坦度が所定値以下でないと判定された場合に、被写体非存在画像Ｐ６の電子撮像部２による撮像を指示する第２撮像指示手段を構成している。
即ち、シャッタボタン１２ａは、第１被写体抽出用画像Ｐ２ａの非平坦度が所定値以下でないと判定された場合に、被写体非存在画像Ｐ６の電子撮像部２による撮像を指示する第２撮像指示手段を構成している。
次に、撮像装置２００による被写体切り抜き処理について、図９〜図１２を参照して説明する。
図９及び図１０は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、被写体非存在画像Ｐ６の撮像及び被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂとを用いた第２領域検出処理以外の処理は、実施形態１の被写体切り抜き処理と略同様であり、その詳細な説明は省略する。
図９及び図１０は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、被写体非存在画像Ｐ６の撮像及び被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂとを用いた第２領域検出処理以外の処理は、実施形態１の被写体切り抜き処理と略同様であり、その詳細な説明は省略する。
図９に示すように、先ず、ＣＰＵ１３は、画像メモリ５のフラグテーブル（図示略）に背景撮影フラグ＝０を書き込んだ後（ステップＳ２０１）、実施形態１の被写体切り抜き処理と同様に、表示制御部１０は、被写体Ｓの撮像に従って解像度変換部６により順次生成された画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、背景指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１；図６（ａ）参照）。
そして、実施形態１の被写体切り抜き処理と同様に、表示制御部１０は、第１被写体抽出用画像Ｐ２ａの画像フレームに基づいてライブビュー画像を更新させる制御を行う（ステップＳ２）。また、ライブビュー画像の更新が行われる毎に、特徴量演算部７ａは、第１ライブビュー画像のＹＵＶデータに基づいて特徴の高いブロック領域（特徴点）を抽出し、ばらつき量算出部７ｂは、各ブロック領域内のばらつき量としての標準偏差を式（１）に従って算出する（ステップＳ３）。
次に、実施形態１の被写体切り抜き処理と同様に、非平坦度判定部８ａは、特徴点（ブロック領域）が所定値以下であるか否か、及びブロック領域内の画素値のばらつき量が所定値以下であるか否かを判定することで、特徴点及び当該ブロック領域内の画素値のばらつき量がないか否かを判断する（ステップＳ４）。
ここで、特徴点及び当該ブロック領域内の画素値のばらつき量があると判断されると（ステップＳ４；ＮＯ）、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが所定操作された撮像指示が入力されたか否かを判定する（ステップＳ２０２）。
ここで、特徴点及び当該ブロック領域内の画素値のばらつき量があると判断されると（ステップＳ４；ＮＯ）、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが所定操作された撮像指示が入力されたか否かを判定する（ステップＳ２０２）。
ステップＳ２０２にて、撮像指示が入力されていないと判定されると（ステップＳ２０２；ＮＯ）、ＣＰＵ１３は、ユーザによる操作入力部１２の所定操作に基づいて終了指示が入力された否かを判定する（ステップＳ５）。
ここで、終了指示が入力されていないと判定されると（ステップＳ５；ＮＯ）、ＣＰＵ１３は、処理をステップＳ２に移行して、それ以降の処理を実行する。
一方、終了指示が入力されたと判定されると（ステップＳ５；ＹＥＳ）、ＣＰＵ１３は、被写体切り抜き処理を終了させる。
ここで、終了指示が入力されていないと判定されると（ステップＳ５；ＮＯ）、ＣＰＵ１３は、処理をステップＳ２に移行して、それ以降の処理を実行する。
一方、終了指示が入力されたと判定されると（ステップＳ５；ＹＥＳ）、ＣＰＵ１３は、被写体切り抜き処理を終了させる。
また、ステップＳ２０２にて、撮像指示が入力されたと判定されると（ステップＳ２０２；ＹＥＳ）、ＣＰＵ１３は、画像メモリ５のフラグテーブル（図示略）に背景撮影フラグ＝１を書き込んだ後（ステップＳ２０３）、処理をステップＳ１３に移行させて、撮像制御部３に、被写体存在画像Ｐ１ｂ（図１２（ａ）参照）の撮像の際の露出条件（ＡＥ）やホワイトバランス（ＡＷＢ）等の撮像条件を被写体Ｓに合わせて調整させる（ステップＳ１３）。その後、撮像制御部３は、調整された撮像条件で被写体存在画像Ｐ１ｂの光学像を電子撮像部２により撮像させ、電子撮像部２から転送された被写体存在画像Ｐ１ｂの画像フレームに基づいて、被写体存在画像Ｐ１ｂのＹＵＶデータを画像データ生成部４に生成させて、当該ＹＵＶデータを画像メモリ５に一時記憶させる（ステップＳ１４）。
これにより、特徴量の多い背景をバックに被写体Ｓが撮影された被写体存在画像Ｐ１ｂが生成される。
なお、撮像制御部３は、被写体存在画像Ｐ１ｂの撮像の際の合焦位置（ＡＦ）や露出条件（ＡＥ）やホワイトバランス（ＡＷＢ）等の撮像条件を固定した状態を維持する。
これにより、特徴量の多い背景をバックに被写体Ｓが撮影された被写体存在画像Ｐ１ｂが生成される。
なお、撮像制御部３は、被写体存在画像Ｐ１ｂの撮像の際の合焦位置（ＡＦ）や露出条件（ＡＥ）やホワイトバランス（ＡＷＢ）等の撮像条件を固定した状態を維持する。
一方、ステップＳ４にて、特徴点及び当該ブロック領域内の画素値のばらつき量がないと判断されると（ステップＳ４；ＹＥＳ）、即ち、例えば、特徴量の少ない無地の背景をバックに被写体Ｓを撮影する場合は（図６（ｂ）参照）、実施形態１の被写体切り抜き処理と同様に、ＣＰＵ１３は、ステップＳ６〜Ｓ１２の各処理を行う。
これにより、第１ライブビュー画像及び第２ライブビュー画像が画像メモリ５に保存された状態となる（ステップＳ６、Ｓ１２）。
これにより、第１ライブビュー画像及び第２ライブビュー画像が画像メモリ５に保存された状態となる（ステップＳ６、Ｓ１２）。
次に、図１０に示すように、ＣＰＵ１３は、背景撮影フラグ＝０であるか否かを判定する（ステップＳ２０４）。
ここで、背景撮影フラグ＝０でないと判定されると（ステップＳ２０４；ＮＯ）、即ち、背景撮影フラグ＝１となっている場合には、ＣＰＵ１３は、表示制御部１０に、ライブビュー画像に重畳させて、被写体存在画像Ｐ１ｂの半透過の表示態様の画像と被写体非存在画像Ｐ６の撮像指示メッセージ（例えば、「背景を撮影してください」等）を表示部１１の表示画面１１ａに表示させる（ステップＳ２０５；図１２（ｂ）参照）。
ここで、背景撮影フラグ＝０でないと判定されると（ステップＳ２０４；ＮＯ）、即ち、背景撮影フラグ＝１となっている場合には、ＣＰＵ１３は、表示制御部１０に、ライブビュー画像に重畳させて、被写体存在画像Ｐ１ｂの半透過の表示態様の画像と被写体非存在画像Ｐ６の撮像指示メッセージ（例えば、「背景を撮影してください」等）を表示部１１の表示画面１１ａに表示させる（ステップＳ２０５；図１２（ｂ）参照）。
その後、ＣＰＵ１３は、表示制御部１０に、レンズ部１及び電子撮像部２による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行うとともに（ステップＳ２０６）、ユーザにより操作入力部１２のシャッタボタン１２ａが所定操作されて撮像指示が入力されたか否かを判定する（ステップＳ２０７）。
この後、ユーザは、被写体Ｓを画角外に移動させる、或いは被写体Ｓが移動するのを待った後（図８（ｂ）参照）、ステップＳ２０７にて、撮像指示が入力されたと判定されると（ステップＳ２０７；ＹＥＳ）、撮像制御部３は、背景内に被写体Ｓの存在しない被写体非存在画像Ｐ６の光学像を所定の撮像条件で電子撮像部２により撮像させ、画像データ生成部４は、電子撮像部２から転送された被写体非存在画像Ｐ６の画像フレームに基づいて、被写体非存在画像Ｐ６のＹＵＶデータを生成して、当該ＹＵＶデータを画像メモリ５に一時記憶させる（ステップＳ２０８）。
これにより、被写体Ｓが存在しない特徴量の多い背景が撮影された被写体非存在画像Ｐ６が生成される。
この後、ユーザは、被写体Ｓを画角外に移動させる、或いは被写体Ｓが移動するのを待った後（図８（ｂ）参照）、ステップＳ２０７にて、撮像指示が入力されたと判定されると（ステップＳ２０７；ＹＥＳ）、撮像制御部３は、背景内に被写体Ｓの存在しない被写体非存在画像Ｐ６の光学像を所定の撮像条件で電子撮像部２により撮像させ、画像データ生成部４は、電子撮像部２から転送された被写体非存在画像Ｐ６の画像フレームに基づいて、被写体非存在画像Ｐ６のＹＵＶデータを生成して、当該ＹＵＶデータを画像メモリ５に一時記憶させる（ステップＳ２０８）。
これにより、被写体Ｓが存在しない特徴量の多い背景が撮影された被写体非存在画像Ｐ６が生成される。
次に、ＣＰＵ１３は、非平坦度演算部７、ブロックマッチング部１４及び画像処理部８に、被写体非存在画像Ｐ６のＹＵＶデータを基準として、被写体存在画像Ｐ１ｂのＹＵＶデータと被写体非存在画像Ｐ６のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ２０９）。
具体的には、特徴量演算部７ａは、被写体非存在画像Ｐ６のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロック領域の内容をテンプレートとして抽出する。そして、ブロックマッチング部１４は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１ｂ内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
そして、画像処理部８の位置合わせ部８ｇは、ブロックマッチング部１４により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出した後、当該射影変換行例に基づいて被写体存在画像Ｐ１ｂを射影変換することで、被写体存在画像Ｐ１ｂのＹＵＶデータと被写体非存在画像Ｐ６のＹＵＶデータとを位置合わせする処理を行わせる。
具体的には、特徴量演算部７ａは、被写体非存在画像Ｐ６のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロック領域の内容をテンプレートとして抽出する。そして、ブロックマッチング部１４は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１ｂ内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
そして、画像処理部８の位置合わせ部８ｇは、ブロックマッチング部１４により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出した後、当該射影変換行例に基づいて被写体存在画像Ｐ１ｂを射影変換することで、被写体存在画像Ｐ１ｂのＹＵＶデータと被写体非存在画像Ｐ６のＹＵＶデータとを位置合わせする処理を行わせる。
次に、画像処理部８は、位置合わせが成功したか否かを判定する（ステップＳ２１０）。即ち、画像処理部８は、ステップＳ２０９にて、複数のテンプレートの動きベクトルから全体の動きベクトルを統計的に算出でき、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出することができたか否かを判定する。
ここで、位置合わせが成功したと判定されると（ステップＳ２１０；ＹＥＳ）、ＣＰＵ１３は、画像処理部８に、被写体存在画像Ｐ１ｂから被写体Ｓが含まれる被写体領域を検出する第２領域検出処理を行わせる（ステップＳ２１１）。
ここで、第２領域検出処理について図１１を参照して詳細に説明する。
図１１は、第２領域検出処理に係る動作の一例を示すフローチャートである。
第２領域検出処理は、相違度算出部８ｂによる相違度Ｄの算出に係る対象が第１領域検出処理と異なる以外の点は、第１領域検出処理と略同様であり、その詳細な説明を省略する。
図１１は、第２領域検出処理に係る動作の一例を示すフローチャートである。
第２領域検出処理は、相違度算出部８ｂによる相違度Ｄの算出に係る対象が第１領域検出処理と異なる以外の点は、第１領域検出処理と略同様であり、その詳細な説明を省略する。
即ち、図１１に示すように、画像処理部８の相違度算出部８ｂは、被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂとの対応する各画素の相違度Ｄを下記式（２）に従って算出し、画像処理部８のマスク生成部８ｅは、算出された相違度Ｄに基づいて相違度マップを生成する（ステップＳ７１）。
次に、第１領域検出処理と同様に、マスク生成部８ｅは、生成した相違度マップを所定の閾値で二値化してマスク画像Ｍ（図７（ｂ）参照）を生成する（ステップＳ５２）。そして、マスク生成部８ｅは、二値化が成功したか否かを判断する（ステップＳ５３）。ここで、二値化に成功したと判断されると（ステップＳ５３；ＹＥＳ）、マスク生成部８ｅは、マスク画像Ｍの画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後（ステップＳ５４）、収縮分を修正するための膨張処理を行う（ステップＳ５５）。
続けて、マスク生成部８ｅは、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、マスク画像Ｍの画像データの有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めを行う（ステップＳ５６）。
そして、マスク生成部８ｅは、マスク画像Ｍの画像データに対して平均化フィルタをかけて、被写体領域の縁部に合成階調をつけて（ステップＳ５７）、領域検出成功とする（ステップＳ５８）。
一方、ステップＳ５３にて、二値化に成功しなかったと判断されると（ステップＳ５３；ＮＯ）、マスク生成部８ｅは、二値化に失敗したとみなして領域検出失敗とする（ステップＳ５９）。
これにより、第２領域検出処理を終了する。
続けて、マスク生成部８ｅは、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、マスク画像Ｍの画像データの有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めを行う（ステップＳ５６）。
そして、マスク生成部８ｅは、マスク画像Ｍの画像データに対して平均化フィルタをかけて、被写体領域の縁部に合成階調をつけて（ステップＳ５７）、領域検出成功とする（ステップＳ５８）。
一方、ステップＳ５３にて、二値化に成功しなかったと判断されると（ステップＳ５３；ＮＯ）、マスク生成部８ｅは、二値化に失敗したとみなして領域検出失敗とする（ステップＳ５９）。
これにより、第２領域検出処理を終了する。
図１０に示すように、次に、実施形態１の被写体切り抜き処理と同様に、マスク生成部８ｅは、被写体領域の検出が成功したか否かを判定する（ステップＳ１８）。
ここで、被写体領域の検出が成功したと判定されると（ステップＳ１８；ＹＥＳ）、切抜画像生成部８ｆは、αブレンドを利用して、第２領域検出処理にて生成されたマスク画像Ｍを用いて被写体存在画像Ｐ１ｂから被写体領域を切り出して、所定の単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４（図７（ｂ）参照）の画像データを生成する（ステップＳ１９）。
その後、表示制御部１０は、切抜画像生成部８ｆにより生成された被写体切り抜き画像Ｐ４の画像データに基づいて、所定の単一色背景画像Ｐ５に被写体Ｓが重畳された被写体切り抜き画像Ｐ４を表示部１１の表示画面に表示させる（図７（ｃ）参照）。
ここで、被写体領域の検出が成功したと判定されると（ステップＳ１８；ＹＥＳ）、切抜画像生成部８ｆは、αブレンドを利用して、第２領域検出処理にて生成されたマスク画像Ｍを用いて被写体存在画像Ｐ１ｂから被写体領域を切り出して、所定の単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４（図７（ｂ）参照）の画像データを生成する（ステップＳ１９）。
その後、表示制御部１０は、切抜画像生成部８ｆにより生成された被写体切り抜き画像Ｐ４の画像データに基づいて、所定の単一色背景画像Ｐ５に被写体Ｓが重畳された被写体切り抜き画像Ｐ４を表示部１１の表示画面に表示させる（図７（ｃ）参照）。
次に、ＣＰＵ１３は、記録媒体９の所定の記憶領域に、画像処理部８のマスク生成部８ｅにより生成されたマスク画像Ｍの画像データと被写体切り抜き画像Ｐ４の画像データを対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として一ファイルで保存させる（ステップＳ２０）。
これにより、被写体切り抜き処理を終了する。
これにより、被写体切り抜き処理を終了する。
一方、ステップＳ１８にて、被写体領域の検出が成功しなかったと判定されるか（ステップＳ１８；ＮＯ）、或いは、ステップＳ１６にて、背景生成が成功しなかったと判定されるか（ステップＳ１６；ＮＯ）、或いは、ステップＳ２１０にて、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ６との位置合わせに成功しなかったと判定された場合にも（ステップＳ２１０；ＮＯ）、ＣＰＵ１３は、被写体Ｓの切り抜きの失敗に係る所定のメッセージ（例えば、「被写体Ｓの切り抜きに失敗しました」等）を表示部１１の表示画面に表示させて（ステップＳ２１）、被写体切り抜き処理を終了する。
また、ステップＳ２０４にて、背景撮影フラグ＝０であると判定されると（ステップＳ２０４；ＹＥＳ）、実施形態１の被写体切り抜き処理と同様に、ＣＰＵ１３は、ステップＳ１３〜Ｓ２０の各処理を行う。
即ち、特徴量の少ない背景をバックに被写体Ｓが撮影された被写体存在画像Ｐ１ａが画像メモリ５に一時記憶された状態となる（ステップＳ１４）。また、背景生成処理にて、第１ライブビュー画像と第２ライブビュー画像に基づいて抽出用背景画像Ｐ３が生成された後（ステップＳ１５）、第１領域検出処理にて、抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａに基づいてマスク画像Ｍが生成される（ステップＳ１７）。その後、被写体切り抜き画像Ｐ４（図７（ｂ）参照）の画像データが生成されて（ステップＳ２０）、被写体切り抜き画像Ｐ４の画像データとマスク画像Ｍの画像データとが対応付けられて一ファイルで保存される。
これにより、被写体切り抜き処理を終了する。
即ち、特徴量の少ない背景をバックに被写体Ｓが撮影された被写体存在画像Ｐ１ａが画像メモリ５に一時記憶された状態となる（ステップＳ１４）。また、背景生成処理にて、第１ライブビュー画像と第２ライブビュー画像に基づいて抽出用背景画像Ｐ３が生成された後（ステップＳ１５）、第１領域検出処理にて、抽出用背景画像Ｐ３と被写体存在画像Ｐ１ａに基づいてマスク画像Ｍが生成される（ステップＳ１７）。その後、被写体切り抜き画像Ｐ４（図７（ｂ）参照）の画像データが生成されて（ステップＳ２０）、被写体切り抜き画像Ｐ４の画像データとマスク画像Ｍの画像データとが対応付けられて一ファイルで保存される。
これにより、被写体切り抜き処理を終了する。
以上のように、実施形態２の撮像装置２００によれば、第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレームの非平坦度が所定値以下でないと判定されると、被写体存在画像Ｐ１ｂの撮像後に、当該被写体存在画像Ｐ１ｂの背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Ｐ６を撮像する。そして、当該被写体非存在画像Ｐ６と被写体存在画像Ｐ１ｂとの対応する各画素の相違度Ｄに基づいてマスク画像Ｍを生成して、当該マスク画像Ｍを用いて被写体存在画像Ｐ１ｂから被写体領域を抽出する。
即ち、例えば、特徴量の多い背景をバックに被写体Ｓを撮影する場合のように（図１２（ａ）参照）、特徴点が所定値よりも多いと判定されると、被写体存在画像Ｐ１ｂの撮像後、当該被写体存在画像Ｐ１ｂの背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Ｐ６を撮像することで、これら被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ６との位置合わせを行った後、位置合わせされた被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ６の対応する各画素の相違度Ｄに基づいて、被写体存在画像Ｐ１ｂから被写体領域を抽出することができる。
つまり、特徴量の多い背景をバックに被写体Ｓを撮影する場合であっても、被写体非存在画像Ｐ６を撮像することで、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ６の対応する各画素の相違度Ｄに基づいてマスク画像Ｍを生成して、当該マスク画像Ｍを用いて被写体存在画像Ｐ１ｂから被写体領域を抽出することができる。
このように、ライブビュー画像表示用の画像フレームを利用することで、特徴量の少ない背景をバックに被写体Ｓを撮影する場合だけでなく、特徴量の多い背景をバックに被写体Ｓを撮影する場合にも、被写体Ｓの切り抜きに最適な環境を見つけることができ、より使い勝手の良い撮像装置２００を提供することができる。
即ち、例えば、特徴量の多い背景をバックに被写体Ｓを撮影する場合のように（図１２（ａ）参照）、特徴点が所定値よりも多いと判定されると、被写体存在画像Ｐ１ｂの撮像後、当該被写体存在画像Ｐ１ｂの背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Ｐ６を撮像することで、これら被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ６との位置合わせを行った後、位置合わせされた被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ６の対応する各画素の相違度Ｄに基づいて、被写体存在画像Ｐ１ｂから被写体領域を抽出することができる。
つまり、特徴量の多い背景をバックに被写体Ｓを撮影する場合であっても、被写体非存在画像Ｐ６を撮像することで、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ６の対応する各画素の相違度Ｄに基づいてマスク画像Ｍを生成して、当該マスク画像Ｍを用いて被写体存在画像Ｐ１ｂから被写体領域を抽出することができる。
このように、ライブビュー画像表示用の画像フレームを利用することで、特徴量の少ない背景をバックに被写体Ｓを撮影する場合だけでなく、特徴量の多い背景をバックに被写体Ｓを撮影する場合にも、被写体Ｓの切り抜きに最適な環境を見つけることができ、より使い勝手の良い撮像装置２００を提供することができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態１、２にあっては、被写体切り抜き処理の背景生成処理（ステップＳ１５）にて、抽出用背景画像Ｐ３を生成して、第１領域検出処理（ステップＳ１７）にて、当該抽出用背景画像Ｐ３を用いてマスク画像Ｍを生成するようにしたが、マスク画像Ｍの生成方法はこれに限られるものではない。
即ち、例えば、第１ライブビュー画像と第２ライブビュー画像との対応する各画素の相違度Ｄに基づいて、マスク画像Ｍを生成するようにしても良い。
例えば、上記実施形態１、２にあっては、被写体切り抜き処理の背景生成処理（ステップＳ１５）にて、抽出用背景画像Ｐ３を生成して、第１領域検出処理（ステップＳ１７）にて、当該抽出用背景画像Ｐ３を用いてマスク画像Ｍを生成するようにしたが、マスク画像Ｍの生成方法はこれに限られるものではない。
即ち、例えば、第１ライブビュー画像と第２ライブビュー画像との対応する各画素の相違度Ｄに基づいて、マスク画像Ｍを生成するようにしても良い。
具体的には、図１３に示すように、相違度算出部８ｂは、第１ライブビュー画像と第２ライブビュー画像との対応する各画素の相違度Ｄを式（２）に従って算出し、画像処理部８のマスク生成部８ｅは、算出された相違度Ｄに基づいて、相違度マップを生成する（ステップＳ９１）。
なお、上記式（２）にあっては、第１ライブビュー画像のＹＵＶデータを「Y」、「U」、「V」で表し、第２ライブビュー画像のＹＵＶデータを「Yc」、「Uc」、「Vc」で表す。また、Ｇは、色差信号U、Vのゲインを表している。
次に、マスク生成部８ｅは、生成した相違度マップを所定の閾値で二値化してマスク画像Ｍ（図７（ｂ）参照）の画像データを生成する（ステップＳ５２）。そして、マスク生成部８ｅは、例えば、背景（二値化；０）の領域が著しく小さいか否か等を判定することで、二値化が成功したか否かを判断する（ステップＳ５３）。
ここで、二値化に成功したと判断されると（ステップＳ５３；ＹＥＳ）、マスク生成部８ｅは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像Ｍの画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後（ステップＳ５４）、収縮分を修正するための膨張処理を行う（ステップＳ５５）。
ここで、二値化に成功したと判断されると（ステップＳ５３；ＹＥＳ）、マスク生成部８ｅは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像Ｍの画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後（ステップＳ５４）、収縮分を修正するための膨張処理を行う（ステップＳ５５）。
続けて、被写体Ｓに背景色と似たような色がある場合、マスク画像Ｍの被写体領域内が欠損するため、マスク生成部８ｅは、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、マスク画像Ｍの画像データの有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めを行う（ステップＳ５６）。
そして、マスク生成部８ｅは、マスク画像Ｍの画像データを被写体存在画像Ｐ１ａの実撮像サイズにリサイズした後（ステップＳ９２）、当該マスク画像Ｍの画像データに対して平均化フィルタをかけて、被写体領域の縁部に合成階調をつけて（ステップＳ５７）、領域検出成功とする（ステップＳ５８）。
一方、ステップＳ５３にて、二値化に成功しなかったと判断されると（ステップＳ５３；ＮＯ）、例えば、背景（二値化；０）の領域が著しく小さい場合などには、マスク生成部８ｅは、二値化に失敗したとみなして領域検出失敗とする（ステップＳ５９）。
これにより、第１領域検出処理を終了する。
これにより、第１領域検出処理を終了する。
従って、上記のようにしてマスク画像Ｍを生成することで、被写体切り抜き処理にて背景生成処理を行う必要がなくなる。即ち、例えば、撮像装置１００（２００）が三脚に固定された状態で第１被写体抽出用画像Ｐ２ａ、第２被写体抽出用画像Ｐ２ｂ等の撮像が行われ、第１被写体抽出用画像Ｐ２ａの撮像から第２被写体抽出用画像Ｐ２ｂの撮像まで不動状態が継続していた場合には、第１被写体抽出用画像Ｐ２ａを抽出用背景画像として適用することができる。これにより、背景生成処理を省略することができ、被写体切り抜き処理の高速化を図ることができる。
また、上記実施形態１、２にあっては、被写体切り抜き処理のステップＳ４にて、第１ライブビュー画像の特徴点及び特徴点内の画素値のばらつき量の両方について所定値以下であるか否かを判定するようにしたが、これに限られるものではなく、特徴点及びばらつき量の何れか一方を判定することで第１被写体抽出用画像Ｐ２ａの非平坦度の判定を行って、非平坦度が所定値以下であると判定された場合に、被写体存在画像Ｐ１ａの撮像を行うようにしても良い。
また、背景生成処理にて、第１被写体抽出用画像Ｐ２ａの特徴点及び特徴点内の画素値のばらつき量の両方について所定値以下であるか否かを判定するようにしたが、これに限られるものではなく、特徴点及びばらつき量の何れか一方を判定することで第１被写体抽出用画像Ｐ２ａの非平坦度の判定を行って、非平坦度が所定値以下であると判定された場合に、第１被写体抽出用画像Ｐ２ａから抽出用背景画像Ｐ３を生成するようにしても良い。
また、背景生成処理にて、第１被写体抽出用画像Ｐ２ａの特徴点及び特徴点内の画素値のばらつき量の両方について所定値以下であるか否かを判定するようにしたが、これに限られるものではなく、特徴点及びばらつき量の何れか一方を判定することで第１被写体抽出用画像Ｐ２ａの非平坦度の判定を行って、非平坦度が所定値以下であると判定された場合に、第１被写体抽出用画像Ｐ２ａから抽出用背景画像Ｐ３を生成するようにしても良い。
さらに、生成された被写体切り抜き画像Ｐ４と所定の背景用画像（図示略）とを合成して被写体合成画像（図示略）を生成しても良い。
この被写体合成画像を生成する処理においては、被写体切り抜き画像Ｐ４の画像データについて、マスク画像Ｍの画像データの塗りつぶした部分（被写体Ｓ以外の斜線部分）で覆われる画素については、背景用画像の色で塗りつぶし、一方、被写体Ｓ部分の画素については、何もせずに所定の背景用画像の色に対して透過させないようにする。これにより、被写体切り抜き画像Ｐ４の被写体領域が所定の背景用画像（図示略）に重畳された被写体合成画像を生成することができる。
この被写体合成画像を生成する処理においては、被写体切り抜き画像Ｐ４の画像データについて、マスク画像Ｍの画像データの塗りつぶした部分（被写体Ｓ以外の斜線部分）で覆われる画素については、背景用画像の色で塗りつぶし、一方、被写体Ｓ部分の画素については、何もせずに所定の背景用画像の色に対して透過させないようにする。これにより、被写体切り抜き画像Ｐ４の被写体領域が所定の背景用画像（図示略）に重畳された被写体合成画像を生成することができる。
また、上記実施形態１、２にあっては、被写体抽出用画像の非平坦度の演算や判定にて、第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂのライブビュー画像表示用の画像フレームを用いるようにしたが、第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂの画像サイズはこれに限られるものではなく、画像データ生成部４により生成された実撮像サイズの第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂを用いても良い。即ち、解像度変換部６によって、ライブビュー画像表示用のサイズと異なるサイズの第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂ生成して、当該画像を用いても良い。
また、上記実施形態１、２にあっては、第２被写体抽出用画像Ｐ２ｂのライブビュー画像表示用の画像フレーム（第２ライブビュー画像）の保存後の被写体存在画像Ｐ１ａの撮像の際に、ＡＦ（自動合焦処理）を行わないようにしたが、これに限られるものではなく、例えば、多少撮影時間が長くなったとしてもより高画質の被写体存在画像Ｐ１ａの取得を図る上では、ＡＦ（自動合焦処理）を行うのが好ましい。
さらに、被写体存在画像Ｐ１ａ（Ｐ１ｂ）から被写体領域を抽出するための抽出用情報として、マスク画像Ｍを例示したが、これに限られるものではなく、被写体存在画像Ｐ１ａ内の被写体領域の位置を特定して当該被写体領域を抽出することができるものであれば如何なるものであっても良い。
また、上記実施形態１、２にあっては、マスク画像Ｍの画像データと被写体切り抜き画像Ｐ４の画像データを対応付けて一ファイルで保存させるようにしたが、マスク画像Ｍの画像データと被写体存在画像Ｐ１ａ（Ｐ１ｂ）の画像データを対応付けて一ファイルで記録媒体（記憶手段）９に保存させるようにしても良い。この場合、当該ファイルの再生には、被写体存在画像Ｐ１ａを再生させるモードと、再生時にマスク画像Ｍの画像データを適用して被写体切り抜き画像Ｐ４を合成して表示する２モードを用意しておくとよい。
さらに、撮像装置１００、２００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
加えて、上記実施形態にあっては、生成手段、演算手段、判定手段、背景生成手段、被写体抽出手段としての機能を、ＣＰＵ１３の制御下にて、解像度変換部６と、非平坦度演算部７と、画像処理部８が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、生成処理ルーチン、演算処理ルーチン、判定処理ルーチン、背景生成処理ルーチン、被写体抽出処理ルーチンを含むプログラムを記憶しておく。そして、生成処理ルーチンによりＣＰＵ１３を、撮像手段により撮像された被写体領域の抽出用の被写体抽出用画像（第１被写体抽出用画像Ｐ２ａ）の画像フレームを生成する生成手段として機能させるようにしても良い。また、演算処理ルーチンによりＣＰＵ１３を、生成手段により生成された被写体抽出用画像（第１被写体抽出用画像Ｐ２ａ）の画像フレームの非平坦度を演算する演算手段として機能させるようにしても良い。また、判定処理ルーチンによりＣＰＵ１３を、演算手段により演算された被写体抽出用画像（第１被写体抽出用画像Ｐ２ａ）の画像フレームの非平坦度が所定値以下であるか否かを判定する判定手段として機能させるようにしても良い。また、背景生成処理ルーチンによりＣＰＵ１３を、判定手段により非平坦度が所定値以下であると判定された場合に、被写体抽出用画像（第１被写体抽出用画像Ｐ２ａ）の画像フレームに基づいて抽出用背景画像Ｐ３を生成する背景生成手段として機能させるようにしても良い。また、被写体抽出処理ルーチンによりＣＰＵ１３を、操作入力部１２からの撮像指示に従って電子撮像部２により撮像された被写体存在画像Ｐ１ａと抽出用背景画像Ｐ３との対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出する被写体抽出手段として機能させるようにしても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、生成処理ルーチン、演算処理ルーチン、判定処理ルーチン、背景生成処理ルーチン、被写体抽出処理ルーチンを含むプログラムを記憶しておく。そして、生成処理ルーチンによりＣＰＵ１３を、撮像手段により撮像された被写体領域の抽出用の被写体抽出用画像（第１被写体抽出用画像Ｐ２ａ）の画像フレームを生成する生成手段として機能させるようにしても良い。また、演算処理ルーチンによりＣＰＵ１３を、生成手段により生成された被写体抽出用画像（第１被写体抽出用画像Ｐ２ａ）の画像フレームの非平坦度を演算する演算手段として機能させるようにしても良い。また、判定処理ルーチンによりＣＰＵ１３を、演算手段により演算された被写体抽出用画像（第１被写体抽出用画像Ｐ２ａ）の画像フレームの非平坦度が所定値以下であるか否かを判定する判定手段として機能させるようにしても良い。また、背景生成処理ルーチンによりＣＰＵ１３を、判定手段により非平坦度が所定値以下であると判定された場合に、被写体抽出用画像（第１被写体抽出用画像Ｐ２ａ）の画像フレームに基づいて抽出用背景画像Ｐ３を生成する背景生成手段として機能させるようにしても良い。また、被写体抽出処理ルーチンによりＣＰＵ１３を、操作入力部１２からの撮像指示に従って電子撮像部２により撮像された被写体存在画像Ｐ１ａと抽出用背景画像Ｐ３との対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出する被写体抽出手段として機能させるようにしても良い。
１００、２００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
７ 非平坦度演算部
７ａ 特徴量演算部
７ｂ ばらつき量算出部
８ 画像処理部
８ａ 非平坦度判定部
８ｄ 背景生成部
８ｅ マスク生成部
８ｆ 切抜画像生成部
１２ａ シャッタボタン
１３ ＣＰＵ
１ レンズ部
２ 電子撮像部
３ 撮像制御部
７ 非平坦度演算部
７ａ 特徴量演算部
７ｂ ばらつき量算出部
８ 画像処理部
８ａ 非平坦度判定部
８ｄ 背景生成部
８ｅ マスク生成部
８ｆ 切抜画像生成部
１２ａ シャッタボタン
１３ ＣＰＵ
Claims (13)
- 撮像手段と、
この撮像手段により撮像された被写体領域の抽出用の被写体抽出用画像の画像フレームを生成する生成手段と、
この生成手段により生成された前記被写体抽出用画像の画像フレームの非平坦度を演算する演算手段と、
この演算手段により演算された前記被写体抽出用画像の画像フレームの非平坦度が所定値以下であるか否かを判定する第１判定手段と、
前記撮像手段による背景内に被写体が存在する被写体存在画像の撮像を指示する第１撮像指示手段と、
前記第１判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体抽出用画像の画像フレームに基づいて抽出用背景画像を生成する背景生成手段と、
前記第１撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第１被写体抽出手段と、
前記第１判定手段により非平坦度が所定値以下でないと判定された場合に、前記撮像手段による前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の撮像を指示する第２撮像指示手段と、
前記第２撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２被写体抽出手段と、
を備えたことを特徴とする撮像装置。 - 前記生成手段は、
背景内に被写体の存在しない第１被写体抽出用画像と前記背景内に被写体の存在する第２被写体抽出用画像の各々を前記撮像手段により撮像して各々の画像フレームを生成し、
前記第１被写体抽出用画像の画像フレームと前記第２被写体抽出用画像の画像フレームとの対応する各画素の相違度が所定値以下であるか否かを判定する第２判定手段を更に備え、
前記背景生成手段は、
前記第２判定手段により相違度が所定値以下であると判定された画素に基づいて、前記抽出用背景画像を生成することを特徴とする請求項１に記載の撮像装置。 - 前記背景生成手段は、
前記第２判定手段により相違度が所定値以下であると判定された画素と同じ色の前記抽出用背景画像を生成することを特徴とする請求項２に記載の撮像装置。 - 前記撮像手段により先に撮像される前記第１被写体抽出用画像と当該第１被写体抽出用画像の撮像後に撮像される前記第２被写体抽出用画像の各々の撮像条件を同じ条件に設定する撮像条件設定手段を更に備えることを特徴とする請求項２又は３に記載の撮像装置。
- 前記撮像条件設定手段は、更に、
前記第２被写体抽出用画像の撮像後に、前記撮像手段により前記被写体存在画像を撮像する際の撮像条件を設定することを特徴とする請求項４に記載の撮像装置。 - 前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出するための抽出用情報を生成する第１抽出用情報生成手段を更に備え、
前記第１被写体抽出手段は、
前記第１抽出用情報生成手段により生成された抽出用情報を用いて前記被写体存在画像から前記被写体領域を抽出することを特徴とする請求項１〜５の何れか一項に記載の撮像装置。 - 前記演算手段は、
前記非平坦度として、前記被写体抽出用画像の複数の特徴点を抽出し、
前記第１判定手段は、
更に、前記演算手段により抽出された前記複数の特徴点が所定値以下であるか否かを判定し、
前記背景生成手段は、
更に、前記第１判定手段により特徴点が所定値以下であると判定された場合に、前記抽出用背景画像を生成することを特徴とする請求項１〜６の何れか一項に記載の撮像装置。 - 前記演算手段は、
前記非平坦度として、前記被写体抽出用画像の複数の画像領域内の画素値のばらつき量を演算し、
前記第１判定手段は、
更に、前記演算手段により演算された前記複数の画像領域内の画素値のばらつき量が所定値以下であるか否かを判定し、
前記背景生成手段は、
更に、前記第１判定手段により画素値のばらつき量が所定値以下であると判定された場合に、前記抽出用背景画像を生成することを特徴とする請求項１〜７の何れか一項に記載の撮像装置。 - 前記撮像手段は、
前記第１判定手段により前記被写体抽出用画像の非平坦度が所定値以下であると判定された場合に、前記被写体存在画像を撮像することを特徴とする請求項１〜８の何れか一項に記載の撮像装置。 - 前記第１撮像指示手段は、被写体を撮影する指示を表示装置に表示させ、前記第２撮像指示手段は、背景を撮影する指示を表示装置に表示させることを特徴とする請求項１に記載の撮像装置。
- 前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出するための抽出用情報を生成する第２抽出用情報生成手段を更に備え、
前記第２被写体抽出手段は、
前記第２抽出用情報生成手段により生成された抽出用情報を用いて前記被写体存在画像から前記被写体領域を抽出することを特徴とする請求項１に記載の撮像装置。 - 撮像装置に、
撮像部により撮像された被写体領域の抽出用の被写体抽出用画像の画像フレームを生成する生成ステップと、
この生成ステップにより生成された前記被写体抽出用画像の画像フレームの非平坦度を演算する演算ステップと、
この演算ステップにより演算された前記被写体抽出用画像の画像フレームの非平坦度が所定値以下であるか否かを判定する判定ステップと、
前記撮像部による背景内に被写体が存在する被写体存在画像の撮像を指示する第１指示ステップと、
前記判定ステップにより非平坦度が所定値以下であると判定された場合に、前記被写体抽出用画像の画像フレームに基づいて抽出用背景画像を生成する背景生成ステップと、
前記第１指示ステップによる撮像指示に従って前記撮像部により撮像された前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第１抽出ステップと、
前記判定ステップにより非平坦度が所定値以下でないと判定された場合に、前記撮像部による前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の撮像を指示する第２指示ステップと、
前記第２指示ステップによる撮像指示に従って前記撮像部により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２抽出ステップと、
を実行させることを特徴とする画像処理方法。 - 撮像装置のコンピュータを、
撮像部により撮像された被写体領域の抽出用の被写体抽出用画像の画像フレームを生成する生成手段、
この生成手段により生成された前記被写体抽出用画像の画像フレームの非平坦度を演算する演算手段、
この演算手段により演算された前記被写体抽出用画像の画像フレームの非平坦度が所定値以下であるか否かを判定する判定手段、
前記撮像部による背景内に被写体が存在する被写体存在画像の撮像を指示する第１指示手段、
前記判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体抽出用画像の画像フレームに基づいて抽出用背景画像を生成する背景生成手段、
前記第１指示手段による撮像指示に従って前記撮像部により撮像された前記被写体存在画像と前記抽出用背景画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第１抽出手段、
前記判定手段により非平坦度が所定値以下でないと判定された場合に、前記撮像部による前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の撮像を指示する第２指示手段と、
前記第２指示手段による撮像指示に従って前記撮像部により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２抽出手段と、
として機能させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009179759A JP5402361B2 (ja) | 2009-07-31 | 2009-07-31 | 撮像装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009179759A JP5402361B2 (ja) | 2009-07-31 | 2009-07-31 | 撮像装置、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011035650A JP2011035650A (ja) | 2011-02-17 |
| JP5402361B2 true JP5402361B2 (ja) | 2014-01-29 |
Family
ID=43764288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009179759A Active JP5402361B2 (ja) | 2009-07-31 | 2009-07-31 | 撮像装置、画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5402361B2 (ja) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001036801A (ja) * | 1999-07-23 | 2001-02-09 | Sharp Corp | 撮像装置 |
| JP2006344154A (ja) * | 2005-06-10 | 2006-12-21 | Sumitomo Electric Ind Ltd | 車両判別装置及び方法 |
| JP4852355B2 (ja) * | 2006-06-26 | 2012-01-11 | パナソニック株式会社 | 放置物検出装置及び放置物検出方法 |
| JP2008028717A (ja) * | 2006-07-21 | 2008-02-07 | Canon Inc | 画像処理装置および方法、プログラム |
-
2009
- 2009-07-31 JP JP2009179759A patent/JP5402361B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011035650A (ja) | 2011-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4798236B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP4760973B2 (ja) | 撮像装置及び画像処理方法 | |
| JP5051156B2 (ja) | 画像処理装置及びプログラム | |
| JP4947136B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6222514B2 (ja) | 画像処理装置、撮像装置、およびコンピュータブログラム | |
| JP2015012480A (ja) | 画像処理装置及び画像処理方法 | |
| JP2017175364A (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
| JP2011191860A (ja) | 撮像装置、撮像処理方法及びプログラム | |
| JP2011066827A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2009021909A (ja) | 画像加算装置および方法並びにプログラム | |
| JP5493839B2 (ja) | 撮像装置、画像合成方法及びプログラム | |
| JP5402361B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP2011041041A (ja) | 撮像装置、撮像方法及びプログラム | |
| JP5131399B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2017212698A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
| JP5636660B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5310361B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP5494537B2 (ja) | 画像処理装置及びプログラム | |
| JP2010278701A (ja) | 画像合成装置、画像合成方法及びプログラム | |
| JP5301690B2 (ja) | 撮影装置および方法並びにプログラム | |
| JP5565227B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2009159356A (ja) | 被写対象追跡装置、被写対象追跡プログラム及び被写対象追跡方法 | |
| JP2011175663A (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP4803319B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP2023065229A (ja) | 撮像装置及びその制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120723 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120723 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130611 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131001 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131014 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5402361 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |