JP5310361B2 - 撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮像された画像から被写体領域を抽出する撮像装置、画像処理方法及びプログラムに関する。

従来、撮像装置を用いて、背景内に被写体が存在する画像と被写体が存在しない背景画像を撮影して、背景画像と被写体が存在する画像から差分情報を生成し、被写体のみを抜き出すアプリケーションが知られている（例えば、特許文献１参照）。

特開平１０−２１４０８号公報

しかしながら、上記特許文献１のように、背景内に被写体が存在する画像と被写体が存在しない背景画像とを２回に分けて撮影する場合、２回の撮影の間に画角の移動が生じ易く、被写体を抽出する処理にて背景自体の画素値に差分が発生して背景部分を被写体と誤認識して被写体の抽出を適正に行うことができないといった問題がある。
一方、１回の撮影で生成された１枚の撮影画像から被写体を切り抜く技術も知られているが、撮影環境によっては適用が困難となっている。

そこで、本発明の課題は、１回の撮影での被写体領域の抽出に適した撮影環境を判別することができ、被写体領域の抽出を一回の撮影で簡便に行うことができる撮像装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の撮像装置は、
撮像手段と、この撮像手段により撮像された背景内に被写体の存在しない第１被写体抽出用画像の画像フレームを生成する第１生成手段と、この第１生成手段により生成された前後二つの前記第１被写体抽出用画像の画像フレーム間の変動量を算出する算出手段と、
この算出手段により算出された前記変動量が所定値以下であるか否かを判定する判定手段と、背景内に被写体が存在する被写体存在画像の前記撮像手段による撮像を指示する第１撮像指示手段と、前記判定手段により前記変動量が所定値以下であると判定された場合に、当該判定に係る二つの前記第１被写体抽出用画像の画像フレームのうちの何れか一の画像フレームと、前記第１撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体領域を抽出する被写体抽出手段と、前記判定手段により前記変動量が所定値以下でないと判定された場合に、前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の前記撮像手段による撮像を指示する第２撮像指示手段と、を備え、前記被写体抽出手段は、前記第２撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する、ことを特徴としている。

請求項２に記載の撮像装置は、請求項１に記載の撮像装置において、
前記算出手段は、前記第１被写体抽出用画像の画像フレーム間の対応する各画素に係る画素値の相違度に基づいて、前記変動量を算出することを特徴としている。

請求項３に記載の撮像装置は、請求項１又は２に記載の撮像装置において、
前記撮像手段により撮像された背景内に被写体の存在する第２被写体抽出用画像の画像フレームを生成する第２生成手段と、前記第１被写体抽出用画像と前記第２被写体抽出用画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出するための抽出用情報を生成する抽出用情報生成手段と、を更に備え、前記被写体抽出手段は、前記抽出用情報生成手段により生成された前記抽出用情報を用いて前記被写体存在画像から前記被写体領域を抽出することを特徴としている。

請求項４に記載の撮像装置は、請求項３に記載の撮像装置において、
前記第１被写体抽出用画像と前記第２被写体抽出用画像の各々の撮像条件を同じ条件に設定する撮像条件設定手段を更に備えることを特徴としている。

請求項５に記載の撮像装置は、請求項３又は４に記載の撮像装置において、
前記第１被写体抽出用画像と前記第２被写体抽出用画像との位置合わせを行う位置合わせ手段を更に備え、前記被写体抽出手段は、前記位置合わせ手段により位置合わせされた前記第１被写体抽出用画像と前記第２被写体抽出用画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出することを特徴としている。

請求項６に記載の撮像装置は、請求項４に記載の撮像装置において、
前記撮像条件設定手段は、更に、前記第２被写体抽出用画像の撮像後に前記撮像手段により前記被写体存在画像を撮像する際の撮像条件を設定することを特徴としている。

請求項７に記載の撮像装置は、請求項１〜６の何れか一項に記載の撮像装置において、
前記撮像手段は、前記判定手段により前記変動量が所定値以下であると判定された場合に、前記被写体存在画像を撮像することを特徴としている。

請求項８に記載の発明の画像処理方法は、
撮像手段を備える撮像装置に、前記撮像手段により撮像された背景内に被写体の存在しない第１被写体抽出用画像の画像フレームを生成する第１生成ステップと、この第１生成ステップにより生成された前後二つの前記第１被写体抽出用画像の画像フレーム間の変動量を算出する算出ステップと、この算出ステップにより算出された前記変動量が所定値以下であるか否かを判定する判定ステップと、背景内に被写体が存在する被写体存在画像の撮像を指示する第１撮像指示ステップと、前記判定ステップにより前記変動量が所定値以下であると判定された場合に、当該判定に係る二つの前記第１被写体抽出用画像の画像フレームのうちの何れか一の画像フレームと、前記第１撮像指示ステップによる撮像指示に従って前記撮像手段により撮像された前記被写体存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体領域を抽出する第１被写体抽出ステップと、前記判定ステップにより前記変動量が所定値以下でないと判定された場合に、前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の前記撮像手段による撮像を指示する第２撮像指示ステップと、前記第２撮像指示ステップによる撮像指示に従って前記撮像手段により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２被写体抽出ステップと、を実行させることを特徴としている。

請求項９に記載の発明のプログラムは、
撮像手段を備える撮像装置のコンピュータを、この撮像手段により撮像された背景内に被写体の存在しない第１被写体抽出用画像の画像フレームを生成する第１生成手段、この第１生成手段により生成された前後二つの前記第１被写体抽出用画像の画像フレーム間の変動量を算出する算出手段、この算出手段により算出された前記変動量が所定値以下であるか否かを判定する判定手段、背景内に被写体が存在する被写体存在画像の撮像を指示する第１撮像指示手段、前記判定手段により前記変動量が所定値以下であると判定された場合に、当該判定に係る二つの前記第１被写体抽出用画像の画像フレームのうちの何れか一の画像フレームと、前記第１撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体領域を抽出する第１被写体抽出手段、前記判定手段により前記変動量が所定値以下でないと判定された場合に、前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の前記撮像手段による撮像を指示する第２撮像指示手段、前記第２撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２被写体抽出手段、として機能させることを特徴としている。

本発明によれば、１回の撮影での被写体領域の抽出に適した撮影環境を判別することができ、被写体領域の抽出を一回の撮影で簡便に行うことができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図２の被写体切り抜き処理の続きを示すフローチャートである。 図２の被写体切り抜き処理における領域検出処理に係る動作の一例を示すフローチャートである。 図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 変形例１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図７の被写体切り抜き処理の続きを示すフローチャートである。 図７の被写体切り抜き処理における領域検出処理に係る動作の一例を示すフローチャートである。 図７の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

本実施形態の撮像装置１００は、前後二つの第１被写体抽出用画像２ａの画像フレーム間の変動量が所定値以下である場合に、当該二つの第１被写体抽出用画像２ａの画像フレームのうちの何れか一の画像フレームと被写体存在画像Ｐ１ａの対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出する。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、解像度変換部６と、特徴量演算部７と、ブロックマッチング部８と、画像処理部９と、記録媒体１０と、表示制御部１１と、表示部１２と、操作入力部１３と、ＣＰＵ１４とを備えている。
また、撮像制御部３と、特徴量演算部７と、ブロックマッチング部８と、画像処理部９と、ＣＰＵ１４は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体Ｓの撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

このように構成されたレンズ部１及び電子撮像部２は、撮像手段として構成している。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮影時にライブビュー画像表示を行う場合には、撮像制御部３は、電子撮像部２により被写体Ｓを所定の撮像フレームレートで連続して撮像させて、各画像フレームを電子撮像部２から画像データ生成部４に逐次出力させる。

また、撮像制御部３は、撮像条件設定手段として、レンズ部１及び電子撮像部２による撮像条件の調整制御を行う。例えば、撮像制御部３は、レンズ部１を光軸方向に移動させて合焦条件を調整するＡＦ（自動合焦処理）や、露出条件（シャッター速度、絞り、増幅率等）を調整するＡＥ（自動露出処理）や、ホワイトバランスを調整するＡＷＢ（自動ホワイトバランス）等を行う。
具体的には、背景内に被写体の存在しない第１被写体抽出用画像２ａにおけるライブビュー画像の画像フレーム間の変動量の判定処理（後述）にて、当該ライブビュー画像の画像フレーム間の変動量が所定値以下であると判定された後、第１被写体抽出用画像２ａ（図５（ｂ）参照）が撮像された場合には、撮像制御部３は、当該第１被写体抽出用画像２ａの撮像の際の撮像条件を固定した状態に維持する。
そして、ユーザによるシャッタボタン１３ａの撮像指示操作に基づいて、撮像制御部３は、レンズ部１を通過した被写体存在画像Ｐ１ａと同一の画角の光学像を、第１被写体抽出用画像２ａの撮像後に固定された撮像条件で電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から背景内に被写体Ｓが存在する第１被写体抽出用画像２ｂに係る画像フレームを読み出させる。即ち、撮像制御部３は、レンズ部１及び電子撮像部２によりライブビュー画像として撮像される第１被写体抽出用画像２ａ及び第１被写体抽出用画像２ｂの各々の撮像条件を同じ条件に設定する。

また、撮像制御部３は、第１被写体抽出用画像２ｂの画像フレームの撮像後に、レンズ部１及び電子撮像部２により撮像される被写体存在画像Ｐ１ａの撮像条件を被写体Ｓに合わせて調整する。その後、撮像制御部３は、レンズ部１を通過した被写体存在画像Ｐ１ａの光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から第１被写体抽出用画像２ｂに係る画像フレームを読み出させる。
なお、被写体存在画像Ｐ１ａの撮像の際には、レンズ部１のレンズ位置の調整動作に時間がかかることを考慮すると、ＡＦ（自動合焦処理）を行わずに、例えば、ＡＥ（自動露出処理）やＡＷＢ（自動ホワイトバランス）等を行うのが好ましい。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

なお、Ａ／Ｄ変換後のデジタルデータを現像するデモザイク部（図示略）が、カスタムＬＳＩ１Ａに実装されていても良い。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、解像度変換部６と、特徴量演算部７と、ブロックマッチング部８と、画像処理部９と、ＣＰＵ１４等によって処理されるデータ等を一時記憶する。

解像度変換部６は、画像メモリ５に格納された画像のＹＵＶデータを取得して、当該ＹＵＶデータに対して解像度変換処理を行う。具体的には、解像度変換部６は、撮影時にライブビュー画像表示を行う場合に、電子撮像部２により所定の撮像フレームレートで連続して撮像され、画像データ生成部４により生成された画像フレーム（例えば、３２００×２４００画素）のＹＵＶデータに基づいて、ライブビュー画像表示用の画像フレーム（例えば、３２０×２４０画素）のＹＵＶデータを逐次生成する。
即ち、解像度変換部６は、画像データ生成部４により生成された被写体抽出用画像（第１被写体抽出用画像２ａ及び第１被写体抽出用画像２ｂ；図５（ｂ），（ｃ）参照）のＹＵＶデータに基づいて、当該被写体抽出用画像のライブビュー画像表示用の画像フレームのＹＵＶデータを順次生成する。
ここで、解像度変換部６は、レンズ部１及び電子撮像部２により撮像された第１被写体抽出用画像２ａの画像フレームを生成する第１生成手段、及び、第１被写体抽出用画像２ｂの画像フレームを生成する第２生成手段を構成している。

特徴量演算部７は、第１被写体抽出用画像２ａの画像フレームから特徴点を抽出する特徴抽出処理を行う。
具体的には、特徴量演算部７は、解像度変換部６により生成された第１被写体抽出用画像２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）に基づいて、高周波成分の多い特徴の高いブロック領域（例えば、１６×１６画像の正方形）を特徴点として抽出する。

ブロックマッチング部８は、解像度変換部６により生成された第１被写体抽出用画像２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）間の位置合わせのためのブロックマッチング処理を行う。
具体的には、例えば、ブロックマッチング部８は、特徴抽出処理にて抽出された一の第１ライブビュー画像におけるブロック領域が当該一の第１ライブビュー画像と隣接する第１ライブビュー画像内のどこに対応するか、つまり、当該隣接する第１ライブビュー画像内にてブロック領域の画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった第１ライブビュー画像間の最適なオフセットを当該ブロック領域の動きベクトルとして算出する。

画像処理部９は、解像度変換部６により生成された第１被写体抽出用画像２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）間の変動量を算出する変動量算出部９ａを具備している。
変動量算出部９ａは、第１ライブビュー画像間の対応する各画素に係る画素値の相違度Ｄを下記式（１）若しくは式（２）に従って算出する。そして、変動量算出部９ａは、第１ライブビュー画像の全画素における相違度Ｄの総和を変動量として算出する。

なお、上記式（１）、（２）にあっては、第１ライブビュー画像のＹＵＶデータを「Y」、「U」、「V」で表し、第２ライブビュー画像のＹＵＶデータを「Yc」、「Uc」、「Vc」で表す。また、Ｇは、色差信号U、Vのゲインを表している。
これにより、変動量算出部９ａは、解像度変換部により生成された前後二つの第１被写体抽出用画像２ａ間の変動量を算出する算出手段を構成している。

また、画像処理部９は、変動量算出部９ａにて算出された変動量の判定を行う判定部９ｂを具備している。
判定部９ｂは、判定手段として、変動量算出部９ａにて算出された第１ライブビュー画像間の変動量が所定値以下であるか否かを判定することで、第１ライブビュー画像間に変動があるか否かを判断する。

また、画像処理部９は、第１被写体抽出用画像２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）と第１被写体抽出用画像２ｂのライブビュー画像表示用の画像フレーム（第２ライブビュー画像）との位置合わせを行う位置合わせ部９ｃを具備している。
位置合わせ部９ｃは、画像メモリ５に保存された第１ライブビュー画像から抽出した特徴点に基づいて、第１ライブビュー画像に対する第２ライブビュー画像の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って第２ライブビュー画像を座標変換して第１ライブビュー画像と位置合わせを行う。具体的には、位置合わせ部９ｃは、ブロックマッチング部８により算出された複数のブロック領域の動きベクトルを多数決により演算して、統計的に所定％（例えば、５０％）以上となると判断された動きベクトルを全体の動きベクトルとして、当該動きベクトルに係る特徴点対応を用いて第２ライブビュー画像の射影変換行列を算出する。そして、位置合わせ部９ｃは、射影変換行列に従って第２ライブビュー画像を座標変換して第１ライブビュー画像と位置合わせを行う。
これにより、位置合わせ部９ｃは、第１ライブビュー画像と第２ライブビュー画像との位置合わせを行う位置合わせ手段を構成している。

また、画像処理部９は、被写体存在画像Ｐ１ａから被写体領域を抽出するためのマスク画像Ｍを生成するマスク生成部９ｄを具備している。
マスク生成部９ｄは、位置合わせ部９ｃにより位置合わせされた第１ライブビュー画像と第２ライブビュー画像の対応する各画素の相違度Ｄを下記式（１）若しくは（２）に従って算出して相違度マップを生成する。

そして、マスク生成部９ｄは、生成した相違度マップを所定の閾値で二値化（０、２５５）してマスク画像Ｍを生成する。

また、マスク生成部９ｄは、細かいノイズを除去するための収縮処理を行って所定値よりも小さい画素集合を除いた後、収縮分を修正するための膨張処理を行い、その後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めも行う。さらに、マスク生成部９ｄは、領域情報に対して平均化フィルタをかけて領域の縁部に合成階調をつける。
ここで、マスク生成部９ｄは、第１ライブビュー画像と第２ライブビュー画像の対応する各画素の相違度（差分情報）Ｄに基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出するためのマスク画像Ｍを生成する抽出用情報生成手段を構成している。

また、画像処理部９は、被写体Ｓの画像を所定の単一色背景画像Ｐ３と合成して被写体切り抜き画像Ｐ４の画像データを生成する切抜画像生成部９ｅを具備している。
切抜画像生成部９ｅは、αブレンドを利用して、マスク生成部９ｄにより生成されたマスク画像Ｍを用いて被写体存在画像Ｐ１ａから被写体領域を切り出して、単一色背景画像Ｐ３と合成して被写体切り抜き画像Ｐ４の画像データを生成する。なお、マスク画像Ｍの縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像Ｐ３との境界部分がはっきりしていない自然な感じに合成することができる。
ここで、切抜画像生成部９ｅは、第１ライブビュー画像と被写体存在画像Ｐ１ａ（Ｐ１ｂ）の対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出する被写体抽出手段を構成している。

記録媒体１０は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部９のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記憶する。
また、記録媒体１０は、画像処理部９のマスク生成部９ｄにより生成されたマスク画像Ｍと、被写体切り抜き画像Ｐ４の画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として保存する。

表示制御部１１は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１２に表示させる制御を行う。
具体的には、表示制御部１１は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１４の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１２に出力する。

表示部１２は、例えば、液晶表示装置であり、表示制御部１１からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面１２ａに表示する。具体的には、表示部１２は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。

操作入力部１３は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１３は、被写体Ｓの撮影指示に係るシャッタボタン１３ａ、メニュー画面にて撮像モードや機能等の選択指示に係るモードボタン１３ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備えている。
そして、ユーザにより操作入力部１３の所定のボタンが操作されると、当該ボタンに対応する制御指示をＣＰＵ１４に出力する。ＣＰＵ１４は、制御指示が入力されると、操作されたボタンに応じて各部を制御する処理を行う。

また、シャッタボタン１３ａは、第１撮像指示手段として、ユーザにより所定操作されると、電子撮像部２による被写体存在画像Ｐ１ａの撮像指示をＣＰＵ１４に出力する。

ＣＰＵ１４は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１４は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。

次に、撮像装置１００による画像処理方法に係る被写体切り抜き処理について、図２〜図６を参照して説明する。
図２及び図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。

被写体切り抜き処理は、ユーザによる操作入力部１３のモードボタン１３ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
なお、被写体切り抜きモードにおける撮影は、当該撮像装置１００を三脚に取り付けたり、机や棚の上などに載置する等、所定位置に固定した状態で撮像を行う。

図２に示すように、先ず、表示制御部１１は、レンズ部１及び電子撮像部２による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を表示部１２の表示画面１２ａに表示させるとともに、当該ライブビュー画像に重畳させて、背景指示メッセージ（例えば、「背景に向けてください」等）を表示部１２の表示画面１２ａに表示させる（ステップＳ１；図５（ａ）参照）。

そして、表示制御部１１は、レンズ部１及び電子撮像部２による被写体Ｓの撮像によって、撮像制御部３により順次生成された第１被写体抽出用画像２ａの画像フレームに基づいてライブビュー画像を更新させる制御を行う（ステップＳ２）。ライブビュー画像の更新が行われる毎に、ＣＰＵ１４は、更新前後における第１被写体抽出用画像２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）のＹＵＶデータに基づいて、特徴の高いブロック領域（特徴点）を特徴量演算部７に抽出させるとともに、位置合わせ部９ｃに更新前後の第１ライブビュー画像間の位置合わせを行わせる（ステップＳ３）。即ち、所定位置に固定した状態では当該位置合わせは必要ないが、撮像装置１００を手持ちで撮影した場合でも、ステップＳ３の処理により、後述する変動量の判定（ステップＳ５）を適正に行うことができる。

次に、変動量算出部９ａは、更新前後の第１ライブビュー画像の画像フレーム間において対応する各画素に係る画素値の相違度Ｄを下記式（１）若しくは式（２）に従って算出する。そして、変動量算出部９ａは、画像フレームの全画素における相違度Ｄの総和を変動量として算出する（ステップＳ４）。

そして、判定部９ｂは、変動量算出部９ａにより算出された変動量が所定値以下であるか否かを判定することで、更新前後の第１ライブビュー画像の画像フレーム間における変動がないか否かを判定する（ステップＳ５）。
ここで、更新前後の第１ライブビュー画像の画像フレーム間における変動がないと判定されると（ステップＳ５；ＹＥＳ）、即ち、例えば、撮影環境が変動のない安定した背景をバックに被写体Ｓを撮影する環境である場合、ＣＰＵ１４は、変動がないと判定された二つの第１ライブビュー画像の画像フレームのうち、更新後の第１ライブビュー画像を画像メモリ５に保存させる（ステップＳ６）。そして、ＣＰＵ１４は、当該第１ライブビュー画像の撮像の際の合焦位置（ＡＦ）や露出条件（ＡＥ）やホワイトバランス（ＡＷＢ）等の撮像条件を撮像制御部３に固定した状態に維持させる（ステップＳ７）。

そして、表示制御部１１は、ライブビュー画像に重畳させて撮像指示メッセージ（例えば、「被写体Ｓを撮影してください」等）を表示部１２の表示画面１２ａに表示させる（ステップＳ８；図５（ｂ）参照）。
その後、表示制御部１１は、レンズ部１及び電子撮像部２による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行うとともに（ステップＳ９）、ユーザによるシャッタボタン１３ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ１０）。
この後、ユーザは、被写体Ｓを画角内に移動させる、或いは被写体Ｓが移動するのを待った後（図５（ｃ）参照）、ステップＳ１０にて、撮像指示が入力されたと判定されると（ステップＳ１０；ＹＥＳ）、ＣＰＵ１４は、このとき表示部１２の表示画面１２ａに表示された第２ライブビュー画像を画像メモリ５に保存させる（ステップＳ１１）。

一方、ステップＳ１０にて、撮像指示が入力されていないと判定されると（ステップＳ１０；ＮＯ）、ＣＰＵ１４は、ユーザによる操作入力部１３の所定操作に基づいて終了指示が入力されたか否かを判定する（ステップＳ１３）。
ここで、終了指示が入力されていないと判定されると（ステップＳ１３；ＮＯ）、ＣＰＵ１４は、処理をステップＳ２に移行させる。一方、終了指示が入力されたと判定されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１４は、被写体切り抜き処理を終了する。

また、ステップＳ５にて、更新前後の第１ライブビュー画像の画像フレーム間における変動があると判定されると（ステップＳ５；ＮＯ）、即ち、例えば、変動のある安定しない背景をバックに被写体Ｓを撮影する場合、ＣＰＵ１４は、ユーザにより操作入力部１３の所定の操作により終了指示が入力されたか否かを判定する（ステップＳ１２）。
ここで、終了指示が入力されていないと判定されると（ステップＳ１２；ＮＯ）、ＣＰＵ１４は、処理をステップＳ２に移行して、それ以降の処理を実行する。一方、終了指示が入力されたと判定されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１４は、被写体切り抜き処理を終了する。

次に、図３に示すように、撮像制御部３は、レンズ部１及び電子撮像部２により撮像される被写体存在画像Ｐ１ａの撮像条件を被写体Ｓに合わせて調整する（ステップＳ１４）。そして、被写体存在画像Ｐ１ａの光学像を、調整された所定の撮像条件で電子撮像部２により撮像させ、電子撮像部２から転送された被写体存在画像Ｐ１ａの画像フレームに基づいて、被写体存在画像Ｐ１ａのＹＵＶデータを画像データ生成部４に生成させて、当該ＹＵＶデータを画像メモリ５に一時記憶させる（ステップＳ１５）。

その後、位置合わせ部９ｃは、画像メモリ５に保存された第１ライブビュー画像と第２ライブビュー画像との位置合わせを行う（ステップＳ１６）。そして、ＣＰＵ１４は、画像処理部９に、被写体存在画像Ｐ１ａから被写体Ｓが含まれる被写体領域を検出する領域検出処理を行わせる（ステップＳ１７）。即ち、所定位置に固定した状態では当該位置合わせは必要ないが、撮像装置１００を手持ちで撮影した場合でも、ステップＳ１６の処理により、領域検出処理を適正に行うことができる。

ここで、領域検出処理について図４を参照して詳細に説明する。
図４は、領域検出処理に係る動作の一例を示すフローチャートである。
図４に示すように、画像処理部９のマスク生成部９ｄは、画像メモリ５に保存された第１ライブビュー画像のＹＵＶデータと第２ライブビュー画像のＹＵＶデータとの間で対応する各画素の相違度Ｄを下記式（１）若しくは式（２）に従って算出して相違度マップを生成する（ステップＳ３１）。

次に、マスク生成部９ｄは、生成した相違度マップを所定の閾値で二値化してマスク画像データを生成する（ステップＳ３２）。そして、マスク生成部９ｄは、例えば、背景（二値化；０）の領域が著しく小さいか否か等を判定することで、二値化が成功したか否かを判断する（ステップＳ３３）。
ここで、二値化に成功したと判断されると（ステップＳ３３；ＹＥＳ）、マスク生成部９ｄは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後（ステップＳ３４）、収縮分を修正するための膨張処理を行う（ステップＳ３５）。

続けて、被写体Ｓに背景色と似たような色がある場合、マスク画像Ｍの被写体領域内が欠損するため、マスク生成部９ｄは、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、マスク画像データの有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めを行う（ステップＳ３６）。
その後、マスク生成部９ｄは、マスク画像データに対して平均化フィルタをかけて、被写体領域の縁部に合成階調をつけ（ステップＳ３７）、マスク画像データを解像度変換部６により画像フレームのデータが変換される前の実撮像サイズにリサイズして（ステップＳ３８）、領域検出成功とする（ステップＳ３９）。

一方、ステップＳ３３にて、二値化に成功しなかったと判断されると（ステップＳ３３；ＮＯ）、例えば、背景（二値化；０）の領域が著しく小さい場合などには、マスク生成部９ｄは、二値化に失敗したとみなして領域検出失敗とする（ステップＳ４０）。
これにより、領域検出処理を終了する。

図３に示すように、領域検出処理の終了後、ＣＰＵ１４は、マスク生成部９ｄに、被写体領域の検出が成功したか否かを判定させる（ステップＳ１８）。
ここで、被写体領域の検出が成功したと判定されると（ステップＳ１８；ＹＥＳ）、切抜画像生成部９ｅは、αブレンドを利用して、領域検出処理にて生成されたマスク画像Ｍを用いて被写体存在画像Ｐ１ａから被写体領域を切り出して、所定の単一色背景画像Ｐ３と合成して被写体切り抜き画像Ｐ４（図６（ｃ）参照）の画像データを生成させる（ステップＳ１９）。
具体的には、切抜画像生成部９ｅは、被写体存在画像Ｐ１ａ、単一色背景画像Ｐ３及びマスク画像データを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ１ａのうち、マスク画像データの塗りつぶした部分（被写体Ｓ以外の部分）で覆われる画素については、単一色背景画像Ｐ３の所定の単一色で塗りつぶす一方で、被写体部分の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、マスク画像Ｍの縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像Ｐ３との境界部分がはっきりしていない自然な感じとなる。
その後、ＣＰＵ１４は、表示制御部１１に、切抜画像生成部９ｅにより生成された被写体切り抜き画像Ｐ４の画像データに基づいて、所定の単一色背景画像Ｐ３に被写体Ｓが重畳された被写体切り抜き画像Ｐ４を表示部１２の表示画面１２ａに表示させる（図６（ｃ）参照）。

次に、ＣＰＵ１４は、記録媒体１０の所定の記憶領域に、画像処理部９のマスク生成部９ｄにより生成されたマスク画像データと被写体切り抜き画像Ｐ４の画像データを対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として一ファイルで保存させる（ステップＳ２０）。
これにより、被写体切り抜き処理を終了する。

一方、ステップＳ１８にて、被写体領域の検出が成功しなかったと判定されると（ステップＳ１８；ＮＯ）、ＣＰＵ１４は、処理をステップＳ２１に移行させて、被写体Ｓの切り抜きの失敗に係る所定のメッセージ（例えば、「被写体Ｓの切り抜きに失敗しました」等）を表示部１２の表示画面１２ａに表示させた後（ステップＳ２１）、被写体切り抜き処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、背景内に被写体Ｓの存在しない前後二つの第１被写体抽出用画像Ｐ２ａの画像フレームを生成して、これら画像フレーム間の変動量を算出する。そして、第１被写体抽出用画像Ｐ２ａの画像フレーム間の変動量が所定値以下であるか否かに応じて、１回の撮影での被写体領域の抽出に適した撮影環境であるか否かを判別することができる。
具体的には、隣接する第１被写体抽出用画像Ｐ２ａのライブビュー画像表示用の画像フレーム（第１ライブビュー画像）間の対応する各画素の相違度Ｄに基づいて、変動量を算出し、変動量が所定値以下であると判定された場合には、例えば、変動のない安定した背景をバックに被写体Ｓを撮影する環境であり、１回の撮影での被写体領域の抽出に適した撮影環境であると判別することができる。
第１ライブビュー画像間の変動量が所定値以下であると判定されると、当該判定に係る二つの第１被写体抽出用画像Ｐ２ａのうちの何れか一の第１被写体抽出用画像Ｐ２ａと、被写体存在画像Ｐ１ａとの間で対応する各画素の相違度Ｄに基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出して被写体切り抜き画像Ｐ４を生成する。具体的には、背景内に被写体Ｓの存在しない第１被写体抽出用画像Ｐ２ａと背景内に被写体Ｓの存在する第２被写体抽出用画像Ｐ２ｂとの対応する各画素の相違度Ｄに基づいてマスク画像を生成し、当該マスク画像を用いて被写体存在画像Ｐ１ａから被写体領域を抽出して被写体切り抜き画像Ｐ４を生成する。
従って、被写体存在画像Ｐ１ａの撮影を一回行うだけで、被写体領域の抽出のための背景画像の撮像を別途行わなくとも第１被写体抽出用画像Ｐ２ａと第２被写体抽出用画像Ｐ２ｂとを用いて生成されたマスク画像を利用して被写体存在画像Ｐ１ａから被写体領域を簡便に抽出することができる。

また、第１被写体抽出用画像Ｐ２ａと第２被写体抽出用画像Ｐ２ｂの各々の撮像条件を同じ条件に設定することができるので、当該第１被写体抽出用画像Ｐ２ａと第２被写体抽出用画像Ｐ２ｂに基づいて適正なマスク画像を生成することができるようになり、当該マスク画像を用いて被写体存在画像Ｐ１ａから被写体領域を適正に抽出することができる。
そして、第２被写体抽出用画像Ｐ２ｂの撮像後に、被写体存在画像Ｐ１ａを撮像する際の撮像条件を設定し直すことがで、被写体Ｓに合わせた撮影が可能となり、被写体領域の抽出元となる被写体存在画像Ｐ１ａの撮像を適正に行うことができ、より高画質の被写体切り抜き画像Ｐ４を得ることができる。

以下に、撮像装置の変形例について、図面を用いて具体的な態様を説明する。
この変形例にあっては、更新前後の第１ライブビュー画像の画像フレーム間における変動があるにも関わらず、ユーザによりシャッタボタン１３ａが撮像指示操作された場合に、被写体存在画像Ｐ１ｂの撮像後に被写体非存在画像Ｐ５を撮像して、これら被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ５との対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ｂから被写体領域を抽出する。
なお、この変形例の撮像装置は、上記実施形態の撮像装置１００と略同様の構成を有し、その詳細な説明は省略する。

図７及び図８は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。なお、以下の説明にあっては、更新前後の第１ライブビュー画像の画像フレーム間における変動があるにも関わらず、ユーザによりシャッタボタン１３ａが撮像指示操作された場合に実行される各処理に主眼を置いて説明する。

図７に示すように、先ず、ＣＰＵ１４は、画像メモリ５のフラグテーブル（図示略）に背景撮影フラグ＝０を書き込む（ステップＳ１０１）。
そして、上記実施形態の被写体切り抜き処理と同様にステップＳ１〜Ｓ５の処理を行い、ステップＳ５にて、更新前後の第１ライブビュー画像の画像フレーム間における変動があると判定されると（ステップＳ５；ＮＯ）、ＣＰＵ１４は、ユーザによるシャッタボタン１３ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ１０２）。
ここで、撮像指示が入力されたと判定されると（ステップＳ１０２；ＹＥＳ）、ＣＰＵ１４は、画像メモリ５のフラグテーブル（図示略）に背景撮影フラグ＝１を書き込む（ステップＳ１０３）。

その後、ＣＰＵ１４は、上記実施形態の被写体切り抜き処理と同様にステップＳ１４〜Ｓ１５の処理を行うことで、変動のある安定していない背景をバックに被写体Ｓが撮影された被写体存在画像Ｐ１ｂが生成される。
その後、ＣＰＵ１４は、ステップＳ１０４にて、画像メモリ５のフラグテーブル（図示略）に書き込まれた背景撮影フラグが「０」であるか否かを判定する（ステップＳ１０４）。

そして、背景撮影フラグが「０」でないと判定された場合（ステップＳ１０４；ＮＯ）、即ち、例えば、更新前後の第１ライブビュー画像の画像フレーム間における変動があるにも関わらず、ユーザによりシャッタボタン１３ａが撮像指示操作された場合には、表示制御部１１は、ライブビュー画像に重畳させて、被写体存在画像Ｐ１ｂの半透過の表示態様の画像と被写体非存在画像Ｐ５の撮像指示メッセージ（例えば、「背景に向けてください」等）を表示部１２の表示画面１２ａに表示させる（ステップＳ１０５；図１０（ｂ）参照）。

その後、ＣＰＵ１４は、表示制御部１１に、レンズ部１及び電子撮像部２による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行うとともに（ステップＳ１０６）、ユーザによるシャッタボタン１３ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ１９）。
この後、ユーザは、被写体Ｓを画角外に移動させる、或いは被写体Ｓが移動するのを待った後（図１０（ｂ）参照）、ステップＳ１０７にて、第２撮像指示手段としてのシャッタボタン１３ａの所定操作に基づいて撮像指示が入力されたと判定されると（ステップＳ１０７；ＹＥＳ）、ＣＰＵ１４は、被写体非存在画像Ｐ５の光学像を所定の撮像条件で電子撮像部２により撮像させ、電子撮像部２から転送された被写体非存在画像Ｐ５の画像フレームに基づいて、被写体非存在画像Ｐ５のＹＵＶデータを画像データ生成部４に生成させて、当該ＹＵＶデータを画像メモリ５に一時記憶させる（ステップＳ１０８）。

次に、ＣＰＵ１４は、特徴量演算部７、ブロックマッチング部８及び画像処理部９に、被写体非存在画像Ｐ５のＹＵＶデータを基準として、被写体存在画像Ｐ１ｂのＹＵＶデータと被写体非存在画像Ｐ５のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ１０９）。具体的には、特徴量演算部７は、被写体非存在画像Ｐ５のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部８は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１ｂ内にて探索して、画素値の相違度Ｄの評価値が最も良かった被写体非存在画像Ｐ５と被写体存在画像Ｐ１ｂ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
そして、画像処理部９の位置合わせ部９ｃは、ブロックマッチング部８により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出した後、当該射影変換行例に基づいて被写体存在画像Ｐ１ｂを射影変換することで、被写体存在画像Ｐ１ｂのＹＵＶデータと被写体非存在画像Ｐ５のＹＵＶデータとを位置合わせする処理を行わせる。

次に、ＣＰＵ１４は、画像処理部９に、位置合わせが成功したか否かを判定させる（ステップＳ１１０）。即ち、画像処理部９は、ステップＳ１０９にて、複数のテンプレートの動きベクトルから全体の動きベクトルを統計的に算出でき、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出することができたか否かを判定する。

ここで、位置合わせが成功したと判定されると（ステップＳ１１０；ＹＥＳ）、ＣＰＵ１４は、処理をステップＳ１７に移行させて、画像処理部９のマスク生成部９ｄに領域検出処理を行わせる（ステップＳ１５）。

次に、領域検出処理について図９を参照して詳細に説明する。
図９は、領域検出処理に係る動作の一例を示すフローチャートである。

図９に示すように、先ず、ＣＰＵ１４は、画像メモリ５のフラグテーブル（図示略）に書き込まれた背景撮影フラグが「０」であるか否かを判定する（ステップＳ１３１）。
ここで、背景撮影フラグが「０」でないと判定された場合（ステップＳ１３１；ＮＯ）、即ち、更新前後の第１ライブビュー画像の画像フレーム間における変動があるにも関わらず、被写体存在画像Ｐ１ｂが撮像された場合には、マスク生成部９ｄは、背景画像としての被写体非存在画像Ｐ５のＹＵＶデータと被写体存在画像Ｐ１ｂのＹＵＶデータとの間で対応する各画素の相違度Ｄを下記式（１）若しくは（２）に従って算出して相違度マップを生成する（ステップＳ１３２）。

その後、上記実施形態の領域検出処理と同様にステップＳ３１〜Ｓ３６の処理を行い、ＣＰＵ１４は、画像メモリ５のフラグテーブル（図示略）に書き込まれた背景撮影フラグが「０」であるか否かを判定する（ステップＳ１３３）。
ここで、背景撮影フラグが「０」でないと判定されると（ステップＳ１３３；ＮＯ）、マスク画像データを被写体存在画像Ｐ１ｂの実撮像サイズにリサイズする必要がないため、ステップＳ３７の処理を飛ばしてステップＳ３８に移行して、領域検出成功とする（ステップＳ３９）。

なお、ステップＳ１３１にて、背景撮影フラグが「０」であると判定された場合には（ステップＳ１３１；ＹＥＳ）、撮影環境が変動のない安定した背景をバックに被写体Ｓを撮影する環境である場合であり、上記実施形態の領域検出処理と同様の処理を行う（ステップＳ３１〜Ｓ４０）。

図８に示すように、領域検出処理の終了後、ＣＰＵ１４は、マスク生成部９ｄに、被写体領域の検出が成功したか否かを判定させる（ステップＳ１８）。
ここで、被写体領域の検出が成功したと判定されると（ステップＳ１８；ＹＥＳ）、切抜画像生成部９ｅは、αブレンドを利用して、領域検出処理にて生成されたマスク画像Ｍを用いて被写体存在画像Ｐ１ａ（Ｐ１ｂ）から被写体領域を切り出して、所定の単一色背景画像Ｐ３と合成して被写体切り抜き画像Ｐ４（図６（ｃ）参照）の画像データを生成させる（ステップＳ１９）。
その後、ＣＰＵ１４は、表示制御部１１に、切抜画像生成部９ｅにより生成された被写体切り抜き画像Ｐ４の画像データに基づいて、所定の単一色背景画像Ｐ３に被写体Ｓが重畳された被写体切り抜き画像Ｐ４を表示部１２の表示画面１２ａに表示させる（図６（ｃ）参照）。

次に、ＣＰＵ１４は、記録媒体１０の所定の記憶領域に、画像処理部９のマスク生成部９ｄにより生成されたマスク画像データと被写体切り抜き画像Ｐ４の画像データを対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として一ファイルで保存させる（ステップＳ２０）。
これにより、被写体切り抜き処理を終了する。

従って、第１被写体抽出用画像Ｐ２ａの画像フレーム間の変動量が所定値以下でないと判定されると、被写体存在画像Ｐ１ｂの撮像後に、当該被写体存在画像Ｐ１ｂの背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Ｐ５を撮像する。そして、当該被写体非存在画像Ｐ５と被写体存在画像Ｐ１ｂとの対応する各画素の相違度Ｄに基づいてマスク画像Ｍを生成して、当該マスク画像Ｍを用いて被写体存在画像Ｐ１ｂから被写体領域を抽出する。
即ち、例えば、変動のある安定していない背景をバックに被写体Ｓを撮影する場合や撮像装置１００を手持ちで撮影する場合のように（図１０（ａ）参照）、被写体存在画像Ｐ１ｂの撮像後、当該被写体存在画像Ｐ１ｂの背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Ｐ５を撮像することで、これら被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ５との位置合わせを行った後、位置合わせされた被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ５の対応する各画素の相違度Ｄに基づいて、被写体存在画像Ｐ１ｂから被写体領域を抽出することができる。
つまり、変動のある安定していない背景をバックに被写体Ｓを撮影する場合であっても、変動が無くなるのを待たずにユーザによるシャッタボタン１３ａの所定操作に基づいて被写体存在画像Ｐ１ｂ及び被写体非存在画像Ｐ５を撮像することで、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ５の対応する各画素の相違度Ｄに基づいてマスク画像Ｍを生成して、当該マスク画像Ｍを用いて被写体存在画像Ｐ１ｂから被写体領域を抽出することができる。
このように、ライブビュー画像表示用の画像フレームを利用することで、変動のない安定した背景をバックに被写体Ｓを撮影する場合だけでなく、変動のある安定していない背景をバックに被写体Ｓを撮影する場合にも、被写体Ｓの切り抜きに最適な環境を見つけることができ、より使い勝手の良い撮像装置１００を提供することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。

例えば、上記実施形態にあっては、更新前後の第１ライブビュー画像間において位置合わせを行わせるようにしたが、これに限られるものではなく、順次生成される第１ライブビュー画像のうちの前後二つの第１ライブビュー画像間であれば良い。

また、上記実施形態にあっては、被写体抽出用画像の位置合わせや変動量の算出にて、第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂのライブビュー画像表示用の画像フレームを用いるようにしたが、第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂの画像サイズはこれに限られるものではなく、画像データ生成部４により生成された実撮像サイズの第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂを用いても良い。即ち、解像度変換部６によって、ライブビュー画像表示用のサイズと異なるサイズの第１被写体抽出用画像Ｐ２ａ及び第２被写体抽出用画像Ｐ２ｂ生成して、当該画像を用いても良い。

また、上記実施形態にあっては、第２被写体抽出用画像Ｐ２ｂのライブビュー画像表示用の画像フレーム（第２ライブビュー画像）の保存後の被写体存在画像Ｐ１ａの撮像の際に、ＡＦ（自動合焦処理）を行わないようにしたが、これに限られるものではなく、例えば、多少撮影時間が長くなったとしてもより高画質の被写体存在画像Ｐ１ａの取得を図る上では、ＡＦ（自動合焦処理）を行うのが好ましい。

さらに、被写体存在画像Ｐ１ａ（Ｐ１ｂ）から被写体領域を抽出するための抽出用情報として、マスク画像Ｍを例示したが、これに限られるものではなく、被写体存在画像Ｐ１ａ内の被写体領域の位置を特定して当該被写体領域を抽出することができるものであれば如何なるものであっても良い。

また、上記実施形態にあっては、マスク画像Ｍの画像データと被写体切り抜き画像Ｐ４の画像データを対応付けて一ファイルで保存させるようにしたが、マスク画像Ｍの画像データと被写体存在画像Ｐ１ａ（Ｐ１ｂ）の画像データを対応付けて一ファイルで記録媒体（記憶手段）１０に保存させるようにしても良い。この場合、当該ファイルの再生には、被写体存在画像Ｐ１ａを再生させるモードと、再生時にマスク画像Ｍの画像データを適用して被写体切り抜き画像Ｐ４を合成して表示する２モードを用意しておくとよい。

また、上記実施形態にあっては、第１生成手段、算出手段、判定手段、被写体抽出手段としての機能を、ＣＰＵ１４の制御下にて、解像度変換部６と、特徴量演算部７と、ブロックマッチング部８と、画像処理部９が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１４によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１生成処理ルーチン、算出処理ルーチン、判定処理ルーチン、被写体抽出処理ルーチンを含むプログラムを記憶しておく。そして、第１生成処理ルーチンによりＣＰＵ１４を、撮像手段により撮像された背景内に被写体の存在しない第１被写体抽出用画像の画像フレームを生成する第１生成手段として機能させるようにしても良い。また、算出処理ルーチンによりＣＰＵ１４を、第１生成手段により生成された前後二つの第１被写体抽出用画像の画像フレーム間の変動量を算出する算出手段として機能させるようにしても良い。また、判定処理ルーチンによりＣＰＵ１４を、算出手段により算出された変動量が所定値以下であるか否かを判定する判定手段として機能させるようにしても良い。また、被写体抽出処理ルーチンによりＣＰＵ１４を、判定手段により変動量が所定値以下であると判定された場合に、当該判定に係る二つの第１被写体抽出用画像の画像フレームのうちの何れか一の画像フレームと、第１撮像指示手段による撮像指示に従って撮像手段により撮像された被写体存在画像との間で対応する各画素の差分情報に基づいて、被写体存在画像から被写体領域を抽出する被写体抽出手段として機能させるようにしても良い。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
６ 解像度変換部
７ 特徴量演算部
８ ブロックマッチング部
９ 画像処理部
９ａ 変動量算出部
９ｂ 判定部
９ｃ 位置合わせ部
９ｄ マスク生成部
９ｅ 切抜画像生成部
１３ａ シャッタボタン
１４ ＣＰＵ

Claims (9)

1. 撮像手段と、
   この撮像手段により撮像された背景内に被写体の存在しない第１被写体抽出用画像の画像フレームを生成する第１生成手段と、
   この第１生成手段により生成された前後二つの前記第１被写体抽出用画像の画像フレーム間の変動量を算出する算出手段と、
   この算出手段により算出された前記変動量が所定値以下であるか否かを判定する判定手段と、
   背景内に被写体が存在する被写体存在画像の前記撮像手段による撮像を指示する第１撮像指示手段と、
   前記判定手段により前記変動量が所定値以下であると判定された場合に、当該判定に係る二つの前記第１被写体抽出用画像の画像フレームのうちの何れか一の画像フレームと、前記第１撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体領域を抽出する被写体抽出手段と、
   前記判定手段により前記変動量が所定値以下でないと判定された場合に、前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の前記撮像手段による撮像を指示する第２撮像指示手段と、
   を備え、
   前記被写体抽出手段は、前記第２撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する、
   ことを特徴とする撮像装置。
2. 前記算出手段は、
   前記第１被写体抽出用画像の画像フレーム間の対応する各画素に係る画素値の相違度に基づいて、前記変動量を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段により撮像された背景内に被写体の存在する第２被写体抽出用画像の画像フレームを生成する第２生成手段と、
   前記第１被写体抽出用画像と前記第２被写体抽出用画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出するための抽出用情報を生成する抽出用情報生成手段と、を更に備え、
   前記被写体抽出手段は、
   前記抽出用情報生成手段により生成された前記抽出用情報を用いて前記被写体存在画像から前記被写体領域を抽出することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１被写体抽出用画像と前記第２被写体抽出用画像の各々の撮像条件を同じ条件に設定する撮像条件設定手段を更に備えることを特徴とする請求項３に記載の撮像装置。
5. 前記第１被写体抽出用画像と前記第２被写体抽出用画像との位置合わせを行う位置合わせ手段を更に備え、
   前記被写体抽出手段は、
   前記位置合わせ手段により位置合わせされた前記第１被写体抽出用画像と前記第２被写体抽出用画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出することを特徴とする請求項３又は４に記載の撮像装置。
6. 前記撮像条件設定手段は、更に、
   前記第２被写体抽出用画像の撮像後に前記撮像手段により前記被写体存在画像を撮像する際の撮像条件を設定することを特徴とする請求項４に記載の撮像装置。
7. 前記撮像手段は、
   前記判定手段により前記変動量が所定値以下であると判定された場合に、前記被写体存在画像を撮像することを特徴とする請求項１〜６の何れか一項に記載の撮像装置。
8. 撮像手段を備える撮像装置に、
   前記撮像手段により撮像された背景内に被写体の存在しない第１被写体抽出用画像の画像フレームを生成する第１生成ステップと、
   この第１生成ステップにより生成された前後二つの前記第１被写体抽出用画像の画像フレーム間の変動量を算出する算出ステップと、
   この算出ステップにより算出された前記変動量が所定値以下であるか否かを判定する判定ステップと、
   背景内に被写体が存在する被写体存在画像の撮像を指示する第１撮像指示ステップと、
   前記判定ステップにより前記変動量が所定値以下であると判定された場合に、当該判定に係る二つの前記第１被写体抽出用画像の画像フレームのうちの何れか一の画像フレームと、前記第１撮像指示ステップによる撮像指示に従って前記撮像手段により撮像された前記被写体存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体領域を抽出する第１被写体抽出ステップと、
   前記判定ステップにより前記変動量が所定値以下でないと判定された場合に、前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の前記撮像手段による撮像を指示する第２撮像指示ステップと、
   前記第２撮像指示ステップによる撮像指示に従って前記撮像手段により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２被写体抽出ステップと、
   を実行させることを特徴とする画像処理方法。
9. 撮像手段を備える撮像装置のコンピュータを、
   この撮像手段により撮像された背景内に被写体の存在しない第１被写体抽出用画像の画像フレームを生成する第１生成手段、
   この第１生成手段により生成された前後二つの前記第１被写体抽出用画像の画像フレーム間の変動量を算出する算出手段、
   この算出手段により算出された前記変動量が所定値以下であるか否かを判定する判定手段、
   背景内に被写体が存在する被写体存在画像の撮像を指示する第１撮像指示手段、
   前記判定手段により前記変動量が所定値以下であると判定された場合に、当該判定に係る二つの前記第１被写体抽出用画像の画像フレームのうちの何れか一の画像フレームと、前記第１撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体領域を抽出する第１被写体抽出手段、
   前記判定手段により前記変動量が所定値以下でないと判定された場合に、前記被写体存在画像の背景と同一の背景内に被写体の存在しない被写体非存在画像の前記撮像手段による撮像を指示する第２撮像指示手段、
   前記第２撮像指示手段による撮像指示に従って前記撮像手段により撮像された前記被写体非存在画像と前記被写体存在画像との対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する第２被写体抽出手段、
   として機能させることを特徴とするプログラム。

Images