JP4807432B2 - 撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、被写体を撮像する撮像装置、画像処理方法及びプログラムに関する。

従来、撮像装置を用いて、背景内に被写体が存在する画像と被写体が存在しない背景画像を撮影して、背景画像と被写体が存在する画像とから差分情報を生成し、被写体のみを抜き出す技術が知られている（例えば、特許文献１参照）。

特開平１０−２１４０８号公報

ところで、上記のように被写体のみを抜き出す被写体切り抜き画像を生成する場合、被写体が存在する画像の撮影と背景画像の撮影を２回に分けて行うことから、シャッターを２回切る必要があり、その作業が煩雑であった。

そこで、本発明の課題は、被写体領域の抽出を一回の撮影で簡便に行うことができる撮像装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の撮像装置は、
撮像手段と、この撮像手段により順次撮像される複数の画像を循環記録する記録手段と、この記録手段により互いに変化の無い複数の画像が循環記録されている間に、これら複数の画像内において変化する画像領域全体の有無を順次判定する判定手段と、この判定手段による判定の結果、前記変化する画像領域全体があると判定されると、その判定以前に撮像された変化の無い画像とその判定以後に順次撮像される前記変化する画像領域全体を含む複数の画像とを前記記録手段の記録容量に達するか若しくは所定の時間が経過するまで前記記録手段に記録するよう制御する記録制御手段と、この記録制御手段によって記録された前記変化の無い画像と前記変化する画像領域全体を含む複数の画像との間で、対応する各画素の差分情報に基づいて、前記変化する画像領域を含む複数の画像から前記変化のある画像領域全体を抽出する被写体抽出手段と、を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記変化の無い画像は、背景画像であり、前記変化する画像領域全体を含む複数の画像は、複数の被写体存在画像であることを特徴とする。

請求項３に記載の発明の画像処理方法は、
画像を撮像する撮像手段と、前記撮像手段により順次撮像される複数の画像を循環記録する記録手段と、を備える撮像装置の画像処理方法であって、前記記録手段により互いに変化の無い複数の画像が循環記録されている間に、これら複数の画像内において変化する画像領域全体の有無を順次判定する判定ステップと、この判定ステップによる判定の結果、前記変化する画像領域全体があると判定されると、その判定以前に撮像された変化の無い画像とその判定以後に順次撮像される前記変化する画像領域全体を含む複数の画像とを前記記録手段の記録容量に達するか若しくは所定の時間が経過するまで前記記録手段に記録するよう制御する記録制御ステップと、この記録制御ステップによって記録された前記変化の無い画像と前記変化する画像領域全体を含む複数の画像との間で、対応する各画素の差分情報に基づいて、前記変化する画像領域を含む複数の画像から前記変化のある画像領域全体を抽出する被写体抽出ステップと、を含むことを特徴としている。

請求項４に記載の発明のプログラムは、
撮像手段、撮像手段により順次撮像される複数の画像を循環記録する記録手段、を備える撮像装置のコンピュータを、前記記録手段により互いに変化の無い複数の画像が循環記録されている間に、これら複数の画像内において変化する画像領域全体の有無を順次判定する判定手段、この判定手段による判定の結果、前記変化する画像領域全体があると判定されると、その判定以前に撮像された変化の無い画像とその判定以後に順次撮像される前記変化する画像領域全体を含む複数の画像とを前記記録手段の記録容量に達するか若しくは所定の時間が経過するまで前記記録手段に記録するよう制御する記録制御手段、この記録制御手段によって記録された前記変化の無い画像と前記変化する画像領域全体を含む複数の画像との間で、対応する各画素の差分情報に基づいて、前記変化する画像領域を含む複数の画像から前記変化のある画像領域全体を抽出する被写体抽出手段、として機能させることを特徴としている。

本発明によれば、被写体領域の抽出を簡便に行うことができる。

本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図２の被写体切り抜き処理の続きを示すフローチャートである。 図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 変形例の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 変形例の撮像装置による被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。 図８の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図８の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
実施形態１の撮像装置１００は、電子撮像部２によって撮像された複数の画像フレームｆ０〜ｆｎ（図４（ａ））に基づいて、背景内に被写体Ｓが存在するか否かを判定し、この判定結果に基づいて被写体領域抽出用の背景画像Ｐ１（図４（ｂ）参照）及び被写体存在画像Ｐ２（図４（ａ）参照）を取得する。そして、これらの背景画像Ｐ１及び被写体存在画像Ｐ２との間で対応する各画素の差分情報に基づいて、被写体存在画像Ｐ２から被写体Ｓが含まれる被写体領域を抽出する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、記録制御部１４と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等の撮像条件の調整制御を行う。

このように構成されたレンズ部１、電子撮像部２及び撮像制御部３は、被写体抽出用の背景画像Ｐ１及び被写体存在画像Ｐ２を撮像する。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３等によって処理されるデータ等を一時記憶する。
また、画像メモリ５は、例えば、２０フレーム分の画像フレームを一時記憶することができるリングバッファを備え、画像データ生成部４により生成された複数の画像フレームを循環記憶する。

特徴量演算部６は、背景画像Ｐ１を基準として、当該背景画像Ｐ１から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６は、例えば、背景画像Ｐ１のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。

ブロックマッチング部７は、被写体切り抜き画像を生成する際に、背景画像Ｐ１と被写体存在画像Ｐ２の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像Ｐ２内のどこに対応するか、つまり、被写体存在画像Ｐ２内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった背景画像Ｐ１と被写体存在画像Ｐ２間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。

画像処理部８は、画像メモリ５に循環記憶された複数の画像フレームに基づいて、背景内に被写体Ｓが存在するか否かを判定する判定部８ａを具備している。
判定部８ａは、具体的には、画像メモリ５に循環記憶された複数の画像フレームに基づいて、時系列が前後する画像フレームどうしの各々について所定の動体解析技術により動体検出を行う。そして、判定部８ａは、動体が検出されない場合には、背景内に被写体Ｓが存在しないと判定する一方で、動体が検出された場合には、背景内に被写体Ｓが存在すると判定する。さらに判定部８ａは、背景内に被写体Ｓが存在するか否かの判定結果に応じて背景内に被写体Ｓが存在しない状態から存在する状態に変化したか否かを判断する。

また、画像処理部８は、判定部８ａによる判定結果に基づいて、画像メモリ５に記憶された画像フレームの中から被写体領域抽出用の背景画像Ｐ１及び被写体存在画像Ｐ２を取得する取得制御部８ｂを具備している。
取得制御部８ｂは、具体的には、判定部８ａによって被写体Ｓが存在しない状態から存在する状態に変化したと判断されると、該変化後に電子撮像部２によって撮像されて画像メモリ５に記憶された被写体存在画像Ｐ２の画像フレームの取得を開始する。そして、例えば、メモリ容量や取得指定期間に応じて規定された所定の取得終了タイミングで、取得制御部８ｂは、被写体存在画像Ｐ２の画像フレームの取得を終了する。つまり、取得制御部８ｂは、判定部８ａによって被写体Ｓが存在しない状態から存在する状態に変化したと判断された後、被写体存在画像Ｐ２の画像フレームの取得を所定期間行う。
また、取得制御部８ｂは、判定部８ａによって被写体Ｓが存在しない状態から存在する状態に変化したと判断されると、当該判断前に画像データ生成部４により生成されて画像メモリ５に循環記憶されている画像フレーム、例えば、当該判断の直前の画像フレームを被写体Ｓの存在しない背景画像Ｐ１として一つ取得する。

また、画像処理部８は、取得制御部８ｂにより取得された被写体存在画像Ｐ２から被写体Ｓが含まれる被写体領域を抽出する被写体抽出部８ｃを具備している。
被写体抽出部８ｃは、具体的には、取得制御部８ｂにより取得された背景画像Ｐ１と被写体存在画像Ｐ２との間で対応する各画素の差分情報に基づいて、被写体存在画像Ｐ２から被写体Ｓが含まれる被写体領域を抽出する。

また、画像処理部８は、被写体存在画像内Ｐ２で抽出された被写体領域の位置を特定して、被写体存在画像Ｐ２における被写体領域の位置を示す位置情報（例えば、アルファマップ）を生成する位置情報生成部８ｄを具備している。
アルファマップとは、被写体存在画像Ｐ２の各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
位置情報生成部８ｄは、具体的には、上記の一番大きな島の部分が１、その他の部分が０である２値化された相違度マップに対してローパスフィルタを施して境界部分に中間値を生じさせることでアルファ値を作成する。この場合、被写体領域のアルファ値が１となり、被写体存在画像Ｐ２の所定の背景に対する透過度が０％となる。一方、被写体Ｓの背景部分はアルファ値が０となり、当該被写体存在画像Ｐ２の透過度が１００％となる。そして、境界付近はアルファ値が０＜α＜１であるので、被写体存在画像Ｐ２と背景画像Ｐ１は混ざり合うこととなる。

また、画像処理部８は、生成されたアルファマップに基づいて、被写体存在画像Ｐ２の各画素のうち、アルファ値が１の画素を所定の単一色画像に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体Ｓの画像を所定の単一色画像と合成して被写体合成画像の画像データを生成する画像合成部８ｅを具備している。
画像合成部８ｅは、具体的には、アルファマップにおける１の補数（１−α）を用いて単一色画像から被写体領域を切り抜いた画像を作成して、当該被写体領域が切り抜かれた画像と、アルファマップを用いて被写体存在画像Ｐ２から切り抜かれた被写体Ｓを合成して被写体切り抜き画像を生成する。

記録制御部１４は、画像処理部８の取得制御部８ｂによって取得された被写体存在画像Ｐ２の複数の画像フレームｆ１〜ｆｎのうち、最後に取得された画像フレームｆｎを静止画像Ｔとして記録媒体９の所定領域に記録させる。

記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された被写体切り抜き画像の画像データ等を記憶する。
また、記録媒体９は、撮像レンズ部１、電子撮像部２及び撮像制御部３による撮像により生成された複数の画像フレームの各々を画像処理部８の符号化部（図示略）により所定の圧縮形式、例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ形式で符号化された被写体切り抜き画像の動画像データを記録する。
また、被写体切り抜き画像の動画像データは、当該被写体切り抜き画像を構成する各画像フレームと画像処理部８の位置情報生成部８ｄにより生成された各アルファマップとを対応付けて一つのファイルとして保存されている。

表示制御部１０は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。

表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて、撮像された画像などを表示画面に表示する。具体的には、表示部１１は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。

操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン１２ａ、撮像モードや機能等の選択指示に係る選択決定ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１３に出力する。

ＣＰＵ１３は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１３は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。

次に、撮像装置１００の画像処理方法に係る被写体切り抜き処理について、図２及び図３を参照して説明する。
図２及び図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
なお、被写体切り抜きモードにおける撮影は、当該撮像装置１００を三脚に取り付けたり、机や棚の上などに載置する等、所定位置に固定した状態で撮像を行う。

図２に示すように、先ず、ＣＰＵ１３は、表示制御部１０に、レンズ部１、電子撮像部２及び撮像制御部３による撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体抽出用画像の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１）。

そして、ＣＰＵ１３は、撮像制御部３に、フォーカスレンズの合焦位置を調整させて、ユーザによる操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ２）。
ここで、ユーザによる操作入力部１２のシャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ２；ＹＥＳ）、ＣＰＵ１３は、レンズ部１により結像された光学像を電子撮像部２により撮像させて、当該撮像により生成された画像フレームを画像メモリ５のリングバッファに撮像順に記憶していき、記憶容量が一杯になった時点から最も古いデータに順次上書きするようにして所定期間分の複数の画像フレームを循環記憶させる（ステップＳ３）。
なお、ユーザによる操作入力部１２のシャッタボタン１２ａが撮像指示操作されていないと判定されると（ステップＳ２；ＮＯ）、当該撮像指示操作されたと判定されるまで、ステップＳ２の判定処理を繰り返す。

また、画像メモリ５に複数の画像フレームの循環記憶が開始されると、ＣＰＵ１３は、当該複数の画像フレームに基づいて、背景内に被写体Ｓが存在するか否かを判定部８ａに判定させる（ステップＳ４）。具体的には、ＣＰＵ１３は、判定部８ａに、循環記憶された複数の画像フレームに基づいて、時系列が前後する画像フレームどうしの各々について所定の動体解析技術により動体検出を行わせる。そして、動体が検出されない場合には、背景内に被写体Ｓが存在しないと判定する一方で、動体が検出された場合には、背景内に被写体Ｓが存在すると判定する。このように、背景内に被写体Ｓが存在するか否かに応じて背景内に被写体Ｓが存在しない状態から存在する状態に変化したか否かを判断する。

ステップＳ４にて、背景内から被写体Ｓが検出されることなく背景内に被写体Ｓが存在しない状態から存在する状態に変化していないと判断された場合には（ステップＳ４；ＮＯ）、ＣＰＵ１３は、処理をステップＳ３に戻し、複数の画像フレームの循環記憶を行う（ステップＳ３）。
そして、背景内から被写体Ｓが検出されることによって背景内に被写体Ｓが存在しない状態から存在する状態に変化したと判断されると（ステップＳ４；ＹＥＳ）、ＣＰＵ１３は、取得制御部８ｂに、当該判断の直前に画像メモリ５に循環記憶された被写体Ｓの存在しない画像フレームｆ０（図４（ａ）参照）を背景画像Ｐ１として取得させる（ステップＳ５）。また、当該判断の後、ＣＰＵ１３は、被写体Ｓの存在する複数の画像フレームｆ１〜ｆｎを電子撮像部２に所定期間撮像させ、これら複数の画像フレームｆ１〜ｆｎからなる被写体存在画像Ｐ２の動画像データを取得制御部８ｂに取得させる（ステップＳ６；図４（ａ）参照）。続けて、ＣＰＵ１３は、記録制御部１４に、ステップＳ６において取得した被写体存在画像Ｐ２の動画像データの最後の画像フレームｆｎを静止画像Ｔとして記録媒体９の所定領域に記録させる（ステップＳ７；図４（ａ）参照）。

続いて、図３に示すように、ＣＰＵ１３は、被写体抽出部８ｃに、ステップＳ５において取得した背景画像Ｐ１とステップＳ６において取得した被写体存在画像Ｐ２とから被写体Ｓが含まれる被写体領域を抽出させる（ステップＳ８）。
具体的には、ＣＰＵ１３は、被写体抽出部８ｃに、ステップＳ６において取得された被写体存在画像Ｐ２における各画像フレームｆ１〜ｆｎ夫々のＹＵＶデータと背景画像Ｐ１のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去させる。その後、ＣＰＵ１３は、被写体抽出部８ｃに、ローパスフィルタをかけた被写体存在画像Ｐ２における各画像フレームｆ１〜ｆｎ夫々と背景画像Ｐ１との間で対応する各画素について相違度を算出して各画像フレームｆ１〜ｆｎ毎の相違度マップを生成させる。続けて、ＣＰＵ１３は、被写体抽出部８ｃに、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行わせる。その後、ＣＰＵ１３は、被写体抽出部８ｃに、ラベリング処理を行わせ、所定値以下の領域や最大領域以外の領域を除去させた後、一番大きな島のパターンを被写体領域として特定し、収縮分を修正するための膨張処理を行わせる。

次に、ＣＰＵ１３は、位置情報生成部８ｄに、各画像フレームｆ１〜ｆｎ毎に抽出された被写体領域の対応する各画像フレームｆ１〜ｆｎ内での位置を示すアルファマップを生成させる（ステップＳ９）。

その後、ＣＰＵ１３は、画像合成部８ｅに、各画像フレームｆ１〜ｆｎにおける被写体Ｓの画像を所定の単一色画像と合成した被写体切り抜き画像の動画像データを生成させる（ステップＳ１０）。
具体的には、ＣＰＵ１３は、画像合成部８ｅに、各画像フレームｆ１〜ｆｎにおける被写体Ｓの画像、単一色画像及び各画像フレームｆ１〜ｆｎに対応したアルファマップを読み出させて画像メモリ５に展開した後、各画像フレームｆ１〜ｆｎにおける被写体Ｓの画像の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。
その後、ＣＰＵ１３は、表示制御部１０に、画像合成部８ｅにより生成された被写体切り抜き画像の各画像フレームＣ１〜Ｃｎ（図５参照）の画像データに基づいて、所定の単一色に被写体Ｓが重畳された被写体切り抜き画像の画像フレームを所定の表示フレームレートで切り換えて表示部１１の表示画面に再生表示させることで、被写体切り抜き画像の動画像を再生する（ステップＳ１１）。

次に、ＣＰＵ１３は、記録媒体９の所定の記憶領域に、被写体切り抜き画像の各画像フレームＣ１〜Ｃｎ毎に、位置情報生成部８ｄにより生成されたアルファマップと画像フレームの画像データとを対応付けて一ファイルとして被写体切り抜き画像の動画像データを保存させる（ステップＳ１２）。
これにより、被写体切り抜き処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、電子撮像部２によって撮像された複数の画像フレームに基づいて、背景内に被写体Ｓが存在するか否かを判定し、この判定結果に基づいて、被写体領域抽出用の背景画像Ｐ１及び被写体存在画像Ｐ２を画像メモリ５から取得する。具体的には、電子撮像部２により順次撮像された複数の画像フレームに基づいて、背景内に被写体Ｓが存在しない状態から存在する状態に変化したか否かを判断し、被写体Ｓが存在しない状態から存在する状態に変化したと判断されると、当該判断前に電子撮像部２によって撮像された背景内に被写体Ｓが存在しない一の背景画像Ｐ１を取得するとともに、当該判断の後、電子撮像部２によって撮像された複数の画像フレームｆ１〜ｆｎからなる被写体存在画像Ｐ２を取得することができる。
従って、ユーザは被写体領域抽出用の背景画像Ｐ１と被写体存在画像Ｐ２を取得する際、当該背景画像Ｐ１の撮像と被写体存在画像Ｐ２の撮像の２回の手順を踏むことなく、一度シャッタボタンを操作するだけで背景画像Ｐ１と被写体存在画像Ｐ２を容易に取得することができ、これらの背景画像Ｐ１と被写体存在画像Ｐ２を用いて被写体領域の抽出を簡便に行うことができる。

また、記録制御部１４により取得された被写体存在画像Ｐ２のうち、最後の画像フレームｆｎを静止画像Ｔとして記録媒体９に記録させることができるので、ユーザによるシャッタボタン１２ａの１回の操作によって、被写体Ｓのみを抜き出した被写体切り抜き画像Ｃ１〜Ｃｎを容易に生成するだけではなく、被写体存在画像Ｐ２から静止画像Ｔをも生成することができるようになる。

なお、上記実施形態１にあっては、所謂、セルフタイマにより静止画像を撮像するセルフタイマモードを備え、被写体切り抜き処理に係る被写体抽出用画像の取得後に、背景内に被写体が存在する通常の静止画像を撮像して記録させても良い。
以下に、本発明の上記実施形態１における撮像装置１００の変形例について説明する。
なお、変形例の撮像装置は、実施形態１の撮像装置１００と略同様の構成を有しており、主に異なる部分について説明する。

＜変形例＞
変形例における撮像装置１００のシャッタボタン１２ａの押下によって、セルフタイマモードにおいて、所定時間が経過した際にレンズ部１、電子撮像部２及び撮像制御部３に画像を自動的に撮像させる指示をＣＰＵ１３に出力する。
ＣＰＵ１３は、シャッタボタン１２ａによる撮像指示入力に基づいて、撮像制御部３に電子撮像部２による撮像を制御する信号を出力する。

また、ＣＰＵ１３は、シャッタボタン１２ａから撮像指示が出力されて入力されると、この撮像指示の入力の際にレンズ部１、電子撮像部２及び撮像制御部３に背景内に被写体Ｓが存在しない背景画像Ｐ３（図７（ａ）参照）を撮像させる。さらに、ＣＰＵ１３は、判定部８ａによって被写体Ｓが存在しない状態から存在する状態に変化したと判断されると、セルフタイマモードにおいて画像が自動的に撮像されるまでの間、レンズ部１、電子撮像部２及び撮像制御部３に被写体存在画像Ｐ４の各画像フレームｆ１〜ｆｎ（図７（ｂ）参照）を撮像させる。
また、画像処理部８の取得制御部８ｂは、判定部８ａによって被写体Ｓが存在しない状態から存在する状態に変化したと判断されると、レンズ部１、電子撮像部２及び撮像制御部３による被写体存在画像Ｐ４の撮像により順次生成される複数の画像フレームｆ１〜ｆｎの取得を開始し、シャッタボタン１２ａによる撮像指示入力タイミングから所定時間が経過した際に当該被写体存在画像Ｐ４に係る画像フレームｆ１〜ｆｎの取得を終了する。

記録制御部１４は、シャッタボタン１２ａによる撮像指示入力タイミングから所定時間が経過した際に電子撮像部２に自動的に撮像させた被写体存在画像Ｐ５を、静止画像Ｔ（図７（ｃ）参照）として記録媒体９の所定領域に記録させる。

次に、変形例における撮像装置１００による被写体切り抜き処理について、図６を参照して説明する。
図６は、ユーザによる選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示され、且つ、セルフタイマモードが選択決定された場合の被写体切り抜き処理に係る動作の一例を示すフローチャートである。

図６に示すように、実施形態１と同様に、先ず、ＣＰＵ１３は、表示制御部１０に、ライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体抽出用画像の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１）。
そして、実施形態１と同様に、ＣＰＵ１３は、ユーザによる操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ２）。ここで、ユーザによる操作入力部１２のシャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ２；ＹＥＳ）、ＣＰＵ１３は、この指示入力のタイミングで、レンズ部１、電子撮像部２及び撮像制御部３に背景内に被写体Ｓが存在しない一の背景画像Ｐ３（図７（ａ）参照）を撮像させる（ステップＳ２１）。

次いで、実施形態１と同様に、ＣＰＵ１３は、電子撮像部２によって撮像された所定期間分の複数の画像フレームを画像メモリ５に循環記憶させる（ステップＳ３）。
そして、実施形態１と同様に、ＣＰＵ１３は、判定部８ａに、背景内から被写体Ｓが検出されることによって背景内に被写体Ｓが存在しない状態から存在する状態に変化したか否かを判断させる（ステップＳ４）。

ステップＳ４において、背景内から被写体Ｓが検出されることによって背景内に被写体Ｓが存在しない状態から存在する状態に変化したと判断されると（ステップＳ４；ＹＥＳ）、ＣＰＵ１３は、電子撮像部２により撮像され、画像メモリ５に記憶された背景内に被写体Ｓが存在する被写体存在画像Ｐ４の各画像フレームｆ１〜ｆｎを取得制御部８ｂにより取得させる（ステップＳ２２；図７（ｂ）参照）。
続けて、ＣＰＵ１３は、シャッタボタン１２ａによるセルフタイマ開始に係る所定の操作からセルフタイマの終了タイミングを規定する所定時間が経過したか否かを判定する（ステップＳ２３）。

ステップＳ２３にて、所定時間が経過してないと判定されると（ステップＳ２３；ＮＯ）、ＣＰＵ１３は、処理をステップＳ２２へ戻し、当該被写体存在画像の各画像フレームを取得させる。
一方、所定時間が経過したと判定されると（ステップＳ２３；ＹＥＳ）、ＣＰＵ１３は、被写体存在画像Ｐ４の各画像フレームｆ１〜ｆｎの取得制御部８ｂによる取得を終了させる（ステップＳ２４）。さらに、ＣＰＵ１３は、被写体存在画像Ｐ４の取得終了タイミングで、レンズ部１、電子撮像部２及び撮像制御部３に被写体存在画像Ｐ５（図７（ｃ）参照）の静止画像を撮像させる（ステップＳ２５）。続けて、記録制御部１４は、被写体存在画像Ｐ５を静止画像Ｔとして記録媒体９の所定領域に記録させる（ステップＳ２６）。

その後、ＣＰＵ１３は、取得制御部８ｂに、ステップＳ２１にて、電子撮像部２による撮像により生成された背景画像Ｐ３の画像データを取得させる（ステップＳ２７）。
なお、ステップＳ２７以降の処理（図３参照）は、上記実施形態１と同様であり、その詳細な説明は、省略する。

また、ステップＳ４において、背景内に被写体Ｓが存在しない状態から存在する状態に変化していないと判断されると（ステップＳ４；ＮＯ）、ＣＰＵ１３は、処理をステップＳ３へ戻し、複数の画像フレームを画像メモリ５に循環記憶させる。

以上のように、変形例の撮像装置１００によれば、セルフタイマモードにおいて、ユーザによるシャッタボタン１２ａの撮像指示入力の際に電子撮像部２に背景内に被写体Ｓが存在しない一の背景画像Ｐ３を撮像し、判定部８ａによって被写体Ｓが存在しない状態から存在する状態に変化したと判断されると、取得制御部８ｂによって電子撮像部２による被写体存在画像Ｐ４の撮像により順次生成される複数の画像フレームｆ１〜ｆｎの取得を開始し、ユーザによるシャッタボタン１２ａの撮像指示入力のタイミングから所定時間が経過した際に当該被写体存在画像Ｐ４に係る画像フレームｆ１〜ｆｎの取得を終了することができる。
従って、ユーザは被写体領域抽出用の背景画像Ｐ３と被写体存在画像Ｐ４を取得する際、当該背景画像Ｐ３の撮像と被写体存在画像Ｐ４の撮像の２回の手順を踏むことなく、一度シャッタボタン１２ａを操作するだけで背景画像Ｐ３と被写体存在画像Ｐ４を容易に取得することができ、これらの背景画像Ｐ３と被写体存在画像Ｐ４を用いて被写体領域の抽出を簡便に行うことができる。
また、ユーザによるシャッタボタン１２ａの撮像指示入力の際に背景画像Ｐ３を撮像するので、ユーザ所望の背景画像Ｐ３を取得することができ、適切に被写体領域の抽出を行うことができるようになる。

また、撮像制御部３によって、ユーザによるシャッタボタン１２ａの撮像指示入力のタイミングから所定時間が経過した際に電子撮像部２に自動的に撮像された被写体存在画像Ｐ５を、静止画像Ｔとして記録媒体９に記録させることができる。
従って、ユーザはどのタイミングで被写体存在画像Ｐ５が撮像されるかを把握することができ、被写体領域の抽出のみならず、静止画像の取得も適切に行うことができる。

［実施形態２］
以下に、本発明の実施形態２について、図面を用いて具体的な態様を説明する。なお、実施形態２の撮像装置は、実施形態１の撮像装置１００と略同様の構成を有しており、主に異なる部分について説明する。

画像処理部８は、実施形態１と同様に、画像メモリ５に循環記憶された複数の画像フレーム複数の画像フレームに基づいて、背景内に被写体Ｓが存在するか否かを判定する判定部８ａを具備している。
判定部８ａは、具体的には、電子撮像部２によって順次撮像され、画像メモリ５に記憶された複数の画像フレームに基づいて、時系列が前後する画像フレームどうしの各々について所定の動体解析技術により動体検出を行う。そして、判定部８ａは、動体が検出されると、背景内に被写体Ｓが存在すると判定し、動体が検出されない場合には、背景内に被写体Ｓが存在しないと判定する。このように、判定部８ａは、背景内に被写体Ｓが存在する状態から存在しない状態に変化したか否かを判断する。
これにより、判定部８ａは、画像データ生成部４により生成された複数の画像フレームに基づいて、背景内に被写体Ｓが存在するか否かを判定する。

また、画像処理部８は、実施形態１と同様に、判定部８ａによる判定結果に基づいて、電子撮像部２により撮像された被写体領域抽出用の背景画像Ｐ６（図１０（ｂ）参照）及び被写体存在画像Ｐ７（図１０（ａ）参照）を画像メモリ５から取得する取得制御部８ｂを具備している。
取得制御部８ｂは、具体的には、判定部８ａによって被写体Ｓが存在する状態から存在しない状態に変化したと判断されるまでは、電子撮像部２により撮像された被写体存在画像Ｐ７の画像フレームの取得を、例えば、メモリ容量や取得期間に応じて指定された所定の取得終了タイミングまで行う。
また、取得制御部８ｂは、判定部８ａによって被写体Ｓが存在する状態から存在しない状態に変化したと判断されると、当該判断後に電子撮像部２により撮像された被写体Ｓの存在しない背景画像Ｐ６を取得する。
これにより、取得制御部８ｂは、判定部８ａによる判定結果に基づいて、画像データ生成部４により生成された被写体領域抽出用の背景画像Ｐ６及び被写体存在画像Ｐ７を画像メモリ５から取得する。

また、図８に示すように、撮像装置１００は、撮像装置本体部１０１に赤外線受信部１５を備えるとともに、リモート操作により所定の操作信号を赤外線通信により赤外線受信部１５に送信するリモコン１６を備えている。
そして、リモコン１６から送信され赤外線受信部１５で受信された所定の操作信号はＣＰＵ１３に入力されることとなる。

次に、撮像装置１００による被写体切り抜き処理について、図９を参照して説明する。
図９は、実施形態２の撮像装置１００による被写体切り抜き処理に係る動作の一例を示すフローチャートである。

図９に示すように、実施形態１と同様に、先ず、ＣＰＵ１３は、表示制御部１０に、ライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体抽出用画像の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１）。

そして、ＣＰＵ１３は、撮像制御部３に、フォーカスレンズの合焦位置を調整させて、ユーザによりリモコン１６からリモート操作による撮像指示操作がなされたか否かを判定する（ステップＳ２）。
ここで、撮像指示操作がなされたと判定されると（ステップＳ２；ＹＥＳ）、当該撮像指示操作のタイミングで、被写体抽出用画像の光学像を所定の撮像条件で、電子撮像部２により撮像させて、ＣＰＵ１３は、当該撮像により生成された所定期間分の複数の画像フレームを画像メモリ５に循環記憶させる（ステップＳ３）。
なお、ユーザによりリモコン１６からリモート操作による撮像指示操作がなされていないと判定されると（ステップＳ２；ＮＯ）、当該撮像指示操作されたと判定されるまで、ステップＳ２の判定処理を繰り返す。

そして、ＣＰＵ１３は、判定部８ａに、このとき画像メモリ５に循環記憶された複数の画像フレームに基づいて、背景内に被写体Ｓが存在するか否かを判定部８ａに判定させる（ステップＳ４）。具体的には、ＣＰＵ１３は、判定部８ａに、循環記憶された複数の画像フレームに基づいて、時系列が前後する画像フレームどうしの各々について所定の動体解析技術により動体検出を行わせる。そして、動体が検出されると、背景内に被写体Ｓが存在すると判定する一方で、動体が検出されない場合には、背景内に被写体Ｓが存在しないと判定する。このように、背景内に被写体Ｓが存在するか否かに応じて背景内に被写体Ｓが存在する状態から存在しない状態に変化したか否かを判断する。

ステップＳ４において、背景内に被写体Ｓが存在する状態から存在しない状態に変化したと判断された場合には（ステップＳ４；ＮＯ）、ＣＰＵ１３は、当該判断後の被写体Ｓの存在しない背景画像Ｐ６を電子撮像部２により撮像させ、取得制御部８ｂに、当該背景画像Ｐ６を取得させる（ステップＳ３１）。続けて、ＣＰＵ１３は、背景内に被写体Ｓが存在する状態から存在しない状態に変化したと判断されるまでの間に、電子撮像部２により撮像され循環記憶された画像フレームｆ１〜ｆｎから被写体存在画像Ｐ７を取得制御部８ｂに取得させる（ステップＳ３２）。一方、ステップＳ４において、背景内に被写体Ｓが存在する状態から存在しない状態に変化したと判断されない場合には（ステップＳ４；ＹＥＳ）、ＣＰＵ１３は、処理をステップＳ３に戻し、複数の画像フレームの循環記憶を行う（ステップＳ３）。
なお、ステップＳ３２以降の処理（図３参照）は、上記実施形態１と同様であり、その詳細な説明は、省略する。

以上のように、実施形態２の撮像装置１００によれば、画像データ生成部４により生成された複数の画像フレームに基づいて、背景内に被写体Ｓが存在するか否かを判定し、この判定結果に基づいて、画像データ生成部４により生成された被写体領域抽出用の背景画像Ｐ６及び被写体存在画像Ｐ７を画像メモリ５から取得する。具体的には、電子撮像部２により順次撮像された複数の画像フレームに基づいて、背景内に被写体Ｓが存在する状態から存在しない状態に変化したか否かを判断し、被写体Ｓが存在する状態から存在しない状態に変化したと判断されると、電子撮像部２によって撮像された背景内に被写体Ｓが存在しない一の背景画像Ｐ６を取得し、被写体Ｓが存在する状態から存在しない状態に変化したと判断されるまで、当該判断前に電子撮像部２によって撮像された少なくとも一の被写体存在画像Ｐ７を取得することができる。
従って、ユーザは被写体領域抽出用の背景画像Ｐ６と被写体存在画像Ｐ７を取得する際、当該背景画像Ｐ６の撮像と被写体存在画像Ｐ７の撮像の２回の手順を踏むことなく、一度撮像指示の操作を行うだけで背景画像Ｐ６と被写体存在画像Ｐ７を容易に取得することができ、これらの背景画像Ｐ６と被写体存在画像Ｐ７を用いて被写体領域の抽出を簡便に行うことができる。また、背景画像Ｐ６と被写体存在画像Ｐ７のうち、被写体存在画像Ｐ７の撮影を先に行うため、ユーザは被写体Ｓに焦点が合った被写体存在画像Ｐ７を取得することができ、適切に被写体領域の抽出を行うことができるようになる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。

例えば、上記実施形態にあっては、判定部８ａによる背景内に被写体Ｓが存在するか否かの判定にて、顔検出技術を利用しても良い。即ち、電子撮像部２より撮像された複数の画像フレームについて顔検出処理を行って、何れかの画像フレームから人の顔が検出された場合に、動体としての人を検出したと判定しても良い。また、特定の人物の顔の認証を行う顔認証技術を利用しても良い。即ち、予め特定の人物の顔の顔データをデータベースに記憶しておき、電子撮像部２より撮像された複数の画像フレームについて顔認識処理を行って、何れかの画像フレームから当該データベースに記憶された顔データと一致する顔データが検出された場合に、動体として当該特定の人を検出したと判定しても良い。

また、上記実施形態及び変形例にあっては、判定部８ａにより、画像データ生成部４により生成された複数の画像フレームに基づいて、背景内に被写体Ｓが存在するか否かを判定し、この判定結果に基づいて、画像データ生成部４により生成された被写体領域抽出用の背景画像及び被写体存在画像を画像メモリ５から取得するようにしたが、判定部８ａの判定結果に基づいて、撮像制御部３により被写体存在画像を撮像するための撮像又は背景画像を撮像するための撮像を電子撮像部２に行わせるようにしても良い。即ち、判定部８ａの判定結果に基づいて、画像データ生成部４によって生成された画像フレームとは別に、被写体存在画像に適した撮像条件での撮像又は背景画像の撮像に適した撮像条件での撮像を行うように撮像制御部３によって電子撮像部２を制御するようにしても良い。

また、上記実施形態１の変形例にあっては、セルフタイマの開始タイミングは、シャッタボタン１２ａの押下直後に限らず、判定部８ａによって、被写体Ｓが存在すると判定された直後でも良い。

また、上記実施形態にあっては、判定手段、取得手段、被写体抽出手段としての機能を、ＣＰＵ１３の制御下にて、画像処理部８が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、判定処理ルーチン、取得制御処理ルーチン、被写体抽出ルーチンを含むプログラムを記憶しておく。そして、判定処理ルーチンによりＣＰＵ１３を、画像データ生成部４により生成された複数の画像フレームに基づいて、背景内に被写体Ｓが存在するか否かを判定する判定手段として機能させるようにしても良い。また、取得処理ルーチンによりＣＰＵ１３を、判定処理ルーチンによる判定結果に基づいて、電子撮像部２により撮像された被写体領域抽出用の背景画像及び被写体存在画像を画像メモリ５から取得する取得手段として機能させるようにしても良い。また、被写体抽出ルーチンによりＣＰＵ１３を、取得処理ルーチンにより取得された背景画像と被写体存在画像との間で対応する各画素の差分情報に基づいて、当該背景画像及び被写体存在画像のうち、背景内に被写体Ｓが存在する被写体存在画像から被写体Ｓが含まれる被写体領域を抽出する被写体抽出手段として機能させるようにしても良い。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
４ 画像データ生成部
８ 画像処理部
８ａ 判定部
８ｂ 取得制御部
８ｃ 被写体抽出部
８ｄ 位置情報生成部
８ｅ 画像合成部
１１ 表示部
１２ａ 選択決定ボタン
１３ ＣＰＵ
１４ 記録制御部
１５ 赤外線受信部
１６ リモコン

Claims (4)

1. 撮像手段と、
   この撮像手段により順次撮像される複数の画像を循環記録する記録手段と、
   この記録手段により互いに変化の無い複数の画像が循環記録されている間に、これら複数の画像内において変化する画像領域全体の有無を順次判定する判定手段と、
   この判定手段による判定の結果、前記変化する画像領域全体があると判定されると、その判定以前に撮像された変化の無い画像とその判定以後に順次撮像される前記変化する画像領域全体を含む複数の画像とを前記記録手段の記録容量に達するか若しくは所定の時間が経過するまで前記記録手段に記録するよう制御する記録制御手段と、
   この記録制御手段によって記録された前記変化の無い画像と前記変化する画像領域全体を含む複数の画像との間で、対応する各画素の差分情報に基づいて、前記変化する画像領域を含む複数の画像から前記変化のある画像領域全体を抽出する被写体抽出手段と、
   を備えることを特徴とする撮像装置。
2. 前記変化の無い画像は、背景画像であり、
   前記変化する画像領域全体を含む複数の画像は、複数の被写体存在画像であることを特徴とする請求項１記載の撮像装置。
3. 画像を撮像する撮像手段と、前記撮像手段により順次撮像される複数の画像を循環記録する記録手段と、を備える撮像装置の画像処理方法であって、
   前記記録手段により互いに変化の無い複数の画像が循環記録されている間に、これら複数の画像内において変化する画像領域全体の有無を順次判定する判定ステップと、
   この判定ステップによる判定の結果、前記変化する画像領域全体があると判定されると、その判定以前に撮像された変化の無い画像とその判定以後に順次撮像される前記変化する画像領域全体を含む複数の画像とを前記記録手段の記録容量に達するか若しくは所定の時間が経過するまで前記記録手段に記録するよう制御する記録制御ステップと、
   この記録制御ステップによって記録された前記変化の無い画像と前記変化する画像領域全体を含む複数の画像との間で、対応する各画素の差分情報に基づいて、前記変化する画像領域を含む複数の画像から前記変化のある画像領域全体を抽出する被写体抽出ステップと、
   を含むことを特徴とする画像処理方法。
4. 撮像手段、撮像手段により順次撮像される複数の画像を循環記録する記録手段、を備える撮像装置のコンピュータを、
   前記記録手段により互いに変化の無い複数の画像が循環記録されている間に、これら複数の画像内において変化する画像領域全体の有無を順次判定する判定手段、
   この判定手段による判定の結果、前記変化する画像領域全体があると判定されると、その判定以前に撮像された変化の無い画像とその判定以後に順次撮像される前記変化する画像領域全体を含む複数の画像とを前記記録手段の記録容量に達するか若しくは所定の時間が経過するまで前記記録手段に記録するよう制御する記録制御手段、
   この記録制御手段によって記録された前記変化の無い画像と前記変化する画像領域全体を含む複数の画像との間で、対応する各画素の差分情報に基づいて、前記変化する画像領域を含む複数の画像から前記変化のある画像領域全体を抽出する被写体抽出手段、
   として機能させることを特徴とするプログラム。

Images