JP5494386B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

特許文献１〜３には、画像中の焦点の合っている部分を被写体とし、焦点の合っていない部分を背景とすると、画像から被写体を示す部分を抽出する場合に、背景のみの画像と被写体を含む画像との各画素値の差を二乗した値若しくは各画素値の差の絶対値に基づいて、被写体部分を特定する技術が開示されている。各画素値の差の二乗値を用いて被写体部分を特定する手法は、影等を被写体と誤認してしまうような誤認識を避けることに重点をおいた手法であり、各画素値の差の絶対値を用いて被写体部分を特定する手法は、輪郭線を正確にトレースすることに重点をおいた手法である。

特許第４４１５１９８号公報 特開２０１０−６７１２５号公報 特開２００９−１９４５３０号公報

特許文献１〜３に開示された技術では、各画素値の差の二乗値、若しくは各画素値の差の絶対値のどちらか一方にのみ基づいて被写体部分を特定するため、誤認識が多く輪郭線を正確にトレースすることができなかった。

本発明は、上述のような事情に鑑みてなされたものであり、より高精度に被写体を抽出することのできる、画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することを目的としている。

上記目的を達成するため、本発明の第一の観点に係る画像処理装置は、
被写体と背景とが撮像された第１画像と、前記第１画像の背景のみが撮像された第２画像と、を取得する画像取得手段と、
前記第１画像と前記第２画像との対応する各画素について、画素値の差分絶対値の和を算出して差分画像を生成する差分画像生成手段と、
前記第１画像と前記第２画像との対応する各画素について、画素値の差分の二乗和である差分二乗和値を算出して差分二乗画像を生成する差分二乗画像生成手段と、
前記差分画像と前記差分二乗画像とに二値化処理を行い、前記差分画像に対応する第１の二値画像と、前記差分二乗画像に対応する第２の二値画像と、を生成する二値画像生成手段と、
前記第２画像の各画素について、その画素を含むブロック内の画素値のばらつきの程度を示す統計値を求め、当該統計値をその画素の画素値とする統計画像を生成する統計画像生成手段と、
前記統計画像の画素値に基づいて、前記第１の二値画像と前記第２の二値画像とを画素ごとに所定の割合で組み合わせた合成画像を生成する二値画像合成手段と、
前記第１画像に対して前記二値画像合成手段で生成した合成画像によるマスク処理を施して、前記第１画像から抽出すべき対象を抽出する対象抽出手段と、
を備えることを特徴とする。

上記画像処理装置において、
前記二値画像合成手段は、
前記統計画像生成手段で生成した統計画像の各画素について、その画素値と、予め記憶されている閾値とを比較し、前記画素値が前記閾値未満である場合は、前記第１の二値画像の画素値の割合を前記第２の二値画像の画素値の割合よりも大きくし、前記画素値が前記閾値以上である場合は、前記第２の二値画像の画素値の割合を前記第１の二値画像の画素値の割合よりも大きくして、一の画素中で前記第１の二値画像の画素値と前記第２の二値画像の画素値とを組み合わせ、前記合成画像を生成する、
ことが望ましい。

上記画像処理装置において、
前記二値画像合成手段は、
前記統計画像生成手段で生成した統計画像の各画素について、その画素値と、予め記憶されている閾値とを比較し、前記画素値が前記閾値未満である場合は、前記第１の二値画像の画素値を当該画素の画素値とし、前記画素値が前記閾値以上である場合は、前記第２の二値画像の画素値を当該画素の画素値とすることにより、画素単位で前記第１の二値画像と前記第２の二値画像とを合成する、
ことが望ましい。

上記画像処理装置において、
前記第２画像を複数のブロックに分割し、ブロックごとの閾値を取得する閾値取得手段をさらに備え、この場合、
前記二値画像合成手段は、
前記統計画像生成手段で生成した統計画像の各画素の画素値と、その画素が含まれるブロックに対応する、前記閾値取得手段で取得した閾値と、を比較する、
ことが望ましい。

上記画像処理装置において、
前記統計画像生成手段は、
前記第２画像の各画素について、その画素を含むブロック内の画素値に対する分散値を求め、当該分散値をその画素の画素値とする統計画像を生成する、
ことが望ましい。

上記目的を達成するため、本発明の第二の観点に係る撮像装置は、
被写体と背景とを含む第１画像と、前記第１画像の被写体を除く画像である第２画像とを撮像により生成する撮像手段と、
前記撮像手段が生成した第１画像と第２画像との対応する各画素について、画素値の差分絶対値の和を算出して差分画像を生成する差分画像生成手段と、
前記第１画像と前記第２画像との対応する各画素について、画素値の差分の二乗和である差分二乗和値を算出して差分二乗画像を生成する差分二乗画像生成手段と、
前記差分画像と前記差分二乗画像とに二値化処理を行い、前記差分画像に対応する第１の二値画像と、前記差分二乗画像に対応する第２の二値画像と、を生成する二値画像生成手段と、
前記第２画像の各画素について、その画素を含むブロック内の画素値のばらつきの程度を示す統計値を求め、当該統計値をその画素の画素値とする統計画像を生成する統計画像生成手段と、
前記統計画像の画素値に基づいて、前記第１の二値画像と前記第２の二値画像とを画素ごとに所定の割合で組み合わせた画像を生成する二値画像合成手段と、
前記第１画像に対して前記二値画像合成手段で生成した合成画像によるマスク処理を施して、前記第１画像から抽出すべき対象を抽出する対象抽出手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明の第三の観点に係る画像処理方法は、
画像処理装置の画像処理方法であって、
被写体と背景とが撮像された第１画像と、前記第１画像の背景のみが撮像された第２画像と、を取得する画像取得ステップと、
前記第１画像と前記第２画像との対応する各画素について、画素値の差分絶対値の和を算出して差分画像を生成する差分画像生成ステップと、
前記第１画像と前記第２画像との対応する各画素について、画素値の差分の二乗和である差分二乗和値を算出して差分二乗画像を生成する差分二乗画像生成ステップと、
前記差分画像と前記差分二乗画像とに二値化処理を行い、前記差分画像に対応する第１の二値画像と、前記差分二乗画像に対応する第２の二値画像と、を生成する二値画像生成ステップと、
前記第２画像の各画素について、その画素を含むブロック内の画素値のばらつきの程度を示す統計値を求め、当該統計値をその画素の画素値とする統計画像を生成する統計画像生成ステップと、
前記統計画像の画素値に基づいて、前記第１の二値画像と前記第２の二値画像とを画素ごとに所定の割合で組み合わせた合成画像を生成する二値画像合成ステップと、
前記第１画像に対して前記二値画像合成ステップで生成した合成画像によるマスク処理を施して、前記第１画像から抽出すべき対象を抽出する対象抽出ステップと、
を備えることを特徴とする。

上記目的を達成するため、本発明の第四の観点に係るプログラムは、
画像処理装置を制御するコンピュータを、
被写体と背景とが撮像された第１画像と、前記第１画像の背景のみが撮像された第２画像と、を取得する画像取得手段、
前記第１画像と前記第２画像との対応する各画素について、画素値の差分絶対値の和を算出して差分画像を生成する差分画像生成手段、
前記第１画像と前記第２画像との対応する各画素について、画素値の差分の二乗和である差分二乗和値を算出して差分二乗画像を生成する差分二乗画像生成手段、
前記差分画像と前記差分二乗画像とに二値化処理を行い、前記差分画像に対応する第１の二値画像と、前記差分二乗画像に対応する第２の二値画像と、を生成する二値画像生成手段、
前記第２画像の各画素について、その画素を含むブロック内の画素値のばらつきの程度を示す統計値を求め、当該統計値をその画素の画素値とする統計画像を生成する統計画像生成手段、
前記統計画像の画素値に基づいて、前記第１の二値画像と前記第２の二値画像とを画素ごとに所定の割合で組み合わせた合成画像を生成する二値画像合成手段、
前記第１画像に対して前記二値画像合成手段で生成した合成画像によるマスク処理を施して、前記第１画像から抽出すべき対象を抽出する対象抽出手段、
として機能させることを特徴とする。

本発明によれば、より高精度に被写体を抽出することができる。

本発明の実施形態に係る画像処理装置を備えたデジタルスチルカメラの構成を示すブロック図である。 撮像された画像から被写体を抽出する場合に、制御部によって実現される機能を示した機能ブロック図である。 本発明の実施形態に係る画像処理装置を備えたデジタルスチルカメラの、被写体抽出処理の一例を表すフローチャートである。 （Ａ）、（Ｂ）は、被写体抽出処理における抽出すべき対象を含む画像と背景のみの画像の一例を示す図である。 背景低分散用αマップ作成処理の一例を表すフローチャートである。 ヒストグラムを正規分布関数の線形結合のモデルに近似したものを示す図である。 背景高分散用αマップ作成処理の一例を表すフローチャートである。 画素分散度マップ作成処理の一例を示す図である。 被写体抽出処理において抽出した対象を単一色背景画像と合成した画像の一例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。本実施形態では、本発明をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。なお、以下に示すデジタルカメラの構成は、被写体抽出機能を実現するための構成であり、デジタルカメラとしての基本的な機能や種々の付加機能に用いられる構成は備えられているものとする。

デジタルカメラ１００は、図１に示すように、撮像部１１０と、データ処理部１２０と、インターフェース部１３０と、から構成されている。

撮像部１１０は、光学装置１１２や、イメージセンサ１１４等から構成され、デジタルカメラ１００における撮像動作を行う。

光学装置１１２は、レンズ、絞り、シャッタ等から構成される。光学装置１１２により、入射光が集光されるとともに、画角やピント等の光学的要素の調整が行われる。

イメージセンサ１１４は、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化物半導体）等から構成され、光学装置１１２によって集光された入射光に応じた電気信号を生成する。イメージセンサ１１４は、生成した電気信号を、アナログ信号として出力する。

データ処理部１２０は、撮像部１１０による撮像動作によって生成された電気信号を処理して、撮像画像を示すデジタルデータを生成する。また、データ処理部１２０は、撮像画像に対する画像処理等を行う。データ処理部１２０は、制御部１２１と、画像処理部１２２と、画像メモリ１２３と、記憶部１２４と、外部記憶部１２５と、から構成される。

制御部１２１は、ＣＰＵ（Central Processing Unit：中央演算処理装置）等のプロセッサや、ＲＡＭ（Random Access Memory）等の主記憶装置（メモリ）等から構成される。制御部１２１は、後述する記憶部１２４等に格納されているプログラムに従って動作し、デジタルカメラ１００の動作に必要な各機能を提供する。

画像処理部１２２は、ＡＤＣ（Analog Digital Converter：アナログ−デジタル変換器）と、バッファメモリと、画像処理用のプロセッサ（いわゆる、画像処理エンジン）、ＹＵＶ画像生成部等から構成される。ＡＤＣは、イメージセンサ１１４から出力されたアナログ電気信号を、デジタル信号に変換してバッファメモリに格納する。そして、画像処理エンジンが、バッファされたデジタル信号に基づいて、撮像画像を示すデジタルデータを生成する。ＹＵＶ画像生成部は、生成されたデジタルデータをＹＵＶ（輝度信号（Ｙ）、輝度信号と青色成分の差（Ｕ）及び輝度信号と赤色成分の差（Ｖ））画像等に変換する。また、画像処理部１２２は、撮像された被写体を含む画像の半透過画像を生成する。

画像メモリ１２３は、ＲＡＭやフラッシュメモリ等の記憶装置から構成され、画像処理部１２２によって生成されたＹＵＶ画像や、制御部１２１によって処理される画像データ等を一時的に格納する。

記憶部１２４は、ＲＯＭ（Read Only Memory）やフラッシュメモリ等の記憶装置から構成され、デジタルカメラ１００の動作に必要なプログラムやデータ等が格納される。本実施形態では、制御部１２１が動作するためのプログラムや、処理に必要な閾値、単一色背景画像等のデータが格納されている。

外部記憶部１２５は、ＳＤカード等のデジタルカメラ１００に着脱可能な記憶装置から構成される。デジタルカメラ１００で撮像した画像等が、外部記憶部１２５に格納される。

インターフェース部１３０は、デジタルカメラ１００と、その使用者または外部装置とのインターフェースに係る構成であり、表示部１３２と、外部インターフェース部１３４と、操作部１３６と、から構成される。

表示部１３２は、液晶表示画面等から構成され、デジタルカメラ１００を操作するために必要な各種画面や、モニタ時のライブビュー画像、撮像された撮像画像、等を表示出力する。本実施形態では、デジタルカメラ１００の使用者が、操作部１３６を操作し、この操作に応じて撮像画像等の表示出力が行われる。

外部インターフェース部１３４は、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子等から構成され、ケーブル等を介して、外部のコンピュータ装置への撮像画像の出力や、外部のモニタへの撮像画像の表示出力等を行う。

操作部１３６は、デジタルカメラ１００の外面上に構成されている各種ボタン等によって構成される。操作部１３６は、デジタルカメラ１００の使用者による操作に応じた入力信号を生成して、制御部１２１に入力する。操作部１３６を構成するボタンは、例えば撮影動作を指示するためのシャッタボタンや、デジタルカメラ１００のもつ動作モードを指定するためのモードボタン、各種設定を行うための機能ボタン等である。

本実施形態では、制御部１２１が、記憶部１２４に格納されているプログラムを実行することで、画像中の焦点の合っている部分（被写体）を抽出する処理が実現される。この場合に制御部１２１によって実現される機能を、図２を参照して説明する。

制御部１２１は、動作モード処理部２１０、撮像制御部２１１、画像位置合わせ処理部２１２、背景低分散用αマップ作成部２１３、背景高分散用αマップ作成部２１４、画素分散度マップ作成部２１５、差分抽出マップ生成部２１６、合成画像生成部２１７、出力処理部２１８、等として機能する。

動作モード処理部２１０は、表示部１３２との協働により、デジタルカメラ１００の使用者にデジタルカメラ１００が有する各種動作モードを指定させるための画面表示や、指定された動作モードごとの設定画面表示等を行う。また、動作モード処理部２１０は、操作部１３６との協働により、使用者が指定した動作モードを判別し、当該動作モードの実行に必要なプログラムやデータ等を記憶部１２４から読み出す。さらに、動作モード処理部２１０は、画像処理部１２２で生成された半透過の画像を取得し、デジタルカメラ１００の使用者が背景のみの画像を撮像する際の基準画像として表示部１３２に表示する。

本実施形態では、画像中の焦点の合っている部分（被写体）を抽出する機能に係る動作モード（被写体切り抜きモード）が使用者によって指定されているものとする。そして、以下に説明する制御部１２１の各機能構成は、被写体切り抜きモードの指定に応じて、動作モード処理部２１０が読み出したプログラムを実行することで実現される機能構成である。

撮像制御部２１１は、操作部１３６からの入力に応じて撮像部１１０を制御することで撮像動作を実行させる。本実施形態では、図４（Ａ）及び（Ｂ）に示すような、焦点の合っている部分（被写体）と焦点の合っていない部分（背景）とを含む画像Ａと、画像Ａの被写体を除く部分、つまり背景のみの画像Ｂとが、使用者により撮像される。撮像された画像は、図２に示す画像処理部１２２による処理を経て、画像メモリ１２３に格納される。

画像位置合わせ処理部２１２は、画像メモリ１２３に格納された、被写体を含む画像Ａ及び背景のみの画像Ｂを読み込む。そして画像位置合わせ処理部２１２は、２画像間の特徴点の位置が同じになるように、一方の画像を射影変換し、位置ずれを補正する。本実施形態では、被写体を含む画像を射影変換する。続いて画像位置合わせ処理部２１２は、位置を合わせた画像Ａ、Ｂを、制御部１２１内の主記憶装置（メモリ）に格納する。

背景低分散用αマップ作成部２１３は、画像位置合わせ処理部２１２で位置が合わせされた被写体を含む画像（画像Ａ）と、背景のみの画像（画像Ｂ）とを主記憶装置から読み込む。そして、両画像の各画素について、対応する画素同士の色成分（Ｙ、Ｕ、Ｖ）の差分絶対値和をとり、差分評価マップ（画像Ｃ）を作成する（詳細については後述する）。その後、後述の処理により、背景低分散用αマップ（画像Ｄ）を生成する。

背景高分散用αマップ作成部２１４は、画像位置合わせ処理部２１２で位置が合わせされた被写体を含む画像（画像Ａ）と、背景のみの画像（画像Ｂ）とを主記憶装置から読み込む。そして、両画像の各画素について、対応する画素同士の色成分（Ｙ、Ｕ、Ｖ）の差分二乗和をとり、差分評価マップ（画像Ｅ）を作成する（詳細については後述する）。その後、後述の処理により、背景高分散用αマップ（画像Ｆ）を生成する。

画素分散度マップ作成部２１５は、主記憶装置に格納された背景のみの画像（画像Ｂ）を読み込み、この画像の各画素に対して、その画素を中心とする小ブロックの画像中の分散を求める。そして、求めた分散値をその画素の画素値とする画素分散度マップ（画像Ｘ）を生成する。本実施形態では、画像Ｂの各画素に対して、その画素を中心とする５×５画素のブロックについて画素値の分散を求め、求めた分散値をその画素の画素値として画像Ｘを生成する。

差分抽出マップ生成部２１６は、背景低分散用αマップ作成部２１３で生成した画像Ｄと、背景高分散用αマップ作成部２１４で生成した画像Ｆとを、画素分散度マップ作成部２１５で生成した画像Ｘに基づいて合成し、被写体抽出に用いる差分抽出マップを生成する（詳細は後述する）。そして、差分抽出マップ生成部２１６は、生成した差分抽出マップの合成境界を目立たなくするようにローパスフィルタを施し、マスク画像である最終差分抽出マップ（画像Ｚ）を生成する。

合成画像生成部２１７は、差分抽出マップ生成部２１６で生成した画像Ｚをマスク画像として、主記憶装置に格納されている被写体を含む画像（画像Ａ）に対してマスク処理を施し、被写体部分を抽出する。そして、合成画像生成部２１７は、抽出した被写体部分を、デジタルカメラ１００の使用者が選択した単一色背景画像と合成して、合成画像（画像Ｐ）を生成する。

出力処理部２１８は、操作部１３６からの入力信号に基づき、合成画像生成部２１７で生成した画像Ｐや差分抽出マップ生成部２１６で生成した画像Ｚを、表示部１３２や外部記憶部１２５へ出力する。また、出力処理部２１８は、操作部１３６からの入力信号に基づき、画像Ｐや画像Ｚを、外部インターフェース部１３４を介して外部装置等へ出力する。

以上が、被写体切り抜きモードの動作時に制御部１２１によって実現される機能である。

このような構成のデジタルカメラ１００による動作を以下に説明する。ここでは、上述した被写体切り抜きモードで撮像を行う際のデジタルカメラ１００の動作を説明する。被写体切り抜きモードが選択された際に、デジタルカメラ１００で実行される被写体抽出処理を、図３に示すフローチャートを用いて説明する。この被写体抽出処理は、デジタルカメラ１００の使用者が操作部１３６のモードボタンを操作して被写体切り抜きモードが選択されることを契機に、記憶部１２４からプログラムが読み込まれて開始される。このとき、被写体抽出処理に必要な閾値等のデータもプログラムとともに読み込まれる。読み込んだデータ等は、制御部１２１内の主記憶装置に格納される。

処理が開始されると、動作モード処理部２１０が、被写体抽出処理における設定画面を生成して表示部１３２に表示する（ステップＳ１００）。ここでは、デジタルカメラ１００の使用者に、抽出した被写体を合成する単一色背景画像を、選択させるための画面等が表示される。

続いて動作モード処理部２１０は、切り抜きたい被写体を含む画像を撮像するよう、デジタルカメラ１００の使用者に促すメッセージを、ライブビュー画像ともに表示部１３２に表示する（ステップＳ１０１）。

デジタルカメラ１００の使用者は、操作部１３６に含まれるシャッタボタンを押下する。この場合、シャッタボタンの押下に応じた信号が、操作部１３６から制御部１２１に入力されると、撮像制御部２１１は、シャッタボタンが押下されたと判別する。

シャッタボタンが押下されたと判別すると、撮像制御部２１１は、撮像部１１０の各部を制御して図４（Ａ）に示すような、抽出する被写体を含む画像Ａを撮像する（ステップＳ１０２）。

使用者がシャッタ操作を終了すると、撮像制御部２１１が撮像動作の終了を撮像部１１０に指示する。これにより、撮像動作が終了し、撮像された画像が、画像処理部１２２での処理を経て画像メモリ１２３に格納される（ステップＳ１０３）。ここで、画像処理部１２２は、撮像された被写体を含む画像の半透過画像Ｇを生成する。

続いて、動作モード処理部２１０は、画像処理部１２２で生成された半透過画像Ｇと、ライブビュー画像とを表示部１３２に重畳表示する（ステップＳ１０４）。そして、動作モード処理部２１０は、表示した半透過画像と重なるように背景のみの画像を撮像するよう、デジタルカメラ１００の使用者に促すメッセージを表示部１３２に表示する（ステップＳ１０５）。

デジタルカメラ１００の使用者は、ライブビュー画像と半透過画像の背景部分が重なったところで、操作部１３６に含まれるシャッタボタンを押下する。シャッタボタンが押下されたと判別すると、撮像制御部２１１は、撮像部１１０の各部を制御して、図４（Ｂ）に示すような、背景のみの画像Ｂを撮像する（ステップＳ１０６）。

撮像された画像は、画像処理部１２２での処理を経て画像メモリ１２３に格納される（ステップＳ１０７）。

次に、画像位置合わせ処理部２１２が、画像メモリ１２３に格納された、被写体を含む画像Ａと、背景のみの画像Ｂとを読み込み、２画像間の特徴点の位置が同じになるように、被写体を含む画像を射影変換して位置ずれを補正する（ステップＳ１０８）。そして、制御部１２１の主記憶装置に両画像が格納される。

続いて、背景低分散用αマップ作成部２１３は、主記憶装置に格納された画像を用いて、背景低分散用αマップを作成する（ステップＳ２００）。この動作を、図５を参照して説明する。

背景低分散用αマップ作成部２１３は、画像位置合わせ処理部２１２が主記憶装置に格納した被写体を含む画像（画像Ａ）と、背景のみの画像（画像Ｂ）とを読み込み、画像Ａと画像Ｂとの各画素につき、下式（１）のように、色成分の差分絶対値和を求め、差分評価マップ（画像Ｃ）を作成する（ステップＳ２０１）。

ここで、配列Ｃ[ｘ,ｙ]は、差分評価マップの座標（ｘ,ｙ）における画素値を表す。また、Ｔ∈｛Ｙ，Ｕ，Ｖ｝は、色成分を表す添字とし、Ａ_Ｔ[ｘ,ｙ]及びＢ_Ｔ[ｘ,ｙ]は、画像Ａ及び画像Ｂの座標（ｘ,ｙ）における各色成分を表す。

次に、背景低分散用αマップ作成部２１３は、作成した画像Ｃの各画素値を横軸、各画素値に対する画素の出現数を縦軸にとるヒストグラムを作成して閾値Ｔｈを求め、求めた閾値Ｔｈと画像Ｃとの各画素の画素値（輝度）を比較して二値化する（ステップＳ２０２）。閾値Ｔｈは、作成したヒストグラムを、図６に示すように、被写体部分と背景部分とを表す２つの正規分布関数の線形結合のモデルに近似し、その２つの正規分布関数の交点とする。

図５に戻り、背景低分散用αマップ作成部２１３は、二値化した画像Ｃに対し、クロージング及びオープニングを行い、ノイズ成分を除去する（ステップＳ２０３）。

次に、背景低分散用αマップ作成部２１３は、ノイズ成分を除去した画像について、同じ画素値の画素が連続している領域には同じ番号を振り、離れている領域には別の番号を振るラベリング処理を行う。そして、ラベリングした領域のうち、最大面積を有する領域を、背景低分散用αマップ（画像Ｄ）として取得する（ステップＳ２０４）。

以上の動作により、背景低分散用αマップ作成部２１３は、背景低分散用αマップ（画像Ｄ）を生成し、生成した画像Ｄを、制御部１２１内の主記憶装置に格納し、図３の背景低分散用αマップ
作成処理（ステップＳ２００）を終了する。

背景高分散用αマップ作成部２１４は、画像位置合わせ処理部２１２が主記憶装置に格納した被写体を含む画像（画像Ａ）と、背景のみの画像（画像Ｂ）とを読み込み、背景高分散用αマップを作成する（ステップＳ３００）。この動作を、図７を参照して説明する。

背景高分散用αマップ作成部２１４は、画像位置合わせ処理部２１２が位置合わせを行い、主記憶装置に格納した、被写体を含む画像（画像Ａ）と、背景のみの画像（画像Ｂ）とを読み込み、画像Ａと画像Ｂとの各画素につき、下式（２）のように、色成分の差分二乗和を求め、差分評価マップ（画像Ｅ）を作成する（ステップＳ３０１）。

ここで、配列Ｅ[ｘ,ｙ]は、差分評価マップの座標（ｘ,ｙ）における画素値を表す。また、Ｔ∈｛Ｙ，Ｕ，Ｖ｝は、色成分を表す添字とし、Ａ_Ｔ[ｘ,ｙ]及びＢ_Ｔ[ｘ,ｙ]は、画像Ａ及び画像Ｂの座標（ｘ,ｙ）における各色成分を表す。

そして、背景高分散用αマップ作成部２１４は、背景低分散用αマップ作成処理のステップＳ２０２の処理と同様に、作成した画像Ｅの各画素値を横軸、各画素値に対する画素の出現数を縦軸にとるヒストグラムを作成して閾値を求め、求められた閾値を基準に、画像Ｅを二値化する（ステップＳ３０２）。

次に、背景高分散用αマップ作成部２１４は、背景低分散用αマップ作成処理のステップＳ２０３とステップＳ２０４の処理と同様に、二値化した画像Ｅに対しクロージング及びオープニングを行うことでノイズ成分を除去し（ステップＳ３０３）、続いてラベリング処理により背景高分散用αマップ（画像Ｆ）を作成する（ステップＳ３０４）。

以上の動作により、背景高分散用αマップ作成部２１４は、背景高分散用αマップ（画像Ｆ）を生成し、生成した画像Ｆを、制御部１２１内の主記憶装置に格納し、図３の背景高分散用αマップ作成処理（ステップＳ３００）を終了する。

図３に戻り、画素分散度マップ作成部２１５は、画像位置合わせ処理部２１２が主記憶装置に格納した背景のみの画像（画像Ｂ）を読み込み、画像Ｂの各画素に対して、各画素を中心とした５×５画素のブロックにおける分散値を求める。そして、求めた分散値をその画素の画素値とする画素分散度マップ（画像Ｘ）を生成する（ステップＳ１０９）。

画像Ｘを生成する処理について、具体的に説明する。図８に示すように、Ｍ×Ｎ画素の画像Ｂにおける座標（ｉ，ｊ）の画素値をｆ（ｉ，ｊ）とすると、座標（ｐ，ｑ）を中心とした５×５画素のブロックにおける、平均値μ及び分散値σは、下式（３）及び（４）により求めることができる。

画素分散度マップ作成部２１５は、ｐ及びｑの値をそれぞれインクリメントさせ、画像Ｂの各座標（各画素）につき、分散σの値を求め、求めた分散σ値を座標（ｐ、ｑ）の画素値とする画像Ｘを生成する。

次に、図３に示すように、差分抽出マップ生成部２１６は、背景低分散用αマップ作成部２１３で生成した画像Ｄと、背景高分散用αマップ作成部２１４で生成した画像Ｆとを、画素分散度マップ作成部２１５で生成した画像Ｘに基づいて合成し、被写体抽出に用いる差分抽出マップを生成する（ステップＳ１１０）。

具体的には、差分抽出マップ生成部２１６は、画素分散度マップ作成部２１５で生成した画像Ｘの各画素について、画素値と、被写体抽出処理を開始した際に記憶部１２４から読み込んだ閾値とを比較する。そして、画素値が閾値未満である場合には、画像Ｄの画素値をその画素の画素値として採用し、画素値が閾値以上である場合には、画像Ｆの画素値をその画素の画素値として採用し、各画素の画素値を構成する差分抽出マップを生成する。

画像Ｘの画素値が閾値未満であることは、背景画像（画像Ｂ）の分散が小さい、つまり画像Ｂにおけるその画素周辺の色のばらつきが少ないことを表す。これに対し、画素値が閾値以上であることは、背景画像（画像Ｂ）の分散が大きい、つまり画像Ｂのその画素周辺の色のばらつきが多いことを表す。

画像Ｘの画素値が閾値未満である場合（画像Ｂの分散が低い場合）に、画像Ｄの画素値を採用する理由について説明する。画像Ｂの分散が低い場合には、画像Ａと画像Ｂとの位置合わせずれがあったとしても、色のばらつきが少ないため、両画像の背景箇所同士の差分は零に近い値となる。したがって、図６における被写体部分と背景部分とを示す２つの正規分布関数の分離度が、画像Ｂの分散が高い場合と比較して大きくなるため、背景と被写体とを明確に分離しつつ、輪郭のトレース性をよくすることができる。このため、画像Ｂの分散が低い場合は、画像Ｄの画素値を採用する。

次に、画像Ｘの画素値が閾値以上である場合（画像Ｂの分散が高い場合）に、画像Ｆの画素値を採用する理由について説明する。画像Ｂの分散が高い場合には、画像Ａと画像Ｂとの位置合わせずれがあった場合に、色のばらつきが多いことから、両画像の背景箇所同士の差分は、様々な差分値として現れてしまう。したがって、図６における被写体部分と背景部分とを示す２つの正規分布関数の分離度が画像Ｂの分散が低い場合と比較して小さくなる。このため、背景と被写体とを精度よく分離することができない。そこで、輪郭のトレース性をよくすることよりも、背景と被写体の分離性をよくすることに重点を置き、差分二乗和によって分離性を強化した画像Ｆを採用する。

図３における動作の説明に戻る。ステップＳ１１０で差分抽出マップを生成後、差分抽出マップ
生成部２１６は、生成した差分抽出マップの合成境界を目立たなくするため、ローパスフィルタを施し、最終差分抽出マップ（画像Ｚ）を生成する（ステップＳ１１１）。

合成画像生成部２１７は、生成した画像Ｚをマスク画像として、画像位置合わせ処理部２１２が主記憶装置に格納した被写体を含む画像（画像Ａ）に対してマスク処理を施し、被写体部分を抽出する（ステップＳ１１２）。

次に合成画像生成部２１７は、抽出した被写体を、デジタルカメラ１００の使用者が選択した単一色背景画像と合成し、図９に示すような合成画像（画像Ｐ）を生成する（ステップＳ１１３）。

図３に戻り、画像Ｐを生成すると、合成画像生成部２１７は、その旨を出力処理部２１８に通知する。この場合、出力処理部２１８は、所定の出力確認画面を生成して表示部１３２に表示する（ステップＳ１１４）。

具体的には、出力処理部２１８は、生成した画像Ｐとともに、画像Ｐや画像Ｚの出力方法をデジタルカメラ１００の使用者に選択させる画面を生成して、表示部１３２に表示する。出力方法としては、ＳＤカード（外部記憶装置１２６）への出力や、外部インターフェース部１３４を介した外部装置への出力等がある。出力処理部２１８は、これらの出力方法を選択可能に表示する。

デジタルカメラ１００の使用者は、操作部１３６を操作し、所望する出力方法を選択する。出力処理部２１８は、使用者によって選択された出力方法に応じて、画像Ｐや画像Ｚを出力し（ステップＳ１１５）、処理を終了する。

以上説明したように、本実施形態に係る被写体切り抜きモードが実行されると、制御部１２１は、被写体を含む画像（画像Ａ）と背景のみの画像（画像Ｂ）との差分画像（画像Ｄ）と、画像Ａと画像Ｂとの差分二乗画像（画像Ｆ）とを、画像Ｂの分散値に基づいて合成することでマスク画像を生成する。そして、制御部１２１は、画像Ａに対しマスク処理を施すことにより被写体を抽出する。

これにより、背景画像の各画素の特性に応じて被写体を抽出することができ、ロバスト性を維持しつつ、輪郭線のトレース性を向上させることができる。

また、以上のような画像処理機能を備えた撮像装置は、撮像を行ったその場で、上述したように被写体を抽出することができる。

（変形例）
この発明は、上記の実施形態に限定されず、種々の変形及び応用が可能である。上記実施形態では、本発明をデジタルスチルカメラに適用した場合を例示したが、上記実施形態における制御部１２１に係る構成や機能を実現することができるものであれば、デジタルスチルカメラに限られるものではなく、携帯電話や、デジタルビデオカメラ等であってもよい。

また、本発明に係る画像処理装置として必要な構成や機能を予め備えている装置として実現できることはもとより、例えば、パーソナルコンピュータ等の汎用装置によって実現することもできる。すなわち、上記実施形態における制御部１２１によって実現される機能と同様の機能を、当該装置を制御するコンピュータ等にプログラムを適用することで実現させ、当該コンピュータが上記各処理と同様の処理を実行することで、上記実施形態と同様の効果を得ることができる。

上記実施形態では、被写体を含む画像（画像Ａ）と、背景のみの画像（画像Ｂ）とを、撮像することにより取得する例を示したが、必ずしもこれに限定されない。例えば、画像Ａと画像Ｂとが予め記憶されている等、撮像する以外の手法により得られるのであれば、画像Ａと画像Ｂとを撮像する必要はない。これに加えて、制御部１２１における撮像制御部２１１の構成を備えていなくてもよい。撮像制御部２１１は、撮像部１１０を制御して、撮像により画像Ａと画像Ｂとを取得する。このため、画像Ａと画像Ｂとを、撮像する以外の手法で取得することができるのであれば、この構成がなくとも同様の効果を得ることができる。

また、上記実施形態では、被写体を含む画像（画像Ａ）と、被写体を含まない背景のみの画像（画像Ｂ）とが静止画である例を示したが、これは一例である。画像Ａと画像Ｂは、動画像であってもよい。

また、本発明を上記実施形態で例示したデジタルカメラ１００のような撮像装置で実現する場合においては、本発明に係る構成や機能を予め備えた撮像装置として提供できる他、制御部１２１の各機能と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明に係る撮像装置として機能させることもできる。

本発明に係るプログラムを適用する方法は任意であり、例えば、コンピュータが読取可能な記録媒体（ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical disc）等）に格納して適用できる他、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより適用することもできる。

上記実施形態では、画素分散度マップ作成部２１５において、背景のみの画像（画像Ｂ）の各画素に対して、各画素を中心とした５×５画素のブロックにおける分散値を求める例を示したが、必ずしもこれに限定されない。分散値を求めるためのブロックの大きさは任意であり、例えば、３×３画素、９×９画素のブロックの分散値でもよい。

また、上記実施形態では、画素分散度マップ作成部２１５において、分散値を、画素値とする画素分散度マップを生成する例を示したが、必ずしもこれに限定されない。背景のみの画像（画像Ｂ）における色成分のばらつきの程度を示すことができれば、分散値でなくてもよく、例えば、周囲の画素における各画素値との差の絶対値の平均値を画素値としてもよい。

上記実施形態では、差分抽出マップ生成部２１６において差分抽出マップを生成する場合に、背景低分散用αマップ作成部２１３で生成した画像Ｄと、背景高分散用αマップ作成部２１４で生成した画像Ｆとのどちらか一方の画像の画素値を、採用する例、つまり画素ごとに画像Ｄの画素値と画像Ｆの画素値とのどちらかの画素値を採用し、これを各画素に対して行うことで、差分抽出マップを生成する例を示したが、これは一例である。画素分散度マップの各画素値と主記憶装置に格納されている閾値との比較結果に基づいて、一画素内において、画像Ｄの画素値と画像Ｆの画素値とを所定の割合で組み合わせ、組み合わせた画素値を差分抽出マップの画素の画素値とすることもできる。

例えば、画素値が閾値未満の場合には、画像Ｄの画素値と、画像Ｆの画素値とを、６：４で組み合わせ、画素値が閾値以上の場合には、画像Ｄの画素値と、画像Ｆの画素値とを、４：６で組み合わせ、その画素値を差分抽出マップの画素の画素値としてもよい。

また、組み合わせる割合は、画素値が閾値未満の場合には、画像Ｄの画素値の割合が、画像Ｆの画素値の割合よりも大きく、画素値が閾値以上の場合には、画像Ｆの画素値の割合が画像Ｄの画素値の割合よりも大きくなれば任意でよく、画素値が閾値未満の場合には、画像Ｄの画素値と、画像Ｆの画素値とを、７：３又は８：２の割合で組み合わせ、画素値が閾値以上の場合には、画像Ｄの画素値と、画像Ｆの画素値とを、３：７又は２：８の割合で組み合わせてもよい。

さらに、組み合わせる画像Ｄ及び画像Ｆの画素値の割合は、画素値と閾値との差の絶対値に応じて段階的に変動させてもよい。例えば、画素値と閾値との差の絶対値が１〜５の範囲内で、画素値が閾値未満の場合は、画像Ｄの画素値と、画像Ｆの画素値とを、６：４の割合で組み合わせ、画素値が閾値以上の場合は、画像Ｄの画素値と、画像Ｆの画素値とを、４：６の割合で組み合わせてもよい。そして、画素値と閾値との差の絶対値が６〜１０の範囲内で、画素値が閾値未満の場合は、画像Ｄの画素値と、画像Ｆの画素値とを、７：３の割合で組み合わせ、画素値が閾値以上の場合は、画像Ｄの画素値と、画像Ｆの画素値とを、３：７の割合で組み合わせてもよい。

また、組み合わせる画像Ｄ及び画像Ｆの割合は、予め複数のパターンを設定して記憶部１２４へ記憶しておき、図３のステップＳ１００にてデジタルカメラ１００の使用者に選択させるようにしてもよい。例えば、組み合わせる割合をいくつかのパターンに分けて記憶部１２４に記憶しておき、動作モード処理部２１０が、図３のステップＳ１００の処理を実行することで記憶部１２４から組み合わせる割合のパターンを読み込んで表示し、デジタルカメラ１００の使用者に選択させるようにしてもよい。デジタルカメラ１００の使用者の選択に応じて、動作モード処理部２１０が主記憶装置へ対応する組み合わせの割合を格納する。差分抽出マップ生成部２１６は、主記憶装置からこの組み合わせを読み込んで、画像Ｄ及び画像Ｆを組み合わせ、差分抽出マップを生成する。

ここで、画像Ｄと画像Ｆとは二値画像であることから、両画像の画素値を所定の割合で組み合わせると、画素値が０若しくは１でない画素が生じる。この場合、例えば、四捨五入して０若しくは１になるように調整してもよいし、閾値を用いて０若しくは１になるように調整してもよい。

この構成によれば、より精密なマスク画像を生成することが可能となり、より高精度に被写体を抽出することができる。

また、上記実施形態では、差分抽出マップを生成する場合に使用する閾値の数が１つである例を示したが、これは一例である。閾値は複数あってもよく、また、いくつかのパターンに分けて設定しておき、デジタルカメラ１００の使用者に選択させるようにしてもよい。

例えば、画像Ｂを複数のブロックに分割し、ブロックごとの閾値を設定し、いくつかのパターンに分けて記憶部１２４に記憶しておいてもよい。この場合、図３のステップＳ１００において、動作モード処理部２１０が画像Ｂの分割パターンを表示し、デジタルカメラ１００の使用者に選択させる。動作モード処理部２１０は、デジタルカメラ１００の使用者によるいずれかの分割パターンの選択に応じて、その分割パターンに対応するブロックごとの閾値を記憶部１２４から読み込み、主記憶装置に記憶する。差分抽出マップ生成部２１６は、主記憶装置からブロックごとの閾値を読み込み、画素値と、その画素が属するブロックに対応する閾値とを比較することにより、差分抽出マップを生成する。

この構成によれば、より精密なマスク画像を生成することが可能となる。したがって、より高精度に被写体を抽出することができる。

上記実施形態では、差分抽出マップ生成部２１６において、ラベリングやクロージング及びオープニングがなされた背景低分散用αマップと背景高分散用αマップとを、合成する例を示したが、必ずしもこれに限定されない。ラベリングや、クロージング及びオープニング等の処理がなされていないままこれらの画像を合成してもよい。

１００・・・デジタルカメラ、１１０・・・撮像部、１１２・・・光学装置、１１４・・・イメージセンサ、１２０・・・データ処理部、１２１・・・制御部、１２２・・・画像処理部、１２３・・・画像メモリ、１２４・・・記憶部、１２５・・・外部記憶部、１３０・・・インターフェース部、１３２・・・表示部、１３４・・・外部インターフェース部、１３６・・・操作部、２１０・・・動作モード処理部、２１１・・・撮像制御部、２１２・・・画像位置合わせ処理部、２１３・・・背景低分散用αマップ作成部、２１４・・・背景高分散用αマップ作成部、２１５・・・画素分散度マップ作成部、２１６・・・差分抽出マップ生成部、２１７・・・合成画像生成部、２１８・・・出力処理部

Claims (8)

1. 被写体と背景とが撮像された第１画像と、前記第１画像の背景のみが撮像された第２画像と、を取得する画像取得手段と、
   前記第１画像と前記第２画像との対応する各画素について、画素値の差分絶対値の和を算出して差分画像を生成する差分画像生成手段と、
   前記第１画像と前記第２画像との対応する各画素について、画素値の差分の二乗和である差分二乗和値を算出して差分二乗画像を生成する差分二乗画像生成手段と、
   前記差分画像と前記差分二乗画像とに二値化処理を行い、前記差分画像に対応する第１の二値画像と、前記差分二乗画像に対応する第２の二値画像と、を生成する二値画像生成手段と、
   前記第２画像の各画素について、その画素を含むブロック内の画素値のばらつきの程度を示す統計値を求め、当該統計値をその画素の画素値とする統計画像を生成する統計画像生成手段と、
   前記統計画像の画素値に基づいて、前記第１の二値画像と前記第２の二値画像とを画素ごとに所定の割合で組み合わせた合成画像を生成する二値画像合成手段と、
   前記第１画像に対して前記二値画像合成手段で生成した合成画像によるマスク処理を施して、前記第１画像から抽出すべき対象を抽出する対象抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記二値画像合成手段は、
   前記統計画像生成手段で生成した統計画像の各画素について、その画素値と、予め記憶されている閾値とを比較し、前記画素値が前記閾値未満である場合は、前記第１の二値画像の画素値の割合を前記第２の二値画像の画素値の割合よりも大きくし、前記画素値が前記閾値以上である場合は、前記第２の二値画像の画素値の割合を前記第１の二値画像の画素値の割合よりも大きくして、一の画素中で前記第１の二値画像の画素値と前記第２の二値画像の画素値とを組み合わせ、前記合成画像を生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記二値画像合成手段は、
   前記統計画像生成手段で生成した統計画像の各画素について、その画素値と、予め記憶されている閾値とを比較し、前記画素値が前記閾値未満である場合は、前記第１の二値画像の画素値を当該画素の画素値とし、前記画素値が前記閾値以上である場合は、前記第２の二値画像の画素値を当該画素の画素値とすることにより、画素単位で前記第１の二値画像と前記第２の二値画像とを合成する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２画像を複数のブロックに分割し、ブロックごとの閾値を取得する閾値取得手段をさらに備え、
   前記二値画像合成手段は、
   前記統計画像生成手段で生成した統計画像の各画素の画素値と、その画素が含まれるブロックに対応する、前記閾値取得手段で取得した閾値と、を比較する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記統計画像生成手段は、
   前記第２画像の各画素について、その画素を含むブロック内の画素値に対する分散値を求め、当該分散値をその画素の画素値とする統計画像を生成する、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 被写体と背景とを含む第１画像と、前記第１画像の被写体を除く画像である第２画像とを撮像により生成する撮像手段と、
   前記撮像手段が生成した第１画像と第２画像との対応する各画素について、画素値の差分絶対値の和を算出して差分画像を生成する差分画像生成手段と、
   前記第１画像と前記第２画像との対応する各画素について、画素値の差分の二乗和である差分二乗和値を算出して差分二乗画像を生成する差分二乗画像生成手段と、
   前記差分画像と前記差分二乗画像とに二値化処理を行い、前記差分画像に対応する第１の二値画像と、前記差分二乗画像に対応する第２の二値画像と、を生成する二値画像生成手段と、
   前記第２画像の各画素について、その画素を含むブロック内の画素値のばらつきの程度を示す統計値を求め、当該統計値をその画素の画素値とする統計画像を生成する統計画像生成手段と、
   前記統計画像の画素値に基づいて、前記第１の二値画像と前記第２の二値画像とを画素ごとに所定の割合で組み合わせた画像を生成する二値画像合成手段と、
   前記第１画像に対して前記二値画像合成手段で生成した合成画像によるマスク処理を施して、前記第１画像から抽出すべき対象を抽出する対象抽出手段と、
   を備えることを特徴とする撮像装置。
7. 画像処理装置の画像処理方法であって、
   被写体と背景とが撮像された第１画像と、前記第１画像の背景のみが撮像された第２画像と、を取得する画像取得ステップと、
   前記第１画像と前記第２画像との対応する各画素について、画素値の差分絶対値の和を算出して差分画像を生成する差分画像生成ステップと、
   前記第１画像と前記第２画像との対応する各画素について、画素値の差分の二乗和である差分二乗和値を算出して差分二乗画像を生成する差分二乗画像生成ステップと、
   前記差分画像と前記差分二乗画像とに二値化処理を行い、前記差分画像に対応する第１の二値画像と、前記差分二乗画像に対応する第２の二値画像と、を生成する二値画像生成ステップと、
   前記第２画像の各画素について、その画素を含むブロック内の画素値のばらつきの程度を示す統計値を求め、当該統計値をその画素の画素値とする統計画像を生成する統計画像生成ステップと、
   前記統計画像の画素値に基づいて、前記第１の二値画像と前記第２の二値画像とを画素ごとに所定の割合で組み合わせた合成画像を生成する二値画像合成ステップと、
   前記第１画像に対して前記二値画像合成ステップで生成した合成画像によるマスク処理を施して、前記第１画像から抽出すべき対象を抽出する対象抽出ステップと、
   を備えることを特徴とする画像処理方法。
8. 画像処理装置を制御するコンピュータを、
   被写体と背景とが撮像された第１画像と、前記第１画像の背景のみが撮像された第２画像と、を取得する画像取得手段、
   前記第１画像と前記第２画像との対応する各画素について、画素値の差分絶対値の和を算出して差分画像を生成する差分画像生成手段、
   前記第１画像と前記第２画像との対応する各画素について、画素値の差分の二乗和である差分二乗和値を算出して差分二乗画像を生成する差分二乗画像生成手段、
   前記差分画像と前記差分二乗画像とに二値化処理を行い、前記差分画像に対応する第１の二値画像と、前記差分二乗画像に対応する第２の二値画像と、を生成する二値画像生成手段、
   前記第２画像の各画素について、その画素を含むブロック内の画素値のばらつきの程度を示す統計値を求め、当該統計値をその画素の画素値とする統計画像を生成する統計画像生成手段、
   前記統計画像の画素値に基づいて、前記第１の二値画像と前記第２の二値画像とを画素ごとに所定の割合で組み合わせた合成画像を生成する二値画像合成手段、
   前記第１画像に対して前記二値画像合成手段で生成した合成画像によるマスク処理を施して、前記第１画像から抽出すべき対象を抽出する対象抽出手段、
   として機能させることを特徴とするプログラム。

Images