JP6274876B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、電子スチルカメラ等に用いられる画像処理装置、画像処理方法及びプログラムに関し、特に、撮影画像から所定の特徴量を用いて特定の被写体を示す領域を抽出する技術に関する。

撮像装置により撮影された画像から、複数の特徴量を利用して特定の被写体領域を抽出する画像処理技術が知られている。この技術は、どのような被写体が何処にあるのかに応じて、オートフォーカスによる合焦制御やオート露出制御等に役立てられる。被写体を抽出する手法としては、例えば、空を示す領域として無彩色又は青色を示す領域を抽出し、人物の顔を示す領域として肌色を示す領域を抽出する等の手法が考えられる。

しかしながら、空は天候や時間帯によって多様な色を有する。また、人物のような被写体に対しては、順光での撮影であるか又は逆光での撮影であるか、或いはストロボを使用した撮影であるか等のシーンによって配光条件が変わる。そのため、固定化されたパラメータで所望の領域を正しく抽出することは容易ではない。

そこで、画像撮影時の配光条件を考慮して被写体領域を適正に検出する方法が考えられる。例えば、特許文献１には、順光撮影、逆光撮影、ストロボ撮影のうちから画像を撮影したときの配光条件を判別し、判別結果に基づいて被写体領域を抽出する技術が提案されている。この特許文献１に記載された技術では、逆光時に勾配を持つ領域を空であると判別し、逆光時に低明度の肌色領域を顔領域であると判別している。

特開２００６−３９６６６号公報

しかしながら、上記特許文献１に記載された技術のように、逆光時に勾配を持つ領域を空とであると判別する構成では、空と、空に似た被写体である海とを区別することができないおそれがある。また、逆光時に低明度の肌色領域を顔領域であると判別する構成では、光の回り込みやサイド光（横方向から照射される光）から等の影響によって顔領域を精度よく抽出することができない可能性がある。

本発明は、被写体領域を抽出する際に誤判別が生じることを抑制し、精度よく被写体領域を抽出することを可能にする技術を提供することを目的とする。

本発明に係る画像処理装置は、入力画像を複数の分割領域に分割する分割手段と、前記複数の分割領域のそれぞれについて輝度を含む少なくとも１つの特徴量を算出する特徴量算出手段と、前記特徴量算出手段が算出した特徴量に基づいて前記入力画像における光源の位置を推定する光源推定手段と、前記複数の分割領域のそれぞれが特定の被写体を示す領域であるか否かを判別する領域判別手段とを備え、前記領域判別手段はさらに、前記光源推定手段により検出された光源の位置に基づいて、前記特定の被写体を示す領域であると判別した分割領域に隣接する分割領域のそれぞれが前記特定の被写体を示す領域であるか否かを判別することを特徴とする。

本発明によれば、同一の被写体に対する信号値が光源の影響によって変化しても、被写体領域の誤判別を抑えながら、精度よく領域抽出を行うことが可能となる。これにより、例えば、適切な合焦制御や露出制御を行うことができる。

本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。 撮影画像から図１の画像処理装置が特定の被写体を写す領域を抽出する処理の流れ示すフローチャートである。 図２のステップＳ２００で得られた撮影画像の例を示す図と、ステップＳ２１０による分割処理後の画像分割の例を示す図である。 図３（Ｂ）の分割画像のうちの１つの分割領域について、輝度のヒストグラムと色相のヒストグラムを算出した結果を示す図である。 図２のステップＳ２３０で実行される空判別処理の詳細を示すフローチャートである。 ステップＳ５０１の判別に用いる輝度ヒストグラムのピーク値、色相ヒストグラムのピーク値及びエッジ量と信頼度との関係を示す図である。 図５のステップＳ５０１の判別により得られる分割領域の判別結果の例を示す図と、空の分割領域が統合された状態を示す図である。 図７（Ａ）の画面の最上位の分割領域を左から水平方向に向けて選択したときの分割領域の輝度ヒストグラムのピーク値を図示したものである。 図２のステップＳ２４０で実行される光源位置判別処理の詳細を示すフローチャートである。 図２のステップＳ２５０で実行される人物判別処理の詳細を示すフローチャートである。 図３（Ｂ）の分割画像について人物領域として考えられる分割領域（判別対象領域）が選択された結果を示す図と、判別対象領域の各分割領域を再分割した結果を示す図である。 図１０のステップＳ１００３の人物領域判別に用いられる輝度ヒストグラムのピーク値と信頼度の関係を示すグラフと、図１１（Ｂ）の細分割画像について人物領域であるか否かの判別を行った結果を示す図と、細分割画像について再判別対象の隣接領域を抽出した結果を示す図である。 図１０のステップＳ１００８の人物領域再判別に用いられる輝度ヒストグラムのピーク値と信頼度の関係を示すグラフと、細分割画像について人物領域であるか否かの再判別を行った結果を示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の実施形態に係る画像処理装置１０の概略構成を示すブロック図である。画像処理装置１０は、画像取得部１００、画像分割部１１０、特徴量算出部１２０、領域判別部１３０及び光源推定部１４０とを備える。

画像取得部１００は、撮像素子から得られた電気信号をＡ／Ｄ変換し、変換後のデジタル信号に種々の信号処理を施し、信号処理後の画像信号（画像データ）を画像分割部１１０と特徴量算出部１２０へ出力する。画像分割部１１０は、画像取得部１００から取得した画像データに係る画像（以下「撮影画像」という）を所定の大きさの複数の領域（例えば、１２×８個の均等な大きさ（ブロック単位）の領域）に分割する。以下の説明では、画像分割部１１０による分割処理後の各領域を「分割領域」と称呼する。画像分割部１１０は、各分割領域に係る画像データを、特徴量算出部１２０、領域判別部１３０及び光源推定部１４０へ出力する。

特徴量算出部１２０は、画像分割部１１０により分割された各分割領域について、輝度を含む少なくとも１つの特徴量を算出する。ここでは、特徴量算出部１２０は、特徴量として、輝度のみならず、色相のヒストグラム情報、輝度勾配とその勾配方向、色相勾配とその勾配方向、エッジ量、周波数、撮影画像内での座標値を算出するものとする。特徴量算出部１２０は、算出した特徴量を領域判別部１３０と光源推定部１４０へ出力する。

領域判別部１３０は、特徴量算出部１２０から取得した特徴量に基づいて、各分割領域が特定の被写体を示す領域であるか否かを判別し、その判別結果を光源推定部１４０へ出力する。光源推定部１４０は、画像分割部１１０、特徴量算出部１２０及び領域判別部１３０から取得した各分割領域の画像データ、特徴量及び判別結果に基づいて、撮影画像内或いは撮影画像の画角外に存在する光源の位置を検出する。

なお、画像処理装置１０は、１つのＣＰＵがＲＯＭ等のメモリに記憶された所定のプログラムをＲＡＭ等のメモリに展開し実行することにより画像処理装置１０を構成する各部の機能が実現される構成となっていてもよいし、複数のＣＰＵが協同して所定のプログラムを実行することにより各部の機能が実現される構成となっていてもよい。また、画像処理装置１０は、画像処理装置１０を構成する各部がそれぞれＣＰＵ、ＲＯＭ及びＲＡＭを有し、全体的な制御を司る制御部（ＣＰＵ）の制御下で、各部のＣＰＵがＲＯＭに格納された所定のプログラムをＲＡＭに展開し、実行することで各部の機能が実現される構成となっていてもよい。

図２は、画像処理装置１０が撮影画像から特定の被写体を示す領域を抽出する処理の流れ示すフローチャートである。なお、ここでは、特定の被写体は人物であるとする。また、図２に示す各処理は、１つの制御部であるＣＰＵ（不図示）がＲＯＭ（不図示）に記憶された所定のプログラムをＲＡＭ（不図示）に展開し実行することにより、画像処理装置１０を構成する各部が予め定められた処理を実行することにより実現されるものとする。

ステップＳ２００では、画像取得部１００が、撮像素子から出力されるアナログ電気信号を取得し、取得したアナログ電気信号にＡ／Ｄ変換を施し、生成されたデジタル信号に種々の信号処理を施すことで撮影画像の画像データを生成する。図３（Ａ）は、ステップＳ２００で得られた撮影画像３００の例を示す図である。撮影画像３００は、被写体として、逆光下の人物と、空（青空）と、川等を含むものとする。

続くステップＳ２１０では、画像分割部１１０が、ステップＳ２００により画像取得部１００から出力された撮影画像３００を取得し、撮影画像３００をブロック単位で複数の領域（分割領域）に分割する処理を行う。ここでは、撮影画像３００を、１２×８個の均等な大きさの分割領域に分割するものとする。図３（Ｂ）は、ステップＳ２１０による分割処理後の分割画像３１０の例を示す図である。

次に、ステップＳ２２０では、特徴量算出部１２０が、ステップＳ２１０で作成した１２×８個の分割領域のそれぞれについて、種々の特徴量を算出する。図４は、分割画像３１０のうちの１つの分割領域について、輝度のヒストグラムと色相のヒストグラムを算出した結果を示す図である。ここでは、一例として、分割画像３１０の最も左側かつ上側に位置する分割領域について、輝度のヒストグラムを算出した結果を図４（Ａ）に示し、色相のヒストグラムを算出した結果を図４（Ｂ）に示している。

輝度Ｙおよび色相Ｈの値は、画素毎のＲＧＢ値を用いて下記式１及び式２により算出する。色相Ｈの値として、色相環上で赤は０、緑は１２０、青は２４０の値を持つ。なお、例えば、ベイヤー配列形式のように各画素がＲＧＢの全ての値を持たない場合には、同時化処理を施した後に上記の演算を行う。

更に、特徴量算出部１２０は、分割領域内のエッジを抽出し、積分する処理を行う。具体的には下記式１で算出したＹ信号に対して、水平・垂直方向それぞれに［−１ ０ ２ ０ −１］等のフィルタ処理を行い、絶対値をとった信号を加算し、分割領域内で積分したものをエッジ量とする。なお、エッジの抽出については一例であり、上述した以外の方法でも可能である。

ステップＳ２３０では、領域判別部１３０が、撮影画像３００において空（第１の被写体或いは背景）を示す分割領域の抽出処理（空判別処理）を行う。図５は、ステップＳ２３０の空判別処理の詳細を示すフローチャートである。

ステップＳ５０１において、領域判別部１３０は、分割領域が示す被写体が空（所定の被写体）であるか否かを判別する。具体的には、ステップＳ２２０において算出した輝度ヒストグラムのピーク値、色相ヒストグラムのピーク値及びエッジ量に基づいて、分割領域毎に判別の信頼度を算出する。領域判別部１３０は、算出した信頼度が高い場合（Ｓ５０１でＹＥＳ）、ステップＳ５０２において、その分割領域を空であると判別し、その後、処理をステップＳ５０３へ進める。一方、領域判別部１３０は、算出した信頼度が低い場合（Ｓ５０１でＮＯ）、その分割領域は空ではないと判別して、処理をステップＳ５０３へ進める。

図６は、ステップＳ５０１の判別に用いる輝度ヒストグラムのピーク値、色相ヒストグラムのピーク値及びエッジ量と信頼度との関係を示す図である。図６（Ａ）〜（Ｃ）の縦軸にはそれぞれ、最大値を１とする信頼度ａ，ｂ，ｃが取られている。図６（Ａ）〜（Ｃ）の横軸にはそれぞれ、輝度ヒストグラムのピーク値（Ｙ＿ｈｓｔ）、色相ヒストグラムのピーク値（Ｈ＿ｈｓｔ）、エッジ量（Ｅ＿ｉｔｇ）が取られている。

図６各図の折れ線に基づき、分割領域毎に信頼度ａ，ｂ，ｃの値を算出する。そして、算出した信頼度ａ，ｂのうちの大きい方の値と信頼度ｃとを乗算した値を判別に対する信頼度とする。分割領域が空であるか否かの判別において算出した信頼度が高い場合とは、エッジ量が少なく、且つ、高輝度である場合と、色相が青色である場合とが挙げられる。なお、空であると判別するための条件としてはあくまでも一例であって、これに限られるものではない。

図７は、ステップＳ５０１の判別により得られる分割領域の判別結果の例を示す図である。図７（Ａ）の画面７００において斜線で示された領域は、空であると判別された領域を示している。画面７００では、図３（Ａ）と比較すると、空と川の領域が共に空と判別されていることがわかる。これは、「川」が持つ特徴量が空の持つ特徴量と類似していることが原因として考えられる。

ステップＳ５０３において、領域判別部１３０は、全ての分割領域に対してステップＳ５０１の判別処理が完了したか否かを判定する。領域判別部１３０は、判別が完了した場合（Ｓ５０３でＹＥＳ）、処理をステップＳ５０４へ進め、判別が完了していない場合（Ｓ５０３でＮＯ）、処理をステップＳ５０１へ戻す。

ステップＳ５０４において、領域判別部１３０は、空であると判別された分割領域とこれに隣接する分割領域とを１つの領域として統合していく。図７（Ｂ）の画面７１０は、図７（Ａ）の空の分割領域が統合された状態を示しており、空であると誤って判断された「川」の分割領域同士も統合されている。

ステップＳ５０５において、領域判別部１３０は、ステップＳ５０３までの処理で空と判別された分割領域（図７（Ｂ）に示す３つの統合領域）の中から、撮影画像内で最も最上位の座標に位置する領域を選択する。そして、領域判別部１３０は、選択した領域に対して輝度の勾配値と勾配方向を算出し、輝度の勾配値が所定値以上であるか否かを判定する。

具体的には、選択した領域に含まれる各分割領域の輝度ヒストグラムのピーク値に基づき、水平方向及び垂直方向のそれぞれに１ブロック毎の変化率を輝度の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄとして算出する。図８は、図７（Ａ）の画面７００の最上位の分割領域を左から水平方向に向けて選択したときの、分割領域の輝度ヒストグラムのピーク値Ｙ＿ｈｓｔを図示したものである。

領域判別部１３０は、各分割領域の輝度ヒストグラムのピーク値Ｙ＿ｈｓｔを用いて、下記式３を用いて水平方向（水平ブロックライン）の輝度の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｘを算出する。ここで、“ｘ”は、撮影画像の左端をゼロ（０）としたときのブロックの番号を、“Ｙ＿ｈｓｔ（ｘ）”はｘ番目のブロックの輝度ヒストグラムのピーク値を、“ｎｘ”は水平方向の“空のブロック数−１”をそれぞれ表している。

ステップＳ５０５ではまた、領域判別部１３０は、選択した領域の全ての垂直方向（垂直ブロックライン）について、前述の水平方向と同様に、輝度の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｙを算出する。なお、垂直方向の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｙの算出には、下記式４が用いられる。ここで、“ｙ”は、撮影画像の上端をゼロ（０）としたときのブロックの番号、“Ｙ＿ｈｓｔ（ｙ）”はｙ番目のブロックの輝度ヒストグラムのピーク値、“ｎｙ”は垂直方向の“空のブロック数−１”を表している。

領域判別部１３０は、水平方向の輝度の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｘの平均値の絶対値と、垂直方向の輝度の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｙの平均値の絶対値とを比較し、大きい方の絶対値を空の輝度勾配の方向の候補として選択する。撮影画像３００の場合、ステップＳ５０４で選択した領域では水平方向にグラデーションが現れていることから、輝度勾配の値としては水平方向の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｘの方が、垂直方向の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｙよりも大きな値を取る。よって、勾配方向として水平方向が選択されることになる。

領域判別部１３０は、輝度の勾配値が所定値以上である場合（Ｓ５０５でＹＥＳ）、処理をステップＳ５０６へ進め、輝度の勾配値が所定値に満たない場合（Ｓ５０５でＮＯ）、本処理を終了させる。つまり、選択された方向の輝度勾配の値がゼロ（０）に近い値を取った場合、領域判別部１３０は、空にはグラデーションが存在しないと判断し、本処理を終了させる。

ステップＳ５０６において、領域判別部１３０は、ステップＳ５０５で選択された方向が存在する場合には、選択された方向を参照方向として保持する。その後、ステップＳ５０７において、領域判別部１３０は、ステップＳ５０３において空領域であると判別された統合領域が他にも存在するか否かを判定する。領域判別部１３０は、他の空領域が存在する場合（Ｓ５０７でＹＥＳ）、処理をステップＳ５０８へ進め、他の空領域が存在しない場合（Ｓ５０７でＮＯ）、本処理を終了させる。

ステップＳ５０８において、領域判別部１３０は、最上位でない空領域に対してＳ５０５の処理と同様の処理を行って輝度の勾配値と勾配方向を求め、求めた勾配方向がステップＳ５０６で保持した参照方向と同じであるか否かを判定する。領域判別部１３０は、勾配方向が同じ場合（Ｓ５０８でＹＥＳ）、処理をステップＳ５０７へ戻し、勾配方向が異なる場合（Ｓ５０８でＮＯ）、処理をステップＳ５０９へ進める。

ステップＳ５０９において、領域判別部１３０は、最上位ではない空領域は、最上位の空領域とはグラデーションの現れ方が異なることから、例えば、海や川等の空以外の領域である可能性が高いと判断し、空領域としての信頼度を低く設定する。ステップＳ５０９の終了後、領域判別部１３０は、処理をステップＳ５０７へ戻す。以上が、ステップＳ２３０の空判別処理の内容である。

図２のフローチャートの説明に戻る。ステップＳ２４０では、光源推定部１４０が、領域判別の結果に基づいて光源の位置を判別する処理を行う。図９は、ステップＳ２４０で実行される光源位置判別処理の詳細を示すフローチャートである。

ステップＳ９０１において、光源推定部１４０は、ステップＳ５０６で保持した参照方向が存在するか否かを判定する。光源推定部１４０は、参照方向が存在しない場合（Ｓ９０１でＮＯ）、本処理を終了させ、参照方向が存在する場合（Ｓ９０１でＹＥＳ）、処理をステップＳ９０２へ進める。

ステップＳ９０２において、光源推定部１４０は、参照方向が水平方向であるか否かを判定する。光源推定部１４０は、参照方向が水平方向である場合（Ｓ９０２でＹＥＳ）、処理をステップＳ９０３へ進め、参照方向が水平方向ではない場合（Ｓ９０２でＮＯ）、処理をステップＳ９０６へ進める。

ステップＳ９０３において、光源推定部１４０は、ステップＳ５０５で算出した輝度の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｘの値の正負に基づいて光源位置を判定する。光源推定部１４０は、輝度の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｘの値が正の場合、処理をステップＳ９０４へ進め、輝度の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｘの値が負の場合、処理をステップＳ９０５へ進める。

輝度の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｘの値が正の場合は、例えば、図３（Ａ）の撮影画像３００のように、左から右方向に輝度値が大きくなるような変化を示す。よって、ステップＳ９０４において、光源推定部１４０は、光源は主被写体である人物に対して右側に位置している（右サイド光）と判定する。同様に、光源推定部１４０は、輝度の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄ＿ｘの値が負の場合、光源は主被写体である人物に対して左側に位置している（左サイド光）と判定する。ステップＳ９０６において、光源推定部１４０は、光源は逆光であると判定する。ステップＳ９０４〜Ｓ９０６の終了により、本処理は終了となり、処理はステップＳ２５０へ進められる。

図２のフローチャートの説明に戻る。ステップＳ２５０において、領域判別部１３０は、分割領域が示す被写体が人物（第２の被写体）であるか否かを判別する。図１０は、ステップＳ２５０で実行される人物判別処理のフローチャートである。

ステップＳ１００１において、領域判別部１３０は、撮影画像内に顔が存在するか否かを判別する。なお、顔検出方法には、周知の技術を使用することができ、特に限定されない。領域判別部１３０は、顔が検出されない場合（Ｓ１００１でＮＯ）、本処理を終了させ、顔が検出された場合（Ｓ１００１でＹＥＳ）、処理をステップＳ１００２へ進める。

ステップＳ１００２において、領域判別部１３０は、顔検出により得られた位置、大きさ及び向き等の情報に基づき、人物領域であるか否かを判別する対象となる分割領域を選択し、選択した分割領域をさらに複数の領域（以下「細分割領域」という）に分割する。具体的には、検出された顔の位置、大きさ及び向き等の情報から、人体を含めた人物領域として考えられる領域を選択する。

図１１（Ａ）は、図３（Ｂ）の分割画像３１０について、人物領域として考えられる分割領域が選択された結果を示す図である。図１１（Ａ）において、ドットで示される分割領域は検出された顔の位置を表しており、斜線で示される分割領域は人物領域として考えられる領域を表しており、これら２種類の領域を人物領域であるか否かを判別する対象としての判別対象領域として選択する。そして、判別対象領域の各分割領域をさらに小さいサイズの複数の領域にブロック単位で再分割する。図１１（Ｂ）は、判別対象領域の各分割領域を再分割した結果を示す図である。ここでは、１つの分割領域の水平方向と垂直方向のそれぞれの長さを１／２とする４等分割を行うことにより、細分割領域を作成するものとする。

ステップＳ１００３において、領域判別部１３０は、ステップＳ２２０の処理と同様に、細分割領域毎に輝度ヒストグラムのピーク値Ｙ＿ｈｓｔを算出し、算出したＹ＿ｈｓｔに基づいて人物領域としての信頼度を算出し、信頼度が所定値以上であるか否かを判定する。具体的には、顔領域であるか又は低輝度であるか否かを判定する。図１２（Ａ）は、ステップＳ１００３の人物領域判別に用いられる輝度ヒストグラムのピーク値Ｙ＿ｈｓｔと信頼度の関係を示すグラフである。輝度が低いほど逆光における人物領域の信頼度は高くなっており、また、顔領域内であれば信頼度が高く、信頼度を１とする。

なお、細分割領域が人物領域であるか否かの判別結果を０と１の２値で出力することも可能であるが、ここでは、信頼度として０乃至１の範囲の多値で表現する構成とした。これにより、例えば、背景技術で説明したオート露出制御に領域抽出結果を用いる場合には、信頼度が高くなるにしたがって人物領域の明るさを優先した露出に切り替える等、撮影シーン毎に人物に適した制御を行うことが可能となる。

領域判別部１３０は、判別に係る細分割領域が顔領域又は低輝度である場合（Ｓ１００３でＹＥＳ）、処理をステップＳ１００４へ進め、判別に係る細分割領域が顔領域ではなく低輝度でもない場合（Ｓ１００３でＮＯ）、処理をステップＳ１００５へ進める。ステップＳ１００４において、領域判別部１３０は、ステップＳ１００３で顔領域又は低輝度であると判定した細分割領域を人物領域に設定する。

ステップＳ１００５において、領域判別部１３０は、全ての細分割領域に対して、各細分割領域が人物領域であるか否かの判別を終えたか否かを判定する。領域判別部１３０は、全ての細分割領域に対する判別を終えた場合（Ｓ１００５でＹＥＳ）、処理をステップＳ１００６へ進め、全ての細分割領域に対する判別を終えていない場合（Ｓ１００６でＮＯ）、処理をステップＳ１００３へ戻す。

図１２（Ｂ）は、図１１（Ｂ）に示す細分割画像について人物領域であるか否かの判別を行った結果を示す図である。斜線部分が信頼度の高い領域を表しており、図３（Ａ）の撮影画像と照らし合わせると、人物の右部は輝度が高くなってことが原因となって、信頼度が０となっていることがわかる。

ステップＳ１００６において、領域判別部１３０は、ステップＳ５０６で保持した参照方向が存在するか否かを判定する。領域判別部１３０は、参照方向が存在する場合（Ｓ１００６でＹＥＳ）、処理をステップＳ１００７へ進め、参照方向が存在しない場合（Ｓ１００６でＮＯ）、本処理を終了させる。

ステップＳ１００７において、領域判別部１３０は、ステップＳ１００４で設定した人物領域に隣接する細分割領域（以下「隣接領域」という）を抽出し、抽出した隣接領域が人物領域であるか否かを再判別する。具体的には、ステップＳ１００２で選択した判別対象領域のうち、ステップＳ１００４で設定した人物領域に対してステップＳ５０６で保持した参照方向に位置する細分割領域を再判別対象の隣接領域として抽出する。図１２（Ｃ）は、図１２（Ｂ）に示す細分割画像について、再判別対象の隣接領域を抽出した結果を示す図である。図１２（Ｃ）においてドットで表された細分割領域が、再判別対象の隣接領域である。

ステップＳ１００８において、領域判別部１３０は、再判別対象の隣接領域について、ステップＳ１００３で算出済みの輝度ヒストグラムのピーク値Ｙ＿ｈｓｔに基づいて、人物領域としての信頼度を再算出する。そして、領域判別部１３０は、再算出した輝度値が所定値以下であるか否かを判定することにより、隣接領域が人物領域であるか否かを再判別する。

ステップＳ１００８で再算出する信頼度の基準は、ステップＳ１００３において信頼度を算出するために用いた基準（図１２（Ａ））とは異なる。図１３（Ａ）は、ステップＳ１００８の人物領域再判別に用いられる輝度ヒストグラムのピーク値Ｙ＿ｈｓｔと信頼度の関係を示すグラフである。ここでは、ステップＳ１００３での判別よりも高い輝度でも信頼度が大きい値を取るようにしている。これは、再判別のために選択された細分割領域では、光源の影響を受けることで、人物内の他の領域と比較して、輝度が高くなっていることを考慮したものである。つまり、ステップＳ２４０で光源位置を特定していることによって、ステップＳ１００８の判別が可能になっている。

領域判別部１３０は、再算出した輝度値が所定値以下である場合（Ｓ１００８でＹＥＳ）、処理をステップＳ１００９へ進め、ステップＳ１００９において、再判別された細分割領域を人物領域に設定する。一方、領域判別部１３０は、再算出した輝度値が所定値を超える場合（Ｓ１００８でＮＯ）、再判別された細分割領域を人物領域に設定することなく、処理をステップＳ１０１０へ進める。

図１３（Ｂ）は、ステップＳ１００８で細分割画像について人物領域であるか否かの再判別を行った結果を示す図であり、斜線部分が、最終的に人物領域としての信頼度の高い領域を表している。図１３（Ｂ）に示されるように、ステップＳ１００３（図１２（Ｂ））では判別されなかった領域が人物領域として正しく判別されていることがわかる。

ステップＳ１０１０において、領域判別部１３０は、全ての隣接領域について人物領域であるか否かの再判別を終えたか否かを判定する。領域判別部１３０は、全ての隣接領域に対する再判別を終えた場合（Ｓ１０１０でＹＥＳ）、本処理を終了させ、全ての隣接領域に対する再判別を終えていない場合（Ｓ１０１０でＮＯ）、処理をステップＳ１００８へ戻す。ステップＳ２５０の処理の終了により、撮影画像からの特定の被写体である人物を示す領域の抽出処理は終了となる。

上記実施形態によれば、抽出すべき被写体が光の回り込みやサイド光等の光源の位置の影響を受けるようなシーンにおいても、光源位置を推定し、推定結果に基づいて被写体領域を抽出するため、被写体領域の誤判別の発生を抑制することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記実施形態では、入力画像である撮影画像を複数の分割領域に分割して人物の顔を示す検出した後に、顔を含む人物領域を抽出する際に分割領域を再分割することにより解像度を高めた。これに対して、複数の分割領域から特徴量に基づいて顔領域を検出した後、分割領域の再分割を行わずに顔領域の隣接領域から特徴量に基づいて人物領域を抽出し、更に、人物領域ではないと判別された隣接領域から光源位置に基づいて人物領域を再判別する構成としてもよい。このような構成は、撮影画像の領域分割数が十分に多い場合や、より高い解像度を要求しない場合に用いることができる。

また、例えば、上記実施形態では、画像分割部１１０は入力画像である撮影画像を矩形形状の同じサイズの分割領域に分割し、領域判別部１３０が分割領域毎に特徴量を抽出し、各分割領域がどのような被写体の領域であるかを判別する構成とした。これに対して、入力画像からエッジを抽出し、抽出したエッジに基づいて分割領域毎に被写体の種類を判別する構成としてもよい。これにより、エッジを多くは含まない平坦な入力画像に対しては、分割領域数を少なくすることができ、被写体の判別に要する処理時間を短縮させることができる。

また、上記実施形態では、光源位置の推定に先立って空領域の判別を行い、その後、抽出した空領域の輝度の勾配方向を参照することで光源位置を推定したが、これに限らず、空領域における輝度勾配以外の特徴量を参照して光源位置を推定するようにしてもよい。例えば、夜景や室内等の空領域が抽出されない撮影シーンでは、検出された顔等の領域に対して、ステップＳ５０５で実行される処理のように、分割領域毎の輝度ヒストグラムのピーク値Ｙ＿ｈｓｔから水平方向の輝度の勾配値Ｙ＿ｈｓｔ＿ｇｒａｄを算出する。これにより、人物への光の当たり方に基づいて光源の位置を推定することが可能となる。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 画像取得部
１１０ 画像分割部
１２０ 特徴量算出部
１３０ 領域判別部
１４０ 光源推定部

Claims (10)

1. 入力画像を複数の分割領域に分割する分割手段と、
   前記複数の分割領域のそれぞれについて輝度を含む少なくとも１つの特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段が算出した特徴量に基づいて前記入力画像における光源の位置を推定する光源推定手段と、
   前記複数の分割領域のそれぞれが特定の被写体を示す領域であるか否かを判別する領域判別手段とを備え、
   前記領域判別手段はさらに、前記光源推定手段により検出された光源の位置に基づいて、前記特定の被写体を示す領域であると判別した分割領域に隣接する分割領域のそれぞれが前記特定の被写体を示す領域であるか否かを判別することを特徴とする画像処理装置。
2. 前記分割手段は、前記入力画像を均等な大きさのブロック単位の複数の領域に分割することを特徴とする請求項１記載の画像処理装置。
3. 前記分割手段は、前記入力画像からエッジを検出し、検出したエッジに基づいて入力画像を複数の領域に分割することを特徴とする請求項１記載の画像処理装置。
4. 前記特徴量は、前記輝度に加えて、輝度勾配とその勾配方向、色相、色相勾配とその勾配方向、エッジ量、周波数、座標の少なくとも１つを含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記領域判別手段は、前記複数の分割領域のそれぞれが前記特定の被写体の１つとして人物の顔を示す領域であるか否かを判別することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記領域判別手段はさらに、前記特徴量算出手段が算出した特徴量に基づいて、前記複数の分割領域のそれぞれが前記特定の被写体の１つとして空を示す領域であるか否かを判別し、前記光源推定手段は、前記空を示すと判別された分割領域を統合することによって得られる領域の輝度勾配に基づいて前記光源の位置を推定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記光源推定手段は、前記特定の被写体を示すと判別された分割領域のそれぞれについて前記特徴量算出手段が算出した輝度値から求めた輝度勾配に基づいて前記光源の位置を推定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記分割手段は、前記領域判別手段が前記特定の被写体であると判別した分割領域と、前記特定の被写体を示す領域であると判別した分割領域に隣接する分割領域をそれぞれさらに複数の細分割領域に分割し、
   前記領域判別手段は、前記特徴量算出手段が算出した特徴量に基づいて前記複数の細分割領域が前記特定の被写体を示す領域であるか否かを判別した後、前記複数の細分割領域のうちで前記特定の被写体を示す領域ではないと判別された細分割領域が前記特定の被写体を示す領域であるか否かを前記光源推定手段により検出された光源の位置に基づいて再判別することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 画像処理装置において実行される画像処理方法であって、
   入力画像を複数の分割領域に分割する分割ステップと、
   前記複数の分割領域について輝度を含む少なくとも１つの特徴量を算出する算出ステップと、
   前記算出ステップで算出した特徴量に基づいて前記複数の分割領域のそれぞれが特定の被写体を示す領域であるか否かを判別する判別ステップと、
   前記算出ステップで算出した特徴量に基づいて前記入力画像における光源の位置を推定する推定ステップと、
   前記推定ステップにより検出された光源の位置に基づいて、前記判別ステップで前記特定の被写体を示す領域として抽出された分割領域に隣接する分割領域のそれぞれが前記特定の被写体を示す領域であるか否かを再判別する再判別ステップとを有することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法を画像処理装置が備えるコンピュータに実行させることを特徴とするプログラム。