JP5818571B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮影画像における被写体領域を決定する撮像装置に関する。

従来、デジタルカメラなどの撮像装置において、撮影の結果得られた画像（撮影画像）における被写体領域を決定することが行われている。そして、被写体領域を抽出する場合には、パターンマッチングなどによって人物などの被写体の顔領域を決定する顔検出機能が用いられる。

一方、顔以外の被写体領域を決定する際には、撮影画像を領域分割して、分割領域毎に所定の評価を行って、撮影画像の中心に存在する領域を被写体領域として選択するようにしている。

例えば、撮像装置において、撮影画像（つまり、画面）を色相値に応じて複数の領域に分割し、画面の端に接触している領域を排除した上で、画面の中心付近においてサイズが大きい領域を被写体領域として選択するものが知られている（従来技術１という）。

また、従来、デジタルカメラなどの撮像装置において、撮影画像を得た撮影シーンを判別するシーン判別機能を有するものがある。

例えば、撮影画像を得た撮影シーンを判別する際、撮影範囲を複数の測光領域に分割して、これら分割領域毎の輝度情報を用いて、撮影シーンが逆光シーンであるか否か判定するようにしたものが知られている（特許文献１参照）。

特開２００２−２９６６３５号公報

ところで、上述の顔検出機能および従来技術１の手法では、撮影の状況によっては、適切に被写体領域を決定することができないことがある。例えば、特許文献１のような判別方法によって逆光の人物が被写体である逆光人物シーンと判別される場合では、高輝度の領域と低輝度の境域との輝度差によって、人物の顔領域に所謂黒つぶれが生じてしまう。このため、人物の顔領域を検出することができないことがある。

さらに、従来技術１の手法では、人物の背景にサイズの大きい窓などが存在すると、画面の中心付近においてサイズの大きい窓領域を、誤って被写体領域として選択してしまうことがある。

従って、本発明の目的は、撮影シーンによらず適切に被写体領域の決定を行うことのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、被写体を撮像して画像データを取得する撮像装置であって、予め設定された判別条件に応じて前記画像データを得た撮影シーンが所定のシーンであるか否かを判別するシーン判別手段と、前記画像データが示す画像を分割して得られた複数の領域から、前記シーン判別手段がシーン判別に用いた項目群と同じ第１の項目群に基づいて、第１の領域を抽出する第１の領域抽出手段と、前記複数の領域から、前記第１の項目群とは異なる第２の項目群に基づいて第２の領域を抽出する第２の領域抽出手段と、前記シーン判別手段によって前記撮影シーンが前記所定のシーンであると判別された場合、前記第１の領域を前記被写体が存在する領域とし、前記シーン判別手段によって前記撮影シーンが前記所定のシーンでないと判別された場合、前記第２の領域を前記被写体が存在する領域とする被写体領域決定手段と、を有することを特徴とする。

本発明による制御方法は、被写体を撮像して画像データを取得する撮像装置の制御方法であって、予め設定された判別条件に応じて前記画像データを得た撮影シーンが所定のシーンであるか否かを判別するシーン判別ステップと、前記画像データが示す画像を分割して得られた複数の領域から、前記シーン判別ステップでシーン判別に用いた項目群と同じ第１の項目群に基づいて、第１の領域を抽出する第１の領域抽出ステップと、前記複数の領域から、前記第１の項目群とは異なる第２の項目群に基づいて第２の領域を抽出する第２の領域抽出ステップと、前記シーン判別ステップで前記撮影シーンが前記所定のシーンであると判別された場合、前記第１の領域を前記被写体が存在する領域とし、前記シーン判別ステップで前記撮影シーンが前記所定のシーンでないと判別された場合、前記第２の領域を前記被写体が存在する領域とする被写体領域決定ステップと、を有することを特徴とする。

本発明による制御プログラムは、被写体を撮像して画像データを取得する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、予め設定された判別条件に応じて前記画像データを得た撮影シーンが所定のシーンであるか否かを判別するシーン判別ステップと、前記画像データが示す画像を分割して得られた複数の領域から、前記シーン判別ステップでシーン判別に用いた項目群と同じ第１の項目群に基づいて、第１の領域を抽出する第１の領域抽出ステップと、前記複数の領域から、前記第１の項目群とは異なる第２の項目群に基づいて第２の領域を抽出する第２の領域抽出ステップと、前記シーン判別ステップで前記撮影シーンが前記所定のシーンであると判別された場合、前記第１の領域を前記被写体が存在する領域とし、前記シーン判別ステップで前記撮影シーンが前記所定のシーンでないと判別された場合、前記第２の領域を前記被写体が存在する領域とする被写体領域決定ステップと、を実行させることを特徴とする。

本発明によれば、撮影シーンによらず適切に被写体領域の決定を行うことができる。

本発明の実施の形態による撮像装置の一例を説明するためのブロック図である。 図１に示す撮影装置において撮影シーンが逆光シーンであるか否かの判別処理を説明するためのフローチャートである。 被写体評価値の決定の際に用いられる項目の一例を示す図である。 背景評価値の決定の際に用いられる項目の一例を示す図である。 本発明の実施の形態における第２の領域抽出部における抽出処理を説明するためのフローチャートである。 本発明の実施の形態における第２の領域抽出部で行われるグループ化処理を説明するための図である。 本発明の実施の形態における第２の領域抽出部で行われるラベリング処理を説明するための図である。 本発明の実施の形態における第２の領域抽出部１０５で行われる評価値の決定を説明するための図である。 本発明の実施の形態における領域分割結果を説明するための図である。 本発明の実施の形態における領域抽出結果の一例を説明するための図である。

以下、本発明の実施の形態による撮像装置について図面を参照して説明する。

図１は本発明による実施の形態による撮像装置が備える、被写体領域決定に係わる部分の一例を説明するためのブロック図である。なお、以下の説明では、撮像装置の一つであるデジタルカメラ（以下単にカメラと呼ぶ）を例に挙げて説明する。

図示の撮像装置は画像信号入力部１０１を備えており、画像信号入力部１０１にデジタル画像信号（以下単に画像信号とも呼ぶ）が入力される。

本実施の形態の撮像装置には、複数のレンズなどで構成される撮影光学系（図示せず）が備えられ、この撮影光学系を介して光学像が撮像素子（例えば、ＣＣＤやＣＭＯＳ：図示せず）に結像する。そして、撮像素子は結像した光学像に応じた電気信号（アナログ信号）を出力する。このアナログ信号に対して、Ａ／Ｄ変換部（図示せず）においてサンプリング、ゲイン調整、およびＡ／Ｄ変換などの処理が施されて、デジタル信号とされる。そして、このデジタル信号が画像信号入力部１０１に与えられる。

画像処理部１０２は、画像信号入力部１０１からデジタル信号を受けて、デジタル信号に対して各種の画像処理を行う。そして、画像処理部１０２は処理済みのデジタル信号（画像データともいう）を出力する。例えば、画像処理部１０２はデジタル信号をＹＵＶ画像信号に変換して出力する。なお、Ｙは輝度信号を表し、Ｕは輝度信号と青色成分との差を表す。また、Ｖは輝度信号と赤色成分との差を表す。

画像処理部１０２の出力である画像データはシーン判別部１０３（シーン判別手段）および第２の領域抽出部１０５（第２の領域抽出手段）に与えられる。シーン判別部１０３は画像データに基づいて撮影シーンが「逆光」および「スポットライト」など複数の撮影シーンのうちいずれのシーンであるかを判別する。このとき、シーン毎に異なる判別条件が予め設定されていて、満たしている判別条件に応じてシーン判別を行う。

さらに、図示はしないが、シーン判別部１０３によって撮影シーンの判別が行われると、画像処理部１０２はその判別結果に応じて当該撮影シーンで撮影が行われた際に最適な画像処理を行う。そして、撮像制御部（図示せず）が当該撮影シーンで撮影する際に最適な撮像制御を行う。

シーン判別部１０３によるシーン判別を行う際には、例えば、画像データが示す画像を複数の画像領域に分割して、後述するグループ毎に特徴量に応じて被写体評価値（第１の被写体評価値ともいう）および背景評価値を決定する。そして、第１の被写体評価値および背景評価値の最大値がそれぞれ予め設定された被写体評価閾値以上および背景評価閾値以上であると、撮影シーンが逆光シーンであると判別する。なお、シーン判別部１０３によるシーン判別については後で詳細に説明する。

第１の領域抽出部１０４（第１の領域抽出手段）は、シーン判別部１０３によるシーン判別結果を受けて、シーン判別結果に応じて領域の抽出を行う。第１の領域抽出部１０４は、領域の抽出を行う際、例えば、シーン判別結果が逆光シーンであれば、当該シーンの判別に用いた項目に基づいて決定された第１の被写体評価値が最大となる領域を抽出領域（第１の抽出領域）とする。

第２の領域抽出部１０５は、画像データに基づいて領域の抽出を行う。この際、第２の領域抽出部１０５はシーン判別部１０３でシーン判別の際に用いた項目とは異なる項目に基づいて領域の抽出を行う。領域の抽出の際には、第２の領域抽出部１０５は、例えば、画像データが示す画像を複数の画像領域に分割する。

そして、第２の領域抽出部１０５は各画像領域における位置、大きさ、および色などの特徴量に応じて、画像（画面）の中心付近に位置する被写体らしさを示す被写体評価値（第２の被写体評価値ともいう）を決定する。続いて、後述するように、第２の領域抽出部１０５は第２の被写体評価値が最も高い領域を抽出領域（第２の抽出領域）として抽出を行う。なお、第２の領域抽出部１０５における抽出処理については、後ほど詳細に説明する。

被写体領域決定部１０６（被写体領域決定手段）は、シーン判別部１０３によるシーン判別結果と第１、第２の領域抽出部１０４、１０５の領域抽出結果（第１、第２の抽出領域）とに応じて、被写体領域を決定する。

被写体領域決定部１０６において被写体領域を決定する際、シーン判別部１０３によるシーン判別結果が所定の撮影シーンである場合、被写体領域決定部１０６は第１の領域抽出部１０４によって抽出された領域を被写体領域として決定する。一方、シーン判別部１０３によるシーン判別結果が所定の撮影シーンでないと、被写体領域決定部１０６は第２の領域抽出部１０５によって抽出された領域を被写体領域として決定する。ここで、所定の撮影シーンとは、例えば、逆光シーン又はスポットライトシーンをいう。

被写体領域決定結果出力部１０７は、被写体領域決定部１０６により決定された被写体領域を示す情報を出力する。

このように、図１に示す撮像装置では、撮影シーンが所定の撮影シーンと判定すると、シーン判別に用いた項目に基づいて抽出した領域を被写体領域とする。一方、撮影シーンが所定の撮影シーンでないと、シーン判別に用いた項目とは異なる項目に基づいて抽出した領域を被写体領域とする。これによって、撮影シーンに合わせて精度よく被写体領域を決定することができる。

続いて、図１に示す撮像装置におけるシーン判別処理について詳細に説明する。ここでは、一例として撮影シーンが逆光シーンであるか否かを判別する場合について説明する。

図２は、図１に示す撮影装置において撮影シーンが逆光シーンであるか否かの判別処理を説明するためのフローチャートである。

図１および図２を参照して、シーン判別処理が開始されると、シーン判別部１０３は、画像処理部１０２の出力である画像データが示す画像を複数の領域（ブロック領域ともいう）に分割する（ステップＳ２０１）。ここでは、シーン判別部１０３は、画像をＭ×Ｎ（Ｍ行Ｎ列）のブロック領域に分割するとする（ＭおよびＮの各々は２以上の整数である）。例えば、Ｍ＝３２、Ｎ＝２４であり、シーン判別部１０３は分割の際、各ブロック領域が互いに重ならないように分割を行う。

次に、シーン判別部１０３は各ブロック領域の特徴量を決定する（ステップＳ２０２）。特徴量の決定の際には、シーン判別部１０３は、例えば、各ブロック領域をさらに複数の小領域に分割して、小領域毎の輝度値を求める。そして、シーン判別部１０３は複数の小領域において最小の輝度値を当該ブロック領域における特徴量とする。

この際、シーン判別部１０３は、各ブロック領域において小領域の輝度値のうちに所定の輝度閾値（Ｔｈ＿Ｈｉｇｈ Ｌｅｖｅｌ）以上の輝度値を有する小領域があれば、これら小領域において最も高い輝度値を特徴量とする。

ところで、ブロック領域において極端に輝度の低い小領域および極端に輝度の高い小輝度領域のみが存在すると、これら輝度値の平均値を特徴量とした場合には、低輝度値および高輝度値のどちらでもない輝度値が特徴量となってしまう可能性がある。

一方、前述のように、最低輝度値又は最高輝度値をブロック領域の特徴量として用いるようにすれば、ブロック領域における特徴量の精度を良好とすることができる。

続いて、シーン判別部１０３は、ｍ×ｎに位置するブロック領域について隣接するブロック領域の特徴量と比較する（ステップＳ２０３）。ここで、ｍ＝１〜Ｍまでのいずれかの整数であり、ｎ＝１〜Ｎまでのいずれかの整数である。

つまり、シーン判別部１０３は、まず、ｍ＝ｎ＝１として撮影画像の左上隅に位置するブロック領域について隣接するブロック領域の特徴量と比較する。続いて、シーン判別部１０３は、ｍ＝１、ｎ＝２〜Ｎとして、右側に対象のブロック領域を順次に移動させて、対象のブロック領域に隣接するブロック領域の特徴量と比較する。そして、１行目が終わると、シーン判別部１０３は、ｍ＝２、ｎ＝１〜Ｎとして、２行目について同様にして特徴量の比較を行う。

このようにして、シーン判別部１０３は、最終的に、ｍ＝Ｍ、ｎ＝１〜ＮとしてＭ行目までのブロック領域について特徴量の比較を行う。

なお、ここでは、シーン判別部１０３は対象のブロック領域の上側に位置するブロック領域および左側に位置するブロック領域を隣接するブロック領域としてその特徴量の比較を行うものとする。

上述のようにして、シーン判別部１０３は全てのブロック領域についてその上側および左側に位置するブロック領域とその特徴量を比較して差分を求める。この際、シーン判別部１０３は上側に位置するブロック領域（上ブロック領域）との差分を上側差分とし、左側に位置するブロック領域（左ブロック領域）との差分を左側差分とする。

続いて、シーン判別部１０３は、上側差分の絶対値が予め設定された差分閾値（Ｔｈ＿Ｓａｍｅ）以下であるか否かを判定する（ステップＳ２０４）。上側差分の絶対値が差分閾値以下であると（ステップＳ２０４において、ＹＥＳ）、シーン判別部１０３は対象のブロック領域と上ブロック領域とが類似するとして、同一のグループに設定する（ステップＳ２０５）。

次に、シーン判別部１０３は、左側差分の絶対値が予め設定された差分閾値（Ｔｈ＿Ｓａｍｅ）以下であるか否かを判定する（ステップＳ２０６）。なお、上側差分の絶対値が差分閾値を超えていると（ステップＳ２０４において、ＮＯ）、シーン判別部１０３はステップＳ２０６の処理に移行する。

左側差分の絶対値が差分閾値以下であると（ステップＳ２０６において、ＹＥＳ）、シーン判別部１０３は対象のブロック領域と左ブロック領域とが類似するとして同一のグループに設定する（ステップＳ２０７）。

そして、シーン判別部１０３は全てのブロック領域について、上述のグループ設定を行ったか否かを判定する（ステップＳ２０８）。全てのブロック領域についてグループ設定を行っていないと（ステップＳ２０８において、ＮＯ）、シーン判別部１０３はステップＳ２０４の処理に戻る。

なお、ステップＳ２０６において、左側差分の絶対値が差分閾値を超えていると（ステップＳ２０６において、ＮＯ）、シーン判別部１０３はステップＳ２０８の処理に移行する。

全てのブロック領域についてグループ設定を行っていると（ステップＳ２０８において、ＹＥＳ）、シーン判別部１０３は評価値決定処理を開始する。シーン判別部１０３はグループ毎にブロック領域の特徴情報を取得する（ステップＳ２０９）。ここで、特徴情報として、例えば、グループを構成するブロック領域における平均輝度値、グループにおけるブロック領域の数、その重心位置、およびグループを規定する上、下、左、および右端の座標などが用いられる。

そして、シーン判別部１０３はグループ毎の特徴情報に基づいて被写体評価値（第１の被写体評価値ともいう）を決定する（ステップＳ２１０）。例えば、シーン判別部１０３は、後述の７種類の項目に応じてそれぞれ重み（項目別評価値）を決定して、これら重みを互いに乗算して第１の被写体評価値を決定する。

図３は、第１の被写体評価値の決定の際に用いられる項目（第１の項目群：以下単に第１の項目ともいう）の一例を示す図である。図３（ａ）はグループの平均輝度値に応じた重みを示す図であり、図３（ｂ）はグループのブロック領域の数に応じた重みを示す図である。また、図３（ｃ）はグループを構成するブロック領域の重心の水平方向の位置に応じた重みを示す図であり、図３（ｄ）はグループを構成するブロック領域の重心の垂直方向の位置に応じた重みを示す図である。さらに、図３（ｅ）はグループの画面端（画像端）に接するブロック領域の数に応じた重みを示す図であり、図３（ｆ）はグループの形状に応じた重みを示す図である。加えて、図３（ｇ）は測光値に応じた重みを示す図である。

図３（ａ）〜図３（ｇ）の各々において、縦軸は重みを表し、重みは０〜１０の値をとるものとする。図３（ａ）において、横軸は平均輝度値を表し、図３（ｂ）において、横軸はブロック領域の数（ブロック数）を表す。図３（ｃ）において、横軸は画面（画像）中心から重心までの水平方向の距離を表し、図３（ｄ）において、横軸は画面（画像）の上部（上端）から重心までの垂直方向の距離を表す。図３（ｅ）において、横軸は画像の上、左、および右端に接するブロック数とグループを構成するブロック数との比を表し、図３（ｆ）において、横軸は縦サイズと横サイズとの比（縦横サイズ比）を表す。そして、図３（ｇ）において、横軸は測光値を表す。

図３（ａ）に示すように、グループの平均輝度値が低い方が低輝度の被写体である可能性が高いとしてその重みを大きくする。なお、平均輝度値が所定の輝度値以上では重みを一定とする（ここでは、重み＝０）。

図３（ｂ）に示すように、ブロック数が所定範囲より少ない場合には、物体の影など被写体でない可能性が高いとしてその重みを小さくする。同様に、ブロック数が所定範囲より大きい場合においてもその重みを小さくする。

自動露出制御機能を有するカメラにおいては、逆光シーンで被写体が画面内の大部分を占めていると、当該領域が適正になるように露出制御が行われる。このため、低輝度の被写体の輝度が高くなる方向に露出値が設定されることがある。そして、輝度値が高くなると低輝度の被写体であるか否かを判別することが困難となるため、ブロック数が所定範囲より大きい場合にはその重みを小さくする。

このように、図３（ｂ）では、ブロック数の増加につれてその重みが０から増加し、第１のブロック数になると重みが最大となる（重み＝１０）。そして、第１のブロック数から第２のブロック数までの所定範囲では重みは最大であり（重み＝１０）、第２のブロック数を過ぎると重みが低減する。ブロック数が第３のブロック数となると重みが最低となり（重み＝１０）、以降重みは最低となる（重み＝０）。

図３（ｃ）に示すように、重心位置が画面（画像）の水平方向において中心に近い方が周辺の背景ではなく被写体である可能性が高いとして重みを大きくする（重み＝１０）。そして、重心位置が中心から離れるにつれて重みが低減して、重心位置が中心から所定の距離だけ離れると、重みは最低とする（重み＝０）。

図３（ｄ）に示すように、重心位置が画面（画像）の垂直方向において下端に近くなると直立する人物などを撮影する画角である可能性が高いとみなして重みを最大とする（重み＝１０）。

つまり、図３（ｄ）においては、画面の上端から重心位置までの距離が所定の第１の距離以下では重みを最低とし（重み＝０）、所定の距離を過ぎると重みを逓増させる。そして、一旦重みを最大とした後（重み＝１０）、重みを距離に応じて低減させて、所定の第２の距離を過ぎると重みを最低とする（重み＝０）。

図３（ｅ）に示すように、画面（画像）の上端、画面の左端、および画面の右端に接するブロック数が多いと周辺の背景の可能性が高いとして重みを小さくする。

図示の例では、比率が低い場合には重みを最大として（重み＝１０）、続いて比率が増加するにつれて重みを低減させる。そして、比率が所定の比率となると重みを最低とする（重み＝０）。

図３（ｆ）において、グループの形状を決定する際には、まずグループの上端および下端の座標の差分から高さを求め、左端および右端の座標の差分から幅を求める。そして、高さと幅との比率からグループの縦横サイズ比率を決定する。

図３（ｆ）において、縦横サイズ比が小さいと、つまり、横サイズが大きく横長であると、直立している人物などとはその形状が大きく異なる。このため、低輝度の被写体である可能性が低いとして重みを小さくする。

図示の例では、縦横サイズ比が小さい場合には、重みを最低とし（重み＝０）、縦横サイズ比が増加すると、重みを逓増させる。そして、縦横サイズ比が所定の比となると、重みを最大とする（重み＝１０）。

なお、図３（ｆ）に示す例では、直立した人物の形状に近いと重みを大きくしたが、動物など人物以外における逆光シーンを対象とする場合には、図３（ｆ）とは異なる重み曲線を準備するようにしてもよい。この場合においても、縦横サイズ比が大きくなると重みを大きくする。

図３（ｇ）に示すように、撮影する際の測光値が低いと、夜景などのように画面全体に亘って低輝度領域が多く、逆光とは異なるシーンであるとして、重みを小さくする。

図示の例では、測光値が小さい場合には、重みを最低とし（重み＝０）、測光値が増加すると、重みを増加させる。そして、測光値が所定の測光値となると、重みを最大とする（重み＝１０）。

例えば、図３（ａ）で示したグループの平均輝度値に応じた重みと組み合わせて考えると、平均輝度値が低いグループが存在してかつ測光値が高ければ、日中シーンなどのように画面全体が明るい一方で低輝度の領域が存在することを表す。つまり、背景が明るいシーンに低輝度の被写体が存在する逆光シーンである可能性があるとみなすことが可能となる。

上述のようにして、グループ毎に図３（ａ）〜図３（ｇ）に示す重みを得て、これら重みを相互に乗算した結果が各グループにおける第１の被写体評価値となる。

続いて、シーン判別部１０３はグループ毎の特徴情報に基づいて背景評価値を決定する（ステップＳ２１１）。例えば、シーン判別部１０３は後述の３種類の項目に応じてそれぞれ重みを決定して、これら重みを相互に乗算して背景評価値を決定する。

図４は、背景評価値の決定の際に用いられる項目の一例を示す図である。そして、図４（ａ）はグループの平均輝度値に応じた重みを示す図であり、図４（ｂ）はグループのブロック領域の数に応じた重みを示す図である。また、図４（ｃ）はグループを構成するブロック領域の重心の垂直方向の位置に応じた重みを示す図である。

図４（ａ）〜図４（ｃ）の各々において、縦軸は重みを表し、重みは０〜１０の値をとるものとする。図４（ａ）において、横軸は平均輝度値を表し、図４（ｂ）において、横軸はブロック領域の数（ブロック数）を表す。図４（ｃ）において、横軸は画面（画像）の上部（上端）から重心までの垂直方向の距離を表す。

図４（ａ）に示すように、平均輝度値が高くなると、高輝度の背景である可能性が高いとして重みを大きくする。図示のように、平均輝度値が低い場合には、重みは最低であり（重み＝０）、所定の第１の輝度よりも輝度が大きくなると、重みが徐々に増加する。そして、輝度が所定の第２の輝度以上となると重みは最大となる（重み＝１０）。

図４（ｂ）に示すように、ここではブロック数が多いと画面（画像）に広がっている空などの背景である可能性が高いとして重みを大きくする。図示の例では、ブロック数が増加するにつれて重みが大きくなり、所定のブロック数以上となると重みが最大となる（重み＝１０）。

図４（ｃ）に示すように、重心位置が画面（画像）の上端に近くなると、画像中の上部に位置する空などの背景である可能性が高いとして重みを大きくする。ここでは、重心位置が画面の上端から所定の第１の距離までは重みを最大とし（重み＝１０）、重心位置が所定の第１の距離よりも遠くなると重みを徐々に低減する。そして、重心位置が第２の距離以上となると重みを最低する（重み＝０）。

上述のようにして、グループ毎に図４（ａ）〜図４（ｃ）に示す重みを得て、これら重みを相互に乗算した結果が各グループにおける背景評価値となる。

続いて、シーン判別部１０３は各グループの第１の被写体評価値および背景評価値から最も大きい第１の被写体評価値および最も大きい背景評価値を選択して、それぞれ全体被写体評価値および全体背景評価値とする（ステップＳ２１２）。

そして、シーン判別部１０３は、全体被写体評価値および全体背景評価値がそれぞれ予め設定された被写体評価閾値以上および背景評価閾値以上である場合に、撮影シーンが逆光シーンであると判別して（ステップＳ２１３）、シーン判別結果を出力する。そして、シーン判別部１０３はシーン判別処理を終了する。

なお、ここでは、全体被写体評価値および全体背景評価値がそれぞれ予め設定された被写体評価閾値以上および背景評価閾値以上である場合に、撮影シーンが逆光シーンであると判別するようにしているが、別の判別方法と組み合わせて逆光シーンを判別してもよい。例えば、全体被写体評価値が被写体評価閾値未満であっても、人物などの顔領域が検出されかつ顔領域の輝度値が予め設定した輝度閾値以下であると、シーン判別部１０３は撮影シーンが逆光シーンであると判別するようにしてもよい。

また、全体背景評価値が背景評価閾値未満であっても、画像中の上部の輝度値が画像全体の輝度値と比較して所定の輝度値以上に明るい場合には、シーン判別部１０３は撮影シーンが逆光シーンであると判別するようにしてもよい。

また、全体背景評価値が背景評価閾値未満であっても、輝度値が輝度閾値以上であるブロック領域の数が所定の数以上存在する場合には、シーン判別部１０３は撮影シーンが逆光シーンであると判別するようにしてもよい。

また、上述のように、全体被写体評価値および全体背景評価値に基づいて逆光シーンか否かの判別を行うとより精度よく判別を行うことができるが、全体被写体評価値のみに基づいて判別を行っても精度よく判別を行うことができる。

また、第１の被写体評価値を決定する際に図３に示したすべての項目の重みを用いなくてもよいし、全体背景評価値を決定する際に図４に示したすべての項目の重みを用いなくてもよい。

また、上述の図３および図４においては、項目毎の重みを０〜１０としたが、項目毎に重みの範囲を変えるようにしてもよい。

前述したように、第１の領域抽出部１０４は、シーン判別部１０３によるシーン判別結果に応じて領域の抽出を行う。領域の抽出を行う際、第１の領域抽出部１０４は被写体評価値の最大値を有する領域を抽出領域（グループ領域）とする。

次に、図１に示す第２の領域抽出部１０５における抽出処理について説明する。

図５は、図１に示す第２の領域抽出部１０５における抽出処理を説明するためのフローチャートである。

抽出処理を開始すると、第２の領域抽出部１０５は、画像処理部１０２の出力である画像データが示す画像を複数の領域（以下ブロックエリアと呼ぶ）に分割する（ステップＳ５０１）。ここでは、例えば、画像を横方向に２０分割、縦方向に１５分割して合計３００のブロックエリアを得る（ステップＳ５０２）。なお、分割数はシーン判別部１０３と同じであっても構わない。

次に、第２の領域抽出部１０５は各ブロックエリアにおいて画素が示す色相の平均値を算出して、この色相平均値を当該ブロックエリアの代表値とする（ステップＳ５０２）。そして、第２の領域抽出部１０５は各ブロックの代表値を要素とする色相ヒストグラムを作成する（ステップＳ５０３）。

色相ヒストグラムの作成に当たって、第２の領域抽出部１０５は、その彩度が所定の彩度閾値以上であるブロックエリアのみを用いて、色相ヒストグラムを作成する。つまり、彩度が所定の彩度閾値未満であるブロックエリアについては色相値の信頼性が低いので、当該ブロックエリアは色相ヒストグラムの作成に当たっては除外する。

続いて、第２の領域抽出部１０５は色相ヒストグラムに基づいて同一色のブロックエリアをグループ化して画像を分割する（ステップＳ５０４：色相による領域分割）。

図６は、図１に示す第２の領域抽出部１０５で行われるグループ化処理を説明するための図である。図６（ａ）は色相ヒストグラムにおいて同一色領域を調べる処理を示す図であり、図６（ｂ）はグループ化（グルーピング）処理済の領域を色相ヒストグラム上で示す図である。

色相による領域分割を行う際には、第２の領域抽出部１０５は色相ヒストグラムの全区間を走査して、その頻度（山）が最も高い山（Ｈｉｇｈｅｓｔ Ｐｅａｋ１）を見つける。（図６（ａ）参照）。続いて、第２の領域抽出部１０５は、最も高い山（Ｈｉｇｈｅｓｔ Ｐｅａｋ１）から左右両側の谷方向に向かって走査する。

第２の領域抽出部１０５は、色相ヒストグラムの頻度（山）が所定の頻度閾値（ＴＨ＿Ｆｒｅｑ）以下となるか又は最も高い山からの距離（区間距離）が所定の距離閾値（ＴＨ＿ＨｕｅＲａｎｇｅ）に達するまでの区間を同一の色領域の範囲とする。そして、第２の領域抽出部１０５はブロックエリアの代表値が当該範囲に含まれるブロックエリアを同一の領域であるとしてグループ化する。さらに、第２の領域抽出部１０５は当該区間をグルーピング処理済みとしてメモリ（図示せず）に記録する（図６（ｂ）参照）。

その後、第２の領域抽出部１０５はグルーピング処理済みの区間を除いて、色相ヒストグラムを再び走査する。第２の領域抽出部１０５は残りの色相ヒストグラム中で最も高い山を見つける（この山をＨｉｇｈｅｓｔ Ｐｅａｋ２とする）。このようにして、Ｈｉｇｈｅｓｔ Ｐｅａｋ２を見つけると、第２の領域抽出部１０５は、前述のようにしてグループ化処理を行う。

この際、山（Ｈｉｇｈｅｓｔ Ｐｅａｋ２）から谷方向に向かって走査した場合に、色相ヒストグラムの頻度が頻度閾値（ＴＨ＿Ｆｒｅｑ）以下となる区間に辿り着く前に、グルーピング処理済みの区間に達することも考えられる。その場合には、第２の領域抽出部１０５はそこまでの区間を同一の色領域の範囲とする。

このようにして、第２の領域抽出部１０５は色相ヒストグラムの全区間がグルーピング処理済みとされるまで上述の処理を繰り返す。この処理によって、第２の領域抽出部１０５は同一の色領域毎にブロックエリアをグループ化する。すなわち、シーン判別部１０３とは異なる特徴量に基づいてグループ化を行う。

図７は図１に示す第２の領域抽出部１０５で行われるラベリング処理を説明するための図である。

上述のようにして、グループ化処理を行った後、第２の領域抽出部１０５は、全てのブロックエリアを走査して、互いに隣接していない同一の色領域を別のグループとするラベリング処理を行う。

図７に示す例では、同一の色領域７０１および７０２は同一のグループにグループ化されているが、これらの色領域７０１および７０２は互いに隣接していないので、ラベリング処理を行うと、グループ”Ａ”とグループ”Ｂ”とに分けられる。

上記のラベリング処理によって、同一の色領域であるが、互いに離れている人物又は物体を、別のグループとして認識することが可能となる。

続いて、第２の領域抽出部１０５はステップＳ５０４の領域分割で得られたグループ領域の中から画面（画像）の上端、左端、又は右端に接触しているグループ領域を調べて、このグループ領域を背景領域と判定する（ステップＳ５０５）。そして、第２の領域抽出部１０５は背景領域を除外したグループ領域について、その位置、面積、および形状に応じてそれぞれ評価値を決定する（ステップＳ５０６）。

図８は、図１に示す第２の領域抽出部１０５で行われる評価値の決定を説明するための図であり、評価値を決定に用いる複数の項目（第２の項目群：以下単に第２の項目ともいう）の一例を示している。図８（ａ）は位置による評価値の決定を示す図であり、図８（ｂ）は面積による評価値の決定を示す図である。また、図８（ｃ）は形状による評価値の決定を示す図である。

図８（ａ）において、グループ領域の位置が画面（画像）の中心に近い方が評価値は大きくなる。図示の例では、画面の中心では評価値は”１００”であり、画面の中心から離れるにつれて評価値は低減する。そして、画面の中心からの距離が所定の距離（Ｔｈ１）となった後には、評価値は”２０”と一定になる。

図８（ｂ）において、グループ領域の面積の大きい方がほうが評価値が高くなる。図示の例では、面積が大きくなるにつれて評価値が逓増し、所定の面積（Ｔｈ２）となると、評価値は”１００”となる。そして、それ以降においては面積が増加しても評価値は一定となる。

このように、第２の領域抽出部１０５はグループ領域の位置および面積に応じてそれぞれ評価値を求める（ステップＳ５０６）。以下これらの評価値をそれぞれ位置評価値および面積評価値と呼ぶ。

次に、第２の領域抽出部１０５はグループ領域の形状に応じて評価値を決定する（ステップＳ５０７）。以下この評価値を形状評価値と呼ぶ。形状評価値を求める際には、まず、第２の領域抽出部１０５はグループ領域においてその重心を求めて、当該重心から最も遠いグループ領域の点と重心との距離を算出する。以下この距離を最遠点距離と呼ぶ。

最遠点距離を算出する際には、グループ領域の外縁に位置するいずれかのブロックエリアを始点として、所定のブロックエリア（注目ブロックエリアという）と重心との距離を算出する。そして、例えば、時計回りにグループ領域の外縁に位置するブロックエリアを辿ってグループ領域を一周しつつ、重心との距離を求める。このようにして求めた複数の距離のうち最も長い距離を最遠距離とする。

続いて、第２の領域抽出部１０５は偏平度を算出する。この偏平度は、グループ領域の重心を中心として最遠点距離を半径とする円の面積とグループ領域の面積との比によって求められる。具体的には、偏平度は次の式（１）によって求められる。

偏平度＝（（最遠点距離）^２）×π）／（グループ領域の面積） （１）
式（１）から、偏平度は、グループ領域の形状が細長く偏平であるほどその値が大きくなり、グループ領域の形状が円に近づくほど偏平度の値は小さくなる。

図８（ｃ）に示すように、形状による評価値（形状評価値と呼ぶ）は偏平度が高いグループ領域ほど小さくなる。図示の例では、偏平度が所定の第１の偏平度（Ｔｈ３）までは形状評価値は最も大きく（形状評価値＝１００）、第１の偏平度よりも偏平度が大きくなると、形状評価値は低減する。そして、偏平度が所定の第２の偏平度（Ｔｈ４）以上となると、形状評価値は最低となる（形状評価値＝２０）。

第２の領域抽出部１０５は上記の偏平度に基づいて、図８（ｃ）を参照して形状による評価値を決定する（ステップＳ５０７）。

次に、第２の領域抽出部１０５は、上述の位置評価値、面積評価値、および形状評価値を加算して、第２の被写体評価値とする（ステップＳ５０８）。そして、第２の領域抽出部１０５は第２の被写体評価値が最も高い領域を抽出して（ステップＳ５０９）、抽出処理を終了する。

図１に関連して説明したように、被写体領域決定部１０６は、シーン判別部１０３によるシーン判別結果が所定の撮影シーン（例えば、逆光シーン）である場合、第１の領域抽出部１０４によって抽出された領域を被写体領域として決定する。一方、シーン判別部１０３によるシーン判別結果が逆光シーンでないと、被写体領域決定部１０６は第２の領域抽出部１０５によって抽出された領域を被写体領域として決定することになる。

ここで、図１に示す撮像装置（カメラ）における被写体領域決定処理について具体的に説明する。

図９は、図１に示す撮像装置における領域分割結果を説明するための図である。図９（ａ）は逆光環境における撮影画像を示す図であり、図９（ｂ）は図１に示すシーン判別部１０３による領域分割結果を示す図である。また、図９（ｃ）は図１に示す第２の領域抽出部１０５における領域分割結果を示す図である。

図９（ａ）に示す撮影画像は人物９０１を被写体として逆光環境下で撮影されたものである。図９（ａ）に示す例では、壁９０３に設けられた窓９０２の前に人物が位置する。つまり、ここでは、窓９０２および壁９０３が背景である。

図２で説明したようにして、シーン判別部１０３は、図９（ａ）に示す撮影画像を複数のブロック領域に分割した後、これらブロック領域のグループ化を行って、図９（ｂ）に示す領域分割結果を得る。

図９（ｂ）において、グループ領域Ａ１は図９（ａ）に示す壁９０３に対応する領域である。また、グループ領域Ｂ１は図９（ａ）に示す窓９０２に対応する領域である。そしてむ、グループ領域Ｃ１は図９（ａ）に示す人物９０１に対応する領域である。シーン判別部１０３は、図２で説明したように、グループ領域の特徴情報に応じてグループ領域毎の第１の被写体評価値および背景評価値を求める。

図１０は領域抽出結果の一例を説明するための図である。図１０（ａ）は第１の被写体評価値の一例を示す図であり、図１０（ｂ）は背景評価値の一例を示す図である。また、図１０（ｃ）は第２の被写体評価値の一例を示す図である。

第１の被写体評価値は図１０（ａ）に示す各項目の重みを乗算して得られる。図示の例では、グループ領域Ａ１（壁）については画面端接触の重みが０であるから、第１の被写体評価値は０となる。また、グループ領域Ｂ１（窓）については、第１の被写体評価値は４８０００となり、グループ領域Ｃ１（人物）については第１の被写体評価値は８００００００となる。

背景評価値は図１０（ｂ）に示す各項目の重みを乗算して得られる。図示の例では、グループ領域Ａ１（壁）については、背景評価値は１２８となる。また、グループ領域Ｂ１（窓）については、背景評価値は５１２となり、グループ領域Ｃ１（人物）については、背景評価値は８となる。

シーン判別部１０３は、図２で説明したように、各グループ領域の第１の被写体評価値および背景評価値のうち最大の第１の被写体評価値および背景評価値を選択して、それぞれ全体被写体評価値および全体背景評価値とする。そして、シーン判別部１０３は全体被写体評価値および全体背景評価値がそれぞれ被写体評価閾値および背景評価閾値以上であると、撮影画像を得た撮影シーンが逆光シーンであると判別する。

図１０（ａ）および図１０（ｂ）に示す例では、グループ領域Ｃ１（人物）において第１の被写体評価値が最大となり、グループ領域Ｂ（窓）において背景評価値が最大となる。そして、これら第１の被写体評価値および背景評価値がそれぞれ被写体評価閾値および背景評価閾値以上であれば逆光シーンであると判別される。

続いて、前述したように、逆光シーンであると判別されると、第１の領域抽出部１０４は第１の被写体評価値が最も高いグループ領域Ｃ１（人物）を抽出領域とする。つまり、逆光シーンと判別されると、第１の領域抽出部１０４は適切に被写体が存在する可能性の高い領域を抽出することができる。

図５に関連して説明したように、第２の領域抽出部１０５では領域分割と背景領域の除外を行う。図９（ｃ）示す領域分割結果では、グループ領域Ｄは、図９（ａ）に示す壁９０３に対応する領域であり、グループ領域Ｅは、図９（ａ）に示す窓９０２に対応する領域である。そして、グループ領域Ｆは、図１０（ａ）に示す人物９０１に対応する領域である。図５で説明した背景領域の除外処理によって、ここではグループ領域Ｅ（窓）とグループ領域Ｆ（人物）とが残る。続いて、第２の領域抽出部１０５は前述のようにして第２の被写体評価値を求める。

図１０（ｃ）に示す第２の被写体評価値を求める際には、位置評価値、面積評価値、および形状評価が加算される。図示の例では、グループ領域Ｅ（窓）の第２の被写体評価値は２８０であり、グループ領域Ｆ（人物）の第２の被写体評価値は１４０である。

第２の領域抽出部１０５は第２の被写体評価値が最も高いグループ領域を抽出するので、図１０（ｃ）に示す例では、グループ領域Ｂ（窓）を抽出領域とする。つまり、図９に示したような撮影シーンにおいては、第２の領域抽出部１０５は被写体領域（人物領域）ではない領域を抽出してしまう。

続いて、被写体領域決定部１０６は、シーン判別部１０３によるシーン判別結果と第１および第２の領域抽出部１０４および１０５の領域抽出結果とに応じて、被写体領域を決定する。

シーン判別部１０３によって撮影シーンが逆光シーンであると判別されているので、ここでは、被写体領域決定部１０６は、第１領域抽出部１０４の抽出領域、つまり、図９（ｂ）に示すグループ領域Ｃ１（人物）を被写体領域として決定することになる。

以上のように、本発明の実施の形態によれば、撮影シーンが所定のシーン（例えば、逆光シーン）であると判別されると、シーン判別に用いた項目に基づいて被写体領域を決定するようにしたので、撮影シーンに応じて精度よく被写体領域を決定することができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、シーン判別部１０３でスポットライトシーンなどを判別した場合にも適用できる。この際は、画像の中心近傍の輝度値が所定値より高く、そして、中心から周辺に向かう輝度値の傾きがなだらかに単調減少するという条件を用いて、グループ領域がスポットシーンであるか否かを判別する。

シーン判別部１０３によって撮影シーンがスポットライトシーンであると判別されると、第１の領域抽出部１０４は、輝度値が所定値より高く、周辺に向かう輝度値の傾きがなだらかに単調減少するという判定条件を用いて、スポットライト領域を抽出する。スポットライトシーンにおいては、被写体に対してスポットライトが当てられている可能性が高く、前述のように抽出したスポットライト領域に被写体が存在する可能性が高い。

そのため、このようにすれば、撮影シーンがスポットライトシーンである場合でも、当該シーンに応じて精度よく被写体領域を決定することができる。

また、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

この際、制御方法および制御プログラムの各々は、少なくともシーン判別ステップ、第１の領域抽出ステップ、第２の領域抽出ステップ、および被写体領域決定ステップを有することになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像信号入力部
１０２ 画像処理部
１０３ シーン判別部
１０４ 第１の領域抽出部
１０５ 第２の領域抽出部
１０６ 被写体領域決定部
１０７ 被写体領域決定結果出力部

Claims (7)

1. 被写体を撮像して画像データを取得する撮像装置であって、
   予め設定された判別条件に応じて前記画像データを得た撮影シーンが所定のシーンであるか否かを判別するシーン判別手段と、
   前記画像データが示す画像を分割して得られた複数の領域から、前記シーン判別手段がシーン判別に用いた項目群と同じ第１の項目群に基づいて、第１の領域を抽出する第１の領域抽出手段と、
   前記複数の領域から、前記第１の項目群とは異なる第２の項目群に基づいて第２の領域を抽出する第２の領域抽出手段と、
   前記シーン判別手段によって前記撮影シーンが前記所定のシーンであると判別された場合、前記第１の領域を前記被写体が存在する領域とし、前記シーン判別手段によって前記撮影シーンが前記所定のシーンでないと判別された場合、前記第２の領域を前記被写体が存在する領域とする被写体領域決定手段と、を有することを特徴とする撮像装置。
2. 前記シーン判別手段は、前記複数の領域の各々について前記画像データに基づいてその特徴量を決定し、前記特徴量に応じて前記複数の領域をグループ化して、グループ化されたグループに属する領域の輝度、当該グループの重心の前記画像の垂直方向の位置、および当該グループの重心の前記画像の水平方向の位置を少なくとも含む複数の項目に基づいて、前記撮影シーンが前記所定のシーンであるか否かを判別することを特徴とする請求項１に記載の撮像装置。
3. 前記シーン判別手段は、グループ化されたグループについて、当該グループに属する領域の輝度、当該グループの重心の前記画像の垂直方向の位置、および当該グループの重心の前記画像の水平方向の位置を少なくとも含む複数の項目に基づいて当該グループの評価値を決定し、決定した評価値に基づいて前記撮影シーンが前記所定のシーンであるか否かを判別することを特徴とする請求項２に記載の撮像装置。
4. 前記シーン判別手段は、グループ化された複数のグループのそれぞれに対して決定した評価値のうち、最も値の大きい評価値が所定の閾値以上の場合、前記画像データを得た撮影シーンが逆光シーンであると判別し、
   前記第１の領域抽出手段は、最も評価値の値が大きいグループを第１の領域とすることを特徴とする請求項３に記載の撮像装置。
5. 前記第２の領域抽出手段は、前記シーン判別手段が用いた特徴量とは異なる特徴量に応じて前記画像データが示す画像を分割した複数の領域をグループ化して、グループ化されたグループについて、当該グループの前記画像の中の位置、当該グループの大きさ、および当該グループの形状を少なくとも含む複数の項目に基づいて、前記第２の領域を抽出することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 被写体を撮像して画像データを取得する撮像装置の制御方法であって、
   予め設定された判別条件に応じて前記画像データを得た撮影シーンが所定のシーンであるか否かを判別するシーン判別ステップと、
   前記画像データが示す画像を分割して得られた複数の領域から、前記シーン判別ステップでシーン判別に用いた項目群と同じ第１の項目群に基づいて、第１の領域を抽出する第１の領域抽出ステップと、
   前記複数の領域から、前記第１の項目群とは異なる第２の項目群に基づいて第２の領域を抽出する第２の領域抽出ステップと、
   前記シーン判別ステップで前記撮影シーンが前記所定のシーンであると判別された場合、前記第１の領域を前記被写体が存在する領域とし、前記シーン判別ステップで前記撮影シーンが前記所定のシーンでないと判別された場合、前記第２の領域を前記被写体が存在する領域とする被写体領域決定ステップと、を有することを特徴とする撮像装置の制御方法。
7. 被写体を撮像して画像データを取得する撮像装置で用いられる制御プログラムであって、
   前記撮像装置が備えるコンピュータに、
   予め設定された判別条件に応じて前記画像データを得た撮影シーンが所定のシーンであるか否かを判別するシーン判別ステップと、
   前記画像データが示す画像を分割して得られた複数の領域から、前記シーン判別ステップでシーン判別に用いた項目群と同じ第１の項目群に基づいて、第１の領域を抽出する第１の領域抽出ステップと、
   前記複数の領域から、前記第１の項目群とは異なる第２の項目群に基づいて第２の領域を抽出する第２の領域抽出ステップと、
   前記シーン判別ステップで前記撮影シーンが前記所定のシーンであると判別された場合、前記第１の領域を前記被写体が存在する領域とし、前記シーン判別ステップで前記撮影シーンが前記所定のシーンでないと判別された場合、前記第２の領域を前記被写体が存在する領域とする被写体領域決定ステップと、を実行させることを特徴とする制御プログラム。

Images