JP6188360B2 - 画像処理装置、その制御方法、および制御プログラム、並びに判別装置 - Google Patents

Description

本発明は、画像処理装置、その制御方法、および制御プログラム、並びに判別装置に関し、特に、電子スチルカメラなどの撮像装置で用いられ、撮影の結果得られた画像から得られた特徴量に応じて特定の被写体を示す被写体領域を抽出する画像処理装置に関する。

一般に、電子スチルカメラなどの撮像装置による撮影の結果得られた画像から得られた特徴量を用いて、画像から特定の被写体領域を抽出する画像処理装置が知られている。そして、当該被写体領域から被写体の種別、画像上の位置、およびその大きさなどの被写体情報を得て、当該被写体情報に応じてオートフォーカスおよびオート露出制御などを行うようにしている。

例えば、被写体領域として空を示す空領域を抽出する場合には、無彩色又は青色を示しエッジを有しないという特徴量に応じて空領域の抽出が行われる。

ところが、上述の特徴量に対して同等な特徴量を示す被写体が存在する画像においては、所定の固定化されたパラメータを用いて所望の領域を正しく抽出することは困難である。そこで、画像が撮影された環境を考慮して、画像から被写体領域を適正に検出して抽出するようにした手法がある。

例えば、複数の特徴量マップを作成して、これら特徴量マップを撮影モードなどの撮像環境に対応付けて重み付けして得られた特徴分布に応じて、特定の被写体領域を検出する画像処理装置がある（特許文献１参照）。

さらに、被写体の３次元的な配置位置、撮像装置から被写体までの距離、および明るさなどから撮影シーンの判別を行って、撮影の際のユーザの設定負荷を軽減するようにした撮像装置が知られている（特許文献２参照）。

特開２０１１−５４０７１号公報 特開２０１１−２９７６３号公報

ところで、特許文献１に記載のように、撮影モードに応じて特徴量の重み付けを変更する手法では、当該画像が屋内外のいずれにおいて撮影されたかについて正確に把握できないことがある。このため、特許文献１においては、特定の被写体を誤検出することがある。撮影の際にはユーザが撮影モードの設定を行う必要があり、ユーザによる設定負荷が増大してしまう。

また、特許文献２に記載の手法では、照明光などの影響があると屋内外のいずれにおいて撮影されたかを正確に把握できず、撮影シーンの判別が困難となって、特定の被写体領域を誤検出する恐れがある。

このように、特許文献１および２ともに、特定の被写体に類似する被写体が存在する撮影シーンにおいては、特定の被写体を誤検出する可能性が高い。

従って、本発明の目的は、特定の被写体領域と類似する被写体領域が存在する撮影シーンにおいても、誤判別を抑えて特定の被写体領域を抽出することができる画像処理装置、その制御方法、および制御プログラム、並びに判別装置を提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、複数の被写体を撮影して得られた画像において前記複数の被写体をそれぞれ互いに異なる被写体領域として判別する画像処理装置であって、前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得手段と、前記画像を複数のブロック領域に分割する画像分割手段と、前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出手段と、前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するかを判別する領域判別手段と、を有することを特徴とする。

本発明による制御方法は、複数の被写体を撮影して得られた画像において前記複数の被写体をそれぞれ互いに異なる被写体領域として判別する画像処理装置の制御方法であって、前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得ステップと、前記画像を複数のブロック領域に分割する画像分割ステップと、前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出ステップと、前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するかを判別する領域判別ステップと、を有することを特徴とする。

本発明による制御プログラムは、複数の被写体を撮影して得られた画像において前記複数の被写体をそれぞれ互いに異なる被写体領域として判別する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得ステップと、前記画像を複数のブロック領域に分割する画像分割ステップと、前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出ステップと、前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するかを判別する領域判別ステップと、を実行させることを特徴とする。

本発明によれば、画像を撮影した撮影シーンを示す撮影評価値を取得して、ブロック領域毎の特徴量にくわえて、当該撮影評価値を考慮してブロック領域がいずれの被写体領域に属するかを判別するようにしたので、特定の被写体領域と類似する被写体領域が存在する撮影シーンにおいても、誤判別を抑えて特定の被写体領域を検出して抽出することができる。

本発明の実施の形態による画像処理装置の一例についてその構成を示すブロック図である。 図１に示す画像処理装置による画像の領域判別を説明するためのフローチャートである。 図２に示す撮影評価値取得処理を説明するためのフローチャートである。 図１に示す画像処理装置で用いられる色温度と色評価値との関係を示す色評価値テーブルの一例を示す図である。 図１に示す画像分割部に入力される画像と領域分割後の画像の一例を説明するための図であり、（Ａ）は画像分割部に入力される画像の一例を示す図、（Ｂ）は（Ａ）に示す画像を領域分割した画像を示す図、（Ｃ）は画像分割部に入力される画像の他の例を示す図、（Ｄ）は（Ｃ）に示す画像を領域分割した画像を示す図である。 図５に示す分割画像の１つについてその左上隅に位置するブロック領域における輝度値および色相値のヒストグラムを算出した結果の一例を示す図であり、（Ａ）は輝度ヒストグラムを示す図、（Ｂ）は色相ヒストグラムを示す図である。 図１に示す領域判別部で行われる領域判別処理を説明するためのフローチャートである。 第１の被写体領域について図１に示す特徴量算出部で算出された特徴量とその信頼度との関係を説明するための図であり、（Ａ）は輝度ヒストグラムのピーク値と信頼度との関係を示す図、（Ｂ）は色相ヒストグラムのピーク値と信頼度との関係を示す図、（Ｃ）はエッジ量と信頼度との関係を示す図である。 第２の被写体領域について図１に示す特徴量算出部で算出された特徴量とその信頼度との関係を説明するための図であり、（Ａ）は色相ヒストグラムのピーク値と信頼度との関係を示す図、（Ｂ）はエッジ量と信頼度との関係を示す図である。 図１に示す領域判別部による領域判別処理によって得られた画像の一例を示す図であり、（Ａ）は図５（Ｂ）に示す画像を領域判別処理した画像を示す図、（Ｂ）は図５（Ｄ）に示す画像を領域判別処理した画像を示す図である。 屋内および日中の屋外で撮影した複数枚の画像から求めた被写体測光値と推定色温度との関係を示す図である。 図１に示す評価値取得部で求められる撮影評価値の他の例を説明するための図であり、（Ａ）は図１に示す画像取得部が取得した撮影画像一例を示す図、（Ｂ）は分割領域毎の撮影評価値を示す図である。 図１２（Ｂ）に示す撮影評価値を用いて画像の領域判別を行った結果得られた画像の一例を示す図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による画像処理装置の一例についてその構成を示すブロック図である。

図示の画像処理装置は、例えば、電子スチルカメラなどの撮像装置で用いられる。図示はしないが、撮像装置では撮影の際には撮影シーンに応じてシッタースピード、絞り値、およびホワイトバランスなどの撮影条件が設定される。この撮影条件を設定する際には、後述する撮影評価値が用いられる。撮像装置はＣＭＯＳイメージセンサなどの撮像素子を備えており、撮影レンズユニットを介して撮像素子に被写体像（光学像）が結像される。撮像素子は光学像に応じた電気信号（アナログ信号）を出力し、このアナログ信号はＡ／Ｄ変換部によってデジタル信号に変換されて、画像処理装置に与えられる。

画像処理装置は評価値取得部１００、画像取得部１１０、画像分割部１２０、特徴量算出部１３０、および領域判別部１４０を備えており、上記のデジタル信号が撮影画像として評価値取得部１００および画像取得部１１０に与えられる。そして、画像処理装置１００は撮影画像における被写体領域を判別して領域判別結果を出力する。

評価値取得部１１０は撮影画像を受けて、後述するようにして撮影シーンに応じた撮影条件を設定するための撮影評価値を求めて、当該撮影評価値を画像取得部１１０および領域判別部１４０に与える。画像取得部１１０は撮影評価値に応じて撮影画像に対して所定の信号処理を施して画像データとして出力する。そして、この画像データは画像分割部１２０に与えられる。

画像分割部１２０は、画像データが示す画像を所定の大きさのブロック領域（例えば、１２×８個のブロック領域）に分割して、特徴量算出部１３０および領域判別部１４０にこれらブロック領域に分割された画像を出力する。特徴量算出部１３０はブロック領域の各々について、後述するように、輝度および色相のヒストグラム情報とエッジ量とを特徴量として求める。そして、特徴量算出部１３０は当該特徴量を領域判別部１４０に与える。

領域判別部１４０は、撮影評価値および特徴量に応じて、後述するようにブロック領域の各々について当該ブロック領域が特定の被写体を示す被写体領域であるか否かを判定して、領域判別結果を出力する。

図２は、図１に示す画像処理装置による画像の領域判別を説明するためのフローチャートである。

いま、画像処理装置に撮影画像が順次入力されて画像の領域判別が開始されると、評価値取得部１００は、後述するようにして撮影画像に応じて色温度および被写体輝度を撮影評価値として算出する（ステップＳ２００：撮影評価値取得）。そして、画像取得部１１０は、撮影評価値に基づいてシャッタースピード、絞り値、およびホワイトバランスなどの撮影条件を設定して、撮像画像に対して撮影条件に応じた所定の信号処理を施して画像データを生成する。

図３は、図２に示す撮影評価値取得処理を説明するためのフローチャートである。

撮影評価値取得処理を開始すると、評価値取得部１００は、まず撮影画像についてその色温度を求める（ステップＳ２０１：色温度取得）。ここでは、評価値取得部１００は撮影画像３００および３２０について、撮影の際の光源下における色温度を推定する処理を行う（例えば、特開２００８−２８９２４号公報参照）。

図４は、図１に示す画像処理装置で用いられる色温度と色評価値との関係を示す色評価値テーブルの一例を示す図である。

図４に示す色評価値テーブルは予め評価値取得部１００に設定されており、図４において縦軸は色温度を示し、横軸は色評価値（Ｃｘ）を示す。評価値取得部１００は、例えば、白サーチ処理、つまり、白色の領域を検出する処理を行って、色領域毎の色評価値を得る。そして、評価値取得部１００は全ての白領域についてその色評価値を平均して平均値を求めて、色評価値テーブルを参照して当該色評価値Ｃｘの平均値に対応する色温度（推定色温度）ＣＴｅｍｐを得る。

続いて、評価値取得部１００は、撮影画像３００および３２０について撮影の際における被写体の測光値を算出する処理を行う（ステップＳ２０２：被写体測光値取得）。例えば、評価値取得部１００は測光モードに応じて得られた露出値Ｅｖとプログラム線図とを用いて、絞り値Ａｖおよびシャッタースピード値Ｔｖを算出する。そして、評価値取得部１００は絞り値Ａｖおよびシャッタースピード値ＴｖとＩＳＯ感度値Ｓｖとを用いて、次の式（１）に基づいて被写体測光値Ｂｖを算出する（例えば、特開２００３−１２５２８３号公報参照）。

Ｂｖ＝Ａｖ＋Ｔｖ−Ｓｖ （１）
評価値取得部１００は、上述の推定色温度ＣＴｅｍｐおよび被写体測光値Ｂｖを撮影評価値として画像取得部１１０および領域判別部１４０に出力して、撮影評価値取得処理を終了する。

図５は、図１に示す画像分割部１２０に入力される画像と領域分割後の画像の一例を説明するための図である。そして、図５（Ａ）は画像分割部１２０に入力される画像の一例を示す図であり、図５（Ｂ）は図５（Ａ）に示す画像を領域分割した画像を示す図である。また、図５（Ｃ）は画像分割部１２０に入力される画像の他の例を示す図であり、図５（Ｄ）は図５（Ｃ）に示す画像を領域分割した画像を示す図である。

図５（Ａ）に示す画像３００においては、人物３００ａ、木３３０ｂ、および空３００ｃなどが存在し、図５（Ｃ）に示す画像３２０においては、人物３２０ａ、光源３２０ｂ、および壁３２０ｃなどが存在する。

図２および図５を参照して、ここでは、画像取得部１１０は図５に示す画像３００および３２０を出力するものとする。画像取得部１１０から画像（画像データ）を受けると、画像分割部１２０は画像３００および３２０の各々を１２×８個のブロック領域３００ｄおよび３２０ｄに分割する分割処理を行って画像３１０および３３０（以下分割画像と呼ぶ）を得る（ステップＳ２１０）。そして、画像分割部１２０は当該分割画像３１０および３３０を特徴量算出部１３０および領域判別部１４０に出力する。

分割画像３１０および３２０を受けると、特徴量算出部１３０は分割画像３１０および３３０の各々の各ブロック領域についてその特徴量を算出する（ステップＳ２２０）。ここでは、特徴量算出部１３０は分割画像３１０および３３０の各々の各ブロック領域について画素毎の輝度値および色相値を求める。そして、特徴量算出部１３０はブロック領域毎に輝度値および色相値のヒストグラムを算出してヒストグラム情報を得る。

特徴量算出部１３０は、輝度値および色相値を算出する際、画素毎のＲ（赤）、Ｇ（緑）、およびＢ（青）の値を用いて次の式（２）および式（３）によってそれぞれ輝度値Ｙおよび色相値Ｈを算出する。

色相値Ｈとして、色相環上では赤は０、緑は１２０、そして、青は２４０を有する。なお、各画素がＲＧＢの値の全てを有しない、例えば、ベイヤー配列である場合には、特徴量算出部１３０は同時化処理を行った後、上述の演算を行う。

図６は、図５に示す分割画像の１つについてその左上隅に位置するブロック領域における輝度値および色相値のヒストグラムを算出した結果の一例を示す図である。そして、図６（Ａ）は輝度ヒストグラムを示す図であり、図６（Ｂ）は色相ヒストグラムを示す図である。

図６において、図示の例では、輝度値Ｙが２００付近でその頻度数が最大となっており、色相値Ｙが１８０付近でその頻度数が最大となっていることが分かる。

さらに、特徴量算出部１３０はブロック領域毎にそのエッジを抽出して積分する処理を行う。例えば、特徴量算出部１３０は上記の輝度値（Ｙ信号）に対して、水平および垂直方向それぞれに［−１ ０ ２ ０ −１］などのフィルタ処理を行った信号を加算して、当該加算結果をブロック領域の全体で積分してエッジ量を得る。

そして、特徴量算出部１３０は上記のヒストグラム情報およびブロック領域毎のエッジ量を特徴量として領域判別部１４０に出力する。なお、上記のエッジの抽出は一例であって、上述した手法以外の既知の手法を用いるようにしてもよい。

次に、領域判別部１４０は、前述の撮影評価値およびブロック領域毎の特徴量に基づいて分割画像３１０および３３０のブロック領域毎に当該ブロック領域が特定の被写体（例えば、空又は樹木）を示す被写体領域に属するか否かを判別する領域判別処理を行う（ステップＳ２３０）。

図７は、図１に示す領域判別部１４０で行われる領域判別処理を説明するためのフローチャートである。

領域判別処理を開始すると、領域判別部１４０はまず全てのブロック領域について当該ブロック領域が特定の被写体を示す被写体領域（以下特定被写体領域と呼ぶ）に属するか否かの判別処理が済んでいるか否かを判定する（ステップＳ２３１）。全てのブロック領域について判別処理が済んでいると（ステップＳ２３１において、ＹＥＳ）、領域判別部１４０は領域判別処理を終了する。

一方、全てのブロック領域について判別処理が済んでいないと（ステップＳ２３１において、ＮＯ）、領域判別部１４０は判別処理の済んでいないブロック領域について、当該ブロック領域が特定被写体領域である第１の被写体領域（ここでは、空領域）に属するか否かを判定する（ステップＳ２３２）。例えば、まず、領域判別部１４０はエッジ量、輝度ヒストグラムのピーク値、および色相ヒストグラムのピーク値に基づいて、ブロック領域が第１の被写体領域（空領域）である信頼度を算出する。

図８は、第１の被写体領域について図１に示す特徴量算出部１３０で算出された特徴量とその信頼度との関係を説明するための図である。そして、図８（Ａ）は輝度ヒストグラムのピーク値（Ｙ＿Ｈｓｔ）と信頼度との関係を示す図であり、図８（Ｂ）は色相ヒストグラムのピーク値（Ｈ＿Ｈｓｔ）と信頼度との関係を示す図である。また、図８（Ｃ）はエッジ量（Ｅ＿ｉｔｇ）と信頼度との関係を示す図である。

図８において、縦軸の信頼度は最大値を１とするスコアであり、横軸はそれぞれ輝度ヒストグラムのピーク値（Ｙ＿Ｈｓｔ）、色相ヒストグラムのピーク値（Ｈ＿Ｈｓｔ）、およびエッジ量（Ｅ＿ｉｔｇ）を示す。図８に示すように、高輝度である程、そして、青色又は無彩色であり、エッジ量が低い程スコアが高くなることが分かる。

領域判別部１４０は図８（Ａ）〜図８（Ｃ）に示す関係に応じて、特徴量算出部１２０で求められた特徴量、つまり、Ｙ＿Ｈｓｔ、Ｈ＿Ｈｓｔ、およびＥ＿ｉｔｇに応じてその信頼度ａ、ｂ、およびｃを得る。そして、領域判別部１４０はこれら信頼度ａ、ｂ、およびｃを乗算した乗算結果を最終的な信頼度とする。

なお、上述の例は、ブロック領域が空領域に属するか否かを判別するための判別条件の一例であって、この例に限られるものではない。また、図８に示す関係は信頼度テーブルとして領域判別部１４０に予め設定されている。つまり、信頼度テーブルには、輝度、色相、およびエッジ量と被写体のいずれかであるかの信頼度との関係が規定されている。

領域判別部１４０は、ブロック領域においてそのエッジ量が所定のエッジ閾値よりも小さく（エッジ量少）、かつ輝度が所定の輝度閾値よりも高いか（高輝度か）又は色相が青（又は無彩色）であるか否かを示す空領域判定条件を満足するか否かを判定する。空領域判定条件を満足すると、つまり、空領域の信頼度を満足すると（ステップＳ２３２において、ＹＥＳ）、領域判別部１４０は、当該ブロック領域が空領域に属すると判別する（ステップＳ２３３）。そして、領域判別部１３０はステップＳ２３１の処理に戻る。

空領域判定条件を満足しないと（ステップＳ２３２において、ＮＯ）、領域判別部１４０は、当該ブロック領域が特定被写体領域である第２の被写体領域（ここでは、森などの木領域）に属するか否かを判定する（ステップＳ２３４）。例えば、領域判別部１４０はエッジ量および輝度ヒストグラムのピーク値に基づいてブロック領域が第２の被写体領域（木領域）である信頼度を算出する。

図９は、第２の被写体領域について図１に示す特徴量算出部１３０で算出された特徴量とその信頼度との関係を説明するための図である。そして、図９（Ａ）は色相ヒストグラムのピーク値（Ｈ＿Ｈｓｔ）と信頼度との関係を示す図であり、図９（Ｂ）はエッジ量（Ｅ＿ｉｔｇ）と信頼度との関係を示す図である。

図９において、縦軸の信頼度は最大値を１とするスコアであり、横軸はそれぞれ色相ヒストグラムのピーク値（Ｈ＿Ｈｓｔ）およびエッジ量（Ｅ＿ｉｔｇ）を示す。図９に示すように、色相のピーク値が所定の範囲であるとそのスコアが高くなり、エッジ量が高い程そのスコアが高くなることが分かる。

領域判別部１４０は図９（Ａ）および図９（Ｂ）に示す関係に応じて、特徴量算出部１２０で求められた特徴量、つまり、Ｈ＿ＨｓｔおよびＥ＿ｉｔｇに応じてその信頼度ｄおよびｅを得る。そして、領域判別部１４０はこれら信頼度ｄおよびｅを乗算した乗算結果を最終的な信頼度とする。なお、上述の例は、ブロック領域が木領域に属するか否かを判別するための判別条件の一例であって、この例に限られるものではない。

領域判別部１４０は、ブロック領域においてそのエッジ量が所定のエッジ閾値よりも大きく（エッジ量大）、かつ色相が緑であるか否かを示す木領域判定条件を満足するか否かを判定する。木領域判定条件を満足すると、つまり、木領域の信頼度を満足すると（ステップＳ２３４において、ＹＥＳ）、領域判別部１４０は、当該ブロック領域が木領域に属すると判別する（ステップＳ２３５）。そして、領域判別部１３０はステップＳ２３１の処理に戻る。

なお、木領域の信頼度を満足しないと（ステップＳ２３４において、ＹＥＳ）、領域判別部１４０は、当該ブロック領域が木領域に属しないと判別して、ステップＳ２３１の処理に戻る。

図１０は、図１に示す領域判別部１４０による領域判別処理によって得られた画像の一例を示す図である。そして、図１０（Ａ）は図５（Ｂ）に示す画像３１０を領域判別処理した画像を示す図であり、図１０（Ｂ）は図５（Ｄ）に示す画像３３０を領域判別処理した画像を示す図である。

画像８００および８２０はそれぞれ分割画像３１０および３３０（つまり、画像３００および３２０）を領域判別処理した画像である。図１０において、斜線が施された領域８００ａおよび８２０ａは空領域、点が施された領域８００ｂおよび８２０ｂは木領域と判別された領域である。図示のように、画像３００については空領域および木領域が正しく判別されているのに対して、画像３２０においては、例えば水色の壁３２０ｃ又は緑色の額縁３２０ｅがそれぞれ空領域および木領域と判別されている。このように誤判別が生じるのは、壁および額縁が有する特徴量が空および木と類似していることが原因であると考えられる。

再び図２を参照して、上述のようにして、領域判別処理を行った後、領域判別部１４０は撮影評価値（つまり、被写体測光値Ｂｖおよび推定色温度ＣＴｅｍｐ）に基づいて領域判別処理結果の変更処理を行う。

図１１は、屋内および日中の屋外で撮影した複数枚の画像から求めた被写体測光値Ｂｖと推定色温度ＣＴｅｍｐとの関係を示す図である。

図１１において、横軸は被写体測光値Ｂｖを示し、縦軸は推定色温度ＣＴｅｍｐを示す。図示のように、統計的に屋内で撮影された画像は被写体測光値Ｂｖが低くさらに推定色温度ＣＴｅｍｐも低いことが分かる。つまり、被写体測光値Ｂｖが所定の測光閾値よりも低く、かつ推定色温度ＣＴｅｍｐが所定の色温度閾値よりも低い場合には、撮影シーンが日中の明るい屋外であるよりも室内又は夜である可能性が高い。

そこで、領域判別部１４０は領域判別処理結果についてそのブロック領域毎に被写体測光値が所定の測光閾値よりも低く（被写体測光値低）、かつ推定色温度が所定の色温度閾値よりも低いか（色温度低）否かを判定する（ステップＳ２４０）。

ブロック領域において被写体測光値が低であり、かつ推定色温度が低であると（ステップＳ２４０において、ＹＥＳ）、領域判別部１４０は当該ブロック領域について空領域および木領域であるとする信頼度を低下させる処理を行う（ステップＳ２５０）。つまり、領域判別部１４０は被写体測光値が小さい程、そして、色温度が小さい程、領域判別処理結果において空領域又は木領域であると判別されたブロック領域について信頼度を低く設定する処理を行う。

ここでは、被写体測光値が所定の測光閾値未満であり、かつ推定色温度が所定の色温度閾値未満であると（ステップＳ２４０において、ＹＥＳ）、領域判別部１４０は、ステップＳ２５０の処理に移行して空領域又は木領域であると判別されたブロック領域についてその信頼度を低く設定する。

一方、被写体測光値が所定の測光閾値以上であるか又は推定色温度が所定の色温度閾値以上であると（ステップＳ２４０において、ＮＯ）、領域判別部１４０は領域判別処理結果を領域判別結果として出力して、画像における領域判別を終了する。

例えば、空領域又は木領域であると判別されたブロック領域について、領域判別部１４０は被写体測光値Ｂｖに応じた第１の信頼度係数αを求める。ここでは、被写体測光値Ｂｖが６以上であれば、領域判別部１４０は第１の信頼度係数α＝１とする。また、被写体測光値Ｂｖが４以下であれば、領域判別部１４０は第１の信頼度係数α＝０とする。そして、被写体測光値Ｂｖが上述の範囲以外であると、領域判別部１４０は第１の信頼度係数α＝（Ｂｖ−４）／２とする。

同様に、空領域又は木領域であると判別されたブロック領域について、領域判別部１４０は推定色温度ＣＴｅｍｐに応じた第２の信頼度係数βを求める。ここでは、推定色温度ＣＴｅｍｐが５０００以上であれば、領域判別部１４０は第２の信頼度係数β＝１とする。また、推定色温度ＣＴｅｍｐが３０００以下であれば、領域判別部１４０は第２の信頼度係数β＝０とする。そして、推定色温度ＣＴｅｍｐが上述の範囲以外であると、領域判別部１４０は第２の信頼度係数β＝（ＣＴｅｍｐ−３０００）／２０００とする。

続いて、ステップＳ２５０では、領域判別部１４０は、図７のステップＳ２３２において求めた空領域の信頼度に第１および第２の信頼度係数αおよびβを乗算して、空領域であると判別されたブロック領域に係る修正信頼度（修正空領域信頼度）を求める。同様にして、領域判別部１４０は、図７のステップＳ２３４において求めた木領域の信頼度に第１および第２の信頼度係数αおよびβを乗算して、木領域であると判別されたブロック領域に係る修正信頼度（修正木領域信頼度）を求める。

次に、領域判別部１４０は、修正空領域信頼度および修正木領域信頼度に基づいて、図７で説明した領域判別処理を再度行って、領域判別処理結果を得る。そして、領域判別部１４０は当該領域判別処理結果を領域判別結果として出力して、画像における領域判別を終了する。

ところで、図５（Ａ）に示す撮影画像３００を撮影した撮影シーンでは、その光源が晴天時における太陽光であるので、例えば、被写体測光値Ｂｖ＝１０、推定色温度ＣＴｅｍｐ＝７０００が得られる。この結果、第１の信頼度係数αと第２の信頼度係数βとを乗算した乗算結果＝１×１＝１となる。

一方、図５（Ｃ）に示す撮影画像３２０を撮影した撮影シーンでは、その光源が室内の蛍光灯であるので、被写体測光値Ｂｖ＝４．５、推定色温度ＣＴｅｍｐ＝３０００が得られる。この結果、第１の信頼度係数αと第２の信頼度係数βとを乗算した乗算結果＝０．２５×０＝０となる。よって、撮影画像３２０においては、修正空領域信頼度および修正木領域信頼度ともに０となって、空領域又は木領域と判別されたブロック領域は空領域又は木領域に属しないと判別されることになる。

このように、本発明の実施の形態では、検出すべき特定の被写体領域と類似する特徴量を有する別の被写体領域が画像に存在する場合においても、撮影の際に取得した撮影評価値を用いて信頼度を修正して領域判別を行うようにしたので、特定の被写体領域の誤判別を抑えることができる。

上述の実施の形態では、撮影の際の撮影シーンを評価する撮影評価値を撮影画像に応じて算出するハードウェアを備えているが、例えば、Ｅｘｉｆ情報に記録された絞り値Ａｖ値およびシャッタースピード値Ｔｖなどに基づいてソフトウェアによって撮影評価値を算出するようにしてもよい。

さらに、上述の実施の形態では、入力画像（撮影画像）を同一のサイズのブロック領域に分割して当該ブロック領域毎に領域判別を行うようにしたが、撮影画像からエッジを抽出して、当該エッジに基づいて領域分割を行って領域判別を行うとようにしてもよい。これによって、エッジをあまり含まない所謂平坦な画像においては分割領域の数が少なくなって、領域判別に要する処理時間を短縮することができる。

また、上述の実施の形態では、撮影評価値に応じて一つの画像に対して一律に信頼度係数を適用するようにしたが、撮影評価値に応じて分割領域毎に信頼度を算出して、判別結果に反映させるようにしてもよい。

図１２は、図１に示す評価値取得部１００で求められる撮影評価値の他の例を説明するための図である。そして、図１２（Ａ）は図１に示す画像取得部１１０が取得した撮影画像１０００の一例を示す図であり、図１２（Ｂ）は分割領域毎の撮影評価値を示す図である。

いま、画像取得部１１０が図１２（Ａ）に示す画像１０００を取得したとする。図示の画像１０００には窓を介して空（空領域）１００１が存在し、さらに照明１００２とすりガラスを介して空１００２が存在する。

この場合、画像分割部１２０は、画像取得部１１０で取得された画像１０００を複数のブロック領域に分割する。ここでは、上述の露出値の算出および白サーチ処理を行うため、図２に示すステップＳ２１０で行う分割サイズよりもそのサイズが大きいブロック領域に分割することが望ましい（例えば６×４個）。

評価値取得部１００は、図３に示すステップＳ２０２で説明した露出値Ｅｖをブック領域毎に求めて被写体測光値Ｂｖを算出する。さらに、評価値取得部１００はステップＳ２０１で説明した白サーチ処理をブロック領域毎に行って推定色温度ＣＴｅｍｐを算出する。そして、画像分割部１２０は撮影評価値が類似する隣接ブロック領域が存在すると、これら類似のブロック領域を統合して、新たな分割領域（ブロック領域）とする。

これによって、評価値取得部１００は新たな分割領域毎に異なる撮影評価値を求めて、当該撮影評価値に応じた信頼度係数を得る。なお、図１には示されていないが、ここでは、画像分割部１２０から評価値取得部１００に新たな分割領域が送られることになる。

上述のようにして、新たな分割領域毎に撮影評価値を求めると、ここでは、画像１０００は３×２個の分割領域に統合され、これら分割領域毎に撮影評価値１０１０が求められる（図１２（Ｂ）参照）。

図１３は、図１２（Ｂ）に示す撮影評価値１０１０を用いて画像１０００の領域判別を行った結果得られた画像１１００の一例を示す図である。

図示のように、領域判別結果を示す画像１１００では、画像右上部の領域（濃い斜線部）１１０１は被写体測光値Ｂｖ＝９でありかつ推定色温度ＣＴｅｍｐ＝６０００であるから信頼度が高い空領域１１０１と判別される。一方、画像左部の領域（薄い斜線部）１１０２は被写体測光値Ｂｖ＝５．５でありかつ推定色温度ＣＴｅｍｐ＝４０００であるから信頼度の低い空領域と判別される。

上述の説明から明らかなように、図１に示す例においては、評価値取得部１００が評価値取得手段として機能し、画像取得部１１０および画像分割部１２０が画像分割手段として機能する。さらに、特徴量算出部１３０が特徴量抽出手段として機能し、領域判別部１４０が領域判別手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも評価値取得ステップ、画像分割ステップ、特徴量抽出ステップ、および領域判別ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１００ 評価値取得部
１１０ 画像取得部
１２０ 画像分割部
１３０ 特徴量算出部
１４０ 領域判別部

Claims (9)

1. 複数の被写体を撮影して得られた画像において前記複数の被写体をそれぞれ互いに異なる被写体領域として判別する画像処理装置であって、
   前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得手段と、
   前記画像を複数のブロック領域に分割する画像分割手段と、
   前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出手段と、
   前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するかを判別する領域判別手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像分割手段は、前記画像を所定のサイズのブロック領域に分割することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像分割手段は、前記画像におけるエッジを検出して、当該エッジに基づいて前記画像を複数のブロック領域に分割することを特徴とする請求項１に記載の画像処理装置。
4. 前記特徴量として、前記ブロック領域の各々における輝度、色相、およびエッジ量が用いられ、
   前記領域判別手段には、前記輝度、前記色相、および前記エッジ量と前記被写体領域のいずれかであるかの信頼度との関係が規定された信頼度テーブルが予め設定されており、
   前記領域判別手段は、前記特徴量に基づいて前記信頼度テーブルを参照して得られた前記信頼度に応じて前記ブロック領域の各々が前記被写体領域のいずれに属するか否かを判別することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記撮影評価値として、前記被写体の明るさを示す被写体測光値および前記被写体が示す色温度が用いられ、
   前記領域判別手段は、前記被写体測光値および前記色温度に基づいて前記信頼度を修正することを特徴とする請求項４に記載の画像処理装置。
6. 前記領域判別手段は、前記被写体測光値が低くなる程、かつ前記色温度が低くなる程、前記信頼度を低く修正することを特徴とする請求項５に記載の画像処理装置。
7. 撮影によって得られた画像について領域毎に特定の被写体に属するか否かを判別する判別装置であって、
   前記画像の領域毎にその特徴を示す特徴量を抽出する抽出手段と、
   前記画像が撮影された撮影シーンを示す撮影評価値と前記特徴量とに基づいて、前記画像の領域毎に前記特定の被写体に属するか否かを判別する判別手段と、
   を有することを特徴とする判別装置。
8. 複数の被写体を撮影して得られた画像において前記複数の被写体をそれぞれ互いに異なる被写体領域として判別する画像処理装置の制御方法であって、
   前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得ステップと、
   前記画像を複数のブロック領域に分割する画像分割ステップと、
   前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出ステップと、
   前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するかを判別する領域判別ステップと、
   を有することを特徴とする制御方法。
9. 複数の被写体を撮影して得られた画像において前記複数の被写体をそれぞれ互いに異なる被写体領域として判別する画像処理装置で用いられる制御プログラムであって、
   前記画像処理装置が備えるコンピュータに、
   前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得ステップと、
   前記画像を複数のブロック領域に分割する画像分割ステップと、
   前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出ステップと、
   前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するかを判別する領域判別ステップと、
   を実行させることを特徴とする制御プログラム。