JP5814555B2 - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Description

本発明はデジタル画像処理、特にデジタル画像から夕景シーンの検出を行う画像処理装置及び画像処理装置の制御方法に関するものである。

デジタルカメラやイメージスキャナ等の画像処理装置において、夕景シーンなどの特定のシーンを検出して、自動的にそのシーンに適したホワイトバランスや明るさの調整を行うシステムがある。

例えば、特許文献１では、対象画像の各色別のヒストグラムデータに基づいて夕景判定を行う方法が開示されている。また、特許文献２では対象画像に対して、ブロック単位の各色の画素値比率情報とシーン判別用辞書との比較処理を行うことによって、さまざまなシーン判別を行う方法が開示されている。

特開２００７−３２５１３５号公報 特開２００９−２３９７７２号公報

しかしながら、上述の特許文献に開示された従来技術では、夕景シーンではないシーンを夕景と判定してしまう、誤判定が起きることがある。画像全体の輝度、彩度、色相といった特徴量をヒストグラム化して判定する方法では、例えば紅葉などの、色彩が夕景と似ている被写体と区別することができないためである。もちろん、反対に紅葉シーンを特定することもできない。

そこで、本発明の目的は、画像の領域ごとの特徴量の変化量を用いてシーン判定することによって、シーンの判定精度を高め、誤判定の頻度を少なくすることを可能にした画像処理装置及び画像処理装置の制御方法を提供することである。

上記目的を達成するために、本発明の画像処理装置の制御方法は、請求項１に記載のとおり、算出手段によって、入力される画像データを所定単位のブロックに分割し、ブロックの特徴量を算出する算出ステップと、評価手段によって、前記画像データ中の連続する３つのブロックｎ−１、ｎ、ｎ＋１について、各ブロックの特徴量をそれぞれＹ［ｎ−１］、Ｙ［ｎ］、Ｙ［ｎ＋１］として、隣接するブロック間の前記特徴量の差分値Ｙ［ｎ］−Ｙ［ｎ−１］、Ｙ［ｎ＋１］−Ｙ［ｎ］の２つが符号を異にするとき、当該２つの差分値に基づいて前記３つのブロックにおける特徴量の分布を評価するブロック評価値を算出する評価ステップと、判定手段によって、前記画像データ中の連続する３つのブロックの複数の組み合わせについての前記ブロック評価値に基づいて、前記画像データの画像が撮影されたシーンを判定する判定ステップと、を有することを特徴とする。

また、本発明の画像処理装置は、請求項１３に記載のとおり、入力される画像データを所定単位のブロックに分割し、ブロックの特徴量を算出する算出手段と、前記画像データ中の連続する３つのブロックｎ−１、ｎ、ｎ＋１について、各ブロックの特徴量をそれぞれＹ［ｎ−１］、Ｙ［ｎ］、Ｙ［ｎ＋１］として、隣接するブロック間の前記特徴量の差分値Ｙ［ｎ］−Ｙ［ｎ−１］、Ｙ［ｎ＋１］−Ｙ［ｎ］の２つが符号を異にするとき、当該２つの差分値に基づいて前記３つのブロックにおける特徴量の分布を評価するブロック評価値を算出する評価手段と、前記画像データ中の連続する３つのブロックの複数の組み合わせについての前記ブロック評価値に基づいて、前記画像データの画像が撮影されたシーンを判定する判定手段と、を有することを特徴とする。

本発明によれば、画像の領域ごとの輝度、彩度、色相の変化量に基づいてシーン判定をすることによって、シーンの判定精度を高め、誤判定の頻度を少なくすることを可能にした。

第１の実施形態におけるデジタルカメラのブロック図 夕景検出のアルゴリズムを示すフローチャート図 Ｂｖ値に対する夕景判定のテーブル図 色度図における黒体輻射軌跡と光源色の距離を示す図 黒体輻射軌跡と光源色の距離に対する夕景判定のテーブル図 夕景色割合に対する夕景判定のテーブル図 グラデーションのブロック評価値の算出に関する概念図 グラデーション判定のアルゴリズムを示すフローチャート図 典型的な夕景シーンでの輝度、彩度、色相の変化の例を示す図 グラデーションのブロック評価値に対する夕景判定のテーブル図 夕景信頼度に対するホワイトバランス色温度補正量のテーブル図

（第１の実施形態）
本実施形態では、入力された画像の撮影されたシーンが夕景シーンであるか否かを判定するための夕景判定の処理を行う。この際、夕景らしさを判定する信頼度の１つとして輝度などのパラメータの、空間的な変化を評価するグラデーション信頼度という指標を用いる。またその他に、明るさを判定するＢｖ信頼度、光源を判定する黒体輻射信頼度、色味を判定する色信頼度を用いて総合的に夕景判定を行う。

図１は、本実施例を利用できる画像処理装置の１つであるデジタルカメラの構成例を示すブロック図である。図１において、不図示の撮影レンズを通過した被写体光学像は、撮像素子１０１（画像入力手段）上に結像し、その光量に応じた電荷に変換される。

光電変換素子により変換された電荷は、撮像素子１０１から電気信号としてＡ／Ｄ（アナログ／デジタル）変換部１０２に出力され、Ａ／Ｄ変換処理によりデジタル信号（画像データ）に変換される。

Ａ／Ｄ変換部１０２から出力されたデジタル信号は、ブロック処理部１０３、顔検出部１０５及び、ホワイトバランス（Ｗｈｉｔｅ Ｂａｌａｎｃｅ：以下、ＷＢ）処理部１０７のそれぞれに送られる。

ブロック処理部１０３（算出手段）では、画像データをブロック分割し、ブロック毎に簡易的な現像処理を行い、ブロック毎に平均輝度値、平均彩度、平均色相を算出する。

続くＷＢ検出部１０４では、所定単位のブロックで分割された画像データによって、ＷＢ検出を行う。これは撮影した画像データから光源の色温度を特定し、撮影画像に適したＷＢのゲイン値を算出する。ＷＢのゲイン値の算出には公知の方法で良い。

顔検出部１０５では、顔検出処理を行う。顔検出処理は、顔検出回路１２０が用いる顔検出方法に特に制限はなく、任意かつ公知の方法を適用することができる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、信頼性の高い領域が存在した場合、顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。これらの手法を複数組み合わせ、顔検出の精度を向上させることもできる。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

シーン判定部１０６では、ブロック処理部１０３、ＷＢ検出部１０４、顔検出部１０５から得られるデータ及び制御部１１０から得られる演算結果を用いて入力される画像データの画像のシーン判定を行う。シーン判定は青空シーンや夜景シーンなどの複数のシーンの判定を行うことができるが、本実施形態では、画像の領域毎の夕景判定について後に詳述する。

ＷＢ処理部１０７では、ＷＢ検出部１０４で算出された通常のホワイトバランス係数に、シーン判定部１０６で算出された夕景信頼度に応じた補正を施したホワイトバランス係数を画像のＲＧＢの各画素値に積算する。

夕景信頼度に応じたホワイトバランス係数の補正は、図１１に示すように、夕景信頼度が高いほど、ホワイトバランス係数をアンバー寄りに補正する。ただし、通常のホワイトバランスの色温度がもともと所定値よりも高い場合に、この補正によって色温度が高くなり過ぎることを防ぐために、所定の色温度以上には補正されないようにリミッターを設けておくことが望ましい。

現像処理部１０８では、ＷＢ処理部１０７から送られる画像データに対して、現像処理を行う。シーン判定部１０６で算出された夕景信頼度に応じて、オレンジの彩度を高めるような色変換テーブルを用いることで、夕景のオレンジを鮮やかに補正し、画像データ出力部１０９に送られる。

制御部１１０は、デジタルカメラ内の各部に信号を送り、制御を行う演算装置である。図１には本実施形態で特に関係のあるブロックに対してのみ矢印で信号の流れを示している。シーン判定部１０６で行われる判定に必要な評価値などの算出も制御部１１０で行われる。

図２は、夕景判定を行うアルゴリズムの一例のフローチャートである。
図２において、ステップ２０１では、顔検出した結果、顔である信頼性の高い領域が存在したかどうかの判定を行う。顔である信頼性の高い領域がなかった場合はステップ２０３に進み、夕景判定を行う。顔である信頼性の高い領域があった場合は、ステップ２０２に進み、夕景判定せずに、夕景信頼度＝０として終了する。本実施形態では、夕景判定結果に基づいて、オレンジを鮮やかに補正するが、人物が写っている場合では人の肌が不必要に鮮やかになってしまうため、人物を含む夕景画像では補正しないようにするためである。またこれに限らず、人物（顔）が写っていると判定された場合には、夕景と判定された場合でも、人物が写っていないと判定された場合に比べて補正を弱くするようにしてもよい。

ステップ２０３では、Ｂｖ（Ｂｒｉｇｈｔｎｅｓｓ Ｖａｌｕｅ）値という被写体の明るさによって定義される値による夕景判定を行う。この明るさの判定によって、一般的な室内など、夕景シーンに比べて暗い環境のシーンを夕景シーンから除外される。

図３に示すように、あらかじめＢｖ値と夕景らしさのテーブルを設定しておき、これと撮影時に不図示の測光センサの出力結果から制御部１１０（検出手段）で算出されるＢｖ値とを比較することによりＢｖ信頼度Ａの算出を行う。このＢｖ値は、分割測光センサの中央ほど重みを大きくした重み平均のＢｖ値であっても良いし、単純に全体の平均Ｂｖ値であっても良い。画像全体のシーンを特定することが目的であるので、後者のように、測光センサの位置によって重みをつけない方が良いが、前者のように公知の自動露出アルゴリズムを流用することで置き換えてもよい。また、このＢｖ値が多少変化しても、夕景判定結果が大きく異ならないように、図３のように、Ｂｖ信頼度Ａが段階的に変化していくようにすることが望ましい。

ステップ２０４では、黒体輻射判定を行う。これは色度図上において、光源色を（Ｃｘ１，Ｃｙ１）の座標に変換し、Ｃｘ１に対応する黒体輻射軌跡上の点（Ｃｘ１，Ｃｙ２）を算出し、この２点の距離｜Ｃｙ１−Ｃｙ２｜の大きさを制御部１１０（距離算出手段）にて算出する。これらの点の例を図４に示す。次に、図５のように、この値と、あらかじめ設定しておいたテーブルとを比較することにより黒体輻射信頼度Ｂの算出を行うことで夕景判定を行う。夕景であれば、光源色は黒体輻射軌跡に近いので、光源色が黒体輻射軌跡から所定距離より離れていれば、夕景の可能性は低いと判定することができるためである。黒体輻射判定は、体育館など、光源色が明らかに人工光源であるシーンを夕景シーンから除外するために行われる。光源色の算出は、ＷＢ検出部１０４によって、公知のオートホワイトバランスのアルゴリズムを用いればよい。また、黒体輻射軌跡の情報はあらかじめ記憶しておけばよい。これはメモリの節約のために図４のように折れ線であっても良い。

ステップ２０５では夕景色割合の判定を行う。これはブロック処理部１０３で分割された各ブロックの輝度、彩度、色相によって、ブロックが夕景として妥当な色味である夕景ブロックかどうかの判定を行い、さらに全画像に占める夕景ブロックの割合を制御部１１０（割合算出手段）にて算出する。この夕景ブロックの割合に応じて、色信頼度Ｃの算出を行うことで夕景判定を行う。各ブロックの夕景として妥当な色の判定では、図６（ａ）、（ｂ）、（ｃ）のように輝度、彩度、色相の３次元空間での夕景らしい色の所定領域を設定し、所定領域内にブロックの色があるか否かを判定する。ここで、輝度は１０ｂｉｔ（０〜１０２３）で表現され、彩度は百分率で正規化されたものとし、色相は色相角によって表現されているものとする。そして、夕景ブロックを判定後、図６（ｄ）のように夕景として妥当な色のブロックの割合の閾値を設定しておき、このテーブルと算出された全画像に占める夕景ブロックの割合を比較する。

処理の簡略化のためには、輝度、彩度、色相に対してそれぞれ独立に範囲を設定して判定するようにしても良い。

ステップ２０６ではグラデーション信頼度Ｄの算出を行う。グラデーション信頼度Ｄはグラデーションのブロック評価値に基づいて算出される。グラデーションのブロック評価値とは下記の式（１）で定義され、画像データ中の連続する３つのブロックについて、輝度などの特徴量の分布を評価して数値化したものである。本実施形態では、水平方向に隣接する夕景ブロックの輝度、彩度、色相の変化量を評価する。グラデーションの評価による判定は、紅葉した木々などのように、明るさや色味が似ているが、夕景シーンと違って輝度、彩度などの各パラメータの空間的な変化がなだらかでないシーンを夕景シーンから除外するために行われる。

図７（ａ）に、夕景画像を２０×１６ブロックに分割して各領域で平均化処理を行った画像の例を示す。また、図７（ｂ）、（ｃ）、（ｄ）はこの画像の水平１ラインの各ブロックの輝度、彩度、色相の値をプロットした図である。各グラフを見てわかるように、夕景シーンでは、ライン上の大部分でブロック間の変化がなだらかで一方向である（差分値の符号が変わらない）。そこで、このようなシーンであることを検出するために、以下の演算によってグラデーション評価値を算出する。

ライン中の隣接する３つのブロックｎ−１、ｎ、ｎ＋１（番目のブロック）において、輝度の差分値（Ｙ［ｎ−１］−Ｙ［ｎ］，Ｙ［ｎ］−Ｙ［ｎ＋１］）を算出する。そして、各差分値の符号によって、以下のようにグラデーション評価値を定義する。
Ｙ［ｎ］−Ｙ［ｎ−１］ ≧０かつＹ［ｎ＋１］−Ｙ［ｎ］ ≧０
またはＹ［ｎ］−Ｙ［ｎ−１］≦０かつＹ［ｎ＋１］−Ｙ［ｎ］≦０ のとき、
（ブロック評価値） ＝０
Ｙ［ｎ］−Ｙ［ｎ−１］＞０かつＹ［ｎ＋１］−Ｙ［ｎ］＜０
またはＹ［ｎ］−Ｙ［ｎ−１］＜０かつＹ［ｎ＋１］−Ｙ［ｎ］＞０ のとき
（ブロック評価値）＝ｍｉｎ（｜Ｙ［ｎ］−Ｙ［ｎ−１］｜，｜Ｙ［ｎ＋１］−Ｙ［ｎ］｜） （式１）
ここで、Ｙ［ｎ−１］、Ｙ［ｎ］，Ｙ［ｎ＋１］は、隣接するｎ−１、ｎ、ｎ＋１のブロック間の輝度をあらわしている。

すなわち、３つのブロックの輝度値が図８（ａ）、（ｂ）のように、単調増加または単調減少であれば、この範囲においてグラデーションができていると判定する。このとき、差分値Ｙ［ｎ］−Ｙ［ｎ−１］及びＹ［ｎ＋１］−Ｙ［ｎ］は符号を同じくしており、式（１）に示す通り、ブロック評価値は０とする。図８（ｃ）、（ｄ）のように、単調増加、単調減少のどちらでもなければ、差分値Ｙ［ｎ］−Ｙ［ｎ−１］及びＹ［ｎ＋１］−Ｙ［ｎ］は符号を異にしており、式（１）に従ってこの範囲のブロック評価値を算出する。この算出処理を対象ブロックをずらしながら画像全体に対して行い、得られたブロック評価値の平均値を算出する。彩度、色相のブロック評価値についても同様に算出し、輝度、彩度、色相のブロック評価値を積算する。この輝度、彩度、色相３つのブロック評価値を積算した値をグラデーション評価値とし、グラデーション評価値から定まるグラデーション信頼度Ｄから夕景判定を行う。

本実施形態では、上記のグラデーションのブロック評価値の対象を色信頼度Ｃの算出でも用いられる夕景ブロックのみに絞ることでシーン判定の精度を上げている。すなわち、夕景ブロックが３つ以上隣接している個所において、そのグラデーションのブロック評価値をそれぞれ算出する。

グラデーション信頼度Ｄを算出する処理の詳細を図９のフローチャートを用いて説明する。
ステップ９０１では、ブロック評価値を０に初期化する。ステップ９０２では、グラデーションの算出対象ブロックをスタートブロック（１行１列目のブロック）に設定する。ステップ９０３ではＣｏｕｎｔ（夕景ブロックの隣接ブロック数）、ライン最大グラデーション評価値を０に初期化する。

ステップ９０４では、算出対象ブロックが夕景ブロックかどうかの判定を行う。夕景ブロックの場合は、ステップ９０５に進み、Ｃｏｕｎｔをインクリメントする。夕景ブロックでない場合は、ステップ９０６に進み、Ｃｏｕｎｔを０にする。

ステップ９０７では、Ｃｏｕｎｔが３以上かどうかの判定を行い３以上の場合はステップ９０８に進む。３未満の場合はステップ９１１に進む。ステップ９０８では、グラデーション数（ブロック評価値を算出することになった連続する３つのブロックの組み合わせの数）をインクリメントする。

ステップ９０９では、グラデーションのブロック評価値を算出する。これは式１によって算出する。ステップ９１０では、ラインで最大のブロック評価値の更新を行う。これは画像中の水平ライン毎に、ブロック評価値の最大値を求めるための処理である。現在までのブロック評価値の最大値より、今回のブロック評価値が大きければ、最大値を今回の値に更新する。

ステップ９１１では、１つの水平ラインについて演算が終了したかどうかを判定し、演算が終了していれば、ステップ９１２に進む。演算が終了していなければ、ステップ９１３に進み、演算対象ブロックを次ブロックとして、ステップ９０４に進む。ステップ９１２では、１ラインのグラデーションのライン評価値を算出する。これまで算出した連続する３つのブロックの複数の組み合わせについてのブロック評価値を加算し、ブロック評価値の最大値を減算する。ここで、ブロック評価値の最大値を減算するのは、図７に例を示したように、典型的な夕景シーンであっても夕陽の部分で変曲点（山）があるため、この部分のブロック評価値を打ち消すためである。

ステップ９１４では、全ラインに対してライン評価値の演算が終了したかどうかを判定し、演算が終了していればステップ９１５に進む。演算が終了していなければ、ステップ９１６に進み、算出対象ブロックを次ラインの１列目のブロックとして、ステップ９０３に進む。

ステップ９１５では、画像全体のブロック評価値の平均値を算出する。輝度、彩度、色相についてそれぞれ、画像全ラインのブロック評価値を加算し、グラデーション数で割り算することで平均値を算出する。さらに、輝度、彩度、色相のブロック評価値の平均値を積算して、最終的なグラデーション評価値を算出する。

本実施形態では、輝度、彩度、及び色相の３つの特徴量毎にブロック評価値をすべて算出し、積算して最終的なグラデーション評価値としているが、実施の形態としては３つの評価値全てが必須なわけではない。すなわち、輝度、彩度、及び色相のうち少なくとも１つについてブロック評価値の平均値を算出し、これをグラデーション評価値として信頼度を算出してもよい。また、複数ブロック評価値がある場合は和算あるいは積算することで最終的なグラデーション評価値としてもよい。ただし、輝度、彩度、及び色相のいずれかにおいてばらつきのある画像は夕景である可能性が低くなるため、本実施形態で示したように３つ全ての評価値を考慮する方がより望ましい。

ステップ９１７では、グラデーション信頼度Ｄの算出を行う。あらかじめ判定を行うための最終的なグラデーション評価値の閾値を設定しておき、このテーブルと、これまでのステップにより算出したグラデーション評価値とを比較することによりグラデーション信頼度Ｄを算出することで夕景判定する。本実施形態では、図１０に示すように、グラデーション評価値に対して段階的に閾値を設定し、段階的にグラデーション信頼度Ｄを算出する。夕景判定では、グラデーション評価値が第１の値であるときに、前記第１の値よりも大きい第２の値であるときよりもグラデーション信頼度を高くする。上述した例のように輝度、彩度、色相のうちいずれか１つのブロック評価値からグラデーション信頼度を算出する場合には、図１０のグラデーション評価値は各特徴量のブロック評価値の平均値と等価になるのは言うまでもない。

ステップ２０７では夕景信頼度の算出を行う。これはステップ２０３〜ステップ２０６で算出した、夕景らしさの信頼度Ａ、Ｂ、Ｃ、Ｄの積を算出し、この値を最終的な夕景信頼度とする。本実施例ではステップ２０３〜２０６の４つの夕景判定方法の例を示したが、これ以外の夕景判定方法を組み合わせる場合も、夕景らしさを評価する各信頼度を算出して、この和や積を算出するようにすることで拡張可能である。

以上のように、本実施形態では、画像の領域ごとの特徴量の変化量に基づいてシーン判定をすることによって、シーンの判定精度を高め、誤判定の頻度を少なくすることを可能にした。

さらに本実施形態では、入力される画像データに対して、被写体の明るさ、光源色、色味、グラデーションから各々の夕景らしさを判定し、それらを総合的に見て夕景か否かを判定する。これにより、誤判定の少ない、より精度の高い夕景判定を行うことができる。グラデーション信頼度Ｄによるグラデーションの評価では、紅葉した木々などのように、明るさや色味が似ているが、夕景シーンと違って輝度、彩度などの各パラメータの空間的な変化がなだらかでないシーンを夕景シーンから除外することができる。

本実施形態では、被写体の明るさ（Ｂｖ値）、光源色（黒体輻射）、色味、グラデーションを全て考慮して夕景判定をしているが、これらの一部のみを考慮して夕景判定を行ってももちろん構わない。

（他の実施形態）
第１の実施形態では、上述した画像の領域ごとの特徴量の変化量に基づいたシーン判定によって夕景シーンの判定を行っている。しかし、本発明の判定方法により判定できる特定シーンはこれに限らない。

例えば、紅葉した木々を含む特定シーンなどを判定する場合、第１の実施形態とは反対に夕景シーンが誤判定されないようにするために本発明を適用できる。この場合、第１の実施形態におけるグラデーション評価値を用いて、紅葉信頼度を夕景信頼度とは逆の特性で算出すればよい。すなわち、グラデーション評価値が高いと紅葉である可能性が高くなるように紅葉信頼度を設定する。

また、輝度、彩度、色相のいずれかの特徴量の変化量に基づいたシーン判定では、それぞれの特徴量の領域毎の変化に富んだ複雑な画像と、そうでない画像とを区別するシーン判定に用いることができる。例えば、緑色の建物等の物体を大きく画面上に写した画像と、細かい葉を含んだ木々の画像とでは、輝度あるいは彩度において変化量を算出すると、木々の画像の方が変化に富んでいることが容易に推定できる。すなわち、輝度及び彩度の少なくとも１つを用いて第１の実施形態と同様にグラデーション評価値を算出し、値が高ければ木々の画像である信頼度を高くし、値が低ければ建物等を大きく写した画像である信頼度を高くすることで、各シーンを区別、判定する。

また、第１の実施形態では、画像処理装置の一例としてデジタルカメラを示し、画像データは外部からの光束を取り込み画像信号に変換する撮像素子１０１から入力されたものを使用している。しかしこの他にも、走査光学系により画像を読み取る画像読み取り部、または外部から得られる画像データを取得し装置内部に入力するインターフェース部などから入力された画像データを用いてもよい。すなわち、画像処理装置としては撮像素子を搭載したカメラ、ビデオカメラ、画像読み取り部を搭載したプリンタ、スキャナ、複写機、外部の記録メディア等から得られる画像データを入力するインターフェース部を搭載したコンピュータなども考えられる。

また、本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１０１ 撮像素子
１０２ Ａ／Ｄ変換部
１０３ ブロック処理部
１０４ ＷＢ検出部
１０５ 顔検出部
１０６ シーン判定部
１０７ ＷＢ処理部
１０８ 現像処理部
１０９ 画像データ出力部

Claims (15)

1. 算出手段によって、入力される画像データを所定単位のブロックに分割し、ブロックの特徴量を算出する算出ステップと、
   評価手段によって、前記画像データ中の連続する３つのブロックｎ−１、ｎ、ｎ＋１について、各ブロックの特徴量をそれぞれＹ［ｎ−１］、Ｙ［ｎ］、Ｙ［ｎ＋１］として、隣接するブロック間の前記特徴量の差分値Ｙ［ｎ］−Ｙ［ｎ−１］、Ｙ［ｎ＋１］−Ｙ［ｎ］の２つが符号を異にするとき、当該２つの差分値に基づいて前記３つのブロックにおける特徴量の分布を評価するブロック評価値を算出する評価ステップと、
   判定手段によって、前記画像データ中の連続する３つのブロックの複数の組み合わせについての前記ブロック評価値に基づいて、前記画像データの画像が撮影されたシーンを判定する判定ステップと、を有することを特徴とする画像処理装置の制御方法。
2. 前記評価ステップでは、前記差分値Ｙ［ｎ］−Ｙ［ｎ−１］、Ｙ［ｎ＋１］−Ｙ［ｎ］の２つが符号を異にするとき、２つのうちで絶対値が大きくない方の絶対値をブロック評価値として算出し、
   前記判定ステップの判定は、前記連続する３つのブロックの複数の組み合わせについて算出された前記ブロック評価値の平均値に基づいて行われることを特徴とする請求項１に記載の画像処理装置の制御方法。
3. 前記評価ステップでは、前記画像データの画像中の水平ライン毎に、各ライン中の連続する３つのブロックの複数の組み合わせについての前記ブロック評価値から、各ライン中の最大の前記ブロック評価値を除いたブロック評価値を加算したものをライン評価値として算出し、前記画像データの画像中の全ラインのライン評価値から前記ブロック評価値の平均値を算出し、
   前記判定ステップの判定は、前記ブロック評価値の平均値に基づいて行われることを特徴とする請求項１または２に記載の画像処理装置の制御方法。
4. 前記判定ステップの判定は、夕景シーンの信頼度を判定し、前記ブロック評価値の平均値が第１の値であるときに、前記第１の値よりも大きい第２の値であるときよりも信頼度を高くすることを特徴とする請求項２または３に記載の画像処理装置の制御方法。
5. 検出手段によって、前記入力される画像データの画像の被写体の明るさを検出する検出ステップを有し、
   前記判定ステップは、前記検出ステップで検出された被写体の明るさに基づいて夕景シーンの信頼度の判定を行うことを特徴とする請求項４に記載の画像処理装置の制御方法。
6. 距離算出手段によって、前記入力される画像データの画像の光源を検出し、色度図における前記光源の座標と黒体輻射軌跡との距離を算出する距離算出ステップを有し、
   前記判定ステップは、前記距離算出ステップで算出された前記距離が所定の距離より小さいと夕景シーンの信頼度が高くなるように判定を行うことを特徴とする請求項４または５に記載の画像処理装置の制御方法。
7. 割合算出手段によって、前記入力される画像データの各ブロックが、輝度、彩度、及び色相が所定領域内にある夕景ブロックであるか否かを判定し、前記夕景ブロックと判定されたブロックの前記画像データ中における割合を算出する割合算出ステップを有し、
   前記判定ステップは、前記割合算出ステップで算出された前記割合が所定の割合より高いと夕景シーンの信頼度が高くなるように判定を行うことを特徴とする請求項４乃至６のいずれか１つに記載の画像処理装置の制御方法。
8. 前記判定ステップの判定は、特定シーンの信頼度を判定し、前記ブロック評価値の平均値が第１の値であるときに、前記第１の値よりも大きい第２の値であるときよりも信頼度を低くすることを特徴とする請求項２または３に記載の画像処理装置の制御方法。
9. 前記特徴量とは、輝度であることを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置の制御方法。
10. 前記特徴量とは、色相であることを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置の制御方法。
11. 前記特徴量とは、彩度であることを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置の制御方法。
12. 前記特徴量とは、輝度、色相、彩度の少なくとも２つを含み、
    前記判定ステップでは特徴量毎に前記評価ステップで算出された評価値に基づいてシーン判定を行うことを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置の制御方法。
13. 入力される画像データを所定単位のブロックに分割し、ブロックの特徴量を算出する算出手段と、
    前記画像データ中の連続する３つのブロックｎ−１、ｎ、ｎ＋１について、各ブロックの特徴量をそれぞれＹ［ｎ−１］、Ｙ［ｎ］、Ｙ［ｎ＋１］として、隣接するブロック間の前記特徴量の差分値Ｙ［ｎ］−Ｙ［ｎ−１］、Ｙ［ｎ＋１］−Ｙ［ｎ］の２つが符号を異にするとき、当該２つの差分値に基づいて前記３つのブロックにおける特徴量の分布を評価するブロック評価値を算出する評価手段と、
    前記画像データ中の連続する３つのブロックの複数の組み合わせについての前記ブロック評価値に基づいて、前記画像データの画像が撮影されたシーンを判定する判定手段と、を有することを特徴とする画像処理装置。
14. 請求項１乃至１２のいずれか１つに記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
15. 請求項１乃至１２のいずれか１つに記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images