JP5549282B2 - 画像処理装置、撮像装置、コンピュータ読み取り可能なプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、コンピュータ読み取り可能なプログラムに関する。

電子カメラに搭載されている自動ホワイトバランス調整機能は、電子カメラが取得したカラー画像上の各部の色を評価し、無彩色に近い色を有した領域（無彩色物体の存在領域）を検出し、その領域の色を完全な無彩色に近づけるためのホワイトバランスゲインを算出し、それをカラー画像の全体へ乗算するものである。

通常、電子カメラが取得するカラー画像の画素数は膨大なので、カラー画像上の各部の色を評価する際には、カラー画像を予め複数の部分領域に分割しておき、個々の部分領域を１単位として扱っている（特許文献１等を参照。）。これによってホワイトバランス調整に要する演算量を大幅に削減することができる。

特許第３８８９８６７号公報

しかしながら、以上のホワイトバランス調整では、例えば１つの部分領域内に互いに異なる２種類の色が存在していると、それらの色の中間色がその部分領域の色とみなされてしまう。そのような中間色は、その部分領域に実際には存在していなかった色なので、前述した領域の検出精度を低下させ、ひいてはホワイトバランス調整の成功率を低下させる虞がある。

本発明は、カラー画像において部分領域ごとにより適正な部分領域の色を算出することのできる画像処理装置、撮像装置、コンピュータ読み取り可能な画像処理プログラムを提供する。

本発明を例示する画像処理装置は、カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の代表色を算出する色評価手段を備えた画像処理装置であって、前記色評価手段は、前記部分領域内の各部を明るさによりグループ分けし、グループの明るさ及び面積の少なくとも一方により前記部分領域から代表グループを選出し、前記代表グループの色を前記部分領域の代表色とする。

また、本発明を例示する撮像装置は、被写体のカラー画像を取得する撮像手段と、前記撮像手段で取得されたカラー画像を処理する前記画像処理装置とを備える。

また、本発明を例示するコンピュータ読み取り可能なプログラムは、カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の代表色を算出する色評価手順を含むコンピュータ読み取り可能なプログラムであって、前記色評価手順では、前記部分領域内の各部を明るさによりグループ分けし、グループの明るさ及び面積の少なくとも一方により前記部分領域から代表グループを選出し、前記代表グループの色を前記部分領域の代表色とする。

本発明によれば、カラー画像において部分領域ごとにより適正な部分領域の色を算出することのできる画像処理装置、撮像装置、コンピュータ読み取り可能な画像処理プログラムが実現する。

電子カメラの概略構成を示すブロック図。 撮影に関する画像処理エンジン１８の動作フローチャート。 ステップＳ１３を説明する図。 ステップＳ１５を説明する図。 ステップＳ１７を説明する図。 ステップＳ１７’を説明する図。

［実施形態］
以下、本発明の一の実施形態を説明する。

図１は、電子カメラの概略構成を示すブロック図である。図１に示すとおり、電子カメラ１１は、撮像光学系１２と、レンズ駆動部１３と、絞り１４と、絞り駆動部１５と、カラー撮像素子１６と、ＡＦＥ１７と、画像処理エンジン１８と、第１メモリ１９と、第２メモリ２０と、メディアＩ／Ｆ２１と、通信Ｉ／Ｆ２２と、モニタ２３と、レリーズ釦２４とを有しており、この中でレンズ駆動部１３、絞り駆動部１５、ＡＦＥ１７、第１メモリ１９、第２メモリ２０、メディアＩ／Ｆ２１、通信Ｉ／Ｆ２２、モニタ２３、レリーズ釦２４の各々は、画像処理エンジン１８に接続されている。

撮像光学系１２は、フォーカシングレンズを含む複数のレンズで構成されている。撮像光学系１２の焦点位置は、画像処理エンジン１８からの指示に応じてレンズ駆動部１３が調整する。また、絞り１４は、カラー撮像素子１６に入射する単位時間当たりの光量を調節する。この絞り１４の開口量は、画像処理エンジン１８からの指示に応じて絞り駆動部１５が調整する。

カラー撮像素子１６は、例えば単板式のカラー撮像素子であって、カラー撮像素子１６上に設けられたカラーフィルタの配列は、例えばベイヤ配列である。カラー撮像素子１６は、撮影時、撮像光学系１２が形成する被写体像を撮像して撮像画像の画像信号を生成する。このカラー撮像素子１６から出力された画像信号はＡＦＥ１７に入力される。

ＡＦＥ１７は、カラー撮像素子１６から出力される画像信号に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ信号処理には、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換などが含まれる。このＡＦＥ１７から出力されたデジタルの画像信号は画像処理エンジン１８に入力される。

画像処理エンジン１８は、電子カメラ１１の動作を統括的に制御するプロセッサであると共に、撮影時、Ａ／Ｄ変換後の画像信号に対して各種の画像処理（ホワイトバランス調整処理、色補間処理、階調変換処理、輪郭強調処理、色変換処理など）を施す画像処理回路でもある。画像処理の１種であるホワイトバランス調整は、画像処理エンジン１８に設けられた色評価部２５と、ゲイン算出部２６と、ホワイトバランス調整部２７とによって実行される。色評価部２５、ゲイン算出部２６、ホワイトバランス調整部２７の動作の詳細は、後述する。

なお、画像処理エンジン１８は、電子カメラ１１の記録モードが通常記録モードであるときには、全ての画像処理が施された撮像画像のデータ（通常形式の撮像画像データ）を取得し、電子カメラ１１の記録モードがＲＡＷ記録モードであるときには、全ての画像処理のうち色補間処理のみが施された撮像画像のデータ（ＲＡＷ形式の撮像画像データ）を取得する。

第１メモリ１９は、揮発性の記憶媒体（ＳＤＲＡＭなど）で構成されており、画像処理エンジン１８による画像処理の前工程や後工程で撮像画像を一時的に記憶する。一方、第２メモリ２０は、フラッシュメモリ等の不揮発性の記憶媒体で構成されており、画像処理エンジン１８によって実行されるプログラムを長期的に記憶する。

メディアＩ／Ｆ２１は、不揮発性の記憶媒体２８を着脱可能に接続する。また、メデイアＩ／Ｆ２１は、記憶媒体２８に対し、画像処理後の撮像画像のデータ（ここでは、通常形式の撮像画像データ又はＲＡＷ形式の撮像画像データ）を書き込んだり、記憶媒体２８から撮像画像のデータ（ここでは、通常形式の撮像画像データ又はＲＡＷ形式の撮像画像データ）を読み込んだりする。

記憶媒体２８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１に示したのは、記憶媒体２８の一例としてのメモリカードである。

通信Ｉ／Ｆ２２は、有線または無線の公知の通信回線を介して接続された外部装置とのデータ送受信を、所定の通信規格に準拠して制御する。

モニタ２３は、画像処理エンジン１８の制御下で、記憶媒体２８に書き込まれた撮像画像の再生表示を行う。

レリーズ釦２４は、撮影時、ＡＦ動作開始の指示入力と、撮像動作開始の指示入力とをユーザーから受け付ける。

次に、撮影に関する画像処理エンジン１８の動作の流れを説明する。

図２は、撮影に関する画像処理エンジン１８の動作フローチャートである。ここでは、電子カメラ１１のオートホワイトバランス機能がオンされ、電子カメラ１１の記録モードが通常記録モードに設定されていると仮定する。

ステップＳ１１：画像処理エンジン１８は、レリーズ釦２４が押下されたか否かを判別し、レリーズ釦２４が押下された場合はステップＳ１２に移行し、レリーズ釦２４が押下されていない場合はステップＳ１１を繰り返す。なお、絞り１４の開口量と撮像光学系１２の焦点位置とは、レリーズ釦２４の押下より前の時点（例えばレリーズ釦２４が半押しされた時点）で調節が完了しているものとする。

ステップＳ１２：画像処理エンジン１８は、カラー撮像素子１６を駆動することにより、撮像光学系１２が現時点で捕らえている被写体の画像信号を取得する。その画像信号は、ＡＦＥ１７をパイプライン式に通過してから第１メモリ１９に１フレーム分の画像としてバッファリングされる。

ステップＳ１３：画像処理エンジン１８の色評価部２５は、第１メモリ１９にバッファリングされた画像を、図３（Ａ）に模式的に示すとおり複数の部分領域に分割する。分割数は、例えば、横方向に１６、縦方向に１６である。この場合、画像は２５６個の部分領域Ａｓに分割される。因みに、縦方向の分割数と横方向の分割数とが等しい場合、個々の部分領域Ａｓの縦横比は画像の縦横比と同じ（例えば３：４）になる。個々の部分領域Ａｓには、図３（Ｂ）に模式的に示すとおり複数の画素ブロックＰｂが二次元状に配列されている。１つの部分領域Ａｓにおける画素ブロックＰｂの配列数は、例えば、横方向に１２８個、縦方向に９６個である。個々の画素ブロックＰｂは、前述したカラーフィルタの１単位に対応しており、４種類の画素（赤画素、第１緑画素、第２緑画素、青画素）をベイヤ配列の規則で配列してなる。この中で赤画素は、前述したカラーフィルタの赤フィルタに対応する画素であり、第１緑画素及び第２緑画素は、前述したカラーフィルタの２つの緑フィルタに対応する画素であり、青画素は、前述したカラーフィルタの青フィルタに対応する画素である。

ステップＳ１４：画像処理エンジン１８の色評価部２５は、各部分領域Ａｓの各画素ブロックＰｂの輝度値Ｙを個別に算出する。画素ブロックＰｂの輝度値Ｙは、画素ブロックＰｂの赤画素の値Ｒと、画素ブロックＰｂの第１緑画素の値Ｇｒと、画素ブロックＰｂの第２緑画素の値Ｇｂと、画素ブロックＰｂの青画素の値Ｂとを、Ｙ＝ａ×Ｒ＋ｂ×Ｇｒ＋ｃ×Ｇｂ＋ｄ×Ｂの式へ当てはめることによって算出される。なお、この式におけるａ、ｂ、ｃ、ｄは、前述したカラーフィルタの各フィルタの波長透過特性によって決まる所定の係数である。

ステップＳ１５：画像処理エンジン１８の色評価部２５は、画像上の各部分領域Ａｓについて以下の処理（ａ）〜（ｄ）を実行する。なお、画像処理エンジン１８の内部メモリには、部分領域Ａｓ毎に記憶領域が用意されており、その記憶領域の値は以下の処理（ａ）〜（ｄ）の実行に先立ちクリアされる。

（ａ）色評価部２５は、部分領域Ａｓの端に位置する画素ブロックＰｂに着目する。以下、着目している画素ブロックＰｂを「着目画素ブロックＰｂ」と称す。

（ｂ）色評価部２５は、着目画素ブロックＰｂの輝度値Ｙに基づき、その着目画素ブロックＰｂの属するグループ（所属グループ）を以下の８つのグループの中から見出す。

・第１グループ：輝度値Ｙが０〜５１２の範囲に収まるような画素ブロックのグループ。

・第２グループ：輝度値Ｙが５１２〜１０２４の範囲に収まるような画素ブロックのグループ。

・第３グループ：輝度値Ｙが１０２４〜１５３６の範囲に収まるような画素ブロックのグループ。

・第４グループ：輝度値Ｙが１５３６〜２０４８の範囲に収まるような画素ブロックのグループ。

・第５グループ：輝度値Ｙが２０４８〜２５６０の範囲に収まるような画素ブロックのグループ。

・第６グループ：輝度値Ｙが２５６０〜３０７２の範囲に収まるような画素ブロックのグループ。

・第７グループ：輝度値Ｙが３０７２〜３５８４の範囲に収まるような画素ブロックのグループ。

・第８グループ：輝度値Ｙが３５８４〜４０９５の範囲に収まるような画素ブロックのグループ。

なお、これらのグループに対応して、個々の部分領域Ａｓの記憶領域には、図４の下部に示すとおり、第１グループに関する記憶領域（赤用レジスタＲ_１、第１緑用レジスタＧｒ_１、第２緑用レジスタＧｂ_１、青用レジスタＢ_１、輝度用レジスタＹ_１、カウンタＮ_１）と、第２グループに関する記憶領域（赤用レジスタＲ_２、第１緑用レジスタＧｒ_２、第２緑用レジスタＧｂ_２、青用レジスタＢ_２、輝度用レジスタＹ_２、カウンタＮ_２）と、第３グループに関する記憶領域（赤用レジスタＲ_３、第１緑用レジスタＧｒ_３、第２緑用レジスタＧｂ_３、青用レジスタＢ_３、輝度用レジスタＹ_３、カウンタＮ_３）と、第４グループに関する記憶領域（赤用レジスタＲ_４、第１緑用レジスタＧｒ_４、第２緑用レジスタＧｂ_４、青用レジスタＢ_４、輝度用レジスタＹ_４、カウンタＮ_４）と、第５グループに関する記憶領域（赤用レジスタＲ_５、第１緑用レジスタＧｒ_５、第２緑用レジスタＧｂ_５、青用レジスタＢ_５、輝度用レジスタＹ_５、カウンタＮ_５）と、第６グループに関する記憶領域（赤用レジスタＲ_６、第１緑用レジスタＧｒ_６、第２緑用レジスタＧｂ_６、青用レジスタＢ_６、輝度用レジスタＹ_６、カウンタＮ_６）と、第７グループに関する記憶領域（赤用レジスタＲ_７、第１緑用レジスタＧｒ_７、第２緑用レジスタＧｂ_７、青用レジスタＢ_７、輝度用レジスタＹ_７、カウンタＮ_７）と、第８グループに関する記憶領域（赤用レジスタＲ_８、第１緑用レジスタＧｒ_８、第２緑用レジスタＧｂ_８、青用レジスタＢ_８、輝度用レジスタＹ_８、カウンタＮ_８）とが存在する。

（ｃ）色評価部２５は、着目画素ブロックＰｂの赤画素の値Ｒを、着目ブロックＰｂの所属グループの赤用レジスタへ書き込み、着目画素ブロックＰｂの第１緑画素の値Ｇｒを、その所属グループの第１緑用レジスタへ書き込み、着目画素ブロックＰｂの第２緑画素の値Ｇｂを、その所属グループの第２緑用レジスタへ書き込み、着目画素ブロックＰｂの青画素の値Ｂを、その所属グループの青用レジスタへ書き込み、着目画素ブロックＰｂの輝度値Ｙを、その所属グループの輝度用レジスタへ書き込む。さらに、色評価部２５は、その所属グループのカウンタの値をインクリメントする。

（ｄ）色評価部２５は、着目画素ブロックＰｂを部分領域Ａｓ内で移動させながら手順（ｂ）、（ｃ）を繰り返す。その結果、図４に示した例では、部分領域Ａｓのうち比較的明るい物体（雪山）を表す画素ブロックＰｂ_{ｂｒｉｇｈｔ}は第７グループに分類され、部分領域Ａｓのうち比較的暗い物体（青空）を表す画素ブロックＰｂ_ｄａｒｋは、第２グループに分類されることになる。

この場合、第７グループの赤用レジスタＲ_７、第１緑用レジスタＧｒ_７、第２緑用レジスタＧｂ_７、青用レジスタＢ_７は、部分領域Ａｓにおける雪山の平均色度値を表し、第２グループの赤用レジスタＲ_２、第１緑用レジスタＧｒ_２、第２緑用レジスタＧｂ_２、青用レジスタＢ_２は、部分領域Ａｓにおける青空の平均色度値を表す。また、第７グループの輝度用レジスタＹ_７は雪山の積算輝度値を示し、第７グループのカウンタＮ_７は雪山の面積値を示す。また、第２グループの輝度用レジスタＹ_２は青空の積算輝度値を示し、第２グループのカウンタＮ_２は青空の面積値を示する。

ステップＳ１６：画像処理エンジン１８の色評価部２５は、画像上の各部分領域Ａｓについて以下の処理（ｅ）〜（ｉ）を実行する。

（ｅ）色評価部２５は、部分領域Ａｓに関する各グループのカウンタの値を閾値と比較し、カウンタの値が閾値に満たないようなグループ（すなわち面積値の小さいグループ）を、後述する代表グループの候補から除外する。図４に示した例において、例えばカウンタＮ_１、Ｎ_８の値が閾値より小さかったとすると、第１グループ及び第８グループが代表グループの候補から除外される。

（ｆ）色評価部２５は、除外後に残ったグループの中で最も高輝度なグループを、部分領域Ａｓの代表グループとして選出する。図４に示した例において、例えば第１グループ及び第８グループが代表グループの候補から除外されていたとすると、第７グループが部分領域Ａｓの代表グループとして選出される。

（ｇ）色評価部２５は、代表グループ（図４では第７グループ）の平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を、部分領域Ａｓの代表色度値として出力する。ここで、代表グループ（図４では第７グループ）の平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を規定するＲは、代表グループ（図４では第７グループ）の赤用レジスタ（図４では赤用レジスタＲ_７ ）の値であり、平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を規定するＧは、代表グループ（図４では第７グループ）の第１緑用レジスタＧｒ及び第２緑用レジスタＧｂの平均値（図４では第１緑用レジスタＧｒ_７、第２緑用レジスタＧｂ_７の平均値）であり、平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を規定するＢは、代表グループ（図４では第７グループ）の青用レジスタ（図４では青用レジスタＢ_７ ）の値である。したがって、図４に例示した部分領域Ａｓに関しては、雪山の平均色度値が部分領域Ａｓの代表色度値として出力される。この代表色度値には、青空の色度は全く反映されない。

（ｈ）色評価部２５は、代表グループ（図４では第７グループ）の平均輝度値を、部分領域Ａｓの代表輝度値として出力する。ここで、代表グループ（図４では第７グループ）の平均輝度値は、代表グループ（図４では第７グループ）の輝度用レジスタ （図４では輝度用レジスタＹ_７）の値を、代表グループ（図４では第７グループ）のカウンタ （図４ではカウンタＮ_７）の値で除算したものである。したがって、図４に例示した部分領域Ａｓに関しては、雪山の平均輝度値が、部分領域Ａｓの代表輝度値として出力される。この代表輝度値には、青空の輝度は全く反映されない。

（ｉ）色評価部２５は、代表グループ（図４では第７グループ）のカウンタ （図４ではカウンタＮ_７）の値を、部分領域Ａｓにおける代表グループの面積値として出力する。なお、代表グループの面積値は、部分領域Ａｓにおいて代表色度値と同等の色度を有した部分の出現頻度を表している。

ステップＳ１７：画像処理エンジン１８のゲイン算出部２６は、図５に示すとおり、部分領域Ａｓの各々を、各々の代表色度値に応じて色度図上へ写像する。図５においては、色度図上の各点が、各部分領域Ａｓの写像先を示している。この色度図上には、無彩色検出範囲Ｄ_０が規定されており、無彩色検出範囲Ｄ_０は、幾つかの光源下における無彩色物体の色度範囲（黒体放射軌跡の近傍の範囲）に相当する。

ステップＳ１８：画像処理エンジン１８のゲイン算出部２６は、無彩色検出範囲Ｄ_０の内部に位置する写像先の重心座標を算出する。この際、ゲイン算出部２６は、代表輝度値の大きな部分領域Ａｓの写像先ほど、大きな重み値を付加し、面積値の大きな部分領域Ａｓの写像先ほど、大きな重み値を付加する。

ステップＳ１９：画像処理エンジン１８のゲイン算出部２６は、ステップＳ１８で算出した重心座標に基づき、画像へ施すべきホワイトバランス調整のホワイトバランスゲインを取得して出力する。例えば、ホワイトバランスゲインは、その重心座標の逆数に設定される。

ステップＳ２０：画像処理エンジン１８のホワイトバランス調整部２７は、ステップＳ１９で取得されたホワイトバランスゲインを、第１メモリ１９にバッファリングされている画像の全ての赤画素及び青画素へ乗算することにより、ホワイトバランス調整を実施する。

ステップＳ２１：画像処理エンジン１８は、ホワイトバランス調整後の画像に対して、ホワイトバランス調整以外の各画像処理（色補間処理、階調変換処理、輪郭強調処理、色変換処理など）を施す。

ステップＳ２２：画像処理エンジン１８は、画像処理後の画像へデータ圧縮処理を施してから、予め決められた形式の画像ファイルを作成する。そして、画像処理エンジン１８は、その画像ファイルをメディアＩ／Ｆへ受け渡し、フローを終了する。これによって画像ファイルが記憶媒体２８へ保存されることになる。

以上、本実施形態の色評価部２５は、部分領域Ａｓ内の複数の画素ブロックＰｂを輝度値によってグループ分けし、画素ブロックＰｂの値Ｒ、Ｇｒ、Ｇｂ、Ｂをグループ毎に積算することにより、部分領域Ａｓの色度値をグループ毎に算出する（図４）。

ここで、同一の部分領域Ａｓ内に色度値の異なる２つの物体（例えば図４のような雪山と青空）が存在していた場合、それら２つの物体の間では、色度値が異なるだけでなく輝度値も異なるはずである。

したがって、部分領域Ａｓ内の複数の画素ブロックＰｂを輝度値によってグループ分けすれば、それら複数の画素ブロックＰｂを色度値によってグループ分けしたのと同等の効果が得られる。しかも、色度値によってグループ分けするよりも、輝度値によってグループ分けする方が演算量は少なくて済む。なぜなら、係数の乗算及び加算からなる輝度値の算出は、除算を伴う色度値の算出より簡単だからである。

したがって、本実施形態の色評価部２５は、部分領域Ａｓ内に存在する複数の色を簡単に個別評価することができる。

しかも、本実施形態の色評価部２５は、１つの部分領域Ａｓに関するグループうち比較的高輝度なグループをその部分領域Ａｓの代表グループとして選出するので（ステップＳ１６）、部分領域Ａｓの色評価を適正に行うことができる。

また、本実施形態の色評価部２５は、１つの部分領域Ａｓに関するグループの中で面積値の小さいものを代表グループの候補から除外するので（ステップＳ１６）、部分領域Ａｓの色評価を、より適正に行うことができる。

したがって、本実施形態の色評価部２５は、画像上の各部の色を簡単かつ適正に評価することができる。これにより、ゲイン算出部２６が特殊な演算を行わなくとも、ホワイトバランス調整の成功率は高く維持される。

なお、本実施形態の色評価部２５は、１つの部分領域Ａｓにつき代表グループを１つずつしか選出しなかったが、１つの部分領域Ａｓにつき２以上の代表グループを選出してもよい。また、選出される代表グループの個数は、部分領域Ａｓによって異なっても構わない。例えば、色評価部２５は、１つの部分領域Ａｓのグループのうち、カウンタの値が閾値以上である全てのグループを代表グループとして選出してもよい。その場合、画像処理エンジン１８は、上述したステップＳ１６〜Ｓ１８の代わりに後述するステップＳ１６’〜Ｓ１８’を実行すればよい（後述する変形例を参照。）。

また、本実施形態の色評価部２５は、１つの部分領域Ａｓに関するグループのうち比較的高輝度なグループを代表グループとして選出したが（ステップＳ１６）、比較的広面積なグループを代表グループとして選出してもよい。

また、上述した実施形態の色評価部２５は、全ての画素ブロックの値をレジスタへ書き込んだが、書き込みに要する処理を削減するために、個々の画素ブロックの色度を予め算出しておき、その色度が無彩色検出範囲Ｄ_０に収まっていた場合にのみ、その画素ブロックの値をレジスタへ書き込むこととしてもよい。なお、その場合は、ゲイン算出部２６による処理の一部（写像に関する処理）を省略することができる。

また、上述した実施形態の色評価部２５は、最も低輝度なグループの輝度範囲の下限値を０としたが、０より大きい所定値に設定することで、黒つぶれした画素ブロックを評価対象から除外してもよい。

また、上述した実施形態の色評価部２５は、最も高輝度なグループの輝度範囲の上限値を４０９５としたが、４０９５より小さい所定値に設定することで、飽和した画素ブロックを評価対象から除外してもよい。

また、上述した実施形態の色評価部２５は、輝度のグループ数を８としたが、８以外の他の数としてもよい。

また、上述した実施形態の色評価部２５は、４種類の画素からなる画素ブロックを１単位として扱ったが、演算量を削減するために２以上の画素ブロックからなる画素ブロック群を１単位として扱ってもよい。

また、上述した実施形態の画像処理エンジン１８は、ホワイトバランス調整処理の対象を、撮影時に記憶媒体２８へ保存される画像（保存用画像）としたが、撮影前確認用にモニタ２３へ表示すべき画像（スルー画像）としてもよい。また、ホワイトバランス調整処理の対象を、過去の撮影で記憶媒体２８へ保存された画像（保存済み画像）としてもよい。

また、ホワイトバランス調整処理の対象が、保存用画像又はスルー画像である場合、上述した実施形態の色評価部２５は、色の評価対象を、ホワイトバランス調整処理の対象とは異なる画像としてもよい。例えば、上述したカラー撮像素子１６とは別に設けられた分割測光センサ（カラー撮像素子の一種）で取得された画像としてもよい。因みに、このような分割測光センサは、一眼レフタイプの電子カメラに設けられていることが多い。

また、上述した実施形態の画像処理エンジン１８の動作プログラムの一部又は、カラーの撮影画像を扱う他の電子機器、例えば、ディジタルフォトフレームやプリンタなどのＣＰＵに実行させてもよい。或いは、汎用のコンピュータのＣＰＵに実行させてもよい。また、ＣＰＵに実行させるべき動作プログラムは、ＣＤ−ＲＯＭなどの記憶媒体、又はインターネットなどの通信網を介してＣＰＵの搭載先機器へインストールされてもよい。

［代表グループを複数化する場合の変形例］
ステップＳ１６’：画像処理エンジン１８の色評価部２５は、画像上の各部分領域Ａｓについて以下の処理（ｅ’）〜（ｉ’）を実行する。

（ｅ’）色評価部２５は、各グループのカウンタの値を閾値と比較し、カウンタの値が閾値に満たないようなグループを代表グループの候補から除外する。

（ｆ’）色評価部２５は、除外後に残ったグループの全部を、部分領域Ａｓの各代表グループとして選出する。

（ｇ’）色評価部２５は、各代表グループの平均色度値を、部分領域Ａｓの各代表色度値として出力する。

（ｈ’）色評価部２５は、各代表グループの平均輝度値を、部分領域Ａｓの各代表輝度値として出力する。

（ｉ’）色評価部２５は、各代表グループのカウンタの値を、部分領域Ａｓにおける各代表グループの面積値として出力する。

ステップＳ１７’：画像処理エンジン１８のゲイン算出部２６は、図６に示すとおり、部分領域Ａｓの各々を、各々の代表色度値に応じて色度図上へ写像する。但し、ここでは１つの部分領域Ａｓが複数の代表色度値を有している可能性もあるので、図６において米印で示すとおり、１つの部分領域Ａｓが複数点へ写像される可能性もある。つまり、本ステップの写像は、部分領域Ａｓ毎に行われるのではなく、代表グループ毎に行われる。これによって、代表グループの各々が、各々の平均色度値に応じて色度図上へ写像されることになる。

ステップＳ１８’：画像処理エンジン１８のゲイン算出部２６は、無彩色検出範囲Ｄ_０の内部に位置する写像先の重心座標を算出する。この際、ゲイン算出部２６は、平均輝度値の大きな代表グループの写像先ほど、大きな重み値を付加し、面積値の大きな代表グループの写像先ほど、大きな重み値を付加する。

１１…電子カメラ、１２…撮像光学系、１３…レンズ駆動部、１４…絞り、１５…絞り駆動部、１６…カラー撮像素子、１７…ＡＦＥ、１８…画像処理エンジン、１９…第１メモリ、２０…第２メモリ、２１…メディアＩ／Ｆ、２２…通信Ｉ／Ｆ、２３…モニタ、２４…レリーズ釦、２５…色評価部、２６…ゲイン算出部、２７…ホワイトバランス調整部

Claims (11)

1. カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の代表色を算出する色評価手段を備えた画像処理装置であって、
   前記色評価手段は、
   前記部分領域内の各部を明るさによりグループ分けし、グループの明るさ及び面積の少なくとも一方により前記部分領域から代表グループを選出し、前記代表グループの色を前記部分領域の代表色とする
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記色評価手段は、
   前記部分領域において他のグループよりも明るいグループを前記代表グループとして選出する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記色評価手段は、
   前記部分領域において最も明るいグループを前記代表グループとして選出する
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記色評価手段は、
   前記部分領域において閾値以上の面積を有しかつ他のグループよりも明るいグループを前記代表グループとして選出する
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記色評価手段は、
   前記部分領域から複数の前記代表グループを選出する
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記色評価手段は、
   前記部分領域において他のグループよりも広面積なグループを前記代表グループとして選出する
   ことを特徴とする画像処理装置。
7. 請求項１〜請求項６の何れか一項に記載の画像処理装置において、
   前記色評価手段は、
   前記代表グループに含まれる画素を積算した色を、前記部分領域の代表色とする
   ことを特徴とする画像処理装置。
8. 請求項１〜請求項７の何れか一項に記載の画像処理装置において、
   前記部分領域毎の前記代表色に基づき、前記カラー画像へ施すべきホワイトバランス調整の調整量を算出する調整量算出手段を更に備えた
   ことを特徴とする画像処理装置。
9. 請求項１〜請求項７の何れか一項に記載の画像処理装置において、
   前記色評価手段は、
   前記部分領域において前記代表グループの面積を前記代表色の出現頻度として出力し、
   前記部分領域毎の前記代表色と、前記代表色毎の前記出現頻度とに基づき、前記カラー画像へ施すべきホワイトバランス調整の調整量を算出する調整量算出手段を更に備えた
   ことを特徴とする画像処理装置。
10. 被写体のカラー画像を取得する撮像手段と、
    前記撮像手段で取得された前記カラー画像を処理する請求項１〜請求項９の何れか一項に記載の画像処理装置と、
    を備えたことを特徴とする撮像装置。
11. カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の代表色を算出する色評価手順を含むコンピュータ読み取り可能なプログラムであって、
    前記色評価手順では、
    前記部分領域内の各部を明るさによりグループ分けし、グループの明るさ及び面積の少なくとも一方により前記部分領域から代表グループを選出し、前記代表グループの色を前記部分領域の代表色とする
    ことを特徴とするコンピュータ読み取り可能なプログラム。

Images