JP4626432B2

JP4626432B2 - 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法

Info

Publication number: JP4626432B2
Application number: JP2005214127A
Authority: JP
Inventors: 武弘河口
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-07-25
Filing date: 2005-07-25
Publication date: 2011-02-09
Anticipated expiration: 2025-07-25
Also published as: JP2007036438A

Description

本発明は撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法に係り、特に撮影画面内の色に応じて露出補正を行う技術に関する。

一般に、カメラの露出制御装置は、１８％のグレーの反射率を基準に適正露出を求めて露出制御を行うため、白いエリアが多い被写体を撮影する場合には、適正露出よりも露出アンダーとなり、また、黒色のエリアが多い被写体（あるいは暗いシーン）を撮影する場合には、適正露出より露出オーバーになる傾向がある。

従来、上記のような問題点を解決するために、撮影画像データを複数のエリアに分割し、エリアごとに輝度に基づく露出評価値を生成するとともに色評価値を求め、色評価値が白色に対応する場合には、そのエリアの露出評価値に対する重み付けを小さい値にし、このようにして重み付けされた各エリアの露出評価値を加算して全体の露出評価値を算出し、露出制御を行うようにした撮像装置が提案されている（特許文献１）。
特開２００３−１８４５６号公報

上記特許文献１に記載の装置は、あるエリアの色（特に白色）を判別する際に、そのエリア内の各画素ごとに色評価値を求め、この求めた色評価値が色温度分布の所定範囲（白色の範囲）内に収まっているかどうかを判別し、白色の範囲内に納まっている画素の総数を数え、総数が所定数を超えると、白色のエリア（白色の画素が多いエリア）とするため、各エリアの色判別の処理が煩雑であるという問題がある。

また、特許文献１に記載の装置は、白色と判別されたエリアの露出評価値に重み付けを行っているため、全体に占める白色のエリアの割合が全体の露出評価値の算出に大きく反映され、本来露出補正が不要なシーンでも補正が行われたり、過度に補正が行われるおそれがある。

本発明はこのような事情に鑑みてなされたもので、分割エリアの色判別を簡易に行うことができるとともに、各エリアの色に伴う露出補正をより適正に行うことができる撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法を提供することを目的とする。

前記目的を達成するために請求項１に係る撮像装置における色判別方法は、カラーイメージセンサから出力されるＲ，Ｇ，Ｂのセンサ出力値を取得する工程と、撮像画面を複数のエリアに分割し、各エリアごとに前記カラーイメージセンサから取得したＲ，Ｇ，Ｂのセンサ出力値を各色別に積算してＲ，Ｇ，Ｂの積算値を算出する工程と、前記Ｒ，Ｇ，Ｂの積算値とホワイトバランス補正に使用されるホワイトバランス補正値とに基づいて各エリアごとのＲ，Ｇ，Ｂの輝度値を算出する工程と、前記Ｒ，Ｇ，Ｂの輝度値をガンマ補正用の入出力変換特性によって変換してＲ，Ｇ，Ｂのガンマ出力値を算出する工程と、前記Ｒ，Ｇ，Ｂのガンマ出力値のうちのエリア内の最大のガンマ出力値の色を基準にそのエリアを代表する代表色を判別する工程を含み、前記エリアを代表する代表色を判別する工程は、エリア内の最大のガンマ出力値の色と他の２つのガンマ出力値との比がそれぞれ所定の値以上、かつそのエリアのＲ，Ｇ，Ｂの輝度値から算出されるＹ輝度値が、全エリアの平均輝度よりも大きい場合に前記エリアを代表する色を白色と判別し、小さい場合に前記エリアを代表する色を黒色と判別することを特徴としている。

上記各エリアのＲ，Ｇ，Ｂの積算値は、自動露出制御やオートホワイトバランス調整用に算出されており、その積算値を利用している。Ｒ，Ｇ，Ｂの積算値にホワイトバランス補正に使用されるホワイトバランス補正値を乗算し、その乗算結果と目標積算値とに基づいてエリアごとのＲ，Ｇ，Ｂの輝度値を算出し、この算出したＲ，Ｇ，Ｂの輝度値をガンマ補正用の入出力変換特性によって変換してＲ，Ｇ，Ｂのガンマ出力値を算出する。このようにして求めた各エリアのＲ，Ｇ，Ｂのガンマ出力値は、最終の出力画像における各エリアのＲ，Ｇ，Ｂのガンマ出力値に対応する。そして、前記Ｒ，Ｇ，Ｂのガンマ出力値のうちのエリア内の最大のガンマ出力値の色を基準にそのエリアを代表する代表色を判別するようにしている。

請求項２に示すように請求項１に記載の撮像装置における色判別方法において、前記ホワイトバランス補正値は、前記カラーイメージセンサから出力されるＲ，Ｇ，Ｂのセンサ出力値をホワイトバランス補正及びガンマ補正してモニタに出力するスルームービーの表示中に前記ホワイトバランス補正のために求めたホワイトバランス補正値、前記スルームービーの表示中に測光した露出値に応じて選択されたホワイトバランス補正値、及び事前に設定されたホワイトバランスのうちのいずれかであることを特徴としている。

請求項３に示すように請求項１に記載の撮像装置における色判別方法において、前記エリアを代表する代表色を判別する工程は、エリア内の最大のガンマ出力値の色と他の２つのガンマ出力値との比がそれぞれ前記所定の値未満の場合には、前記最大のガンマ出力値の色を前記エリアの代表色と判別し、前記他の２つのガンマ出力値のいずれか一方のガンマ補正値と比が前記所定の値以上で他方のガンマ補正値との比が前記所定の値未満の場合には、前記最大のガンマ出力値の色と前記一方のガンマ補正値の色とで合成される色を前記エリアの代表色とすることを特徴としている。従って、各エリアの色は、白色、黒色、赤色、緑色、青色、及びＲ，Ｇ，Ｂの補色のシアン、マゼンタ、黄色の８色のうちのいずれかに判別される。

請求項４に係る撮像装置における色判別装置は、カラーイメージセンサから出力されるＲ，Ｇ，Ｂのセンサ出力値を取得する手段と、撮像画面を複数のエリアに分割し、各エリアごとに前記カラーイメージセンサから取得したＲ，Ｇ，Ｂのセンサ出力値を各色別に積算してＲ，Ｇ，Ｂの積算値を算出する手段と、前記Ｒ，Ｇ，Ｂの積算値とホワイトバランス補正に使用されるホワイトバランス補正値とに基づいて各エリアごとのＲ，Ｇ，Ｂの輝度値を算出する手段と、前記Ｒ，Ｇ，Ｂの輝度値をガンマ補正用の入出力変換特性によって変換してＲ，Ｇ，Ｂのガンマ出力値を算出する手段と、前記Ｒ，Ｇ，Ｂのガンマ出力値のうちのエリア内の最大のガンマ出力値の色を基準にそのエリアを代表する代表色を判別する手段と、を備え、前記エリアを代表する代表色を判別する手段は、エリア内の最大のガンマ出力値の色と他の２つのガンマ出力値との比がそれぞれ所定の値以上、かつそのエリアのＲ，Ｇ，Ｂの輝度値から算出されるＹ輝度値が、全エリアの平均輝度よりも大きい場合に前記エリアを代表する色を白色と判別し、小さい場合に前記エリアを代表する色を黒色と判別することを特徴としている。

請求項５に係る撮像装置の露出制御方法は、被写体の明るさを求める工程と、前記求めた被写体の明るさから適正露出値を算出するとともに、露出補正量の最大値を求める工程と、撮像画面を複数のエリアに分割した複数のエリアのうちの白色又は黒色を代表色とする白色又は黒色エリアを判別する工程であって、請求項１に記載の撮像装置における色判別方法によって白色又は黒色エリアを判別する工程と、画面全体における前記白色又は黒色エリアの個数に応じて白色又は黒色エリアの全体占有度を求める工程と、前記求めた全体占有度及び露出補正量の最大値に基づいて前記算出された適正露出値を補正する補正量を求める工程と、前記求めた補正量によって補正された適正露出値に基づいて露出制御を行う工程と、を含むことを特徴としている。

即ち、被写体の明るさから適正露出値を算出するとともに、露出補正量の最大値を求める。白色のエリアが多い場合の露光量補正量の最大値は、被写体の明るさが明るい程、大きな値をとるようにする。尚、被写体の明るさが所定の明るさ以下の場合には０にし、また、被写体の明るさがある一定の明るさを超えると、最大値を所定の値に制限してもよい。複数のエリアのうちの白色又は黒色エリアが判別されると、そのエリアの個数に応じて白色又は黒色エリアの全体占有度を求める。全体占有度は、エリアの個数が所定の個数以下の場合には０とし、ある個数を超えると、１００％とすることができる。このようにして求めた全体占有度及び露出補正量の最大値に基づいて適正露出値に対する補正量を求める。この求めた補正量によって適正露出値を補正して露出制御を行うようにしている。例えば、被写体の明るさが十分に明るく、かつ白色エリアの個数が多いと、補正量が大きくなり、その結果、露出アンダーにならないようにすることができる。

請求項６に係る撮像装置の露出制御方法は、被写体の明るさを求める工程と、前記求めた被写体の明るさから適正露出値を算出するとともに、露出補正量の最大値を求める工程と、撮像画面を複数のエリアに分割した複数のエリアのうちの緑色を代表色とする緑色エリアを判別する工程であって、請求項３に記載の撮像装置における色判別方法によって緑色エリアを判別する工程と、画面中央部における前記緑色判別された緑色エリアの個数に応じて緑色エリアの中央占有度を求める工程と、画面全体における前記緑色判別された緑色エリアの個数に応じて緑色エリアの全体占有度を求める工程と、前記求めた中央占有度、全体占有度及び露出補正量の最大値に基づいて前記算出された適正露出値を補正する補正量を求める工程と、前記求めた補正量によって補正された適正露出値に基づいて露出制御を行う工程と、を含むことを特徴としている。

人物などの主要被写体の周囲に緑が多いシーンでは、そのシーンの下で算出された適正露出値によって露出制御すると、露出オーバーとなり、主要被写体が白飛びする問題がある。従って、画面中央部に主要被写体が存在し（緑色エリアの個数が少なく）、かつ画面全体における緑色エリアの個数が多く、更に被写体の明るさが明るい場合には、適正露出値を大きくする補正量を求め、これにより適正露出値を補正するようにしている。即ち、画面中央部に主要被写体が存在する可能性を示す中央占有度は、画面中央部における緑色エリアの個数が少ない程、大きな値とし、画面全体における緑色エリアの個数が多い程、全体占有度は大きな値とし、被写体の明るさが明るい程、露出補正量の最大値を大きくし、これらの中央占有度、全体占有度及び露出補正量の最大値を乗算して適正露出値を補正する補正量を求めるようにしている。

請求項７に係る撮像装置の露出制御方法は、被写体の明るさを求める工程と、前記求めた被写体の明るさから適正露出値を算出するとともに、露出補正量の最大値を求める工程と、撮像画面を複数のエリアに分割した複数のエリアのうちの緑色、白色及び黒色をそれぞれ代表色とする緑色、白色及び黒色エリアを判別する工程であって、請求項３に記載の撮像装置における色判別方法によって緑色、白色及び黒色エリアを判別する工程と、画面中央部における前記緑色判別された緑色エリアの個数に応じて緑色エリアの中央占有度を求める工程と、画面全体における前記緑色判別された緑色エリアの個数に応じて緑色エリアの全体占有度を求める工程と、画面全体における前記白色判別された白色エリアの個数に応じて白色エリアの全体占有度を求める工程と、画面全体における前記黒色判別された黒色エリアの個数に応じて黒色エリアの全体占有度を求める工程と、前記求めた中央占有度、全体占有度及び露出補正量の最大値に基づいて前記算出された適正露出値を補正する緑色、白色及び黒色エリアに関する複数の補正量を求める工程であって、前記複数の補正量に優先順位を設定し、上位の補正量が０のときのみ下位の補正量を有効にする工程と、前記複数の補正量のうちの有効とされた補正量によって補正された適正露出値に基づいて露出制御を行う工程と、を含むことを特徴としている。

緑色、白色、及び黒色に応じた補正量で適正露出値を補正する場合に、各色別の補正量による露出補正に優先順位をつけ、上位の補正量が０のときのみ下位の補正量を有効にし、いずれか１つの補正量のみによって適正露出値を補正するようにしている。

本発明によれば、画面全体を複数に分割した各エリアの色判別を簡易に行うことができ、また、各エリアの色に伴う露出補正をより適正に行うことができる。

以下添付図面に従って本発明に係る撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法の好ましい実施の形態について詳説する。
［撮像装置の全体構成］
図１は本発明が適用された撮像装置の構成を示すブロック図である。同図に示すように、本実施の形態の撮像装置１０は、撮影光学系１２、ＣＣＤ等の固体撮像素子からなるカラーイメージセンサ１４（以下「ＣＣＤ」という）、タイミングジェネレータ（ＴＧ）１６、Ａ／Ｄ変換器１８、画像入力コントローラ２０、画像信号処理回路２２、圧縮・伸張処理回路２４、ビデオエンコーダ２６、画像表示装置２８、中央処理装置（ＣＰＵ）３０、色判別回路３２、スルームービー表示用のホワイトバランス補正量（ＡＷＢゲイン）演算回路３４、ＡＥ検出回路３６、ＡＦ検出回路３８、メモリ（ＳＤＲＡＭ）４０、メディアコントローラ４２、及び操作部４６等から構成されている。

撮像装置１０の全体の動作は、ＣＰＵ３０によって統括制御される。即ち、ＣＰＵ３０は、操作部４６からの入力に基づき所定のプログラムに従って撮像装置１０の各部を制御するもので、このプログラムをメモリ４０に展開し、メモリ４０を作業メモリとして使用しながら各種処理を実行する。

撮影光学系１２は、ズームレンズ１２ｚ、フォーカスレンズ１２ｆ、絞り（例えば、虹彩絞り）１２ｉを含み、ＣＰＵ３０からの指令によりそれぞれモータドライバ４８、５０、５２を介して駆動される。即ち、ズームレンズ１２ｚは、モータドライバ４８に駆動されて撮影光軸上を前後移動し、これにより、焦点距離を変化させる。フォーカスレンズ１２ｆは、モータドライバ５０に駆動されて撮影光軸上を前後移動し、これにより結像位置を変化させる。また、絞り１２ｉは、モータドライバ５２に駆動されて開口量が段階的又は連続的に変化し、これにより絞り値を変化させる。

ＣＣＤ１４は、各画素ごとにＲ，Ｇ，Ｂフィルタが配列（例えば、ＧストライプＲ／Ｂ市松、ベイヤ配列）されたカラーＣＣＤで構成されている。撮影光学系１２を介してＣＣＤ１４の受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１６から加えられるタイミング信号に従って読み出され、電圧信号（画像信号）としてＣＣＤ１４から順次出力される。

尚、このＣＣＤ１４は、シャッタゲートとシャッタドレインを備えており、シャッタゲートにシャッタゲートパルスを印加することで各フォトダイオードに蓄積された信号電荷をシャッタドレインに掃き出すことができるようにされている。ＣＰＵ３０は、ＴＧ１６を介してシャッタゲートへのシャッタゲートパルスの印加を制御することにより、各フォトダイオードに蓄積される信号電荷の電荷蓄積時間（シャッタ速度）を制御する（いわゆる電子シャッタ機能）。

ＣＣＤ１４から順次出力される画像信号は、Ａ／Ｄ変換器１８によってデジタルの画像信号に変換され、画像入力コントローラ２０を介してメモリ４０に一時格納される。

画像信号処理回路２２は、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ３０からの指令に従ってメモリ４０に格納された画像信号を処理し、輝度信号と色差信号とからなるＹＵＶ信号を生成する。

画像表示装置２８にスルームービー画像を表示させる場合は、ＣＣＤ１４で画像を連続的に撮像し、得られた画像信号を連続的に処理してＹＵＶ信号を生成する。生成されたＹＵＶ信号は、メモリ４０を介してビデオエンコーダ２６に加えられ、表示用の信号形式に変換されて画像表示装置２８に出力される。これにより、画像表示装置２８にスルームービー画像が表示される。

画像を記録する場合は、操作部４６からの撮影指令に応じてＣＣＤ１４で画像を撮像し、得られた画像信号を処理してＹＵＶ信号を生成する。生成されたＹＵＶ信号は、圧縮・伸張処理回路２４に加えられ、所定の圧縮画像データ（例えば、ＪＰＥＧ）とされたのち、メディアコントローラ４２を介して記録メディア４４に格納される。

記録メディア４４に格納された圧縮画像データは、再生指令に応じて記録メディア４４から読み出され、圧縮・伸張処理回路２４で非圧縮のＹＵＶ信号とされたのち、ビデオエンコーダ２６を介して画像表示装置２８に出力される。これにより、記録メディア４４に記録された画像が画像表示装置２８に再生表示される。

色判別回路３２は、１画面を複数（例えば、８×８）に分割したエリアの色を簡易に判別する回路であり、この判別結果は、露出制御に使用される。尚、色判別回路３２の詳細については、後述する。

ＡＷＢゲイン演算回路３４は、スルームービー表示中や静止画の撮像時にホワイトバランス補正を行うためのＡＷＢゲインを演算する。例えば、ＡＷＢゲイン演算回路３４は、前記分割された各エリアごとに色情報（エリア内のＲ、Ｇ、Ｂ信号の比Ｒ／Ｇ、Ｂ／Ｇ）を求め、予めＲ／Ｇ、Ｂ／Ｇの色空間内に、各種の光源種（晴れ、曇り、蛍光灯、タングステン電球等）に対応する検出枠を設定し、前記求めた各エリアの色情報に基づいて各検出枠に入るエリアの個数を求め、被写体の明るさ（輝度レベル）及び検出枠に入るエリアの個数に基づいて光源種を判別し、判別した光源種に適したＡＷＢゲインを予め光源種ごとに記憶している記憶手段から読み出す（特開２０００−２２４６０８号公報参照）。尚、ＡＷＢゲインの算出方法は、これに限らず、例えばＲ／Ｇ、Ｂ／Ｇの色空間における各エリアの色情報の分布の中心を求め、その分布中心から光源種を判定してもよい。

ＡＥ検出回路３６は、ＣＰＵ３０からの指令に従い、入力された画像信号からＡＥ制御に必要な物理量を算出する。このＡＥ検出回路３６は、例えば、ＡＥ制御に必要な物理量として前記分割された各エリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ３０は、このＡＥ検出回路３６から得た積算値に基づいて被写体の明るさを検出して適正露出値（ＥＶ値）を求め、求めたＥＶ値に基づいて露出制御を行う。尚、この露出制御については、のちに詳述する。

ＡＦ検出回路３８は、ＣＰＵ３０からの指令に従い、入力された画像信号からＡＦ制御に必要な物理量を算出する。本実施の形態の撮像装置１０では、画像のコントラストによりＡＦ制御を行うものとし、ＡＦ検出回路３８は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。ＣＰＵ３０は、このＡＦ検出回路３８で算出される焦点評価値が極大となるように、モータドライバ５０を介してフォーカスレンズ１２ｆの移動を制御する。

本実施の形態の撮像装置１０は以上のように構成される。
［エリアの色判別方法］
次に、本実施の形態の撮像装置１０における色判別方法について説明する。

図２は本発明に係る撮像装置における色判別方法の実施の形態を示すフローチャートである。色判別を行うタイミングとしては、スルームービーの表示中と、ユーザーがレリーズボタンを半押ししてＡＥ、ＡＦ動作を指示したときが考えられる。

色判別がスタートすると、Ａ／Ｄ変換器から出力されるデジタルのＲ，Ｇ，Ｂ信号は、６４分割されたエリアごとにＲの積算値、Ｇの積算値，Ｂの積算値を求め、これらのＲ，Ｇ，Ｂの積算値をＣＣＤ１４のセンサ出力値として検出する（ステップＳ１０）。

図３（Ａ）は撮影画像の一例を示し、図３（Ｂ）は、図３（Ａ）に示した画像の右上隅のエリアにおけるセンサ出力値を示している。

尚、Ｒ，Ｇ，Ｂ信号を各色信号ごとに積算する積算ブロックは、色判別回路３２、ＡＷＢゲイン演算回路３４、ＡＥ検出回路３６、及びＡＦ検出回路３８において共通に使用することができる。

続いて、ステップＳ１２では、スルームービーの表示中にＡＷＢゲイン演算回路３４にて算出されたＡＷＢゲイン（図３（Ｃ）参照）と上記センサ出力値とを元にして、Ｒ，Ｇ，Ｂそれぞれのエリア内の輝度値を算出するとともに、Ｒ：Ｇ：Ｂ＝３：６：１の比率でＲ，Ｇ，Ｂの輝度値を合成してＹ輝度値を算出する（図３（Ｄ）参照）。尚、Ｒ，Ｇ，Ｂの積算値に対応するＲ，Ｇ，Ｂの輝度値は、Ｒ，Ｇ，Ｂの積算値と各ＡＷＢゲインとを乗算し、その乗算結果と目標積算値とに基づいて算出する。

次に、図４に示すように各エリアごとに算出したＹ輝度値に基づいて全エリアの平均Ｙ輝度値を算出する（ステップＳ１５）。この例では、全エリアの平均Ｙ輝度値は、１１１１（１００倍ＥＶ）である。

その後、各エリアのＲ，Ｇ，Ｂの輝度値を、次式によって全エリアの平均Ｙ輝度値で規格化し、ガンマカーブに入力する準備をする（ステップＳ１６）。

[数１]
（定数×２^{色ごとの輝度値}）／（２^{全エリアの平均輝度値}）
ただし、この例では、定数を１００としている。

図５は、上記［数１］式によって算出した右上隅エリアのＲ，Ｇ，Ｂの輝度値の演算結果を示している。尚、上記の演算結果が１０２３以上になる場合には、１０２３にクリップする。これは次段のガンマ補正回路の入力の上限が１０２３であるためである。

図６は画像信号を階調変換（ガンマ変換）するためのガンマ補正回路における入出力変換特性を示すガンマカーブを示している。図６の入出力変換特性をもったガンマ補正回路は、前述した画像信号処理回路２２に含まれるもので、図６のガンマカーブの入出力特性をもったルックアップテーブルによって構成される。

ステップＳ１８では、上記のようにして求めたＲ，Ｇ，Ｂのガンマ入力用の輝度値をガンマ補正回路（ルックアップテーブル）に入力することにより、ガンマカーブに応じたガンマ出力値を得る。

図７（Ａ）は全エリアのガンマ入力用のＲ，Ｇ，Ｂの輝度値を示し、図７（Ｂ）は全エリアのガンマ出力値を示している。

次に、エリア内のＲ，Ｇ，Ｂのガンマ出力値のうち、最大のガンマ出力値の色に基づいて、図８に示すように、Ｒ→２^０：ＯＮ、Ｇ→２^１：ＯＮ、Ｂ→２^２：ＯＮとなるように色に対応したビットを立てる（ステップＳ２０）。

また、最大のガンマ出力値の色以外のガンマ出力値が、最大のガンマ出力値の８５％以上であれば、その色に対応したビットを立てる（ステップＳ２２、Ｓ２４）。尚、８５％の数値は、実験によって決めた値である。

ステップＳ２６では、上記ステップＳ１２、Ｓ１４で求めたＹ輝度値及び平均Ｙ輝度値と、ステップＳ２０〜Ｓ２４で立てたビットから色判別対象のエリアの代表色が、白色か黒色かの判別を行う。

即ち、Ｒ，Ｇ，Ｂの色に対応した全てのビットが立っている場合（２^０：ＯＮ、２^１：ＯＮ、２^２：ＯＮより、２^２×１＋２^１×１＋２^０×１＝１＋２＋４＝７となる場合）には、そのエリアの代表色は、白色又は黒色と判別し、更に、そのエリアのＹ輝度値が全エリアの平均Ｙ輝度値よりも大きい場合には白色、小さい場合には黒色と判別する。

図３に示した右上隅のエリアの場合、ガンマ出力値は、Ｒ＝８７、Ｇ＝８５、Ｂ＝８８となり（図７（Ｂ）参照）、最大のガンマ出力値の色は、青色である（Ｂ＝８８）。また、他の２つのガンマ出力値は、Ｒ＝８７、Ｇ＝８５であり、それぞれ最大のガンマ出力値（Ｂ＝８８）の８５％以上であるため、右上隅のエリアを代表する色は、白色又は黒色である。また、図４に示すように右上隅のエリアのＹ輝度値（１１２６）は、全エリアの平均Ｙ輝度値（１１１１）よりも大きいため、白色と判別される。

また、各エリアの代表色は、下記に示すようにビットの立っている状態に基づいて白色又は黒色を含む８色に簡易的に判別することができる。

赤色（Ｒ）→２^０＝１
緑色（Ｇ）→２^１＝２
青色（Ｂ）→２^２＝４
イエロー →Ｒ＋Ｇ＝２^０＋２^１＝３
マゼンタ →Ｒ＋Ｂ＝２^０＋２^２＝５
シアン →Ｇ＋Ｂ＝２^１＋２^２＝６
白（黒）色→Ｒ＋Ｇ＋Ｂ＝２^０＋２^１＋２^２＝１＋２＋４＝７
図９（Ａ）は撮影画像の一例を示し、図９（Ｂ）は撮影画面を６４分割した全エリアの代表色が、上記８色のうちのいずれの色に属するかを色判別した判別結果を示している。

尚、上記実施の形態の図２のステップＳ１２では、ＡＷＢゲイン演算回路３４にて算出されたＡＷＢゲインを使用しているが、スルームービーの表示中にＡＷＢゲインを算出せず、他の方法でＡＷＢゲインを取得する撮像装置がある。この場合には、他の方法で取得したＡＷＢゲインを使用する。

例えば、図１０に示すように予め露出範囲ごとにＡＷＢゲインが記憶されたテーブルを有し、スルームービーの表示中に測光した露出値に応じて前記テーブルからＡＷＢゲインを読み出し、これをスルームービー表示中のホワイトバランス補正に使用するものがある。この場合には、図２のステップＳ１２での演算には、露出値に応じて読み出される（選択される）ＡＷＢゲインを使用する。

また、スルームービー表示を行わない場合には、図１１に示すように事前に設定されたＡＷＢゲインを使用する。
［露出制御方法］
＜白色補正＞
図１２は白いエリアの影響で露出アンダーになるのを防ぐ補正量の求め方を示すフローチャートである。

図１２において、画面全体を６４分割した場合の各エリアについて、そのエリアの色判別を行い、白色判別されたエリアを求める。各エリアの色判別は、上述した［エリアの色判別方法］を適用することができる。そして、画面全体における白色判別されたエリアの個数をカウントし、そのエリア数に応じて「全体占有度」を求める（ステップＳ４０）。

ここで、「全体占有度」は、例えば、図１３（Ａ）に示すようにエリア数が６個以下は０とし、６〜２０個の範囲はその個数に比例して高くなり、２０個以上は１００％としている。

次に、被写体を測光して求めた露出値（測光ＥＶ値）に応じた露出補正量の最大値を求める（ステップＳ４２）。この補正量の最大値は、例えば、図１３（Ｂ）に示すように測光ＥＶ値が８００（１００倍ＥＶ値）以下のときに０、８００〜１２００の範囲は測光ＥＶ値に比例して大きくなり、１２００以上は１００（１００倍ＥＶ値）としている。

上記のようにして求めた全体占有度及び補正量の最大値に基づいて次式により補正量を求める（ステップＳ４４）。
［数２］
補正量＝−（全体占有度×補正量の最大値）／１２８
この補正量によって事前に適正露出値として求めた測光ＥＶ値が補正される。この補正された測光ＥＶ値によって露出制御（絞り１２ｉやＣＣＤ１４での電子シャッタ速度（電荷蓄積時間）を行うことで、露出アンダーを防止することができる。尚、［数２］式に示すように、補正量の符号がマイナスになるのは、測光ＥＶ値を小さくし、明るくする方向に露出補正するためである。

また、黒色のエリアが多い被写体（あるいは暗いシーン）を撮影する場合には、適正露出より露出オーバーになるため、白色のエリアに伴う露出補正と同様にして、黒色のエリアに伴う露出補正を行うことができる。この場合、測光ＥＶ値による補正量の最大値は、図１３（Ｂ）に示したグラフとは逆に、測光ＥＶ値が低いときに大きくする。また、補正量の符号はプラスにし、算出される補正量によって測光ＥＶ値を大きくする方向に補正する。
＜緑色補正＞
カメラの露出制御装置は、緑色のエリアが多い被写体を撮影する場合には、適正露出よりも露出オーバーとなる傾向があり、その結果、中央に位置する主要被写体の周辺部に緑色の多いシーンを撮影すると、主要被写体が明るくなりすぎるという問題がある。これを防ぐためには、上記のようなシーンを判別し、露出補正を行えばよい。

図１４は緑色のエリアの影響で露出オーバーになるのを防ぐ補正量の求め方を示すフローチャートである。

図１４において、画面全体を６４分割した場合の各エリアについて、そのエリアの色判別を行い、緑色判別されたエリアを求める。各エリアの色判別は、上述した［エリアの色判別方法］を適用することができる。そして、画面中央部における緑色判別されたエリアの個数をカウントし、そのエリア数が多いほど占有度が低くなる「中央占有度」を求める（ステップＳ５０）。

ここで、「中央占有度」は、例えば、図１５（Ａ）に示すように画面中央部のエリア数を４としたときに、緑色判別されたエリア数が０個のときに１００％、４個のときに０％とし、エリア数が小さくなるにしたがって低くなる。これは、画面中央部に緑色があるときは、もともと緑色のものを撮りたいと判断して補正しないようにするためである。

続いて、画面全体における緑判別されたエリアの個数をカウントし、そのエリア数に応じて「全体占有度」を求める（ステップＳ５２）。この「全体占有度」は、図１５（Ｂ）に示すように白色に対する「全体占有度」の求め方（図１3（Ａ））と同様にして求める。

次に、被写体を測光して求めた露出値（測光ＥＶ値）に応じた露出補正量の最大値を求める（ステップＳ５４）。この補正量の最大値は、例えば、図１５（Ｃ）に示すように白色に対する「補正量の最大値」の求め方（図１3（Ｂ））と同様にして求める。

上記のようにして求めた中央占有度、全体占有度及び補正量の最大値に基づいて次式により補正量を求める（ステップＳ５６）。
［数３］
補正量＝＋（中央占有度×全体占有度×補正量の最大値）／１２８×１２８
この補正量によって事前に適正露出値として求めた測光ＥＶ値が補正される。この補正された測光ＥＶ値によって露出制御（絞り１２ｉやＣＣＤ１４での電子シャッタ速度（電荷蓄積時間）を行うことで、露出アンダーを防止することができる。尚、［数３］式に示すように、補正量の符号がプラスになるのは、測光ＥＶ値を大きくし、暗くする方向に露出補正するためである。
＜白色・黒色・緑色補正＞
１つのシーンにおいて、白色判別されたエリアが多いシーン、黒色判別されたエリアが多いシーン、及び画面中央部以外の周辺部に緑色判別されたエリアが多いシーンのうちの２以上のシーンが含まれると、複数の補正量が算出されることになる。複数の補正量によって露出補正を行うと、意図しない補正がかかることになる。

そこで、本発明では、白色判別、黒色判別、及び緑色判別による各補正量に優先順位を付け、上位の補正量が０のときのみ下位の補正量を有効にし、複数の補正量による露出補正を行わないようにしている。

図１６は白色判別、黒色判別、及び緑色判別による各補正量に優先順位を付けて１つの補正量を決定する手順を示すフローチャートである。

図１６において、画面全体を６４分割した場合の各エリアについて、そのエリアの色判別を行う（ステップＳ１００）。続いて、６４分割されたエリアのうちの緑色判別されたエリアを求め、図１４で説明したように緑色判別に伴う補正量（緑補正量）を算出する（ステップＳ１０２）。

続いて、算出した緑補正量が０か否かを判別し（ステップＳ１０４）、０でない場合には、緑補正量をシーンの色判別による露出補正量（色補正量）として採用し（ステップＳ１０６）、色補正量算出を終了する。

一方、緑補正量が０の場合には、ステップＳ１０８に進み、ここで、６４分割されたエリアのうちの白色判別されたエリアを求め、図１２で説明したように白色判別に伴う補正量（白補正量）を算出する。そして、この白補正量が０か否かを判別し（ステップＳ１１０）、０でない場合には、白補正量を色補正量として採用し（ステップＳ１１２）、色補正量算出を終了する。

一方、白補正量が０の場合には、ステップＳ１１４に進み、ここで、６４分割されたエリアのうちの黒色判別されたエリアを求め、黒色判別に伴う補正量（黒補正量）を算出する（ステップＳ１１４）。そして、この黒補正量を色補正量として採用し（ステップＳ１１６）、色補正量算出を終了する。

尚、この実施の形態では、画面全体を６４分割した場合を例に説明したが、分割エリアの個数はこれに限らない。また、白色エリアや緑色エリアの個数による全体占有度の求め方、画面中央部における緑アリアの個数による中央占有度の求め方、及び被写体の明るさ（測光ＥＶ値）に応じた露出補正量の最大値を求め方は、この実施の形態に限らない。更に、ＣＣＤ１４から得た画像信号に基づいてＥＶ値を求めているが、ＥＶ値を求める方法については、これに限定されるものではなく、他の測光センサ等を用いてＥＶ値を求めるようにしてもよい。

図１は撮像装置の構成を示すブロック図である。図２は本発明に係る撮像装置における色判別方法の実施の形態を示すフローチャートである。図３は分割されたエリアのＲ，Ｇ，Ｂの輝度値の算出方法を説明するために用いた図である。図４は分割された全エリアのＹ輝度値を示す図である。図５はガンマカーブに入力するための規格化の演算式と演算結果を示す図である。図６はガンマ補正回路における入出力変換特性を示すガンマカーブの一例を示すグラフである。図７はガンマカーブの入力前後の全エリアのＲ，Ｇ，Ｂの輝度値を示す図である。図８は色判別ビットと各色を示す数値との関係を示す図である。図９は全エリアを色判別した結果を示す図である。図１０はスルームービー表示中の露出値とＡＷＢゲインとの関係を示す図である。図１１はスルームービー表示中に使用する事前に設定されたＡＷＢゲインの一例を示す図である。図１２は白いエリアの影響で露出アンダーになるのを防ぐ補正量の求め方を示すフローチャートである。図１３は白色判別されたエリア数に応じた全体占有度及び測光ＥＶ値に応じた露出補正量の最大値を示すグラフである。図１４は緑色のエリアの影響で露出オーバーになるのを防ぐ補正量の求め方を示すフローチャートである。図１５は画面中央部における緑色判別されたエリア数に応じた中央占有度、全エリアにおける緑色判別されたエリア数に応じた全体占有度、及び測光ＥＶ値に応じた露出補正量の最大値を示すグラフである。図１６は白色判別、黒色判別、及び緑色判別による各補正量に優先順位を付けて１つの補正量を決定する手順を示すフローチャートである。

符号の説明

１０…撮像装置、１２…撮影光学系、１４…ＣＣＤ、２２…画像信号処理回路、２８…画像表装置、３０…中央処理装置（ＣＰＵ）、３２…色判別回路、３４…ＡＷＢゲイン演算回路、３６…ＡＥ検出回路、３７…ＡＦ検出回路、４０…メモリ（ＳＤＲＡＭ）、４４…記録メディア、４６…操作部

Claims

カラーイメージセンサから出力されるＲ，Ｇ，Ｂのセンサ出力値を取得する工程と、
撮像画面を複数のエリアに分割し、各エリアごとに前記カラーイメージセンサから取得したＲ，Ｇ，Ｂのセンサ出力値を各色別に積算してＲ，Ｇ，Ｂの積算値を算出する工程と、
前記Ｒ，Ｇ，Ｂの積算値とホワイトバランス補正に使用されるホワイトバランス補正値とに基づいて各エリアごとのＲ，Ｇ，Ｂの輝度値を算出する工程と、
前記Ｒ，Ｇ，Ｂの輝度値をガンマ補正用の入出力変換特性によって変換してＲ，Ｇ，Ｂのガンマ出力値を算出する工程と、
前記Ｒ，Ｇ，Ｂのガンマ出力値のうちのエリア内の最大のガンマ出力値の色を基準にそのエリアを代表する代表色を判別する工程と、を含み、
前記エリアを代表する代表色を判別する工程は、エリア内の最大のガンマ出力値の色と他の２つのガンマ出力値との比がそれぞれ所定の値以上、かつそのエリアのＲ，Ｇ，Ｂの輝度値から算出されるＹ輝度値が、全エリアの平均輝度よりも大きい場合に前記エリアを代表する色を白色と判別し、小さい場合に前記エリアを代表する色を黒色と判別することを特徴とする撮像装置における色判別方法。
前記ホワイトバランス補正値は、前記カラーイメージセンサから出力されるＲ，Ｇ，Ｂのセンサ出力値をホワイトバランス補正及びガンマ補正してモニタに出力するスルームービーの表示中に前記ホワイトバランス補正のために求めたホワイトバランス補正値、前記スルームービーの表示中に測光した露出値に応じて選択されたホワイトバランス補正値、及び事前に設定されたホワイトバランスのうちのいずれかであることを特徴とする請求項１に記載の撮像装置における色判別方法。
前記エリアを代表する代表色を判別する工程は、エリア内の最大のガンマ出力値の色と他の２つのガンマ出力値との比がそれぞれ前記所定の値未満の場合には、前記最大のガンマ出力値の色を前記エリアの代表色と判別し、前記他の２つのガンマ出力値のいずれか一方のガンマ補正値との比が前記所定の値以上で他方のガンマ補正値との比が前記所定の値未満の場合には、前記最大のガンマ出力値の色と前記一方のガンマ補正値の色とで合成される色を前記エリアの代表色とすることを特徴とする請求項１に記載の撮像装置における色判別方法。
カラーイメージセンサから出力されるＲ，Ｇ，Ｂのセンサ出力値を取得する手段と、
撮像画面を複数のエリアに分割し、各エリアごとに前記カラーイメージセンサから取得したＲ，Ｇ，Ｂのセンサ出力値を各色別に積算してＲ，Ｇ，Ｂの積算値を算出する手段と、
前記Ｒ，Ｇ，Ｂの積算値とホワイトバランス補正に使用されるホワイトバランス補正値とに基づいて各エリアごとのＲ，Ｇ，Ｂの輝度値を算出する手段と、
前記Ｒ，Ｇ，Ｂの輝度値をガンマ補正用の入出力変換特性によって変換してＲ，Ｇ，Ｂのガンマ出力値を算出する手段と、
前記Ｒ，Ｇ，Ｂのガンマ出力値のうちのエリア内の最大のガンマ出力値の色を基準にそのエリアを代表する代表色を判別する手段と、を備え、
前記エリアを代表する代表色を判別する手段は、エリア内の最大のガンマ出力値の色と他の２つのガンマ出力値との比がそれぞれ所定の値以上、かつそのエリアのＲ，Ｇ，Ｂの輝度値から算出されるＹ輝度値が、全エリアの平均輝度よりも大きい場合に前記エリアを代表する色を白色と判別し、小さい場合に前記エリアを代表する色を黒色と判別することを特徴とする撮像装置における色判別装置。
被写体の明るさを求める工程と、
前記求めた被写体の明るさから適正露出値を算出するとともに、露出補正量の最大値を求める工程と、
撮像画面を複数のエリアに分割した複数のエリアのうちの白色又は黒色を代表色とする白色又は黒色エリアを判別する工程であって、請求項１に記載の撮像装置における色判別方法によって白色又は黒色エリアを判別する工程と、
画面全体における前記白色又は黒色エリアの個数に応じて白色又は黒色エリアの全体占有度を求める工程と、
前記求めた全体占有度及び露出補正量の最大値に基づいて前記算出された適正露出値を補正する補正量を求める工程と、
前記求めた補正量によって補正された適正露出値に基づいて露出制御を行う工程と、
を含むことを特徴とする撮像装置の露出制御方法。
被写体の明るさを求める工程と、
前記求めた被写体の明るさから適正露出値を算出するとともに、露出補正量の最大値を求める工程と、
撮像画面を複数のエリアに分割した複数のエリアのうちの緑色を代表色とする緑色エリアを判別する工程であって、請求項３に記載の撮像装置における色判別方法によって緑色エリアを判別する工程と、
画面中央部における前記緑色判別された緑色エリアの個数に応じて緑色エリアの中央占有度を求める工程と、
画面全体における前記緑色判別された緑色エリアの個数に応じて緑色エリアの全体占有度を求める工程と、
前記求めた中央占有度、全体占有度及び露出補正量の最大値に基づいて前記算出された適正露出値を補正する補正量を求める工程と、
前記求めた補正量によって補正された適正露出値に基づいて露出制御を行う工程と、
を含むことを特徴とする撮像装置の露出制御方法。
被写体の明るさを求める工程と、
前記求めた被写体の明るさから適正露出値を算出するとともに、露出補正量の最大値を求める工程と、
撮像画面を複数のエリアに分割した複数のエリアのうちの緑色、白色及び黒色をそれぞれ代表色とする緑色、白色及び黒色エリアを判別する工程であって、請求項３に記載の撮像装置における色判別方法によって緑色、白色及び黒色エリアを判別する工程と、
画面中央部における前記緑色判別された緑色エリアの個数に応じて緑色エリアの中央占有度を求める工程と、
画面全体における前記緑色判別された緑色エリアの個数に応じて緑色エリアの全体占有度を求める工程と、
画面全体における前記白色判別された白色エリアの個数に応じて白色エリアの全体占有度を求める工程と、
画面全体における前記黒色判別された黒色エリアの個数に応じて黒色エリアの全体占有度を求める工程と、
前記求めた中央占有度、全体占有度及び露出補正量の最大値に基づいて前記算出された適正露出値を補正する緑色、白色及び黒色エリアに関する複数の補正量を求める工程であって、前記複数の補正量に優先順位を設定し、上位の補正量が０のときのみ下位の補正量を有効にする工程と、
前記複数の補正量のうちの有効とされた補正量によって補正された適正露出値に基づいて露出制御を行う工程と、
を含むことを特徴とする撮像装置の露出制御方法。