JP4030398B2 - 画像処理装置、画像処理方法、画像処理方法を実現するためのプログラムおよびそのプログラムを記録した記録媒体 - Google Patents
画像処理装置、画像処理方法、画像処理方法を実現するためのプログラムおよびそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4030398B2 JP4030398B2 JP2002277572A JP2002277572A JP4030398B2 JP 4030398 B2 JP4030398 B2 JP 4030398B2 JP 2002277572 A JP2002277572 A JP 2002277572A JP 2002277572 A JP2002277572 A JP 2002277572A JP 4030398 B2 JP4030398 B2 JP 4030398B2
- Authority
- JP
- Japan
- Prior art keywords
- gain
- color
- value
- white balance
- color gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像素子が取得した画像信号を処理する技術に関し、特にホワイトバランスを調整する技術に関する。
【０００２】
【従来の技術】
一般に、ＣＣＤ（Charge Coupled Device）などの固体撮像素子を含む撮影装置（たとえば、デジタルビデオカメラ）を使用して被写体を撮影すると、その被写体から撮影装置に入射される映像光の色温度が変化するにもかかわらず、白い被写体は白く再現されるように制御される。この制御は、ホワイトバランス処理と呼ばれる。
【０００３】
このホワイトバランス処理は、「各色が画面に一応に分散しているとき、画面の色をすべて加算すると無彩色となる。」という性質を利用している。すなわち、この処理は、被写体の撮影により得られた、色の信号と輝度信号との差である色差信号（Ｒ−Ｙ、Ｂ−Ｙ信号）を画面全体で平均化した値と、一般被写体の無彩色部分から得られる値と近似した信号を出力する。この色差信号を画面全体で平均化した値はホワイトバランスが合っていれば零であり、被写体の照明が変化すれば色温度の変化に対応して平均値が変化するということに基づいて、この変化量が検出される。ＲゲインおよびＢゲインは、その変化量から、黒体放射特性に基づいて算出される。これらのゲインを利用して、ホワイトバランスを調整することができる。
【０００４】
ところで、白色以外の色は、ホワイトバランス処理の対象にはならないが、単一色が画面の一部の領域を占めた場合、本来白色でない色がホワイトバランス処理の対象となることがある。たとえば、芝生や山などのように撮影画面が緑一色（単一色）であるとき、上記の平均化された色差信号を無彩色にする必要があると判断され、誤った制御信号が出力される場合がある。その結果、緑色の再現性の低下という現象（いわゆる、「色の引き込み」）が発生することになる。したがって、このような、不要なホワイトバランス処理を回避するための制御が必要になる。
【０００５】
特開２０００−７８６０５号公報（特許文献１）は、入力された画像信号にホワイトバランス用ゲインを乗算してホワイトバランス制御を実行するホワイトバランス制御装置を開示する。
【０００６】
この装置は、画像を構成する画素ごとに画像信号から輝度信号と色差信号とを算出する信号処理回路と、そのベクトルの方向および長さが色相および彩度を表わすカラーベクトル座標の原点を通過する黒体放射軌跡を、原点を境とした２つの領域に分割し、その分割した領域ごとに求めた近似直線を結合したものである近似線に基づいて、各画素ごとの色差信号から近似線の近傍にある色差信号を選択し、その選択された色差信号を積分した結果と近似線とに基づいてホワイトバランス用ゲインを算出するホワイトバランス制御回路と、各画素ごとの色差信号にホワイトバランス用ゲインを乗算する乗算回路とを含む。
【０００７】
この装置によると、信号処理回路は、画素ごとに画像信号から輝度信号と色差信号とを算出する。ホワイトバランス制御回路は、カラーベクトル座標の原点を通過する黒体放射軌跡を、原点を境に２つに分割する。また、ホワイトバランス制御回路は、各画素ごとの色差信号から近似線の近傍にある色差信号を選択する。ホワイトバランス制御回路は、さらに、その色差信号を積分し、その結果と近似線とに基づいてホワイトバランス用ゲインを算出する。乗算回路は、ホワイトバランス用ゲインと色差信号とから、色差信号の補正値を算出する。これにより、補正する色差信号が黒体放射軌跡から乖離しないようにホワイトバランス制御を実行することができる。
【０００８】
また、特開平１１-１３６６９６号公報（特許文献２）は、白色以外の色を白色に引き込むことを回避するための色信号処理回路を開示する。この公報に開示された処理回路は、画像信号を色分離して得られた赤（Ｒ）、緑（Ｇ）、青（Ｇ）の色信号を増幅する増幅回路と、二次元座標によって色を規定する二次元座標系における色信号の二次元座標が、色調整を行なう範囲を示す第１の引き込み制限枠と第１の引き込み制限枠内に規定され二次元座標系の原点を含む第２の引き込み制限枠内との双方の内側に位置するか否かを判定し、双方の内側に位置する場合に、色信号が示す色を、二次元座標系の原点に規定された白色に引き込むことを決定する引き込み判定回路と、引き込むことが決定された色信号が示す色が、二次元座標系の原点に引き込まれるように、増幅回路の増幅率（ゲイン）を調整するゲイン調整回路とを含む。
【０００９】
この色信号処理回路によると、増幅回路は、Ｒ信号、Ｇ信号およびＢ信号のゲインを調整する。引き込み判定回路は、二次元座標によって色を規定する二次元座標系、たとえば（Ｒ＋Ｂ−２Ｇ、Ｒ−Ｂ）座標系における色信号の二次元座標（すなわち、（Ｒ＋Ｂ−２Ｇ，Ｒ−Ｂ））が、色調整を行なう範囲を示す第１の引き込み制限枠と第１の引き込み制限枠内に規定され二次元座標系の原点を含む第２の引き込み制限枠内との双方の内側に位置するか否かを判定し、双方の内側に位置する場合に、色信号が示す色を、二次元座標系の原点に規定された白色に引き込むことを決定する。ゲイン調整回路は、引き込むことが決定された色信号が示す色が、二次元座標系の原点に引き込まれるように、増幅回路の増幅率（ゲイン）を調整する。たとえば、Ｒゲイン、ＢゲインおよびＧゲインのそれぞれを調整するＲゲイン信号、Ｂゲイン信号およびＧゲイン信号が生成される。このようにして、近似的に四角形の引き込み制限枠を用い、対象となる色がその制限枠の内側にある場合には無条件にその色に対してホワイトバランス処理を実行することにより、ホワイトバランス処理を効率よく実行することができる。また第２の引き込み制限枠として直線を用いることにより、プログラムを小型化することができる。
【００１０】
さらに、特開平１１-４１６１９号公報（特許文献３）は、ホワイトバランス処理の誤動作を防ぐ色信号処理回路を開示する。この公報に開示された処理回路は、フィードバック制御によって、自動的にホワイトバランスをとる処理を行なう。
【００１１】
この色信号処理回路は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色信号の相互間のゲイン調整を行なうホワイトバランスアンプと、色差信号のフィールドごとの積分値を得る積分回路と、所定の色温度下における基準点をもとにホワイトバランスをとる範囲を制限する引き込み制限枠を設定するとともに、積分回路で得られた積分値の基準点からの移動量を常時監視し、移動後の積分値が引き込み制限枠内に存在するときその積分値に応じてホワイトバランスアンプのゲインをコントロールするコントローラとを含む。コントローラは、高輝度部の積分値データと通常輝度部の積分値データとを比較し、０に近いほうの積分値データを出力する比較回路と、比較回路により選択された、Ｒ−ＧおよびＢ−Ｇの各積分値データを加算してＲ＋Ｂ−２Ｇのデータを出力する加算器と、Ｒ−Ｇの積分値データからＢ−Ｇの積分値データを減算して、Ｒ−Ｂのデータを出力する減算器と、引き込み判定回路と、引き込み判定時に、Ｒ＋Ｂ−２ＧおよびＲ−Ｂの各データに基づいて、Ｒ信号、Ｇ信号およびＢ信号の各ゲインを設定するゲイン設定回路とを含む。
【００１２】
この信号処理回路によると、コントローラは、所定の色温度における基準点をもとにホワイトバランスをとる範囲を制限する引き込み制限枠を設定する。コントローラは、積分値の基準点からの移動量が監視され、移動後の積分値が引き込み制限枠内に存在するとき、その積分値に応じてホワイトバランスアンプのゲインをコントロールする。このようにすると、引き込みの判定基準が一致になるため、基準の移動により不要なホワイトバランス処理が実行されなくなる。これにより、誤動作のないホワイトバランス処理を実行できる色信号処理回路を提供することができる。
【００１３】
さらに、色の「引き込み」を防止する方法として、たとえば、「ずれ量」を求める基準となる色差データの積算枠を制御する方法、あるいは、無彩色とするためのＲゲインおよびＢゲインを「ずれ量」から直接算出し、それらのゲインが黒体放射曲線に基づいて設定されたゲインの組み合わせであるか否かを判定する方法がある。
【００１４】
【特許文献１】
特開２０００−７８６０５号公報
【００１５】
【特許文献２】
特開平１１-１３６６９６号公報
【００１６】
【特許文献３】
特開平１１-４１６１９号公報
【００１７】
【発明が解決しようとする課題】
しかしながら、積算枠を制御する方法によると、以下の問題点が生じる。第１に、積算枠を小さくすると、単一色の引き込みを抑制することができるが、適応できる色温度の範囲が狭くなる場合がある。あるいは、ホワイトバランスが崩れた状態で停止するロックと呼ばれる誤動作を引き起こしやすくなり、積算枠を極端に小さくすることはできなくなることがある。
【００１８】
第２に、ＩＱベクトル上で非対称な形とした場合、ホワイトバランスの収束点が原点よりずれるといった現象を引き起こしやすくなる。そのため、現実には、ＩＱベクトル上で黒体放射曲線をカバーする対称的な長方形とすることになる。この結果、単一色の引き込みに対しては必ずしも十分な対応とは言えないのが現実である。さらに、色のずれ量は、蛍光灯等のような照明の下では頻繁に変化するため、無彩色となるゲインを直接算出すると、色が変動する場合がある。
【００１９】
本発明は、上述の課題を解決するためになされたものであって、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現し、ハードウェアおよびソフトウェアへの負荷を軽減することができる画像処理装置、画像処理方法、画像処理方法を実現するためのプログラムおよびそのプログラムを記録した記録媒体を提供することである。
【００２０】
【課題を解決するための手段】
第１の発明に係る画像処理装置は、信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出するための現在値算出手段と、現在値算出手段に接続され、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶するための記憶手段と、現在値算出手段に接続され、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出するための第１の補正値算出手段と、記憶手段および第１の補正値算出手段に接続され、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出するための第２の補正値算出手段と、記憶手段および第２の補正値算出手段に接続され、第２の色ゲインの現在値と第２の色ゲインの補正値とに基づいて、ホワイトバランス処理の実行が適切であるか否かを判断するための判断手段と、判断手段に接続され、ホワイトバランス処理の実行が適切であると判断されると、ホワイトバランス処理を実行するための実行手段とを含む。
【００２１】
第１の発明によると、画像処理装置は、撮像素子が取得した信号に対して実行されるホワイトバランス処理を制御する。この画像処理装置の受信手段が、信号を受信すると、現在値算出手段が、その信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する。記憶手段は、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶する。第１の補正値算出手段が、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出すると、第２の補正値算出手段は、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する。黒体放射特性は、光子の統計的性質に基づくものであり、このような特性に関連付けられる第１の色ゲインおよび第２の色ゲインの補正値は、それぞれ実際の色を反映した値となる。したがって、このようにして算出された第１の色ゲインの補正値および第２の色ゲインの補正値に基づいてホワイトバランス処理を実行すると、自然の色に近い色を再現することができる。判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値とに基づいて（たとえば、大小関係、現在値と補正値との差などに基づいて）、ホワイトバランス処理の実行が適切であるか否かを判断する。判断手段が、ホワイトバランス処理の実行は適切であると判断すると、実行手段は、ホワイトバランス処理を実行する。したがって、ホワイトバランス処理のために算出された第１の色ゲインの補正値および第２の色ゲインの補正値の関係が黒体放射特性から乖離しないとき、それらの補正値に基づいて、ホワイトバランス処理が実行される。この場合、自然の色に近い値から逸脱することはないので、色再現性が低下することはない。また、ホワイトバランス処理の実行が適切であると判断されない場合、第１の色ゲインの補正値と、黒体放射特性に基づいて算出された第２の色ゲインの補正値とは、ホワイトバランス処理に使用されず、記憶手段に記憶された第１の色ゲインの現在値と第２の色ゲインの現在値とが、その処理に使用される。たとえば、信号が芝生や山など単一色となるような場合であり、この場合は、補正値に基づくホワイトバランス処理が実行されず、誤動作も発生しない。その結果、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現することができる画像処理装置を提供することができる。
【００２２】
第２の発明に係る画像処理装置は、第１の発明の構成に加えて、判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値との差に基づいて、ホワイトバランス処理の実行が適切であるか否かを判断するためのホワイトバランス判断手段を含む。
【００２３】
第２の発明によると、ホワイトバランス判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値との差に基づいて、ホワイトバランス処理の実行が適切であるか否かを判断する。たとえば、その差が予め定められた範囲の中に含まれる場合、ホワイトバランス処理の実行が適切であると判断される。このとき、第１の補正値と、黒体放射特性に基づいて算出された第２の補正値とに基づいて、ホワイトバランス処理が実行される。一方、その差が予め定められた範囲から逸脱する場合、ホワイトバランス処理の実行は不適切であると判断される。この場合、第１の色ゲインの補正値と、黒体放射特性に基づいて算出された第２の色ゲインの補正値とは、ホワイトバランス処理に使用されず、記憶手段に記憶された第１の色ゲインの現在値と第２の色ゲインの現在値とが、その処理に使用される。したがって、色ゲインの補正値に基づくホワイトバランス処理が必要である場合のみ、その処理が実行される。その結果、ホワイトバランス処理の精度を向上させることができる。
【００２４】
第３の発明に係る画像処理装置は、第２の発明の構成に加えて、ホワイトバランス判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値との差が予め定められた第１の範囲に含まれると、ホワイトバランス処理の実行が適切であると判断するための手段を含む。
【００２５】
第３の発明によると、ホワイトバランス判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値との差が予め定められた第１の範囲から逸脱すると、ホワイトバランス処理の実行が不適切であると判断する。したがって、第１の色ゲインの補正値と、黒体放射特性に基づいて算出された第２の色ゲインの補正値とはホワイトバランス処理に使用されず、記憶手段に記憶された第１の色ゲインおよび第２の色ゲインの現在値が使用される。その結果、補正値に基づくホワイトバランス処理を実行することによる誤動作を防止することができる。
【００２６】
第４の発明に係る画像処理装置は、第１〜３のいずれかの発明の構成に加えて、受信手段に接続され、信号に含まれる色の信号と輝度信号との差である色差信号を算出するための信号算出手段と、信号算出手段に接続され、領域における色差信号の平均値を算出するための平均値算出手段と、平均値算出手段に接続され、平均値と、予め算出された値であってホワイトバランスが整合しているときの色差信号との差である変化量を算出するための変化量算出手段とをさらに含む。実行手段は、変化量に基づいて、第１の処理と第２の処理とのいずれかを選択的に実行するための選択実行手段を含む。第１の処理は、第１の色ゲインの補正値および第２の色ゲインの補正値に基づいて実行されるホワイトバランス処理である。第２の処理は、第１の色ゲインの調整値と第２の色ゲインの調整値とに基づいて実行されるホワイトバランス処理である。
【００２７】
第４の発明によると、ホワイトバランス処理の対象となる領域は、予め定められた領域（たとえば、ＩＱ積算枠）である。信号算出手段は、信号に含まれる色の信号と輝度信号との差である色差信号を算出する。平均値算出手段は、その領域における色差信号の平均値を算出する。変化量算出手段は、その平均値と、予め算出された値であってホワイトバランスが整合しているときの色差信号との差である変化量を算出する。なお、ホワイトバランスが整合している場合、処理の対象とする領域に対して色差信号を平均化すると、その平均値は０となる。一方、ホワイトバランスが整合していない場合（たとえば、被写体の照明が変化した場合）、その色温度の変化に対応して、その平均値は変化する。選択実行手段は、変化量に基づいて、第１の処理と第２の処理とのいずれかを選択的に実行する。たとえば、変化量が予め定められた基準の変化量よりも大きいことに基づいて、選択実行手段が第１の処理を実行すると、ホワイトバランス処理は、第１の色ゲインの補正値および第２の色ゲインの補正値に基づいて実行される。一方、変化量が予め定められた基準の変化量よりも小さいことに基づいて、選択実行手段が第２の処理を実行すると、ホワイトバランス処理は、第１の色ゲインの調整値と第２の色ゲインの調整値とに基づいて実行される。すなわち、変化量が大きい場合に対応したホワイトバランス処理を実行すると、色の再現性が大きく向上する。一方、変化量が小さい場合に対応したホワイトバランス処理を実行すると、第１の色ゲインの調整値と第２の色ゲインの調整値に基づいて、色の再現性を微調整することができる。このようにして、画像処理装置は、色を安定してかつ良好に再現することができる。
【００２８】
第５の発明に係る画像処理装置は、第４の発明の構成に加えて、信号算出手段は、信号に含まれる第１の色の信号と輝度信号との差である第１の色差信号と、信号に含まれる第２の色の信号と輝度信号との差である第２の色差信号とのいずれかを算出するための手段を含む。平均値算出手段は、領域における第１の色差信号の平均値と、領域における第２の色差信号の平均値とのいずれかを算出するための手段を含む。変化量算出手段は、第１の色差信号と、ホワイトバランスが整合しているときの第１の色差信号との差である第１の変化量と、第２の色差信号と、ホワイトバランスが整合しているときの第２の色差信号との差である第２の変化量とのいずれかを算出するための手段を含む。選択実行手段は、第１の変化量および第２の変化量のいずれかが予め定められた第２の範囲から逸脱すると、第１の処理を実行するための手段を含む。
【００２９】
第５の発明によると、信号算出手段は、第１の色差信号と第２の色差信号とのいずれかを算出する。第１の色差信号とは、信号に含まれる第１の色の信号と輝度信号との差である。第２の色差信号とは、信号に含まれる第２の色の信号と輝度信号との差である。平均値算出手段が、第１の色差信号の平均値と、第２の色差信号の平均値とのいずれかを算出すると、変化量算出手段は、第１の変化量と第２の変化量とのいずれかの変化量を算出する。第１の変化量とは、第１の色差信号の平均値と、ホワイトバランスが整合しているときの第１の色差信号（すなわち、０）との差である。第２の変化量とは、第２の色差信号の平均値と、ホワイトバランスが整合しているときの第２の色差信号（すなわち、０）との差である。選択実行手段は、第１の変化量および第２の変化量のいずれかが予め定められた第２の範囲から逸脱すると、第１の処理を実行する。すなわち、色差信号の変化量が基準として設定された第２の範囲を越えると、ホワイトバランス処理が実行される。これにより、色を安定してかつ良好に再現することができる。
【００３０】
第６の発明に係る画像処理装置は、第４または第５の発明の構成に加えて、第１の色ゲインの調整値および第２の色ゲインの調整値のいずれかの範囲を制限することができる。
【００３１】
第６の発明によると、第１の色ゲインの調整値および第２の色ゲインの調整値のいずれかの範囲は制限される。したがって、たとえば、単一色が徐々に映像に現れた場合など、第２の処理が無制限に追従していく場合に、色の再現性を低下させないように、第１の色ゲインおよび第２の色ゲインの調整値を制限するように、それらの調整値の範囲を設定することができる。
【００３２】
第７の発明に係る画像処理装置は、第１〜６のいずれかの発明の構成に加えて、選択実行手段に接続され、第２の処理から第１の処理へホワイトバランス処理を切り換えるか否かを判断するための切換判断手段と、切換判断手段に接続され、第２の処理から第１の処理に切り換えると判断すると、第２の処理により算出された、第１の色ゲインの補正値および第２の色ゲインの補正値を第１の処理に反映させるための反映手段と、反映手段に接続され、第２の処理により算出された、第１の色ゲインの補正値および第２の色ゲインの補正値を初期化するための初期化手段とをさらに含む。
【００３３】
第７の発明によると、画像処理装置は、撮像素子が取得した信号の入力に応答して、ホワイトバランス処理を継続して実行する。画像処理装置の切換判断手段が、第２の処理から第１の処理へホワイトバランス処理を切り換えるか否かを判断する。ホワイトバランス処理を切り換えると判断すると、反映手段は、第２の処理により算出された第１の色ゲインの補正値および第２の色ゲインの補正値を第１の処理に反映させる。初期化手段は、それらの調整値を初期化する。したがって、画像処理装置が第１の調整値および第２の調整値を使用するホワイトバランス処理（すなわち、第２の処理）を実行しているときに、ホワイトバランスが不均衡の状態になると、黒体放射特性に基づく補正値を使用するホワイトバランス処理（すなわち、第１の処理）を実行する。したがって、画像処理の途中にホワイトバランスが不均衡の状態になった場合（たとえば、被写体に対する照明の変化により、色の信号が大きく変化した場合など）、黒体放射特性に基づくホワイトバランス処理が実行される。これにより、ホワイトバランスを整合させることができる。
【００３４】
第８の発明に係る画像処理装置は、第１〜７のいずれかの発明の構成に加えて、記憶手段に接続され、第１の色ゲインの現在値と第２の色ゲインの現在値との比率を算出するための比率算出手段と、比率算出手段に接続され、比率と予め定められた基準の比率との差が予め定められた第２の範囲から逸脱するか否かを確認するための比率確認手段と、比率確認手段に接続され、比率と基準の比率との差が第２の範囲から逸脱することを確認すると、ホワイトバランス処理を中止するための第１の中止手段とをさらに含む。
【００３５】
第８の発明によると、比率算出手段が第１の色ゲインの現在値と第２の色ゲインの現在値との比率を算出すると、比率確認手段は、その比率と予め定められた基準の比率との差が予め定められた第２の範囲から逸脱するか否かを確認する。その差が第２の範囲から逸脱することが確認されると、第１の中止手段は、ホワイトバランス処理を中止する。したがって、第１の色ゲインの現在値と第２の色ゲインの現在値との比率と、予め定められた基準の比率との差が予め定められた第２の範囲に含まれるとき、ホワイトバランス処理が実行される。このようにして、ホワイトバランス処理を実行するための条件に制限を加えることにより、ホワイトバランス処理の誤動作を防止することができる。
【００３６】
第９の発明に係る画像処理装置は、第１〜８のいずれかの発明の構成に加えて、記憶手段に接続され、第１の変化量および第２の変化量のいずれか予め設定された第３の範囲から逸脱するか否かを確認するための変化量確認手段と、変化量確認手段に接続され、第１の変化量および第２の変化量のいずれかが第３の範囲から逸脱することを確認すると、第１の処理の実行を中止するための第２の中止手段とをさらに含む。
【００３７】
第９の発明によると、変化量確認手段は、第１の変化量および第２の変化量のいずれかの変化量が予め設定された第３の範囲から逸脱するか否かを確認する。そのいずれかの変化量が第３の範囲から逸脱することが確認されると、第２の中止手段は、第１の処理の実行を中止する。したがって、第１の変化量および第２の変化量のいずれかが基準の変化量から乖離すると、補正値に基づくホワイトバランス処理は、実行されない。
【００３８】
第１０の発明に係る画像処理方法は、信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する現在値算出ステップと、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶する記憶ステップと、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出する第１の補正値算出ステップと、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する第２の補正値算出ステップと、第２の色ゲインの現在値と第２の色ゲインの補正値とに基づいて、ホワイトバランス処理の実行が適切であるか否かを判断する判断ステップと、ホワイトバランス処理の実行が適切であると判断されると、ホワイトバランス処理を実行する実行ステップとを含む。
【００３９】
第１０の発明によると、画像処理方法は、撮像素子が取得した信号に対して実行されるホワイトバランス処理を制御する。この画像処理方法の算出ステップは、その信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する。記憶ステップは、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶する。第１の補正値算出ステップが、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出すると、第２の補正値算出ステップは、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する。黒体放射特性は、光子の統計的性質に基づくものであり、このような特性に関連付けられる第１の色ゲインおよび第２の色ゲインの補正値は、それぞれ実際の色を反映した値となる。したがって、このようにして算出された第１の色ゲインの補正値および第２の色ゲインの補正値に基づいてホワイトバランス処理を実行すると、自然の色に近い色を再現することができる。判断ステップは、第２の色ゲインの現在値と第２の色ゲインの補正値に基づいて（たとえば、大小関係、現在値と補正値との差などに基づいて）、ホワイトバランス処理の実行が適切であるか否かを判断する。判断ステップが、ホワイトバランス処理の実行は適切であると判断すると、実行ステップは、ホワイトバランス処理を実行する。すなわち、ホワイトバランス処理のために算出された第１の色ゲインの補正値および第２の色ゲインの補正値の関係が黒体放射の特性から乖離しないとき、それらの補正値に基づいて、ホワイトバランス処理が実行される。この場合、色の再現性は低下しない。これにより、画像処理方法は、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現することができる。その結果、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現することができる画像処理方法を提供することができる。
【００４０】
第１１の発明に係るプログラムは、コンピュータに、信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する現在値算出ステップと、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶する記憶ステップと、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出する第１の補正値算出ステップと、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する第２の補正値算出ステップと、第２の色ゲインの現在値と第２の色ゲインの補正値との関係に基づいて、ホワイトバランス処理の実行が適切であるか否かを判断する判断ステップと、ホワイトバランス処理の実行が適切であると判断されると、ホワイトバランス処理を実行する実行ステップとを実現させる。
【００４１】
第１１の発明によると、プログラムは、撮像素子が取得した信号に対して実行されるホワイトバランス処理を制御する画像処理方法をコンピュータに実現させる。この画像処理方法の現在値算出ステップは、その信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する。記憶ステップは、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶する。第１の補正値算出ステップが、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出すると、第２の補正値算出ステップは、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する。黒体放射特性は、光子の統計的性質に基づくものであり、このような特性に関連付けられる第１の色ゲインおよび第２の色ゲインの補正値は、それぞれ実際の色を反映した値となる。したがって、このようにして算出された第１の色ゲインの補正値および第２の色ゲインの補正値に基づいてホワイトバランス処理を実行すると、自然の色に近い色を再現することができる。判断ステップは、第２の色ゲインの現在値と第２の色ゲインの補正値との関係に基づいて（たとえば、大小関係、現在値と補正値との差などに基づいて）、ホワイトバランス処理の実行が適切であるか否かを判断する。判断ステップが、ホワイトバランス処理の実行は適切であると判断すると、実行ステップは、ホワイトバランス処理を実行する。すなわち、ホワイトバランス処理のために算出された第１の色ゲインの補正値および第２の色ゲインの補正値の関係が黒体放射の特性から乖離しないとき、それらの補正値に基づいて、ホワイトバランス処理が実行される。この場合、色の再現性は低下しない。そうでないとき、ホワイトバランス処理は実行されず、したがって誤動作も発生しない。これにより、画像処理方法は、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現することができる。その結果、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現することができる画像処理方法をコンピュータに実現させるプログラムを提供することができる。
【００４２】
第１２の発明係る記録媒体は、第１１の発明に係るプログラムを記録した記録媒体である。
【００４３】
第１２の発明によると、記録媒体には、撮像素子が取得した信号に基づいてホワイトバランス処理を制御する画像処理方法を実現するプログラムが記録される。これらのプログラムを用いてコンピュータに画像処理方法を実現させることができる。
【００４４】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００４５】
＜第１の実施の形態＞
図１に、本発明の実施の形態に係る画像処理装置１０００を含む画像処理システムを示す。画像処理装置１０００は、固体撮像素子１１２に接続されたＡ／Ｄ変換回路１１４と、ＣＰＵ（Central Processing Unit）１００と、メモリ１１６と、モニタ１２０に接続された信号出力ＩＦ（Interface）１１８とを含む。レンズ１１０にて集光された被写体からの像は、１つの固体撮像素子１１２にて電気信号に変換され、その信号は、Ａ／Ｄ変換回路１１４に送信される。その信号がＡ／Ｄ変換回路１１４に入力されると、デジタル信号の画像データに変換された後、ＣＰＵ１００に送信される。そのデジタル信号に基づく積算データは、ＣＰＵ１００の色差データ積算部１０４にて算出される。その積算データに基づいて、ＣＰＵ１００のホワイトバランス制御部１０６がホワイトバランス処理を実行すると、処理後の画像信号は信号出力ＩＦ１１８に出力される。
【００４６】
図２に、本発明の実施の形態に係る画像処理システムの一例であるコンピュータシステム２０００の制御ブロック図を示す。
【００４７】
図２を参照して、このコンピュータシステム２０００は、ＦＤ（Flexible Disk）駆動装置２１８およびＣＤ−ＲＯＭ（Compact Disc-Read Only Memory)駆動装置２２０を備えた画像処理装置１０００と、モニタ１２０と、キーボード２１４と、マウス２１２とを含む。
【００４８】
さらに、この画像処理装置１０００は、上記したＦＤ駆動装置２１８およびＣＤ−ＲＯＭ駆動装置２２０に加えて、相互にバスで接続されたＣＰＵ１００と、メモリ１１６と、固定ディスク２０４と、Ａ／Ｄ変換回路１１４と、信号出力ＩＦ１１８とを含む。ＦＤ駆動装置２１８にはＦＤ２２２が装着される。ＣＤ−ＲＯＭ駆動装置２２０にはＣＤ−ＲＯＭ２２４が装着される。
【００４９】
この画像処理装置１０００における処理は、コンピュータハードウェアおよびＣＰＵ１００に実行されるソフトウェアによって実現される。一般的にこのようなソフトウェアは、ＦＤ２２２、ＣＤ−ＲＯＭ２２４などの記録媒体に格納されて流通し、ＦＤ駆動装置２１８またはＣＤ−ＲＯＭ駆動装置２２０などにより記録媒体から読取られて固定ディスク２０４に一旦格納される。そのソフトウェアは、固定ディスク２０４からメモリ１１６に読出されて、ＣＰＵ１００によって実行される。なお、このＣＰＵ１００は、ソフトウェアにより実現される、色差データ積算部１０４とホワイトバランス制御部１０６とを含む。
【００５０】
図２に示したコンピュータのハードウェア自体は一般的なものである。したがって、本発明の最も本質的な部分は、ＦＤ２２２、ＣＤ−ＲＯＭ２２４、固定ディスク２０４などの記録媒体に記録されたソフトウェアである。
【００５１】
なお、ＦＤ駆動装置２１８あるいはＣＤ−ＲＯＭ駆動装置２２０の代わりに、たとえば、メモリ・カードのような記憶媒体読取装置でもよい。また、このような画像処理システムは、たとえば、デジタルビデオカメラ、プロジェクタなどを含むものであってもよい。
【００５２】
ＣＰＵ１００は、Ａ／Ｄ変換回路１１４を介して、固体撮像素子１１２の画面におけるデジタル信号を受信する。このとき、ＣＰＵ１００は、メモリ１１６に、Ｒゲインの現在値とＢゲインの現在値とを一時的に保存する。
【００５３】
ＣＰＵ１００は、ホワイトバランス制御部１０６において、色差データ積算部１０４による演算結果に基づいて、Ｂゲインの現在値に予め定められた調整値（色差データの値から算出された調整値でもよい）を加えたＢゲインの補正値を算出する。ＣＰＵ１００は、Ｂゲインの補正値に基づいて、黒体放射特性に基づく関係からＲゲイン補正値を算出する。
【００５４】
ＣＰＵ１００は、ホワイトバランス制御部１０６にて、Ｒゲインの現在値とＲゲインの補正値との差を算出し、その差が予め定められた許容範囲であるか否かを判断する。なおこの許容範囲は利用者が任意に設定するようにしてもよい。
【００５５】
ＣＰＵ１００は、色差データ積算部１０４において、受信した信号に含まれる色の信号（Ｒ，Ｂ）と輝度信号（Ｙ）との差である色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を算出する。ＣＰＵ１００は、ホワイトバランスが整合しているときの色差信号と算出された色差信号との差を変化量として算出する。このようにして、Ｂゲインの変化量とＲゲインの変化量とが算出される。
【００５６】
ＣＰＵ１００は、Ｒゲインの変化量と第１の基準変化量Ｒκとの大小関係と、Ｂゲインの変化量と第１の基準変化量Ｂκとの大小関係とを算出する。なお、この基準変化量（Ｒκ、Ｂκ）は、任意に設定するようにしてもよい。
【００５７】
ＣＰＵ１００は、これらの大小関係に基づいて、ホワイトバランス処理を実行することが適切であるか否かを判断する。たとえば、Ｒゲインの変化量およびＢゲインの変化量のいずれかがそれぞれの第１の基準変化量よりも大きい場合、補正値を使用するホワイトバランス処理の実行は不適切であると判断する。すなわち、このような場合、ＲゲインおよびＢゲインの補正値を使用するホワイトバランス処理は実行されず、ＲゲインおよびＢゲインの現在値がその処理に使用される。
【００５８】
なお、ＣＰＵ１００による判断処理は、上述の２つの大小関係がともに成立（すなわち、論理積（ＡＮＤ）が成立）する条件に加えて、いずれか１つの大小関係が成立（すなわち、論理和（ＯＲ）が成立）する条件に基づいてもよい。この条件は、任意に設定することができる。これにより、判断する条件を柔軟に設定することができる。
【００５９】
ＣＰＵ１００は、Ｂゲインの補正値と、黒体放射特性に基づいてその補正値から算出されたＲゲインの補正値とを用いて、ホワイトバランス処理（以下、この処理を「一軸補正処理」という。）を実行する。なお、このときの補正値を、一軸補正値という。
【００６０】
ＣＰＵ１００は、ＲゲインおよびＲゲインの一軸補正値に調整値を加え、追加のホワイトバランス処理を実行する（以下、この処理を「二軸補正処理」という。）。このときの調整値を、二軸補正値という。すなわち、二軸補正処理は、ＲゲインおよびＢゲインを微調整する処理である。
【００６１】
なお、ＲゲインおよびＢゲインの現在値が一定の条件を満足するとき（たとえば、必要な補正が一軸補正処理を実行するまでもないとき）、ＣＰＵ１００は、二軸補正処理を直接実行する。このときの二軸補正値は、ＲゲインおよびＢゲインの補正値に基づいて算出される。また、一軸補正処理を実行しない場合の二軸補正値を予め設定するようにしてもよい。このようにすることにより、補正処理の時間を短縮することができる。
【００６２】
ＣＰＵ１００は、予め設定された値に基づいて、二軸補正処理に使用する調整値を制限することができる。すなわち、調整値の制限値を、固定ディスク２０４等に予め記憶しておき、算出された調整値がその制限値を越えた場合、その制限値を調整値として使用することができる。このようにすると、調整値が発散することを防止することができる。
【００６３】
ＣＰＵ１００は、ホワイトバランスの状態を検出する。すなわち、ＣＰＵ１００は、ＲゲインおよびＢゲインの変化量に基づいて、その状態を検出する。ＣＰＵ１００は、その状態に基づいて、一軸補正処理および二軸補正処理を実行していた状態から、一軸補正処理のみを実行する制御に切り換える。ＣＰＵ１００は、このとき、二軸補正処理におけるＲゲインとＢゲインとを一軸補正値に反映させる。ＣＰＵ１００は、さらに二軸補正処理におけるＲゲインとＢゲインとの値を初期化する。
【００６４】
ＣＰＵ１００は、Ｒゲインの現在値とＢゲインの現在値との比率を算出する。ＣＰＵ１００は、その比率と予め定められた基準比率εの差と許容範囲αの大小関係に基づいて、ホワイトバランス処理を実行することが適切であるか否かを判断する。
【００６５】
なお、この基準比率εや許容範囲αは、利用者が任意に設定するようにしてもよい。
【００６６】
ＣＰＵ１００は、Ｒゲインの変化量（色差データの積算値）と第１の基準変化量Ｒκとの大小関係と、Ｂゲインの変化量（色差データの積算値）と第１の基準変化量Ｂκとの大小関係とを算出する。なおこれらの基準変化量（Ｒκ，Ｂκ）は、利用者が任意に設定するようにしてもよい。
【００６７】
ＣＰＵ１００は、これらの大小関係に基づいて、第１の処理と第２の処理とのいずれかの処理を選択する。たとえば、Ｒゲインの変化量およびＢゲインの変化量のいずれかがそれぞれの基準変化量（すなわち、Ｒκ，Ｂκ）よりも大きい場合、一軸補正を行なうホワイトバランス処理が選択される。一方、それらの変化量が基準変化量よりも小さい場合、少なくとも、二軸補正処理が選択される。このとき、ＲゲインおよびＢゲインは、それぞれの調整値に基づいて微調整される。
【００６８】
なお、ＣＰＵ１００による判断処理は、上述の２つの大小関係がともに成立（すなわち、論理積（ＡＮＤ）が成立）する条件に加えて、いずれか１つの大小関係が成立（すなわち、論理和（ＯＲ）が成立）する条件に基づいてもよい。この条件は、任意に設定することができる。これにより、判断する条件を柔軟に設定することができる。
【００６９】
ＣＰＵ１００は、Ｒゲインの変化量と第２の基準変化量Ｒγとの大小関係（以下、第１の大小関係という。）と、Ｂゲインの変化量と第２の基準変化量Ｂγとの大小関係（以下、第２の大小関係）とを算出する。なお、これらの基準変化量（すなわち、ＲγおよびＢγ）は、任意に設定するようにしてもよい。
【００７０】
ＣＰＵ１００は、これらの大小関係に基づいて、ホワイトバランス処理を実行することが適切であるか否かを判断する。たとえば、Ｒゲインの変化量およびＢゲインの変化量のいずれかがそれぞれの第２の基準変化量よりも大きい場合、ホワイトバランス処理の実行は不適切であると判断する。すなわち、このような場合、補正値に基づくホワイトバランス処理は中止され、ＲゲインおよびＢゲインの現在値が使用される。
【００７１】
なお、ＣＰＵ１００による判断処理は、第１の大小関係および第２の大小関係が成立（すなわち、論理積（ＡＮＤ）が成立）する条件に加えて、第１の大小関係および第２の大小関係のいずれかが成立（すなわち、論理和（ＯＲ）が成立）する条件に基づいてもよい。この条件は、任意に設定することができる。
【００７２】
ＣＰＵ１００は、予め記憶されたＲゲインの範囲（たとえば、Ｒゲインの上限値と下限値）に、算出したＲゲインの補正値が含まれるか否かを判断する。算出した補正値が予め記憶された範囲に含まれない場合（たとえば、上限値を上回る補正値が算出された場合、あるいは、下限値をしたまわる補正値が算出された場合）、算出された補正値に代えて、記憶された範囲の制限値（すなわち、上限値あるいは下限値）を補正値として設定する。これにより、Ｒゲインの補正値の発散を防止することができる。なお、これらの処理は、Ｂゲインについても同様である。また、このようなＲゲインあるいはＢゲインの範囲は、任意に設定することができる。
【００７３】
ＣＰＵ１００は、算出したＲゲインの現在値およびＢゲインの現在値をメモリ１１６に一時的に保存する。ＣＰＵ１００は、Ｒゲインの補正値およびＢゲインの補正値がホワイトバランス処理を実行するために利用できないと判断すると、Ｒゲインの実際値およびＢゲインの実際値をメモリ１１６から読出して、信号出力ＩＦ１１８を介してモニタ１２０に出力する。
【００７４】
図３を参照して、本発明の第１の実施の形態に係る画像処理装置１０００における処理を、フローチャートに基づいて説明する。
【００７５】
ステップ１０２にて（以下、ステップをＳと略す。）、画像処理装置１０００のＣＰＵ１００は、Ａ／Ｄ変換回路１１４を介して信号を受信する。Ｓ１０２１にて、ＣＰＵ１００は、受信した信号に基づいて、色ゲインの変化量を算出する。
【００７６】
Ｓ１０２２にて、ＣＰＵ１００は、色ゲインの変化量が許容範囲を越えるか否かを判断する。色ゲインの変化量が許容範囲を越えると判断すると(Ｓ１０２２にてＹＥＳ）、処理はＳ１０４に移される。そうでないと(Ｓ１０２２にてＮＯ）、処理はＳ１１８に移される。
【００７７】
Ｓ１０４にて、ＣＰＵ１００は、受信した信号からＲゲインの現在値およびＢゲインの現在値を取得する。Ｓ１０６にて、ＣＰＵ１００は、Ｒゲインの現在値およびＢゲインの現在値をメモリ１１６に一時的に保存する。
【００７８】
Ｓ１０８にて、ＣＰＵ１００は、Ｂゲインの現在値に予め定められた調整値β（色差データの値から算出された調整値β）を加算することにより、Ｂゲインの補正値を算出する。Ｓ１１０にて、ＣＰＵ１００は、黒体放射特性の関係を使用して、Ｂゲインの補正値からＲゲインの補正値を算出する。
【００７９】
Ｓ１１２にて、ＣＰＵ１００は、Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲σの中に含まれるか否かを判断する。Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲σの中に含まれると判断すると（Ｓ１１２にてＹＥＳ）、処理は、Ｓ１１４に移される。そうでないと（Ｓ１１２にてＮＯ）、処理はＳ１１６に移される。
【００８０】
Ｓ１１４にて、ＣＰＵ１００は、ホワイトバランス処理を実行する。すなわち、ＣＰＵ１００は、予め定められた調整値β（色差データの値から算出された調整値β）に基づいて算出されたＢゲインの補正値（Ｂ＋β）をＢゲインとして設定する。ＣＰＵ１００は、黒体放射特性に基づいて、Ｂゲインの補正値から算出されたＲゲインの補正値を、Ｒゲインとして設定する。
【００８１】
Ｓ１１６にて、ＣＰＵ１００は、メモリ１１６から、Ｂゲインの現在値およびＲゲインの現在値を読出し、それぞれ、ＢゲインおよびＲゲインとして設定する。したがって、ＢゲインおよびＲゲインの現在値に基づくホワイトバランス処理が実行される。
【００８２】
Ｓ１１８にて、ＣＰＵ１００は、設定されたＢゲインおよびＲゲインの信号を出力する。その後、処理は終了する。
【００８３】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作について、補正値に基づくホワイトバランス処理を実行する場合と現在値に基づくホワイトバランス処理を実行する場合とを説明する。
【００８４】
［色ゲインの補正値に基づくホワイトバランス処理を実行する場合］
固体撮像素子１１２により取得された被写体の信号が画像処理装置１０００に入力される（Ｓ１０２）。色ゲインの変化量が算出され（Ｓ１０２１）、色ゲインの変化量が許容範囲を越えるとき（Ｓ１０２２）、Ｒゲインの現在値とＢゲインの現在値とが取得される（Ｓ１０４）。それらの現在値はメモリ１１６に一時的に保存される（Ｓ１０６）。
【００８５】
Ｂゲインの補正値が、Ｂゲインの現在値と予め定められた調整値β（色差データの値から算出された調整値β）とから算出されると（Ｓ１０８）、Ｒゲインの補正値が、黒体放射特性に基づいて、Ｂゲインの補正値から算出される（Ｓ１１０）。
【００８６】
Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲の中に含まれるとき（Ｓ１１２にてＹＥＳ）、ホワイトバランス処理の実行は適切であると判断される。Ｒゲインの補正値およびＢゲインの補正値がそれぞれ、ＲゲインおよびＢゲインとして設定されると（Ｓ１１４）、そのＲゲインおよびＢゲインが出力される（Ｓ１１８）。
【００８７】
［色ゲインの現在値に基づくホワイトバランス処理を実行する場合］
Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲の中に含まれないとき（Ｓ１１２にてＮＯ）、ホワイトバランス処理を実行することが不適切であると判断される。Ｒゲインの現在値およびＢゲインの現在値がそれぞれ、ＲゲインおよびＢゲインとして設定されると（Ｓ１１６）、そのＲゲインおよびＢゲインが出力される（Ｓ１１８）。
【００８８】
これにより、Ｒゲインの補正値とＢゲインの補正値との間に黒体放射特性に基づく関係が認められる場合（すなわち、Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲内である場合）、ホワイトバランス処理を実行すると、色の再現性の低下を防止することができる。一方、Ｒゲインの補正値とＢゲインの補正値との間に黒体放射特性に基づく関係が認められない場合（すなわち、Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲を越える場合）、補正値に基づくホワイトバランス処理は実行されない。したがって、この場合、色の引き込みなどの誤動作の発生を防止することができる。
【００８９】
＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【００９０】
図４を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図４に示すフローチャートの中で、前述の図３に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【００９１】
Ｓ２１０にて、ＣＰＵ１００は、固定ディスク２０４から予め設定された範囲σ（１）を読出す。
【００９２】
Ｓ２１２にて、ＣＰＵ１００は、Ｒゲインの補正値とＲゲインの現在値との差がσ（１）の範囲内であるか否かを判断する。Ｒゲインの補正値とＲゲインの現在値との差がσ（１）の範囲内であると判断すると（Ｓ２１２にてＹＥＳ）、処理は、Ｓ１１４に移される。そうでないと（Ｓ２１２にてＮＯ）、処理はＳ１１６に移される。
【００９３】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作について、補正値に基づくホワイトバランス処理を実行する場合と現在値に基づくホワイトバランス処理を実行する場合とを説明する。なお、前述の実施の形態における動作と同じ動作は、繰り返さない。
【００９４】
なお、この場合の画像処理システムにおいて、ホワイトバランス処理を実行するか否かを判断するための基準は、予め任意に設定することができる。たとえば、デジタルビデオカメラの場合、ホワイトバランス処理の設定ボタンを押下することにより、ホワイトバランス処理を実行する基準を設定することができる。
【００９５】
［色ゲインの補正値に基づくホワイトバランス処理を実行する場合］
予め任意に設定された誤差σ（１）が固定ディスク２０４から読み出される（Ｓ２１０）。Ｒゲインの補正値とＲゲインの現在値との差がσ（１）の範囲内に含まれると（Ｓ２１２にてＹＥＳ）、ホワイトバランス処理を実行することが適切であると判断される。Ｒゲインの補正値およびＢゲインの補正値が、それぞれＲゲインおよびＢゲインとして設定され、ホワイトバランス処理が実行される（Ｓ１１４）と、信号がモニタ１２０に出力される（Ｓ１１８）。
【００９６】
［色ゲインの現在値に基づくホワイトバランス処理を実行する場合］
Ｒゲインの補正値とＲゲインの現在値との差がσ（１）の範囲内に含まれないと（Ｓ２１２にてＮＯ）、ホワイトバランス処理を実行することが不適切であると判断される。Ｒゲインの現在値およびＢゲインの現在値がそれぞれ、ＲゲインおよびＢゲインとして設定され（Ｓ１１６）、信号が出力される（Ｓ１１８）。
【００９７】
これにより、予め任意に設定した誤差σ（１）に基づいて、ホワイトバランス処理を実行することが適切であるか否かを判断させることができる。その結果、利用者の嗜好に対応したホワイトバランス処理を実行することができる。
【００９８】
＜第３の実施の形態＞
以下、本発明の第３の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【００９９】
図５を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図５に示すフローチャートの中で、前述の図３および図４に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１００】
Ｓ３０４にて、ＣＰＵ１００は、固定ディスク２０４から予め設定された基準変化量（Ｒκ、Ｂκ）とを読出す。
【０１０１】
Ｓ３０６にて、ＣＰＵ１００は、Ｒゲインの変化量がＲκから逸脱しているか否かと、Ｂゲインの変化量がＢκから逸脱しているか否かとを判断する。Ｒゲインの変化量がＲκから逸脱し、かつ、Ｂゲインの変化量がＢκから逸脱していると判断すると（Ｓ３０６にてＹＥＳ）、処理はＳ１０８に移される。そうでないと（Ｓ３０６にてＮＯ）、処理はＳ１０８に移される。
【０１０２】
Ｓ３１０にて、ＣＰＵ１００は、Ｒゲインに対して、黒体放射特性に基づいて算出された補正値（一軸補正値）にＲゲインの二軸補正値を加えて、Ｒゲインの補正値を設定する。ＣＰＵ１００は、Ｂゲインに対しても同様に、Ｂゲインの一軸補正値に二軸補正値を加えて、Ｂゲインの補正値を設定する。
【０１０３】
なお、Ｓ３０６における判断処理は、Ｒゲインの変化量がＲκから逸脱し、かつ、Ｂゲインの変化量がＢκから逸脱しているという条件（いわゆる、「ＡＮＤ」条件）に基づいたが、いずれかが逸脱しているという条件（いわゆる、「ＯＲ」条件）に基づいて判断してもよい。このようにすると、ＲゲインおよびＢゲインに二軸補正値を加算する処理を実行する場合の条件を限定することができる。
【０１０４】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作を説明する。なお、前述の実施の形態における動作と同じ動作はここでは繰り返さない。
【０１０５】
なお、この場合の画像処理システムにおいて、Ｒゲインの変化量およびＢゲインの変化量が基準変化量よりも大きいか否かを判断するための基準は、予め任意に設定することができる。たとえば、デジタルビデオカメラの場合、ホワイトバランス処理の微調整の設定ボタンを押下することにより、ホワイトバランス処理の微調整を実行する基準を設定することができる。
【０１０６】
予め設定された基準変化量（Ｒκ、Ｂκ）が固定ディスク２０４から読み出される（Ｓ３０４）。Ｒゲインの変化量およびＢゲインの変化量のいずれかが、それぞれの基準変化量ＲκおよびＢκよりも大きくないとき（Ｓ３０６にてＮＯ）、Ｂゲインの補正値およびＢゲインの補正値が算出される（Ｓ１０８、Ｓ１１０）。Ｒゲインの補正値とＲゲインの現在値との差が予め設定された誤差σ（１）の範囲内であるとき（Ｓ２１２にてＹＥＳ）、それらの補正値（一軸補正値）がＲゲインおよびＢゲインとして設定される（Ｓ１１４）。さらに、Ｒゲインの二軸補正値（ＷＢ２Ｒ）をＲゲインに加算し、一軸補正値に加算され、Ｂゲインの二軸補正値（ＷＢ２Ｂ）をＢゲインに加算する処理である二軸補正処理が実行される（Ｓ３１０）。
【０１０７】
このように、予め設定した基準変化量（Ｒκ、Ｂκ）に基づいて、黒体放射特性に基づいて算出された補正値をさらに補正する処理を実行するか否かを判断することにより、ＲゲインおよびＢゲインを微調整することができる。その結果、ホワイトバランス処理の精度を向上することができる。
【０１０８】
＜第４の実施の形態＞
以下、本発明の第４の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【０１０９】
図６を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図６に示すフローチャートの中で、前述の図３および図５に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１１０】
Ｓ４１０にて、ＣＰＵ１００は、一軸補正処理により算出されたＲゲインの補正値と、二軸補正処理により算出されたＲゲインの補正値とを使用してＲゲインの補正値とする。同様に、ＣＰＵ１００は、一軸補正処理により算出されたＢゲインの補正値と二軸補正処理により算出されたＢゲインの補正値とを使用して、Ｂゲイン補正値とする。ＣＰＵ１００は、さらに二軸補正処理により算出されたＲゲインの補正値およびＢゲインの補正値を初期化する。
【０１１１】
Ｓ４１４にて、ＣＰＵ１００は、一軸補正値と二軸補正処理とを加算して、Ｒゲインの補正値を算出する。同様に、ＣＰＵ１００は、一軸補正値と二軸補正処理とを加算して、Ｂゲインの補正値を算出する。
【０１１２】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作を説明する。なお、前述までの実施の形態における動作と同じ動作は、ここでは繰り返さない。
【０１１３】
［一軸補正処理が実行される場合］
Ｒゲインの変化量が基準の変化量よりも大きく、かつ、Ｂゲインの変化量が基準の変化量よりも大きいとき（Ｓ３０６にてＹＥＳ）、ＲゲインおよびＢゲインの一軸補正値と二軸補正値との和は、それぞれＲゲインおよびＢゲインの補正値として反映され、それぞれの二軸補正値（ＷＢ２Ｒ、ＷＢ２Ｂ）が初期化される(Ｓ４１０）。
【０１１４】
［二軸補正処理が実行される場合］
Ｒゲインの変化量が基準の変化量よりも小さいとき、あるいはＢゲインの変化量が基準の変化量よりも小さいとき（Ｓ３０６にてＮＯ）、ＲゲインおよびＢゲインの一軸補正が実行され（Ｓ４１２）、さらに、二軸補正が実行される（Ｓ３１０）。その後、ＲゲインおよびＢゲインの一軸補正値と二軸補正値との和は、それぞれＲゲインおよびＢゲインの補正値として反映され（Ｓ４１４）、補正後の信号が出力される（Ｓ１１８）。
【０１１５】
その結果、ホワイトバランス処理の途中に色ゲインが変化することにより（たとえば被写体に対する照明の明るさが変化することにより）、ホワイトバランス処理が二軸補正まで実行する処理から一軸補正のみの処理に切り換わると、既に算出された一軸補正値および二軸補正値は、一軸補正によるＲゲインおよびＢゲインに反映される。さらに、その二軸補正値は初期化される。したがって、二軸補正処理から一軸補正処理に切り換わることによる色の変化を抑制することができる。これにより、ホワイトバランス処理による色の再現において、不自然さを取り除くことができる。
【０１１６】
＜第５の実施の形態＞
以下、本発明の第５の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【０１１７】
図７を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図７に示すフローチャートの中で、前述の図３、図５および図６に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１１８】
Ｓ５１０にて、ＣＰＵ１００は、固定ディスク２０４から基準比率（ε）を読み出す。Ｓ５１２にて、ＣＰＵ１００は、ＲゲインとＢゲインとの比率と、基準比率εとの差が許容範囲αより大きいか否かを判断する。ＲゲインとＢゲインとの比率と、基準比率εとの差が許容範囲αよりも大きいと判断すると（Ｓ５１２にてＹＥＳ）、処理はＳ１１６に移される。そうでないと（Ｓ５１２にてＮＯ）、処理はＳ３０４に移される。
【０１１９】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作を説明する。なお、前述までの実施の形態における動作と同じ動作は、ここでは繰り返さない。
【０１２０】
なお、この場合の画像処理システムにおいて、ＲゲインとＢゲインとの比率が基準比率よりも大きいか否かを判断するための基準（すなわち、許容範囲α）は、予め任意に設定することができる。
【０１２１】
予め設定された基準比率εが固定ディスク２０４から読み出される（Ｓ５１０）。ＲゲインとＢゲインとの比率と、基準比率εとの差が許容範囲αよりも大きいとき（Ｓ５１２にてＹＥＳ）、ＲゲインおよびＢゲインの現在値に基づくホワイトバランス処理が実行される（Ｓ１１６）。
【０１２２】
このようにすると、ＲゲインとＢゲインとの比率と、基準比率との差に基づいて、補正値に基づくホワイトバランス処理を実行する場合を制限することができる。その結果、ホワイトバランス処理の精度を向上することができる。
【０１２３】
＜第６の実施の形態＞
以下、本発明の第６の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【０１２４】
図８を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図８に示すフローチャートの中で、前述の図３および図５〜図７に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１２５】
Ｓ６１０にて、ＣＰＵ１００は、固定ディスク２０４からＲゲインおよびＢゲインのそれぞれの第２の基準変化量（Ｒγ、Ｂγ）を読出す。
【０１２６】
Ｓ６１２にて、ＣＰＵ１００は、Ｒゲインの変化量がＲγよりも大きいか否かおよびＢゲインの変化量がＢγよりも大きいか否かを判断する。Ｒゲインの変化量がＲγよりも大きく、かつ、Ｂゲインの変化量がＢγよりも大きいと判断すると（Ｓ６１２にてＹＥＳ）、処理はＳ１１６に移される。そうでないと（Ｓ６１２にてＮＯ）、処理はＳ５１０に移される。
【０１２７】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作について、色ゲインの補正値に基づくホワイトバランス処理を実行する場合と、色ゲインの現在値に基づくホワイトバランス処理を実行する場合とを説明する。なお、固体撮像素子が取得した信号の画像処理システムへの入力（Ｓ１０２）からＲゲインおよびＢゲインの現在値の記憶（Ｓ１０６）までの動作と、基準比率εの読出（Ｓ５１０）から信号の出力（Ｓ１１８）までの動作とは、前述の第５の実施の形態における動作と同じであるので、ここでは繰り返さない。
【０１２８】
なお、この場合の画像処理システムにおいて、ＲゲインおよびＢゲインの変化量の大きさを判断する基準である第２の基準変化量γは、予め設定することができる。
【０１２９】
［色ゲインの補正値に基づくホワイトバランス処理を実行する場合］
予め設定された第２の基準変化量（Ｒγ、Ｂγ）が固定ディスク２０４から読み出される（Ｓ６１０）。Ｒゲインの変化量またはＢゲインの変化量がそれぞれの第２の基準変化量（Ｒγ、Ｂγ）以下であるとき（Ｓ６１２にてＮＯ）、基準比率εが読み出される（Ｓ５１０）。Ｒゲインの変化量とＢゲインの変化量との比率と基準比率εとの差が許容範囲内であるとき（Ｓ５１２にてＮＯ）、第１の基準変化量（Ｒκ、Ｂκ）が読み出される（Ｓ３０４）。ＲゲインおよびＢゲインの変化量とそれぞれの第１の基準変化量との大小関係に基づいて、一軸補正が実行され（Ｓ４１２）、あるいは、一軸補正および二軸補正が実行されると（Ｓ３１０）、それらの補正値に基づくホワイトバランス処理が実行される（Ｓ４１４）。
【０１３０】
［色ゲインの現在値に基づくホワイトバランス処理を実行する場合］
予め設定された第２の基準変化量（Ｒγ、Ｂγ）が固定ディスク２０４から読み出される（Ｓ６１０）。Ｒゲインの変化量およびＢゲインの変化量がそれぞれ第２の基準変化量（Ｒγ、Ｂγ）よりも大きいとき（Ｓ６１２にてＹＥＳ）、Ｒゲインの現在値およびＢゲインの現在値に基づくホワイトバランス処理が実行される（Ｓ１１６）。
【０１３１】
これにより、Ｒゲインの変化量とＢゲインの変化量との比率に基づいて、ホワイトバランス処理を実行することが適切であるか否かを判断することができる。その結果、単一色の引き込みの防止と、ホワイトバランスが収束しない現象の防止とを両立させるための設定を最適な状態にすることができる。
【０１３２】
＜第７の実施の形態＞
以下、本発明の第７の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【０１３３】
図９を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図９に示すフローチャートの中で、前述の図３、図５および図６に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１３４】
Ｓ３０６にて、ＣＰＵ１００は、Ｒゲインの変化量がＲκから逸脱しているか否かおよびＢゲインの変化量がＢκから逸脱しているか否かを判断する。Ｒゲインの変化量がＲκから逸脱し、かつ、Ｂゲインの変化量がＢκから逸脱していると判断すると（Ｓ３０６にてＹＥＳ）、処理はＳ４１０に移される。そうでないと（Ｓ３０６にてＮＯ）、処理はＳ４１２に移される。
【０１３５】
Ｓ７０２にて、ＣＰＵ１００は、Ｒゲインの補正値をさらに補正するための二軸補正値（ＷＢ２Ｒ）の大きさが予め定められた限界値（２ＲＭＡＸ）より小さいか否かを判断する。二軸補正値が予め定められた限界値より小さいと判断すると（Ｓ７０２にてＹＥＳ）、処理はＳ７０６に移される。そうでないと（Ｓ７０２にてＮＯ）、処理はＳ７０４に移される。
【０１３６】
Ｓ７０４にて、ＣＰＵ１００は、予め定められた限界値（２ＲＭＡＸ）をＲゲインの二軸補正値として設定する。
【０１３７】
Ｓ７０６にて、ＣＰＵ１００は、Ｂゲインの補正値をさらに補正するための二軸補正値（ＷＢ２Ｂ）の大きさが予め定められた限界値（２ＢＭＡＸ）より小さいか否かを判断する。二軸補正値が予め定められた限界値より小さいと判断すると（Ｓ７０６にてＹＥＳ）、処理はＳ４１４に移される。そうでないと（Ｓ７０６にてＮＯ）、処理はＳ７０８に移される。
【０１３８】
Ｓ７０８にて、ＣＰＵ１００は、予め定められた限界値（２ＢＭＡＸ）をＢゲインの二軸補正値として設定する。
【０１３９】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作を説明する。なお、固体撮像素子が取得した信号の画像処理システムへの入力（Ｓ１０２）からＲゲインおよびＢゲインの変化量の大小関係の判断（Ｓ３０６）までの動作は、前述の第４の実施の形態における動作（図６に示されたフローチャート）と同じであるので、ここでは繰り返さない。
【０１４０】
なお、この場合の画像処理システムにおいて、ＲゲインおよびＢゲインの変化量の大きさを判断する基準である第２の基準変化量γは、予め設定することができる。
【０１４１】
Ｒゲインの変化量およびＢゲインの変化量のいずれかが、それぞれの基準変化量ＲκおよびＢκよりも大きくないとき（Ｓ３０６にてＮＯ）、一軸補正が実行され（Ｓ４１２）、さらに、二軸補正値が算出される（Ｓ３１０）。算出されたＲゲインの二軸補正値が予め定められた上限値よりも大きいと（Ｓ７０２にてＮＯ）、その上限値がＲゲインの二軸補正値として設定される（Ｓ７０４）。
【０１４２】
同様に、Ｂゲインの二軸補正値が予め定められた上限値よりも大きいと（Ｓ７０６にてＮＯ）、その上限値がＢゲインの二軸補正値として設定される（Ｓ７０８）。
【０１４３】
その後、算出された一軸補正値と、設定された二軸補正値とに基づいて、ホワイトバランス処理が実行され（Ｓ４１４）、処理後の信号が出力される（Ｓ１１８）。
【０１４４】
このように、二軸補正値を制限することにより、たとえば、単一色が映像に現れた場合、ホワイトバランス処理の実行による単一色への「引き込み」を防止することができる。
【０１４５】
＜第８の実施の形態＞
以下、本発明の第８の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【０１４６】
図１０を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図１０に示すフローチャートの中で、前述の図３および図５〜図７に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１４７】
Ｓ８１０にて、ＣＰＵ１００は、予め定められたＲゲインの最大値および最小値と、Ｂゲインの最大値および最小値とを読出す。
【０１４８】
Ｓ８１２にて、ＣＰＵ１００は、Ｒゲインについて、一軸補正により算出された補正値と二軸補正により算出された補正値との和が予め定められたＲゲインの最小値よりも小さいか否かを判断する。Ｒゲインの補正値が予め定められたＲゲインの最小値よりも小さいと判断すると（Ｓ８１２にてＹＥＳ）、処理はＳ８１４に移される。そうでないと（Ｓ８１２にてＮＯ）、処理はＳ８１６に移される。
【０１４９】
Ｓ８１４にて、ＣＰＵ１００は、予め定められたＲゲインの最小値をＲゲインの補正値として設定する。
【０１５０】
Ｓ８１６にて、ＣＰＵ１００は、Ｒゲインの補正値が予め定められたＲゲインの最大値よりも大きいか否かを判断する。Ｒゲインの補正値が予め定められたＲゲインの最大値よりも大きいと判断すると（Ｓ８１６にてＹＥＳ）、処理はＳ８１８に移される。そうでないと（Ｓ８１６にてＮＯ）、処理はＳ８２０に移される。
【０１５１】
Ｓ８１８にて、ＣＰＵ１００は、予め定められたＲゲインの最大値をＲゲインの補正値として設定する。
【０１５２】
Ｓ８２０にて、ＣＰＵ１００は、Ｂゲインの一軸補正値と二軸補正値との和が予め定められたＢゲインの最小値よりも小さいか否かを判断する。Ｂゲインの一軸補正値と二軸補正値との和が予め定められたＢゲインの最小値よりも小さいと判断すると（Ｓ８２０にてＹＥＳ）、処理はＳ８２２に移される。そうでないと（Ｓ８２０にてＮＯ）、処理はＳ８２４に移される。
【０１５３】
Ｓ８２２にて、ＣＰＵ１００は、予め定められたＢゲインの最小値をＢゲインの補正値として設定する。
【０１５４】
Ｓ８２４にて、ＣＰＵ１００は、Ｂゲインの一軸補正値と二軸補正値との和が予め定められたＢゲインの最大値よりも大きいか否かを判断する。Ｂゲインの一軸補正値と二軸補正値との和が予め定められたＢゲインの最大値よりも大きいと判断すると（Ｓ８２４にてＹＥＳ）、処理はＳ８２６に移される。そうでないと（Ｓ８２４にてＮＯ）、処理はＳ１１８に移される。
【０１５５】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作を説明する。なお、前述までの実施の形態における動作と同じ動作は、ここでは繰り返さない。
【０１５６】
ＲゲインおよびＢゲインのそれぞれの最大値および最小値が固定ディスク２０４から読み出される（Ｓ８１０）。算出されたＲゲインの補正値（すなわち、一軸補正値と二軸補正値との和）が、予め設定された最小値よりも小さいと（Ｓ８１２にてＹＥＳ）、その最小値がＲゲインとして設定される（Ｓ８１４）。
【０１５７】
算出されたＢゲインの補正値（すなわち、一軸補正値と二軸補正値との和）が、予め設定された最小値よりも小さいと（Ｓ８２０にてＹＥＳ）、その最小値がＢゲインとして設定される（Ｓ８２２）。その後、設定されたＲゲインの補正値およびＢゲインの補正値に基づくホワイトバランス処理が実行される（Ｓ４１４）。
【０１５８】
図１１に、本実施の形態に係る画像処理装置１０００において、ＢゲインおよびＲゲインのとり得る範囲を示す。図１１に示すように、それぞれのゲインは、その値が発散しないように、最小値および最大値により範囲が限定される。このようにして、ホワイトバランス処理によるゲインの無制限な追従を防止し、それに伴う単一色への引き込みを抑制することができる。
【０１５９】
以上により、詳述した第１〜８の実施の形態に係る画像処理装置は、固体撮像素子が取得した信号に対して、色を良好に再現し、誤動作を生じることのないホワイトバランス処理を実行することができる。
【０１６０】
この場合、色ゲインの補正値は黒体放射特性に基づいて算出されるため、単一色の引き込み等の現象を軽減することができる。また、Ｒゲインの変化量およびＢゲインの変化量から理想の補正値をＩＱ積算枠に基づいて直接算出しないため、ハードウェアの構成による制限を回避することができる。さらに、ＩＱ積算枠を使用する処理に必要なソフトウェアが不要になるため、その分、画像処理方法を実現するためのソフトウェアに対する負荷を軽減することができる。その結果、色を良好に再現し、ホワイトバランス処理の誤動作を抑制できる画像処理装置を提供することができる。
【０１６１】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】 本発明の実施の形態に係る画像処理装置を含む画像処理システムを表わす図である。
【図２】 本発明の実施の形態に係る画像処理システムの制御ブロック図である。
【図３】 本発明の第１の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図４】 本発明の第２の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図５】 本発明の第３の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図６】 本発明の第４の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図７】 本発明の第５の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図８】 本発明の第６の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図９】 本発明の第７の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図１０】 本発明の第８の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図１１】 本発明の第８の実施の形態に係る画像処理装置に設定された、ＲゲインおよびＢゲインの範囲を表わす図である。
【符号の説明】
１００ ＣＰＵ、１０４ 色差データ積算部、１０６ ホワイトバランス制御部、１１０ レンズ、１１２ 固体撮像素子、１１４ Ａ／Ｄ 変換回路、１１６ メモリ、１１８ 信号出力ＩＦ、１２０ モニタ、２０４ 固定ディスク、１０００ 画像処理装置、２０００ コンピュータシステム。
【発明の属する技術分野】
本発明は、撮像素子が取得した画像信号を処理する技術に関し、特にホワイトバランスを調整する技術に関する。
【０００２】
【従来の技術】
一般に、ＣＣＤ（Charge Coupled Device）などの固体撮像素子を含む撮影装置（たとえば、デジタルビデオカメラ）を使用して被写体を撮影すると、その被写体から撮影装置に入射される映像光の色温度が変化するにもかかわらず、白い被写体は白く再現されるように制御される。この制御は、ホワイトバランス処理と呼ばれる。
【０００３】
このホワイトバランス処理は、「各色が画面に一応に分散しているとき、画面の色をすべて加算すると無彩色となる。」という性質を利用している。すなわち、この処理は、被写体の撮影により得られた、色の信号と輝度信号との差である色差信号（Ｒ−Ｙ、Ｂ−Ｙ信号）を画面全体で平均化した値と、一般被写体の無彩色部分から得られる値と近似した信号を出力する。この色差信号を画面全体で平均化した値はホワイトバランスが合っていれば零であり、被写体の照明が変化すれば色温度の変化に対応して平均値が変化するということに基づいて、この変化量が検出される。ＲゲインおよびＢゲインは、その変化量から、黒体放射特性に基づいて算出される。これらのゲインを利用して、ホワイトバランスを調整することができる。
【０００４】
ところで、白色以外の色は、ホワイトバランス処理の対象にはならないが、単一色が画面の一部の領域を占めた場合、本来白色でない色がホワイトバランス処理の対象となることがある。たとえば、芝生や山などのように撮影画面が緑一色（単一色）であるとき、上記の平均化された色差信号を無彩色にする必要があると判断され、誤った制御信号が出力される場合がある。その結果、緑色の再現性の低下という現象（いわゆる、「色の引き込み」）が発生することになる。したがって、このような、不要なホワイトバランス処理を回避するための制御が必要になる。
【０００５】
特開２０００−７８６０５号公報（特許文献１）は、入力された画像信号にホワイトバランス用ゲインを乗算してホワイトバランス制御を実行するホワイトバランス制御装置を開示する。
【０００６】
この装置は、画像を構成する画素ごとに画像信号から輝度信号と色差信号とを算出する信号処理回路と、そのベクトルの方向および長さが色相および彩度を表わすカラーベクトル座標の原点を通過する黒体放射軌跡を、原点を境とした２つの領域に分割し、その分割した領域ごとに求めた近似直線を結合したものである近似線に基づいて、各画素ごとの色差信号から近似線の近傍にある色差信号を選択し、その選択された色差信号を積分した結果と近似線とに基づいてホワイトバランス用ゲインを算出するホワイトバランス制御回路と、各画素ごとの色差信号にホワイトバランス用ゲインを乗算する乗算回路とを含む。
【０００７】
この装置によると、信号処理回路は、画素ごとに画像信号から輝度信号と色差信号とを算出する。ホワイトバランス制御回路は、カラーベクトル座標の原点を通過する黒体放射軌跡を、原点を境に２つに分割する。また、ホワイトバランス制御回路は、各画素ごとの色差信号から近似線の近傍にある色差信号を選択する。ホワイトバランス制御回路は、さらに、その色差信号を積分し、その結果と近似線とに基づいてホワイトバランス用ゲインを算出する。乗算回路は、ホワイトバランス用ゲインと色差信号とから、色差信号の補正値を算出する。これにより、補正する色差信号が黒体放射軌跡から乖離しないようにホワイトバランス制御を実行することができる。
【０００８】
また、特開平１１-１３６６９６号公報（特許文献２）は、白色以外の色を白色に引き込むことを回避するための色信号処理回路を開示する。この公報に開示された処理回路は、画像信号を色分離して得られた赤（Ｒ）、緑（Ｇ）、青（Ｇ）の色信号を増幅する増幅回路と、二次元座標によって色を規定する二次元座標系における色信号の二次元座標が、色調整を行なう範囲を示す第１の引き込み制限枠と第１の引き込み制限枠内に規定され二次元座標系の原点を含む第２の引き込み制限枠内との双方の内側に位置するか否かを判定し、双方の内側に位置する場合に、色信号が示す色を、二次元座標系の原点に規定された白色に引き込むことを決定する引き込み判定回路と、引き込むことが決定された色信号が示す色が、二次元座標系の原点に引き込まれるように、増幅回路の増幅率（ゲイン）を調整するゲイン調整回路とを含む。
【０００９】
この色信号処理回路によると、増幅回路は、Ｒ信号、Ｇ信号およびＢ信号のゲインを調整する。引き込み判定回路は、二次元座標によって色を規定する二次元座標系、たとえば（Ｒ＋Ｂ−２Ｇ、Ｒ−Ｂ）座標系における色信号の二次元座標（すなわち、（Ｒ＋Ｂ−２Ｇ，Ｒ−Ｂ））が、色調整を行なう範囲を示す第１の引き込み制限枠と第１の引き込み制限枠内に規定され二次元座標系の原点を含む第２の引き込み制限枠内との双方の内側に位置するか否かを判定し、双方の内側に位置する場合に、色信号が示す色を、二次元座標系の原点に規定された白色に引き込むことを決定する。ゲイン調整回路は、引き込むことが決定された色信号が示す色が、二次元座標系の原点に引き込まれるように、増幅回路の増幅率（ゲイン）を調整する。たとえば、Ｒゲイン、ＢゲインおよびＧゲインのそれぞれを調整するＲゲイン信号、Ｂゲイン信号およびＧゲイン信号が生成される。このようにして、近似的に四角形の引き込み制限枠を用い、対象となる色がその制限枠の内側にある場合には無条件にその色に対してホワイトバランス処理を実行することにより、ホワイトバランス処理を効率よく実行することができる。また第２の引き込み制限枠として直線を用いることにより、プログラムを小型化することができる。
【００１０】
さらに、特開平１１-４１６１９号公報（特許文献３）は、ホワイトバランス処理の誤動作を防ぐ色信号処理回路を開示する。この公報に開示された処理回路は、フィードバック制御によって、自動的にホワイトバランスをとる処理を行なう。
【００１１】
この色信号処理回路は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色信号の相互間のゲイン調整を行なうホワイトバランスアンプと、色差信号のフィールドごとの積分値を得る積分回路と、所定の色温度下における基準点をもとにホワイトバランスをとる範囲を制限する引き込み制限枠を設定するとともに、積分回路で得られた積分値の基準点からの移動量を常時監視し、移動後の積分値が引き込み制限枠内に存在するときその積分値に応じてホワイトバランスアンプのゲインをコントロールするコントローラとを含む。コントローラは、高輝度部の積分値データと通常輝度部の積分値データとを比較し、０に近いほうの積分値データを出力する比較回路と、比較回路により選択された、Ｒ−ＧおよびＢ−Ｇの各積分値データを加算してＲ＋Ｂ−２Ｇのデータを出力する加算器と、Ｒ−Ｇの積分値データからＢ−Ｇの積分値データを減算して、Ｒ−Ｂのデータを出力する減算器と、引き込み判定回路と、引き込み判定時に、Ｒ＋Ｂ−２ＧおよびＲ−Ｂの各データに基づいて、Ｒ信号、Ｇ信号およびＢ信号の各ゲインを設定するゲイン設定回路とを含む。
【００１２】
この信号処理回路によると、コントローラは、所定の色温度における基準点をもとにホワイトバランスをとる範囲を制限する引き込み制限枠を設定する。コントローラは、積分値の基準点からの移動量が監視され、移動後の積分値が引き込み制限枠内に存在するとき、その積分値に応じてホワイトバランスアンプのゲインをコントロールする。このようにすると、引き込みの判定基準が一致になるため、基準の移動により不要なホワイトバランス処理が実行されなくなる。これにより、誤動作のないホワイトバランス処理を実行できる色信号処理回路を提供することができる。
【００１３】
さらに、色の「引き込み」を防止する方法として、たとえば、「ずれ量」を求める基準となる色差データの積算枠を制御する方法、あるいは、無彩色とするためのＲゲインおよびＢゲインを「ずれ量」から直接算出し、それらのゲインが黒体放射曲線に基づいて設定されたゲインの組み合わせであるか否かを判定する方法がある。
【００１４】
【特許文献１】
特開２０００−７８６０５号公報
【００１５】
【特許文献２】
特開平１１-１３６６９６号公報
【００１６】
【特許文献３】
特開平１１-４１６１９号公報
【００１７】
【発明が解決しようとする課題】
しかしながら、積算枠を制御する方法によると、以下の問題点が生じる。第１に、積算枠を小さくすると、単一色の引き込みを抑制することができるが、適応できる色温度の範囲が狭くなる場合がある。あるいは、ホワイトバランスが崩れた状態で停止するロックと呼ばれる誤動作を引き起こしやすくなり、積算枠を極端に小さくすることはできなくなることがある。
【００１８】
第２に、ＩＱベクトル上で非対称な形とした場合、ホワイトバランスの収束点が原点よりずれるといった現象を引き起こしやすくなる。そのため、現実には、ＩＱベクトル上で黒体放射曲線をカバーする対称的な長方形とすることになる。この結果、単一色の引き込みに対しては必ずしも十分な対応とは言えないのが現実である。さらに、色のずれ量は、蛍光灯等のような照明の下では頻繁に変化するため、無彩色となるゲインを直接算出すると、色が変動する場合がある。
【００１９】
本発明は、上述の課題を解決するためになされたものであって、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現し、ハードウェアおよびソフトウェアへの負荷を軽減することができる画像処理装置、画像処理方法、画像処理方法を実現するためのプログラムおよびそのプログラムを記録した記録媒体を提供することである。
【００２０】
【課題を解決するための手段】
第１の発明に係る画像処理装置は、信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出するための現在値算出手段と、現在値算出手段に接続され、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶するための記憶手段と、現在値算出手段に接続され、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出するための第１の補正値算出手段と、記憶手段および第１の補正値算出手段に接続され、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出するための第２の補正値算出手段と、記憶手段および第２の補正値算出手段に接続され、第２の色ゲインの現在値と第２の色ゲインの補正値とに基づいて、ホワイトバランス処理の実行が適切であるか否かを判断するための判断手段と、判断手段に接続され、ホワイトバランス処理の実行が適切であると判断されると、ホワイトバランス処理を実行するための実行手段とを含む。
【００２１】
第１の発明によると、画像処理装置は、撮像素子が取得した信号に対して実行されるホワイトバランス処理を制御する。この画像処理装置の受信手段が、信号を受信すると、現在値算出手段が、その信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する。記憶手段は、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶する。第１の補正値算出手段が、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出すると、第２の補正値算出手段は、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する。黒体放射特性は、光子の統計的性質に基づくものであり、このような特性に関連付けられる第１の色ゲインおよび第２の色ゲインの補正値は、それぞれ実際の色を反映した値となる。したがって、このようにして算出された第１の色ゲインの補正値および第２の色ゲインの補正値に基づいてホワイトバランス処理を実行すると、自然の色に近い色を再現することができる。判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値とに基づいて（たとえば、大小関係、現在値と補正値との差などに基づいて）、ホワイトバランス処理の実行が適切であるか否かを判断する。判断手段が、ホワイトバランス処理の実行は適切であると判断すると、実行手段は、ホワイトバランス処理を実行する。したがって、ホワイトバランス処理のために算出された第１の色ゲインの補正値および第２の色ゲインの補正値の関係が黒体放射特性から乖離しないとき、それらの補正値に基づいて、ホワイトバランス処理が実行される。この場合、自然の色に近い値から逸脱することはないので、色再現性が低下することはない。また、ホワイトバランス処理の実行が適切であると判断されない場合、第１の色ゲインの補正値と、黒体放射特性に基づいて算出された第２の色ゲインの補正値とは、ホワイトバランス処理に使用されず、記憶手段に記憶された第１の色ゲインの現在値と第２の色ゲインの現在値とが、その処理に使用される。たとえば、信号が芝生や山など単一色となるような場合であり、この場合は、補正値に基づくホワイトバランス処理が実行されず、誤動作も発生しない。その結果、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現することができる画像処理装置を提供することができる。
【００２２】
第２の発明に係る画像処理装置は、第１の発明の構成に加えて、判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値との差に基づいて、ホワイトバランス処理の実行が適切であるか否かを判断するためのホワイトバランス判断手段を含む。
【００２３】
第２の発明によると、ホワイトバランス判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値との差に基づいて、ホワイトバランス処理の実行が適切であるか否かを判断する。たとえば、その差が予め定められた範囲の中に含まれる場合、ホワイトバランス処理の実行が適切であると判断される。このとき、第１の補正値と、黒体放射特性に基づいて算出された第２の補正値とに基づいて、ホワイトバランス処理が実行される。一方、その差が予め定められた範囲から逸脱する場合、ホワイトバランス処理の実行は不適切であると判断される。この場合、第１の色ゲインの補正値と、黒体放射特性に基づいて算出された第２の色ゲインの補正値とは、ホワイトバランス処理に使用されず、記憶手段に記憶された第１の色ゲインの現在値と第２の色ゲインの現在値とが、その処理に使用される。したがって、色ゲインの補正値に基づくホワイトバランス処理が必要である場合のみ、その処理が実行される。その結果、ホワイトバランス処理の精度を向上させることができる。
【００２４】
第３の発明に係る画像処理装置は、第２の発明の構成に加えて、ホワイトバランス判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値との差が予め定められた第１の範囲に含まれると、ホワイトバランス処理の実行が適切であると判断するための手段を含む。
【００２５】
第３の発明によると、ホワイトバランス判断手段は、第２の色ゲインの現在値と第２の色ゲインの補正値との差が予め定められた第１の範囲から逸脱すると、ホワイトバランス処理の実行が不適切であると判断する。したがって、第１の色ゲインの補正値と、黒体放射特性に基づいて算出された第２の色ゲインの補正値とはホワイトバランス処理に使用されず、記憶手段に記憶された第１の色ゲインおよび第２の色ゲインの現在値が使用される。その結果、補正値に基づくホワイトバランス処理を実行することによる誤動作を防止することができる。
【００２６】
第４の発明に係る画像処理装置は、第１〜３のいずれかの発明の構成に加えて、受信手段に接続され、信号に含まれる色の信号と輝度信号との差である色差信号を算出するための信号算出手段と、信号算出手段に接続され、領域における色差信号の平均値を算出するための平均値算出手段と、平均値算出手段に接続され、平均値と、予め算出された値であってホワイトバランスが整合しているときの色差信号との差である変化量を算出するための変化量算出手段とをさらに含む。実行手段は、変化量に基づいて、第１の処理と第２の処理とのいずれかを選択的に実行するための選択実行手段を含む。第１の処理は、第１の色ゲインの補正値および第２の色ゲインの補正値に基づいて実行されるホワイトバランス処理である。第２の処理は、第１の色ゲインの調整値と第２の色ゲインの調整値とに基づいて実行されるホワイトバランス処理である。
【００２７】
第４の発明によると、ホワイトバランス処理の対象となる領域は、予め定められた領域（たとえば、ＩＱ積算枠）である。信号算出手段は、信号に含まれる色の信号と輝度信号との差である色差信号を算出する。平均値算出手段は、その領域における色差信号の平均値を算出する。変化量算出手段は、その平均値と、予め算出された値であってホワイトバランスが整合しているときの色差信号との差である変化量を算出する。なお、ホワイトバランスが整合している場合、処理の対象とする領域に対して色差信号を平均化すると、その平均値は０となる。一方、ホワイトバランスが整合していない場合（たとえば、被写体の照明が変化した場合）、その色温度の変化に対応して、その平均値は変化する。選択実行手段は、変化量に基づいて、第１の処理と第２の処理とのいずれかを選択的に実行する。たとえば、変化量が予め定められた基準の変化量よりも大きいことに基づいて、選択実行手段が第１の処理を実行すると、ホワイトバランス処理は、第１の色ゲインの補正値および第２の色ゲインの補正値に基づいて実行される。一方、変化量が予め定められた基準の変化量よりも小さいことに基づいて、選択実行手段が第２の処理を実行すると、ホワイトバランス処理は、第１の色ゲインの調整値と第２の色ゲインの調整値とに基づいて実行される。すなわち、変化量が大きい場合に対応したホワイトバランス処理を実行すると、色の再現性が大きく向上する。一方、変化量が小さい場合に対応したホワイトバランス処理を実行すると、第１の色ゲインの調整値と第２の色ゲインの調整値に基づいて、色の再現性を微調整することができる。このようにして、画像処理装置は、色を安定してかつ良好に再現することができる。
【００２８】
第５の発明に係る画像処理装置は、第４の発明の構成に加えて、信号算出手段は、信号に含まれる第１の色の信号と輝度信号との差である第１の色差信号と、信号に含まれる第２の色の信号と輝度信号との差である第２の色差信号とのいずれかを算出するための手段を含む。平均値算出手段は、領域における第１の色差信号の平均値と、領域における第２の色差信号の平均値とのいずれかを算出するための手段を含む。変化量算出手段は、第１の色差信号と、ホワイトバランスが整合しているときの第１の色差信号との差である第１の変化量と、第２の色差信号と、ホワイトバランスが整合しているときの第２の色差信号との差である第２の変化量とのいずれかを算出するための手段を含む。選択実行手段は、第１の変化量および第２の変化量のいずれかが予め定められた第２の範囲から逸脱すると、第１の処理を実行するための手段を含む。
【００２９】
第５の発明によると、信号算出手段は、第１の色差信号と第２の色差信号とのいずれかを算出する。第１の色差信号とは、信号に含まれる第１の色の信号と輝度信号との差である。第２の色差信号とは、信号に含まれる第２の色の信号と輝度信号との差である。平均値算出手段が、第１の色差信号の平均値と、第２の色差信号の平均値とのいずれかを算出すると、変化量算出手段は、第１の変化量と第２の変化量とのいずれかの変化量を算出する。第１の変化量とは、第１の色差信号の平均値と、ホワイトバランスが整合しているときの第１の色差信号（すなわち、０）との差である。第２の変化量とは、第２の色差信号の平均値と、ホワイトバランスが整合しているときの第２の色差信号（すなわち、０）との差である。選択実行手段は、第１の変化量および第２の変化量のいずれかが予め定められた第２の範囲から逸脱すると、第１の処理を実行する。すなわち、色差信号の変化量が基準として設定された第２の範囲を越えると、ホワイトバランス処理が実行される。これにより、色を安定してかつ良好に再現することができる。
【００３０】
第６の発明に係る画像処理装置は、第４または第５の発明の構成に加えて、第１の色ゲインの調整値および第２の色ゲインの調整値のいずれかの範囲を制限することができる。
【００３１】
第６の発明によると、第１の色ゲインの調整値および第２の色ゲインの調整値のいずれかの範囲は制限される。したがって、たとえば、単一色が徐々に映像に現れた場合など、第２の処理が無制限に追従していく場合に、色の再現性を低下させないように、第１の色ゲインおよび第２の色ゲインの調整値を制限するように、それらの調整値の範囲を設定することができる。
【００３２】
第７の発明に係る画像処理装置は、第１〜６のいずれかの発明の構成に加えて、選択実行手段に接続され、第２の処理から第１の処理へホワイトバランス処理を切り換えるか否かを判断するための切換判断手段と、切換判断手段に接続され、第２の処理から第１の処理に切り換えると判断すると、第２の処理により算出された、第１の色ゲインの補正値および第２の色ゲインの補正値を第１の処理に反映させるための反映手段と、反映手段に接続され、第２の処理により算出された、第１の色ゲインの補正値および第２の色ゲインの補正値を初期化するための初期化手段とをさらに含む。
【００３３】
第７の発明によると、画像処理装置は、撮像素子が取得した信号の入力に応答して、ホワイトバランス処理を継続して実行する。画像処理装置の切換判断手段が、第２の処理から第１の処理へホワイトバランス処理を切り換えるか否かを判断する。ホワイトバランス処理を切り換えると判断すると、反映手段は、第２の処理により算出された第１の色ゲインの補正値および第２の色ゲインの補正値を第１の処理に反映させる。初期化手段は、それらの調整値を初期化する。したがって、画像処理装置が第１の調整値および第２の調整値を使用するホワイトバランス処理（すなわち、第２の処理）を実行しているときに、ホワイトバランスが不均衡の状態になると、黒体放射特性に基づく補正値を使用するホワイトバランス処理（すなわち、第１の処理）を実行する。したがって、画像処理の途中にホワイトバランスが不均衡の状態になった場合（たとえば、被写体に対する照明の変化により、色の信号が大きく変化した場合など）、黒体放射特性に基づくホワイトバランス処理が実行される。これにより、ホワイトバランスを整合させることができる。
【００３４】
第８の発明に係る画像処理装置は、第１〜７のいずれかの発明の構成に加えて、記憶手段に接続され、第１の色ゲインの現在値と第２の色ゲインの現在値との比率を算出するための比率算出手段と、比率算出手段に接続され、比率と予め定められた基準の比率との差が予め定められた第２の範囲から逸脱するか否かを確認するための比率確認手段と、比率確認手段に接続され、比率と基準の比率との差が第２の範囲から逸脱することを確認すると、ホワイトバランス処理を中止するための第１の中止手段とをさらに含む。
【００３５】
第８の発明によると、比率算出手段が第１の色ゲインの現在値と第２の色ゲインの現在値との比率を算出すると、比率確認手段は、その比率と予め定められた基準の比率との差が予め定められた第２の範囲から逸脱するか否かを確認する。その差が第２の範囲から逸脱することが確認されると、第１の中止手段は、ホワイトバランス処理を中止する。したがって、第１の色ゲインの現在値と第２の色ゲインの現在値との比率と、予め定められた基準の比率との差が予め定められた第２の範囲に含まれるとき、ホワイトバランス処理が実行される。このようにして、ホワイトバランス処理を実行するための条件に制限を加えることにより、ホワイトバランス処理の誤動作を防止することができる。
【００３６】
第９の発明に係る画像処理装置は、第１〜８のいずれかの発明の構成に加えて、記憶手段に接続され、第１の変化量および第２の変化量のいずれか予め設定された第３の範囲から逸脱するか否かを確認するための変化量確認手段と、変化量確認手段に接続され、第１の変化量および第２の変化量のいずれかが第３の範囲から逸脱することを確認すると、第１の処理の実行を中止するための第２の中止手段とをさらに含む。
【００３７】
第９の発明によると、変化量確認手段は、第１の変化量および第２の変化量のいずれかの変化量が予め設定された第３の範囲から逸脱するか否かを確認する。そのいずれかの変化量が第３の範囲から逸脱することが確認されると、第２の中止手段は、第１の処理の実行を中止する。したがって、第１の変化量および第２の変化量のいずれかが基準の変化量から乖離すると、補正値に基づくホワイトバランス処理は、実行されない。
【００３８】
第１０の発明に係る画像処理方法は、信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する現在値算出ステップと、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶する記憶ステップと、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出する第１の補正値算出ステップと、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する第２の補正値算出ステップと、第２の色ゲインの現在値と第２の色ゲインの補正値とに基づいて、ホワイトバランス処理の実行が適切であるか否かを判断する判断ステップと、ホワイトバランス処理の実行が適切であると判断されると、ホワイトバランス処理を実行する実行ステップとを含む。
【００３９】
第１０の発明によると、画像処理方法は、撮像素子が取得した信号に対して実行されるホワイトバランス処理を制御する。この画像処理方法の算出ステップは、その信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する。記憶ステップは、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶する。第１の補正値算出ステップが、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出すると、第２の補正値算出ステップは、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する。黒体放射特性は、光子の統計的性質に基づくものであり、このような特性に関連付けられる第１の色ゲインおよび第２の色ゲインの補正値は、それぞれ実際の色を反映した値となる。したがって、このようにして算出された第１の色ゲインの補正値および第２の色ゲインの補正値に基づいてホワイトバランス処理を実行すると、自然の色に近い色を再現することができる。判断ステップは、第２の色ゲインの現在値と第２の色ゲインの補正値に基づいて（たとえば、大小関係、現在値と補正値との差などに基づいて）、ホワイトバランス処理の実行が適切であるか否かを判断する。判断ステップが、ホワイトバランス処理の実行は適切であると判断すると、実行ステップは、ホワイトバランス処理を実行する。すなわち、ホワイトバランス処理のために算出された第１の色ゲインの補正値および第２の色ゲインの補正値の関係が黒体放射の特性から乖離しないとき、それらの補正値に基づいて、ホワイトバランス処理が実行される。この場合、色の再現性は低下しない。これにより、画像処理方法は、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現することができる。その結果、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現することができる画像処理方法を提供することができる。
【００４０】
第１１の発明に係るプログラムは、コンピュータに、信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する現在値算出ステップと、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶する記憶ステップと、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出する第１の補正値算出ステップと、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する第２の補正値算出ステップと、第２の色ゲインの現在値と第２の色ゲインの補正値との関係に基づいて、ホワイトバランス処理の実行が適切であるか否かを判断する判断ステップと、ホワイトバランス処理の実行が適切であると判断されると、ホワイトバランス処理を実行する実行ステップとを実現させる。
【００４１】
第１１の発明によると、プログラムは、撮像素子が取得した信号に対して実行されるホワイトバランス処理を制御する画像処理方法をコンピュータに実現させる。この画像処理方法の現在値算出ステップは、その信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する。記憶ステップは、第１の色ゲインの現在値および第２の色ゲインの現在値を記憶する。第１の補正値算出ステップが、予め定められた第１の設定値に基づいて、第１の色ゲインの現在値から第１の色ゲインの補正値を算出すると、第２の補正値算出ステップは、第１の色ゲインと第２の色ゲインとを関連付ける黒体放射特性に基づいて、第１の色ゲインの補正値から第２の色ゲインの補正値を算出する。黒体放射特性は、光子の統計的性質に基づくものであり、このような特性に関連付けられる第１の色ゲインおよび第２の色ゲインの補正値は、それぞれ実際の色を反映した値となる。したがって、このようにして算出された第１の色ゲインの補正値および第２の色ゲインの補正値に基づいてホワイトバランス処理を実行すると、自然の色に近い色を再現することができる。判断ステップは、第２の色ゲインの現在値と第２の色ゲインの補正値との関係に基づいて（たとえば、大小関係、現在値と補正値との差などに基づいて）、ホワイトバランス処理の実行が適切であるか否かを判断する。判断ステップが、ホワイトバランス処理の実行は適切であると判断すると、実行ステップは、ホワイトバランス処理を実行する。すなわち、ホワイトバランス処理のために算出された第１の色ゲインの補正値および第２の色ゲインの補正値の関係が黒体放射の特性から乖離しないとき、それらの補正値に基づいて、ホワイトバランス処理が実行される。この場合、色の再現性は低下しない。そうでないとき、ホワイトバランス処理は実行されず、したがって誤動作も発生しない。これにより、画像処理方法は、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現することができる。その結果、ホワイトバランス処理における誤動作を軽減し、色を安定してかつ良好に再現することができる画像処理方法をコンピュータに実現させるプログラムを提供することができる。
【００４２】
第１２の発明係る記録媒体は、第１１の発明に係るプログラムを記録した記録媒体である。
【００４３】
第１２の発明によると、記録媒体には、撮像素子が取得した信号に基づいてホワイトバランス処理を制御する画像処理方法を実現するプログラムが記録される。これらのプログラムを用いてコンピュータに画像処理方法を実現させることができる。
【００４４】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００４５】
＜第１の実施の形態＞
図１に、本発明の実施の形態に係る画像処理装置１０００を含む画像処理システムを示す。画像処理装置１０００は、固体撮像素子１１２に接続されたＡ／Ｄ変換回路１１４と、ＣＰＵ（Central Processing Unit）１００と、メモリ１１６と、モニタ１２０に接続された信号出力ＩＦ（Interface）１１８とを含む。レンズ１１０にて集光された被写体からの像は、１つの固体撮像素子１１２にて電気信号に変換され、その信号は、Ａ／Ｄ変換回路１１４に送信される。その信号がＡ／Ｄ変換回路１１４に入力されると、デジタル信号の画像データに変換された後、ＣＰＵ１００に送信される。そのデジタル信号に基づく積算データは、ＣＰＵ１００の色差データ積算部１０４にて算出される。その積算データに基づいて、ＣＰＵ１００のホワイトバランス制御部１０６がホワイトバランス処理を実行すると、処理後の画像信号は信号出力ＩＦ１１８に出力される。
【００４６】
図２に、本発明の実施の形態に係る画像処理システムの一例であるコンピュータシステム２０００の制御ブロック図を示す。
【００４７】
図２を参照して、このコンピュータシステム２０００は、ＦＤ（Flexible Disk）駆動装置２１８およびＣＤ−ＲＯＭ（Compact Disc-Read Only Memory)駆動装置２２０を備えた画像処理装置１０００と、モニタ１２０と、キーボード２１４と、マウス２１２とを含む。
【００４８】
さらに、この画像処理装置１０００は、上記したＦＤ駆動装置２１８およびＣＤ−ＲＯＭ駆動装置２２０に加えて、相互にバスで接続されたＣＰＵ１００と、メモリ１１６と、固定ディスク２０４と、Ａ／Ｄ変換回路１１４と、信号出力ＩＦ１１８とを含む。ＦＤ駆動装置２１８にはＦＤ２２２が装着される。ＣＤ−ＲＯＭ駆動装置２２０にはＣＤ−ＲＯＭ２２４が装着される。
【００４９】
この画像処理装置１０００における処理は、コンピュータハードウェアおよびＣＰＵ１００に実行されるソフトウェアによって実現される。一般的にこのようなソフトウェアは、ＦＤ２２２、ＣＤ−ＲＯＭ２２４などの記録媒体に格納されて流通し、ＦＤ駆動装置２１８またはＣＤ−ＲＯＭ駆動装置２２０などにより記録媒体から読取られて固定ディスク２０４に一旦格納される。そのソフトウェアは、固定ディスク２０４からメモリ１１６に読出されて、ＣＰＵ１００によって実行される。なお、このＣＰＵ１００は、ソフトウェアにより実現される、色差データ積算部１０４とホワイトバランス制御部１０６とを含む。
【００５０】
図２に示したコンピュータのハードウェア自体は一般的なものである。したがって、本発明の最も本質的な部分は、ＦＤ２２２、ＣＤ−ＲＯＭ２２４、固定ディスク２０４などの記録媒体に記録されたソフトウェアである。
【００５１】
なお、ＦＤ駆動装置２１８あるいはＣＤ−ＲＯＭ駆動装置２２０の代わりに、たとえば、メモリ・カードのような記憶媒体読取装置でもよい。また、このような画像処理システムは、たとえば、デジタルビデオカメラ、プロジェクタなどを含むものであってもよい。
【００５２】
ＣＰＵ１００は、Ａ／Ｄ変換回路１１４を介して、固体撮像素子１１２の画面におけるデジタル信号を受信する。このとき、ＣＰＵ１００は、メモリ１１６に、Ｒゲインの現在値とＢゲインの現在値とを一時的に保存する。
【００５３】
ＣＰＵ１００は、ホワイトバランス制御部１０６において、色差データ積算部１０４による演算結果に基づいて、Ｂゲインの現在値に予め定められた調整値（色差データの値から算出された調整値でもよい）を加えたＢゲインの補正値を算出する。ＣＰＵ１００は、Ｂゲインの補正値に基づいて、黒体放射特性に基づく関係からＲゲイン補正値を算出する。
【００５４】
ＣＰＵ１００は、ホワイトバランス制御部１０６にて、Ｒゲインの現在値とＲゲインの補正値との差を算出し、その差が予め定められた許容範囲であるか否かを判断する。なおこの許容範囲は利用者が任意に設定するようにしてもよい。
【００５５】
ＣＰＵ１００は、色差データ積算部１０４において、受信した信号に含まれる色の信号（Ｒ，Ｂ）と輝度信号（Ｙ）との差である色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を算出する。ＣＰＵ１００は、ホワイトバランスが整合しているときの色差信号と算出された色差信号との差を変化量として算出する。このようにして、Ｂゲインの変化量とＲゲインの変化量とが算出される。
【００５６】
ＣＰＵ１００は、Ｒゲインの変化量と第１の基準変化量Ｒκとの大小関係と、Ｂゲインの変化量と第１の基準変化量Ｂκとの大小関係とを算出する。なお、この基準変化量（Ｒκ、Ｂκ）は、任意に設定するようにしてもよい。
【００５７】
ＣＰＵ１００は、これらの大小関係に基づいて、ホワイトバランス処理を実行することが適切であるか否かを判断する。たとえば、Ｒゲインの変化量およびＢゲインの変化量のいずれかがそれぞれの第１の基準変化量よりも大きい場合、補正値を使用するホワイトバランス処理の実行は不適切であると判断する。すなわち、このような場合、ＲゲインおよびＢゲインの補正値を使用するホワイトバランス処理は実行されず、ＲゲインおよびＢゲインの現在値がその処理に使用される。
【００５８】
なお、ＣＰＵ１００による判断処理は、上述の２つの大小関係がともに成立（すなわち、論理積（ＡＮＤ）が成立）する条件に加えて、いずれか１つの大小関係が成立（すなわち、論理和（ＯＲ）が成立）する条件に基づいてもよい。この条件は、任意に設定することができる。これにより、判断する条件を柔軟に設定することができる。
【００５９】
ＣＰＵ１００は、Ｂゲインの補正値と、黒体放射特性に基づいてその補正値から算出されたＲゲインの補正値とを用いて、ホワイトバランス処理（以下、この処理を「一軸補正処理」という。）を実行する。なお、このときの補正値を、一軸補正値という。
【００６０】
ＣＰＵ１００は、ＲゲインおよびＲゲインの一軸補正値に調整値を加え、追加のホワイトバランス処理を実行する（以下、この処理を「二軸補正処理」という。）。このときの調整値を、二軸補正値という。すなわち、二軸補正処理は、ＲゲインおよびＢゲインを微調整する処理である。
【００６１】
なお、ＲゲインおよびＢゲインの現在値が一定の条件を満足するとき（たとえば、必要な補正が一軸補正処理を実行するまでもないとき）、ＣＰＵ１００は、二軸補正処理を直接実行する。このときの二軸補正値は、ＲゲインおよびＢゲインの補正値に基づいて算出される。また、一軸補正処理を実行しない場合の二軸補正値を予め設定するようにしてもよい。このようにすることにより、補正処理の時間を短縮することができる。
【００６２】
ＣＰＵ１００は、予め設定された値に基づいて、二軸補正処理に使用する調整値を制限することができる。すなわち、調整値の制限値を、固定ディスク２０４等に予め記憶しておき、算出された調整値がその制限値を越えた場合、その制限値を調整値として使用することができる。このようにすると、調整値が発散することを防止することができる。
【００６３】
ＣＰＵ１００は、ホワイトバランスの状態を検出する。すなわち、ＣＰＵ１００は、ＲゲインおよびＢゲインの変化量に基づいて、その状態を検出する。ＣＰＵ１００は、その状態に基づいて、一軸補正処理および二軸補正処理を実行していた状態から、一軸補正処理のみを実行する制御に切り換える。ＣＰＵ１００は、このとき、二軸補正処理におけるＲゲインとＢゲインとを一軸補正値に反映させる。ＣＰＵ１００は、さらに二軸補正処理におけるＲゲインとＢゲインとの値を初期化する。
【００６４】
ＣＰＵ１００は、Ｒゲインの現在値とＢゲインの現在値との比率を算出する。ＣＰＵ１００は、その比率と予め定められた基準比率εの差と許容範囲αの大小関係に基づいて、ホワイトバランス処理を実行することが適切であるか否かを判断する。
【００６５】
なお、この基準比率εや許容範囲αは、利用者が任意に設定するようにしてもよい。
【００６６】
ＣＰＵ１００は、Ｒゲインの変化量（色差データの積算値）と第１の基準変化量Ｒκとの大小関係と、Ｂゲインの変化量（色差データの積算値）と第１の基準変化量Ｂκとの大小関係とを算出する。なおこれらの基準変化量（Ｒκ，Ｂκ）は、利用者が任意に設定するようにしてもよい。
【００６７】
ＣＰＵ１００は、これらの大小関係に基づいて、第１の処理と第２の処理とのいずれかの処理を選択する。たとえば、Ｒゲインの変化量およびＢゲインの変化量のいずれかがそれぞれの基準変化量（すなわち、Ｒκ，Ｂκ）よりも大きい場合、一軸補正を行なうホワイトバランス処理が選択される。一方、それらの変化量が基準変化量よりも小さい場合、少なくとも、二軸補正処理が選択される。このとき、ＲゲインおよびＢゲインは、それぞれの調整値に基づいて微調整される。
【００６８】
なお、ＣＰＵ１００による判断処理は、上述の２つの大小関係がともに成立（すなわち、論理積（ＡＮＤ）が成立）する条件に加えて、いずれか１つの大小関係が成立（すなわち、論理和（ＯＲ）が成立）する条件に基づいてもよい。この条件は、任意に設定することができる。これにより、判断する条件を柔軟に設定することができる。
【００６９】
ＣＰＵ１００は、Ｒゲインの変化量と第２の基準変化量Ｒγとの大小関係（以下、第１の大小関係という。）と、Ｂゲインの変化量と第２の基準変化量Ｂγとの大小関係（以下、第２の大小関係）とを算出する。なお、これらの基準変化量（すなわち、ＲγおよびＢγ）は、任意に設定するようにしてもよい。
【００７０】
ＣＰＵ１００は、これらの大小関係に基づいて、ホワイトバランス処理を実行することが適切であるか否かを判断する。たとえば、Ｒゲインの変化量およびＢゲインの変化量のいずれかがそれぞれの第２の基準変化量よりも大きい場合、ホワイトバランス処理の実行は不適切であると判断する。すなわち、このような場合、補正値に基づくホワイトバランス処理は中止され、ＲゲインおよびＢゲインの現在値が使用される。
【００７１】
なお、ＣＰＵ１００による判断処理は、第１の大小関係および第２の大小関係が成立（すなわち、論理積（ＡＮＤ）が成立）する条件に加えて、第１の大小関係および第２の大小関係のいずれかが成立（すなわち、論理和（ＯＲ）が成立）する条件に基づいてもよい。この条件は、任意に設定することができる。
【００７２】
ＣＰＵ１００は、予め記憶されたＲゲインの範囲（たとえば、Ｒゲインの上限値と下限値）に、算出したＲゲインの補正値が含まれるか否かを判断する。算出した補正値が予め記憶された範囲に含まれない場合（たとえば、上限値を上回る補正値が算出された場合、あるいは、下限値をしたまわる補正値が算出された場合）、算出された補正値に代えて、記憶された範囲の制限値（すなわち、上限値あるいは下限値）を補正値として設定する。これにより、Ｒゲインの補正値の発散を防止することができる。なお、これらの処理は、Ｂゲインについても同様である。また、このようなＲゲインあるいはＢゲインの範囲は、任意に設定することができる。
【００７３】
ＣＰＵ１００は、算出したＲゲインの現在値およびＢゲインの現在値をメモリ１１６に一時的に保存する。ＣＰＵ１００は、Ｒゲインの補正値およびＢゲインの補正値がホワイトバランス処理を実行するために利用できないと判断すると、Ｒゲインの実際値およびＢゲインの実際値をメモリ１１６から読出して、信号出力ＩＦ１１８を介してモニタ１２０に出力する。
【００７４】
図３を参照して、本発明の第１の実施の形態に係る画像処理装置１０００における処理を、フローチャートに基づいて説明する。
【００７５】
ステップ１０２にて（以下、ステップをＳと略す。）、画像処理装置１０００のＣＰＵ１００は、Ａ／Ｄ変換回路１１４を介して信号を受信する。Ｓ１０２１にて、ＣＰＵ１００は、受信した信号に基づいて、色ゲインの変化量を算出する。
【００７６】
Ｓ１０２２にて、ＣＰＵ１００は、色ゲインの変化量が許容範囲を越えるか否かを判断する。色ゲインの変化量が許容範囲を越えると判断すると(Ｓ１０２２にてＹＥＳ）、処理はＳ１０４に移される。そうでないと(Ｓ１０２２にてＮＯ）、処理はＳ１１８に移される。
【００７７】
Ｓ１０４にて、ＣＰＵ１００は、受信した信号からＲゲインの現在値およびＢゲインの現在値を取得する。Ｓ１０６にて、ＣＰＵ１００は、Ｒゲインの現在値およびＢゲインの現在値をメモリ１１６に一時的に保存する。
【００７８】
Ｓ１０８にて、ＣＰＵ１００は、Ｂゲインの現在値に予め定められた調整値β（色差データの値から算出された調整値β）を加算することにより、Ｂゲインの補正値を算出する。Ｓ１１０にて、ＣＰＵ１００は、黒体放射特性の関係を使用して、Ｂゲインの補正値からＲゲインの補正値を算出する。
【００７９】
Ｓ１１２にて、ＣＰＵ１００は、Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲σの中に含まれるか否かを判断する。Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲σの中に含まれると判断すると（Ｓ１１２にてＹＥＳ）、処理は、Ｓ１１４に移される。そうでないと（Ｓ１１２にてＮＯ）、処理はＳ１１６に移される。
【００８０】
Ｓ１１４にて、ＣＰＵ１００は、ホワイトバランス処理を実行する。すなわち、ＣＰＵ１００は、予め定められた調整値β（色差データの値から算出された調整値β）に基づいて算出されたＢゲインの補正値（Ｂ＋β）をＢゲインとして設定する。ＣＰＵ１００は、黒体放射特性に基づいて、Ｂゲインの補正値から算出されたＲゲインの補正値を、Ｒゲインとして設定する。
【００８１】
Ｓ１１６にて、ＣＰＵ１００は、メモリ１１６から、Ｂゲインの現在値およびＲゲインの現在値を読出し、それぞれ、ＢゲインおよびＲゲインとして設定する。したがって、ＢゲインおよびＲゲインの現在値に基づくホワイトバランス処理が実行される。
【００８２】
Ｓ１１８にて、ＣＰＵ１００は、設定されたＢゲインおよびＲゲインの信号を出力する。その後、処理は終了する。
【００８３】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作について、補正値に基づくホワイトバランス処理を実行する場合と現在値に基づくホワイトバランス処理を実行する場合とを説明する。
【００８４】
［色ゲインの補正値に基づくホワイトバランス処理を実行する場合］
固体撮像素子１１２により取得された被写体の信号が画像処理装置１０００に入力される（Ｓ１０２）。色ゲインの変化量が算出され（Ｓ１０２１）、色ゲインの変化量が許容範囲を越えるとき（Ｓ１０２２）、Ｒゲインの現在値とＢゲインの現在値とが取得される（Ｓ１０４）。それらの現在値はメモリ１１６に一時的に保存される（Ｓ１０６）。
【００８５】
Ｂゲインの補正値が、Ｂゲインの現在値と予め定められた調整値β（色差データの値から算出された調整値β）とから算出されると（Ｓ１０８）、Ｒゲインの補正値が、黒体放射特性に基づいて、Ｂゲインの補正値から算出される（Ｓ１１０）。
【００８６】
Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲の中に含まれるとき（Ｓ１１２にてＹＥＳ）、ホワイトバランス処理の実行は適切であると判断される。Ｒゲインの補正値およびＢゲインの補正値がそれぞれ、ＲゲインおよびＢゲインとして設定されると（Ｓ１１４）、そのＲゲインおよびＢゲインが出力される（Ｓ１１８）。
【００８７】
［色ゲインの現在値に基づくホワイトバランス処理を実行する場合］
Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲の中に含まれないとき（Ｓ１１２にてＮＯ）、ホワイトバランス処理を実行することが不適切であると判断される。Ｒゲインの現在値およびＢゲインの現在値がそれぞれ、ＲゲインおよびＢゲインとして設定されると（Ｓ１１６）、そのＲゲインおよびＢゲインが出力される（Ｓ１１８）。
【００８８】
これにより、Ｒゲインの補正値とＢゲインの補正値との間に黒体放射特性に基づく関係が認められる場合（すなわち、Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲内である場合）、ホワイトバランス処理を実行すると、色の再現性の低下を防止することができる。一方、Ｒゲインの補正値とＢゲインの補正値との間に黒体放射特性に基づく関係が認められない場合（すなわち、Ｒゲインの補正値とＲゲインの現在値との差が予め定められた範囲を越える場合）、補正値に基づくホワイトバランス処理は実行されない。したがって、この場合、色の引き込みなどの誤動作の発生を防止することができる。
【００８９】
＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【００９０】
図４を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図４に示すフローチャートの中で、前述の図３に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【００９１】
Ｓ２１０にて、ＣＰＵ１００は、固定ディスク２０４から予め設定された範囲σ（１）を読出す。
【００９２】
Ｓ２１２にて、ＣＰＵ１００は、Ｒゲインの補正値とＲゲインの現在値との差がσ（１）の範囲内であるか否かを判断する。Ｒゲインの補正値とＲゲインの現在値との差がσ（１）の範囲内であると判断すると（Ｓ２１２にてＹＥＳ）、処理は、Ｓ１１４に移される。そうでないと（Ｓ２１２にてＮＯ）、処理はＳ１１６に移される。
【００９３】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作について、補正値に基づくホワイトバランス処理を実行する場合と現在値に基づくホワイトバランス処理を実行する場合とを説明する。なお、前述の実施の形態における動作と同じ動作は、繰り返さない。
【００９４】
なお、この場合の画像処理システムにおいて、ホワイトバランス処理を実行するか否かを判断するための基準は、予め任意に設定することができる。たとえば、デジタルビデオカメラの場合、ホワイトバランス処理の設定ボタンを押下することにより、ホワイトバランス処理を実行する基準を設定することができる。
【００９５】
［色ゲインの補正値に基づくホワイトバランス処理を実行する場合］
予め任意に設定された誤差σ（１）が固定ディスク２０４から読み出される（Ｓ２１０）。Ｒゲインの補正値とＲゲインの現在値との差がσ（１）の範囲内に含まれると（Ｓ２１２にてＹＥＳ）、ホワイトバランス処理を実行することが適切であると判断される。Ｒゲインの補正値およびＢゲインの補正値が、それぞれＲゲインおよびＢゲインとして設定され、ホワイトバランス処理が実行される（Ｓ１１４）と、信号がモニタ１２０に出力される（Ｓ１１８）。
【００９６】
［色ゲインの現在値に基づくホワイトバランス処理を実行する場合］
Ｒゲインの補正値とＲゲインの現在値との差がσ（１）の範囲内に含まれないと（Ｓ２１２にてＮＯ）、ホワイトバランス処理を実行することが不適切であると判断される。Ｒゲインの現在値およびＢゲインの現在値がそれぞれ、ＲゲインおよびＢゲインとして設定され（Ｓ１１６）、信号が出力される（Ｓ１１８）。
【００９７】
これにより、予め任意に設定した誤差σ（１）に基づいて、ホワイトバランス処理を実行することが適切であるか否かを判断させることができる。その結果、利用者の嗜好に対応したホワイトバランス処理を実行することができる。
【００９８】
＜第３の実施の形態＞
以下、本発明の第３の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【００９９】
図５を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図５に示すフローチャートの中で、前述の図３および図４に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１００】
Ｓ３０４にて、ＣＰＵ１００は、固定ディスク２０４から予め設定された基準変化量（Ｒκ、Ｂκ）とを読出す。
【０１０１】
Ｓ３０６にて、ＣＰＵ１００は、Ｒゲインの変化量がＲκから逸脱しているか否かと、Ｂゲインの変化量がＢκから逸脱しているか否かとを判断する。Ｒゲインの変化量がＲκから逸脱し、かつ、Ｂゲインの変化量がＢκから逸脱していると判断すると（Ｓ３０６にてＹＥＳ）、処理はＳ１０８に移される。そうでないと（Ｓ３０６にてＮＯ）、処理はＳ１０８に移される。
【０１０２】
Ｓ３１０にて、ＣＰＵ１００は、Ｒゲインに対して、黒体放射特性に基づいて算出された補正値（一軸補正値）にＲゲインの二軸補正値を加えて、Ｒゲインの補正値を設定する。ＣＰＵ１００は、Ｂゲインに対しても同様に、Ｂゲインの一軸補正値に二軸補正値を加えて、Ｂゲインの補正値を設定する。
【０１０３】
なお、Ｓ３０６における判断処理は、Ｒゲインの変化量がＲκから逸脱し、かつ、Ｂゲインの変化量がＢκから逸脱しているという条件（いわゆる、「ＡＮＤ」条件）に基づいたが、いずれかが逸脱しているという条件（いわゆる、「ＯＲ」条件）に基づいて判断してもよい。このようにすると、ＲゲインおよびＢゲインに二軸補正値を加算する処理を実行する場合の条件を限定することができる。
【０１０４】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作を説明する。なお、前述の実施の形態における動作と同じ動作はここでは繰り返さない。
【０１０５】
なお、この場合の画像処理システムにおいて、Ｒゲインの変化量およびＢゲインの変化量が基準変化量よりも大きいか否かを判断するための基準は、予め任意に設定することができる。たとえば、デジタルビデオカメラの場合、ホワイトバランス処理の微調整の設定ボタンを押下することにより、ホワイトバランス処理の微調整を実行する基準を設定することができる。
【０１０６】
予め設定された基準変化量（Ｒκ、Ｂκ）が固定ディスク２０４から読み出される（Ｓ３０４）。Ｒゲインの変化量およびＢゲインの変化量のいずれかが、それぞれの基準変化量ＲκおよびＢκよりも大きくないとき（Ｓ３０６にてＮＯ）、Ｂゲインの補正値およびＢゲインの補正値が算出される（Ｓ１０８、Ｓ１１０）。Ｒゲインの補正値とＲゲインの現在値との差が予め設定された誤差σ（１）の範囲内であるとき（Ｓ２１２にてＹＥＳ）、それらの補正値（一軸補正値）がＲゲインおよびＢゲインとして設定される（Ｓ１１４）。さらに、Ｒゲインの二軸補正値（ＷＢ２Ｒ）をＲゲインに加算し、一軸補正値に加算され、Ｂゲインの二軸補正値（ＷＢ２Ｂ）をＢゲインに加算する処理である二軸補正処理が実行される（Ｓ３１０）。
【０１０７】
このように、予め設定した基準変化量（Ｒκ、Ｂκ）に基づいて、黒体放射特性に基づいて算出された補正値をさらに補正する処理を実行するか否かを判断することにより、ＲゲインおよびＢゲインを微調整することができる。その結果、ホワイトバランス処理の精度を向上することができる。
【０１０８】
＜第４の実施の形態＞
以下、本発明の第４の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【０１０９】
図６を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図６に示すフローチャートの中で、前述の図３および図５に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１１０】
Ｓ４１０にて、ＣＰＵ１００は、一軸補正処理により算出されたＲゲインの補正値と、二軸補正処理により算出されたＲゲインの補正値とを使用してＲゲインの補正値とする。同様に、ＣＰＵ１００は、一軸補正処理により算出されたＢゲインの補正値と二軸補正処理により算出されたＢゲインの補正値とを使用して、Ｂゲイン補正値とする。ＣＰＵ１００は、さらに二軸補正処理により算出されたＲゲインの補正値およびＢゲインの補正値を初期化する。
【０１１１】
Ｓ４１４にて、ＣＰＵ１００は、一軸補正値と二軸補正処理とを加算して、Ｒゲインの補正値を算出する。同様に、ＣＰＵ１００は、一軸補正値と二軸補正処理とを加算して、Ｂゲインの補正値を算出する。
【０１１２】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作を説明する。なお、前述までの実施の形態における動作と同じ動作は、ここでは繰り返さない。
【０１１３】
［一軸補正処理が実行される場合］
Ｒゲインの変化量が基準の変化量よりも大きく、かつ、Ｂゲインの変化量が基準の変化量よりも大きいとき（Ｓ３０６にてＹＥＳ）、ＲゲインおよびＢゲインの一軸補正値と二軸補正値との和は、それぞれＲゲインおよびＢゲインの補正値として反映され、それぞれの二軸補正値（ＷＢ２Ｒ、ＷＢ２Ｂ）が初期化される(Ｓ４１０）。
【０１１４】
［二軸補正処理が実行される場合］
Ｒゲインの変化量が基準の変化量よりも小さいとき、あるいはＢゲインの変化量が基準の変化量よりも小さいとき（Ｓ３０６にてＮＯ）、ＲゲインおよびＢゲインの一軸補正が実行され（Ｓ４１２）、さらに、二軸補正が実行される（Ｓ３１０）。その後、ＲゲインおよびＢゲインの一軸補正値と二軸補正値との和は、それぞれＲゲインおよびＢゲインの補正値として反映され（Ｓ４１４）、補正後の信号が出力される（Ｓ１１８）。
【０１１５】
その結果、ホワイトバランス処理の途中に色ゲインが変化することにより（たとえば被写体に対する照明の明るさが変化することにより）、ホワイトバランス処理が二軸補正まで実行する処理から一軸補正のみの処理に切り換わると、既に算出された一軸補正値および二軸補正値は、一軸補正によるＲゲインおよびＢゲインに反映される。さらに、その二軸補正値は初期化される。したがって、二軸補正処理から一軸補正処理に切り換わることによる色の変化を抑制することができる。これにより、ホワイトバランス処理による色の再現において、不自然さを取り除くことができる。
【０１１６】
＜第５の実施の形態＞
以下、本発明の第５の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【０１１７】
図７を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図７に示すフローチャートの中で、前述の図３、図５および図６に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１１８】
Ｓ５１０にて、ＣＰＵ１００は、固定ディスク２０４から基準比率（ε）を読み出す。Ｓ５１２にて、ＣＰＵ１００は、ＲゲインとＢゲインとの比率と、基準比率εとの差が許容範囲αより大きいか否かを判断する。ＲゲインとＢゲインとの比率と、基準比率εとの差が許容範囲αよりも大きいと判断すると（Ｓ５１２にてＹＥＳ）、処理はＳ１１６に移される。そうでないと（Ｓ５１２にてＮＯ）、処理はＳ３０４に移される。
【０１１９】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作を説明する。なお、前述までの実施の形態における動作と同じ動作は、ここでは繰り返さない。
【０１２０】
なお、この場合の画像処理システムにおいて、ＲゲインとＢゲインとの比率が基準比率よりも大きいか否かを判断するための基準（すなわち、許容範囲α）は、予め任意に設定することができる。
【０１２１】
予め設定された基準比率εが固定ディスク２０４から読み出される（Ｓ５１０）。ＲゲインとＢゲインとの比率と、基準比率εとの差が許容範囲αよりも大きいとき（Ｓ５１２にてＹＥＳ）、ＲゲインおよびＢゲインの現在値に基づくホワイトバランス処理が実行される（Ｓ１１６）。
【０１２２】
このようにすると、ＲゲインとＢゲインとの比率と、基準比率との差に基づいて、補正値に基づくホワイトバランス処理を実行する場合を制限することができる。その結果、ホワイトバランス処理の精度を向上することができる。
【０１２３】
＜第６の実施の形態＞
以下、本発明の第６の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【０１２４】
図８を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図８に示すフローチャートの中で、前述の図３および図５〜図７に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１２５】
Ｓ６１０にて、ＣＰＵ１００は、固定ディスク２０４からＲゲインおよびＢゲインのそれぞれの第２の基準変化量（Ｒγ、Ｂγ）を読出す。
【０１２６】
Ｓ６１２にて、ＣＰＵ１００は、Ｒゲインの変化量がＲγよりも大きいか否かおよびＢゲインの変化量がＢγよりも大きいか否かを判断する。Ｒゲインの変化量がＲγよりも大きく、かつ、Ｂゲインの変化量がＢγよりも大きいと判断すると（Ｓ６１２にてＹＥＳ）、処理はＳ１１６に移される。そうでないと（Ｓ６１２にてＮＯ）、処理はＳ５１０に移される。
【０１２７】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作について、色ゲインの補正値に基づくホワイトバランス処理を実行する場合と、色ゲインの現在値に基づくホワイトバランス処理を実行する場合とを説明する。なお、固体撮像素子が取得した信号の画像処理システムへの入力（Ｓ１０２）からＲゲインおよびＢゲインの現在値の記憶（Ｓ１０６）までの動作と、基準比率εの読出（Ｓ５１０）から信号の出力（Ｓ１１８）までの動作とは、前述の第５の実施の形態における動作と同じであるので、ここでは繰り返さない。
【０１２８】
なお、この場合の画像処理システムにおいて、ＲゲインおよびＢゲインの変化量の大きさを判断する基準である第２の基準変化量γは、予め設定することができる。
【０１２９】
［色ゲインの補正値に基づくホワイトバランス処理を実行する場合］
予め設定された第２の基準変化量（Ｒγ、Ｂγ）が固定ディスク２０４から読み出される（Ｓ６１０）。Ｒゲインの変化量またはＢゲインの変化量がそれぞれの第２の基準変化量（Ｒγ、Ｂγ）以下であるとき（Ｓ６１２にてＮＯ）、基準比率εが読み出される（Ｓ５１０）。Ｒゲインの変化量とＢゲインの変化量との比率と基準比率εとの差が許容範囲内であるとき（Ｓ５１２にてＮＯ）、第１の基準変化量（Ｒκ、Ｂκ）が読み出される（Ｓ３０４）。ＲゲインおよびＢゲインの変化量とそれぞれの第１の基準変化量との大小関係に基づいて、一軸補正が実行され（Ｓ４１２）、あるいは、一軸補正および二軸補正が実行されると（Ｓ３１０）、それらの補正値に基づくホワイトバランス処理が実行される（Ｓ４１４）。
【０１３０】
［色ゲインの現在値に基づくホワイトバランス処理を実行する場合］
予め設定された第２の基準変化量（Ｒγ、Ｂγ）が固定ディスク２０４から読み出される（Ｓ６１０）。Ｒゲインの変化量およびＢゲインの変化量がそれぞれ第２の基準変化量（Ｒγ、Ｂγ）よりも大きいとき（Ｓ６１２にてＹＥＳ）、Ｒゲインの現在値およびＢゲインの現在値に基づくホワイトバランス処理が実行される（Ｓ１１６）。
【０１３１】
これにより、Ｒゲインの変化量とＢゲインの変化量との比率に基づいて、ホワイトバランス処理を実行することが適切であるか否かを判断することができる。その結果、単一色の引き込みの防止と、ホワイトバランスが収束しない現象の防止とを両立させるための設定を最適な状態にすることができる。
【０１３２】
＜第７の実施の形態＞
以下、本発明の第７の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【０１３３】
図９を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図９に示すフローチャートの中で、前述の図３、図５および図６に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１３４】
Ｓ３０６にて、ＣＰＵ１００は、Ｒゲインの変化量がＲκから逸脱しているか否かおよびＢゲインの変化量がＢκから逸脱しているか否かを判断する。Ｒゲインの変化量がＲκから逸脱し、かつ、Ｂゲインの変化量がＢκから逸脱していると判断すると（Ｓ３０６にてＹＥＳ）、処理はＳ４１０に移される。そうでないと（Ｓ３０６にてＮＯ）、処理はＳ４１２に移される。
【０１３５】
Ｓ７０２にて、ＣＰＵ１００は、Ｒゲインの補正値をさらに補正するための二軸補正値（ＷＢ２Ｒ）の大きさが予め定められた限界値（２ＲＭＡＸ）より小さいか否かを判断する。二軸補正値が予め定められた限界値より小さいと判断すると（Ｓ７０２にてＹＥＳ）、処理はＳ７０６に移される。そうでないと（Ｓ７０２にてＮＯ）、処理はＳ７０４に移される。
【０１３６】
Ｓ７０４にて、ＣＰＵ１００は、予め定められた限界値（２ＲＭＡＸ）をＲゲインの二軸補正値として設定する。
【０１３７】
Ｓ７０６にて、ＣＰＵ１００は、Ｂゲインの補正値をさらに補正するための二軸補正値（ＷＢ２Ｂ）の大きさが予め定められた限界値（２ＢＭＡＸ）より小さいか否かを判断する。二軸補正値が予め定められた限界値より小さいと判断すると（Ｓ７０６にてＹＥＳ）、処理はＳ４１４に移される。そうでないと（Ｓ７０６にてＮＯ）、処理はＳ７０８に移される。
【０１３８】
Ｓ７０８にて、ＣＰＵ１００は、予め定められた限界値（２ＢＭＡＸ）をＢゲインの二軸補正値として設定する。
【０１３９】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作を説明する。なお、固体撮像素子が取得した信号の画像処理システムへの入力（Ｓ１０２）からＲゲインおよびＢゲインの変化量の大小関係の判断（Ｓ３０６）までの動作は、前述の第４の実施の形態における動作（図６に示されたフローチャート）と同じであるので、ここでは繰り返さない。
【０１４０】
なお、この場合の画像処理システムにおいて、ＲゲインおよびＢゲインの変化量の大きさを判断する基準である第２の基準変化量γは、予め設定することができる。
【０１４１】
Ｒゲインの変化量およびＢゲインの変化量のいずれかが、それぞれの基準変化量ＲκおよびＢκよりも大きくないとき（Ｓ３０６にてＮＯ）、一軸補正が実行され（Ｓ４１２）、さらに、二軸補正値が算出される（Ｓ３１０）。算出されたＲゲインの二軸補正値が予め定められた上限値よりも大きいと（Ｓ７０２にてＮＯ）、その上限値がＲゲインの二軸補正値として設定される（Ｓ７０４）。
【０１４２】
同様に、Ｂゲインの二軸補正値が予め定められた上限値よりも大きいと（Ｓ７０６にてＮＯ）、その上限値がＢゲインの二軸補正値として設定される（Ｓ７０８）。
【０１４３】
その後、算出された一軸補正値と、設定された二軸補正値とに基づいて、ホワイトバランス処理が実行され（Ｓ４１４）、処理後の信号が出力される（Ｓ１１８）。
【０１４４】
このように、二軸補正値を制限することにより、たとえば、単一色が映像に現れた場合、ホワイトバランス処理の実行による単一色への「引き込み」を防止することができる。
【０１４５】
＜第８の実施の形態＞
以下、本発明の第８の実施の形態に係る画像処理システムについて説明する。なお、本実施の形態に係る画像処理システムは、前述の第１の実施の形態に係る画像処理システムと同じハードウェア構成を有する。そのため、それらについての詳細な説明はここでは繰り返さない。
【０１４６】
図１０を参照して、本実施の形態に係る画像処理装置１０００において実行されるプログラムは、以下のような制御構造を有する。なお、図１０に示すフローチャートの中で、前述の図３および図５〜図７に示したフローチャートと同じ処理については、同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【０１４７】
Ｓ８１０にて、ＣＰＵ１００は、予め定められたＲゲインの最大値および最小値と、Ｂゲインの最大値および最小値とを読出す。
【０１４８】
Ｓ８１２にて、ＣＰＵ１００は、Ｒゲインについて、一軸補正により算出された補正値と二軸補正により算出された補正値との和が予め定められたＲゲインの最小値よりも小さいか否かを判断する。Ｒゲインの補正値が予め定められたＲゲインの最小値よりも小さいと判断すると（Ｓ８１２にてＹＥＳ）、処理はＳ８１４に移される。そうでないと（Ｓ８１２にてＮＯ）、処理はＳ８１６に移される。
【０１４９】
Ｓ８１４にて、ＣＰＵ１００は、予め定められたＲゲインの最小値をＲゲインの補正値として設定する。
【０１５０】
Ｓ８１６にて、ＣＰＵ１００は、Ｒゲインの補正値が予め定められたＲゲインの最大値よりも大きいか否かを判断する。Ｒゲインの補正値が予め定められたＲゲインの最大値よりも大きいと判断すると（Ｓ８１６にてＹＥＳ）、処理はＳ８１８に移される。そうでないと（Ｓ８１６にてＮＯ）、処理はＳ８２０に移される。
【０１５１】
Ｓ８１８にて、ＣＰＵ１００は、予め定められたＲゲインの最大値をＲゲインの補正値として設定する。
【０１５２】
Ｓ８２０にて、ＣＰＵ１００は、Ｂゲインの一軸補正値と二軸補正値との和が予め定められたＢゲインの最小値よりも小さいか否かを判断する。Ｂゲインの一軸補正値と二軸補正値との和が予め定められたＢゲインの最小値よりも小さいと判断すると（Ｓ８２０にてＹＥＳ）、処理はＳ８２２に移される。そうでないと（Ｓ８２０にてＮＯ）、処理はＳ８２４に移される。
【０１５３】
Ｓ８２２にて、ＣＰＵ１００は、予め定められたＢゲインの最小値をＢゲインの補正値として設定する。
【０１５４】
Ｓ８２４にて、ＣＰＵ１００は、Ｂゲインの一軸補正値と二軸補正値との和が予め定められたＢゲインの最大値よりも大きいか否かを判断する。Ｂゲインの一軸補正値と二軸補正値との和が予め定められたＢゲインの最大値よりも大きいと判断すると（Ｓ８２４にてＹＥＳ）、処理はＳ８２６に移される。そうでないと（Ｓ８２４にてＮＯ）、処理はＳ１１８に移される。
【０１５５】
以上のような構造およびフローチャートに基づく、本実施の形態に係る画像処理システムの動作を説明する。なお、前述までの実施の形態における動作と同じ動作は、ここでは繰り返さない。
【０１５６】
ＲゲインおよびＢゲインのそれぞれの最大値および最小値が固定ディスク２０４から読み出される（Ｓ８１０）。算出されたＲゲインの補正値（すなわち、一軸補正値と二軸補正値との和）が、予め設定された最小値よりも小さいと（Ｓ８１２にてＹＥＳ）、その最小値がＲゲインとして設定される（Ｓ８１４）。
【０１５７】
算出されたＢゲインの補正値（すなわち、一軸補正値と二軸補正値との和）が、予め設定された最小値よりも小さいと（Ｓ８２０にてＹＥＳ）、その最小値がＢゲインとして設定される（Ｓ８２２）。その後、設定されたＲゲインの補正値およびＢゲインの補正値に基づくホワイトバランス処理が実行される（Ｓ４１４）。
【０１５８】
図１１に、本実施の形態に係る画像処理装置１０００において、ＢゲインおよびＲゲインのとり得る範囲を示す。図１１に示すように、それぞれのゲインは、その値が発散しないように、最小値および最大値により範囲が限定される。このようにして、ホワイトバランス処理によるゲインの無制限な追従を防止し、それに伴う単一色への引き込みを抑制することができる。
【０１５９】
以上により、詳述した第１〜８の実施の形態に係る画像処理装置は、固体撮像素子が取得した信号に対して、色を良好に再現し、誤動作を生じることのないホワイトバランス処理を実行することができる。
【０１６０】
この場合、色ゲインの補正値は黒体放射特性に基づいて算出されるため、単一色の引き込み等の現象を軽減することができる。また、Ｒゲインの変化量およびＢゲインの変化量から理想の補正値をＩＱ積算枠に基づいて直接算出しないため、ハードウェアの構成による制限を回避することができる。さらに、ＩＱ積算枠を使用する処理に必要なソフトウェアが不要になるため、その分、画像処理方法を実現するためのソフトウェアに対する負荷を軽減することができる。その結果、色を良好に再現し、ホワイトバランス処理の誤動作を抑制できる画像処理装置を提供することができる。
【０１６１】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】 本発明の実施の形態に係る画像処理装置を含む画像処理システムを表わす図である。
【図２】 本発明の実施の形態に係る画像処理システムの制御ブロック図である。
【図３】 本発明の第１の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図４】 本発明の第２の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図５】 本発明の第３の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図６】 本発明の第４の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図７】 本発明の第５の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図８】 本発明の第６の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図９】 本発明の第７の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図１０】 本発明の第８の実施の形態に係る画像処理装置が実行する処理の手順を表わすフローチャートである。
【図１１】 本発明の第８の実施の形態に係る画像処理装置に設定された、ＲゲインおよびＢゲインの範囲を表わす図である。
【符号の説明】
１００ ＣＰＵ、１０４ 色差データ積算部、１０６ ホワイトバランス制御部、１１０ レンズ、１１２ 固体撮像素子、１１４ Ａ／Ｄ 変換回路、１１６ メモリ、１１８ 信号出力ＩＦ、１２０ モニタ、２０４ 固定ディスク、１０００ 画像処理装置、２０００ コンピュータシステム。
Claims (12)
- 撮像素子が取得した信号に対して実行されるホワイトバランス処理を制御する画像処理装置であって、前記画像処理装置は、
前記信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出するための現在値算出手段と、
前記現在値算出手段に接続され、前記第１の色ゲインの現在値および前記第２の色ゲインの現在値を記憶するための記憶手段と、
前記現在値算出手段に接続され、予め定められた第１の設定値に基づいて、前記第１の色ゲインの現在値から前記第１の色ゲインの補正値を算出するための第１の補正値算出手段と、
前記記憶手段および前記第１の補正値算出手段に接続され、前記第１の色ゲインと前記第２の色ゲインとを関連付ける黒体放射特性に基づいて、前記第１の色ゲインの補正値から第２の色ゲインの補正値を算出するための第２の補正値算出手段と、
前記記憶手段および前記第２の補正値算出手段に接続され、前記第２の色ゲインの現在値と前記第２の色ゲインの補正値とに基づいて、前記ホワイトバランス処理の実行が適切であるか否かを判断するための判断手段と、
前記判断手段に接続され、前記ホワイトバランス処理の実行が適切であると判断されると、前記ホワイトバランス処理を実行するための実行手段とを含む、画像処理装置。 - 前記判断手段は、前記第２の色ゲインの現在値と前記第２の色ゲインの補正値との差に基づいて、前記ホワイトバランス処理の実行が適切であるか否かを判断するためのホワイトバランス判断手段を含む、請求項１に記載の画像処理装置。
- 前記ホワイトバランス判断手段は、前記第２の色ゲインの現在値と前記第２の色ゲインの補正値との差が予め定められた第１の範囲に含まれると、前記ホワイトバランス処理の実行が適切であると判断するための手段を含む、請求項２に記載の画像処理装置。
- 前記ホワイトバランス処理の対象となる領域は、予め定められた領域であって、前記画像処理装置は、
前記受信手段に接続され、前記信号に含まれる色の信号と輝度信号との差である色差信号を算出するための信号算出手段と、
前記信号算出手段に接続され、前記領域における前記色差信号の平均値を算出するための平均値算出手段と、
前記平均値算出手段に接続され、前記平均値と、予め算出された値であって前記ホワイトバランスが整合しているときの色差信号との差である変化量を算出するための変化量算出手段とをさらに含み、
前記実行手段は、前記変化量に基づいて、第１の処理と第２の処理とのいずれかを選択的に実行するための選択実行手段を含み、
前記第１の処理は、前記第１の色ゲインの補正値および前記第２の色ゲインの補正値に基づいて実行されるホワイトバランス処理であって、
前記第２の処理は、前記第１の色ゲインの調整値と前記第２の色ゲインの調整値とに基づいて実行されるホワイトバランス処理である、請求項１〜３のいずれかに記載の画像処理装置。 - 前記信号算出手段は、前記信号に含まれる第１の色の信号と輝度信号との差である第１の色差信号と、前記信号に含まれる第２の色の信号と輝度信号との差である第２の色差信号とのいずれかを算出するための手段を含み、
前記平均値算出手段は、前記領域における前記第１の色差信号の平均値と、前記領域における前記第２の色差信号の平均値とのいずれかを算出するための手段を含み、
前記変化量算出手段は、前記第１の色差信号と、前記ホワイトバランスが整合しているときの第１の色差信号との差である第１の変化量と、前記第２の色差信号と、前記ホワイトバランスが整合しているときの第２の色差信号との差である第２の変化量とのいずれかを算出するための手段を含み、
前記選択実行手段は、前記第１の変化量および前記第２の変化量のいずれかが予め定められた第２の範囲から逸脱すると、前記第１の処理を実行するための手段を含む、請求項４に記載の画像処理装置。 - 前記第１の色ゲインの調整値および前記第２の色ゲインの調整値のいずれかの範囲を制限することができる、請求項４または５に記載の画像処理装置。
- 前記画像処理装置は、前記撮像素子が取得した信号の入力に応答して、前記ホワイトバランス処理を継続して実行する装置であって、前記画像処理装置は、
前記選択実行手段に接続され、前記第２の処理から前記第１の処理へ前記ホワイトバランス処理を切り換えるか否かを判断するための切換判断手段と、
前記切換判断手段に接続され、前記第２の処理から前記第１の処理に切り換えると判断すると、前記第２の処理により算出された、前記第１の色ゲインの補正値および前記第２の色ゲインの補正値を前記第１の処理に反映させるための反映手段と、
前記反映手段に接続され、前記第２の処理により算出された、前記第１の色ゲインの補正値および前記第２の色ゲインの補正値を初期化するための初期化手段とをさらに含む、請求項１〜６のいずれかに記載の画像処理装置。 - 前記画像処理装置は、
前記記憶手段に接続され、前記第１の色ゲインの現在値と前記第２の色ゲインの現在値との比率を算出するための比率算出手段と、
前記比率算出手段に接続され、前記比率と予め定められた基準の比率との差が予め定められた第２の範囲から逸脱するか否かを確認するための比率確認手段と、
前記比率確認手段に接続され、前記比率と前記基準の比率との差が前記第２の範囲から逸脱することを確認すると、前記ホワイトバランス処理を中止するための第１の中止手段とをさらに含む、請求項１〜７のいずれかに記載の画像処理装置。 - 前記画像処理装置は、
前記記憶手段に接続され、前記第１の変化量および前記第２の変化量のいずれか予め設定された第３の範囲から逸脱するか否かを確認するための変化量確認手段と、
前記変化量確認手段に接続され、前記第１の変化量および前記第２の変化量のいずれかが前記第３の範囲から逸脱することを確認すると、前記第１の処理の実行を中止するための第２の中止手段とをさらに含む、請求項１〜８のいずれかに記載の画像処理装置。 - 撮像素子が取得した信号に対して実行されるホワイトバランス処理を制御する画像処理方法であって、前記画像処理方法は、
前記信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する現在値算出ステップと、
前記第１の色ゲインの現在値および前記第２の色ゲインの現在値を記憶する記憶ステップと、
予め定められた第１の設定値に基づいて、前記第１の色ゲインの現在値から前記第１の色ゲインの補正値を算出する第１の補正値算出ステップと、
前記第１の色ゲインと前記第２の色ゲインとを関連付ける黒体放射特性に基づいて、前記第１の色ゲインの補正値から第２の色ゲインの補正値を算出する第２の補正値算出ステップと、
前記第２の色ゲインの現在値と前記第２の色ゲインの補正値とに基づいて、前記ホワイトバランス処理の実行が適切であるか否かを判断する判断ステップと、前記ホワイトバランス処理の実行が適切であると判断されると、前記ホワイトバランス処理を実行する実行ステップとを含む、画像処理方法。 - 撮像素子が取得した信号に基づいてホワイトバランス処理を制御する画像処理方法をコンピュータに実現させるプログラムであって、前記プログラムは前記コンピュータに、
前記信号から第１の色ゲインの現在値および第２の色ゲインの現在値を算出する現在値算出ステップと、
前記第１の色ゲインの現在値および前記第２の色ゲインの現在値を記憶する記憶ステップと、
予め定められた第１の設定値に基づいて、前記第１の色ゲインの現在値から前記第１の色ゲインの補正値を算出する第１の補正値算出ステップと、
前記第１の色ゲインと前記第２の色ゲインとを関連付ける黒体放射特性に基づいて、前記第１の色ゲインの補正値から第２の色ゲインの補正値を算出する第２の補正値算出ステップと、
前記第２の色ゲインの現在値と前記第２の色ゲインの補正値とに基づいて、前記ホワイトバランス処理の実行が適切であるか否かを判断する判断ステップと、前記ホワイトバランス処理の実行が適切であると判断されると、前記ホワイトバランス処理を実行する実行ステップとを実現させる、プログラム。 - 請求項１１に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002277572A JP4030398B2 (ja) | 2002-09-24 | 2002-09-24 | 画像処理装置、画像処理方法、画像処理方法を実現するためのプログラムおよびそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002277572A JP4030398B2 (ja) | 2002-09-24 | 2002-09-24 | 画像処理装置、画像処理方法、画像処理方法を実現するためのプログラムおよびそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004120096A JP2004120096A (ja) | 2004-04-15 |
| JP4030398B2 true JP4030398B2 (ja) | 2008-01-09 |
Family
ID=32273129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002277572A Expired - Fee Related JP4030398B2 (ja) | 2002-09-24 | 2002-09-24 | 画像処理装置、画像処理方法、画像処理方法を実現するためのプログラムおよびそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4030398B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108234971B (zh) * | 2018-02-09 | 2019-11-05 | 上海小蚁科技有限公司 | 白平衡参数确定方法、白平衡调整方法及装置、存储介质、终端 |
-
2002
- 2002-09-24 JP JP2002277572A patent/JP4030398B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004120096A (ja) | 2004-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7969480B2 (en) | Method of controlling auto white balance | |
| US20070085911A1 (en) | Apparatus for color correction of subject-image data, and method of controlling same | |
| US9865041B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and computer-processable non-transitory storage medium | |
| US8797427B2 (en) | Image processing apparatus | |
| US7479991B2 (en) | Digital camera, and signal processing method and signal processing apparatus for the same | |
| US20020025069A1 (en) | Signal processing apparatus and method for reducing generation of false color by adaptive luminance interpolation | |
| JP2007259344A (ja) | 撮像装置および画像処理方法 | |
| JPH1141619A (ja) | 色信号処理回路およびその処理方法、並びにこれらを用いたカメラ | |
| JP4235903B2 (ja) | 撮像装置 | |
| JP2006229925A (ja) | 動的画像彩度処理装置 | |
| EP1763257A2 (en) | Chrominance signal processing apparatus, image-sensing apparatus and control methods for same | |
| KR19990037476A (ko) | 색신호 처리 회로와 그 방법 및 카메라 장치 | |
| JP4030398B2 (ja) | 画像処理装置、画像処理方法、画像処理方法を実現するためのプログラムおよびそのプログラムを記録した記録媒体 | |
| JPH11341502A (ja) | 固体撮像素子の信号処理回路およびカメラシステム | |
| JPH09307913A (ja) | ホワイトバランス制御装置 | |
| JP3733641B2 (ja) | 色信号処理回路 | |
| JP2009260542A (ja) | 色補正装置及び色補正方法 | |
| JP4057392B2 (ja) | 撮像装置、ホワイトバランス処理方法、ホワイトバランス制御をコンピュータに実行させるためのプログラム、ホワイトバランス制御をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体 | |
| JP2006237748A (ja) | ホワイトバランス補正装置及び方法、及び撮像装置 | |
| WO2004114678A1 (ja) | 画像処理システム及び画像処理方法 | |
| JP2003324754A (ja) | 色信号処理方法、色信号処理回路、撮像装置、プログラム、記憶媒体 | |
| JPH11127442A (ja) | カメラ信号処理装置、カメラ信号処理方法及びカメラ信号処理装置の制御プログラムを記録した媒体 | |
| JP2611850B2 (ja) | カラー撮像装置 | |
| JP3545249B2 (ja) | 白バランス調整回路およびそれを用いたディジタルカメラ | |
| JP7383393B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050525 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070928 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071009 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071016 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131026 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |