JP3892648B2 - 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 - Google Patents
画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 Download PDFInfo
- Publication number
- JP3892648B2 JP3892648B2 JP2000200270A JP2000200270A JP3892648B2 JP 3892648 B2 JP3892648 B2 JP 3892648B2 JP 2000200270 A JP2000200270 A JP 2000200270A JP 2000200270 A JP2000200270 A JP 2000200270A JP 3892648 B2 JP3892648 B2 JP 3892648B2
- Authority
- JP
- Japan
- Prior art keywords
- white
- color
- detection parameter
- white detection
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Description
【０００１】
【発明の属する技術分野】
この発明は、画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体に関し、詳細には、デジタルビデオカメラ、デジタルスチルカメラ等に使用される撮像装置に適用される画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤを撮像素子として用いた画像入力装置のホワイトバランス制御装置は、光源の色温度によるＣＣＤの出力信号の色調変化を人間の目に違和感なく補正する技術であり、ＣＣＤを用いたデジタルカメラ等において必須の機能である。
【０００３】
従来、ホワイトバランス制御装置は大別して２つの方式が用いられている。一方の方式は、撮像系とは別に外部色温度センサを設け、その出力信号に応じて撮像系の色調を補正する外部測定方式である。他方の方式は撮像系によって取り込まれた画像の色情報を利用して色調の補正量を求めるＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式である。
【０００４】
さらに後者の方式は、経験則に従って撮像画像の全色差の総和を「０」に補正する全画面平均方式と、画像中から白の領域を抽出して、その部分の色差を「０」に補正する白検出方式に大別できる。外部測定方式は専用のセンサーが必要となり、全画面平均方式は誤差が大きいことから、現在、白検出方式が主流となりつつある。
【０００５】
以下、従来の白検出方式について説明する。例えば、特開平２−２６１９３号公報の「ホワイトバランス装置」では、色情報のＹ，Ｃｒ，Ｃｂの値を用いてＣｒ／Ｙ，Ｃｂ／Ｙの値を算出し、算出したＣｒ／Ｙ，Ｃｂ／Ｙの値がＣｂ／Ｙ−Ｃｒ／Ｙ座標上の黒体輻射の特性曲線に沿った一定の範囲に含まれている場合に、その画素を白と判定する方式が提案されている。ここで、Ｙは画素の輝度値Ｃｒは画素の色差Ｒ−Ｙ値、Ｃｂは画素の色差Ｂ−Ｙ値を示している。
【０００６】
画像入力装置のＣＣＤから得られるＹ，Ｃｒ，Ｃｂ値から、Ｃｒ／Ｙ，Ｃｂ／Ｙの値を求めると、Ｃｂ／Ｙ−Ｃｒ／Ｙ座標上で、同じ色の画素に対する値は、ほぼ一義的に定まる。また、ホワイトバランス制御にかかわる光源の色温度による物体の黒体輻射に沿った特性は、Ｃｂ／Ｙ−Ｃｒ／Ｙ座標上では図８に示すような曲線として現わすことができる。
【０００７】
したがって、この曲線に近いＣｒ／Ｙ，Ｃｂ／Ｙ値を示す領域は白である可能性が高い。上記特開平２−２６１９３号公報記載の白検出方式では、撮像画像中で図８に示す斜線部分のように、黒体輻射特性曲線を４つの直線で囲んだ領域に含まれるＣｒ／Ｙ，Ｃｂ／Ｙ値を示す領域を白領域として検出して、この領域の色差が「０」となるように色調補正することによってホワイトバランス調整を行っている。
【０００８】
また、撮像画像上に白領域が存在しない場合は、白検出条件を緩和して画像全体の色情報を用いて補正量を求めるが、この際、補正量に制限を加えて有彩色被写体に対して過大な補正がかからないように制限を加えている。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記特開平２−２６１９３号公報記載の白検出方式では、白の被写体に対しては、画像データの輝度によらず一定の値となるＣｒ／Ｙ，Ｃｂ／Ｙを用いているため、輝度が低く、色が濃い有彩色被写体を誤って白と判定することによって生じる誤差が少なくなる利点があるものの、白い被写体と肌色などの黒体輻射の特性に近い色の有彩色被写体が混在した場合には白以外の領域を白と判定してしまい、白検出の誤差を生じるという問題がある。
【００１０】
本発明は、上記課題に鑑みてなされたものであり、白の被写体と肌色などの黒体輻射の特性に近い色の有彩色被写体が混在した場合でも、正確なホワイトバラ調整を行うことが可能な画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、請求項１にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行う画像入力装置において、前記カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うホワイトバランス調整手段と、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの輝度検出範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、前記白検出手段に設定する白検出パラメータ設定手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、前記利得調整手段の少なくとも２色のゲイン値を算出し、前記利得調整手段に設定してフィードバック制御するホワイトバランス制御手段と、を備え、前記白検出パラメータ設定手段は、前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うものである。
【００１２】
上記発明によれば、ホワイトバランス調整手段はカラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、白検出手段は前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、白検出パラメータ設定手段は各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、白検出手段に設定し、ホワイトバランス制御手段は、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、利得調整手段の少なくとも２色のゲイン値を算出し、利得調整手段に設定してフィードバック制御を行い、前記白検出パラメータ設定手段では、さらに前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行う。
【００１５】
また、請求項２にかかる発明は、請求項１にかかる発明において、前記白検出パラメータ設定手段は、前記白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、前記各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットするものである。
【００１６】
上記発明によれば、白検出パラメータ設定手段は、白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期化時の白検出パラメータにリセットする。
【００１７】
また、請求項３にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うホワイトバランス調整ステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの輝度検出範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出ステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定する白検出パラメータ設定ステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うホワイトバランス制御ステップと、を含み、前記白検出パラメータ設定ステップは、前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うものである。
【００１８】
上記発明によれば、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、さらに白検出パラメータを算出して設定する際、前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行う。
【００２１】
また、請求項４にかかる発明は、請求項３にかかる発明において、前記白検出パラメータ設定ステップは、前記白検出パラメータの輝度検出範囲の低輝度側にシフトさせていった場合に、前記各色毎の積算値が「０」でなくなった場合または前記白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットするものである。
【００２２】
上記発明によれば、白検出パラメータ設定ステップは、白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期化時の白検出パラメータにリセットする。
【００２３】
また、請求項５にかかる発明は、請求項３又は請求項４にかかる発明の各工程を実行するためのプログラムを格納したものである。上記発明によれば、コンピュータにより記録媒体に格納されたプログラムを実行することにより、請求項３又は請求項４にかかる発明の各工程を実現する。
【００２４】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる画像入力装置およびホワイトバランス調整方法を適用したデジタルカメラの好適な実施の形態を詳細に説明する。
【００２５】
図１は本実施の形態にかかるデジタルカメラのブロック図である。図１に示すデジタルカメラは、光学メカ１、ＣＣＤ・ＣＤＳ回路２、Ａ／Ｄ変換器３、信号処理回路４、画像出力装置５、コントローラ６を備えている。
【００２６】
光学メカ１は、レンズ・絞り・シャッター等により構成され、被写体の結像や焦点・露光量の調整を行う。ＣＣＤ・ＣＤＳ回路２は、光学メカ１により適正な露光条件でカラーＣＣＤ面上に結像された被写体像をＣＣＤおよびＣＤＳにおいて電気信号（アナログ信号）に変換する。Ａ／Ｄ変換器３は、ＣＤＤ・ＣＤＳ回路２から入力されるアナログ信号をデジタルデータに変換する。信号処理回路４は、Ａ／Ｄ変換器３で変換されたデジタルデータに対して色補間処理を行いカラー画像データを生成し、コントローラ６により設定されるパラメータに従い、ホワイトバランス調整ならびに白検出用の色積算値の演算を行い結果を出力する。
【００２７】
画像出力装置５は、ホワイトバランス調整された画像データの表示または記憶媒体への書き込み等を行う。コントローラ６は、ＲＯＭに格納された制御プログラムを実行するマイクロプロセッサと制御プログラムが格納されたＲＯＭ等により構成される。コントローラ６は、信号処理回路４で演算された色積算値に基づいて、ホワイトバランス調整用のＲゲイン、Ｂゲインの設定値、および次の露光で信号処理回路４内の白検出処理に用いられる白検出パラメータの値を算出して、信号処理回路４に対してフィードバック制御を行う。
【００２８】
上記信号処理回路４は、マトリクス回路１１、ホワイトバランス調整回路１２、色差演算回路１３、および白検出回路１４を備えている。マトリクス回路１１は、ＣＣＤ・ＣＤＳ回路２のＲ，Ｇ，Ｂ、Ｃ，Ｍ，Ｙ等のカラーフィルタを通った画像データに対して色補間演算処理を施して、Ｒ，Ｇ，Ｂカラー画像データを生成してホワイトバランス調整回路１２に出力する。
【００２９】
ホワイトバランス調整回路１２は、マトリクス回路１１から入力されるＲ，Ｇ，Ｂカラー画像データのうち、Ｒ，Ｂデータに対してゲイン調整処理を行ってホワイトバランス調整を行い、ホワイトバランス調整後のＲ，Ｇ，Ｂデータを色差演算回路１３および画像出力装置５に出力する。この際の調整係数、すなわち、Ｒゲイン、Ｂゲインの値はコントローラ６によって設定される。
【００３０】
色差演算回路１３は、ホワイトバランス調整されたＲ，Ｇ，Ｂデータを輝度データＹと色差データＲ−Ｇ，Ｂ−Ｇに変換して白検出回路１４に出力する。ここで、輝度データＹは下式（１）により変換を行う。
【００３１】
Ｙ ＝ ０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ・・・（１）
【００３２】
白検出回路１４は、コントローラ６によって設定される白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）の６つの値にしたがって、下式（２）〜（４）の３条件を全て満たす画素を画像全体から検出し、検出した全画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを夫々算出してコントローラ６に出力する。
【００３３】
Ｙ＿ｍｉｎ ＜＝ Ｙ ＜＝ Ｙ＿ｍａｘ ・・・（２）
Ｒ−Ｇ＿ｍｉｎ ＜＝ Ｒ−Ｇ ＜＝ Ｒ−Ｇ＿ｍａｘ・・・（３）
Ｂ−Ｇ＿ｍｉｎ ＜＝ Ｂ−Ｇ ＜＝ Ｂ−Ｇ＿ｍａｘ・・・（４）
【００３４】
図２は白検出回路１４の白検出範囲を説明するための図である。同図は、Ｒ−Ｇ，Ｂ−Ｇの色差平面と輝度Ｙの３次元座標を示しており、白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）で指定される白検出範囲Ｗrangeは角柱の領域となる。白検出回路１４は、画像データの中でこの白検出範囲Ｗrange内（角柱領域内）に含まれる値を有する画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを夫々演算してコントローラ６に出力する。
【００３５】
上記構成のデジタルカメラにおいて、コントローラ６は白検出パラメータ設定手段およびホワイトバランス制御手段として機能し、ホワイトバランス調整回路１２はホワイトバランス調整手段として機能し、白検出回路１４は白検出手段として機能する。
【００３６】
つぎに、上記コントローラ６の処理を詳細に説明する。コントローラ６は、上述したように、ホワイトバランス調整回路１２のＲゲイン、Ｂゲインの値、および白検出回路１４の白検出パラメータを算出し、ホワイトバランス調整回路１２のＲゲイン、Ｂゲインの値、および白検出回路１４の白検出パラメータを設定する。
【００３７】
まず、Ｒゲイン，Ｂゲインの算出方法について説明する。コントローラ６は、ホワイトバランス調整回路１２のＲゲイン，Ｂゲインを、白検出回路１４から入力される色積算値データΣＲ，ΣＧ，ΣＢに基づいて、下式（５）、（６）に従って算出する。
【００３８】
Ｒゲイン＝ΣＧ／ΣＲ・・・（５）
Ｂゲイン＝ΣＧ／ΣＢ・・・（６）
【００３９】
コントローラ６は、この演算結果（Ｒゲイン、Ｂゲイン）を次回の露光の際に信号処理回路４のホワイトバランス調整回路１２に対してフィードバックすることにより、ΣＲ＝ΣＧ＝ΣＢ、すなわち白検出回路１４で検出された領域の画像データを白とするホワイトバランス調整を行う。
【００４０】
次に、白検出パラメータの決定方法について説明する。まず、カメラを起動する際の白検出パラメータの初期設定を説明する。図３は白検出範囲Ｗrangeの色差平面（Ｒ−Ｇ、Ｂ−Ｇ）を示している。図３に示すように、色差に関する白検出パラメータＲ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）は、ホワイトバランス制御を行う色温度の範囲で黒体輻射に従って白の被写体の色が変化する曲線の軌跡を全て含むような領域で可能な限り狭い領域を設定する。
【００４１】
図４は白検出範囲Ｗrangeの輝度方向の検出領域（輝度検出範囲）を示した図である。図４に示すように、輝度に関する白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値）は、灰色から黒の低輝度の無彩色領域を含まない白に相当する領域で可能な限り狭い領域に設定する。
【００４２】
白検出パラメータをシフトさせる場合について説明する。図５は白検出パラメータのシフトを説明するための図であり、同図は、白検出回路１４における白検出範囲を輝度方向から見た図である。白検出パラメータの初期設定において、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合は、図５に示すように輝度検出範囲を低輝度方向に所定の微少な幅でシフトさせる。この際、画像データにおいて輝度が小さくなると白被写体の色温度変化に対する色ずれ色差も小さくなるため、色差方向の白検出範囲も同時に狭めるものとする。同図では、露光１、露光２、露光３、露光４、露光５で順次、輝度検出範囲を低輝度方向に微少な幅でシフトさせ、かつ色差方向の白検出範囲も同時に狭めた場合を示している。
【００４３】
コントローラ６は、白検出パラメータの輝度検出範囲を低輝度方向にシフトさせ、かつ白検出パラメータの色差方向の検出範囲を狭めながら、信号処理回路４の白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが出力されるまで露光を繰り返し、色積算値ΣＲ，ΣＧ，ΣＢが「０」以外の値、すなわち白検出範囲にいくつかの画素が含まれた際に、白検出パラメータを再び高輝度領域の初期設定にリセットするとともに、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢに基づいてＲゲインとＢゲインの演算処理を行い、ホワイトバランス調整回路１２に対するＲゲイン、Ｂゲインを再設定する。
【００４４】
また、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが出力されないまま白検出パラメータの輝度検出範囲が下限に達した際にも、白検出パラメータを初期設定にリセットし、再び、白検出回路１４に高輝度側より白検出動作を再開させる。以上の動作を繰り返し行うことで、コントローラ６におけるＲゲイン、Ｂゲインの演算は、常に画面内で最も輝度の高い領域に対して行われるこになる。
【００４５】
図６は、信号処理回路４の白検出回路１４における白検出範囲を輝度方向から見た図であり、白被写体と肌色被写体が混在しているシーンの一例を示している。本発明においては、高輝度側から順次、白を検索していくため、露光２において色積算値が出力された時点で、最高輝度領域に白検出範囲がリセットされるため、肌色領域の色積算値が出力されることがなく、従来技術で生じていたような肌色に対する誤差を防止できる。
【００４６】
つぎに、図１のデジタルカメラのホワイトバランス調整方法を図７のフローチャートに従って説明する。図７は、図１のデジタルカメラのホワイトバランス調整方法を説明するためのフローチャートを示している。
【００４７】
図７において、まず、カメラの電源がＯＮされて起動されると、コントローラ６は、信号処理回路４のホワイトバランス調整回路１２のＲゲイン、Ｂゲインを太陽光などに対して適正値となる基準の値に初期化する（ステップＳ１）。ついで、コントローラ６は、信号処理回路４の白検出回路１４の白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を、上述したように高輝度領域に初期化する（ステップＳ２）。この後、露光制御を行って、光学メカ１、ＣＣＤ・ＣＤＳ回路２等を介して画像データを取り込み、信号処理回路４の白検出回路１４は取り込んだ画像データに対して白検出処理を行って色積算値ΣＲ，ΣＧ，ΣＢを算出し、コントローラ６に出力する（ステップＳ３）。
【００４８】
コントローラ６は、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが「０」であるか否かを判定し（ステップＳ４）、色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合には、ステップＳ５に移行する一方、色積算値ΣＲ，ΣＧ，ΣＢが「０」でない場合には、ステップＳ８に移行する。
【００４９】
ステップＳ５では、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合には、上述したように、白検出範囲の輝度検出範囲を低輝度方向にシフトさせ、色差検出範囲を狭めた白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を算出する。そして、コントローラ６は、演算した白検出パラメータのうち、輝度検出範囲Ｙ＿ｍｉｎ（Ｙ下限値）、Ｙ＿ｍａｘ（Ｙ上限値）が下限に達したか否かを判定し（ステップＳ６）、輝度検出範囲が下限に達していると判断した場合には、ステップＳ２に移行して、白検出パラメータを初期化してリセットを行う。他方、ステップＳ６で白検出パラメータの輝度検出範囲Ｙ＿ｍｉｎ（Ｙ下限値）、Ｙ＿ｍａｘ（Ｙ上限値）が下限に達していないと判断した場合には、ステップＳ７に移行して、上述のステップＳ５で演算した白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を信号処理回路４の白検出回路１４に設定して、ステップＳ３に戻り、次の露光制御が行われる。
【００５０】
他方、ステップＳ８では、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが「０」でない場合には、色積算値ΣＲ，ΣＧ，ΣＢに基づいて信号処理回路４のホワイトバランス調整回路１２のＲゲインとＢゲインの値を演算する。この後、コントローラ６は、信号処理回路４のホワイトバランス調整回路１２に対して演算したＲゲイン、Ｂゲインの値を設定した後（ステップＳ９）、ステップＳ２に戻り、白検出パラメータを初期設定にリセットし、同じ処理を繰り返し実行する。このように、コントローラ６は、上記の処理を繰り返してフィードバック制御を行い、ホワイトバランス調整を行う。
【００５１】
以上説明したように、本実施の形態においては、ホワイトバランス調整回路１２はカラー画像データのＲ，Ｂの画像データのゲインを調整してホワイトバランス調整を行い、白検出回路１４はホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の色積算値ΣＲ，ΣＧ，ΣＢを出力し、コントローラ６は各色毎の色積算値ΣＲ，ΣＧ，ΣＢが「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して白検出回路１４に設定するとともに、各色毎の色積算値ΣＲ，ΣＧ，ΣＢが「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータが白検出回路１４に設定された場合に出力される各色毎の色積算値ΣＲ，ΣＧ，ΣＢに基づいて、ホワイトバランス調整回路１２のＲ，Ｂのゲインを算出してホワイトバランス調整回路１２に設定してフィードバック制御を行うこととしたので、ホワイトバランス調整のＲゲイン、Ｂゲインを画面内で高輝度の領域に限定して白検出した色積算値を用いて決定することができ、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。付言すると、画面内で無彩色の領域のうち、白である可能性の最も高い、高輝度の領域を自動検索して、白検出処理した結果の色差積算値を用いているため、肌色などの誤差を生じ易い有彩色被写体の影響を防止できる。
【００５２】
また、コントローラ６は、制御を開始する初期設定時には、白検出回路１４に対する白検出パラメータの輝度検出範囲を最も高輝度に相当する狭い領域に設定しておき、白検出回路１４の色積算値ΣＲ，ΣＧ，ΣＢが「０」であった場合は、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、白検出回路１４に画面内で最も高輝度の画素を検出させるべく、白検出回路１４に対して白検出パラメータのフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値に基づいてホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域がある場合には適正なホワイトバランス調整が可能となる。
【００５３】
また、コントローラ６は、白検出回路１４の白検出パラメータを低輝度側にシフトさせていき、白検出回路１４の色積算値ΣＲ，ΣＧ，ΣＢが「０」でなくなった場合と白検出パラメータの輝度検出範囲が設定可能な下限値に達した場合に、初期設定の白検出パラメータ（輝度検出範囲を最も高輝度に相当する狭い領域とした）にリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出パラメータの高輝度領域へのリセット動作と低輝度方向への検索処理を続行し、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域における色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００５４】
なお、上述の実施の形態の画像入力装置のホワイトバランス調整方法は、予め容易されたプログラムをパーソナルコンピュータや、ワークステーション等のコンピュータで実行することにしても良い。このプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータが読取可能な記録媒体から読み出されることによって実行される。また、このプログラムは、上記記録媒体を介して、また伝送媒体として、インターネット等のネットワークを介して配布することができる。
【００５５】
また、本発明は上記した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変更可能である。例えば、ホワイトバランス調整回路１２で調整するゲインをＲ、Ｂとしているが、本発明はこれに限られるものではなく、Ｒ，Ｇ，Ｂのうち少なくとも２以上の組み合わせのゲインを調整することにしても良い。
【００５６】
また、本発明の画像入力装置およびホワイトバランス調整方法は、ビデオカメラ、デジタルカメラ等に使用される撮像装置に広く適用可能である。
【００５７】
【発明の効果】
以上説明したように、請求項１にかかる画像入力装置によれば、ホワイトバランス調整手段はカラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、白検出手段は前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの輝度検出範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、白検出パラメータ設定手段は各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、白検出手段に設定し、ホワイトバランス制御手段は、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、利得調整手段の少なくとも２色のゲイン値を算出し、利得調整手段に設定してフィードバック制御を行い、前記白検出パラメータ設定手段では、さらに前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値を用いたホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域があればホワイトバランス調整を可能とすると共に、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、肌色等の有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【００５９】
また、請求項２にかかる画像入力装置によれば、請求項１にかかる画像入力装置において、白検出パラメータ設定手段は、白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出範囲の高輝度領域へのリセット動作と低輝度方向への検索処理を続行するため、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域に対する色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６０】
また、請求項３にかかるホワイトバランス調整方法によれば、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの輝度検出範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色の画像データのゲイン値を算出し設定してフィードバック制御を行い、さらに白検出パラメータを算出して設定する際、前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値を用いたホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域があればホワイトバランス調整を可能とすると共に、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、肌色等の有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６２】
また、請求項４にかかるホワイトバランス調整方法によれば、初期設定時に白検出パラメータの輝度検出範囲のパラメータを最も高輝度に相当する狭い領域に設定し、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、各色毎の積算値出力が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせ、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出範囲の高輝度領域へのリセット動作と低輝度方向への検索処理を実行し続けるため、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域に対する色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６３】
また、請求項５にかかる記録媒体によれば、コンピュータにより記録媒体に格納されたプログラムを実行することにより、請求項３又は請求項４にかかる発明の各工程を実現することとしたので、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値を用いたホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域があればホワイトバランス調整を可能とすると共に、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、肌色等の有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【図面の簡単な説明】
【図１】本実施の形態にかかるデジタルカメラのブロック図である。
【図２】図１の白検出回路の白検出範囲を説明するための図である。
【図３】白検出範囲Ｗrangeの色差平面（Ｒ−Ｇ、Ｂ−Ｇ）を示す図である。
【図４】白検出範囲Ｗrangeの輝度方向の検出領域（輝度検出範囲）を示した図である。
【図５】白検出パラメータのシフトを説明するための図であり、白検出回路における白検出範囲Ｗrangeを輝度方向から見た図である。
【図６】肌色を含んだ被写体の場合の白検出パラメータのシフトを説明するための図であり、白検出回路における白検出範囲Ｗrangeを輝度方向から見た図である。
【図７】図１のデジタルカメラのホワイトバランス調整方法を説明するためのフローチャートである。
【図８】従来の白検出方式を説明するための図である。
【符号の説明】
１ 光学メカ
２ ＣＣＤ・ＣＤＳ回路
３ Ａ／Ｄ変換器
４ 信号処理回路
５ 画像出力装置
６ コントローラ
１１ マトリクス回路
１２ ホワイトバランス調整回路
１３ 色差演算回路
１４ 白検出回路
【発明の属する技術分野】
この発明は、画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体に関し、詳細には、デジタルビデオカメラ、デジタルスチルカメラ等に使用される撮像装置に適用される画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤを撮像素子として用いた画像入力装置のホワイトバランス制御装置は、光源の色温度によるＣＣＤの出力信号の色調変化を人間の目に違和感なく補正する技術であり、ＣＣＤを用いたデジタルカメラ等において必須の機能である。
【０００３】
従来、ホワイトバランス制御装置は大別して２つの方式が用いられている。一方の方式は、撮像系とは別に外部色温度センサを設け、その出力信号に応じて撮像系の色調を補正する外部測定方式である。他方の方式は撮像系によって取り込まれた画像の色情報を利用して色調の補正量を求めるＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式である。
【０００４】
さらに後者の方式は、経験則に従って撮像画像の全色差の総和を「０」に補正する全画面平均方式と、画像中から白の領域を抽出して、その部分の色差を「０」に補正する白検出方式に大別できる。外部測定方式は専用のセンサーが必要となり、全画面平均方式は誤差が大きいことから、現在、白検出方式が主流となりつつある。
【０００５】
以下、従来の白検出方式について説明する。例えば、特開平２−２６１９３号公報の「ホワイトバランス装置」では、色情報のＹ，Ｃｒ，Ｃｂの値を用いてＣｒ／Ｙ，Ｃｂ／Ｙの値を算出し、算出したＣｒ／Ｙ，Ｃｂ／Ｙの値がＣｂ／Ｙ−Ｃｒ／Ｙ座標上の黒体輻射の特性曲線に沿った一定の範囲に含まれている場合に、その画素を白と判定する方式が提案されている。ここで、Ｙは画素の輝度値Ｃｒは画素の色差Ｒ−Ｙ値、Ｃｂは画素の色差Ｂ−Ｙ値を示している。
【０００６】
画像入力装置のＣＣＤから得られるＹ，Ｃｒ，Ｃｂ値から、Ｃｒ／Ｙ，Ｃｂ／Ｙの値を求めると、Ｃｂ／Ｙ−Ｃｒ／Ｙ座標上で、同じ色の画素に対する値は、ほぼ一義的に定まる。また、ホワイトバランス制御にかかわる光源の色温度による物体の黒体輻射に沿った特性は、Ｃｂ／Ｙ−Ｃｒ／Ｙ座標上では図８に示すような曲線として現わすことができる。
【０００７】
したがって、この曲線に近いＣｒ／Ｙ，Ｃｂ／Ｙ値を示す領域は白である可能性が高い。上記特開平２−２６１９３号公報記載の白検出方式では、撮像画像中で図８に示す斜線部分のように、黒体輻射特性曲線を４つの直線で囲んだ領域に含まれるＣｒ／Ｙ，Ｃｂ／Ｙ値を示す領域を白領域として検出して、この領域の色差が「０」となるように色調補正することによってホワイトバランス調整を行っている。
【０００８】
また、撮像画像上に白領域が存在しない場合は、白検出条件を緩和して画像全体の色情報を用いて補正量を求めるが、この際、補正量に制限を加えて有彩色被写体に対して過大な補正がかからないように制限を加えている。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記特開平２−２６１９３号公報記載の白検出方式では、白の被写体に対しては、画像データの輝度によらず一定の値となるＣｒ／Ｙ，Ｃｂ／Ｙを用いているため、輝度が低く、色が濃い有彩色被写体を誤って白と判定することによって生じる誤差が少なくなる利点があるものの、白い被写体と肌色などの黒体輻射の特性に近い色の有彩色被写体が混在した場合には白以外の領域を白と判定してしまい、白検出の誤差を生じるという問題がある。
【００１０】
本発明は、上記課題に鑑みてなされたものであり、白の被写体と肌色などの黒体輻射の特性に近い色の有彩色被写体が混在した場合でも、正確なホワイトバラ調整を行うことが可能な画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、請求項１にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行う画像入力装置において、前記カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うホワイトバランス調整手段と、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの輝度検出範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、前記白検出手段に設定する白検出パラメータ設定手段と、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、前記利得調整手段の少なくとも２色のゲイン値を算出し、前記利得調整手段に設定してフィードバック制御するホワイトバランス制御手段と、を備え、前記白検出パラメータ設定手段は、前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うものである。
【００１２】
上記発明によれば、ホワイトバランス調整手段はカラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、白検出手段は前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、白検出パラメータ設定手段は各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、白検出手段に設定し、ホワイトバランス制御手段は、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、利得調整手段の少なくとも２色のゲイン値を算出し、利得調整手段に設定してフィードバック制御を行い、前記白検出パラメータ設定手段では、さらに前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行う。
【００１５】
また、請求項２にかかる発明は、請求項１にかかる発明において、前記白検出パラメータ設定手段は、前記白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、前記各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットするものである。
【００１６】
上記発明によれば、白検出パラメータ設定手段は、白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期化時の白検出パラメータにリセットする。
【００１７】
また、請求項３にかかる発明は、入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うホワイトバランス調整ステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの輝度検出範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出ステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定する白検出パラメータ設定ステップと、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うホワイトバランス制御ステップと、を含み、前記白検出パラメータ設定ステップは、前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うものである。
【００１８】
上記発明によれば、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、さらに白検出パラメータを算出して設定する際、前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行う。
【００２１】
また、請求項４にかかる発明は、請求項３にかかる発明において、前記白検出パラメータ設定ステップは、前記白検出パラメータの輝度検出範囲の低輝度側にシフトさせていった場合に、前記各色毎の積算値が「０」でなくなった場合または前記白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットするものである。
【００２２】
上記発明によれば、白検出パラメータ設定ステップは、白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期化時の白検出パラメータにリセットする。
【００２３】
また、請求項５にかかる発明は、請求項３又は請求項４にかかる発明の各工程を実行するためのプログラムを格納したものである。上記発明によれば、コンピュータにより記録媒体に格納されたプログラムを実行することにより、請求項３又は請求項４にかかる発明の各工程を実現する。
【００２４】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる画像入力装置およびホワイトバランス調整方法を適用したデジタルカメラの好適な実施の形態を詳細に説明する。
【００２５】
図１は本実施の形態にかかるデジタルカメラのブロック図である。図１に示すデジタルカメラは、光学メカ１、ＣＣＤ・ＣＤＳ回路２、Ａ／Ｄ変換器３、信号処理回路４、画像出力装置５、コントローラ６を備えている。
【００２６】
光学メカ１は、レンズ・絞り・シャッター等により構成され、被写体の結像や焦点・露光量の調整を行う。ＣＣＤ・ＣＤＳ回路２は、光学メカ１により適正な露光条件でカラーＣＣＤ面上に結像された被写体像をＣＣＤおよびＣＤＳにおいて電気信号（アナログ信号）に変換する。Ａ／Ｄ変換器３は、ＣＤＤ・ＣＤＳ回路２から入力されるアナログ信号をデジタルデータに変換する。信号処理回路４は、Ａ／Ｄ変換器３で変換されたデジタルデータに対して色補間処理を行いカラー画像データを生成し、コントローラ６により設定されるパラメータに従い、ホワイトバランス調整ならびに白検出用の色積算値の演算を行い結果を出力する。
【００２７】
画像出力装置５は、ホワイトバランス調整された画像データの表示または記憶媒体への書き込み等を行う。コントローラ６は、ＲＯＭに格納された制御プログラムを実行するマイクロプロセッサと制御プログラムが格納されたＲＯＭ等により構成される。コントローラ６は、信号処理回路４で演算された色積算値に基づいて、ホワイトバランス調整用のＲゲイン、Ｂゲインの設定値、および次の露光で信号処理回路４内の白検出処理に用いられる白検出パラメータの値を算出して、信号処理回路４に対してフィードバック制御を行う。
【００２８】
上記信号処理回路４は、マトリクス回路１１、ホワイトバランス調整回路１２、色差演算回路１３、および白検出回路１４を備えている。マトリクス回路１１は、ＣＣＤ・ＣＤＳ回路２のＲ，Ｇ，Ｂ、Ｃ，Ｍ，Ｙ等のカラーフィルタを通った画像データに対して色補間演算処理を施して、Ｒ，Ｇ，Ｂカラー画像データを生成してホワイトバランス調整回路１２に出力する。
【００２９】
ホワイトバランス調整回路１２は、マトリクス回路１１から入力されるＲ，Ｇ，Ｂカラー画像データのうち、Ｒ，Ｂデータに対してゲイン調整処理を行ってホワイトバランス調整を行い、ホワイトバランス調整後のＲ，Ｇ，Ｂデータを色差演算回路１３および画像出力装置５に出力する。この際の調整係数、すなわち、Ｒゲイン、Ｂゲインの値はコントローラ６によって設定される。
【００３０】
色差演算回路１３は、ホワイトバランス調整されたＲ，Ｇ，Ｂデータを輝度データＹと色差データＲ−Ｇ，Ｂ−Ｇに変換して白検出回路１４に出力する。ここで、輝度データＹは下式（１）により変換を行う。
【００３１】
Ｙ ＝ ０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ・・・（１）
【００３２】
白検出回路１４は、コントローラ６によって設定される白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）の６つの値にしたがって、下式（２）〜（４）の３条件を全て満たす画素を画像全体から検出し、検出した全画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを夫々算出してコントローラ６に出力する。
【００３３】
Ｙ＿ｍｉｎ ＜＝ Ｙ ＜＝ Ｙ＿ｍａｘ ・・・（２）
Ｒ−Ｇ＿ｍｉｎ ＜＝ Ｒ−Ｇ ＜＝ Ｒ−Ｇ＿ｍａｘ・・・（３）
Ｂ−Ｇ＿ｍｉｎ ＜＝ Ｂ−Ｇ ＜＝ Ｂ−Ｇ＿ｍａｘ・・・（４）
【００３４】
図２は白検出回路１４の白検出範囲を説明するための図である。同図は、Ｒ−Ｇ，Ｂ−Ｇの色差平面と輝度Ｙの３次元座標を示しており、白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）で指定される白検出範囲Ｗrangeは角柱の領域となる。白検出回路１４は、画像データの中でこの白検出範囲Ｗrange内（角柱領域内）に含まれる値を有する画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを夫々演算してコントローラ６に出力する。
【００３５】
上記構成のデジタルカメラにおいて、コントローラ６は白検出パラメータ設定手段およびホワイトバランス制御手段として機能し、ホワイトバランス調整回路１２はホワイトバランス調整手段として機能し、白検出回路１４は白検出手段として機能する。
【００３６】
つぎに、上記コントローラ６の処理を詳細に説明する。コントローラ６は、上述したように、ホワイトバランス調整回路１２のＲゲイン、Ｂゲインの値、および白検出回路１４の白検出パラメータを算出し、ホワイトバランス調整回路１２のＲゲイン、Ｂゲインの値、および白検出回路１４の白検出パラメータを設定する。
【００３７】
まず、Ｒゲイン，Ｂゲインの算出方法について説明する。コントローラ６は、ホワイトバランス調整回路１２のＲゲイン，Ｂゲインを、白検出回路１４から入力される色積算値データΣＲ，ΣＧ，ΣＢに基づいて、下式（５）、（６）に従って算出する。
【００３８】
Ｒゲイン＝ΣＧ／ΣＲ・・・（５）
Ｂゲイン＝ΣＧ／ΣＢ・・・（６）
【００３９】
コントローラ６は、この演算結果（Ｒゲイン、Ｂゲイン）を次回の露光の際に信号処理回路４のホワイトバランス調整回路１２に対してフィードバックすることにより、ΣＲ＝ΣＧ＝ΣＢ、すなわち白検出回路１４で検出された領域の画像データを白とするホワイトバランス調整を行う。
【００４０】
次に、白検出パラメータの決定方法について説明する。まず、カメラを起動する際の白検出パラメータの初期設定を説明する。図３は白検出範囲Ｗrangeの色差平面（Ｒ−Ｇ、Ｂ−Ｇ）を示している。図３に示すように、色差に関する白検出パラメータＲ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）は、ホワイトバランス制御を行う色温度の範囲で黒体輻射に従って白の被写体の色が変化する曲線の軌跡を全て含むような領域で可能な限り狭い領域を設定する。
【００４１】
図４は白検出範囲Ｗrangeの輝度方向の検出領域（輝度検出範囲）を示した図である。図４に示すように、輝度に関する白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値）は、灰色から黒の低輝度の無彩色領域を含まない白に相当する領域で可能な限り狭い領域に設定する。
【００４２】
白検出パラメータをシフトさせる場合について説明する。図５は白検出パラメータのシフトを説明するための図であり、同図は、白検出回路１４における白検出範囲を輝度方向から見た図である。白検出パラメータの初期設定において、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合は、図５に示すように輝度検出範囲を低輝度方向に所定の微少な幅でシフトさせる。この際、画像データにおいて輝度が小さくなると白被写体の色温度変化に対する色ずれ色差も小さくなるため、色差方向の白検出範囲も同時に狭めるものとする。同図では、露光１、露光２、露光３、露光４、露光５で順次、輝度検出範囲を低輝度方向に微少な幅でシフトさせ、かつ色差方向の白検出範囲も同時に狭めた場合を示している。
【００４３】
コントローラ６は、白検出パラメータの輝度検出範囲を低輝度方向にシフトさせ、かつ白検出パラメータの色差方向の検出範囲を狭めながら、信号処理回路４の白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが出力されるまで露光を繰り返し、色積算値ΣＲ，ΣＧ，ΣＢが「０」以外の値、すなわち白検出範囲にいくつかの画素が含まれた際に、白検出パラメータを再び高輝度領域の初期設定にリセットするとともに、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢに基づいてＲゲインとＢゲインの演算処理を行い、ホワイトバランス調整回路１２に対するＲゲイン、Ｂゲインを再設定する。
【００４４】
また、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが出力されないまま白検出パラメータの輝度検出範囲が下限に達した際にも、白検出パラメータを初期設定にリセットし、再び、白検出回路１４に高輝度側より白検出動作を再開させる。以上の動作を繰り返し行うことで、コントローラ６におけるＲゲイン、Ｂゲインの演算は、常に画面内で最も輝度の高い領域に対して行われるこになる。
【００４５】
図６は、信号処理回路４の白検出回路１４における白検出範囲を輝度方向から見た図であり、白被写体と肌色被写体が混在しているシーンの一例を示している。本発明においては、高輝度側から順次、白を検索していくため、露光２において色積算値が出力された時点で、最高輝度領域に白検出範囲がリセットされるため、肌色領域の色積算値が出力されることがなく、従来技術で生じていたような肌色に対する誤差を防止できる。
【００４６】
つぎに、図１のデジタルカメラのホワイトバランス調整方法を図７のフローチャートに従って説明する。図７は、図１のデジタルカメラのホワイトバランス調整方法を説明するためのフローチャートを示している。
【００４７】
図７において、まず、カメラの電源がＯＮされて起動されると、コントローラ６は、信号処理回路４のホワイトバランス調整回路１２のＲゲイン、Ｂゲインを太陽光などに対して適正値となる基準の値に初期化する（ステップＳ１）。ついで、コントローラ６は、信号処理回路４の白検出回路１４の白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を、上述したように高輝度領域に初期化する（ステップＳ２）。この後、露光制御を行って、光学メカ１、ＣＣＤ・ＣＤＳ回路２等を介して画像データを取り込み、信号処理回路４の白検出回路１４は取り込んだ画像データに対して白検出処理を行って色積算値ΣＲ，ΣＧ，ΣＢを算出し、コントローラ６に出力する（ステップＳ３）。
【００４８】
コントローラ６は、白検出回路１４から入力される色積算値ΣＲ，ΣＧ，ΣＢが「０」であるか否かを判定し（ステップＳ４）、色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合には、ステップＳ５に移行する一方、色積算値ΣＲ，ΣＧ，ΣＢが「０」でない場合には、ステップＳ８に移行する。
【００４９】
ステップＳ５では、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが「０」である場合には、上述したように、白検出範囲の輝度検出範囲を低輝度方向にシフトさせ、色差検出範囲を狭めた白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を算出する。そして、コントローラ６は、演算した白検出パラメータのうち、輝度検出範囲Ｙ＿ｍｉｎ（Ｙ下限値）、Ｙ＿ｍａｘ（Ｙ上限値）が下限に達したか否かを判定し（ステップＳ６）、輝度検出範囲が下限に達していると判断した場合には、ステップＳ２に移行して、白検出パラメータを初期化してリセットを行う。他方、ステップＳ６で白検出パラメータの輝度検出範囲Ｙ＿ｍｉｎ（Ｙ下限値）、Ｙ＿ｍａｘ（Ｙ上限値）が下限に達していないと判断した場合には、ステップＳ７に移行して、上述のステップＳ５で演算した白検出パラメータＹ＿ｍｉｎ（Ｙ下限値），Ｙ＿ｍａｘ（Ｙ上限値），Ｒ−Ｇ＿ｍｉｎ（Ｒ−Ｇ下限値），Ｒ−Ｇ＿ｍａｘ（Ｒ−Ｇ上限値），Ｂ−Ｇ＿ｍｉｎ（Ｂ−Ｇ下限値），Ｂ−Ｇ＿ｍａｘ（Ｂ−Ｇ上限値）を信号処理回路４の白検出回路１４に設定して、ステップＳ３に戻り、次の露光制御が行われる。
【００５０】
他方、ステップＳ８では、コントローラ６は、色積算値ΣＲ，ΣＧ，ΣＢが「０」でない場合には、色積算値ΣＲ，ΣＧ，ΣＢに基づいて信号処理回路４のホワイトバランス調整回路１２のＲゲインとＢゲインの値を演算する。この後、コントローラ６は、信号処理回路４のホワイトバランス調整回路１２に対して演算したＲゲイン、Ｂゲインの値を設定した後（ステップＳ９）、ステップＳ２に戻り、白検出パラメータを初期設定にリセットし、同じ処理を繰り返し実行する。このように、コントローラ６は、上記の処理を繰り返してフィードバック制御を行い、ホワイトバランス調整を行う。
【００５１】
以上説明したように、本実施の形態においては、ホワイトバランス調整回路１２はカラー画像データのＲ，Ｂの画像データのゲインを調整してホワイトバランス調整を行い、白検出回路１４はホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の色積算値ΣＲ，ΣＧ，ΣＢを出力し、コントローラ６は各色毎の色積算値ΣＲ，ΣＧ，ΣＢが「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して白検出回路１４に設定するとともに、各色毎の色積算値ΣＲ，ΣＧ，ΣＢが「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータが白検出回路１４に設定された場合に出力される各色毎の色積算値ΣＲ，ΣＧ，ΣＢに基づいて、ホワイトバランス調整回路１２のＲ，Ｂのゲインを算出してホワイトバランス調整回路１２に設定してフィードバック制御を行うこととしたので、ホワイトバランス調整のＲゲイン、Ｂゲインを画面内で高輝度の領域に限定して白検出した色積算値を用いて決定することができ、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。付言すると、画面内で無彩色の領域のうち、白である可能性の最も高い、高輝度の領域を自動検索して、白検出処理した結果の色差積算値を用いているため、肌色などの誤差を生じ易い有彩色被写体の影響を防止できる。
【００５２】
また、コントローラ６は、制御を開始する初期設定時には、白検出回路１４に対する白検出パラメータの輝度検出範囲を最も高輝度に相当する狭い領域に設定しておき、白検出回路１４の色積算値ΣＲ，ΣＧ，ΣＢが「０」であった場合は、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせていき、白検出回路１４に画面内で最も高輝度の画素を検出させるべく、白検出回路１４に対して白検出パラメータのフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値に基づいてホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域がある場合には適正なホワイトバランス調整が可能となる。
【００５３】
また、コントローラ６は、白検出回路１４の白検出パラメータを低輝度側にシフトさせていき、白検出回路１４の色積算値ΣＲ，ΣＧ，ΣＢが「０」でなくなった場合と白検出パラメータの輝度検出範囲が設定可能な下限値に達した場合に、初期設定の白検出パラメータ（輝度検出範囲を最も高輝度に相当する狭い領域とした）にリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出パラメータの高輝度領域へのリセット動作と低輝度方向への検索処理を続行し、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域における色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００５４】
なお、上述の実施の形態の画像入力装置のホワイトバランス調整方法は、予め容易されたプログラムをパーソナルコンピュータや、ワークステーション等のコンピュータで実行することにしても良い。このプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータが読取可能な記録媒体から読み出されることによって実行される。また、このプログラムは、上記記録媒体を介して、また伝送媒体として、インターネット等のネットワークを介して配布することができる。
【００５５】
また、本発明は上記した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変更可能である。例えば、ホワイトバランス調整回路１２で調整するゲインをＲ、Ｂとしているが、本発明はこれに限られるものではなく、Ｒ，Ｇ，Ｂのうち少なくとも２以上の組み合わせのゲインを調整することにしても良い。
【００５６】
また、本発明の画像入力装置およびホワイトバランス調整方法は、ビデオカメラ、デジタルカメラ等に使用される撮像装置に広く適用可能である。
【００５７】
【発明の効果】
以上説明したように、請求項１にかかる画像入力装置によれば、ホワイトバランス調整手段はカラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、白検出手段は前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの輝度検出範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、白検出パラメータ設定手段は各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、白検出手段に設定し、ホワイトバランス制御手段は、前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、利得調整手段の少なくとも２色のゲイン値を算出し、利得調整手段に設定してフィードバック制御を行い、前記白検出パラメータ設定手段では、さらに前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値を用いたホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域があればホワイトバランス調整を可能とすると共に、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、肌色等の有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【００５９】
また、請求項２にかかる画像入力装置によれば、請求項１にかかる画像入力装置において、白検出パラメータ設定手段は、白検出パラメータの輝度検出範囲を低輝度側にシフトさせていった場合に、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出範囲の高輝度領域へのリセット動作と低輝度方向への検索処理を続行するため、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域に対する色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６０】
また、請求項３にかかるホワイトバランス調整方法によれば、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行い、ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの輝度検出範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色の画像データのゲイン値を算出し設定してフィードバック制御を行い、さらに白検出パラメータを算出して設定する際、前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値を用いたホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域があればホワイトバランス調整を可能とすると共に、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、肌色等の有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６２】
また、請求項４にかかるホワイトバランス調整方法によれば、初期設定時に白検出パラメータの輝度検出範囲のパラメータを最も高輝度に相当する狭い領域に設定し、カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うステップと、前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い範囲となる白検出パラメータを算出して設定し、各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の各色毎の積算値に基づいて、少なくとも２色のゲイン値を算出し設定してフィードバック制御を行い、各色毎の積算値出力が「０」である場合に、所定の幅で白検出パラメータの輝度検出範囲を低輝度側にシフトさせ、各色毎の積算値が「０」でなくなった場合または白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることとしたので、中間の輝度検出範囲で無彩色の領域が検出された場合や、輝度検出範囲の設定範囲の下限値まで検索しても画面内に無彩色の領域が存在しなかった場合に、白検出範囲の高輝度領域へのリセット動作と低輝度方向への検索処理を実行し続けるため、画角が変化してより高輝度の白の領域が画面内に含まれしだい、直ぐにその領域に対する色積算値を用いてゲイン設定値の演算を実行でき、常に撮影画面に対して最も誤差の少ないホワイトバランス調整を行うことが可能となる。
【００６３】
また、請求項５にかかる記録媒体によれば、コンピュータにより記録媒体に格納されたプログラムを実行することにより、請求項３又は請求項４にかかる発明の各工程を実現することとしたので、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うこととしたので、画面内に高輝度の領域が存在しない場合には白検出の輝度領域を低輝度方向にシフトさせて順次検索し、最も輝度の高い領域で白検出された色積算値を用いたホワイトバランス調整を行うことができ、画面内に白が存在していなくても、無彩色領域があればホワイトバランス調整を可能とすると共に、白色と黒体輻射に沿った色温度変化による色ずれに相当する有彩色の被写体が混在したシーンでも、肌色等の有彩色領域の影響を受けずに、誤差の少ないホワイトバランス調整を行うことが可能となる。
【図面の簡単な説明】
【図１】本実施の形態にかかるデジタルカメラのブロック図である。
【図２】図１の白検出回路の白検出範囲を説明するための図である。
【図３】白検出範囲Ｗrangeの色差平面（Ｒ−Ｇ、Ｂ−Ｇ）を示す図である。
【図４】白検出範囲Ｗrangeの輝度方向の検出領域（輝度検出範囲）を示した図である。
【図５】白検出パラメータのシフトを説明するための図であり、白検出回路における白検出範囲Ｗrangeを輝度方向から見た図である。
【図６】肌色を含んだ被写体の場合の白検出パラメータのシフトを説明するための図であり、白検出回路における白検出範囲Ｗrangeを輝度方向から見た図である。
【図７】図１のデジタルカメラのホワイトバランス調整方法を説明するためのフローチャートである。
【図８】従来の白検出方式を説明するための図である。
【符号の説明】
１ 光学メカ
２ ＣＣＤ・ＣＤＳ回路
３ Ａ／Ｄ変換器
４ 信号処理回路
５ 画像出力装置
６ コントローラ
１１ マトリクス回路
１２ ホワイトバランス調整回路
１３ 色差演算回路
１４ 白検出回路
Claims (5)
- 入力されるカラー画像データのゲインを調整してホワイトバランスを行う画像入力装置において、
前記カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うホワイトバランス調整手段と、
前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの輝度検出範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出手段と、
前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して、前記白検出手段に設定する白検出パラメータ設定手段と、
前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが前記白検出手段に設定された場合の前記各色毎の積算値に基づいて、前記利得調整手段の少なくとも２色のゲイン値を算出し、前記利得調整手段に設定してフィードバック制御するホワイトバランス制御手段と、
を備え、
前記白検出パラメータ設定手段は、前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うこと、
を特徴とする画像入力装置。 - 前記白検出パラメータ設定手段は、前記白検出パラメータの輝度検出範囲の低輝度側にシフトさせていった場合に、前記各色毎の積算値が「０」でなくなった場合または前記白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることを特徴とする請求項１に記載の画像入力装置。
- 入力されるカラー画像データのゲインを調整してホワイトバランスを行うホワイトバランス調整方法において、
カラー画像データのうち少なくとも２色の画像データのゲインを調整してホワイトバランス調整を行うホワイトバランス調整ステップと、
前記ホワイトバランス調整が行われたカラー画像データのうち、設定される白検出パラメータの輝度検出範囲内にある画素を検出して、当該検出した画素の各色の画像データを各色毎に積算して各色毎の積算値を出力する白検出ステップと、
前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータを算出して設定する白検出パラメータ設定ステップと、
前記各色毎の積算値が「０」とならない条件で、最も高輝度かつ狭い領域となる白検出パラメータが設定された場合の前記各色毎の積算値に基づいて、前記少なくとも２色のゲイン値を算出し設定してフィードバック制御を行うホワイトバランス制御ステップと、を含み、
前記白検出パラメータ設定ステップは、前記白検出パラメータの輝度検出範囲の前記各色毎の積算値が「０」である場合、初期設定された最も高輝度かつ狭い領域から低輝度側に所定の幅毎に前記輝度検出範囲をシフトさせて、前記白検出手段に対してフィードバック制御を行うこと、
を特徴とするホワイトバランス調整方法。 - 前記白検出パラメータ設定ステップは、前記白検出パラメータの輝度検出範囲の低輝度側にシフトさせていった場合に、前記各色毎の積算値が「０」でなくなった場合または前記白検出パラメータの輝度検出範囲が下限値に達した場合に、初期設定時の白検出パラメータにリセットすることを特徴とする請求項３に記載のホワイトバランス調整方法。
- 請求項３又は請求項４にかかる発明の各工程を実行するためのプログラムを格納したことを特徴とするコンピュータが読取可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000200270A JP3892648B2 (ja) | 2000-06-30 | 2000-06-30 | 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 |
| US09/894,764 US6947080B2 (en) | 2000-06-30 | 2001-06-29 | Device for image processing, method of adjusting white-balance, and computer products |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000200270A JP3892648B2 (ja) | 2000-06-30 | 2000-06-30 | 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002027491A JP2002027491A (ja) | 2002-01-25 |
| JP3892648B2 true JP3892648B2 (ja) | 2007-03-14 |
Family
ID=18698163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000200270A Expired - Fee Related JP3892648B2 (ja) | 2000-06-30 | 2000-06-30 | 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6947080B2 (ja) |
| JP (1) | JP3892648B2 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002152772A (ja) * | 2000-08-28 | 2002-05-24 | Fuji Photo Film Co Ltd | ホワイトバランス補正装置及びホワイトバランス補正方法と濃度補正方法並びにこれらの方法を実行するためのプログラムを記録した記録媒体 |
| EP1311111A3 (en) * | 2001-11-08 | 2004-12-08 | Fuji Photo Film Co., Ltd. | Method and apparatus for correcting white balance, method for correcting density and program recording medium |
| KR100421023B1 (ko) * | 2002-02-06 | 2004-03-04 | 삼성전자주식회사 | 컬러 영상의 색온도 상승 장치 및 그 방법 |
| US6844881B1 (en) * | 2002-03-29 | 2005-01-18 | Apple Computer, Inc. | Method and apparatus for improved color correction |
| JP2004312139A (ja) * | 2003-04-03 | 2004-11-04 | Canon Inc | 撮像装置 |
| JP4033212B2 (ja) | 2003-05-01 | 2008-01-16 | セイコーエプソン株式会社 | 特定色の色再現を考慮したカラーバランス調整 |
| KR100967091B1 (ko) | 2003-06-19 | 2010-07-01 | 삼성전자주식회사 | 디지털 영상장치의 화이트 밸런스 조정방법 |
| JP4210922B2 (ja) * | 2003-10-27 | 2009-01-21 | ソニー株式会社 | 撮像装置および方法 |
| JP2005175975A (ja) * | 2003-12-12 | 2005-06-30 | Canon Inc | 画像処理装置 |
| JP2005223898A (ja) * | 2004-01-09 | 2005-08-18 | Sony Corp | 画像処理方法及び撮像装置 |
| JP4533156B2 (ja) * | 2004-02-02 | 2010-09-01 | キヤノン株式会社 | 調整回路及び方法 |
| US20050200724A1 (en) * | 2004-03-10 | 2005-09-15 | Rajaiah Seela R.D. | Using a separate color sensor for white balance calculation |
| US8149291B2 (en) * | 2004-05-21 | 2012-04-03 | Canon Kabushiki Kaisha | Image capture apparatus, control method thereof, program, and storage medium |
| KR20060006138A (ko) * | 2004-07-15 | 2006-01-19 | 삼성전자주식회사 | 컬러 신호의 이득 레벨을 조절하기 위한 제어신호 생성방법 및 제어신호 생성 장치 |
| US7460181B2 (en) * | 2004-10-15 | 2008-12-02 | Genesis Microchip Inc. | Blue stretch using restricted color range and soft transition boundary |
| KR100566564B1 (ko) * | 2005-04-25 | 2006-03-31 | 엠텍비젼 주식회사 | 색 온도 검출 방법 및 장치 |
| KR100842305B1 (ko) | 2005-12-28 | 2008-07-01 | 엠텍비젼 주식회사 | 색 온도 추정을 위한 이미지 시그널 프로세서, 촬상 장치 및 색상 온도 검출(ctd)영역 적용 방법 |
| US8031236B2 (en) * | 2006-11-21 | 2011-10-04 | Samsung Electronics Co., Ltd. | White detecting method and apparatus using the same |
| KR101389759B1 (ko) * | 2006-11-21 | 2014-04-30 | 삼성전자주식회사 | 화이트 추출방법 및 그 장치 |
| US8049789B2 (en) * | 2006-12-15 | 2011-11-01 | ON Semiconductor Trading, Ltd | White balance correction using illuminant estimation |
| US8456492B2 (en) * | 2007-05-18 | 2013-06-04 | Sony Corporation | Display device, driving method and computer program for display device |
| KR101487548B1 (ko) * | 2007-05-18 | 2015-01-29 | 소니 주식회사 | 표시 장치, 표시 장치의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체 |
| US8493514B2 (en) * | 2007-07-16 | 2013-07-23 | Lg Electronics Inc. | Apparatus for controlling color temperature |
| KR100925629B1 (ko) | 2007-12-07 | 2009-11-06 | 삼성전기주식회사 | ＹＣｂＣｒ 색공간에서의 오토 화이트 밸런스 방법 |
| IL189020A (en) * | 2008-01-24 | 2015-08-31 | Rafael Advanced Defense Sys | A method and device for multi-spectral imaging |
| US8704908B1 (en) * | 2008-11-03 | 2014-04-22 | Marvell International Ltd. | Method and apparatus for multiple zone statistics collection for digital image/video capture systems |
| KR20100066855A (ko) * | 2008-12-10 | 2010-06-18 | 삼성전자주식회사 | 촬상 장치 및 촬상 방법 |
| KR100999883B1 (ko) | 2008-12-29 | 2010-12-09 | 엠텍비젼 주식회사 | 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치 |
| KR100999887B1 (ko) | 2008-12-29 | 2010-12-09 | 엠텍비젼 주식회사 | 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치 |
| JP5699499B2 (ja) * | 2010-09-13 | 2015-04-08 | 株式会社リコー | ホワイトバランス調整装置及び撮像装置 |
| IL210461A (en) | 2011-01-05 | 2015-07-30 | Rafael Advanced Defense Sys | A method and device for multi-spectral imaging |
| US9513724B2 (en) * | 2011-08-30 | 2016-12-06 | Blackberry Limited | Device and method for adjusting object illumination |
| US9521385B2 (en) | 2014-03-27 | 2016-12-13 | Himax Imaging Limited | Image sensor equipped with additional group of selectively transmissive filters for illuminant estimation, and associated illuminant estimation method |
| JP6570252B2 (ja) * | 2015-01-19 | 2019-09-04 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
| CN106845455B (zh) * | 2017-03-01 | 2021-03-12 | 中国科学院上海高等研究院 | 基于肤色检测的图像处理方法、系统及服务器 |
| US20230070353A1 (en) * | 2021-09-09 | 2023-03-09 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0226193A (ja) | 1988-07-15 | 1990-01-29 | Toshiba Corp | ホワイトバランス制御回路 |
| JPH0828877B2 (ja) * | 1988-07-18 | 1996-03-21 | 富士写真フイルム株式会社 | 自動白バランス調整方法及び装置 |
| JPH07162890A (ja) * | 1993-12-08 | 1995-06-23 | Matsushita Electric Ind Co Ltd | ホワイトバランス調整装置 |
| JP3100815B2 (ja) | 1993-11-18 | 2000-10-23 | 富士写真フイルム株式会社 | カメラのホワイトバランス制御方法 |
| JPH0816926A (ja) | 1994-06-29 | 1996-01-19 | Oki Electric Ind Co Ltd | 販売処理装置 |
| JPH09322191A (ja) | 1996-03-29 | 1997-12-12 | Ricoh Co Ltd | 画像入力装置 |
| JPH1141619A (ja) * | 1997-07-24 | 1999-02-12 | Sony Corp | 色信号処理回路およびその処理方法、並びにこれらを用いたカメラ |
-
2000
- 2000-06-30 JP JP2000200270A patent/JP3892648B2/ja not_active Expired - Fee Related
-
2001
- 2001-06-29 US US09/894,764 patent/US6947080B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002027491A (ja) | 2002-01-25 |
| US6947080B2 (en) | 2005-09-20 |
| US20020018129A1 (en) | 2002-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3892648B2 (ja) | 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 | |
| US7030913B2 (en) | White balance control apparatus and method, and image pickup apparatus | |
| JP2006134157A (ja) | シェーディング補正装置、シェーディング補正値演算装置及び撮像装置 | |
| JP4444218B2 (ja) | 動画用明るさ補正装置ならびにその制御方法およびその制御プログラム | |
| US10419692B2 (en) | Image pickup apparatus | |
| KR101639664B1 (ko) | 촬상장치 및 촬상방법 | |
| JP2008153768A (ja) | 撮像装置、およびホワイトバランス処理装置 | |
| JP2004200971A (ja) | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ | |
| EP1998552B1 (en) | Imaging apparatus and image processing program | |
| JP6000133B2 (ja) | 撮像装置、撮像システム及び撮像方法 | |
| JP2004282133A (ja) | オートホワイトバランス処理装置及び方法並びに画像信号処理装置 | |
| US20110128404A1 (en) | Imaging apparatus, image processing program, image processing apparatus, and image processing method | |
| JP2021097347A (ja) | 撮像装置およびその制御方法、プログラム | |
| CN106973194A (zh) | 拍摄装置、图像处理装置、图像处理方法 | |
| JP2012095223A (ja) | 撮像装置、撮像方法及びプログラム | |
| JP2010041682A (ja) | 画像処理装置及び画像処理方法 | |
| JP4857856B2 (ja) | 彩度調整機能を有する電子カメラ、および画像処理プログラム | |
| JP2008042694A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP3577215B2 (ja) | ホワイトバランス制御装置 | |
| JP4833669B2 (ja) | 撮像装置およびその信号処理方法 | |
| US8625008B2 (en) | Image processing apparatus having luminance-type gamma correction circuit capable of changing nonlinear characteristic, and image processing method therefor | |
| JP6272006B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP2002271810A (ja) | ホワイトバランス調整装置 | |
| JP2005136854A (ja) | ホワイトバランス制御装置及び電子機器 | |
| JP5307572B2 (ja) | 撮像システム、映像信号処理プログラム、および撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040721 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061207 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131215 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |