JP4526746B2

JP4526746B2 - Color imaging device

Info

Publication number: JP4526746B2
Application number: JP2001272533A
Authority: JP
Inventors: 隆弘藤沢; 賢二白石
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-09-07
Filing date: 2001-09-07
Publication date: 2010-08-18
Anticipated expiration: 2021-09-07
Also published as: JP2003087802A

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー撮像装置に関し、さらに詳しくは、光学系を介して被写体からの光信号を電気信号であるカラー画像信号に変換して出力するカラー画像撮像手段を有し、その信号に対してホワイトバランス処理を行うカラー撮像装置に関するものである。
【０００２】
【従来の技術】
従来の技術として特開２０００−１５２０１８公報には、色バランスのとれた適切なホワイトバランス調整を可能とする画像処理装置及びその方法、及び記録媒体について開示されている。これによると、代表値算出部において色成分毎に代表値を算出し、調整係数算出部において前記代表値に基づいて色成分毎に補正を施すための調整係数を算出し、調整係数補正部において該調整係数を連続的に補正し、画像補正部において各色成分毎に前記調整係数に基づいた補正を施す。また、複数の入力機器Ａ〜Ｄの特性を特定し、該特性に基づいて画像データに対する補正処理の組み合わせを制御する。かかるカラー撮像装置では、テーブル・関数・閾値での画像データに対する補正処理を行っている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記特開２０００−１５２０１８公報ではユーザ自身が色合いを、故意に赤っぽく、もしくは青っぽくといったように設定することはできなかった。また、源データに対しての補正、調整後の値に対しての設定が不可能であった。
一般にカラー撮像装置は、カラー画像を入手する場合にホワイトバランスの制御値はオート、室内、屋外、照明下などのモードを選択することで、あらかじめカメラに設定されたホワイトバランスのパラメータを用いて撮影が行われていた。従って、ユーザが全体的に赤っぽい画像を撮りたいとか、青っぽい画像を撮りたいなどの要望を持っていても個人の嗜好に合わせてホワイトバランスの制御値を設定する手段は無かった。
本発明は、かかる課題に鑑み、ユーザの嗜好に合わせてホワイトバランスの制御結果を変化させることにより色合いを変化させ、得られるカラー画像に反映するカラー撮像装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項１の発明は、光学系を介して得られた光信号をカラー画像信号に変換して出力するカラー画像撮像手段と、前記カラー画像信号から各色成分の特性値を出力する特性値出力手段と、前記各色成分の特性値からホワイトバランス制御値を算出する制御値算出手段と、該算出された制御値を設定するホワイトバランス制御値設定手段と、該設定された制御値によりホワイトバランス処理を行うホワイトバランス手段と、前記特性値出力手段が出力した特性値を調整する特性値調整手段と、を備え、該特性値調整手段によりホワイトバランスの特性値を調整するカラー撮像装置において、前記特性値調整手段により調整された特性調整値を複数保存する特性調整値保存装置と、前記複数保存した特性調整値のうち何れの特性調整値を使用するかを選択する、または前記特性調整値の有効と無効を切り替えるための機能選択装置と、前記カラー画像撮像手段から出力されるカラー画像を少なくとも２枚以上保存できる画像記憶装置と、を更に備え、一度の撮像動作で、前記機能選択装置により前記特性調整値を有効にした処理と無効にした処理の両方の処理結果画像または前記複数保存した特性調整値をそれぞれ用いた複数の処理結果画像を前記画像記憶装置に保存することを特徴とする。特性値出力手段が出力した特性値を、更に調整する特性値調整手段を備えることにより、ユーザが嗜好する色にホワイトバランスを微調整できる。かかる発明によれば、各色成分の特性値を調整することでカラー画像信号を意図した色合いにずらすことでホワイトバランスの制御が可能である。また、特性値調整手段により調整された特性調整値を複数保存する特性調整値保存装置を備えているので、特性調整値の再設定が不要であり、更に、撮影時の状況・環境に合わせて、複数使用者、シーン毎の設定を保存することが可能である。更に、複数保存した特性調整値のうち何れの特性調整値を使用するかを選択する、または特性調整値の有効と無効を切り替えるための機能選択装置を備えているので、複数使用者やシーン毎にあらかじめ設定し保存した設定を、使用したいとき特性調整値を選択することができるので、撮影に反映させることができ、場合に合わせて設定の有効／無効を切り替えることができる。また、カラー画像撮像手段から出力されるカラー画像を少なくとも２枚以上保存できる画像記憶装置を備えているので、１回の撮影に対して、設定の有効と無効もしくは２種類の調整を施した画像の２枚の画像を、調整を施す前・後の違いでどのような補正が行われたかを確認することができる。また、請求項２の発明は、前記特性値調整手段は、各色成分の特性値を加算または減算して色を調整することを特徴とすることも本発明の有効な手段である。ＣＣＤの各画素からの画像信号の総和を各画素数で割った値が特性値となる。従って、その値を演算すれば、色を調整することができる。かかる技術手段によれば、ユーザの好みに合わせて、各色成分を制御し簡単な構成で画像を生成することができる。また、請求項３の発明は、前記特性値調整手段は、明るさ検出手段をもち、被写体の明るさによって特性値に加算または減算する値を変更して調整することも本発明の有効な手段である。被写体はその被写体が持つ明るさにより、同じ色でも感じ方が異なるものである。従って、明るさを検出する手段をもつことは、更にバリエーションが拡がる。かかる技術手段によれば、被写体の物体色の明るさに合わせて色の調整を行なうことができるので、明るさの違いによって補正度合いが変化してしまうことを防ぐことができる。
【０００５】
また、請求項４の発明は、前記特性値調整手段は、各色成分の特性値に乗算係数を掛けて色を調整することも本発明の有効な手段である。特性値にある係数を掛けると、全体の色合いが変わる効果が出る。かかる技術手段によれば、すべての画素に均等に係数をかけることができるので、明るさを検出しなくても明るさによって補正度合いが変化しない。また、請求項５の発明は、前記特性値調整手段の調整値を設定するための特性調整値入力手段を更に備え、撮影者が該特性調整値を設定可能としたことも本発明の有効な手段である。画像の色を変えたいと思うのは撮影者本人である。その意思を反映する手段は、カメラに何らかの入力手段を設けることである。かかる技術手段によれば、ホワイトバランスにおける色合いのずらし量を撮影者が設定できるので、撮影者の意図した色合いに合わせて撮像が可能である。
【０００６】
また、請求項６の発明は、前記特性値出力手段が出力した各色成分の特性値の大小関係を判定する特性値判定手段を更に備え、該特性値判定手段の結果により前記特性値調整手段が使用する特性調整値を切り替えることも本発明の有効な手段である。撮影者が特性値を数字で認識できれば、その大小関係から所望の色に調整できる。かかる技術手段によれば、各色成分をＲ・Ｇ・Ｂとした場合、例えばＲの成分がＧ・Ｂに対して高ければ色温度が低いと判断して、低色温度光源でのみ赤を強調するなどの設定が可能である。また、請求項７の発明は、光学系を介して得られた光信号をカラー画像信号に変換して出力するカラー画像撮像手段と、前記カラー画像信号から各色成分の特性値を出力する特性値出力手段と、前記各色成分の特性値からホワイトバランス制御値を算出する制御値算出手段と、算出された前記制御値を設定するホワイトバランス制御値設定手段と、設定された制御値によりホワイトバランス処理を行うホワイトバランス手段と、前記制御値算出手段が出力したホワイトバランス制御値を調整する制御値調整手段と、を備え、該制御値調整手段により前記カラー画像撮像手段から出力されたカラー画像信号に基づく撮像データをもとに算出されたホワイトバランス制御値を調整するカラー撮像装置において、前記制御値調整手段により調整された制御調整値を複数保存する制御調整値保存装置と、前記複数保存した制御調整値のうち何れの制御調整値を使用するかを選択する、または前記制御調整値の有効と無効を切り替えるための機能選択装置と、前記カラー画像撮像手段から出力されるカラー画像を少なくとも２枚以上保存できる画像記憶装置と、を更に備え、一度の撮像動作で、前記機能選択装置により前記制御調整値を有効にした処理と無効にした処理の両方の処理結果画像または前記複数保存した制御調整値をそれぞれ用いた複数の処理結果画像を前記画像記憶装置に保存することを特徴とする。かかる発明によれば、各色成分の制御値を調整することでカラー画像信号を意図した色合いにずらすことでホワイトバランスの制御が可能である。また、制御値調整手段により調整された制御調整値を複数保存する制御調整値保存装置を備えているので、制御調整値の再設定が不要であり、更に、撮影時の状況・環境に合わせて、複数使用者、シーン毎の設定を保存することが可能である。更に、複数保存した制御調整値のうち何れの制御調整値を使用するかを選択する、または制御調整値の有効と無効を切り替えるための機能選択装置を備えているので、複数使用者やシーン毎にあらかじめ設定し保存した設定を、使用したいとき制御調整値を選択することができるので、撮影に反映させることができ、場合に合わせて設定の有効／無効を切り替えることができる。また、カラー画像撮像手段から出力されるカラー画像を少なくとも２枚以上保存できる画像記憶装置を備えているので、１回の撮影に対して、設定の有効と無効もしくは２種類の調整を施した画像の２枚の画像を、調整を施す前・後の違いでどのような補正が行われたかを確認することができる。また、請求項８の発明は、前記制御値調整手段は、各色成分のホワイトバランス制御値を加算または減算して色を調整することも本発明の有効な手段である。かかる技術手段によれば、ユーザの好みに合わせて、各色成分を制御し簡単な構成で画像を生成することができる。
【０００７】
また、請求項９の発明は、前記制御値調整手段は、被写体の明るさによって、前記ホワイトバランス制御値に加算または減算する値を変更して調整することも本発明の有効な手段である。かかる技術手段によれば、被写体の物体色の明るさに合わせて色の調整を行なうことができるので、明るさの違いによって補正度合いが変化してしまうことを防ぐことができる。また、請求項１０の発明は、前記制御値調整手段は、各色成分のホワイトバランス制御値に乗算係数を掛けて色を調整することも本発明の有効な手段である。かかる技術手段によれば、すべての画素に均等に係数をかけることができるので、明るさを検出しなくても明るさによって補正度合いが変化しない。また、請求項１１の発明は、前記制御値調整手段の調整値を設定するための制御調整値入力手段を更に備え、撮影者が前記制御調整値を設定可能としたことも本発明の有効な手段である。かかる技術手段によれば、ホワイトバランスにおける色合いのずらし量を撮影者が設定できるので、撮影者の意図した色合いに合わせて撮像が可能である。
【０００８】
また、請求項１２の発明は、前記制御値算出手段が算出した各色成分の制御値の大小関係を判定する制御値判定手段を更に備え、該制御値判定手段の結果により前記制御値調整手段が使用する制御調整値を切り替えることも本発明の有効な手段である。かかる技術手段によれば、各色成分をＲ・Ｇ・Ｂとした場合、例えばＲの成分がＧ・Ｂに対して高ければ色温度が低いと判断して、低色温度光源でのみ赤を強調するなどの設定が可能である。また、請求項１３の発明は、ホワイトバランス制御値の設定限界値を保存するホワイトバランス制御限界値保存装置を備え、前記ホワイトバランス制御値算出手段が算出するホワイトバランス制御値が制御限界を超えている場合は、前記制御限界値を制御値として設定してホワイトバランス処理を行うことも本発明の有効な手段である。制御する範囲は無限ではない。当然ホワイトバランスを制御する制御値にも限界がある。従って、その限界値を示す値を保存しておいて、その値と常に比較するように制御するのが好ましい。かかる技術手段によれば、各色成分の制御値が制御範囲内に収まるように補正されるので、制御限界を超えることで全体の色合いがおかしくなることが無い。
【０００９】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は、本発明の実施の形態のデジタルスチルカメラのブロック図である。この構成は、被写体の光学画像を集光するレンズ１と、レンズ１により集光された光束を集束する絞り部２と、図示しない複数のレンズを移動させて合焦したり、絞り部２を駆動するモータドライバ１１と、レンズ１と絞り部２を通過した光学画像を光電変換するＣＣＤ（Charge Coupled Device：電荷結合素子）３と、ＣＣＤ３に含まれる雑音を低減するＣＤＳ(Correlated Double Sampling)４と、ＣＣＤ３からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器５と、前記ＣＣＤ３、ＣＤＳ４、Ａ／Ｄ変換器５のタイミングを発生するタイミング発生器１３と、画像処理パラメータに従って画像処理を行うデジタル信号処理回路７と、撮像画素の記録と画像処理された画像を記憶するフレームメモリ６と、液晶（ＬＣＤ：Liquid Crystal Display）により撮像画像を表示する表示部８と、デジタル信号処理回路７で処理された画像データを圧縮あるいは源画像データに伸張する画像圧縮伸張回路９と、画像圧縮伸張回路９により圧縮された画像データを格納するメモリカード１０と、制御プログラムに基づいて所定の制御を実行するマイクロコンピュータ（以下、マイコンと記す）１４と、パラメータを格納するＥＥＰＲＯＭ(Electrically Erasable and Programmable Read Only Memory)１６と、操作者がカメラ本体を操作するためのレリーズボタン等を備えたカメラ操作部１７と、フイルム枚数やストロボの発光状態を監視するＯＳＤ(On-Screen Display)１５と、被写体を照明するストロボ１２により構成される。尚、レンズ１、絞り２、ＣＣＤ３が主としてカラー画像撮像手段を構成し、デジタル信号処理回路７とマイコン１４とフレームメモリ６が主として特性値出力手段と制御値算出手段とホワイトバランス手段と特性値判定手段と制御値判定手段を構成し、カメラ操作部１７とマイコン１４が主として特性値調整手段と特性値調整入力手段と機能選択装置と制御値調整手段と制御値調整入力手段を構成し、明るさセンサが主として明るさ検出手段を構成し、ＥＥＰＲＯＭ１６が主として特性調整値保存装置と制御調整値保存装置とホワイトバランス制御限界値保存装置を構成する。
【００１０】
次に、本構成のデジタルスチルカメラ１００の動作概要について説明する。操作者は図示しないファインダから被写体を覗き、カメラ操作部１７のレリーズボタンを押すと、マイコン１４はその信号を検出してモータドライバ１１に対してレンズ１と絞り２を駆動して、被写体の画像をＣＣＤ３に合焦させる。必要であればストロボ１２を発光させる。これらの一連の動作は、自動的にマイコン１４が図示しないセンサの情報に基づいて行われる。ＣＣＤ３に合焦された画像は、タイミング発生器１３から発生されるクロックにより順次取り出され、ＣＤＳ４によりデータに含まれる雑音を低減する。ここで、ＣＣＤの出力信号に含まれる雑音は、リセット雑音が支配的である。この雑音を低減するために信号期間に含まれる映像信号とリセット雑音及び、フィールドスルー期間のみに含まれるリセット雑音から両者を引き算することによりリセット雑音をキャンセルしている。そして、そのアナログ信号をＡ／Ｄ変換器５により１０ビットのデジタル信号に変換して、デジタル信号処理回路７に入力され、フレームメモリ６に一時保管される。そして、ＥＥＰＲＯＭ１６に格納されたパラメータにより、マイコン１４からの指示によりフレームメモリ６に一時保管されたデータを処理し、その処理された画像をフレームメモリ６に再び格納する。この処理の中にホワイトバランス処理が含まれる。さらに、フレームメモリ６に書き込まれたデータを表示部８の制御部に送り、ＬＣＤにその内容を表示する。
フレームメモリ６は、少なくとも撮像画素の１画面以上の画像データを蓄積することができる画像メモリであり、例えば、ＶＲＡＭ(Video Random Access Memory)、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic Random Access Memory) 、あるいはＳＤＲＡＭ（Synchronous DRAM）などの一般に用いられているメモリを用いる。
【００１１】
ここで、操作者の意思により、その画像をメモリカード１０に記録しておきたい場合、カメラ操作部１７から指示をすると、マイコン１４はそれに従って、デジタル信号処理回路７に対して画像をメモリカード１０に転送する制御を実行する。つまり、画像処理された画像をフレームメモリ６から読み出し、画像圧縮伸張回路９に送る。ここで、ＪＰＥＧ（Joint Photographic Experts Group）方式で画像を圧縮し、メモリカード１０に記憶する。この符号化アルゴリズムにはＡＤＣＴ（適応型離散コサイン変換）を用い、最初に解像度の低い画像を符号化し、次第に解像度が高くなるような階層符号化も取り入れられる。このようにメモリカードは、フレームメモリ６に格納されたデータを圧縮し、その圧縮データを格納しておくためのものである。この他に、例えば８ＭＢ程度の内部メモリあるいはスマートメディア・コンパクトフラッシュなどに記録する構成であってもよい。
また、逆にメモリカード１０の内容を表示部８に表示する場合や、外部端子により他のＰＣと接続して画像データを転送したい場合は、所望のメモリカードをカメラ本体の図示しないコネクタに挿入して、カメラ操作部１７から指示すると、マイコン１４はデジタル信号処理回路７に指示してメモリカードの圧縮された画像データを読み出し、画像圧縮伸張回路９に入力して、圧縮のアルゴリズムに従ってデータを伸張して元に戻し、表示部８に画像を表示する。
【００１２】
図２（ａ）は、カラーデジタルスチルカメラに使用されるＣＣＤカラーフィルタの画素配列の図である。Ｒ２０（赤）、Ｇ２１、Ｇ２２（緑）、Ｂ２３（青）が２次元配列されている。この配列をベイヤー配列と呼び、これが採用されている理由は、ＣＣＤは各画素でＲＧＢいずれかの情報しかもっていないので、デジタル信号処理回路７でその画素の近傍のＲＧＢ情報を使い、補間することで各画素についてＲＧＢを作る。そのため、なるべく近くの画素を用いたほうが実際の色を忠実に再現できるため、２画素ずつの配列としている。また、この中でＧがＧ２１、Ｇ２２と多いのは、色温度が一番安定しており、被写体に含まれる色としても多く含まれていてエッジ（輪郭）を見やすくするためである。
図２（ｂ）はこのカラーフィルタを使用したカラー撮像素子の受光感度分布を表す図である。これから明らかなように、各色の受光感度の間にばらつきが少ない特性となる。
図３（ａ）は、一般のＣＣＤの分光感度特性を表す図である。このように、ＣＣＤの分光感度特性はＲＧＢ各色に対して等しい正の分光特性である。しかし、カメラが要求する理想的な分光特性は、図３（ｂ）のように、ハッチング部分に示す負の感度を有することである。従って、ＣＣＤは正の感度のみを有しているので、ＣＣＤを用いた場合には色再現誤差が生じることになる。この色再現誤差を無くすために、マトリックス変換による分光感度の補正が行われるのが一般的である。
【００１３】
このように、各構成要素が持つ特性を理解した上で、本発明の具体的な説明に移る。本発明のＣＣＤ３から出力されるアナログデータは、ＣＤＳ４、Ａ／Ｄ変換器５を介して１０ビットのデジタルデータに変換され、デジタル信号処理回路７に入力される。１０ビットデジタルデータはフレームメモリ６と後述する特性値算出部２１に送られる。特性値算出部２１では、値が低いものはノイズの割合が高くなってＳ／Ｎが悪く、値が高いものは画像が白くとんでしまうので、色成分の特性値算出に悪影響を与えてしまう。そのため、値の数値が極端に高いものまたは低いものは除き、中間輝度のものだけを用いて特性値算出を行う。この読み込みの作業を１つの画像のすべての画素につき行い、そのすべての和を各画素数で割ったものが特性値となる。つまり、ΣＲ、ΣＧ、ΣＢをＲ、Ｇ、Ｂ値の合計とし、ｎｒ、ｎｇ、ｎｂを読み込んだＲ、Ｇ、Ｂの画素数とすると、ΣＲ／ｎｒ、ΣＧ／ｎｇ、ΣＢ／ｎｂが特性値となる。
この時、（ΣＲ／ｎｒ）／（ΣＧ／ｎｇ）＝（ΣＢ／ｎｂ）／（ΣＧ／ｎｇ）＝１
であれば、ホワイトバランスが適切になる。そこでΣＲ、ΣＢにゲインを掛けることでオートホワイトバランスが保たれる。
【００１４】
図４は、本発明のホワイトバランスの補正の方法を説明する図である。図４（ａ）は特性値を補正した場合を表す図である。また、Ｗ線はホワイトバランスの最適値を表す。図５は、ホワイトバランスの補正の方法を説明するためのデジタル信号処理回路とその周辺回路のブロック図である。図４（ａ）と併せて参照しながらその動作について説明する。図５でデジタル信号処理回路７に入力されてきたＲＧＢカラー画像信号２０が、マイコン１４の特性値加工部１４ａに読み込まれ、ここでΣＲ、ΣＢが加工され、その値を元に制御値算出部１４ｂで制御値が算出される。図４（ａ）において、（ａ１）は入力画像、（ａ２）はユーザ設定の反映、（ａ３）はホワイトバランス補正、（ａ４）は結果画像を表し、矢印の順で処理が流れていく。ここで例えば、赤っぽい画像を撮影したい場合、まず、入力画像がＲＧＢカラー画像信号２０から入力される（ａ１）。
次に特性値算出部２１で算出されたΣＲに対して、マイコン１４内の特性値加工部１４ａで実際のΣＲよりも少ないΣＲの値に加工する。同様に、特性値算出部２１で算出されたΣＢに対して、マイコン１４内の特性値加工部１４ａで実際のΣＢよりも多いΣＢの値に加工する（ａ２）。
次に制御値算出部１４ｂでホワイトバランスを合わせる際に、本来算出されるよりも少ないＲゲインが算出される。するとホワイトバランス制御値算出部１４ｂでホワイトバランスを合わせる際に、本来算出されるよりも少ないＢゲインが算出される（ａ３）。
そして、その制御値がＹＵＶ変換部２４の制御値設定部２５に設定され、ＹＵＶ変換部２４でメモリーコントローラ２２を介して伝わったＲＧＢカラー画像データにＲゲイン・Ｇゲイン・Ｂゲインがかけられる。ＹＵＶに変換されたデータはメモリーコントローラ２２を介して、フレームメモリ６、表示部８、メモリカード１０及び、画像圧縮伸張回路９に書き戻される（ａ４）。
これにより、単にホワイトバランス調整を行うときよりもＲの値が大きくＢの値が小さくなるので赤っぽい画像が生成される。
【００１５】
また、図５の特性値加工部１４ａにおいて、ΣＲ、ΣＧ、ΣＢの値を加算または減算することによりＹＵＶ変換部２４で行われるゲインの制御を行っている。また、外部センサから取得された被写体の明るさによって、調整値を変更して、特性値加工部１４ａにおいてΣＲ、ΣＧ、ΣＢの値を加算または減算することにより、ＹＵＶ変換部２４で行われるゲインの制御を行っている。さらに、特性値加工部１４ａにおいてΣＲ、ΣＧ、ΣＢの値に乗算係数を掛けることにより、ＹＵＶ変換部２４で行われるゲインの制御を行っている。
【００１６】
また、図１のカメラ操作部１７により、撮像者が調整値を変更することで加減乗算の設定ができ、特性調整値を設定可能としている。また、図１のＥＥＰＲＯＭ１６に、特性調整値を設定したときの値を記憶させておくことが可能である。さらにＥＥＰＲＯＭ１６には複数の特性調整値を設定したときの値を記憶させておくことが可能であり、後でその中から適宜選択することができる。そして、カメラ操作部１７で選択した特性調整値を、ＥＥＰＲＯＭ１６から読み出すか、または補正値機能を無効にするかを選択でき、これにより撮影者が意図した撮影が可能になる。
また、例えば色温度によってエリアを分割して特性調整値を切り替える場合、図５の特性値算出部１４ｂから読み出された特性値から色温度を算出し、その色温度が高色色温度エリア・中色色温度エリア・低色色温度エリア等のどの色温度エリアに含まれるかを判定し、そのエリア用にＥＥＰＲＯＭ１６に保存されている特性調整値を読み出して、色温度の値に応じて特性調整値を変更する。
【００１７】
図６は、ホワイトバランスの補正の方法を説明するためのデジタル信号処理回路とその周辺回路のブロック図である。図４（ｂ）と併せて参照しながらその動作について説明する。同じ構成要素には同じ参照番号が伏せられているので、重複する説明は省略する。図６でデジタル信号処理回路７に入力されてきたＲＧＢカラー画像信号２０が、マイコン１４の制御値算出部１４ｂに読み込まれ、ここでホワイトバランスゲインが算出され、制御値加工部１４ｃでＲゲイン、Ｂゲインが加工される。図４（ｂ）において、（ｂ１）は入力画像、（ｂ２）はホワイトバランス補正、（ｂ３）はユーザ設定の反映、（ｂ４）は結果画像を表し、矢印の順で処理が流れていく。例えば、青っぽい画像を撮影したいと設定する場合では、まず、入力画像がＲＧＢカラー画像信号２０から入力される（ｂ１）。
次に制御値算出部１４ｂでホワイトバランスを合わせる際に、本来算出されるよりも多いＲゲインが算出される。するとホワイトバランス制御値算出部１４ｂでホワイトバランスを合わせる際に、本来算出されるよりも多いＢゲインが算出される（ｂ２）。
次に、特性値算出部２１で算出されたΣＢに対して、マイコン１４内の制御値算出部１４ｂでホワイトバランスを合わせる際に本来算出されるＢゲインが算出され、そのゲインに対して制御値加工部１４ｃではＢゲインの値を大きく加工する。同様に、特性値算出部２１で算出されたΣＲに対して、マイコン１４内の制御値算出部１４ｂでホワイトバランスを合わせる際に本来算出されるＲゲインが算出され、そのゲインに対して制御値加工部１４ｃではＲゲインの値を小さく加工する（ｂ３）。
その制御値はＹＵＶ変換部２４の制御値設定部２５に読み込まれ、ＹＵＶ変換部２４でメモリーコントローラ２２を介して伝わったＲＧＢカラー画像データにＲゲイン、Ｇゲイン、Ｂゲインがかけられる。ＹＵＶ変換に変換されたデータは、メモリーコントローラ２２を介して、フレームメモリ６、表示部８、メモリカード１０及び、画像圧縮伸縮回路９に書き戻される（ｂ４）。
これにより、単にホワイトバランス調整を行うときよりもＢの値が大きくＲの値が小さくなるので青っぽい画像が生成される。
【００１８】
また、図６の制御値加工部１４ｃにおいて、Ｒゲイン、Ｇゲイン、Ｂゲインの値を加算または減算することによりＹＵＶ変換部２４で行われるゲインの制御を行っている。また、外部センサから取得された被写体の明るさによって、調整値を変更して、制御値加工部１４ｃにおいてＲゲイン、Ｇゲイン、Ｂゲインの値を加算または減算することにより、ＹＵＶ変換部２４で行われるゲインの制御を行っている。さらに、制御値加工部１４ｃにおいてＲゲイン、Ｇゲイン、Ｂゲインの値に乗算係数を掛けることにより、ＹＵＶ変換部２４で行われるゲインの制御を行っている。
また、図１のカメラ操作部１７により、撮像者が調整値を変更することで加減乗算の設定ができ、制御調整値を設定可能としている。また、図１のＥＥＰＲＯＭ１６に、特性調整値を設定したときの値を記憶させておくことが可能である。さらにＥＥＰＲＯＭ１６には複数の制御調整値を設定したときの値を記憶させておくことが可能であり、後でその中から適宜選択することができる。そして、カメラ操作部１７で選択した制御調整値を、ＥＥＰＲＯＭ１６から読み出すか、または補正値機能を無効にするかを選択でき、これにより撮影者が意図した撮影が可能になる。
また、例えば色温度によってエリアを分割して制御調整値を切り替える場合、図５の特性値算出部１４ｂから読み出された特性値から色温度を算出し、その色温度が高色色温度エリア・中色色温度エリア・低色色温度エリア等のどの色温度エリアに含まれるかを判定し、そのエリア用にＥＥＰＲＯＭ１６に保存されている特性調整値を読み出して、色温度の値に応じて特性調整値を変更する。
また、図１のデジタル信号処理回路７にホワイトバランスの制御限界値をあらかじめ保存しておき、算出された制御値が制御限界値を超えていた場合は、制御限界値を制御値として設定する。また、図１のカメラ操作部１７でテストモードが設定された場合、図５においてＲＧＢのデジタルカラー画像２０がデジタル信号処理回路７を介してフレームメモリ６に取り込まれる。
【００１９】
以上のように、撮像者の意図するホワイトバランス制御値調整機能が無効にされた場合、ＲＧＢカラー画像信号２０はデジタル信号処理回路７おいて、ユーザ設定により調整が行われていないホワイトバランスゲインを用いて、ＹＵＶ変換されてフレームメモリ６に書き戻される。また、ホワイトバランス制御値調整機能が有効にされた場合、特性調整値か制御調整値のどちらか一方、または両方によって加工されたホワイトバランスゲインを用いて、ＹＵＶ変換されてＳＤフレームメモリ６に書き戻される。ここでは機能の有効／無効を例としたが、複数記憶されている特性補正値または制御補正値を用いて、１回の露光で得たカラー画像信号に対して複数枚の画像の保存も可能である。
【００２０】
【発明の効果】
以上記載のごとく本発明によれば、請求項１は、各色成分の特性値を調整することにより、カラー画像信号を意図した色合いにずらしてホワイトバランスの制御が可能となる。また、特性調整値の再設定が不要であり、更に、撮影時の状況・環境に合わせて、複数使用者、シーン毎の設定を保存することが可能である。更に、複数使用者やシーン毎にあらかじめ設定し保存した設定を、使用したいとき特性調整値を選択することができるので、撮影に反映させることができ、場合に合わせて設定の有効／無効を切り替えることができる。また、１回の撮影に対して、設定の有効と無効もしくは２種類の調整を施した画像の２枚の画像を、調整を施す前・後の違いでどのような補正が行われたかを確認することができる。請求項２、８は、ユーザの好みに合わせて、各色成分を制御し簡単な構成で画像を生成することができる。請求項３、９は、被写体の物体色の明るさに合わせて色の調整を行なうことができるので、明るさの違いによって補正度合いが変化してしまうことを防ぐことができる。請求項４、１０は、すべての画素に均等に係数をかけることができるので、明るさを検出しなくても明るさによって補正度合いが変化しない。請求項５、１１は、ホワイトバランスにおける色合いのずらし量を撮影者が設定できるので、撮影者の意図した色合いに合わせて撮像が可能である。
【００２１】
請求項６、１２は、各色成分をＲ、Ｇ、Ｂとした場合、例えばＲの成分がＧ、Ｂに対して高ければ色温度が低いと判断して、低色温度光源でのみ赤を強調するなどの設定が可能である。請求項７は、各色成分の制御値を調整することで、カラー画像信号を意図した色合いにずらすことができ、ホワイトバランスの制御が可能となる。また、制御調整値の再設定が不要であり、更に、撮影時の状況や環境に合わせて、複数使用者、シーン毎の設定を保存することが可能となる。更に、複数使用者やシーン毎にあらかじめ設定し保存した設定を、使用したいとき制御調整値を選択することができるので、撮影に反映させることができ、場合に合わせて設定の有効／無効の切り替えを行なうことができる。また、１回の撮影に対して、設定の有効と無効もしくは２種類の調整を施した画像の２枚の画像を、調整を施す前・後の違いでどのような補正が行われたかを確認することができる。請求項１３は、各色成分の制御値が制御範囲内に収まるように補正されるので、制御限界を超えることで全体の色合いがおかしくなることが無い。
【図面の簡単な説明】
【図１】本発明の実施の形態のデジタルスチルカメラのブロック図である。
【図２】（ａ）は、カラーデジタルスチルカメラに使用されるＣＣＤカラーフィルタの画素配列の図、（ｂ）はこのカラーフィルタを使用したカラー撮像素子の受光感度分布を表す図である。
【図３】（ａ）は、一般のＣＣＤの分光感度特性を表す図、（ｂ）はカメラが要求する理想的な分光特性を表す図である。
【図４】本発明のホワイトバランスの補正の方法を説明する図であり、（ａ）は特性値を補正した場合を表す図、（ｂ）は制御値を補正した場合を表す図である。
【図５】本発明のホワイトバランスの補正の方法を説明するためのデジタル信号処理回路とその周辺回路のブロック図である。
【図６】本発明のホワイトバランスの補正の方法を説明するためのデジタル信号処理回路とその周辺回路のブロック図である。
【符号の説明】
１レンズ、２絞り部、３ＣＣＤ，４ＣＤＳ、５Ａ／Ｄ変換器、６フレームメモリ、７デジタル信号処理回路、８表示部、９画像圧縮伸張回路、１０メモリカード、１１モータドライバ、１２ストロボ、１３タイミング発生器、１４マイコン、１５ＯＳＤ、１６ＥＥＰＲＯＭ、１７カメラ操作部、１００デジタルスチルカメラ本体[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a color imaging apparatus, and more specifically, has color image imaging means for converting a light signal from a subject into a color image signal which is an electrical signal via an optical system and outputting the color signal. The present invention relates to a color imaging apparatus that performs white balance processing.
[0002]
[Prior art]
As a conventional technique, Japanese Patent Application Laid-Open No. 2000-152018 discloses an image processing apparatus, a method thereof, and a recording medium that enable an appropriate white balance adjustment with good color balance. According to this, the representative value calculating unit calculates a representative value for each color component, the adjustment coefficient calculating unit calculates an adjustment coefficient for correcting each color component based on the representative value, and the adjustment coefficient correcting unit The adjustment coefficient is continuously corrected, and the image correction unit performs correction based on the adjustment coefficient for each color component. Further, the characteristics of the plurality of input devices A to D are specified, and a combination of correction processes for image data is controlled based on the characteristics. In such a color imaging apparatus, correction processing is performed on image data using a table, a function, and a threshold value.
[0003]
[Problems to be solved by the invention]
However, in the above Japanese Patent Laid-Open No. 2000-152018, the user himself / herself cannot set the hue intentionally reddish or bluish. Further, it is impossible to correct the source data and set the adjusted value.
In general, when a color image acquisition device obtains a color image, the white balance control value is selected by selecting a mode such as auto, indoor, outdoor, or under illumination. Was done. Therefore, there is no means for setting the white balance control value in accordance with personal preference even if the user has a desire to take a reddish image or a bluish image as a whole.
The present invention has been made in view of the above problems, and an object of the present invention is to provide a color imaging apparatus that changes a hue by changing a white balance control result in accordance with a user's preference and reflects the resultant color image.
[0004]
[Means for Solving the Problems]
  In order to solve such a problem, the present invention provides a color image imaging means for converting an optical signal obtained via an optical system into a color image signal and outputting the color image signal, and each color from the color image signal. Characteristic value output means for outputting the characteristic value of the component, control value calculation means for calculating the white balance control value from the characteristic value of each color component, white balance control value setting means for setting the calculated control value, White balance means for performing white balance processing according to the set control value;,in frontCharacteristic value adjusting means for adjusting the characteristic value output by the characteristic value output meansAndAnd adjusting the white balance characteristic value by the characteristic value adjusting means.RuImagerA characteristic adjustment value storage device for storing a plurality of characteristic adjustment values adjusted by the characteristic value adjustment means, and selecting which characteristic adjustment value to use from among the plurality of stored characteristic adjustment values; or A function selection device for switching between valid and invalid adjustment values; and an image storage device capable of storing at least two color images output from the color image imaging means. Processing result images of both the processing for enabling and disabling the characteristic adjustment value by the selection device or a plurality of processing result images respectively using the plurality of stored characteristic adjustment values are stored in the image storage deviceIt is characterized by doing. By providing the characteristic value adjusting means for further adjusting the characteristic value output by the characteristic value output means, the white balance can be finely adjusted to the color that the user likes. According to this invention, it is possible to control the white balance by shifting the color image signal to the intended hue by adjusting the characteristic value of each color component.In addition, since it is equipped with a characteristic adjustment value storage device that stores a plurality of characteristic adjustment values adjusted by the characteristic value adjustment means, there is no need to reset the characteristic adjustment values, and furthermore, according to the situation and environment at the time of shooting. It is possible to store settings for each user and scene. Furthermore, a function selection device is provided for selecting which characteristic adjustment value to use from among a plurality of stored characteristic adjustment values, or for switching between valid and invalid characteristic adjustment values. Since it is possible to select a characteristic adjustment value when it is desired to use a setting that has been set and stored in advance, it can be reflected in shooting, and the setting can be switched between valid / invalid. In addition, since an image storage device capable of storing at least two color images output from the color image imaging means is provided, an image obtained by validating and invalidating settings or performing two types of adjustments for one shooting. It is possible to confirm what kind of correction has been performed on the two images before and after the adjustment.Further, the invention according to claim 2 is an effective means of the present invention, wherein the characteristic value adjusting means adjusts the color by adding or subtracting the characteristic values of the respective color components. A value obtained by dividing the sum of the image signals from each pixel of the CCD by the number of each pixel is a characteristic value. Therefore, the color can be adjusted by calculating the value. According to such technical means, an image can be generated with a simple configuration by controlling each color component in accordance with the user's preference. According to a third aspect of the present invention, the characteristic value adjusting unit includes a brightness detecting unit, and the value to be added to or subtracted from the characteristic value is adjusted depending on the brightness of the subject. It is. Depending on the brightness of the subject, the subject feels differently even for the same color. Therefore, having a means for detecting brightness further expands variations. According to such technical means, the color can be adjusted in accordance with the brightness of the object color of the subject, so that the correction degree can be prevented from changing due to the difference in brightness.
[0005]
  According to a fourth aspect of the present invention, the characteristic value adjusting means is also effective means for adjusting the color by multiplying the characteristic value of each color component by a multiplication coefficient. Multiplying the characteristic value by a certain coefficient has the effect of changing the overall color. According to such technical means, coefficients can be uniformly applied to all the pixels, so that the degree of correction does not change depending on the brightness without detecting the brightness. The invention of claim 5 further includes a characteristic adjustment value input means for setting an adjustment value of the characteristic value adjustment means, and the photographer can set the characteristic adjustment value. Means. The photographer himself wants to change the color of the image. A means for reflecting the intention is to provide some input means for the camera. According to such technical means, since the photographer can set the amount of hue shift in white balance, it is possible to capture images in accordance with the hue intended by the photographer..
[0006]
  Claims6According to the invention, the characteristic valueoutputMeansoutputIt is also an effective means of the present invention to further comprise a characteristic value determining means for determining the magnitude relationship between the characteristic values of the respective color components, and switching the characteristic adjustment value used by the characteristic value adjusting means according to the result of the characteristic value determining means. is there. If the photographer can recognize the characteristic value numerically, it can be adjusted to a desired color from the magnitude relationship. According to such technical means, when each color component is R, G, and B, for example, if the R component is higher than G and B, it is determined that the color temperature is low, and red is emphasized only with a low color temperature light source. It is possible to make settings. Claims7According to the present invention, a color image imaging means for converting a light signal obtained via an optical system into a color image signal and outputting the color image signal, a characteristic value output means for outputting a characteristic value of each color component from the color image signal, Control value calculating means for calculating a white balance control value from the characteristic value of each color component, white balance control value setting means for setting the calculated control value, and white balance means for performing white balance processing with the set control value When,in frontControl value adjusting means for adjusting the white balance control value output by the control value calculating meansAndProvided by the control value adjusting meansBased on the color image signal output from the color image imaging meansShootStatue deThe white balance control value calculated based on the dataRuImagerA control adjustment value storage device for storing a plurality of control adjustment values adjusted by the control value adjustment means, and selecting which control adjustment value to use from among the plurality of stored control adjustment values, or the control A function selection device for switching between valid and invalid adjustment values; and an image storage device capable of storing at least two color images output from the color image imaging means. Processing result images of both the processing for which the control adjustment value is validated and the processing for which the control adjustment value is invalidated by the selection device or a plurality of processing result images respectively using the plurality of stored control adjustment values are saved in the image storage device.It is characterized by doing. According to this invention, the white balance can be controlled by adjusting the control value of each color component to shift the color image signal to the intended hue.In addition, since a control adjustment value storage device that stores a plurality of control adjustment values adjusted by the control value adjustment means is provided, there is no need to reset the control adjustment values, and further, according to the situation and environment at the time of shooting. It is possible to store settings for each user and scene. Furthermore, a function selection device is provided for selecting which control adjustment value to use from among the plurality of stored control adjustment values, or for switching between valid and invalid control adjustment values. Since the control adjustment value can be selected when it is desired to use the setting that has been set and saved in advance, it can be reflected in shooting, and the setting can be switched between valid / invalid. In addition, since an image storage device capable of storing at least two color images output from the color image imaging means is provided, an image obtained by validating and invalidating settings or performing two types of adjustments for one shooting. It is possible to confirm what kind of correction has been performed on the two images before and after the adjustment.Claims8The control value adjusting means is also an effective means of the present invention in which the control value adjusting means adjusts the color by adding or subtracting the white balance control value of each color component. According to such technical means, an image can be generated with a simple configuration by controlling each color component in accordance with the user's preference.
[0007]
  Claims9According to the present invention, the control value adjusting means is also an effective means of the present invention in which the value to be added to or subtracted from the white balance control value is changed according to the brightness of the subject. According to such technical means, the color can be adjusted in accordance with the brightness of the object color of the subject, so that the correction degree can be prevented from changing due to the difference in brightness. Claims10The control value adjusting means is also an effective means for adjusting the color by multiplying the white balance control value of each color component by a multiplication coefficient. According to such technical means, coefficients can be uniformly applied to all the pixels, so that the degree of correction does not change depending on the brightness without detecting the brightness. Claims11The invention further comprises a control adjustment value input means for setting an adjustment value of the control value adjustment means,Control adjustment valueIt is also an effective means of the present invention that can be set. According to such technical means, since the photographer can set the amount of hue shift in white balance, it is possible to capture images in accordance with the hue intended by the photographer..
[0008]
  Claims12The invention further comprises control value determination means for determining the magnitude relationship between the control values of the respective color components calculated by the control value calculation means, and the control adjustment value used by the control value adjustment means according to the result of the control value determination means Switching is also an effective means of the present invention. According to such technical means, when each color component is R, G, and B, for example, if the R component is higher than G and B, it is determined that the color temperature is low, and red is emphasized only with a low color temperature light source. It is possible to make settings. Claims13The invention comprises a white balance control limit value storage device that stores a setting limit value of a white balance control value, and when the white balance control value calculated by the white balance control value calculation means exceeds the control limit,SaidControl limit valueSet as a control value and perform white balance processingThis is also an effective means of the present invention. The range to be controlled is not infinite. Naturally, there is a limit to the control value for controlling the white balance. Therefore, it is preferable to store the value indicating the limit value and control to always compare with the value. According to such technical means, the control value of each color component is corrected so as to be within the control range, so that the overall color tone does not become strange by exceeding the control limit..
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to embodiments shown in the drawings. However, the components, types, combinations, shapes, relative arrangements, and the like described in this embodiment are merely illustrative examples and not intended to limit the scope of the present invention only unless otherwise specified. .
FIG. 1 is a block diagram of a digital still camera according to an embodiment of the present invention. In this configuration, a lens 1 that collects an optical image of a subject, a diaphragm unit 2 that focuses a light beam collected by the lens 1, and a plurality of lenses (not shown) are moved and focused, or the diaphragm unit 2 is A motor driver 11 to be driven, a CCD (Charge Coupled Device) 3 that photoelectrically converts an optical image that has passed through the lens 1 and the diaphragm 2, and a CDS (Correlated Double Sampling) 4 that reduces noise contained in the CCD 3. An A / D converter 5 that converts an analog signal from the CCD 3 into a digital signal, a timing generator 13 that generates the timing of the CCD 3, the CDS 4, and the A / D converter 5, and image processing according to image processing parameters. Imaging by a digital signal processing circuit 7 to be performed, a frame memory 6 for storing a recorded image of an imaging pixel and an image processed image, and a liquid crystal display (LCD) A display unit 8 for displaying an image, an image compression / expansion circuit 9 for compressing or expanding image data processed by the digital signal processing circuit 7 into source image data, and image data compressed by the image compression / expansion circuit 9 are stored. A memory card 10, a microcomputer (hereinafter referred to as a microcomputer) 14 that executes predetermined control based on a control program, an EEPROM (Electrically Erasable and Programmable Read Only Memory) 16 that stores parameters, and an operator who operates the camera body The camera operation unit 17 includes a release button for operating the camera, an OSD (On-Screen Display) 15 that monitors the number of films and the light emission state of the strobe, and a strobe 12 that illuminates the subject. The lens 1, the diaphragm 2, and the CCD 3 mainly constitute color image capturing means, and the digital signal processing circuit 7, the microcomputer 14 and the frame memory 6 are mainly characteristic value output means, control value calculation means, white balance means, and characteristic value determination. The camera operation unit 17 and the microcomputer 14 mainly constitute characteristic value adjustment means, characteristic value adjustment input means, function selection device, control value adjustment means, and control value adjustment input means, and brightness. The sensor mainly constitutes brightness detection means, and the EEPROM 16 mainly constitutes a characteristic adjustment value storage device, a control adjustment value storage device, and a white balance control limit value storage device.
[0010]
Next, an outline of the operation of the digital still camera 100 having this configuration will be described. When the operator looks into the subject from a finder (not shown) and presses the release button of the camera operation unit 17, the microcomputer 14 detects the signal and drives the lens 1 and the diaphragm 2 to the motor driver 11 to thereby image the subject. Is focused on the CCD 3. If necessary, the strobe 12 is caused to emit light. A series of these operations is automatically performed by the microcomputer 14 based on sensor information (not shown). The image focused on the CCD 3 is sequentially taken out by the clock generated from the timing generator 13, and the noise contained in the data is reduced by the CDS 4. Here, the reset noise is dominant in the noise included in the output signal of the CCD. In order to reduce this noise, the reset noise is canceled by subtracting both from the video signal included in the signal period, the reset noise, and the reset noise included only in the field-through period. The analog signal is converted into a 10-bit digital signal by the A / D converter 5, input to the digital signal processing circuit 7, and temporarily stored in the frame memory 6. Then, data temporarily stored in the frame memory 6 is processed according to an instruction from the microcomputer 14 according to the parameters stored in the EEPROM 16, and the processed image is stored in the frame memory 6 again. This processing includes white balance processing. Further, the data written in the frame memory 6 is sent to the control unit of the display unit 8, and the content is displayed on the LCD.
The frame memory 6 is an image memory that can store image data of at least one screen of the imaging pixels. For example, a video random access memory (VRAM), a static random access memory (SRAM), a dynamic random access memory (DRAM). ) Or a commonly used memory such as SDRAM (Synchronous DRAM).
[0011]
Here, if the operator wants to record the image on the memory card 10 by the operator's intention, the microcomputer 14 instructs the digital signal processing circuit 7 to send the image to the memory card 10 in response to an instruction from the camera operation unit 17. The control to transfer to 10 is executed. That is, the image-processed image is read from the frame memory 6 and sent to the image compression / expansion circuit 9. Here, the image is compressed by the JPEG (Joint Photographic Experts Group) method and stored in the memory card 10. As this encoding algorithm, ADCT (adaptive discrete cosine transform) is used, and hierarchical encoding in which an image having a low resolution is first encoded and gradually becomes higher is also adopted. Thus, the memory card is for compressing the data stored in the frame memory 6 and storing the compressed data. In addition to this, for example, it may be configured to record in an internal memory of about 8 MB or a smart media / compact flash.
Conversely, when displaying the contents of the memory card 10 on the display unit 8 or when transferring image data by connecting to another PC via an external terminal, the desired memory card is inserted into a connector (not shown) of the camera body. Then, when instructed from the camera operation unit 17, the microcomputer 14 instructs the digital signal processing circuit 7 to read out the compressed image data of the memory card, inputs it to the image compression / decompression circuit 9, and inputs the data according to the compression algorithm. The image is expanded and restored, and an image is displayed on the display unit 8.
[0012]
FIG. 2A is a diagram of a pixel arrangement of a CCD color filter used in a color digital still camera. R20 (red), G21, G22 (green), and B23 (blue) are two-dimensionally arranged. This array is called a Bayer array. The reason why this array is used is that the CCD has only RGB information for each pixel, so the digital signal processing circuit 7 uses the RGB information in the vicinity of the pixel to interpolate. Thus, RGB is made for each pixel. For this reason, since the actual color can be faithfully reproduced by using pixels as close as possible, an array of two pixels is provided. Also, the reason why G is large such as G21 and G22 is that the color temperature is the most stable, and many colors are included in the subject so that the edges (contours) are easy to see.
FIG. 2B is a diagram showing a light receiving sensitivity distribution of a color imaging device using the color filter. As is clear from this, there is a characteristic in which there is little variation between the light receiving sensitivities of the respective colors.
FIG. 3A is a diagram showing the spectral sensitivity characteristics of a general CCD. As described above, the spectral sensitivity characteristics of the CCD are positive spectral characteristics that are equal to the RGB colors. However, an ideal spectral characteristic required by the camera is to have a negative sensitivity shown in the hatched portion as shown in FIG. Therefore, since the CCD has only positive sensitivity, a color reproduction error occurs when the CCD is used. In order to eliminate this color reproduction error, spectral sensitivity is generally corrected by matrix conversion.
[0013]
As described above, after understanding the characteristics of each component, a specific description of the present invention will be given. Analog data output from the CCD 3 of the present invention is converted into 10-bit digital data via the CDS 4 and the A / D converter 5 and input to the digital signal processing circuit 7. The 10-bit digital data is sent to the frame memory 6 and a characteristic value calculator 21 described later. In the characteristic value calculation unit 21, a low value has a high noise ratio and a poor S / N, and a high value causes the image to become white, which adversely affects the calculation of the characteristic value of the color component. . For this reason, the characteristic value is calculated using only the intermediate luminance except for those having extremely high or low numerical values. This reading operation is performed for all the pixels of one image, and the sum of all the pixels divided by the number of pixels is the characteristic value. In other words, when ΣR, ΣG, and ΣB are the sum of R, G, and B values, and nr, ng, and nb are the numbers of read R, G, and B pixels, ΣR / nr, ΣG / ng, and ΣB / nb are characteristics. Value.
At this time, (ΣR / nr) / (ΣG / ng) = (ΣB / nb) / (ΣG / ng) = 1
If so, the white balance is appropriate. Therefore, auto white balance is maintained by multiplying ΣR and ΣB by a gain.
[0014]
FIG. 4 is a diagram for explaining the white balance correction method of the present invention. FIG. 4A shows a case where the characteristic value is corrected. The W line represents the optimum white balance value. FIG. 5 is a block diagram of a digital signal processing circuit and its peripheral circuits for explaining a white balance correction method. The operation will be described with reference to FIG. The RGB color image signal 20 input to the digital signal processing circuit 7 in FIG. 5 is read into the characteristic value processing unit 14a of the microcomputer 14, where ΣR and ΣB are processed, and a control value calculation unit based on the values. The control value is calculated at 14b. 4A, (a1) is an input image, (a2) is a reflection of user settings, (a3) is white balance correction, (a4) is a result image, and the process flows in the order of the arrows. Here, for example, when it is desired to capture a reddish image, an input image is first input from the RGB color image signal 20 (a1).
Next, ΣR calculated by the characteristic value calculation unit 21 is processed into a value of ΣR smaller than the actual ΣR by the characteristic value processing unit 14a in the microcomputer 14. Similarly, ΣB calculated by the characteristic value calculation unit 21 is processed into a value of ΣB larger than the actual ΣB by the characteristic value processing unit 14a in the microcomputer 14 (a2).
Next, when the white balance is adjusted by the control value calculation unit 14b, an R gain smaller than originally calculated is calculated. Then, when white balance is adjusted by the white balance control value calculation unit 14b, a smaller B gain than originally calculated is calculated (a3).
Then, the control value is set in the control value setting unit 25 of the YUV conversion unit 24, and R gain, G gain, and B gain are applied to the RGB color image data transmitted through the memory controller 22 by the YUV conversion unit 24. The data converted into YUV is written back to the frame memory 6, the display unit 8, the memory card 10 and the image compression / decompression circuit 9 via the memory controller 22 (a4).
As a result, since the value of R is larger and the value of B is smaller than when white balance adjustment is simply performed, a reddish image is generated.
[0015]
In addition, the characteristic value processing unit 14a in FIG. 5 performs gain control performed by the YUV conversion unit 24 by adding or subtracting the values of ΣR, ΣG, and ΣB. Further, the gain performed in the YUV conversion unit 24 is changed by changing the adjustment value according to the brightness of the subject acquired from the external sensor and adding or subtracting the values of ΣR, ΣG, and ΣB in the characteristic value processing unit 14a. Control is performed. Furthermore, the characteristic value processing unit 14a multiplies the values of ΣR, ΣG, and ΣB by a multiplication coefficient to control the gain performed in the YUV conversion unit 24.
[0016]
Further, the camera operator 17 in FIG. 1 can set the addition / subtraction multiplication by changing the adjustment value by the photographer, and the characteristic adjustment value can be set. Further, it is possible to store the value when the characteristic adjustment value is set in the EEPROM 16 of FIG. Further, the EEPROM 16 can store values obtained when a plurality of characteristic adjustment values are set, and can be appropriately selected from them later. Then, it is possible to select whether to read out the characteristic adjustment value selected by the camera operation unit 17 from the EEPROM 16 or to invalidate the correction value function, thereby enabling photographing intended by the photographer.
For example, when the characteristic adjustment value is switched by dividing the area according to the color temperature, the color temperature is calculated from the characteristic value read from the characteristic value calculation unit 14b in FIG. It is determined which color temperature area, such as the color color temperature area or the low color temperature area, and the characteristic adjustment value stored in the EEPROM 16 for the area is read out, and the characteristic adjustment value is determined according to the color temperature value. change.
[0017]
FIG. 6 is a block diagram of a digital signal processing circuit and its peripheral circuits for explaining a white balance correction method. The operation will be described with reference to FIG. Since the same reference numerals are given to the same components, duplicate explanations are omitted. The RGB color image signal 20 input to the digital signal processing circuit 7 in FIG. 6 is read into the control value calculation unit 14b of the microcomputer 14, where the white balance gain is calculated, and the control value processing unit 14c calculates the R gain, B gain is processed. In FIG. 4B, (b1) is an input image, (b2) is white balance correction, (b3) is a reflection of user settings, (b4) is a result image, and processing proceeds in the order of the arrows. For example, in the case where it is desired to take a bluish image, an input image is first input from the RGB color image signal 20 (b1).
Next, when the white balance is adjusted by the control value calculation unit 14b, more R gains are calculated than originally calculated. Then, when white balance is adjusted by the white balance control value calculation unit 14b, more B gains than originally calculated are calculated (b2).
Next, with respect to ΣB calculated by the characteristic value calculation unit 21, a B gain that is originally calculated when white balance is adjusted by the control value calculation unit 14b in the microcomputer 14 is calculated. The processing unit 14c processes a large B gain value. Similarly, for the ΣR calculated by the characteristic value calculation unit 21, an R gain that is originally calculated when white balance is adjusted by the control value calculation unit 14b in the microcomputer 14 is calculated, and the control value is calculated with respect to the gain. The processing unit 14c processes the R gain value to be small (b3).
The control value is read into the control value setting unit 25 of the YUV conversion unit 24, and the R color, the G gain, and the B gain are applied to the RGB color image data transmitted through the memory controller 22 by the YUV conversion unit 24. The data converted into YUV conversion is written back to the frame memory 6, the display unit 8, the memory card 10, and the image compression / expansion circuit 9 via the memory controller 22 (b4).
Thereby, since the value of B is larger and the value of R is smaller than when white balance adjustment is simply performed, a bluish image is generated.
[0018]
In addition, the control value processing unit 14c in FIG. 6 performs gain control performed by the YUV conversion unit 24 by adding or subtracting the values of the R gain, the G gain, and the B gain. Further, the adjustment value is changed according to the brightness of the subject acquired from the external sensor, and the value of R gain, G gain, and B gain is added or subtracted in the control value processing unit 14c, whereby the YUV conversion unit 24 The gain is controlled. Further, the control value processing unit 14c multiplies the R gain, G gain, and B gain values by a multiplication coefficient to control the gain performed by the YUV conversion unit 24.
Further, the camera operator 17 of FIG. 1 can set the addition / subtraction multiplication by changing the adjustment value by the photographer, and the control adjustment value can be set. Further, it is possible to store the value when the characteristic adjustment value is set in the EEPROM 16 of FIG. Further, the EEPROM 16 can store values obtained when a plurality of control adjustment values are set, and can be appropriately selected from them later. Then, it is possible to select whether to read out the control adjustment value selected by the camera operation unit 17 from the EEPROM 16 or to invalidate the correction value function, thereby enabling photographing intended by the photographer.
Further, for example, when switching the control adjustment value by dividing the area according to the color temperature, the color temperature is calculated from the characteristic value read from the characteristic value calculation unit 14b in FIG. It is determined which color temperature area, such as the color color temperature area or the low color temperature area, and the characteristic adjustment value stored in the EEPROM 16 for the area is read out, and the characteristic adjustment value is determined according to the color temperature value. change.
Also, the control limit value of white balance is stored in advance in the digital signal processing circuit 7 of FIG. 1, and when the calculated control value exceeds the control limit value, the control limit value is set as the control value. When the test mode is set by the camera operation unit 17 in FIG. 1, the RGB digital color image 20 in FIG. 5 is taken into the frame memory 6 through the digital signal processing circuit 7.
[0019]
As described above, when the white balance control value adjustment function intended by the photographer is disabled, the RGB color image signal 20 has a white balance gain that is not adjusted by the user setting in the digital signal processing circuit 7. Using this, YUV conversion is performed and the result is written back to the frame memory 6. In addition, when the white balance control value adjustment function is enabled, YUV conversion is performed using the white balance gain processed by one or both of the characteristic adjustment value and the control adjustment value, and is written in the SD frame memory 6. Returned. In this example, the function is validated / invalidated, but a plurality of images can be stored for a color image signal obtained by one exposure using a plurality of stored characteristic correction values or control correction values. It is.
[0020]
【The invention's effect】
  As described above, according to the present invention, the white balance can be controlled by adjusting the characteristic value of each color component to shift the color image signal to the intended hue.Further, there is no need to reset the characteristic adjustment value, and it is possible to save settings for each of a plurality of users and scenes according to the situation and environment at the time of shooting. In addition, you can select the characteristic adjustment value when you want to use the settings that have been set and saved in advance for multiple users and scenes, so that you can reflect them in shooting, and switch the setting between valid / invalid according to the situation. be able to. Also, for one shot, check how the correction was made before and after the adjustment of the two images, which are valid and invalid, or two types of adjustments. can do.Claim 2,8Can generate an image with a simple configuration by controlling each color component according to the user's preference. Claim 3,9Since the color can be adjusted according to the brightness of the object color of the subject, it is possible to prevent the correction degree from changing due to the difference in brightness. Claim 4,10Since it is possible to apply a coefficient equally to all pixels, the degree of correction does not change depending on the brightness even if the brightness is not detected. Claim 511Since the photographer can set the amount of hue shift in white balance, it is possible to capture images according to the hue intended by the photographer..
[0021]
ContractClaim6,12If each color component is R, G, B, for example, if the R component is higher than G, B, the color temperature is judged to be low, and red is emphasized only with a low color temperature light source. Is possible. Claim7By adjusting the control value of each color component, the color image signal can be shifted to the intended hue, and white balance can be controlled.Further, it is not necessary to reset the control adjustment value, and furthermore, it is possible to save settings for a plurality of users and scenes according to the situation and environment at the time of shooting. Furthermore,Control adjustment values can be selected when you want to use the settings that have been set and saved in advance for multiple users and scenes, and can be reflected in shooting.,The setting can be switched between valid / invalid according to circumstances.Also, for one shot, check how the correction was made before and after the adjustment of the two images, which are valid and invalid, or two types of adjustments. can do.Claim13Is corrected so that the control value of each color component falls within the control range, so that the overall color tone does not go wrong when the control limit is exceeded..
[Brief description of the drawings]
FIG. 1 is a block diagram of a digital still camera according to an embodiment of the present invention.
2A is a diagram of a pixel arrangement of a CCD color filter used in a color digital still camera, and FIG. 2B is a diagram showing a light receiving sensitivity distribution of a color image pickup device using the color filter.
3A is a diagram showing spectral sensitivity characteristics of a general CCD, and FIG. 3B is a diagram showing ideal spectral characteristics required by a camera.
FIGS. 4A and 4B are diagrams illustrating a white balance correction method according to the present invention, in which FIG. 4A illustrates a case where a characteristic value is corrected, and FIG. 4B illustrates a case where a control value is corrected;
FIG. 5 is a block diagram of a digital signal processing circuit and its peripheral circuits for explaining the white balance correction method of the present invention.
FIG. 6 is a block diagram of a digital signal processing circuit and its peripheral circuits for explaining the white balance correction method of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Lens, 2 Aperture part, 3 CCD, 4 CDS, 5 A / D converter, 6 Frame memory, 7 Digital signal processing circuit, 8 Display part, 9 Image compression / decompression circuit, 10 Memory card, 11 Motor driver, 12 Strobe , 13 Timing generator, 14 Microcomputer, 15 OSD, 16 EEPROM, 17 Camera operation unit, 100 Digital still camera body

Claims

Color image imaging means for converting a light signal obtained through the optical system into a color image signal and outputting the color image signal;
Characteristic value output means for outputting characteristic values of each color component from the color image signal;
Control value calculating means for calculating a white balance control value from the characteristic value of each color component;
White balance control value setting means for setting the calculated control value;
White balance means for performing white balance processing according to the set control value ;
And a characteristic value adjusting means for adjusting the characteristic values the previous SL characteristic value output means outputs,
In Luke error imaging device to adjust the characteristic value of the white balance by the characteristic value adjusting means,
A characteristic adjustment value storage device for storing a plurality of characteristic adjustment values adjusted by the characteristic value adjustment means;
A function selection device for selecting which one of the plurality of stored characteristic adjustment values to use, or switching between valid and invalid of the characteristic adjustment value;
An image storage device capable of storing at least two color images output from the color image imaging means,
In one imaging operation, the processing result image of both the processing for enabling and disabling the characteristic adjustment value by the function selection device or a plurality of processing result images using the plurality of stored characteristic adjustment values, respectively A color imaging device, wherein the color imaging device is stored in an image storage device .

2. The color imaging apparatus according to claim 1, wherein the characteristic value adjusting means adjusts the color by adding or subtracting characteristic values of the respective color components.

3. The color imaging apparatus according to claim 2, wherein the characteristic value adjusting unit includes a brightness detecting unit, and adjusts the value to be added to or subtracted from the characteristic value depending on the brightness of the subject.

2. The color imaging apparatus according to claim 1, wherein the characteristic value adjusting unit adjusts the color by multiplying the characteristic value of each color component by a multiplication coefficient.

Further comprising a characteristic adjustment value input means for setting an adjustment value of the characteristic value adjusting means, to any one of claims 1 to 4 photographer characterized in that the settable the characteristic adjustment value The color imaging device described.

Characteristic value determining means for determining the magnitude relationship between the characteristic values of the respective color components output by the characteristic value output means, and switching the characteristic adjustment value used by the characteristic value adjusting means according to the result of the characteristic value determining means; The color imaging apparatus according to claim 1, wherein:

Color image imaging means for converting a light signal obtained through the optical system into a color image signal and outputting the color image signal;
Characteristic value output means for outputting characteristic values of each color component from the color image signal;
Control value calculating means for calculating a white balance control value from the characteristic value of each color component;
White balance control value setting means for setting the calculated control value;
White balance means for performing white balance processing according to the set control value ;
And a control value adjusting means is pre-SL control value calculating means for adjusting the white balance control value output,
In Luke error imaging device to adjust the white balance control value calculated based on the Zode over data shooting based on the output color image signal from the color image pickup means by said control value adjustment means,
A control adjustment value storage device for storing a plurality of control adjustment values adjusted by the control value adjustment means;
A function selection device for selecting which control adjustment value to use from among the plurality of stored control adjustment values, or for switching between valid and invalid of the control adjustment value;
An image storage device capable of storing at least two color images output from the color image imaging means,
In a single imaging operation, the processing result image of both the process of enabling the control adjustment value and the process of disabling the control adjustment value by the function selection device, or a plurality of process result images respectively using the plurality of stored control adjustment values A color imaging device, wherein the color imaging device is stored in an image storage device .

8. The color imaging apparatus according to claim 7, wherein the control value adjusting unit adjusts the color by adding or subtracting a white balance control value of each color component.

9. The color imaging apparatus according to claim 8, wherein the control value adjusting unit changes and adjusts a value to be added to or subtracted from the white balance control value according to the brightness of the subject.

8. The color imaging apparatus according to claim 7, wherein the control value adjusting unit adjusts the color by multiplying a white balance control value of each color component by a multiplication coefficient.

Further comprising a control adjustment value input means for setting an adjustment value of the control value adjustment means, to any one of claims 7 to 10 photographer, characterized in that to enable setting the control adjustment value The color imaging device described.

Control value determining means for determining the magnitude relationship between the control values of the respective color components calculated by the control value calculating means, and switching the control adjustment value used by the control value adjusting means according to the result of the control value determining means. 8. The color imaging apparatus according to claim 7, wherein

Includes a white balance control limitation value storage device for storing a set limit value of the white balance control value, if the white balance control value in which the white balance control value calculating means calculates exceeds the control limit, the control limitation value color imaging apparatus according to any one of set as the control value claims 1 to 12, characterized in that the white balance processing.