JP3984666B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP3984666B2 JP3984666B2 JP01688396A JP1688396A JP3984666B2 JP 3984666 B2 JP3984666 B2 JP 3984666B2 JP 01688396 A JP01688396 A JP 01688396A JP 1688396 A JP1688396 A JP 1688396A JP 3984666 B2 JP3984666 B2 JP 3984666B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- ratio
- white
- white range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は撮像装置に係わり、特に、静止画を撮像する撮像装置に用いて好適なものである。
【0002】
【従来の技術】
図12は、従来のデジタル電子カメラの概略を表すブロック図である。
図12において、300はデジタル電子カメラ、308はメモリカード等の記録媒体である。
【0003】
デジタル電子カメラ300において、301は焦点距離や画角が調整可能な撮像レンズ、302は絞り機能とシャッター機能を兼ねる絞り兼用シャッター、304は撮像レンズ301や絞り兼用シャッター302を駆動するメカ系駆動回路である。
【0004】
101は被写体からの反射光を電気信号に変換する撮像素子、103は撮像素子を動作させるために必要なタイミング信号を発生するタイミング信号発生回路(以下TGとする)、102はタイミング信号発生回路からの信号を撮像信号駆動可能なレベルに増幅する撮像素子駆動回路、104は撮像素子101の出力ノイズ除去のためのCDS回路やAGC回路を備えた前置処理回路(プリプロセス手段)、105はA/D変換器である。
【0005】
303はA/D変換器105によってA/D変換されたデジタル信号を処理する撮像信号処理する回路を有する撮像信号処理回路、108はシステム制御CPU、116は操作補助のための表示やカメラの状態を表す操作表示部、118はカメラの撮影開始を外部撮影者が制御するためのスイッチで、第1ストロークSW1と第2ストロークSW2の2段階操作が可能である。
【0006】
307はデジタル電子カメラ300と記録媒体308とを接続するための記録媒体I/Fである。また305は光学系301の焦点調整のために撮像装置と被写体との距離を測定する装置供給測距回路、306は被写体の明るさを測定する測光回路である。
【0007】
また、図13は撮像信号処理回路303の内部構成とその周辺を示すブロック図である。
図13において、101は色フィルタが補色の撮像素子(CCD)であり、撮像した信号はプリプロセス手段104を介してA/D変換器105に入力し、上記A/D変換器105においてデジタル信号に変換された後に撮像信号処理回路303に入力される。
【0008】
上記撮像信号処理回路303に入力された信号は、メモリ410に一旦記憶された後、あるいは直接に401エンハンサー・C SEP回路へ入力される。そして、エンハンサー・C SEP回路401および遅延器402を用いて輝度信号と色信号とを分離され、輝度信号に対しては周波数の高域部に対する強調・補償が行われる。
【0009】
上記エンハンサー・C SEP回路401から出力される色信号は、CCD色フィルタ(Ma(Mgとも称す),G,Cy,Ye)をそれぞれ加算した信号(Wr,Wb,Gr,Gb) であり、同色信号をC MTX403においてRGB信号に変換される。
【0010】
次に、第1の低域通過フィルタ404にて輝度信号Yと色信号に対してフィルタ処理が施される。その後、ホワイトバランス調整回路(WB)405に与えられる。上記ホワイトバランス調整回路(WB)405は、色信号RGBの利得のそれぞれをAWB408に従って制御する。
【0011】
406は、輝度信号Yおよび色信号RGBに対してガンマ処理を施すガンマ回路である。C−Y MTX407は、ガンマ処理されたRGB信号を色差信号(R-Y) 、(B-Y) に変換するマトリクス回路である。
【0012】
AWB408は、RGB信号あるいはC−Y MTX407の出力(R-Y) 信号、B-Y 信号およびY信号を一定期間積分し、その積分値に応じて上記ホワイトバランス調整回路(WB)405でR信号およびB信号の利得を制御してホワイトバランス制御をするための制御信号を発生させるための制御回路である。
【0013】
第2の低域通過フィルタ409は、色差信号RGBに対するフィルタ処理するフィルタである。そして、輝度信号Yと色差信号(R-Y) 、(B-Y) をメモリ410に1画像分記憶した後に、圧縮回路411においてデータ圧縮処理を施す構成である。412はCCDをフレーム読み出しする時の垂直方向の画素加算を行う画素加算回路である。
【0014】
図14は、制御回路(AWB)408の詳細な図面であり、色差信号(R-Y,B-Y) を入力し、上記色差信号(R-Y,B-Y) の振幅に対し所定値を越えた大きな振幅の入力を制限するクリップ回路を有する。
【0015】
そして、上記クリップ回路を通過した色差信号(R-Y) および色差信号(B-Y) と輝度信号Y とを、例えば一画面を複数ブロックに分割し、この分割ブロック毎に積分する。
【0016】
上記色差信号(R-Y) と(B-Y) とで作る座標において、白色の色温度変化時における変化範囲を白判別範囲(図15のように)として設け、ブロック毎の積分値が同座標上において白判別範囲内にあるか否かを判別し、白判別範囲内の積分値を用いてR信号とB信号のゲインを定める制御を108のシステム制御CPUが行い、このゲインに応じた制御値でR/Bそれぞれのゲインを調整する。
【0017】
【発明が解決しようとする課題】
上記従来例によるホワイトバランス制御は、動画撮影時に適応するには時間経過にともなってある制御状態に収束する。しかしながら、静止画撮影において上記従来例に基づくホワイトバランス制御を適応するには、画像の撮影(本露光)の前に一旦撮像素子を露光する。
【0018】
そして、上記露光した信号を信号処理回路を用いて色差信号を作り上記従来のホワイトバランス検出により色差信号( R-Y)、(B-Y) の座標上の位置から色温度状況を検出し同色温度における調整値を得た後に、本露光を行い先に得た調整値を用いてゲイン調整を行ってホワイトバランスを取る。
【0019】
このように、一回のホワイトバランス検出で正確な色温度を検出する必要があるが、従来のように色差信号( R-Y)および(B-Y) で座標を作り、同座標上に白判別範囲を設定する方法にあっては、ある色を低輝度で撮影した時とある色温度(特に白判別範囲内にあってR-Y 軸とB-Y 軸の交差点より遠い場所にあたる色温度) における白撮影した時とではともに白判別範囲内に入るので色温度の特定が難しくなり正確な色温度を検出することができない欠点があった。
【0020】
例えば、色差信号(R-Y) と輝度信号Yとの関係は、図16に示すように、色温度変化がαからβまでの間であるとき、白色は点a,b,o の3つで囲まれた領域に存在する。これに対し、ある色(a色)は点c,d,o の3点で囲まれた領域に存在するものとする。従来のように、色差信号(R-Y) のレベル(e) で白色を判別すると、領域(F) 内の(a色) も含まれることとなり、色温度検出の妨げとなる問題があった。
さらに、例えば、画像中に白が占める割合が低い場合など、白色領域に含まれてしまう上述の他の色の影響によって、ホワイトバランスが大きく崩れてしまうという問題があった。
【0021】
本発明は上述の問題点にかんがみ、輝度信号レベルに依存しない正確な色温度検出を行うことができるようにすることを目的とする。
【0022】
【課題を解決するための手段】
本発明の撮像装置は、分光特性が異なる4種類のCy、Ma、Ye、Grから成る色フィルタを有する撮像素子と、上記撮像素子の撮像領域上に設定された上記色フィルタの複数画素を各々含む複数のサンプルポイントの各々において、上記色フィルタのYe信号とCy信号との差分を表すYeCy差分信号を生成するYeCy差分信号生成手段と、上記サンプルポイントにおいて、上記色フィルタのMa信号とGr信号との差分を表すMaGr差分信号を生成するMaGr差分信号生成手段と、上記YeCy差分信号とCy信号との比率を表す第1の比率信号、および上記MaGr差分信号とGr信号との比率を表す第2の比率信号を生成する比率信号生成手段と、上記第1の比率信号の成分と上記第2の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第1の比率信号と第2の比率信号とが入るか否かを判別する白色範囲判別手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第1の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第1の領域と異なる第2の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したCy信号、Ma信号、Ye信号、Gr信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする。
【0023】
また、本発明の他の特徴とするところは、分光特性が異なるR、G、Bの色フィルタを有する撮像素子と、上記撮像素子の撮像領域上に設定された上記色フィルタの複数画素を各々含む複数のサンプルポイントの各々において、上記色フィルタのうち、所定の2色フィルタに対応する撮像素子からそれぞれ出力される色信号の差分を表す第1の信号を生成する第1の信号生成手段と、上記サンプルポイントの各々において、上記撮像素子からそれぞれ出力されるR、G、Bの各色信号を演算して得られる、第1の信号とは異なる第2の信号を生成する第2の信号生成手段と、上記撮像素子から出力される色信号より第3の信号を生成する第3の信号作成手段と、上記第1の信号と上記第3の信号との比率を表す第1の比率信号、上記第2の信号と上記第3の信号との比率を表す第2の比率信号を生成する比率信号生成手段と、上記第1の比率信号の成分と上記第2の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第1の比率信号と第2の比率信号とが入るか否かを判別する白色範囲判別手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第1の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第1の領域と異なる第2の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したR信号、G信号、B信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする。
【0024】
また、本発明のその他の特徴とするところは、分光特性が異なる4種類のCy、Ma、Ye、Gから成る色フィルタを有する撮像素子と、上記撮像素子から垂直方向の2画素をWb=Ma+Cy、Gr=G+Ye、Gb=Cy+G、Wr=Ye+Maのように加算して読み出す加算読み出し手段と、上記加算読み出しされた信号上で上記Wb、Gr、Gb、Wr信号を各々含む複数のサンプルポイントの各々において、上記加算読み出し手段によって読み出された信号出力から((Wr−Gb)−(Wb−Gr))で表される信号を生成する第1の信号生成手段と、上記サンプルポイントにおいて、上記加算読み出し手段によって読み出された信号出力から((Wr−Gb)+(Wb−Gr))で表される信号を生成する第2の信号生成手段と、上記サンプルポイントごとに上記第1の信号とWr+Gb信号との比率を表す第1の比率信号、および上記第2の信号とWb+Gr信号との比率を表す第2の比率信号を生成する比率信号生成手段と、上記第1の比率信号の成分と上記第2の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第1の比率信号と第2の比率信号とが入るか否かを判別する白色範囲判別手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第1の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第1の領域と異なる第2の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したCy信号、Ma信号、Ye信号、G信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする。
【0034】
【作用】
上記課題を解決するために、本発明においては、輝度信号Yに対する色差信号(R-Y) 、(B-Y) の傾き、すなわち、(R-Y)/Y 、(B-Y)/Y は輝度信号Yのレベルによらず色温度と撮影色とから定められる値であることから、(R-Y)/Y 、(B-Y)/Y から座標を作って白判別範囲を定め、撮影画の(R-Y)/Y 、(B-Y)/Y と輝度信号Y、または撮像素子の露光量を用いて重み付けを行い、色温度を検出することにより輝度信号レベルに依存しない正確な検出を行えるようにしている。
【0035】
また、輝度信号Yまたは撮像素子の露光量を用いて、白判別内の信号値に重み付けを行うことにより、画像中に白が占める割合が低くても、他の色の影響を少なくすることができるようにして、より正確なホワイトバランス信号を得ることができるようにしている。
【0036】
また、本発明の他の特徴によれば、色差信号の傾き(R-Y)/Y 、(B-Y)/Y に代わって、(Mg-G)/(Mg+G) 、(Ye-Cy)/(Ye+Cy) または(Mg-G)/(Mg+G+Cy+Ye) 、(Ye-Cy)/(Mg+G+Ye+Cy)によって座標を作り色温度の検出をすることにより、(Mg,G,Cy,Ye ) 補色フィルタを有する撮像素子の読み出し信号から、簡易な処理で色温度検出が直接できるため、本露光前の色温度検出のための露光および信号処理を省略することができ、簡易でかつ正確な色温度検出が可能となる。
【0037】
ここで、分子を(Mg-G ) および(Ye-Cy) とすることにより、色温度変化方向が(Mg-G ) 軸にほぼ垂直で(Ye-Cy) 軸にほぼ平行であるため、白判別範囲の設定を容易に行うことができる。
また、(R,G,B) 純色フィルタを有する撮像素子にあっては、(R-B)/(R+G+B) 、(R+B-G)/(R+G+B) によって座標を作って色温度の検出を図ることにより、補色フィルタを有する撮像素子と同様に本露光前の色温度検出のための露光および信号処理を省略することができ、撮像素子出力信号より、簡易な処理で正確な色温度検出が可能となる。
【0038】
また、本発明のその他の特徴によれば、色差信号の傾き(R-Y)/Y 、(B-Y)/Y に代わって(Mg-G)/G、または(Mg-G)/Mg と(Ye-Cy)/Cy、または(Ye-Cy)/Yeによって座標を作り色温度の検出をすることにより、(Mg,G,Cy,Ye)の色フィルタを有する撮像素子の読み出し信号から直接に色温度検出ができるため、本露光前の色温度検出のための露光および信号処理を省略することができ、簡易でかつ正確な色温度検出が可能となる。
【0039】
また、白色部分を少量しか含まない被写体撮影時にあっても(Mg-G)/G=a、(Ye-Cy)/Cy=bの形で白色判別範囲内の座標を与えることにより、白色判別範囲内におけるMg′=(1+a)*G、Ye'=(1+b)*Cyの形で簡易な処理で撮像素子出力を置き換えることができ、上記撮影条件にあってもホワイトバランスが大きくずれないホワイトバランス調整が可能となる。
【0040】
また、(R,G,B) 純色フィルタを有する撮像素子にあっては(R-B)/G 、(R+B-G)/G によって座標を作り色温度の検出を図ることにより、補色フィルタを有する撮像素子と同様に本露光前の色温度検出のための露光および信号処理を省略することができ、撮像素子出力信号より、簡易な処理で正確な色温度検出が可能となるとともに、白色部分を少量しか含まない被写体撮影時にあっても(R-B)/G=a 、(R+B-G)/G=b の形で白色判別範囲内の座標を与えることにより、白色判別範囲内におけるR'=(1+a+b)*G/2、B'=(1-a+b)*G/2の形の簡易な処理で撮像素子出力を置き換えることができ、上記撮影条件にあってもホワイトバランスが大きくずれないホワイトバランス調整を可能としている。
【0041】
【発明の実施の形態】
以下、本発明の撮像装置の一実施形態を図面を参照して説明する。
図1および図2は、本実施形態の撮像装置の動作を説明するためのフローチャート、図3は本発明の撮像装置の第1の実施形態に係わる電子カメラの信号処理の流れを示したブロック図である。
【0042】
本実施形態における撮像素子はフレーム読み出しを行うため、撮像素子からの出力信号M,G,C,Y は、撮像素子に張り付けられたフィルタに応じて出てくる。
まず、オプティカルブラック領域における各フィルタ出力は積分器31において積分され、その積分値が黒レベル調整回路32に与えられて黒レベルの調整が行される。
【0043】
次に、ホワイトバランス検出回路33においてホワイトバランス検出が行われ、ホワイトバランス検出された出力がゲイン調整回路34に与えられ、白点におけるMa、Gr、Cy、Yeの出力ゲインが同じになるようにゲイン調整される。
【0044】
一方、輝度信号(Y)は、色フィルタによるモアレを除去するためにローパスフィルタ35を通した後、アパチャー補正を行う。ここでは、水平、垂直についてそれぞれハイパスフィルタ36a、36bを通される。
【0045】
その後、ゲイン調整回路37a、37bでゲインを調整される。その後、振幅調整回路38a、38bにおいて、アパチャー信号の振幅の小さいものにはその振幅が大きくなるようにする処理が施されるとともに、振幅の大きいものにはその振幅が小さくなるようにするPeak To Peak処理が施される。
【0046】
次に、ベースクリップ(BC)回路39a、39bにおいてノイズレベルの小さな信号をカットする処理を施された後、加算回路40において水平、垂直が足される。さらに、ゲイン調整回路41においてゲイン調整が行われた後、加算回路42において輝度成分(Yn)に加えられる。
【0047】
色差信号(R-Y,B-Y) を作るには、まず、同時化回路50で4色の信号M,G,C,Y を同時化する。
次に、画素補間回路51において、撮像面全領域に4つの色信号M,G,C,Y が割り当てられるよう画素補間を行う。
【0048】
次に、4×3の第1のマトリクス回路52を用いてMGYS信号をRGB信号に変換する。このとき、第1のマトリクス回路52は、ホワイトバランス情報から被写体の色温度を判別して、その色温度における色再現が最もよくなるようなマトリクスが用いられる。
【0049】
次に、第2のマトリクス回路53において、RGB信号を(R-Y) 信号、(B-Y) 信号に変換するとともに、ローパスフィルタ54に通し、モアレ低減のためのローパスフィルタ処理を行う。次に、色処理回路55において、Y信号を参考に飽和の色消し処理を行う。
【0050】
このようにして作られた、輝度信号(Y)と色差信号(R-Y,B-Y) は、カラーデコーダ56によってRGB信号に変換され、その後、ガンマ処理回路57においてガンマ補正処理が行われた後、記録される。
【0051】
次に、本実施形態の主眼点である、ホワイトバランス処理について詳細に説明する。CCD補色フィルターが図4のように配列されている場合、図4の8画素配列を単位ブロックとして、この単位ブロックの繰り返しで全体の配列が成り立っている。
【0052】
これらの8画素の出力を、それぞれの色フィルタに合わせてMa1 、Ma2 、Gr1 、Gr2 、Cy1 、Cy2 、Ye1 、Ye2 とする。なお、同色フィルタの出力をそれぞれ2色(Ma1とMa2 、 Gr1とGr2 、 Cy1とCy2 、 Ye1とYe2)に分けて扱うのは、隣接画素の色が異なることにより同色フィルタの画素でも互いに出力レベルが異なるためである。
【0053】
以下、図1および図2に従ってホワイトバランス処理を詳細に説明する。
まず、最初のステップS11において、1サンプルごとにサンプルデータを抽出する。
【0054】
次に、ステップS12において、上記ステップS11で抽出したサンプルデータがWBサンプル点として有効か否かを判断する。上記判断の結果、上記抽出したサンプルデータがWBサンプル点として有効である場合にはステップS13に進み、有効でない場合にはステップS11からやり直す。
【0055】
ステップS13は、抽出したサンプルポイント8画素の全てについてWBデータとして計算できる明るさが有るか否かを判断するものであり、以下の式を用いて行う。
DarkThreshold < PixelValue < BrightThreshold
ここで、
DarkThreshold :あらかじめ決められた値
BrightThreshold: - " -
PixelValue :サンプルポイント8画素
【0056】
上記ステップS13における判断の結果、サンプルポイントの8画素の全てが、次の式を満たす場合はステップS14に進み、一つでも満たさない場合、サンプルポイントを次にへ移行して上述したステップS11からやり直す。
【0057】
ステップS14においては、エッジのしきい値を判断する。これは、サンプルポイントの8画素全てが次の式を満たすか否かを調べる。
EdgeThreshold > |Ma1-Ma2 |
EdgeThreshold > |Gr1-Gr2 |
EdgeThreshold > |Cy1-Cy2 |
EdgeThreshold > |Ye1-Ye2 |
ここで、
EdgeThreshol:あらかじめ決められた値である。
【0058】
ステップS14の判断の結果、8画素全てが満たす場合はステップS15に進み、一つでも満たさない場合は、そのサンプルポイントにはエッジが含まれているいると判断し、次のサンプルポイントへ移行しステップS11からやり直す。
【0059】
ステップS15においては、各サンプルポイントにおいて、(X1,Y1,X2,Y2) を以下の式(1)〜式(4)の値を求める。
X1=(Ye1-Cy1)/Cy1 …(1)
Y1=(Ma1-Gr1)/Gr1 …(2)
X2=(Ye2-Cy2)/Cy2 …(3)
Y2=(Ma2-Gr2)/Gr2 …(4)
また、(R,G,B) 純色フィルタを有する撮像素子にあっては、(R-B)/(R+G+B) 、(R+B-G)/(R+G+B) によって座標を作って色温度の検出を図ることにより、補色フィルタを有する撮像素子と同様に本露光前の色温度検出のための露光および信号処理を省略することができ、撮像素子出力信号より、簡易な処理で正確な色温度検出が可能となる。
また、(R,G,B) 純色フィルタを有する撮像素子にあっては(R-B)/G 、(R+B-G)/G によって座標を作り色温度の検出を図ることにより、補色フィルタを有する撮像素子と同様に本露光前の色温度検出のための露光および信号処理を省略することができ、撮像素子出力信号より、簡易な処理で正確な色温度検出が可能となるとともに、白色部分を少量しか含まない被写体撮影時にあっても(R-B)/G=a 、(R+B-G)/G=b の形で白色判別範囲内の座標を与えることにより、白色判別範囲内におけるR'=(1+a+b)*G/2、B'=(1-a+b)*G/2の形の簡易な処理で撮像素子出力を置き換えることができ、上記撮影条件にあってもホワイトバランスが大きくずれないホワイトバランス調整を可能としている。
【0060】
次に、ステップS16において、図5に示すように、(Ye-Cy)/CyをX軸、( Ma-Gr)/Gr をY軸にとり、式(1)から(4)が、XY軸上に設けた所定の白領域内にあるか否かを判断する。
【0061】
この判断の結果、所定の白領域内にある場合、つまり以下の条件式、
a<X1<b, c<Y1<d かつ a<X2<b, c<Y2<d …(5)
を満たす場合、上記サンプルポイントをホワイトバランスWB設定を行うためのデータとして有効と見做してステップS17に進む。また、上記式(5)を満たさない場合は、上記データを無効と見做してステップS27に進む。
【0062】
ステップS17においては、まず、上記サンプルポイントにおいて、以下の式を用いて、WB座標におけるサンプルポイントのXY軸値の平均値、及び、輝度値を求める。
AverageX=(X1+X2)/2
AverageY=(Y1+Y2)/2
AverageBrightness=(Ma1+Ma2+Gr1+Gr2+Cy1+Cy2+Ye1+Ye2)/8
【0063】
次に、ステップS18において、上記サンプルデータが最初のホワイトバランスWB設定に有効データか否かを判断する。そして、上記サンプルポイントが設定に有効データとみなされた最初のサンプルポイントである場合は、ステップS19に進み、そうでない場合には、ステップS21に進む。
【0064】
ステップS19においては、図6に示すよう値をパラメータとして持つサンプルポイントグループを作り、ステップS17で求めた値、及び、同ポイントの画素値を代入する。すなわち、下記の計算を行う。
GpX=AverageX
GpY=AverageY
GpBrightness=AverageBrightness
GpMa1=Ma1
GpMa2=Ma2
GpGr1=Gr1
GpGr2=Gr2
GpCy1=Cy1
GpCy2=Cy2
GpYe1=Ye1
GpYe2=Ye2
GpNumber=1
GpWeight=1
【0065】
その後、ステップS20に進み、全サンプルデータの抽出を完了したか否かを判断する。そして、まだ全てのサンプルデータの抽出を完了していない場合にはステップS11に戻って上述した処理を繰り返し行う。
【0066】
一方、ステップS18の判断の結果、上記サンプルポイントが設定有効データと見なされた最初のサンプルポイントでなかった場合には、ステップS21に進み、サンプルポイントグループに含まれるか否かを判断する。
【0067】
上記判断の結果、含まれる場合にはステップS22に進み、サンプルポイントグループに含ませる処理を行う。
また、ステップS21の判断の結果、含まれない場合にはステップS23に進み、サンプルポイントグループが終わったか否かを判断し、終わっていない場合にはステップS21に戻り、サンプルポイントグループが終わった場合にはステップS19に移行する。
【0068】
上述したステップS21〜ステップS22の処理を数式を用いて説明すれば、同サンプルポイントがWB設定有効データとみなされた最初でないサンプルポイントである場合は、既存のサンプルポイントグループのGpX 、GpY 、GpBrightnessの値を用いて、以下の条件式を満たすときに、同サンプルポイントはそのサンプルポイントグループに含まれると判断し、サンプルポイントグループに含ませるようにする。
【0069】
【0070】
また、現在作られている全てのサンプルポイントグループに含ませることができない場合は、同サンプルポイントを基準とする新たなサンプルポイントグループを作成する。
【0071】
全てのサンプルポイントにおいて、ステップS17〜ステップS19の処理が終了したら、ステップS17で作られた一つあるいは複数個のサンプルポイントグループの中から、本当の白のグループを探すわけであるが、実際にはどれが白であるかわからない。
【0072】
そこで、次に、まず、図2のステップS24において、サンプルポイントグループを輝度の高い順にソートする。
次に、輝度の高いものは白であるという仮定をして、上記複数のサンプルポイントグループの輝度情報GpBrightness を用いて、輝度の大きいものからN番目までを白である確率が高いグループとしてそのサンプルポイントグループの重み付けを行う。重み付けは以下の式で行う(ステップS25、ステップS26)。
【0073】
【0074】
一方、ステップS15で求めて座標に表したホワイト点(X1,Y1)(X2,Y2)が所定範囲内にないものとステップS16で判断されたならば、図1のステップS27に進み、図5のように同座標点を所定範囲枠上に移動し、範囲枠上の座標(X',Y') から、次式を用いて、色フィルタ出力Ma1'、Ma2'、Ye1'、Ye2'を新たに求め直す。
Ma1'=(1+Y')*Gr1
Ma2'=(1+Y')*Gr2
Ye1'=(1+X')*Cy1
Ye2'=(1+X')*Cy2
【0075】
ただし、座標点の移動の仕方は図5のように、座標点に対して最も近い所定範囲枠上の座標に移動するものとする。この座標移動処理を色クリップ処理と呼ぶ。この色クリップ処理されたサンプルポイントの総数を、次のステップS28でカウントし、SN2 とする。次に、ステップS29に進み、色クリップによって求められる積分値をMa1'、Ma2'、Gr1'、Gr2'、Cy1'、Cy2'、Ye1'、Ye2'とする。
【0076】
重み付けが終わったら、次に、ステップS30に進み、ステップS17〜ステップS19及びステップS25〜ステップS26で得られた全てのサンプルポイントグループに対して、以下の式を用いて重み付け、白判別範囲内の積分値(SMa1,SMa2,SGr1,SGr2,SCy1,SCy2,SYe1,SYe2) を求める。
【0077】
SMa1=SMa1+GpMa1*GpWeight
SMa2=SMa2+GpMa2*GpWeight
SGr1=SGr1+GpGr1*GpWeight
SGr2=SGr2+GpGr2*GpWeight
SCy1=SCy1+GpCy1*GpWeight
SCy2=SCy2+GpCy2*GpWeight
SYe1=SYe1+GpYe1*GpWeight
SYe2=SYe2+GpYe2*GpWeight
【0078】
次に、ステップS31において、同時に白とみなされたサンプルポイント数SN1 を求める。
SN1=SN1+GpNumber
【0079】
次に、ステップS32において、全てのサンプルポイントグループに実行したたか否かを判断し、実行していなければステップS30に戻る。また、全てに実行した場合にはステップS33に進む。
【0080】
ステップS33においては、サンプル数(SN1+SN2) が0、または所定以上得られているか否かを判断し、所定以上得られていなければ、ステップS34に進み、ホワイトバランス調整データとして、所定の色温度(例えば5000K )のホワイトバランス調整値を用いる。
【0081】
また、ステップS33の判断の結果、サンプル数(SN1+SN2) が所定以上得られている場合には、ステップS35に進み、白撮影時の平均輝度レベルとしての、
SY=(SMa1+SMa2+SGr1+SGr2+SCy1+SCy2+SYe1+SYe2)/8
を求め、この平均輝度レベルに対する各色の積分値の比率を求める。
gmg1=SY/(2*SMa1) gmg2=SY/(2*SMa2)
gg1=SY/(2*SGr1) gg2=SY/(2*SGr2)
gcy1=SY/(2*SCy1) gcy2=SY/(2*SCy2)
gye1=SY/(2*SYe1) gye2=SY/(2*SYe2)
【0082】
次に、ステップS36に進み、クリップ時の平均輝度レベルとしての
SY'=(SMa1'+SMa2'+SGr1'+SGr2'+SCy1'+SCy2'+SYe1'+SYe2'/8
を求め、この平均輝度レベルに対する各色の積分値の比率を求める。
gmg1'=SY'/(2*SMa1') gmg2'=SY'/(2*SMa2')
gg1'=SY'/(2*SGr1') gg2'=SY'/(2*SGr2')
gcy1'=SY'/(2*SCy1') gcy2'=ST'/(2*SCy2')
gye1'=SY'/(2*SYe1') gye2'=SY'/(2*SYe2')
【0083】
次に、ステップS37に進み、ステップS35およびステップS36で得られた、各色の積分値の比率と、白判別範囲内の積分サンプル数SN1 と、色クリップによる積分サンプル数SN2 とにより、ホワイトバランス調整データ(wmg1,wg1,wcy1,wye1,wmg2,wg2,wcy2,wye2) を作る。
【0084】
例えば、
のような処理を施す。
【0085】
これらの値をホワイトバランス調整データとして記憶する。
上記処理で得られたホワイトバランス調整データを、撮像素子から得られた画素毎の信号値にかけることで、ホワイトバランスをとることができる。
【0086】
以上説明したように、本実施形態においては撮像素子からの信号値でホワイトバランスのための座標を作り、その座標において白領域に入ったサンプル点に対し、白いものは相対的に輝度値が高いという仮定のもとに重み付けを行う。
【0087】
その後、そのサンプル点で積分を行う処理をするので、画像中に白が少ない場合であっても、他の色に影響されてホワイトバランスが大きくくずれることを回避することが可能となる。
【0088】
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。上述した第1の実施形態では、電子カメラの信号読みだしはフレーム読みだしであったが、この第2の実施形態においては電子カメラの信号をフィールド読みだしで行っている。
【0089】
本実施形態における撮像素子はフィールド読み出しを行うため、図9に示すように、撮像素子からの出力は垂直方向2画素が加算されて読み出される。この図9において、
Wb=Ma+Cy
Gr=G+Ye
Gb=Cy+G
Wr=Ye+Ma
である。
【0090】
本実施形態の場合、色フィルタが(Ma,g,Cy,Ye)から(Wb,Gr,Gb,Wr) に変わったものと考えると、上述したフレーム読み出しとほぼ同じ処理を行うことになり、ハード構成は、上述した第1の実施形態における図3と同様であるので、図示を省略する。
【0091】
本実施形態において、まず、オプティカルブラック領域における各フィルタ出力の積分値を用いて黒レベルの調整を行う。
次に、ホワイトバランス処理を行い、白点におけるWb、Gr、Gb、Wrの出力ゲインが同じになるようにする。
【0092】
輝度信号(Y)を作るには、色フィルタによるモアレを除去するために水平ローパスフィルタがかけられた後、アパチャー補正を行う。ここでは、水平、垂直にそれぞれハイパスフィルタがかけられ、ゲインを調整、アパチャー信号の振幅の小さいものにはそのCPUが大きくなるように、また振幅の大きいものにはその振幅が小さくなるようにPeak To Peak処理が施され、水平、垂直が足され、さらにゲインをかけて、輝度成分(Yn)に加えられる。
【0093】
色差信号(R-Y,B-Y) を作るには、まず同時化回路で4色の信号を同時化し、撮像面領域に4つの色信号が割り当てられるよう画素補間を行う。
次に、4×3のマトリクス回路を用いてWb信号、Gr信号、Gb信号、Wr信号をRGB信号に変換する。このとき、マトリクス回路は、ホワイトバランス情報から被写体の色温度を判別して、その色温度における色再現の最もよくなるようなマトリクス回路が用いられる。
【0094】
次に、RGB信号をR-Y 、B-Y 信号に変換し、モアレ低減のためのローパスフィルタをかけ、Y信号を参考に飽和の色消し処理を行う。
このようにして作られた、輝度信号(Y)と色差信号(R-Y,B-Y) は、RGB信号に変換され、ガンマ補正処理を行った後、記録される。
【0095】
次に、本実施形態の主眼点である、ホワイトバランス処理について詳細に説明する。CCD補色フィルタが図9(a)のように配列している場合、図の8画素配列を単位ブロックとして、この単位ブロックの繰り返しで全体の配列が成り立っている。ここで、フィールド読み出しを行うため、1フィールドでは、図9(b)のような信号が読み出される。
【0096】
次に、図7、図8を参照しながら第2の実施形態の処理手順を説明する。
まず、最初のステップS61において、1サンプルごとにサンプルデータを抽出する。
【0097】
次に、ステップS62において、上記ステップS61で抽出したサンプルデータがWBサンプル点として有効か否かを判断する。上記判断の結果、上記抽出したサンプルデータがWBサンプル点として有効である場合にはステップS63に進み、有効でない場合にはステップS61からやり直す。
【0098】
ステップS63においては、サンプルポイントがWBデータとして計算できる明るさがあるか否かを調べ、サンプルポイントの4画素全て(Wb,Gr,Gb,Wr) が、次の式を満たす場合は次のステップS64に進み、一つでも満たさない場合、次のサンプルポイントへ移行しステップ1からやり直す。
DarkThreshold<PixelValue<BrightThreshold
【0099】
次に、ステップS64において、サンプルポイントにおいて、以下の式の値を求める。
X1=((Wr-Gb)-(Wb-Gr))/(Wr+Gb) …(6)
Y1=((Wr-Gb)+(Wb-Gr))/(Wb+Gr) …(7)
【0100】
次に、ステップS65に進み、WBバランス設定用のデータとして有効か否かを判断する。すなわち、図5に示したように、((Wr-Gb)-(Wb-Gr))/(Wr+Gb) をX軸、((Wr-Gb)+(Wb-Gr))/(Wb+Gr) をY軸にとり、上記式(6)、(7)が、X、Y軸上に設けた所定の領域内にある場合、つまり、以下の条件式、
a<X1<b, c<Y1<d …(8)
を満たす場合、同サンプルポイントをWB設定するためのデータとして有効とみなし、ステップS66へ進む。また、上記式(8)を満たさない場合はステップS76へ進む。
【0101】
ステップS66においては、同サンプルポイントにおいて、以下の式を用いて、WB座標におけるサンプルポイントのXY軸値の平均値、及び、輝度値を求める。
AverageX=X1
AverageY=Y1
AverageBrightness=(Wb+Gr+Gb+Wr)/2
【0102】
次に、ステップS67に進み、同サンプルポイントが最初のWB設定有効データか否かを判断する。そして、上記判断の結果、同サンプルポイントがWB設定有効データとみなされた最初のサンプルポイントである場合は、ステップS68に進む。
【0103】
ステップS68においては、図6のような値をパラメータとして持つサンプルポイントグループを作り、ステップS66で求めた値、及び、同ポイントの画素値を代入する。
GpX=AverageX
GpY=AverageY
GpBrightness=AverageBrightness
GpWb=Wb
GpGr=Gr
GpGb=Gb
GpWr=Wr
GpNumber=1
GpWeight=1
【0104】
また、同サンプルポイントがWB設定有効データとみなされた最初でないサンプルポイントである場合は、ステップS69に進み、サンプルポイントグループに含まれるか否かを判断する。
【0105】
上記判断は、既存のサンプルポイントグループのGpX 、GpY 、GpBrightnessの値を用いて、以下の条件式を満たすときに、同サンプルポイントはそのサンプルポイントグループに含まれると判断する。この場合、ステップS70に進み、サンプルポイントグループに含ませるようにする。
【0106】
すなわち、
【0107】
また、全てのサンプルポイントグループに含ませることができない場合は、ステップS71に進み、サンプルポイントグループが終わりか否かを判断する。上記判断の結果、終わりでない場合にはステップS69に戻り、また、終わりの場合にはステップS68に進み、上述したように、同サンプルポイントを基準とする新たなサンプルポイントグループを作成する。
【0108】
ステップS68、あるいはステップS70の処理が終了したら、次に、ステップS72に進み、全サンプルデータ抽出を完了したか否かを判断する。そして、上記判断の結果、終了していない場合にはステップS61に戻り、上述した処理を繰り返し行う。
【0109】
全サンプルデータ抽出を完了した場合には、次に、図8のステップS73〜75の処理を行う。
これは、全てのサンプルポイントにおいて、ステップS67〜ステップS71の処理が終了したら、ステップ67〜ステップS71で作られた一つあるいは複数個のサンプルポイントグループの中から、本当の白のグループを探す処理を行う。
【0110】
しかし、本当の白のグループは、実際にはどれが白であるか分からない。そこで、輝度の高いものは白であるという仮定をして、上記複数のサンプルポイントグループの輝度情報GpBrightnessを用いて、輝度の大きいものからN番目までを本当の白グループとして、そのサンプルポイントの重み付けを行う。すなわち、ステップS73〜ステップS75の処理を順次行う。
【0111】
重み付けの処理は以下の式で行う。
GpWeight=GpWeight*2
ただし、Nは1以上であり、例えば、次式で求められる。
【0112】
【0113】
一方、ステップS64で求め座標に表したホワイト点(X1,Y1) 、(X2,Y2) が所定範囲内にないものとステップS65で判断されたならば、同座標点を所定範囲枠上に移動し、Wb' 、Wr' を新たに求め直す(ステップS76)。
【0114】
次に、ステップS77において、上記色クリップされたサンプルポイントの総数をSN2 とした後、ステップS78において色クリップによって求められる積分値をWb' 、Gr' 、Gb' 、Wr' を各色毎に積分値に加算する処理を行う。
【0115】
重み付けが終わったら、次に、ステップS79に進み、ステップS67〜ステップS71及びステップS74〜ステップS75で得られた全てのサンプルポイントグループに対して、以下の式を用いて、白判別範囲内の積分値(SWb,SGr,SGb,SWr) を求める。
SWb=SWb+GpWb*GpWeight
SGr=SGr+GpGr*GpWeight
SGb=SGb+GpGb*GpWeight
SWr=SWr+GpWr*GpWeight
【0116】
次に、ステップS80に進み、同時に白とみなされたサンプルポイント数SN1 を求める。
SN1=SN1+GpNumber
【0117】
次に、ステップS81において、全てのサンプルポイントグループに対して実行したか否かを判断し、実行していない場合にはステップS79に戻って上述した動作を繰り返し行う。
【0118】
また、全てのサンプルポイントグループに対して実行している場合には、ステップS82に進み、サンプル数(SN1+SN2) が0、または所定以上得られているか否かを判断する。
【0119】
ステップS82の判断の結果、サンプル数(SN1+SN2) が所定以上得られていなければ、ステップS83に進み、ホワイトバランス調整データとして、所定の色温度(例えば5000K)のホワイトバランス調整値を用いる。
【0120】
一方、ステップS82の判断の結果、サンプル数(SN1+SN2) が所定以上得られていれば、ステップS84に進み、白撮影時の平均輝度レベルとしての、
SY=(SWb+SGr+SGb+SWr)/4
を求め、この平均輝度レベルに対する各色の積分値の比率を求める。
gwb=SY/(2*SWb)
ggr=SY/(2*SGr)
ggb=SY/(2*SGb)
gwr=SY/(2*SWr)
【0121】
次に、ステップS85に進み、クリップ時の平均輝度レベルとしての、
SY'=(SWb'+SGr'+SGb'+SWr') /4
を求め、この平均輝度レベルに対する各色の積分値の比率を求める。
gwb'=SY'/(2*SWb')
ggr'=SY'/(2*SGr')
ggb'=SY'/(2*SGb')
gwr'=SY'/(2*SWr')
【0122】
次に、ステップS86に進み、ステップS84およびステップS85で得られた、各色の積分値の比率と、白判別範囲内の積分サンプル数SN1 と色クリップによる積分サンプル数SN2 より、ホワイトバランス調整データ(wwb,wgr,wgb,wwr) を作る。
【0123】
例えば、
のような処理を施す。そして、これらの値をホワイトバランス調整データとして記憶する。
【0124】
上記処理で得られたホワイトバランス調整データを、撮像素子から得られた画素毎の信号値にかけることでホワイトバランスをとることができる。
【0125】
(第3の実施形態)
図10は、本発明の第3の実施形態のホワイトバランスの処理手順の一部を説明するためのフローチャートの1部分であり、図1におけるステップS25〜ステップS26に相当する部分である。この部分は、ホワイトバランスグループを作成した後、グループに重み付けをする部分であるが、本実施形態は、この重み付けに撮影時の照度情報を用いることを特徴とする。
【0126】
上記照度情報とは、例えばEV値であり、ステップS91〜ステップS95の処理を行う。すなわち、まず、カメラ側から情報としてEV値をもらい、EV値が大きい場合は外で撮影(太陽光)したものである場合が大きいので、図11(a)のように白座標範囲を限定する。
【0127】
また、逆にEV値が小さいのは夕日、もしくは人工光と限定し、図11(b)のように白座標範囲を限定する。ここで、サンプルポイントグループすべてに対し、以下のように重み付けを行う。つまり、限定座標範囲にあるホワイトバランスグループの重みを増す。
【0128】
【0129】
このような重み付けを行うことで、白の輝度の低い場合にも、より好ましいホワイトバランスを行うことができる。また、限定座標範囲が、本来は白でないサンプル点に入り、サンプルポイントグループがたくさんできていても、重み付けによる白グループ選択を行っているため、ホワイトバランスが大きくくずれることはない。
【0130】
また、本実施形態における重み付けを、第2の実施形態におけるステップS74〜ステップS75に用いてもよい。また、第1の実施形態及び第2の実施形態の重み付けの手法と組み合わせて用いてもよい。
【0131】
【発明の効果】
本発明は上述したように、白判別に、従来の座標とは異なる座標軸を用いることによって、より正確な色判別を行い、また、輝度信号Yまたは撮像素子の露光量を用いて、白判別内の信号値に重み付けを行うことにより、例えば、画像中に白が占める割合が低くても、他の色の影響を少なくすることができるため、ホワイトバランスが大きく崩れることが無く、より正確なホワイトバランス信号を得ることが可能になる。
【0132】
また、本発明に係わる第2の発明によれば、撮像素子をフィールド読み出し駆動した場合において、第1の発明と同様の効果が得られ、良好なホワイトバランス調整値を得ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態の処理を示すフローチャートである。
【図2】第1の実施形態の処理を示すフローチャートである。
【図3】本発明を適用した電子カメラの信号処理の様子を説明するためのブロック図である。
【図4】撮像素子の色フィルタパターンの一例を示す図である。
【図5】ホワイトバランスの概念を示す図である。
【図6】サンプルポイントグループの各パラメータを示す図である。
【図7】第2の実施形態の処理を示すフローチャートである。
【図8】第2の実施形態の処理を示すフローチャートである。
【図9】撮像素子のフィールド読みだしの様子を示す図である。
【図10】第3の実施形態の処理を示すフローチャートである。
【図11】第3の実施形態におけるホワイトバランス座標の重み付け領域を示す図である。
【図12】従来の電子カメラの一例を示すブロック図である。
【図13】図12の電子カメラの信号処理回路の構成を示すブロック図である。
【図14】ホワイトバランス制御回路の構成を示すブロック図である。
【図15】白判別範囲を示す図である。
【図16】色差信号と輝度信号との関係を示す図である。
【符号の説明】
31 積分器
32 黒レベル調整回路
33 ホワイトバランス検出回路
34 ゲイン調整回路
35 ローパスフィルタ
36a、36b ハイパスフィルタ
37a、37b ゲイン調整回路
38a、38b 振幅調整回路
39a、39b ベースクリップ回路
40 加算回路
41 ゲイン調整回路
42 加算回路
50 同時化回路
51 画素補間回路
52 第1のマトリクス回路
53 第2のマトリクス回路
54 ローパスフィルタ
55 色処理回路
56 カラーデコーダ
57 ガンマ処理回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus, and is particularly suitable for use in an imaging apparatus that captures a still image.
[0002]
[Prior art]
FIG. 12 is a block diagram showing an outline of a conventional digital electronic camera.
In FIG. 12,
[0003]
In the digital
[0004]
101 is an image sensor that converts reflected light from an object into an electrical signal, 103 is a timing signal generation circuit (hereinafter referred to as TG) that generates a timing signal necessary for operating the image sensor, and 102 is a timing signal generation circuit. An image sensor driving circuit that amplifies the above signal to a level at which the image signal can be driven, 104 is a pre-processing circuit (preprocess means) including a CDS circuit and an AGC circuit for removing output noise of the
[0005]
An imaging signal processing circuit 303 includes an imaging signal processing circuit for processing a digital signal A / D converted by the A /
[0006]
[0007]
FIG. 13 is a block diagram showing the internal configuration of the image signal processing circuit 303 and its periphery.
In FIG. 13,
[0008]
The signal input to the imaging signal processing circuit 303 is temporarily stored in the
[0009]
The color signals output from the enhancer /
[0010]
Next, filter processing is performed on the luminance signal Y and the color signal by the first low-
[0011]
[0012]
The AWB 408 integrates the RGB signal or the output (RY) signal, the BY signal and the Y signal of the CY
[0013]
The second low-
[0014]
FIG. 14 is a detailed drawing of the control circuit (AWB) 408. The color difference signal (RY, BY) is input, and the input of a large amplitude exceeding a predetermined value with respect to the amplitude of the color difference signal (RY, BY). The clip circuit is limited.
[0015]
Then, the color difference signal (RY), the color difference signal (BY), and the luminance signal Y that have passed through the clipping circuit are divided into, for example, a plurality of blocks and integrated for each divided block.
[0016]
In the coordinates formed by the color difference signals (RY) and (BY), the change range when the white color temperature changes is provided as a white discrimination range (as shown in FIG. 15), and the integrated value for each block is white on the same coordinate. The
[0017]
[Problems to be solved by the invention]
The white balance control according to the conventional example converges to a control state with the passage of time in order to adapt during moving image shooting. However, in order to apply the white balance control based on the conventional example in still image shooting, the image sensor is once exposed before image shooting (main exposure).
[0018]
Then, a color difference signal is generated from the exposed signal using a signal processing circuit, and the color temperature situation is detected from the position on the coordinates of the color difference signals (RY) and (BY) by the conventional white balance detection, and the adjustment value at the same color temperature is detected. After the exposure, the main exposure is performed and the gain adjustment is performed using the previously obtained adjustment value to obtain the white balance.
[0019]
In this way, it is necessary to detect the exact color temperature with a single white balance detection, but as before, coordinates are created with the color difference signals (RY) and (BY), and the white discrimination range is set on the same coordinates. When shooting a color with low brightness and when shooting white at a certain color temperature (especially the color temperature within the white discrimination range and far from the intersection of the RY and BY axes) Since both of them fall within the white discrimination range, it is difficult to specify the color temperature and the accurate color temperature cannot be detected.
[0020]
For example, as shown in FIG. 16, when the color temperature change is between α and β, white is surrounded by three points a, b, and o, as shown in FIG. Exists in the designated area. On the other hand, it is assumed that a certain color (color a) exists in a region surrounded by three points c, d, and o. As in the prior art, when white is discriminated based on the level (e) of the color difference signal (RY), (a color) in the region (F) is also included, and there is a problem that hinders color temperature detection.
Furthermore, for example, when the ratio of white in the image is low, there is a problem that the white balance is largely lost due to the influence of the other colors included in the white region.
[0021]
In view of the above-described problems, the present invention has an object to enable accurate color temperature detection independent of the luminance signal level.
[0022]
[Means for Solving the Problems]
An image pickup apparatus according to the present invention includes an image pickup element having a color filter composed of four types of Cy, Ma, Ye, and Gr having different spectral characteristics, and a plurality of pixels of the color filter set on the image pickup region of the image pickup element. A YeCy difference signal generating means for generating a YeCy difference signal representing a difference between the Ye signal and the Cy signal of the color filter at each of a plurality of sample points, and the Ma signal and the Gr signal of the color filter at the sample point MaGr difference signal generating means for generating a difference between the first and second ratio signals, a first ratio signal indicating the ratio of the YeCy difference signal and the Cy signal, and a ratio of the MaGr difference signal and the Gr signal. Coordinates formed by a ratio signal generating means for generating a ratio signal of 2, a component of the first ratio signal and a component of the second ratio signal White range determining means for determining whether or not the first ratio signal and the second ratio signal obtained for each of the sample points are included in the white range, and based on the determination of the white range determining means Among the plurality of sample points determined to be in the white range, based on illuminance information at the time of shooting, the color signals of the plurality of sample points included in the first region in the white range and the white range A weighting unit that performs different weighting on the color signals of a plurality of sample points included in a second region different from the first region and a white range based on the determination by the white range determination unit are determined to be not within the white range. In addition, with respect to the color signal of the sample point, moving means for moving the coordinates on the frame of the white range, and the number of the sample points in the white range and the sample whose coordinates have moved. Obtained from the image sensor based on the hybrid ratio according to the number of data points, the color signal determined to be within the white range and weighted, and the color signal whose coordinates have been moved by the moving means. And gain control value control means for obtaining a gain control value for controlling the level difference between the Cy signal, Ma signal, Ye signal, and Gr signal corresponding to the white region of the subject.
[0023]
Another feature of the present invention is that an image sensor having R, G, and B color filters having different spectral characteristics and a plurality of pixels of the color filter set on the image pickup area of the image sensor are respectively provided. First signal generation means for generating a first signal representing a difference between color signals respectively output from an image sensor corresponding to a predetermined two-color filter among the color filters at each of a plurality of sample points. Second signal generation for generating a second signal different from the first signal obtained by calculating the R, G, and B color signals respectively output from the imaging device at each of the sample points Means, a third signal generating means for generating a third signal from the color signal output from the image sensor, a first ratio signal representing a ratio of the first signal to the third signal, Second trust above White on the coordinates formed by the ratio signal generating means for generating the second ratio signal representing the ratio between the first ratio signal and the third signal, the component of the first ratio signal and the component of the second ratio signal A white range determining means for determining whether or not a first ratio signal and a second ratio signal obtained for each sample point fall within the range, and the white range based on the determination of the white range determining means Among the plurality of sample points determined to be within, based on illuminance information at the time of shooting, color signals of a plurality of sample points included in the first region within the white range, and the first signal within the white range The weighting unit that performs different weighting on the color signals of the plurality of sample points included in the second region different from the one region, and the above-described white range determined based on the determination of the white range determination unit Sun The hybrid ratio according to the moving means for moving the coordinates on the frame of the white range and the number of the sample points in the white range and the number of the sample points whose coordinates have moved with respect to the color signal of the white point And an R signal corresponding to the white area of the subject obtained from the image sensor based on the color signal determined to be within the white range and weighted and the color signal whose coordinates have been moved by the moving means, Gain control value control means for obtaining a gain control value for controlling the level difference between the G signal and the B signal to be suppressed.
[0024]
Another feature of the present invention is that an image sensor having color filters composed of four types of Cy, Ma, Ye, and G having different spectral characteristics and two pixels in the vertical direction from the image sensor are Wb = Ma + Cy. , Gr = G + Ye, Gb = Cy + G, Wr = Ye + Ma, and addition reading means for reading and each of a plurality of sample points each including the Wb, Gr, Gb, Wr signals on the addition read signal The first signal generating means for generating a signal represented by ((Wr−Gb) − (Wb−Gr)) from the signal output read by the addition reading means, and the addition at the sample point Second signal generating means for generating a signal represented by ((Wr−Gb) + (Wb−Gr)) from the signal output read by the reading means. Generating a first ratio signal representing a ratio of the first signal to the Wr + Gb signal and a second ratio signal representing a ratio of the second signal to the Wb + Gr signal for each sample point; And a first ratio signal and a second ratio signal obtained for each sample point within a white range on coordinates formed by the first ratio signal component and the second ratio signal component. Among the plurality of sample points determined to be within the white range based on the determination of the white range determination unit, based on the illuminance information at the time of shooting, The color signals of the plurality of sample points included in the first area within the white range are different from the color signals of the plurality of sample points included in the second area different from the first area within the white range. Weighting means for performing weighting, and moving means for moving coordinates on the frame of the white range with respect to the color signal of the sample point determined not to be within the white range based on the determination of the white range determination unit A mixture ratio according to the number of the sample points in the white range and the number of the sample points whose coordinates have moved, a color signal determined to be in the white range and weighted, and the movement Based on the color signal whose coordinates are moved by the means, a gain control value for controlling the level difference of the Cy signal, Ma signal, Ye signal, and G signal corresponding to the white area of the subject obtained from the image sensor is suppressed. Gain control value control means for obtaining
[0034]
[Action]
In order to solve the above problems, in the present invention, the gradients of the color difference signals (RY) and (BY) with respect to the luminance signal Y, that is, (RY) / Y and (BY) / Y depend on the level of the luminance signal Y. Since this is a value determined from the color temperature and the shooting color, the coordinates of (RY) / Y, (BY) / Y are used to determine the white discrimination range, and the (RY) / Y, (BY) Weighting is performed using / Y and the luminance signal Y or the exposure amount of the image sensor, and the color temperature is detected so that accurate detection independent of the luminance signal level can be performed.
[0035]
Also, by using the luminance signal Y or the exposure amount of the image sensor to weight the signal value in the white discrimination, the influence of other colors can be reduced even if the proportion of white in the image is low. Thus, a more accurate white balance signal can be obtained.
[0036]
According to another feature of the present invention, instead of the gradient (RY) / Y, (BY) / Y of the color difference signal, (Mg-G) / (Mg + G), (Ye-Cy) / ( (Ye + Cy) or (Mg-G) / (Mg + G + Cy + Ye), (Ye-Cy) / (Mg + G + Ye + Cy) Mg, G, Cy, Ye) Since the color temperature can be directly detected by simple processing from the readout signal of the image sensor with a complementary color filter, exposure and signal processing for color temperature detection before the main exposure can be omitted. This enables simple and accurate color temperature detection.
[0037]
Here, by setting the molecules to (Mg-G) and (Ye-Cy), the color temperature change direction is almost perpendicular to the (Mg-G) axis and almost parallel to the (Ye-Cy) axis. The determination range can be easily set.
For an image sensor with a (R, G, B) pure color filter, create coordinates using (RB) / (R + G + B) and (R + BG) / (R + G + B). By detecting the color temperature, exposure and signal processing for color temperature detection before the main exposure can be omitted as with an image sensor having a complementary color filter. Color temperature can be detected.
[0038]
Further, according to another feature of the present invention, (Mg-G) / G or (Mg-G) / Mg and (Ye- By detecting the color temperature using (Cy) / Cy or (Ye-Cy) / Ye, the color temperature is directly detected from the readout signal of the image sensor with the (Mg, G, Cy, Ye) color filter. Since detection is possible, exposure and signal processing for color temperature detection before the main exposure can be omitted, and simple and accurate color temperature detection is possible.
[0039]
Even when shooting a subject that contains only a small amount of white, white coordinates can be identified by giving coordinates within the white discrimination range in the form of (Mg-G) / G = a, (Ye-Cy) / Cy = b. The image sensor output can be replaced with simple processing in the form of Mg '= (1 + a) * G and Ye' = (1 + b) * Cy within the range. White balance adjustment that does not deviate significantly is possible.
[0040]
For an image sensor with a (R, G, B) pure color filter, an image with a complementary color filter can be obtained by creating coordinates using (RB) / G and (R + BG) / G to detect the color temperature. Like the device, exposure and signal processing for color temperature detection before the main exposure can be omitted, and accurate color temperature detection can be performed with simple processing from the image sensor output signal, and a small amount of white can be detected. Even when shooting a subject that only contains R ′ = (1 in the white discrimination range by giving coordinates in the white discrimination range in the form of (RB) / G = a, (R + BG) / G = b + a + b) * G / 2, B '= (1-a + b) * G / 2 can replace the image sensor output with simple processing, and white balance is maintained even under the above shooting conditions. This makes it possible to adjust the white balance without significant deviation.
[0041]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of an imaging apparatus of the present invention will be described with reference to the drawings.
1 and 2 are flowcharts for explaining the operation of the image pickup apparatus according to the present embodiment, and FIG. 3 is a block diagram showing the signal processing flow of the electronic camera according to the first embodiment of the image pickup apparatus of the present invention. It is.
[0042]
Since the image sensor in the present embodiment performs frame readout, output signals M, G, C, and Y from the image sensor come out according to the filter attached to the image sensor.
First, each filter output in the optical black region is integrated by the
[0043]
Next, white balance detection is performed in the white balance detection circuit 33, and the output from which white balance is detected is given to the
[0044]
On the other hand, the luminance signal (Y) is subjected to aperture correction after passing through the low-
[0045]
Thereafter, the gain is adjusted by the
[0046]
Next, the base clip (BC)
[0047]
In order to generate the color difference signals (RY, BY), first, the four-color signals M, G, C, Y are synchronized by the
Next, the
[0048]
Next, the 4 × 3
[0049]
Next, in the
[0050]
The luminance signal (Y) and the color difference signals (RY, BY) produced in this way are converted into RGB signals by the
[0051]
Next, white balance processing, which is the main point of the present embodiment, will be described in detail. When the CCD complementary color filters are arranged as shown in FIG. 4, the whole arrangement is formed by repeating this unit block with the 8-pixel arrangement of FIG. 4 as a unit block.
[0052]
These eight pixel outputs are Ma1, Ma2, Gr1, Gr2, Cy1, Cy2, Ye1, and Ye2 in accordance with the respective color filters. The output of the same color filter is divided into two colors (Ma1 and Ma2, Gr1 and Gr2, Cy1 and Cy2, Ye1 and Ye2). This is because they are different.
[0053]
Hereinafter, the white balance processing will be described in detail with reference to FIGS.
First, in the first step S11, sample data is extracted for each sample.
[0054]
Next, in step S12, it is determined whether or not the sample data extracted in step S11 is valid as a WB sample point. As a result of the determination, if the extracted sample data is valid as a WB sample point, the process proceeds to step S13, and if not valid, the process restarts from step S11.
[0055]
Step S13 determines whether or not all of the extracted 8 sample point pixels have brightness that can be calculated as WB data, and is performed using the following equation.
DarkThreshold <PixelValue <BrightThreshold
here,
DarkThreshold: A predetermined value
BrightThreshold:-"-
PixelValue: 8 pixel sample points
[0056]
As a result of the determination in step S13, if all of the eight pixels of the sample point satisfy the following expression, the process proceeds to step S14. Try again.
[0057]
In step S14, an edge threshold value is determined. This checks whether all eight pixels of the sample point satisfy the following expression.
EdgeThreshold> | Ma1-Ma2 |
EdgeThreshold> | Gr1-Gr2 |
EdgeThreshold> | Cy1-Cy2 |
EdgeThreshold> | Ye1-Ye2 |
here,
EdgeThreshol: A predetermined value.
[0058]
If it is determined in step S14 that all eight pixels are satisfied, the process proceeds to step S15. If even one of the pixels is not satisfied, it is determined that the sample point includes an edge, and the process proceeds to the next sample point. Redo from step S11.
[0059]
In step S15, at each sample point, (X1, Y1, X2, Y2) is determined as the values of the following equations (1) to (4).
X1 = (Ye1-Cy1) / Cy1 (1)
Y1 = (Ma1-Gr1) / Gr1 (2)
X2 = (Ye2-Cy2) / Cy2 (3)
Y2 = (Ma2-Gr2) / Gr2 (4)
For an image sensor with a (R, G, B) pure color filter, create coordinates using (RB) / (R + G + B) and (R + BG) / (R + G + B). By detecting the color temperature, exposure and signal processing for color temperature detection before the main exposure can be omitted as with an image sensor having a complementary color filter. Color temperature can be detected.
For an image sensor with a (R, G, B) pure color filter, an image with a complementary color filter can be obtained by creating coordinates using (RB) / G and (R + BG) / G to detect the color temperature. Like the device, exposure and signal processing for color temperature detection before the main exposure can be omitted, and accurate color temperature detection can be performed with simple processing from the image sensor output signal, and a small amount of white can be detected. Even when shooting a subject that only contains R ′ = (1 in the white discrimination range by giving coordinates in the white discrimination range in the form of (RB) / G = a, (R + BG) / G = b + a + b) * G / 2, B '= (1-a + b) * G / 2 can replace the image sensor output with simple processing, and white balance is maintained even under the above shooting conditions. This makes it possible to adjust the white balance without significant deviation.
[0060]
Next, in step S16, as shown in FIG. 5, taking (Ye-Cy) / Cy as the X axis and (Ma-Gr) / Gr as the Y axis, equations (1) to (4) It is determined whether or not it is within a predetermined white area provided in the.
[0061]
If the result of this determination is within a predetermined white area, that is, the following conditional expression:
a <X1 <b, c <Y1 <d and a <X2 <b, c <Y2 <d (5)
If the condition is satisfied, the sample point is regarded as valid as data for setting the white balance WB, and the process proceeds to step S17. If the above equation (5) is not satisfied, the data is regarded as invalid and the process proceeds to step S27.
[0062]
In step S17, first, the average value and the luminance value of the XY axis values of the sample points in the WB coordinates are obtained at the sample points using the following equations.
AverageX = (X1 + X2) / 2
AverageY = (Y1 + Y2) / 2
AverageBrightness = (Ma1 + Ma2 + Gr1 + Gr2 + Cy1 + Cy2 + Ye1 + Ye2) / 8
[0063]
Next, in step S18, it is determined whether or not the sample data is valid data for the first white balance WB setting. If the sample point is the first sample point regarded as valid data for setting, the process proceeds to step S19, and if not, the process proceeds to step S21.
[0064]
In step S19, a sample point group having values as parameters as shown in FIG. 6 is created, and the value obtained in step S17 and the pixel value of the same point are substituted. That is, the following calculation is performed.
GpX = AverageX
GpY = AverageY
GpBrightness = AverageBrightness
GpMa1 = Ma1
GpMa2 = Ma2
GpGr1 = Gr1
GpGr2 = Gr2
GpCy1 = Cy1
GpCy2 = Cy2
GpYe1 = Ye1
GpYe2 = Ye2
GpNumber = 1
GpWeight = 1
[0065]
Then, it progresses to step S20 and it is judged whether extraction of all the sample data was completed. If extraction of all sample data has not been completed, the process returns to step S11 and the above-described processing is repeated.
[0066]
On the other hand, as a result of the determination in step S18, if the sample point is not the first sample point regarded as the set valid data, the process proceeds to step S21 to determine whether or not it is included in the sample point group.
[0067]
As a result of the above determination, if it is included, the process proceeds to step S22, and processing for inclusion in the sample point group is performed.
If the result of determination in step S21 is that the sample point group is not included, the process proceeds to step S23 to determine whether or not the sample point group has ended. If not, the process returns to step S21 and the sample point group has ended. Then, the process proceeds to step S19.
[0068]
If the processing of step S21 to step S22 described above is described using mathematical expressions, if the sample point is not the first sample point considered as WB setting valid data, GpX, GpY, GpBrightness of the existing sample point group When the following conditional expression is satisfied, the sample point is determined to be included in the sample point group, and is included in the sample point group.
[0069]
[0070]
Also, if it cannot be included in all the currently created sample point groups, a new sample point group based on the sample points is created.
[0071]
When the processing from step S17 to step S19 is completed for all the sample points, a true white group is searched from one or a plurality of sample point groups created in step S17. Do not know which is white.
[0072]
Therefore, first, in step S24 of FIG. 2, the sample point groups are sorted in descending order of luminance.
Next, assuming that the one with high luminance is white, the luminance information GpBrightness of the plurality of sample point groups is used, and the samples from the one with the highest luminance to the Nth are grouped as having a high probability of white. Weight point groups. Weighting is performed by the following formula (step S25, step S26).
[0073]
[0074]
On the other hand, if it is determined in step S16 that the white point (X1, Y1) (X2, Y2) obtained in step S15 and expressed in coordinates is not within the predetermined range, the process proceeds to step S27 in FIG. Move the same coordinate point on the predetermined range frame as follows, and from the coordinates (X ', Y') on the range frame, use the following formula to change the color filter output Ma1 ', Ma2', Ye1 ', Ye2' Ask for a new one.
Ma1 '= (1 + Y') * Gr1
Ma2 '= (1 + Y') * Gr2
Ye1 '= (1 + X') * Cy1
Ye2 '= (1 + X') * Cy2
[0075]
However, it is assumed that the coordinate point is moved to a coordinate on a predetermined range frame closest to the coordinate point as shown in FIG. This coordinate movement processing is called color clip processing. In step S28, the total number of sample points subjected to the color clip processing is counted as SN2. Next, the process proceeds to step S29, and the integration values obtained by the color clip are set to Ma1 ′, Ma2 ′, Gr1 ′, Gr2 ′, Cy1 ′, Cy2 ′, Ye1 ′, Ye2 ′.
[0076]
When the weighting is completed, the process proceeds to step S30. All sample point groups obtained in steps S17 to S19 and steps S25 to S26 are weighted using the following formula, and within the white discrimination range. Find the integral values (SMa1, SMa2, SGr1, SGr2, SCy1, SCy2, SYe1, SYe2).
[0077]
SMa1 = SMa1 + GpMa1 * GpWeight
SMa2 = SMa2 + GpMa2 * GpWeight
SGr1 = SGr1 + GpGr1 * GpWeight
SGr2 = SGr2 + GpGr2 * GpWeight
SCy1 = SCy1 + GpCy1 * GpWeight
SCy2 = SCy2 + GpCy2 * GpWeight
SYe1 = SYe1 + GpYe1 * GpWeight
SYe2 = SYe2 + GpYe2 * GpWeight
[0078]
Next, in step S31, the number of sample points SN1 considered to be white at the same time is obtained.
SN1 = SN1 + GpNumber
[0079]
Next, in step S32, it is determined whether or not the processing has been executed for all the sample point groups. If not, the processing returns to step S30. If it has been executed for all, the process proceeds to step S33.
[0080]
In step S33, it is determined whether or not the number of samples (SN1 + SN2) is 0 or more than a predetermined value. If not, the process proceeds to step S34, where a predetermined color is used as white balance adjustment data. The white balance adjustment value of temperature (for example, 5000K) is used.
[0081]
If the number of samples (SN1 + SN2) is greater than or equal to the predetermined value as a result of the determination in step S33, the process proceeds to step S35, where the average luminance level during white shooting is
SY = (SMa1 + SMa2 + SGr1 + SGr2 + SCy1 + SCy2 + SYe1 + SYe2) / 8
And the ratio of the integrated value of each color to the average luminance level is obtained.
gmg1 = SY / (2 * SMa1) gmg2 = SY / (2 * SMa2)
gg1 = SY / (2 * SGr1) gg2 = SY / (2 * SGr2)
gcy1 = SY / (2 * SCy1) gcy2 = SY / (2 * SCy2)
gye1 = SY / (2 * SYe1) gye2 = SY / (2 * SYe2)
[0082]
Next, the process proceeds to step S36, where the average luminance level at the time of clipping is
SY '= (SMa1' + SMa2 '+ SGr1' + SGr2 '+ SCy1' + SCy2 '+ SYe1' + SYe2 '/ 8
And the ratio of the integrated value of each color to the average luminance level is obtained.
gmg1 '= SY' / (2 * SMa1 ') gmg2' = SY '/ (2 * SMa2')
gg1 '= SY' / (2 * SGr1 ') gg2' = SY '/ (2 * SGr2')
gcy1 '= SY' / (2 * SCy1 ') gcy2' = ST '/ (2 * SCy2')
gye1 '= SY' / (2 * SYe1 ') gye2' = SY '/ (2 * SYe2')
[0083]
Next, the process proceeds to step S37, and white balance adjustment is performed by using the ratio of the integrated values of the respective colors obtained in steps S35 and S36, the integrated sample number SN1 within the white discrimination range, and the integrated sample number SN2 by the color clip. Create data (wmg1, wg1, wcy1, wye1, wmg2, wg2, wcy2, wye2).
[0084]
For example,
Apply the following process.
[0085]
These values are stored as white balance adjustment data.
By applying the white balance adjustment data obtained by the above processing to the signal value for each pixel obtained from the image sensor, white balance can be obtained.
[0086]
As described above, in the present embodiment, coordinates for white balance are created using signal values from the image sensor, and white ones have relatively higher luminance values than sample points that have entered the white region at those coordinates. Weighting is performed based on the assumption.
[0087]
Thereafter, the integration processing is performed at the sample points, so that even when there are few whites in the image, it is possible to avoid the white balance from being greatly affected by other colors.
[0088]
(Second Embodiment)
Next, a second embodiment of the present invention will be described. In the first embodiment described above, the signal reading of the electronic camera is frame reading, but in the second embodiment, the signal of the electronic camera is read by field reading.
[0089]
Since the image sensor in the present embodiment performs field readout, the output from the image sensor is read by adding two pixels in the vertical direction as shown in FIG. In FIG. 9,
Wb = Ma + Cy
Gr = G + Ye
Gb = Cy + G
Wr = Ye + Ma
It is.
[0090]
In the case of the present embodiment, assuming that the color filter is changed from (Ma, g, Cy, Ye) to (Wb, Gr, Gb, Wr), the same processing as the above-described frame reading is performed. Since the hardware configuration is the same as that in FIG. 3 in the first embodiment described above, the illustration is omitted.
[0091]
In the present embodiment, first, the black level is adjusted using the integrated value of each filter output in the optical black region.
Next, white balance processing is performed so that the output gains of Wb, Gr, Gb, and Wr at the white point are the same.
[0092]
In order to create the luminance signal (Y), aperture correction is performed after a horizontal low-pass filter is applied to remove moire due to the color filter. Here, a high-pass filter is applied horizontally and vertically to adjust the gain, so that the CPU becomes larger when the amplitude of the aperture signal is small, and the peak becomes small when the amplitude is large. To Peak processing is performed, horizontal and vertical are added, gain is further applied, and added to the luminance component (Yn).
[0093]
In order to generate the color difference signals (RY, BY), first, the signals of the four colors are synchronized by the synchronization circuit, and pixel interpolation is performed so that the four color signals are allocated to the imaging surface area.
Next, the Wb signal, Gr signal, Gb signal, and Wr signal are converted into RGB signals using a 4 × 3 matrix circuit. At this time, the matrix circuit is used such that the color temperature of the subject is determined from the white balance information and the color reproduction at the color temperature is the best.
[0094]
Next, the RGB signals are converted into RY and BY signals, a low-pass filter for moire reduction is applied, and saturation achromatic processing is performed with reference to the Y signals.
The luminance signal (Y) and the color difference signals (RY, BY) produced in this way are converted into RGB signals, recorded after being subjected to gamma correction processing.
[0095]
Next, white balance processing, which is the main point of the present embodiment, will be described in detail. When the CCD complementary color filters are arranged as shown in FIG. 9A, the whole arrangement is formed by repeating this unit block with the 8-pixel arrangement shown in the figure as a unit block. Here, in order to perform field reading, a signal as shown in FIG. 9B is read in one field.
[0096]
Next, the processing procedure of the second embodiment will be described with reference to FIGS.
First, in the first step S61, sample data is extracted for each sample.
[0097]
Next, in step S62, it is determined whether or not the sample data extracted in step S61 is valid as a WB sample point. As a result of the determination, if the extracted sample data is valid as a WB sample point, the process proceeds to step S63, and if not valid, the process restarts from step S61.
[0098]
In step S63, it is checked whether the sample point has brightness that can be calculated as WB data. If all four pixels (Wb, Gr, Gb, Wr) of the sample point satisfy the following formula, the next step is performed. Proceeding to S64, if even one is not satisfied, the process moves to the next sample point and starts again from
DarkThreshold <PixelValue <BrightThreshold
[0099]
Next, in step S64, the value of the following equation is obtained at the sample point.
X1 = ((Wr-Gb)-(Wb-Gr)) / (Wr + Gb) (6)
Y1 = ((Wr-Gb) + (Wb-Gr)) / (Wb + Gr) (7)
[0100]
In step S65, it is determined whether the data is valid as WB balance setting data. That is, as shown in FIG. 5, ((Wr−Gb) − (Wb−Gr)) / (Wr + Gb) is represented by the X axis, ((Wr−Gb) + (Wb−Gr)) / (Wb + Gr) is taken on the Y axis, and the above equations (6) and (7) are within a predetermined region provided on the X and Y axes, that is, the following conditional expression:
a <X1 <b, c <Y1 <d (8)
If the condition is satisfied, the sample point is regarded as valid as data for setting the WB, and the process proceeds to step S66. If the above equation (8) is not satisfied, the process proceeds to step S76.
[0101]
In step S66, the average value and the luminance value of the XY axis values of the sample points in the WB coordinates are obtained at the sample points using the following equations.
AverageX = X1
AverageY = Y1
AverageBrightness = (Wb + Gr + Gb + Wr) / 2
[0102]
In step S67, it is determined whether the sample point is the first WB setting valid data. As a result of the above determination, if the sample point is the first sample point regarded as the WB setting valid data, the process proceeds to step S68.
[0103]
In step S68, a sample point group having values as shown in FIG. 6 as parameters is created, and the value obtained in step S66 and the pixel value of the same point are substituted.
GpX = AverageX
GpY = AverageY
GpBrightness = AverageBrightness
GpWb = Wb
GpGr = Gr
GpGb = Gb
GpWr = Wr
GpNumber = 1
GpWeight = 1
[0104]
If the sample point is not the first sample point regarded as the WB setting valid data, the process proceeds to step S69 to determine whether or not the sample point is included in the sample point group.
[0105]
The above determination uses the values of GpX, GpY, and GpBrightness of an existing sample point group and determines that the sample point is included in the sample point group when the following conditional expression is satisfied. In this case, the process proceeds to step S70 and is included in the sample point group.
[0106]
That is,
[0107]
If the sample point group cannot be included, the process proceeds to step S71 to determine whether the sample point group is over. As a result of the determination, if it is not the end, the process returns to step S69, and if it is the end, the process proceeds to step S68 to create a new sample point group based on the sample point as described above.
[0108]
When the process of step S68 or step S70 is completed, the process proceeds to step S72, where it is determined whether all sample data extraction has been completed. If the result of the determination is that the processing has not ended, the process returns to step S61 and the above-described processing is repeated.
[0109]
If the extraction of all sample data has been completed, the processing of steps S73 to S75 in FIG. 8 is performed next.
This is a process of searching for a true white group from one or a plurality of sample point groups created in
[0110]
But the real white group doesn't really know which one is white. Therefore, assuming that the one with high luminance is white, the luminance information GpBrightness of the plurality of sample point groups is used, and from the one with the highest luminance to the Nth are regarded as the real white group, and the weight of the sample points is set. I do. That is, the processing from step S73 to step S75 is sequentially performed.
[0111]
The weighting process is performed by the following formula.
GpWeight = GpWeight * 2
However, N is 1 or more, and is obtained by the following equation, for example.
[0112]
[0113]
On the other hand, if it is determined in step S65 that the white points (X1, Y1) and (X2, Y2) represented in the coordinates obtained in step S64 are not within the predetermined range, the coordinate points are moved onto the predetermined range frame. Then, Wb ′ and Wr ′ are newly obtained again (step S76).
[0114]
Next, in step S77, the total number of sample points clipped in the above color is set to SN2, and in step S78, the integral values obtained by the color clip are set as integral values for each color. The process to add to is performed.
[0115]
After the weighting is completed, the process proceeds to step S79, and the integration within the white discrimination range is performed for all sample point groups obtained in steps S67 to S71 and S74 to S75 using the following expression. The values (SWb, SGr, SGb, SWr) are obtained.
SWb = SWb + GpWb * GpWeight
SGr = SGr + GpGr * GpWeight
SGb = SGb + GpGb * GpWeight
SWr = SWr + GpWr * GpWeight
[0116]
Next, the process proceeds to step S80, and the number of sample points SN1 regarded as white at the same time is obtained.
SN1 = SN1 + GpNumber
[0117]
Next, in step S81, it is determined whether or not the processing has been executed for all the sample point groups. If not, the processing returns to step S79 and the above-described operation is repeated.
[0118]
If it is executed for all sample point groups, the process proceeds to step S82, and it is determined whether or not the number of samples (SN1 + SN2) is 0 or greater than a predetermined value.
[0119]
If it is determined in step S82 that the number of samples (SN1 + SN2) is not greater than a predetermined value, the process proceeds to step S83, and a white balance adjustment value of a predetermined color temperature (for example, 5000K) is used as white balance adjustment data.
[0120]
On the other hand, if it is determined in step S82 that the number of samples (SN1 + SN2) is equal to or greater than a predetermined value, the process proceeds to step S84, where the average luminance level during white photography is
SY = (SWb + SGr + SGb + SWr) / 4
And the ratio of the integrated value of each color to the average luminance level is obtained.
gwb = SY / (2 * SWb)
ggr = SY / (2 * SGr)
ggb = SY / (2 * SGb)
gwr = SY / (2 * SWr)
[0121]
Next, the process proceeds to step S85, where the average luminance level at the time of clipping is
SY '= (SWb' + SGr '+ SGb' + SWr ') / 4
And the ratio of the integrated value of each color to the average luminance level is obtained.
gwb '= SY' / (2 * SWb ')
ggr '= SY' / (2 * SGr ')
ggb '= SY' / (2 * SGb ')
gwr '= SY' / (2 * SWr ')
[0122]
Next, the process proceeds to step S86, and white balance adjustment data (from the ratio of the integral values of the respective colors obtained in steps S84 and S85, the integral sample number SN1 within the white discrimination range, and the integral sample number SN2 by the color clip) wwb, wgr, wgb, wwr).
[0123]
For example,
Apply the following process. These values are stored as white balance adjustment data.
[0124]
The white balance can be obtained by applying the white balance adjustment data obtained by the above processing to the signal value for each pixel obtained from the image sensor.
[0125]
(Third embodiment)
FIG. 10 is a part of a flowchart for explaining a part of the white balance processing procedure according to the third embodiment of the present invention, and corresponds to steps S25 to S26 in FIG. This part is a part for weighting the group after the white balance group is created, but this embodiment is characterized in that illuminance information at the time of photographing is used for this weighting.
[0126]
The illuminance information is, for example, an EV value, and the processes of steps S91 to S95 are performed. That is, first, an EV value is obtained as information from the camera side, and when the EV value is large, it is often taken outside (sunlight), so the white coordinate range is limited as shown in FIG. .
[0127]
On the contrary, the EV value is limited to sunset or artificial light, and the white coordinate range is limited as shown in FIG. Here, weighting is performed on all sample point groups as follows. That is, the weight of the white balance group in the limited coordinate range is increased.
[0128]
[0129]
By performing such weighting, more preferable white balance can be performed even when white brightness is low. Even if the limited coordinate range enters sample points that are not originally white and there are many sample point groups, white group selection by weighting is not performed, so that the white balance is not greatly changed.
[0130]
Moreover, you may use the weighting in this embodiment for step S74-step S75 in 2nd Embodiment. Moreover, you may use in combination with the weighting method of 1st Embodiment and 2nd Embodiment.
[0131]
【The invention's effect】
As described above, the present invention performs more accurate color discrimination by using a coordinate axis different from conventional coordinates for white discrimination, and also uses the luminance signal Y or the exposure amount of the image sensor to detect the white discrimination. By weighting the signal value of, for example, even if the proportion of white in the image is low, the influence of other colors can be reduced, so that the white balance is not greatly disturbed and more accurate white A balance signal can be obtained.
[0132]
Further, according to the second aspect of the present invention, when the image sensor is driven for field readout, the same effect as the first aspect can be obtained, and a good white balance adjustment value can be obtained.
[Brief description of the drawings]
FIG. 1 is a flowchart showing processing of a first embodiment of the present invention.
FIG. 2 is a flowchart showing processing of the first embodiment.
FIG. 3 is a block diagram for explaining a state of signal processing of an electronic camera to which the present invention is applied.
FIG. 4 is a diagram illustrating an example of a color filter pattern of an image sensor.
FIG. 5 is a diagram illustrating a concept of white balance.
FIG. 6 is a diagram illustrating parameters of a sample point group.
FIG. 7 is a flowchart showing processing of the second embodiment.
FIG. 8 is a flowchart showing processing of the second embodiment.
FIG. 9 is a diagram illustrating a state of field reading of the image sensor.
FIG. 10 is a flowchart showing processing of the third embodiment.
FIG. 11 is a diagram showing a weighting area of white balance coordinates in the third embodiment.
FIG. 12 is a block diagram illustrating an example of a conventional electronic camera.
13 is a block diagram showing a configuration of a signal processing circuit of the electronic camera of FIG.
FIG. 14 is a block diagram showing a configuration of a white balance control circuit.
FIG. 15 is a diagram illustrating a white discrimination range.
FIG. 16 is a diagram illustrating a relationship between a color difference signal and a luminance signal.
[Explanation of symbols]
31 integrator
32 Black level adjustment circuit
33 White balance detection circuit
34 Gain adjustment circuit
35 Low-pass filter
36a, 36b High pass filter
37a, 37b Gain adjustment circuit
38a, 38b Amplitude adjustment circuit
39a, 39b Base clip circuit
40 Adder circuit
41 Gain adjustment circuit
42 Adder circuit
50 Synchronization circuit
51 pixel interpolation circuit
52 First matrix circuit
53 Second matrix circuit
54 Low-pass filter
55 color processing circuit
56 color decoder
57 Gamma processing circuit
Claims (9)
上記撮像素子の撮像領域上に設定された上記色フィルタの複数画素を各々含む複数のサンプルポイントの各々において、上記色フィルタのYe信号とCy信号との差分を表すYeCy差分信号を生成するYeCy差分信号生成手段と、
上記サンプルポイントにおいて、上記色フィルタのMa信号とGr信号との差分を表すMaGr差分信号を生成するMaGr差分信号生成手段と、
上記YeCy差分信号とCy信号との比率を表す第1の比率信号、および上記MaGr差分信号とGr信号との比率を表す第2の比率信号を生成する比率信号生成手段と、
上記第1の比率信号の成分と上記第2の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第1の比率信号と第2の比率信号とが入るか否かを判別する白色範囲判別手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第1の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第1の領域と異なる第2の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、
上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したCy信号、Ma信号、Ye信号、Gr信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする撮像装置。An imaging device having a color filter composed of four types of Cy, Ma, Ye, and Gr having different spectral characteristics;
A YeCy difference that generates a YeCy difference signal representing a difference between the Ye signal and the Cy signal of the color filter at each of a plurality of sample points each including a plurality of pixels of the color filter set on the imaging region of the imaging element. Signal generating means;
MaGr difference signal generating means for generating a MaGr difference signal representing a difference between the Ma signal and the Gr signal of the color filter at the sample point;
A ratio signal generating means for generating a first ratio signal representing a ratio between the YeCy difference signal and the Cy signal, and a second ratio signal representing a ratio between the MaGr difference signal and the Gr signal;
The first ratio signal and the second ratio signal obtained for each sample point are within the white range on the coordinates formed by the first ratio signal component and the second ratio signal component. White range determining means for determining whether or not,
Among the plurality of sample points determined to be within the white range based on the determination by the white range determination means, a plurality of samples included in the first region within the white range based on illuminance information at the time of shooting Weighting means for performing different weighting on the color signal of a point and the color signals of a plurality of sample points included in a second region different from the first region in the white range;
Moving means for moving coordinates on the frame of the white range with respect to the color signal of the sample point determined not to be within the white range based on the determination of the white range determination unit;
The hybrid ratio according to the number of sample points in the white range and the number of sample points whose coordinates have moved, the color signal determined to be within the white range and weighted, and the moving means Based on the color signal whose coordinates are moved, a gain control value is obtained for controlling the level difference among the Cy signal, Ma signal, Ye signal, and Gr signal corresponding to the white area of the subject obtained from the image sensor. An imaging apparatus comprising: a gain control value control unit.
上記撮像素子の撮像領域上に設定された上記色フィルタの複数画素を各々含む複数のサンプルポイントの各々において、上記色フィルタのうち、所定の2色フィルタに対応する撮像素子からそれぞれ出力される色信号の差分を表す第1の信号を生成する第1の信号生成手段と、
上記サンプルポイントの各々において、上記撮像素子からそれぞれ出力されるR、G、Bの各色信号を演算して得られる、第1の信号とは異なる第2の信号を生成する第2の信号生成手段と、
上記撮像素子から出力される色信号より第3の信号を生成する第3の信号作成手段と、
上記第1の信号と上記第3の信号との比率を表す第1の比率信号、上記第2の信号と上記第3の信号との比率を表す第2の比率信号を生成する比率信号生成手段と、
上記第1の比率信号の成分と上記第2の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第1の比率信号と第2の比率信号とが入るか否かを判別する白色範囲判別手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第1の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第1の領域と異なる第2の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、
上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したR信号、G信号、B信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする撮像装置。An image sensor having R, G, and B color filters having different spectral characteristics;
At each of a plurality of sample points each including a plurality of pixels of the color filter set on the imaging region of the image sensor, colors output from the image sensor corresponding to a predetermined two-color filter among the color filters First signal generating means for generating a first signal representing a signal difference;
Second signal generating means for generating a second signal different from the first signal obtained by calculating the R, G, and B color signals respectively output from the image sensor at each of the sample points. When,
Third signal generating means for generating a third signal from the color signal output from the image sensor;
Ratio signal generating means for generating a first ratio signal representing a ratio between the first signal and the third signal and a second ratio signal representing a ratio between the second signal and the third signal. When,
The first ratio signal and the second ratio signal obtained for each sample point are within the white range on the coordinates formed by the first ratio signal component and the second ratio signal component. White range determining means for determining whether or not,
Among the plurality of sample points determined to be within the white range based on the determination by the white range determination means, a plurality of samples included in the first region within the white range based on illuminance information at the time of shooting Weighting means for performing different weighting on the color signal of a point and the color signals of a plurality of sample points included in a second region different from the first region in the white range;
Moving means for moving coordinates on the frame of the white range with respect to the color signal of the sample point determined not to be within the white range based on the determination of the white range determination unit;
The hybrid ratio according to the number of sample points in the white range and the number of sample points whose coordinates have moved, the color signal determined to be within the white range and weighted, and the moving means A gain control value for obtaining a gain control value for controlling the level difference between the R signal, the G signal, and the B signal corresponding to the white area of the subject obtained from the image sensor based on the color signal whose coordinates are moved And an imaging device.
上記第2の信号生成手段は、R信号、B信号、G信号の和差算によって第2の信号を生成し、
上記第3の信号作成手段は、上記R信号、B信号、G信号より上記第3の信号を生成することを特徴とする請求項4に記載の撮像装置。The first signal generating means generates a first signal from the difference between the R signal and the B signal,
The second signal generating means generates a second signal by summing the R signal, B signal, and G signal,
The imaging apparatus according to claim 4, wherein the third signal generating unit generates the third signal from the R signal, the B signal, and the G signal.
上記第2の信号生成手段は、R信号、B信号、G信号の和差算によって第2の信号を生成し、
上記第3の信号作成手段は、上記第3の信号として上記G信号を用いることを特徴とする請求項4に記載の撮像装置。The first signal generating means generates a first signal from the difference between the R signal and the B signal,
The second signal generating means generates a second signal by summing the R signal, B signal, and G signal,
The imaging apparatus according to claim 4, wherein the third signal generating unit uses the G signal as the third signal.
上記撮像素子から垂直方向の2画素をWb=Ma+Cy、Gr=G+Ye、Gb=Cy+G、Wr=Ye+Maのように加算して読み出す加算読み出し手段と、
上記加算読み出しされた信号上で上記Wb、Gr、Gb、Wr信号を各々含む複数のサンプルポイントの各々において、上記加算読み出し手段によって読み出された信号出力から((Wr−Gb)−(Wb−Gr))で表される信号を生成する第1の信号生成手段と、
上記サンプルポイントにおいて、上記加算読み出し手段によって読み出された信号出力から((Wr−Gb)+(Wb−Gr))で表される信号を生成する第2の信号生成手段と、
上記サンプルポイントごとに上記第1の信号とWr+Gb信号との比率を表す第1の比率信号、および上記第2の信号とWb+Gr信号との比率を表す第2の比率信号を生成する比率信号生成手段と、
上記第1の比率信号の成分と上記第2の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第1の比率信号と第2の比率信号とが入るか否かを判別する白色範囲判別手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第1の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第1の領域と異なる第2の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、
上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したCy信号、Ma信号、Ye信号、G信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする撮像装置。An imaging device having a color filter composed of four types of Cy, Ma, Ye, and G having different spectral characteristics;
Addition reading means for adding and reading two pixels in the vertical direction from the image sensor as Wb = Ma + Cy, Gr = G + Ye, Gb = Cy + G, Wr = Ye + Ma;
At each of a plurality of sample points each including the Wb, Gr, Gb, and Wr signals on the addition read signal, ((Wr−Gb) − (Wb−) from the signal output read by the addition reading means. First signal generating means for generating a signal represented by Gr));
Second signal generation means for generating a signal represented by ((Wr−Gb) + (Wb−Gr)) from the signal output read by the addition reading means at the sample point;
Ratio signal generating means for generating, for each sample point, a first ratio signal that represents the ratio between the first signal and the Wr + Gb signal, and a second ratio signal that represents the ratio between the second signal and the Wb + Gr signal. When,
The first ratio signal and the second ratio signal obtained for each sample point are within the white range on the coordinates formed by the first ratio signal component and the second ratio signal component. White range determining means for determining whether or not,
Among the plurality of sample points determined to be within the white range based on the determination by the white range determination means, a plurality of samples included in the first region within the white range based on illuminance information at the time of shooting Weighting means for performing different weighting on the color signal of a point and the color signals of a plurality of sample points included in a second region different from the first region in the white range;
Moving means for moving coordinates on the frame of the white range with respect to the color signal of the sample point determined not to be within the white range based on the determination of the white range determination unit;
The hybrid ratio according to the number of sample points in the white range and the number of sample points whose coordinates have moved, the color signal determined to be within the white range and weighted, and the moving means Based on the color signal whose coordinates have been moved, a gain control value for controlling the level difference of the Cy signal, Ma signal, Ye signal, and G signal corresponding to the white region of the subject obtained from the image sensor is obtained. An imaging apparatus comprising: a gain control value control unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01688396A JP3984666B2 (en) | 1996-02-01 | 1996-02-01 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01688396A JP3984666B2 (en) | 1996-02-01 | 1996-02-01 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09214985A JPH09214985A (en) | 1997-08-15 |
JP3984666B2 true JP3984666B2 (en) | 2007-10-03 |
Family
ID=11928580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP01688396A Expired - Fee Related JP3984666B2 (en) | 1996-02-01 | 1996-02-01 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3984666B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6083974B2 (en) * | 2012-04-24 | 2017-02-22 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
-
1996
- 1996-02-01 JP JP01688396A patent/JP3984666B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH09214985A (en) | 1997-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4826028B2 (en) | Electronic camera | |
US7098954B2 (en) | Interchangeable lens video camera system | |
JP3539394B2 (en) | Image processing apparatus, program, and recording medium | |
US6906744B1 (en) | Electronic camera | |
JP2004088149A (en) | Imaging system and image processing program | |
CN101605208A (en) | Image processing equipment, imaging device, image processing method and program | |
JP2004328461A (en) | Automatic white balance adjustment method | |
JP3330905B2 (en) | How to adjust the white balance of a video camera | |
JP4489848B2 (en) | Method for correcting image steadyness error in television film scanning, method for changing the motion sequence of a predetermined image object in a television image, and apparatus for performing the method | |
KR100209456B1 (en) | The color image pickup apparatus | |
JP3984666B2 (en) | Imaging device | |
JP4649734B2 (en) | Video signal processing apparatus and recording medium on which video signal processing program is recorded | |
US6094537A (en) | Auto focus camera | |
US6803949B1 (en) | Image sensing apparatus and method | |
JPH0974516A (en) | Image input device | |
JP2000165896A (en) | White balance control method and its system | |
US7551204B2 (en) | Imaging apparatus having a color image data measuring function | |
JP4028395B2 (en) | Digital camera | |
JP3897370B2 (en) | Imaging device | |
JP3563508B2 (en) | Automatic focusing device | |
JP3384916B2 (en) | Imaging device | |
JP2557620B2 (en) | Imaging device | |
JP2002064835A (en) | Image signal processing apparatus, image signal processing method, learning device, learning method and recording medium | |
JP2003209850A (en) | Signal processing circuit for imaging apparatus and signal processing method thereof | |
JP2002185976A (en) | Video signal processor and recording medium with video signal processing program recorded thereon |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070209 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070619 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070709 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |