JPH09238358A - Solid-state image pickup device - Google Patents
Solid-state image pickup deviceInfo
- Publication number
- JPH09238358A JPH09238358A JP8043065A JP4306596A JPH09238358A JP H09238358 A JPH09238358 A JP H09238358A JP 8043065 A JP8043065 A JP 8043065A JP 4306596 A JP4306596 A JP 4306596A JP H09238358 A JPH09238358 A JP H09238358A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image pickup
- color
- supplied
- red
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は空間画素ずらし法
を採用した固体撮像装置に関する。詳しくは、第１のサ
ンプリング周波数でディジタル化した第１，第２および
第３の色撮影データをアップコンバート手段で第２のサ
ンプリング周波数でアップコンバートし、得られた色デ
ータの位相を合わせて演算処理を行い、得られた演算デ
ータとこの演算データの符号反転データを用いて更に演
算処理を実施して各色補正データを生成し、この各色補
正データと各色データをタイミングを合わせて加算する
ことにより色補正を簡単な構成で精度良く行うものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a solid-state image pickup device adopting a spatial pixel shift method. Specifically, the first, second, and third color photographing data digitized at the first sampling frequency are up-converted at the second sampling frequency by the up-conversion means, and the phases of the obtained color data are matched and calculated. By performing the processing, using the obtained operation data and the sign inversion data of this operation data, further performing the operation processing to generate each color correction data, and by adding each color correction data and each color data at the same timing. The color correction is accurately performed with a simple configuration.
【０００２】[0002]
【従来の技術】従来、信号をディジタル化して処理する
固体撮像装置においては、ＣＣＤイメージセンサなどか
ら得られるアナログ撮像信号を一旦ディジタル化し、デ
ィジタル化された撮像信号に対して、ガンマ補正、ニー
補正、ホワイトブラッククリップ、輪郭補正、ホワイト
バランス調整、色相調整、ディテールクリスプニング、
レベルディペンドなどの各種非線形信号処理を施してい
る。2. Description of the Related Art Conventionally, in a solid-state image pickup device which digitizes and processes a signal, an analog image pickup signal obtained from a CCD image sensor or the like is once digitized, and gamma correction and knee correction are performed on the digitized image pickup signal. , White-black clip, contour correction, white balance adjustment, hue adjustment, detail crispening,
Various nonlinear signal processing such as level depend is performed.
【０００３】ところで、アナログ撮像信号をディジタル
化すると、出力波形に歪みを生じて撮像信号に含まれる
周波数成分の整数倍の成分が発生する。このため、ディ
ジタル処理する場合には、サンプリング定理によりサン
プリング周波数ｆｓの半分の周波数ｆｓ／２までの信号
しか再現できない。By the way, when the analog image pickup signal is digitized, the output waveform is distorted to generate a component which is an integral multiple of the frequency component contained in the image pickup signal. Therefore, in the case of digital processing, only a signal up to a frequency fs / 2 which is half the sampling frequency fs can be reproduced by the sampling theorem.
【０００４】ここで、ｆｓ／２を越える周波数成分は、
ｆｓ／２を中心にして折り返り、０〜ｆｓ／２の周波数
成分に混入されてしまう。この撮像信号の基本波成分側
に折り返された成分は偽信号（エリアシング）となり、
再生画質を劣化させる原因となる。そこで基本波成分側
に折り返さないように最近ではサンプリング周波数のア
ップコンバート処理が行われる。Here, the frequency component exceeding fs / 2 is
It folds back around fs / 2 and is mixed in the frequency components of 0 to fs / 2. The component folded back to the fundamental wave component side of this imaging signal becomes a false signal (aliasing),
This causes deterioration of the reproduced image quality. Therefore, recently, the sampling frequency is up-converted so as not to be folded back to the fundamental wave component side.
【０００５】図８はこのようなアップコンバート処理を
行って所定の映像信号を得るようにした固体撮像装置、
例えばディジタルビデオカメラの従来の構成を示す。FIG. 8 shows a solid-state image pickup device which obtains a predetermined video signal by performing such up-conversion processing.
For example, a conventional configuration of a digital video camera is shown.
【０００６】被写体１１からの撮像光は色分解系（図示
せず）により赤色光（Ｒ）成分，緑色光（Ｇ）成分，青
色光（Ｂ）成分の三原色光成分に分解されてカラー撮像
部、例えばＣＣＤイメージセンサ１２Ｒ，１２Ｇ，１２
Ｂで撮像される。The image pickup light from the subject 11 is separated by a color separation system (not shown) into three primary color light components of a red light (R) component, a green light (G) component, and a blue light (B) component, and a color image pickup section. , CCD image sensors 12R, 12G, 12
Imaged at B.
【０００７】このＣＣＤイメージセンサ１２Ｒ，１２
Ｇ，１２Ｂで得られた三原色撮像信号ＳＲ，ＳＧ，ＳＢ
は、Ａ／Ｄコンバータ１３Ｒ，１３Ｇ，１３Ｂでディジ
タルの三原色撮像データＤＲ，ＤＧ，ＤＢとされてプリ
プロセッサ１４に供給される。The CCD image sensors 12R, 12
G, 12B three primary color image pickup signals SR, SG, SB
Are converted into digital three-primary-color image pickup data DR, DG, and DB by the A / D converters 13R, 13G, and 13B, and are supplied to the preprocessor 14.
【０００８】プリプロセッサ１４では、画素の欠陥補正
やシーディング補正が行われる。補正された三原色撮像
データＤＲ，ＤＧ，ＤＢは色補正回路２０に供給され
る。また補正された三原色撮像データＤＲ，ＤＧはイメ
ージエンハンサ３０に供給される。The preprocessor 14 performs pixel defect correction and seeding correction. The corrected three-primary-color image pickup data DR, DG, and DB are supplied to the color correction circuit 20. Further, the corrected three-primary-color image pickup data DR and DG are supplied to the image enhancer 30.
【０００９】色補正回路２０では、リニアマトリクス処
理が行なわれる。このリニアマトリクス処理では、例え
ば三原色撮像入力信号ＲI，ＧI，ＢIが式（１）〜
（３）に示す演算処理によって撮像画像の色再現性を補
正した三原色撮像出力信号ＲO，ＧO，ＢOとされる。 ＲO＝ＲI＋ａ（ＲI−ＧI）＋ｂ（ＲI−ＢI） ・・・式（１） ＧO＝ＧI＋ｃ（ＧI−ＲI）＋ｄ（ＧI−ＢI） ・・・式（２） ＢO＝ＢI＋ｅ（ＢI−ＲI）＋ｆ（ＢI−ＧI） ・・・式（３） なお、ａ〜ｆは係数である。In the color correction circuit 20, linear matrix processing is performed. In this linear matrix processing, for example, the three primary color image pickup input signals RI, GI, and BI are expressed by equations (1) to
The three-primary-color image pickup output signals RO, GO, and BO are obtained by correcting the color reproducibility of the picked-up image by the arithmetic processing shown in (3). RO = RI + a (RI-GI) + b (RI-BI) ... Equation (1) GO = GI + c (GI-RI) + d (GI-BI) ... Equation (2) BO = BI + e (BI-RI) + F (BI-GI) ... Formula (3) In addition, a to f are coefficients.
【００１０】ところで、ＣＣＤイメージセンサを用いた
カラービデオカメラでは、空間画素ずらし法を用いて解
像度を向上させることが行われる。この場合、図９に示
すように例えばＧ信号を得るＣＣＤイメージセンサ１２
Ｇに対し、Ｒ信号およびＢ信号を得るＣＣＤイメージセ
ンサ１２Ｒ，１２Ｂを、水平方向に対して１／２画素ピ
ッチＰ／２だけ相対的にずらして同一被写体像が撮像さ
れる。この空間画素ずらし法では、図１０に示すように
緑色撮像信号のサンプリング点に対して、赤色撮像信号
および青色撮像信号のサンプリング点が１８０°だけ位
相差を有するものとされる。In a color video camera using a CCD image sensor, the spatial pixel shift method is used to improve the resolution. In this case, as shown in FIG. 9, for example, a CCD image sensor 12 for obtaining a G signal
The CCD image sensors 12R and 12B for obtaining the R signal and the B signal with respect to G are relatively displaced by ½ pixel pitch P / 2 with respect to the horizontal direction, and the same subject image is captured. In this spatial pixel shift method, as shown in FIG. 10, the sampling points of the red image pickup signal and the blue image pickup signal have a phase difference of 180 ° with respect to the sampling points of the green image pickup signal.
【００１１】そこで、図１１に示す色補正回路によっ
て、三原色撮像データＤＲ，ＤＧ，ＤＢから、赤色撮像
データＤＲおよび青色撮像データＤＢと同位相である緑
色補間データＤｇを生成すると共に、緑色撮像データＤ
Ｇと同位相である赤色補間データＤｒおよび青色補間デ
ータＤｂを生成して、この三原色撮像データＤＲ，Ｄ
Ｇ，ＤＢと三原色補間データＤｒ，Ｄｇ，Ｄｂを用い
て、色補正された三原色補正撮像データＤＲＣ，ＤＧ
Ｃ，ＤＢＣが生成される。Therefore, the color correction circuit shown in FIG. 11 generates the green interpolation data Dg having the same phase as the red image pickup data DR and the blue image pickup data DB from the three primary color image pickup data DR, DG, DB. D
The red interpolation data Dr and the blue interpolation data Db, which have the same phase as G, are generated, and the three primary color imaging data DR and D are generated.
G, DB and three primary color interpolation data Dr, Dg, Db are used to perform color corrected three primary color correction imaging data DRC, DG
C and DBC are generated.
【００１２】図１１において、赤色撮像データＤＲは、
補間フィルタ２１Ｒと減算器２３ａ，２３ｂ，２３ｅお
よび遅延部２８Ｒに供給される。緑色撮像データＤＧ
は、補間フィルタ２１Ｇとレジスタ２２Ｇｃ，２２Ｇｄ
および遅延部２８Ｇに供給される。また、青色撮像デー
タＤＢは、補間フィルタ２１Ｂと減算器２３ｂ，２３
ｅ，２３ｆおよび遅延部２８Ｂに供給される。In FIG. 11, the red image pickup data DR is
It is supplied to the interpolation filter 21R, the subtractors 23a, 23b, 23e and the delay unit 28R. Green image data DG
Is an interpolation filter 21G and registers 22Gc and 22Gd.
And to the delay unit 28G. Further, the blue image pickup data DB includes the interpolation filter 21B and the subtractors 23b and 23b.
e, 23f and the delay unit 28B.
【００１３】補間フィルタ２１Ｒでは赤色撮像データＤ
Ｒから赤色補間データＤｒが生成される。また補間フィ
ルタ２１Ｇでは緑色撮像データＤＧから緑色補間データ
Ｄｇが生成されて、補間フィルタ２１Ｂでは青色撮像デ
ータＤＢから青色補間データＤｂが生成される。In the interpolation filter 21R, red image pickup data D
Red interpolation data Dr is generated from R. The interpolation filter 21G generates green interpolation data Dg from the green image pickup data DG, and the interpolation filter 21B generates blue interpolation data Db from the blue image pickup data DB.
【００１４】減算器２３ａでは赤色撮像データＤＲから
緑色補間データＤｇが減算される。この減算器２３ａの
演算結果が乗算器２４ａに供給されて、係数「ａ」が乗
算される。すなわち、式（４）の演算が行われる。 ａ（ＤＲ−Ｄｇ） ・・・式（４）The subtractor 23a subtracts the green interpolation data Dg from the red image pickup data DR. The calculation result of the subtractor 23a is supplied to the multiplier 24a and is multiplied by the coefficient "a". That is, the calculation of Expression (4) is performed. a (DR-Dg) ... Formula (4)
【００１５】減算器２３ｂでは赤色撮像データＤＲから
青色撮像データＤＢが減算される。この減算器２３ｂの
演算結果が乗算器２４ｂに供給されて、係数「ｂ」が乗
算される。すなわち、式（５）の演算が行われる。 ｂ（ＤＲ−ＤＢ） ・・・式（５）The subtractor 23b subtracts the blue image pickup data DB from the red image pickup data DR. The calculation result of the subtractor 23b is supplied to the multiplier 24b and is multiplied by the coefficient "b". That is, the calculation of Expression (5) is performed. b (DR-DB) ... Formula (5)
【００１６】レジスタ２２Ｇｃ，２２Ｇｄでは、緑色撮
像データＤＧが補間フィルタ２１Ｒ，２１Ｇ，２１Ｂの
群遅延分だけ遅延されて、赤色撮像データＤＲおよび青
色撮像データＤＢと同位相とされて減算器２３ｃ，２３
ｄに供給される。In the registers 22Gc and 22Gd, the green image pickup data DG is delayed by the group delay of the interpolation filters 21R, 21G and 21B to be in phase with the red image pickup data DR and the blue image pickup data DB and subtractors 23c and 23c.
d.
【００１７】減算器２３ｃではレジスタ２２Ｇｃからの
遅延された緑色撮像データＤＧから赤色補間データＤｒ
が減算される。この減算器２３ｃの演算結果が乗算器２
４ｃに供給されて、係数「ｃ」が乗算される。すなわ
ち、式（６）の演算が行われる。以下同様に減算器２３
ｄ〜２３ｆの演算結果に対して乗算器２４ｄ〜２４ｆで
係数「ｄ」〜「ｆ」が乗算されて、式（７）〜（９）の
演算が行われる。 ｃ（ＤＧ−Ｄｒ） ・・・式（６） ｄ（ＤＧ−Ｄｂ） ・・・式（７） ｅ（ＤＢ−ＤＲ） ・・・式（８） ｆ（ＤＢ−Ｄｇ） ・・・式（９）In the subtractor 23c, the delayed green image pickup data DG from the register 22Gc is converted to the red interpolation data Dr.
Is subtracted. The calculation result of the subtractor 23c is the multiplier 2
4c and is multiplied by the coefficient "c". That is, the calculation of equation (6) is performed. Similarly, the subtractor 23
The multipliers 24d to 24f multiply the calculation results of d to 23f by the coefficients "d" to "f", and the calculations of formulas (7) to (9) are performed. c (DG-Dr) ... Equation (6) d (DG-Db) ... Equation (7) e (DB-DR) ... Equation (8) f (DB-Dg) ... Equation ( 9)
【００１８】加算器２５Ｒでは、乗算器２４ａの乗算結
果と乗算器２４ｂの乗算結果が加算される。この加算結
果である赤色補正データＪＲは低域フィルタ２６Ｒを介
してレジスタ２７Ｒに供給される。このレジスタ２７Ｒ
では赤色補正データＪＲが補間フィルタの群遅延分だけ
遅延されて、後述する緑色補正データＪＧに対して１８
０゜の位相差を有するものとされる。この遅延された赤
色補正データＪＲは加算器２９Ｒに供給される。加算器
２９Ｒには、遅延部２８Ｒで上述の演算処理に要する時
間だけ遅延された赤色撮像データＤＲが供給されてお
り、赤色撮像データＤＲと遅延された赤色補正データＪ
Ｒが加算されて、赤色補正撮像データＤＲＣとして出力
される。すなわち、赤色補正撮像データＤＲＣは式（１
０）に示す演算処理の結果を示すものとされる。 ＤＲＣ＝ＤＲ＋ａ（ＤＲ−Ｄｇ）＋ｂ（ＤＲ−ＤＢ） ・・・式（１０）In the adder 25R, the multiplication result of the multiplier 24a and the multiplication result of the multiplier 24b are added. The red color correction data JR that is the result of this addition is supplied to the register 27R via the low-pass filter 26R. This register 27R
Then, the red color correction data JR is delayed by the group delay of the interpolation filter, and the green color correction data JG to be described later is set to 18
It is assumed to have a phase difference of 0 °. The delayed red color correction data JR is supplied to the adder 29R. The red image pickup data DR delayed by the delay unit 28R by the time required for the above-described arithmetic processing is supplied to the adder 29R, and the red image pickup data DR and the delayed red correction data J are supplied.
R is added and output as red-corrected imaging data DRC. That is, the red-corrected image pickup data DRC is expressed by the formula (1
0) indicates the result of the arithmetic processing. DRC = DR + a (DR-Dg) + b (DR-DB) ... Formula (10).
【００１９】加算器２５Ｇでは、乗算器２４ｃの乗算結
果と乗算器２４ｄの乗算結果が加算される。この加算結
果である緑色補正データＪＧは低域フィルタ２６Ｇを介
して加算器２９Ｇに供給される。加算器２９Ｇには、遅
延部２８Ｇで遅延された緑色撮像データＤＧが供給され
ており、緑色撮像データＤＧと緑色補正データＪＧが加
算されて、緑色補正撮像データＤＧＣとして出力され
る。すなわち、緑色補正撮像データＤＧＣは式（１１）
に示す演算処理の結果を示すものとされる。 ＤＧＣ＝ＤＧ＋ｃ（ＤＧ−Ｄｒ）＋ｄ（ＤＧ−Ｄｂ） ・・・式（１１）In the adder 25G, the multiplication result of the multiplier 24c and the multiplication result of the multiplier 24d are added. The green correction data JG which is the addition result is supplied to the adder 29G via the low-pass filter 26G. The green image pickup data DG delayed by the delay unit 28G is supplied to the adder 29G, the green image pickup data DG and the green correction data JG are added, and the result is output as the green correction image pickup data DGC. That is, the green-corrected image pickup data DGC is expressed by the equation (11).
The result of the arithmetic processing shown in FIG. DGC = DG + c (DG-Dr) + d (DG-Db) ... Formula (11)
【００２０】加算器２５Ｂでは、乗算器２４ｅの乗算結
果と乗算器２４ｆの乗算結果が加算される。この加算結
果である青色補正データＪＢは低域フィルタ２６Ｂを介
してレジスタ２７Ｂに供給されて、赤色補正データＪＲ
と同様に遅延されて加算器２９Ｂに供給される。加算器
２９Ｂには、遅延部２８Ｂで遅延された青色撮像データ
ＤＢが供給されており、青色撮像データＤＢと遅延され
た青色補正データＪＢが加算されて、青色補正撮像デー
タＤＢＣとして出力される。すなわち、青色補正撮像デ
ータＤＢＣは式（１２）に示す演算処理の結果を示すも
のとされる。なお、遅延部２８Ｒ，２８Ｇ，２８Ｂでの
遅延時間は同一とされる。 ＤＢＣ＝ＤＢ＋ｅ（ＤＢ−ＤＲ）＋ｆ（ＤＢ−Ｄｂ） ・・・式（１２）In the adder 25B, the multiplication result of the multiplier 24e and the multiplication result of the multiplier 24f are added. The blue correction data JB which is the addition result is supplied to the register 27B via the low-pass filter 26B, and the red correction data JR is supplied.
Similarly, the signal is delayed and supplied to the adder 29B. The blue image pickup data DB delayed by the delay unit 28B is supplied to the adder 29B, and the blue image pickup data DB and the delayed blue correction data JB are added and output as the blue correction image pickup data DBC. That is, the blue-corrected image pickup data DBC indicates the result of the arithmetic processing shown in Expression (12). The delay times of the delay units 28R, 28G and 28B are the same. DBC = DB + e (DB-DR) + f (DB-Db) ... Formula (12).
【００２１】このように、三原色撮像データＤＲ，Ｄ
Ｇ，ＤＢから三原色補間データＤｒ，Ｄｇ，Ｄｂを得
て、この三原色補間データＤｒ，Ｄｇ，Ｄｂと赤色撮像
データＤＲ、青色撮像データＤＢおよび同位相とされた
緑色撮像データＤＧから三原色補正データＪＲ，ＪＧ，
ＪＢを得るものとし、次に緑色補正データＪＧを所定の
タイミングで緑色撮像データＤＧに加算すると共に、赤
色補正データＪＲおよび青色補正データＪＢを１８０゜
の位相差分だけ遅延させてから所定のタイミングで赤色
撮像データＤＲおよび青色撮像データＤＢに加算するこ
とにより、正しいタイミングでリニアマトリクス処理が
行われる。このようにして、得られた三原色補正撮像デ
ータＤＲＣ，ＤＧＣ，ＤＢＣは、それぞれアップコンバ
ータ４０Ｒ，４０Ｇ，４０Ｂに供給される。In this way, the three primary color image pickup data DR, D
The three primary color interpolation data Dr, Dg, Db are obtained from G, DB, and the three primary color correction data JR, from the three primary color interpolation data Dr, Dg, Db, the red image pickup data DR, the blue image pickup data DB and the in-phase green image pickup data DG. , JG,
JB is obtained, and then the green correction data JG is added to the green image pickup data DG at a predetermined timing, and the red correction data JR and the blue correction data JB are delayed by a phase difference of 180 ° and then at a predetermined timing. By adding to the red image pickup data DR and the blue image pickup data DB, the linear matrix processing is performed at correct timing. In this way, the obtained three-primary-color-corrected imaging data DRC, DGC, DBC are supplied to the up converters 40R, 40G, 40B, respectively.
【００２２】アップコンバータ４０Ｒでは、赤色補正撮
像データＤＲＣがＡ／Ｄコンバータ１３Ｒでのサンプリ
ング周波数ｆｓよりも充分高い周波数ｆｓ′に変換（ア
ップコンバート）されて加算器５０Ｒに供給される。同
様にアップコンバータ４０Ｇでは、緑色補正撮像データ
ＤＧＣが周波数ｆｓ′に変換されて加算器５０Ｇに供給
されると共に、アップコンバータ４０Ｂでは、青色補正
撮像データＤＢＣが周波数ｆｓ′に変換されて加算器５
０Ｂに供給される。The up-converter 40R converts (up-converts) the red-corrected image pickup data DRC into a frequency fs' which is sufficiently higher than the sampling frequency fs in the A / D converter 13R, and supplies it to the adder 50R. Similarly, in the up converter 40G, the green corrected image pickup data DGC is converted into the frequency fs 'and supplied to the adder 50G, and in the upconverter 40B, the blue corrected image pickup data DBC is converted into the frequency fs' and the adder 5G.
0B is supplied.
【００２３】一方、イメージエンハンサ３０では、赤色
撮像データＤＲと緑色撮像データＤＧに基づき、画像の
輪郭部を強調するための輪郭強調信号Ｄａ、Ｄｃが生成
される。この輪郭強調信号Ｄａによって高域側が強調さ
れると共に、輪郭強調信号Ｄｃによって低域側が強調さ
れて画像の輪郭部が強調される。On the other hand, the image enhancer 30 generates contour enhancement signals Da and Dc for enhancing the contour portion of the image based on the red image pickup data DR and the green image pickup data DG. The contour emphasis signal Da emphasizes the high frequency side, and the contour emphasis signal Dc emphasizes the low frequency side to emphasize the contour part of the image.
【００２４】輪郭強調信号Ｄｃは、加算器５０Ｒ，５０
Ｇ，５０Ｂでアップコンバートされた三原色補正撮像デ
ータＤＲＣ，ＤＧＣ，ＤＢＣに加算される。The contour emphasis signal Dc is added to the adders 50R and 50R.
It is added to the three-primary-color-corrected image pickup data DRC, DGC, and DBC up-converted by G and 50B.
【００２５】加算器５０Ｒ，５０Ｇ，５０Ｂからの出力
データは、γ・ニー補正回路５５Ｒ，５５Ｇ，５５Ｂ
で、ガンマ補正やニー補正が行われる。さらに補正後の
データには、加算器６０Ｒ，６０Ｇ，６０Ｂでイメージ
エンハンサ３０からの輪郭強調信号Ｄａが加算される。The output data from the adders 50R, 50G and 50B are γ / knee correction circuits 55R, 55G and 55B.
Then, gamma correction and knee correction are performed. Further, the contour enhancement signal Da from the image enhancer 30 is added to the corrected data by the adders 60R, 60G, and 60B.
【００２６】この輪郭強調信号Ｄａが加算された出力デ
ータがＹ・Ｃマトリックス６５に供給されて、輝度デー
タＹおよび色差データＣｒ，Ｃｂが生成される。この輝
度データＹおよび色差データＣｒ，ＣｂがＤ／Ａコンバ
ータ７０Ｙ、７０Ｃｒ，７０Ｃｂによってアナログ信号
に変換されて、アップコンバートしたままの状態の輝度
信号ＳＹおよび色差信号ＳＣｒ，ＳＣｂが出力される。
またレートコンバータ７５によって、輝度データＹおよ
び色差データＣｒ，Ｃｂがサンプリング周波数ｆｓを使
用して元のサンプリングレートにダウンコンバートされ
る。The output data to which the contour enhancement signal Da has been added is supplied to the Y / C matrix 65, and the luminance data Y and the color difference data Cr and Cb are generated. The luminance data Y and the color difference data Cr, Cb are converted into analog signals by the D / A converters 70Y, 70Cr, 70Cb, and the luminance signal SY and the color difference signals SCr, SCb in the up-converted state are output.
Further, the rate converter 75 down-converts the luminance data Y and the color difference data Cr, Cb to the original sampling rate using the sampling frequency fs.
【００２７】[0027]
【発明が解決しようとする課題】ところで、三原色撮像
データＤＲ，ＤＧ，ＤＢの色信号処理を周波数領域で示
すと、緑色撮像データＤＧは図１２Ａに示すような周波
数成分とされると共に、赤および青色撮像データＤＲ，
ＤＢは図１２Ｂに示すような周波数成分とされる。By the way, when the color signal processing of the three primary color image pickup data DR, DG, and DB is shown in the frequency domain, the green image pickup data DG has frequency components as shown in FIG. Blue imaging data DR,
DB is a frequency component as shown in FIG. 12B.
【００２８】ここで、補間フィルタ２１Ｒ，２１Ｇ，２
１Ｂの周波数特性が図１２Ｃに示す特性を有するものと
すると、補間フィルタから得られる緑色補間データＤｇ
は図１２Ｄとされると共に、赤色補間データＤｒおよび
青色補間データＤｂは図１２Ｅとされる。このため、ベ
ースバンドについて例えば「ＤＧーＤｒ」の演算を行う
と、サンプリング周波数ｆSまでの演算結果を示す図１
２Ｆの斜線で示す領域が誤差とされるので、精度良く色
補正を行なうことができない。Here, the interpolation filters 21R, 21G, 2
Assuming that the frequency characteristic of 1B has the characteristic shown in FIG. 12C, the green interpolation data Dg obtained from the interpolation filter.
12D, and the red interpolation data Dr and the blue interpolation data Db are shown in FIG. 12E. Therefore, for example, when the calculation of "DG-Dr" is performed on the baseband, the calculation result up to the sampling frequency fS is shown in FIG.
Since the shaded area of 2F is regarded as an error, color correction cannot be performed accurately.
【００２９】このように、補間フィルタ２１Ｒ，２１
Ｇ，２１Ｂを設けて三原色補間データＤｒ，Ｄｇ，Ｄｂ
を生成しなければならないと共に、式（４）〜（９）の
減算処理に対してそれぞれ減算器が必要とされるの構成
が煩雑となる。また、誤差を少ないものとするためには
特性の劣化の少ない補間フィルタを用いる必要があり回
路規模が増大してしまう。In this way, the interpolation filters 21R, 21
G and 21B are provided to provide three primary color interpolation data Dr, Dg, Db
And the subtractor is required for the subtraction processing of equations (4) to (9), which complicates the configuration. Further, in order to reduce the error, it is necessary to use an interpolation filter with less deterioration of characteristics, which increases the circuit scale.
【００３０】さらに、視覚上、輝度に対して色の分解能
が低いため、低域フィルタ２６Ｒ，２６Ｇ，２６Ｂで色
補正信号の帯域を狭くする場合には、前段にフィルタが
ないことから低域フィルタ２６Ｒ，２６Ｇ，２６Ｂの回
路規模が増大してしまう。Further, since the color resolution is visually low with respect to the luminance, when the band of the color correction signal is narrowed by the low-pass filters 26R, 26G, and 26B, there is no filter in the previous stage, so the low-pass filter is not present. The circuit scale of 26R, 26G, and 26B increases.
【００３１】そこで、この発明では精度良く色補正を行
うことができると共に、構成が簡単で回路規模の小さい
固体撮像装置を提供するものである。Therefore, the present invention provides a solid-state image pickup device which can perform color correction with high accuracy and has a simple structure and a small circuit scale.
【００３２】[0032]
【課題を解決するための手段】この発明に係る固体撮像
装置は、第１，第２および第３の色撮影信号を第１のサ
ンプリング周波数でディジタル化した第１，第２および
第３の色撮影データを、第１のサンプリング周波数の２
n倍（ｎは正の整数）の第２のサンプリング周波数でア
ップコンバートするアップコンバート手段と、アップコ
ンバート手段で得られた第１，第２および第３の色デー
タの位相を合わせて各色補正データを生成する演算処理
手段と、演算処理手段で生成された各色補正データを第
１，第２および第３の対応する色データに加算する加算
手段とを有するものである。A solid-state image pickup device according to the present invention includes first, second and third color signals obtained by digitizing first, second and third color photographing signals at a first sampling frequency. The shooting data is set to 2 of the first sampling frequency.
Up-conversion means for up-converting at a second sampling frequency that is n times (n is a positive integer), and the phases of the first, second, and third color data obtained by the up-conversion means are matched to each color correction data. And an adding means for adding each color correction data generated by the arithmetic processing means to the corresponding first, second and third color data.
【００３３】この発明においては、第１のサンプリング
周波数でディジタル化した第１，第２および第３の色撮
影データがアップコンバート手段で第２のサンプリング
周波数でアップコンバートされる。このアップコンバー
ト手段で得られた色データの位相が合わせられて演算処
理が行われ、得られた演算データとこの演算データの符
号反転データを用いて、更に演算処理が行われて各色補
正データが生成されて、この各色補正データと各色デー
タが加算されて色補正が行われる。また低域フィルタに
よって各色補正データが帯域制限されてから各色データ
に加算される。In the present invention, the first, second and third color photographing data digitized at the first sampling frequency are up-converted at the second sampling frequency by the up-converting means. The phase of the color data obtained by the up-conversion means is matched and a calculation process is performed. Using the obtained calculation data and the sign inversion data of this calculation data, a calculation process is further performed to obtain each color correction data. After being generated, the color correction data and each color data are added to perform color correction. Further, each color correction data is band-limited by the low-pass filter and then added to each color data.
【００３４】[0034]
【発明の実施の形態】続いてこの発明に係る固体撮像装
置の実施の一形態について図を参照して詳細に説明す
る。BEST MODE FOR CARRYING OUT THE INVENTION Next, one embodiment of a solid-state image pickup device according to the present invention will be described in detail with reference to the drawings.
【００３５】図１は固体撮像装置であるディジタルビデ
オカメラの構成を示している。この図１において被写体
１１からの撮像光は従来と同様に色分解系（図示せず）
により赤色光（Ｒ）成分，緑色光（Ｇ）成分，青色光
（Ｂ）成分の三原色光成分に分解されてカラー撮像部、
例えばＣＣＤイメージセンサ１２Ｒ，１２Ｇ，１２Ｂで
撮像される。FIG. 1 shows the structure of a digital video camera which is a solid-state image pickup device. In FIG. 1, the imaging light from the subject 11 is a color separation system (not shown) as in the conventional case.
Is decomposed into three primary color light components of a red light (R) component, a green light (G) component, and a blue light (B) component, and a color imaging unit,
For example, the CCD image sensors 12R, 12G, and 12B capture images.
【００３６】このＣＣＤイメージセンサ１２Ｒ，１２
Ｇ，１２Ｂで得られた三原色撮像信号ＳＲ，ＳＧ，ＳＢ
は、Ａ／Ｄコンバータ１３Ｒ，１３Ｇ，１３Ｂで第１の
サンプリング周波数ｆS、例えば１８ＭＨｚのサンプリ
ング周波数でディジタルの三原色撮像データＤＲ，Ｄ
Ｇ，ＤＢとされてプリプロセッサ１４に供給される。This CCD image sensor 12R, 12
G, 12B three primary color image pickup signals SR, SG, SB
Is the digital three-primary-color imaging data DR, D at the first sampling frequency fS, for example, 18 MHz sampling frequency in the A / D converters 13R, 13G, 13B
G and DB are supplied to the preprocessor 14.
【００３７】プリプロセッサ１４では、画素の欠陥補正
やシーディング補正が行われる。補正された三原色撮像
データＤＲ，ＤＧ，ＤＢはアップコンバータ８０Ｒ，８
０Ｇ，８０Ｂに供給される。また補正された赤色撮像デ
ータＤＲおよび緑色撮像データＤＧはイメージエンハン
サ３０に供給される。The preprocessor 14 performs pixel defect correction and seeding correction. The corrected three-primary-color image pickup data DR, DG, and DB are upconverters 80R, 8
It is supplied to 0G and 80B. Further, the corrected red image pickup data DR and the corrected green image pickup data DG are supplied to the image enhancer 30.
【００３８】アップコンバータ８０Ｒ，８０Ｇ，８０Ｂ
では、サンプリング周波数ｆSのサンプリングによって
得られた三原色撮像データＤＲ，ＤＧ，ＤＢがサンプリ
ング周波数ｆSの２n倍（ｎは正の整数）の第２のサンプ
リング周波数でアップコンバートされる。Up-converters 80R, 80G, 80B
Then, the three primary color image pickup data DR, DG, and DB obtained by sampling at the sampling frequency fS are up-converted at the second sampling frequency which is 2 n times (n is a positive integer) the sampling frequency fS.
【００３９】ここで、図２にサンプリング周波数ｆSの
赤色撮像データＤＲを２倍のサンプリング周波数２ｆS
（３６ＭＨｚ）の赤色撮像データＤＲＵにアップコンバ
ートするアップコンバータ８０Ｒの構成を簡略化して示
す。なお、アップコンバータ８０Ｇ，８０Ｂもアップコ
ンバータ８０Ｒと同様に構成される。Here, in FIG. 2, the red image pickup data DR having the sampling frequency fS is doubled at the sampling frequency 2fS.
The configuration of an up-converter 80R that up-converts to (36 MHz) red imaging data DRU is shown in a simplified manner. The up converters 80G and 80B are also configured similarly to the up converter 80R.
【００４０】アップコンバータ８０Ｒはゼロ挿入スイッ
チ８２Ｒとディジタルの帯域制限フィルタ８４Ｒ等から
構成される。このゼロ挿入スイッチ８２Ｒはアップコン
バート用サンプリング周波数２ｆsで切り換えられて、
端子８１Ｒに供給される赤色撮像データＤＲとゼロ信号
が交互に選択される。ゼロ挿入スイッチ８２Ｒで選択さ
れたデータは、レジスタ８３Ｒでラッチされたのち帯域
制限フィルタ８４Ｒに供給される。The up converter 80R is composed of a zero insertion switch 82R, a digital band limiting filter 84R and the like. The zero insertion switch 82R is switched at the up-converting sampling frequency 2fs,
The red image pickup data DR and the zero signal supplied to the terminal 81R are alternately selected. The data selected by the zero insertion switch 82R is latched by the register 83R and then supplied to the band limiting filter 84R.
【００４１】帯域制限フィルタ８４Ｒは、例えば（１，
２，１）型フィルタで構成される。この帯域制限フィル
タ８４Ｒは、繰り返し周期１／ｆSを遅延時間とする縦
続接続された一対の遅延素子８５Ｒ，８６Ｒを有し、そ
の入出力段と段間から得られる信号が乗算器８７Ｒ，８
８Ｒ，８９Ｒに供給されて図に示すように係数（１，
２，１）で乗算される。The band limiting filter 84R has, for example, (1,
2, 1) type filter. This band limiting filter 84R has a pair of delay elements 85R and 86R connected in series with a delay time of 1 / fS of the repetition period, and the signals obtained from the input / output stages and the stages are multipliers 87R and 8R.
8R and 89R, as shown in the figure, the coefficients (1,
2, 1).
【００４２】乗算出力は加算器９０Ｒで加算されたの
ち、レベル減衰器９１Ｒに供給されて、出力レベルが１
／２とされる。この結果、赤色撮像データＤＲが２倍の
サンプリング周波数２ｆSの赤色撮像データＤＲＵにア
ップコンバートされる。The multiplication outputs are added by the adder 90R and then supplied to the level attenuator 91R so that the output level is 1
/ 2. As a result, the red image pickup data DR is up-converted into the red image pickup data DRU having the double sampling frequency 2fS.
【００４３】アップコンバータ８０Ｇ，８０Ｂもアップ
コンバータ８０Ｒと同様に構成されており、緑色撮像デ
ータＤＧおよび青色撮像データＤＢが周波数２ｆｓにア
ップコンバートとされて緑色撮像データＤＧＵおよび青
色撮像データＤＢＵとして出力される。The up-converters 80G and 80B are also constructed similarly to the up-converter 80R, and the green image pickup data DG and the blue image pickup data DB are upconverted to the frequency 2fs and outputted as the green image pickup data DGU and the blue image pickup data DBU. It
【００４４】このようにして得られた三原色撮像データ
ＤＲＵ，ＤＧＵ，ＤＢＵは色補正回路１００に供給され
る。The three primary color image pickup data DRU, DGU, DBU thus obtained are supplied to the color correction circuit 100.
【００４５】次に、図３に色補正回路１００の構成を示
す。なお、図３においてレジスタ１０４、減算器１０１
〜１０３、乗算器１０５ａ〜ｆ，１０６，１０７，１０
８および加算器１０９Ｒ〜Ｂで演算処理手段が構成さ
れ、遅延部１１２Ｒ〜Ｂおよび加算器１１３Ｒ〜Ｂで加
算手段が構成される。Next, FIG. 3 shows the configuration of the color correction circuit 100. In FIG. 3, the register 104 and the subtractor 101
103, multipliers 105a-f, 106, 107, 10
8 and the adders 109R-B constitute an arithmetic processing means, and the delay units 112R-B and the adders 113R-B constitute an adding means.
【００４６】赤色撮像データＤＲＵは、減算器１０１，
１０２および遅延部１１２Ｒに供給される。緑色撮像デ
ータＤＧＵは、レジスタ１０４を介して減算器１０１，
１０３および遅延部１１２Ｇに供給され、青色撮像デー
タＤＢＵは、減算器１０２，１０３および遅延部１１２
Ｂに供給される。ここで三原色撮像データＤＲＵ，ＤＧ
Ｕ，ＤＢＵが２倍にアップコンバートされた信号である
ことから、緑色撮像データＤＧＵがレジスタ１０４で１
クロック遅延されることにより、緑色撮像データＤＧＵ
と赤色撮像データＤＲＵおよび青色撮像データＤＢＵが
同位相とされる。The red image pickup data DRU is generated by the subtractor 101,
102 and the delay unit 112R. The green image pickup data DGU is transferred via the register 104 to the subtractor 101,
The blue image pickup data DBU is supplied to the subtractor 102 and 103 and the delay unit 112.
B. Here, the three primary color imaging data DRU, DG
Since U and DBU are signals up-converted by a factor of 2, the green image pickup data DGU is set to 1 in the register 104.
Due to the clock delay, the green image pickup data DGU
The red image pickup data DRU and the blue image pickup data DBU have the same phase.
【００４７】減算器１０１では赤色撮像データＤＲＵか
ら同位相である緑色撮像データＤＧＵが減算される。こ
の減算器１０１の演算結果が乗算器１０５ａに供給され
て係数「ａ」が乗算される。すなわち、式（１３）の演
算が行われる。また減算器１０１の演算結果が乗算器１
０６に供給されて係数「−１」が乗算されると共にこの
乗算結果が乗算器１０５ｃに供給されて、係数「ｃ」が
乗算される。すなわち、式（１５）の演算が行われる。The subtracter 101 subtracts the green image pickup data DGU having the same phase from the red image pickup data DRU. The calculation result of the subtractor 101 is supplied to the multiplier 105a and is multiplied by the coefficient "a". That is, the calculation of Expression (13) is performed. Further, the calculation result of the subtractor 101 is the multiplier 1
06 is multiplied by the coefficient “−1” and the multiplication result is also supplied to the multiplier 105c to be multiplied by the coefficient “c”. That is, the calculation of Expression (15) is performed.
【００４８】同様に、減算器１０２で赤色撮像データＤ
ＲＵから青色撮像データＤＢＵが減算されて、演算結果
が乗算器１０５ｂに供給されて係数「ｂ」が乗算され
る。すなわち、式（１４）の演算が行われる。また減算
器１０２の演算結果が乗算器１０７に供給されて係数
「−１」が乗算されると共にこの乗算結果が乗算器１０
５ｅに供給されて、係数「ｅ」が乗算される。すなわ
ち、式（１７）の演算が行われる。Similarly, red subtraction data D is obtained by the subtractor 102.
The blue image pickup data DBU is subtracted from the RU, the calculation result is supplied to the multiplier 105b, and is multiplied by the coefficient "b". That is, the calculation of Expression (14) is performed. Further, the calculation result of the subtractor 102 is supplied to the multiplier 107 and is multiplied by the coefficient “−1”, and the multiplication result is multiplied by the multiplier 10
5e and is multiplied by the coefficient "e". That is, the calculation of Expression (17) is performed.
【００４９】また、減算器１０３では、青色撮像データ
ＤＢＵと同位相である緑色撮像データＤＲＵから青色撮
像データＤＢＵが減算されて、演算結果が乗算器１０５
ｄに供給されて係数「ｄ」が乗算される。すなわち、式
（１６）の演算が行われる。また減算器１０３の演算結
果が乗算器１０８に供給されて係数「−１」が乗算され
ると共にこの乗算結果が乗算器１０５ｆに供給されて、
係数「ｆ」が乗算される。すなわち、式（１８）の演算
が行われる。 ａ（ＤＲＵ−ＤＧＵ） ・・・式（１３） ｂ（ＤＲＵ−ＤＢＵ） ・・・式（１４） ｃ（ＤＧＵ−ＤＲＵ） ・・・式（１５） ｄ（ＤＧＵ−ＤＢＵ） ・・・式（１６） ｅ（ＤＢＵ−ＤＲＵ） ・・・式（１７） ｆ（ＤＢＵ−ＤＧＵ） ・・・式（１８）In the subtractor 103, the blue image pickup data DBU is subtracted from the green image pickup data DRU having the same phase as the blue image pickup data DBU, and the calculation result is the multiplier 105.
It is supplied to d and is multiplied by the coefficient "d". That is, the calculation of Expression (16) is performed. Further, the calculation result of the subtractor 103 is supplied to the multiplier 108 to be multiplied by the coefficient "-1" and the multiplication result is supplied to the multiplier 105f.
The coefficient "f" is multiplied. That is, the calculation of Expression (18) is performed. a (DRU-DGU) ... Equation (13) b (DRU-DBU) ... Equation (14) c (DGU-DRU) ... Equation (15) d (DGU-DBU) ... Equation ( 16) e (DBU-DRU) ... Equation (17) f (DBU-DGU) ... Equation (18)
【００５０】加算器１０９Ｒでは、乗算器１０５ａの乗
算結果と乗算器１０５ｂの乗算結果が加算される。この
加算結果は赤色補正データＫＲとして低域フィルタ１１
０Ｒを介してレジスタ１１１Ｒに供給される。このレジ
スタ２７Ｒでは赤色補正データＫＲが１クロック遅延さ
れて、後述する緑色補正データＪＧに対して所定の位相
差、すなわち緑色撮像データＤＧＵに対する赤色撮像デ
ータＤＲＵの位相差と等しい位相差となるように遅延さ
れる。この遅延された赤色補正データＫＲは加算器１１
３Ｒに供給される。加算器１１３Ｒには、遅延部１１２
Ｒで上述の演算処理に要する時間だけ遅延された赤色撮
像データＤＲＵが供給されており、赤色撮像データＤＲ
Ｕと赤色補正データＫＲが加算されて、赤色補正撮像デ
ータＤＲＵＣとして出力される。すなわち、赤色補正撮
像データＤＲＵＣは式（１９）に示す演算処理の結果を
示すものとされる。 ＤＲＵＣ＝ＤＲＵ＋ａ（ＤＲＵ−ＤＧＵ）＋ｂ（ＤＲＵ
−ＤＢＵ） ・・・式（１９）In the adder 109R, the multiplication result of the multiplier 105a and the multiplication result of the multiplier 105b are added. The result of this addition is the low-pass filter 11 as red color correction data KR.
It is supplied to the register 111R via 0R. In this register 27R, the red color correction data KR is delayed by one clock so that it has a predetermined phase difference with respect to green color correction data JG described later, that is, a phase difference equal to the phase difference between the red color image pickup data DRU and the green color image pickup data DGU. Be delayed. The delayed red color correction data KR is added to the adder 11
Supplied to 3R. The adder 113R includes a delay unit 112.
The red image pickup data DRU delayed by the time required for the above-mentioned arithmetic processing in R is supplied, and the red image pickup data DR is supplied.
U and the red color correction data KR are added and output as red color correction imaging data DRUC. That is, the red-corrected image pickup data DRUC indicates the result of the arithmetic processing shown in Expression (19). DRUC = DRU + a (DRU-DGU) + b (DRU
-DBU) ... Formula (19)
【００５１】加算器１１３Ｇでは、乗算器１０５ｃの乗
算結果と乗算器１０５ｄの乗算結果が加算される。この
加算結果である緑色補正データＫＧは低域フィルタ１１
０Ｇを介して加算器１１３Ｇに供給される。加算器１１
３Ｇには遅延部１１２Ｇで遅延された緑色撮像データＤ
ＧＵが供給されており、緑色撮像データＤＧＵと緑色補
正データＫＧが加算されて緑色補正撮像データＤＧＵＣ
として出力される。すなわち緑色補正撮像データＤＧＵ
Ｃは式（２０）に示す演算結果を示すものとされる。 ＤＧＵＣ＝ＤＧＵ＋ｃ（ＤＧＵ−ＤＲＵ）＋ｄ（ＤＧＵ
−ＤＢＵ） ・・・式（２０）In the adder 113G, the multiplication result of the multiplier 105c and the multiplication result of the multiplier 105d are added. The green correction data KG that is the result of this addition is the low-pass filter 11
It is supplied to the adder 113G via 0G. Adder 11
The green image pickup data D delayed by the delay unit 112G for 3G
GU is supplied, and the green image pickup data DGU and the green correction data KG are added to obtain the green correction image pickup data DGUC.
Is output as That is, the green corrected image pickup data DGU
C indicates the calculation result shown in Expression (20). DGUC = DGU + c (DGU-DRU) + d (DGU
-DBU) ... Expression (20)
【００５２】加算器１０９Ｂでは、乗算器１０５ｅの乗
算結果と乗算器１０５ｆの乗算結果が加算される。この
加算結果である青色補正データＫＢは低域フィルタ１１
０Ｂを介して加算器１１３Ｂに供給される。加算器１１
３Ｂには、遅延部１１２Ｂで遅延された青色撮像データ
ＤＢＵが供給されており、青色撮像データＤＢＵと遅延
された青色補正データＫＢが加算されて、青色補正撮像
データＤＢＵＣとして出力される。すなわち、青色補正
撮像データＤＢＵＣは式（２１）に示す演算処理の結果
を示すものとされる。なお、遅延部１１２Ｒ，１１２
Ｇ，１１２Ｂでの遅延時間は同一とされる。 ＤＢＵＣ＝ＤＢＵ＋ｅ（ＤＢＵ−ＤＲＵ）＋ｆ（ＤＢＵ
−ＤＧＵ） ・・・式（２１）In the adder 109B, the multiplication result of the multiplier 105e and the multiplication result of the multiplier 105f are added. The blue correction data KB that is the addition result is the low-pass filter 11
It is supplied to the adder 113B via 0B. Adder 11
The blue image pickup data DBU delayed by the delay unit 112B is supplied to 3B, and the blue image pickup data DBU and the delayed blue correction data KB are added and output as blue correction image pickup data DBUC. That is, the blue-corrected image pickup data DBUC indicates the result of the arithmetic processing shown in Expression (21). The delay units 112R and 112
The delay times for G and 112B are the same. DBUC = DBU + e (DBU-DRU) + f (DBU
-DGU) ... Formula (21)
【００５３】このように、アップコンバータ８０Ｒ，８
０Ｇ，８０Ｂからの三原色撮像データＤＲＵ，ＤＧＵ，
ＤＢＵと赤色撮像データＤＲＵおよび青色撮像データＤ
ＢＵと同位相とされた緑色撮像データＤＧＵから三原色
補正データＫＲ，ＫＧ，ＫＢを得るものとし、次に緑色
補正データＫＧを所定のタイミングで緑色撮像データＤ
ＧＵに加算すると共に、赤色補正データＫＲおよび青色
補正データＫＢを所定の位相差分だけ遅延させてから所
定のタイミングで赤色撮像データＤＲＵおよび青色撮像
データＤＢＵに加算することにより、正しいタイミング
でリニアマトリクス処理が行われる。このため、補間フ
ィルタを設けて補間データを得る必要がなく色補正回路
１００の構成を簡単とすることができる。In this way, the up converters 80R, 8
3G primary color imaging data DRU, DGU from 0G, 80B,
DBU, red image pickup data DRU, and blue image pickup data D
It is assumed that the three primary color correction data KR, KG, and KB are obtained from the green image pickup data DGU in the same phase as BU, and then the green color correction data KG is acquired at a predetermined timing.
In addition to the addition to GU, the red correction data KR and the blue correction data KB are delayed by a predetermined phase difference and then added to the red image pickup data DRU and the blue image pickup data DBU at a predetermined timing, thereby performing linear matrix processing at the correct timing. Is done. Therefore, it is not necessary to provide an interpolation filter to obtain the interpolation data, and the color correction circuit 100 can have a simple configuration.
【００５４】この色補正回路１００で得られた三原色補
正撮像データＤＲＵＣ，ＤＧＵＣ，ＤＢＵＣは、それぞ
れ加算器５０Ｒ，５０Ｇ，５０Ｂに供給される。The three primary color corrected image pickup data DRUC, DGUC, DBUC obtained by the color correction circuit 100 are supplied to the adders 50R, 50G, 50B, respectively.
【００５５】一方、イメージエンハンサ３０では、赤色
撮像データＤＲと緑色撮像データＤＧに基づき、画像の
輪郭部を強調するための輪郭強調信号Ｄａ、Ｄｃが生成
される。この輪郭強調信号Ｄａによって高域側が強調さ
れると共に、輪郭強調信号Ｄｃによって低域側が強調さ
れて画像の輪郭部が強調される。On the other hand, the image enhancer 30 generates contour enhancement signals Da and Dc for enhancing the contour portion of the image based on the red image pickup data DR and the green image pickup data DG. The contour emphasis signal Da emphasizes the high frequency side, and the contour emphasis signal Dc emphasizes the low frequency side to emphasize the contour part of the image.
【００５６】輪郭強調信号Ｄｃは、加算器５０Ｒ，５０
Ｇ，５０Ｂで三原色補正撮像データＤＲＵＣ，ＤＧＵ
Ｃ，ＤＢＵＣに加算される。The contour emphasis signal Dc is added to the adders 50R and 50R.
G, 50B three-primary color correction imaging data DRUC, DGU
It is added to C and DBUC.
【００５７】加算器５０Ｒ，５０Ｇ，５０Ｂからの出力
データは、γ・ニー補正回路５５Ｒ，５５Ｇ，５５Ｂ
で、ガンマ補正やニー補正が行われる。さらに補正後の
データには、加算器６０Ｒ，６０Ｇ，６０Ｂでイメージ
エンハンサ３０からの輪郭強調信号Ｄａが加算される。The output data from the adders 50R, 50G and 50B are γ / knee correction circuits 55R, 55G and 55B.
Then, gamma correction and knee correction are performed. Further, the contour enhancement signal Da from the image enhancer 30 is added to the corrected data by the adders 60R, 60G, and 60B.
【００５８】この輪郭強調信号Ｄａが加算された出力デ
ータがＹ・Ｃマトリックス６５に供給されて、輝度デー
タＹおよび色差データＣｒ，Ｃｂが生成される。この輝
度データＹおよび色差データＣｒ，ＣｂがＤ／Ａコンバ
ータ７０Ｙ、７０Ｃｒ，７０Ｃｂによってアナログ信号
に変換されて、アップコンバートしたままの状態の輝度
信号ＳＹおよび色差信号ＳＣｒ，ＳＣｂが出力される。
またレートコンバータ７５によって、輝度データＹおよ
び色差データＣｒ，Ｃｂがサンプリング周波数ｆｓを使
用して元のサンプリングレートにダウンコンバートされ
る。The output data to which the contour emphasis signal Da has been added is supplied to the Y / C matrix 65, and the luminance data Y and the color difference data Cr, Cb are generated. The luminance data Y and the color difference data Cr, Cb are converted into analog signals by the D / A converters 70Y, 70Cr, 70Cb, and the luminance signal SY and the color difference signals SCr, SCb in the up-converted state are output.
Further, the rate converter 75 down-converts the luminance data Y and the color difference data Cr, Cb to the original sampling rate using the sampling frequency fs.
【００５９】次に図４を使用して動作について説明す
る。三原色撮像データＤＲ，ＤＧ，ＤＢの色信号処理を
周波数領域で示すと、緑色撮像データＤＧは図４Ａに示
すような周波数成分とされると共に、赤および青色撮像
データＤＲ，ＤＢは図４Ｂに示すような周波数成分とさ
れる。なお、アップコンバートによって「０」が挿入さ
れても三原色撮像データＤＲ，ＤＧ，ＤＢの周波数特性
は変わらない。Next, the operation will be described with reference to FIG. When the color signal processing of the three primary color image pickup data DR, DG, DB is shown in the frequency domain, the green image pickup data DG has frequency components as shown in FIG. 4A, and the red and blue image pickup data DR, DB are shown in FIG. 4B. Such frequency components are used. Even if "0" is inserted by up-conversion, the frequency characteristics of the three primary color image pickup data DR, DG, and DB do not change.
【００６０】ここで、帯域制限フィルタ８４Ｒ，８４
Ｇ，８４Ｂの周波数特性が図４Ｃに示す特性を有するも
のとすると、アップコンバータ８０Ｇから出力される緑
色撮像データＤＧＵは、図４Ｄに示す周波数特性を有す
るものとされると共に、アップコンバータ８０Ｒ，８０
Ｂから出力される赤色撮像データＤＲＵおよび青色撮像
データＤＢＵは、図４Ｅに示す周波数特性を有するもの
とされる。Here, the band limiting filters 84R, 84
Assuming that the frequency characteristics of G and 84B have the characteristics shown in FIG. 4C, the green image pickup data DGU output from the up converter 80G is assumed to have the frequency characteristics shown in FIG. 4D and the up converters 80R and 80B.
The red image pickup data DRU and the blue image pickup data DBU output from B have the frequency characteristics shown in FIG. 4E.
【００６１】また、緑色撮像データＤＧＵを１クロック
遅延させても周波数特性は変化しないことから、例えば
赤色撮像データＤＲＵと１クロック遅延された緑色撮像
データＤＧＵを用いて「ＤＧＵ−ＤＲＵ」の演算を行う
とベースバンド成分は「０」となり誤差を生ずることが
ない。またエリアシング成分は、アップコンバータ８０
Ｒ，８０Ｇ，８０Ｂの帯域制限フィルタ８４Ｒ，８４
Ｇ，８４Ｂで実用上問題ないレベルに減衰されるので、
エリアシング成分の影響が問題ないレベルとされる。Further, since the frequency characteristic does not change even if the green image pickup data DGU is delayed by 1 clock, for example, "DGU-DRU" is calculated using the red image pickup data DRU and the green image pickup data DGU delayed by 1 clock. When this is done, the baseband component becomes "0" and no error occurs. The aliasing component is the up converter 80.
R, 80G, 80B band limiting filters 84R, 84
Since it is attenuated to a level that is practically no problem with G and 84B,
The effect of the aliasing component is at a level that poses no problem.
【００６２】また、三原色補正データＫＲ，ＫＧ，ＫＢ
に対しては、アップコンバータ８０Ｒ，８０Ｇ，８０Ｂ
側の帯域制限フィルタ８４Ｒ，８４Ｇ，８４Ｂと低域フ
ィルタ１１０Ｒ，１１０Ｇ，１１０Ｂとの総合特性とさ
れる。例えば、アップコンバータ８０Ｒが図５に示す特
性を有し、低域フィルタ１１０Ｒが図６に示す特性を有
する場合には、フィルタ総合特性は図７に示すものとさ
れる。なお、アップコンバータ８０Ｇ，８０Ｂｂのフィ
ルタ特性はアップコンバータ８０Ｒと同等であり、低域
フィルタ１１０Ｇ，１１０Ｂのフィルタ特性は低域フィ
ルタ１１０Ｒと同等である。Also, the three primary color correction data KR, KG, KB
Up converter 80R, 80G, 80B
The band limiting filters 84R, 84G, and 84B on the side and the low-pass filters 110R, 110G, and 110B have an overall characteristic. For example, when the up-converter 80R has the characteristic shown in FIG. 5 and the low-pass filter 110R has the characteristic shown in FIG. 6, the overall filter characteristic is as shown in FIG. The filter characteristics of the up converters 80G and 80Bb are equivalent to those of the up converter 80R, and the filter characteristics of the low pass filters 110G and 110B are equivalent to that of the low pass filter 110R.
【００６３】このように、上述の実施の形態によれば、
補間フィルタを設けて補間データを得る必要がないので
色補正回路１００の構成を簡単とすることができる。ま
た補間データを用いることなくリニアマトリクス処理が
行われるので、誤差が少なく精度の良い色補正を行うこ
とができる。さらにアップコンバータと色補正回路の低
域フィルタで所望のフィルタ特性を得るものであるた
め、アップコンバータが色補正回路の後段に設けられた
場合に、色補正回路の低域フィルタで所望のフィルタ特
性を得る場合よりも、低域フィルタの回路規模を小さく
することができる。As described above, according to the above-described embodiment,
Since it is not necessary to provide an interpolation filter to obtain interpolation data, it is possible to simplify the configuration of the color correction circuit 100. Further, since the linear matrix processing is performed without using the interpolated data, it is possible to perform accurate color correction with few errors. Furthermore, since the desired filter characteristics are obtained with the up-converter and the low-pass filter of the color correction circuit, when the up-converter is provided in the subsequent stage of the color correction circuit, the desired filter characteristics can be obtained with the low-pass filter of the color correction circuit. The circuit scale of the low-pass filter can be made smaller than the case where
【００６４】[0064]
【発明の効果】この発明によれば、第１のサンプリング
周波数でディジタル化した第１，第２および第３の色撮
影データがアップコンバート手段で第２のサンプリング
周波数でアップコンバートされる。このアップコンバー
ト手段で得られた色データの位相が合わせられて演算処
理が行われ、得られた演算データとこの演算データの符
号反転データを用いて更に演算処理が行われて各色補正
データが生成されて、この各色補正データと各色データ
が加算されて色補正が行われる。According to the present invention, the first, second and third color photographing data digitized at the first sampling frequency are up-converted at the second sampling frequency by the up-converting means. The phase of the color data obtained by the up-conversion means is matched and the arithmetic processing is performed, and further the arithmetic processing is performed using the obtained arithmetic data and the sign inversion data of this arithmetic data to generate each color correction data. Then, each color correction data and each color data are added to perform color correction.
【００６５】このため、補間フィルタ等を設けて補間デ
ータを得る必要がないので信号処理回路の構成を簡単と
することができる。また補間データを用いることなくリ
ニアマトリクス処理による色補正が行われるので、誤差
が少なく精度の良い色補正を行うことができる。Therefore, it is not necessary to provide an interpolation filter or the like to obtain the interpolation data, so that the configuration of the signal processing circuit can be simplified. Further, since color correction is performed by linear matrix processing without using interpolation data, it is possible to perform accurate color correction with few errors.
【００６６】また、低域フィルタによって各色補正デー
タを帯域制限して各色データに加算するときに、アップ
コンバート手段で各色データが帯域制限されるので、低
域フィルタの回路規模を小さなものとしても十分なフィ
ルタ特性を得ることができる。Further, when each color correction data is band-limited by the low-pass filter and added to each color data, each color data is band-limited by the up-conversion means, so that the circuit scale of the low-pass filter can be sufficiently small. It is possible to obtain various filter characteristics.
【図１】この発明に係る固体撮像装置の実施の一形態の
構成を示す図である。FIG. 1 is a diagram showing a configuration of an embodiment of a solid-state imaging device according to the present invention.
【図２】アップコンバータ８０Ｒの構成を示す図であ
る。FIG. 2 is a diagram showing a configuration of an up converter 80R.
【図３】色補正回路１００の構成を示す図である。FIG. 3 is a diagram showing a configuration of a color correction circuit 100.
【図４】信号処理動作での周波数成分を示す図である。FIG. 4 is a diagram showing frequency components in a signal processing operation.
【図５】アップコンバータ８０Ｒのフィルタ特性を示す
図である。FIG. 5 is a diagram showing a filter characteristic of an up converter 80R.
【図６】低域フィルタ１１０Ｒのフィルタ特性を示す図
である。FIG. 6 is a diagram showing filter characteristics of a low pass filter 110R.
【図７】フィルタ総合特性を示す図である。FIG. 7 is a diagram showing filter overall characteristics.
【図８】従来の構成を示す図である。FIG. 8 is a diagram showing a conventional configuration.
【図９】空間画素ずらし法を説明するための図である。FIG. 9 is a diagram for explaining a spatial pixel shift method.
【図１０】撮像信号のサンプリング点を示す図である。FIG. 10 is a diagram showing sampling points of an image pickup signal.
【図１１】色補正回路２０の構成を示す図である。11 is a diagram showing a configuration of a color correction circuit 20. FIG.
【図１２】従来の信号処理動作での周波数成分を示す図
である。FIG. 12 is a diagram showing frequency components in a conventional signal processing operation.
１２Ｒ，１２Ｇ，１２Ｂ・・・ＣＣＤイメージセンサ、
１３Ｒ，１３Ｇ，１３Ｂ・・・Ａ／Ｄコンバータ、２
０，１００・・・色補正回路、２１Ｒ〜Ｂ・・・補間フ
ィルタ、２２Ｇｃ，２２Ｇｄ，２７Ｒ，２７Ｂ，１０４
Ｇｃ，１０４Ｇｄ，１１１Ｒ，１１１Ｂ・・・レジズ
タ、２３ａ〜ｆ，１０１，１０２，１０３・・・減算
器、２４ａ〜ｆ，１０５ａ〜ｆ，１０６，１０７，１０
８・・・乗算器、２５Ｒ〜Ｂ，２９Ｒ〜Ｂ，１０９Ｒ〜
Ｂ，１１３Ｒ〜Ｂ・・・加算器、２６Ｒ〜Ｂ，１１０Ｒ
〜Ｂ・・・低域フィルタ、２８Ｒ〜Ｂ，１１２Ｒ〜Ｂ・
・・遅延部、８０Ｒ，８０Ｇ，８０Ｂ・・・アップコン
バータ12R, 12G, 12B ... CCD image sensor,
13R, 13G, 13B ... A / D converter, 2
0,100 ... Color correction circuit, 21R to B ... Interpolation filter, 22Gc, 22Gd, 27R, 27B, 104
Gc, 104Gd, 111R, 111B ... Register, 23a-f, 101, 102, 103 ... Subtractor, 24a-f, 105a-f, 106, 107, 10
8 ... Multiplier, 25R to B, 29R to B, 109R to
B, 113R to B ... Adder, 26R to B, 110R
~ B ... Low-pass filter, 28R-B, 112R-B
..Delay unit, 80R, 80G, 80B ... Up converter
Claims (3)
子より得られる第１の色撮影信号と、この第１の色撮影
信号と位相の異なる第２および第３の色撮像信号とを用
いてリニアマトリクス処理により色補正を行う固体撮像
装置において、 第１，第２および第３の色撮影信号を第１のサンプリン
グ周波数でディジタル化した第１，第２および第３の色
撮影データを、第１のサンプリング周波数の２ n倍（ｎ
は正の整数）の第２のサンプリング周波数でアップコン
バートするアップコンバート手段と、 上記アップコンバート手段で得られた第１，第２および
第３の色データの位相を合わせて各色補正データを生成
する演算処理手段と、 上記演算処理手段で生成された各色補正データを上記第
１，第２および第３の対応する色データに加算する加算
手段とを有することを特徴とする固体撮像装置。1. A solid-state image pickup device employing a spatial pixel shift method.
The first color photographing signal obtained from the child, and the first color photographing signal
Signal and second and third color imaging signals having different phases
Solid-state imaging with linear matrix processing for color correction
In the apparatus, the first, second, and third color photographing signals are supplied to the first sampler.
First, second and third colors digitized at
The shooting data is set to 2 of the first sampling frequency. nTimes (n
Is a positive integer)
Up-converting means for converting, first, second and
Generates each color correction data by matching the phase of the third color data
And the respective color correction data generated by the arithmetic processing means.
Addition for adding to the first, second and third corresponding color data
A solid-state imaging device comprising:
上記第１，第２および第３の色データを用いて演算処理
を行い、得られた演算データとこの演算データの符号反
転データを用いて更に演算処理を実施して各色補正デー
タを生成することを特徴とする請求項１記載の固体撮像
装置。2. The arithmetic processing means performs arithmetic processing using the first, second, and third color data that are in phase with each other, and uses the obtained arithmetic data and the sign-inverted data of the arithmetic data. The solid-state imaging device according to claim 1, wherein each color correction data is generated by further performing arithmetic processing.
域フィルタで帯域制限して上記加算手段に供給すること
を特徴とする請求項２記載の固体撮像装置。3. A solid according to claim 2, further comprising a low-pass filter, wherein each color correction data generated by said arithmetic processing means is band-limited by said low-pass filter and supplied to said adding means. Imaging device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04306596A JP3948032B2 (en) | 1996-02-29 | 1996-02-29 | Solid-state imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04306596A JP3948032B2 (en) | 1996-02-29 | 1996-02-29 | Solid-state imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09238358A true JPH09238358A (en) | 1997-09-09 |
| JP3948032B2 JP3948032B2 (en) | 2007-07-25 |
Family
ID=12653462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04306596A Expired - Fee Related JP3948032B2 (en) | 1996-02-29 | 1996-02-29 | Solid-state imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3948032B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100697152B1 (en) * | 2003-12-26 | 2007-03-20 | 산요덴키가부시키가이샤 | Image signal processing apparatus and method, and image signal processing program |
| US10229475B2 (en) | 2015-04-15 | 2019-03-12 | Canon Kabushiki Kaisha | Apparatus, system, and signal processing method for image pickup using resolution data and color data |
-
1996
- 1996-02-29 JP JP04306596A patent/JP3948032B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100697152B1 (en) * | 2003-12-26 | 2007-03-20 | 산요덴키가부시키가이샤 | Image signal processing apparatus and method, and image signal processing program |
| US10229475B2 (en) | 2015-04-15 | 2019-03-12 | Canon Kabushiki Kaisha | Apparatus, system, and signal processing method for image pickup using resolution data and color data |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3948032B2 (en) | 2007-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5008739A (en) | Real-time digital processor for producing full resolution color signals from a multi-color image sensor | |
| US4962419A (en) | Detail processing method and apparatus providing uniform processing of horizontal and vertical detail components | |
| US8810675B2 (en) | Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal | |
| JPH02130089A (en) | Signal processing circuit for solid-state image pickup device | |
| JP3948032B2 (en) | Solid-state imaging device | |
| Parulski et al. | A digital color CCD imaging system using custom VLSI circuits | |
| JP3612891B2 (en) | Outline enhancement method of imaging output of solid-state imaging device | |
| JP3914633B2 (en) | Color signal processing apparatus and color signal processing method | |
| JP3153941B2 (en) | Digital signal processing camera | |
| JP3126860B2 (en) | Video signal processing device | |
| JP3938256B2 (en) | Television camera device | |
| JP3355975B2 (en) | Color signal processing circuit | |
| JPH09331543A (en) | Color area detection circuit and image pickup device using the circuit | |
| JP4033641B2 (en) | Solid-state imaging device | |
| JPH0767129A (en) | Image pickup device | |
| JP2606207Y2 (en) | Video camera gamma correction circuit | |
| JPH09252472A (en) | Solid-state image pickup device | |
| JP3525445B2 (en) | Digital signal processing camera | |
| JPH08251606A (en) | Image pickup device | |
| JPS60197088A (en) | Processing circuit of color video signal | |
| JP2004215133A (en) | Method and circuit for processing digital video signal | |
| JP3441771B2 (en) | Imaging device | |
| JP3127871B2 (en) | Color camera color signal processing apparatus and color camera color signal processing method | |
| JP4536762B2 (en) | Solid-state imaging device | |
| JPH11285014A (en) | Image pickup device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070409 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100427 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |