JP3820608B2 - Video signal processing circuit - Google Patents

Video signal processing circuit Download PDF

Info

Publication number
JP3820608B2
JP3820608B2 JP29919495A JP29919495A JP3820608B2 JP 3820608 B2 JP3820608 B2 JP 3820608B2 JP 29919495 A JP29919495 A JP 29919495A JP 29919495 A JP29919495 A JP 29919495A JP 3820608 B2 JP3820608 B2 JP 3820608B2
Authority
JP
Japan
Prior art keywords
signal
luminance
vertical
circuit
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP29919495A
Other languages
Japanese (ja)
Other versions
JPH09116913A (en
Inventor
弘之 宮原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP29919495A priority Critical patent/JP3820608B2/en
Publication of JPH09116913A publication Critical patent/JPH09116913A/en
Application granted granted Critical
Publication of JP3820608B2 publication Critical patent/JP3820608B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は、撮像素子の映像信号処理回路にかかり、更に具体的には、全画素読出し方式の固体撮像素子に好適な映像信号処理回路の改良に関する。
【0002】
【背景技術と発明が解決しようとする課題】
CCDなどの固体撮像素子を用いる撮像装置のフィルタアレイとしては、R(赤),G(緑),B(青)の原色フィルタを配列したものがある。図7には、全画素読出方式の撮像素子における原色フィルタアレイの一例が示されており、緑フィルタGが市松状に配列されており、残りの部分に赤フィルタR,青フィルタBが配列されている。この方式では、輝度信号は、2行のR,G,Bの各信号から合成される。
【0003】
例えば、第1フィールドでは、第nラインの信号と第n+1ラインの信号,第n+2ラインの信号と第n+3ラインの信号,……という具合に合成されて輝度信号が生成される。第2フィールドでは、第n+1ラインの信号と第n+2ラインの信号,第n+3ラインの信号と第n+4ラインの信号,……という具合に合成されて輝度信号が生成される。
【0004】
しかしながら、以上のような背景技術には、次のような不都合がある。
(1)色副搬送波の周波数をfsとすると、fs/2の色モワレが輝度信号に混入し、水平解像度の劣化を招く。
(2)2ラインの信号を混合した輝度信号のみを使用するため、垂直解像度が不足する。例えば、350本程度の垂直解像度となってしまう。
(3)原色フィルタを使用するため、光の利用率が悪く、感度不足となる。
【0005】
次に、従来の単板撮像素子(IL−CCD)を使用する撮像装置では、2ラインを混合して輝度信号とするため、一般的にMg(マゼンタ)の色フィルタが使用されている。なお、現在のように色フィルタアレイがMg,G,Cy(シアン),Ye(イエロー)の4色で構成される以前には、W(透明),G,Cy,Yeの4色による方式も考案され(特開昭62−108694号公報参照)、また市販されたが、1ラインで輝度信号とする方式は、そのようなW,G,Cy,Yeの4色方式では存在しない。図8には、前記公報の色フィルタ配列が示されており、G及びWのフィルタで構成されたラインと、Cy及びYeのフィルタで構成されたラインとが交互に配列された構成となっている。
【0006】
ところで、透明フィルタWは、色フィルタを使用しない方式であるため、透明フィルタWの部分の画素出力は、その固体撮像素子の分光特性となる。図9(A)には、透明フィルタWの特性の一例が示されており、横軸は波長,縦軸は相対感度である。なお、同図(B)には、他のフィルタG,Cy,Yeの特性が参考までに示されている。
【0007】
ここで、図8の色フィルタ配列において1ラインで輝度信号を得る場合を考える。W,Gのラインによる輝度信号をYAとし、Cy,Yeのラインによる輝度信号をYBとすると、例えば、図10に示すような特性となり、同図に斜線で示すに分光感度差が発生する。
【0008】
その結果、輝度信号YAをフィールドAに使用し、輝度信号YBをフィールドBに使用した場合、仮に白黒の被写体撮像時に両者のレベルを合わたとしても、斜線範囲の波長の被写体,すなわち、BもしくはRの被写体部分で、フィールド毎の輝度信号のレベル差により、フィールド周期(NTSC方式の場合は1/60秒)のフリッカが発生してしまう。更に、かかる輝度信号に基づいてプリントアウトしたり、あるいはノンインターレースモニタに表示するなどを行ったときは、ラインクローク現象となって表われる。
【0009】
この発明は、以上の点に着目したもので、第1の目的は、水平,垂直の解像度の向上を図るとともに、良好な感度を得ることである。
第2の目的は、インターレースモニタ時のフリッカ発生を低減するとともに、ノンインターレースモニタプリンタにおけるフレーム信号に基づくプリントアウトなどにおけるラインクロークを低減し、更には、フィールド間でずれのないフレームスチル映像を得ることである。
【0010】
【課題を解決するための手段】
本発明は、上記課題を解決するために以下の手段よりなる。
すなわち、
Yのフィルタを市松状に配列するとともに、R及びBのフィルタを、ライン内では同一、ライン間では交互となるように配列した色フィルタアレイを備えた全画素読出し方式の固体撮像素子に用いる映像信号処理回路において、
前記固体撮像素子から順次入来する映像信号を2ライン毎の信号を一対として混合し、輝度信号YHを生成するためのライン混合回路と、
前記入来する映像信号から異なる1ライン毎に前記Yのフィルタの画素位置に対応する輝度信号を取り出すためのfs/2のトラップ処理を行う第1及び第2のトラップ回路と、
前記取り出された第1のラインとそれに連続する第2のラインのYのフィルタの画素位置に対応する輝度信号であって、互いに斜め方向に隣接する輝度信号を一対として加算した信号と減算した信号とを生成すると共に、前記加算した信号と減算した信号に所定の係数を乗算した信号とを加算して第1の垂直方向の輝度垂直差分信号を生成し、
前記取り出された第2のラインとそれに連続する第3のラインのYのフィルタの画素位置に対応する輝度信号であって、互いに斜め方向に隣接する輝度信号を一対として加算した信号と減算した信号とを生成すると共に、前記加算した信号と減算した信号に所定の係数を乗算した信号とを加算して第2の垂直方向の輝度垂直差分信号を生成し、
前記生成された第1の垂直方向の輝度垂直差分信号から第2の垂直方向の輝度垂直差分信号を減算して第3の垂直方向の輝度垂直差分信号を生成するための輝度垂直差分回路と、
この輝度垂直差分回路より生成された第3の垂直方向の輝度垂直差分信号により前記ライン混合回路で生成された輝度信号YHを補正して最終的な輝度信号YWを生成するための垂直成分補正回路と、
を備えたことを特徴とする映像信号処理回路。
【0012】
この発明の前記及び他の目的,特徴,利点は、次の詳細な説明及び添付図面から明瞭になろう。
【0013】
【発明の実施の形態】
以下、発明の実施の形態について、実施例を参照しながら詳細に説明する。
【実施例1】
図1には、本実施例にかかる色フィルタ配列が示されている。同図において、輝度フィルタY(Y=R+G+B)は市松状に配列されており、残りの部分に赤フィルタR,青フィルタBが配列されている。すなわち、前記背景技術と比較して、緑フィルタGの代わりに輝度フィルタYを配列した構成となっており、赤フィルタR及び緑フィルタGは、線順次の配列となっている。
【0014】
図2には、かかる色フィルタ配列のフィルタアレイを有するCCDなどの撮像素子(図示せず)から出力された映像信号を処理するための信号処理回路が示されている。撮像素子から出力された映像信号は、OBクランプ回路10によって各ラインのクランプ処理が行われた後、色分離回路12,2ライン混合回路14,トラップ回路16,18にそれぞれ供給される。
【0015】
まず、色差信号処理から説明すると、色分離回路12では、入力信号からYr,Yb,R,Bの信号が分離され、LPF20に供給される。なお、Yrは、赤フィルタRを含むラインから得られた輝度信号であり、Ybは、青フィルタBを含むラインから得られた輝度信号である。LPF20では、色信号処理のためのフィルタ処理が行われる。
【0016】
処理後の映像信号YLr,YLb,RL,BLのうち、RL,BLはWB(ホワイトバランス)回路22に供給され、これによる処理の後にγ補正回路24に供給される。映像信号YLr,YLbは、LPF20からそのままγ補正回路24に供給される。γ補正回路24でγ補正が行われた映像信号YLr,YLb,RL,BLは、マトリクス回路26に供給され、ここでマトリクス処理されて色差信号RL−YLr,BL−YLbが求められる。これらの色差信号は、色差ゲイン回路28において、色成分に生じた折返し信号又はモアレなどの偽信号が除去された後、1H(1ライン)ディレイ回路30及び加算器32,34による上下ラインの信号の加算が行われる。加算後の色差信号は、ベースクリップ回路36によるS/N改善の後、色差信号RL−YL,BL−YLとして出力される。
【0017】
次に、輝度信号処理について説明する。2ライン混合回路14では、連続する2ラインの信号が混合される。例えば、第1フィールドでは、第nラインの信号と第n+1ラインの信号,第n+2ラインの信号と第n+3ラインの信号,……という具合に混合され、第2フィールドでは、第n+1ラインの信号と第n+2ラインの信号,第n+3ラインの信号と第n+4ラインの信号,……という具合に混合されて輝度信号YHが生成される。このようにして得られた輝度信号YHは、セットアップ回路38に供給され、ここで輝度信号にこのセットアップ成分が加算される。
【0018】
他方、トラップ回路16,18によってfs/2のトラップ処理が行われた映像信号は輝度垂直差分回路40に供給され、ここで次のような処理が行われる。上述した2ライン混合によって得られる第1フィールドの輝度信号をYA’,第2フィールドの輝度信号をYB’とすると、次の(1)式のようになる。
【数1】

Figure 0003820608
【0019】
これに対し、垂直成分をYVとして求めると、次の(2)のようになる。
【数2】
Figure 0003820608
【0020】
この垂直成分YVを、次の(3)式のように、ある係数αを積算して前記輝度信号YA’,YB’に加算し、最終的な輝度信号YA,YBを得る。そして、それらの差分であるYA−YBが、輝度垂直差分回路40から出力される。
【数3】
Figure 0003820608
【0021】
セットアップ回路38の出力信号は、γ補正回路24によるγ補正の後、垂直成分補正回路42に供給される。他方、輝度垂直差分回路40による差分信号は、ベースクリップ回路44によるベースクリップ処理の後、アンプ46でK倍され、垂直成分補正回路42に供給される。垂直成分補正回路42では、K倍された差分信号K×(YA−YB)によって入力信号YHが補正され、補正後の輝度信号YWが出力される。この輝度信号YWは、アパーチャ補正回路48,1H遅延回路50,52によって、水平,垂直方向のアパーチャ補正が行われ、その後コアリング回路54によるコアリング及び輝度のゲイン処理,加算器56による遅延信号加算の後、最終的な輝度信号YWとして出力される。
【0022】
このように、本実施例によれば、2ライン加算が行われるため、fs/2のモワレが相殺されるようになり、水平解像度が向上する。また、垂直成分が補正されるため、垂直解像度も向上する。更に、R,Bの原色フィルタを用いているため、色再現性にも優れている。
【0023】
【実施例2】
次に、図3,図4を参照しながら実施例2について説明する。図3には、実施例2における色フィルタ配列が示されている。同図に示すように、基本的な配列自体は、上述した図8の背景技術と同様であるが、透明フィルタW'の分光特性が異なる。すなわち、本実施例では、図9(A)に示した分光特性ではなく、図4にグラフGAで示した分光特性となっている。同図中、シアンフィルタCyはグラフGB,イエローフィルタYeはグラフGC,緑フィルタGはグラフGDである。本実施例の透明フィルタW'は、それらCy,Ye,Gに対して、次の(4)式で表わされる。
【0024】
【数4】
Figure 0003820608
なお、この(4)式中、「+」は、フィルタの重ね合わせではなく、平均透過率を表わす。
【0025】
この結果、透明フィルタW'は、短波長側で感度の少ないフィルタとなる。また、緑フィルタGは、一般にシアンフィルタCyとイエローフィルタYeの重ね合わせで構成していたが、グラフGDで示す緑フィルタG単独で構成してもよい。以上のような分光感度特性を有するフィルタW',G,Cy,Yeを図3に示すように配列することによってフィルタアレイが構成されている。
【0026】
次に、図5を参照しながら本実施例の信号処理回路について説明する。図3の色フィルタ配列の撮像素子(図示せず)から出力された映像信号のうち、1ラインで輝度信号が構成され、2ラインで色信号が構成される。例えば、第1フィールドの輝度信号,すなわち図3に示すラインn,n+2,……の輝度信号YAは、(5)式で表わされる。また、第2フィールドの輝度信号,すなわち図3に示すラインn+1,n+3,……の輝度信号YBは、(6)式で表わされる。これらをグラフで示すと、図4のGEのようになる。
【0027】
【数5】
Figure 0003820608
【数6】
Figure 0003820608
【0028】
他方、色信号は、次の(7)〜(9)式のようにして求められる。
【数7】
Figure 0003820608
【数8】
Figure 0003820608
【数9】
Figure 0003820608
【0029】
これらの信号が図5のOBクランプ回路10から出力される。これらのうち、色信号は画素補間回路60に供給され、ここで各画素出力に対する画素補間処理が行われた信号がマトリクス回路62に供給される。マトリクス回路62によるマトリクス処理によって得られた映像信号RL,GL,BLは、ホワイトバランス回路64によるホワイトバランス処理,γ補正回路66によるγ補正の後、他のマトリクス回路68に供給される。そして、マトリクス回路68によるマトリクス処理によって色差信号RL−YL,BL−YLが得られる。これら色差信号は、色差ゲイン回路70において、色成分に生じた偽信号が除去された後ベースクリップ回路36に供給され、最終的な色差信号RL−YL,BL−YLが得られる。
【0030】
他方、各フィールドの輝度信号YA,YBは、セットアップ回路72によるセットアップ処理の後にトラップフィルタ76に供給される。トラップフィルタ76では、fs/2トラップの処理が行われ、処理後の信号がγ補正回路66によるγ補正の後にフィールド/フレームメモリ78に供給される。フィールド/フレームメモリ78では、映像もしくは状況に応じたフィールド/フレーム切換えの処理が行われる。そして、処理後のフィールドもしくはフレームの信号に対して、前記実施例1と同様のアパーチャ補正が行われ、加算器56から最終的な輝度信号YWが出力される。
【0031】
ところで、本実施例によれば、透明フィルタW'の分光特性が図4に示したように設定されている。これにより、W',Gの色フィルタの平均透過率とCy,Yeの色フィルタの平均透過率が同じになり、図10に斜線で示すような分光感度差が生じない。このため、インターレースモニター時のフリッカ,あるいは、ノンインターレースモニタープリンタによるフレーム信号に基づくプリントアウトなどにおけるラインフロークが低減され、480本程度の垂直解像度の映像が得られる。また、図5に示したように、フィールドもしくはフレームメモリを撮像機器内に設け、ライン毎に輝度信号を構成することとしたので、フィールド間のずれのないフレームスチル映像を撮像することが可能となる。更に、本実施例によれば、マトリクスによる信号処理が容易となるため、マトリクス回路の構成が簡略化できる。
【0032】
【他の実施例】
この発明には数多くの実施の形態があり、以上の開示に基づいて多様に改変することが可能である。例えば、次のようなものも含まれる。
(1)W',G,Cy,Yeのフィルタを組み合わせる配列としては、前記実施例2の他に、図6(A)〜(C)に示すものが考えられ、いずれも前記実施例2と同等の効果を得ることができる。
(2)本発明は、全画素読出方式の撮像素子を用いれば適用可能であり、いわゆる単板方式,双板方式には左右されない。
(3)前記実施例に示した色信号処理方法や処理装置は、必要に応じて適宜変更してよく、何ら前記実施例に限定されるものではない。
【0033】
【発明の効果】
以上説明したように、この発明によれば、次のような効果がある。
(1)2ライン加算が行われるため、fs/2のモワレが相殺されるようになり、水平解像度が向上する。
(2)垂直成分が補正されるため、垂直解像度も向上する。
(3)R,Bの原色フィルタを用いているため、色再現性にも優れている。
(4)垂直成分補正信号の生成には、トラップ回路により異なる1ライン毎にYのフィルタの画素位置に対応する輝度信号を取り出し、この取り出されたラインとそれに連続するラインのYのフィルタの画素位置に対応する輝度信号であって、互いに斜め方向に隣接する輝度信号を一対として用いているため斜め方向のモワレについても軽減することができる。
【図面の簡単な説明】
【図1】この発明の実施例1の色フィルタ配列を示す図である。
【図2】実施例1の信号処理回路を示すブロック図である。
【図3】この発明の実施例2の色フィルタ配列を示す図である。
【図4】実施例2の色フィルタの分光特性を示すグラフである。
【図5】実施例2の信号処理回路を示すブロック図である。
【図6】この発明の他の実施例の色フィルタ配列を示す図である。
【図7】従来の色フィルタ配列の一例を示す図である。
【図8】従来の色フィルタ配列の一例を示す図である。
【図9】従来の色フィルタ配列の分光特性を示すグラフである。
【図10】従来の色フィルタ配列におけるライン間の輝度信号の分光感度差を示すグラフである。
【符号の説明】
R…赤フィルタ
G…緑フィルタ
B…青フィルタ
W,W'…透明フィルタ
Cy…シアン
Ye…イエロー
Y…輝度フィルタ
10…OBクランプ回路
12…色分離回路
14…2ライン混合回路
16,18…トラップ回路
20…LPF
22,64…ホワイトバランス回路
24,66…γ補正回路
26,62,68…マトリクス回路
28,70…色差ゲイン回路
30…1Hディレイ回路
32,34,56…加算器
36…ベースクリップ回路
38,72…セットアップ回路
40…輝度垂直差分回路
42…垂直成分補正回路
44…ベースクリップ回路
46…アンプ
48…アパーチャ補正回路
50,52…1Hディレイ回路
54…コアリング回路
60…画素補間回路
76…トラップフィルタ
78…フィールド/フレームメモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video signal processing circuit of an image sensor, and more specifically, relates to an improvement of a video signal processing circuit suitable for an all-pixel readout type solid-state image sensor.
[0002]
[Background art and problems to be solved by the invention]
As a filter array of an imaging apparatus using a solid-state imaging device such as a CCD, there is an array in which primary color filters of R (red), G (green), and B (blue) are arranged. FIG. 7 shows an example of a primary color filter array in an image sensor of an all-pixel readout method, in which green filters G are arranged in a checkered pattern, and red filters R and blue filters B are arranged in the remaining part. ing. In this method, the luminance signal is synthesized from the R, G, and B signals in two rows.
[0003]
For example, in the first field, a luminance signal is generated by combining the nth line signal and the (n + 1) th line signal, the (n + 2) th line signal and the (n + 3) th line signal, and so on. The In the second field, a luminance signal is generated by combining the signal of the (n + 1) th line and the signal of the (n + 2) th line, the signal of the (n + 3) th line and the signal of the (n + 4) th line, and so on. The
[0004]
However, the background art as described above has the following disadvantages.
(1) If the frequency of the color subcarrier is fs, a color moire of fs / 2 is mixed in the luminance signal, resulting in deterioration of the horizontal resolution.
(2) Since only a luminance signal obtained by mixing two lines of signals is used, the vertical resolution is insufficient. For example, the vertical resolution is about 350 lines.
(3) Since the primary color filter is used, the light utilization rate is poor and the sensitivity is insufficient.
[0005]
Next, in an image pickup apparatus using a conventional single-plate image pickup device (IL-CCD), an Mg (magenta) color filter is generally used to mix two lines into a luminance signal. Before the color filter array is composed of four colors of Mg, G, Cy (cyan), and Ye (yellow) as in the present, a method using four colors of W (transparent), G, Cy, and Ye is also available. Although devised (see Japanese Patent Application Laid-Open No. Sho 62-108694) and commercially available, there is no such system for making a luminance signal in one line in such a four-color system of W, G, Cy, and Ye. FIG. 8 shows the color filter arrangement of the above publication, in which a line constituted by G and W filters and a line constituted by Cy and Ye filters are alternately arranged. Yes.
[0006]
By the way, since the transparent filter W is a system that does not use a color filter, the pixel output of the transparent filter W portion becomes the spectral characteristics of the solid-state imaging device. FIG. 9A shows an example of the characteristics of the transparent filter W, where the horizontal axis represents wavelength and the vertical axis represents relative sensitivity. In FIG. 5B, the characteristics of other filters G, Cy, Ye are shown for reference.
[0007]
Here, consider a case where a luminance signal is obtained with one line in the color filter array of FIG. If the luminance signal by the W and G lines is YA and the luminance signal by the Cy and Ye lines is YB, for example, the characteristics shown in FIG. 10 are obtained, and a spectral sensitivity difference is generated as shown by hatching in FIG.
[0008]
As a result, when the luminance signal YA is used for the field A and the luminance signal YB is used for the field B, even if both levels are matched when imaging a monochrome subject, the subject having a wavelength in the hatched range, that is, B or Flickers in the field period (1/60 second in the case of the NTSC system) occur in the R subject portion due to the level difference of the luminance signal for each field. Furthermore, when printing out based on the luminance signal or displaying on a non-interlace monitor, a line cloaking phenomenon appears.
[0009]
The present invention focuses on the above points, and a first object is to improve the horizontal and vertical resolutions and to obtain good sensitivity.
The second object is to reduce the occurrence of flicker during interlace monitoring, to reduce line cloaking in printouts based on frame signals in a non-interlace monitor printer, and to obtain frame still images with no shift between fields. That is.
[0010]
[Means for Solving the Problems]
The present invention comprises the following means in order to solve the above problems.
That is,
Image used for an all-pixel readout type solid-state imaging device having a color filter array in which Y filters are arranged in a checkered pattern, and R and B filters are arranged in the same line and alternately between lines. In the signal processing circuit,
A line mixing circuit for generating a luminance signal YH by mixing video signals sequentially coming from the solid-state image sensor as a pair of signals for every two lines;
First and second trap circuits for performing fs / 2 trap processing for extracting a luminance signal corresponding to a pixel position of the Y filter for each different line from the incoming video signal;
A luminance signal corresponding to the pixel position of the Y filter on the first line taken out and the second line continuous thereto, and a signal obtained by subtracting a signal obtained by adding a pair of luminance signals adjacent to each other in a diagonal direction. And adding the signal obtained by multiplying the added signal and the subtracted signal by a predetermined coefficient to generate a luminance vertical difference signal in the first vertical direction,
A luminance signal corresponding to the pixel position of the Y filter of the extracted second line and the third line continuous thereto, and a signal obtained by adding and subtracting a signal obtained by adding a pair of luminance signals adjacent to each other diagonally And adding a signal obtained by multiplying the added signal and the subtracted signal by a predetermined coefficient to generate a second vertical vertical luminance difference signal,
A luminance vertical difference circuit for generating a first third luminance vertical difference signal in the vertical direction from the vertical direction of the luminance vertical difference signal by subtracting the luminance vertical difference signal of the second vertical the generated,
A vertical component correction circuit for correcting the luminance signal YH generated by the line mixing circuit with the third vertical luminance vertical difference signal generated by the luminance vertical difference circuit to generate a final luminance signal YW. When,
A video signal processing circuit comprising:
[0012]
The above and other objects, features and advantages of the present invention will become apparent from the following detailed description and the accompanying drawings.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the invention will be described in detail with reference to examples.
[Example 1]
FIG. 1 shows a color filter arrangement according to this embodiment. In the figure, luminance filters Y (Y = R + G + B) are arranged in a checkered pattern, and red filters R and blue filters B are arranged in the remaining part. That is, as compared with the background art, the luminance filter Y is arranged instead of the green filter G, and the red filter R and the green filter G are line-sequentially arranged.
[0014]
FIG. 2 shows a signal processing circuit for processing a video signal output from an image pickup device (not shown) such as a CCD having such a filter array of color filters. The video signal output from the image sensor is clamped for each line by the OB clamp circuit 10 and then supplied to the color separation circuit 12, the two-line mixing circuit 14, and the trap circuits 16 and 18, respectively.
[0015]
First, the color difference signal processing will be described. In the color separation circuit 12, Yr, Yb, R, and B signals are separated from the input signal and supplied to the LPF 20. Yr is a luminance signal obtained from the line including the red filter R, and Yb is a luminance signal obtained from the line including the blue filter B. In the LPF 20, filter processing for color signal processing is performed.
[0016]
Of the processed video signals YLr, YLb, RL, and BL, RL and BL are supplied to a WB (white balance) circuit 22 and are supplied to a γ correction circuit 24 after the processing. The video signals YLr and YLb are supplied from the LPF 20 to the γ correction circuit 24 as they are. The video signals YLr, YLb, RL, and BL that have been subjected to the γ correction by the γ correction circuit 24 are supplied to the matrix circuit 26, where they are subjected to matrix processing to obtain color difference signals RL-YLr and BL-YLb. These color-difference signals are processed by the 1H (one-line) delay circuit 30 and the adder 32 and 34 in the upper and lower lines after the false signal such as the folding signal or moire generated in the color component is removed in the color-difference gain circuit 28. Is added. The added color difference signals are output as color difference signals RL-YL and BL-YL after S / N improvement by the base clip circuit 36.
[0017]
Next, luminance signal processing will be described. In the two-line mixing circuit 14, signals of two continuous lines are mixed. For example, in the first field, the nth line signal and the (n + 1) th line signal, the n + 2 line signal and the (n + 3) line signal, and so on are mixed. In the second field, The luminance signal YH is generated by mixing the signal of the (n + 1) th line and the signal of the (n + 2) th line, the signal of the (n + 3) th line and the signal of the (n + 4) th line, and so on. The luminance signal YH thus obtained is supplied to the setup circuit 38, where the setup component is added to the luminance signal.
[0018]
On the other hand, the video signal subjected to the fs / 2 trap processing by the trap circuits 16 and 18 is supplied to the luminance vertical difference circuit 40, where the following processing is performed. Assuming that the luminance signal of the first field obtained by the above-mentioned two-line mixing is YA ′ and the luminance signal of the second field is YB ′, the following equation (1) is obtained.
[Expression 1]
Figure 0003820608
[0019]
On the other hand, when the vertical component is obtained as YV, the following (2) is obtained.
[Expression 2]
Figure 0003820608
[0020]
The vertical component YV is added to the luminance signals YA ′ and YB ′ by adding a certain coefficient α as shown in the following equation (3) to obtain final luminance signals YA and YB. Then, YA−YB which is a difference between them is output from the luminance vertical difference circuit 40.
[Equation 3]
Figure 0003820608
[0021]
The output signal of the setup circuit 38 is supplied to the vertical component correction circuit 42 after γ correction by the γ correction circuit 24. On the other hand, the difference signal from the luminance vertical difference circuit 40 is subjected to base clip processing by the base clip circuit 44, multiplied by K by the amplifier 46, and supplied to the vertical component correction circuit 42. In the vertical component correction circuit 42, the input signal YH is corrected by the difference signal K × (YA−YB) multiplied by K, and the corrected luminance signal YW is output. The luminance signal YW is subjected to horizontal and vertical aperture corrections by the aperture correction circuit 48 and 1H delay circuits 50 and 52, and thereafter coring and luminance gain processing by the coring circuit 54, and a delay signal by the adder 56. After the addition, the final luminance signal YW is output.
[0022]
As described above, according to this embodiment, since the two-line addition is performed, the moire of fs / 2 is canceled, and the horizontal resolution is improved. Further, since the vertical component is corrected, the vertical resolution is also improved. Further, since the R and B primary color filters are used, the color reproducibility is excellent.
[0023]
[Example 2]
Next, Embodiment 2 will be described with reference to FIGS. FIG. 3 shows a color filter arrangement in the second embodiment. As shown in the figure, the basic arrangement itself is the same as the background art of FIG. 8 described above, but the spectral characteristics of the transparent filter W ′ are different. That is, in this embodiment, the spectral characteristic shown in the graph GA in FIG. 4 is used instead of the spectral characteristic shown in FIG. In the figure, the cyan filter Cy is a graph GB, the yellow filter Ye is a graph GC, and the green filter G is a graph GD. The transparent filter W ′ of this embodiment is expressed by the following equation (4) with respect to Cy, Ye, and G.
[0024]
[Expression 4]
Figure 0003820608
In the equation (4), “+” represents the average transmittance, not the filter superposition.
[0025]
As a result, the transparent filter W ′ is a filter with low sensitivity on the short wavelength side. Further, the green filter G is generally configured by superimposing the cyan filter Cy and the yellow filter Ye, but may be configured by the green filter G alone shown by the graph GD. A filter array is configured by arranging the filters W ′, G, Cy, and Ye having the above spectral sensitivity characteristics as shown in FIG.
[0026]
Next, the signal processing circuit of this embodiment will be described with reference to FIG. Of the video signal output from the image sensor (not shown) having the color filter array shown in FIG. 3, a luminance signal is composed of one line, and a color signal is composed of two lines. For example, the luminance signal of the first field, that is, the luminance signal YA of the lines n, n + 2,... Shown in FIG. Further, the luminance signal of the second field, that is, the luminance signal YB of the lines n + 1, n + 3,... Shown in FIG. These are shown in a graph as GE in FIG.
[0027]
[Equation 5]
Figure 0003820608
[Formula 6]
Figure 0003820608
[0028]
On the other hand, the color signal is obtained as in the following equations (7) to (9).
[Expression 7]
Figure 0003820608
[Equation 8]
Figure 0003820608
[Equation 9]
Figure 0003820608
[0029]
These signals are output from the OB clamp circuit 10 of FIG. Among these, the color signal is supplied to the pixel interpolation circuit 60, and a signal obtained by performing pixel interpolation processing on each pixel output is supplied to the matrix circuit 62. Video signals RL, GL, BL obtained by matrix processing by the matrix circuit 62 are supplied to another matrix circuit 68 after white balance processing by the white balance circuit 64 and γ correction by the γ correction circuit 66. Then, color difference signals RL-YL and BL-YL are obtained by matrix processing by the matrix circuit 68. These color difference signals are supplied to the base clip circuit 36 after the false signals generated in the color components are removed in the color difference gain circuit 70, and final color difference signals RL-YL and BL-YL are obtained.
[0030]
On the other hand, the luminance signals YA and YB of each field are supplied to the trap filter 76 after the setup processing by the setup circuit 72. The trap filter 76 performs fs / 2 trap processing, and the processed signal is supplied to the field / frame memory 78 after γ correction by the γ correction circuit 66. In the field / frame memory 78, a field / frame switching process corresponding to the video or the situation is performed. Then, the aperture correction similar to that in the first embodiment is performed on the processed field or frame signal, and the final luminance signal YW is output from the adder 56.
[0031]
By the way, according to the present embodiment, the spectral characteristic of the transparent filter W ′ is set as shown in FIG. As a result, the average transmittance of the W ′ and G color filters and the average transmittance of the Cy and Ye color filters are the same, and the spectral sensitivity difference as shown by the oblique lines in FIG. 10 does not occur. For this reason, flicker at the time of interlace monitoring or line flow in printout based on a frame signal by a non-interlace monitor printer is reduced, and an image with about 480 vertical resolutions can be obtained. In addition, as shown in FIG. 5, since a field or frame memory is provided in the imaging device and a luminance signal is configured for each line, it is possible to capture a frame still image with no deviation between fields. Become. Furthermore, according to the present embodiment, signal processing by a matrix is facilitated, so that the configuration of the matrix circuit can be simplified.
[0032]
[Other embodiments]
There are many embodiments of the present invention, and various modifications can be made based on the above disclosure. For example, the following are included.
(1) As an arrangement for combining W ′, G, Cy, and Ye filters, in addition to the second embodiment, the arrangement shown in FIGS. 6A to 6C may be considered. The same effect can be obtained.
(2) The present invention can be applied if an all-pixel readout type image sensor is used, and is not affected by the so-called single plate type or double plate type.
(3) The color signal processing method and processing apparatus shown in the above embodiment may be appropriately changed as necessary, and is not limited to the above embodiment.
[0033]
【The invention's effect】
As described above, the present invention has the following effects.
(1) Since the addition of two lines is performed, the moire of fs / 2 is canceled and the horizontal resolution is improved.
(2) Since the vertical component is corrected, the vertical resolution is also improved.
(3) Since R and B primary color filters are used, the color reproducibility is excellent.
(4) For the generation of the vertical component correction signal, a luminance signal corresponding to the pixel position of the Y filter is extracted for each different line by the trap circuit, and the Y filter pixels of the extracted line and the lines following it are extracted. Since the luminance signals corresponding to the positions and adjacent to each other in the oblique direction are used as a pair, the moire in the oblique direction can be reduced.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a color filter arrangement according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a signal processing circuit according to the first exemplary embodiment.
FIG. 3 is a diagram illustrating a color filter arrangement according to a second embodiment of the present invention.
4 is a graph showing spectral characteristics of a color filter of Example 2. FIG.
FIG. 5 is a block diagram illustrating a signal processing circuit according to a second embodiment.
FIG. 6 is a diagram showing a color filter array according to another embodiment of the present invention.
FIG. 7 is a diagram illustrating an example of a conventional color filter array.
FIG. 8 is a diagram illustrating an example of a conventional color filter array.
FIG. 9 is a graph showing spectral characteristics of a conventional color filter array.
FIG. 10 is a graph showing a spectral sensitivity difference of luminance signals between lines in a conventional color filter array.
[Explanation of symbols]
R ... Red filter G ... Green filter B ... Blue filter W, W '... Transparent filter Cy ... Cyan Ye ... Yellow Y ... Luminance filter 10 ... OB clamp circuit 12 ... Color separation circuit 14 ... Two-line mixing circuits 16, 18 ... Trap Circuit 20 ... LPF
22, 64, white balance circuits 24, 66, γ correction circuits 26, 62, 68, matrix circuits 28, 70, color difference gain circuit 30, 1H delay circuits 32, 34, 56, adder 36, base clip circuits 38, 72 ... setup circuit 40 ... luminance vertical difference circuit 42 ... vertical component correction circuit 44 ... base clip circuit 46 ... amplifier 48 ... aperture correction circuit 50, 52 ... 1H delay circuit 54 ... coring circuit 60 ... pixel interpolation circuit 76 ... trap filter 78 ... Field / frame memory

Claims (1)

Yのフィルタを市松状に配列するとともに、R及びBのフィルタを、ライン内では同一、ライン間では交互となるように配列した色フィルタアレイを備えた全画素読出し方式の固体撮像素子に用いる映像信号処理回路において、
前記固体撮像素子から順次入来する映像信号を2ライン毎の信号を一対として混合し、輝度信号YHを生成するためのライン混合回路と、
前記入来する映像信号から異なる1ライン毎に前記Yのフィルタの画素位置に対応する輝度信号を取り出すためのfs/2のトラップ処理を行う第1及び第2のトラップ回路と、
前記取り出された第1のラインとそれに連続する第2のラインのYのフィルタの画素位置に対応する輝度信号であって、互いに斜め方向に隣接する輝度信号を一対として加算した信号と減算した信号とを生成すると共に、前記加算した信号と減算した信号に所定の係数を乗算した信号とを加算して第1の垂直方向の輝度垂直差分信号を生成し、
前記取り出された第2のラインとそれに連続する第3のラインのYのフィルタの画素位置に対応する輝度信号であって、互いに斜め方向に隣接する輝度信号を一対として加算した信号と減算した信号とを生成すると共に、前記加算した信号と減算した信号に所定の係数を乗算した信号とを加算して第2の垂直方向の輝度垂直差分信号を生成し、
前記生成された第1の垂直方向の輝度垂直差分信号から第2の垂直方向の輝度垂直差分信号を減算して第3の垂直方向の輝度垂直差分信号を生成するための輝度垂直差分回路と、
この輝度垂直差分回路より生成された第3の垂直方向の輝度垂直差分信号により前記ライン混合回路で生成された輝度信号YHを補正して最終的な輝度信号YWを生成するための垂直成分補正回路と、
を備えたことを特徴とする映像信号処理回路。
Image used for an all-pixel readout type solid-state imaging device having a color filter array in which Y filters are arranged in a checkered pattern, and R and B filters are arranged in the same line and alternately between lines. In the signal processing circuit,
A line mixing circuit for generating a luminance signal YH by mixing video signals sequentially coming from the solid-state image sensor as a pair of signals for every two lines;
First and second trap circuits for performing fs / 2 trap processing for extracting a luminance signal corresponding to a pixel position of the Y filter for each different line from the incoming video signal;
A luminance signal corresponding to the pixel position of the Y filter on the first line taken out and the second line continuous thereto, and a signal obtained by subtracting a signal obtained by adding a pair of luminance signals adjacent to each other in a diagonal direction. And adding the signal obtained by multiplying the added signal and the subtracted signal by a predetermined coefficient to generate a luminance vertical difference signal in the first vertical direction,
A luminance signal corresponding to the pixel position of the Y filter of the extracted second line and the third line continuous thereto, and a signal obtained by adding and subtracting a signal obtained by adding a pair of luminance signals adjacent to each other diagonally And adding a signal obtained by multiplying the added signal and the subtracted signal by a predetermined coefficient to generate a second vertical vertical luminance difference signal,
A luminance vertical difference circuit for generating a first third luminance vertical difference signal in the vertical direction from the vertical direction of the luminance vertical difference signal by subtracting the luminance vertical difference signal of the second vertical the generated,
A vertical component correction circuit for correcting the luminance signal YH generated by the line mixing circuit with the third vertical luminance vertical difference signal generated by the luminance vertical difference circuit to generate a final luminance signal YW. When,
A video signal processing circuit comprising:
JP29919495A 1995-10-23 1995-10-23 Video signal processing circuit Expired - Lifetime JP3820608B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29919495A JP3820608B2 (en) 1995-10-23 1995-10-23 Video signal processing circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29919495A JP3820608B2 (en) 1995-10-23 1995-10-23 Video signal processing circuit

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004099766A Division JP4375726B2 (en) 2004-03-30 2004-03-30 Color filter array and video signal processing circuit

Publications (2)

Publication Number Publication Date
JPH09116913A JPH09116913A (en) 1997-05-02
JP3820608B2 true JP3820608B2 (en) 2006-09-13

Family

ID=17869364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29919495A Expired - Lifetime JP3820608B2 (en) 1995-10-23 1995-10-23 Video signal processing circuit

Country Status (1)

Country Link
JP (1) JP3820608B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517493B2 (en) * 2000-10-18 2010-08-04 ソニー株式会社 Solid-state imaging device and signal processing method thereof
JP2003101886A (en) * 2001-09-25 2003-04-04 Olympus Optical Co Ltd Image pickup device
US7880785B2 (en) 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
JP5018125B2 (en) * 2007-02-21 2012-09-05 ソニー株式会社 Solid-state imaging device and imaging device
JP5087474B2 (en) * 2007-06-12 2012-12-05 富士フイルム株式会社 Imaging device
JP5058128B2 (en) * 2008-10-31 2012-10-24 シャープ株式会社 Imaging device and portable device

Also Published As

Publication number Publication date
JPH09116913A (en) 1997-05-02

Similar Documents

Publication Publication Date Title
US9160935B2 (en) Sensor arrangement for transforming color space representation in a digital color image
KR920001009B1 (en) Image pickup apparatus
JP3820608B2 (en) Video signal processing circuit
US5087967A (en) Color image pickup device having a level correcting circuit for correcting level variations in color image signals
JP4375726B2 (en) Color filter array and video signal processing circuit
JP2677550B2 (en) Solid-state imaging device
JP2010268354A (en) Image sensor and imaging device equipped with the image sensor
JP4178571B2 (en) Image processing apparatus, image processing method, and camera
JP3562275B2 (en) Luminance signal processing circuit in imaging device
JPH089395A (en) Color image pickup device
JPH0584989B2 (en)
JP4193281B2 (en) Image signal processing apparatus and camera apparatus
JP2922911B2 (en) Solid color camera
JP2890573B2 (en) Imaging device
JP3496884B2 (en) Video signal processing method
JP3049434B2 (en) Color imaging device
JP2890574B2 (en) Imaging device
JP2655436B2 (en) Color solid-state imaging device
JPS6129287A (en) Color solid-state image pickup device
JP4240686B2 (en) Imaging device
JPH02288576A (en) Solid-state image pickup device
JPS61167296A (en) Solid-state color image pickup device
JPH099273A (en) Color video camera
JPH059992B2 (en)
JPH10178648A (en) Solid-state color camera

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050307

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060612

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110630

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130630

Year of fee payment: 7

EXPY Cancellation because of completion of term