JP2816173B2

JP2816173B2 - 撮像装置及び撮像装置の信号処理方法

Info

Publication number: JP2816173B2
Application number: JP1100008A
Authority: JP
Inventors: 宏安大坪; 行伸多田; 勝野田; 美智雄増田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1989-04-21
Filing date: 1989-04-21
Publication date: 1998-10-27
Anticipated expiration: 2013-10-27
Also published as: JPH02280496A; KR930002120B1; US5170249A; KR900017411A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、画素混合２行同時走査形のCCDセンサを用
いたカラービデオカメラに最適なディジタル信号処理に
関する。

〔従来の技術〕

固体撮像素子は、小型・軽量，高信頼性等の多くの特
長をもつ。開発当初、製造コスト，感度，解像度等で撮
像管に劣っていたが、半導体技術の急速な進歩により、
コスト・性能面でも撮像管を越えるまでに至った。現在
では、家庭用ビデオカメラのほとんど全てに固体撮像素
子を採用している。これらの経緯については、テレビジ
ョン学会誌Vol.41,No.11（1987）第983頁〜第989頁にお
いて論じられている。

一方、信号処理回路においても、小型・低コスト・高
性能化を目的として、大集積IC化・信号処理の改善が進
められてきた。この結果、上述の固体撮像素子の採用と
相まって、家庭用ビデオカメラは、高画質化と共に大幅
な小型・軽量化及び低コスト化が達成された。しかし、
さらなる信号処理の合理化を考えた場合、現在のアナロ
グ信号処理に基づいた信号処理方式では限界があり、今
後は、下記等の特長を有するディジタル信号処理技術に
基いた信号処理方式が本命と思われる。

ｉ）大型部品であるＬ（インダクタ）,C（コンデン
サ）,R（抵抗）により構成していたフィルタを、ディジ
タルフィルタで構成し、高精度のフィルタをICに集積化
することが可能である。

ii）ディジタル信号処理では、バラツキがなく、よっ
て、バラツキを吸収するための調整等は必要ない。

iii）各調整の自動電子調整が可能。

iv）A/D,D/Aを内蔵することにより、１チップIC集積化
が比較的容易。

ｖ）演算のまるめ誤差によるS/N劣化を十分考慮して設
計することにより、信号処理回路によるS/N劣化は、生
じない。

この様なビデオカメラのディジタル信号処理の例につ
いては、特公昭63−45153号公報に論じられている。

前述の固体撮像素子には、種々の構成があり、大別し
てMOS型とCCD型とがある。一般にMOSセンサは、多線出
力であるが、CCD型センサは、一線出力である。信号処
理のディジタル化を考えた場合、一線出力であるCCD型
センサは、A/D変換器を１個しか必要としないため、多
数のA/D変換器を必要とするMOS型センサより有利であ
る。又、CCD型においても、種々の方式があるが、現在
は、テレビジョン学会技術報告、TEBS87−3,ED691,第23
頁〜第28頁に論じられていう画素混合読み出し方式のCC
Dセンサが一般的となっている。このCCDセンサは、特公
昭63−45153号公報に論じられているCCDセンサと構成は
異なるが、同様の処理により信号処理のディジタル化が
可能である。

〔発明が解決しようとする課題〕

上記の画素混合読み出し型のCCDセンサを用いたビデ
オカメラでは、もともと１水平走査毎に（Ｒ−Ｙ），
（Ｂ−Ｙ）に対応する色差信号を生成し、どちらか一方
の生成されない色差信号は１水平走査（1H）前の色差信
号で補間する。したがって、画質上、次の問題点があ
る。

ｉ）上記ライン補間により色差信号の垂直解像度が低く
なる。

ii）R,G,B信号をγ処理した後色差信号を生成するとい
う様な、カメラ本体の信号処理を行なわないため、色調
の良し悪しを別として、色再現忠実性に欠く。又、色マ
トリクスの自由度が小さく、色モワレが大きくなりがち
である。

特公昭63−45153号公報に論じられているディジタル
信号処理のビデオカメラにおいても、信号処理の基本構
成は同じであり、同様の問題点をもつ。

本発明の目的は、上記の画素混合読み出し型のCCDセ
ンサを用いたビデオカメラにおいて、高画質及び合理化
を目的として、上記問題点のないディジタル信号処理技
術を提供する。

〔課題を解決するための手段〕

上記目的を達成するために、CCDセンサの出力信号をC
DS（相関ダブルサンプリング）及びAGC（Auto Gain Con
torol）処理等後、画素信号毎にアナログ信号からディ
ジタル信号へ変換するA/D変換手段と、前記A/D変換手段
から出力される第１のディジタル信号を1H遅延する1H遅
延手段と、第１のディジタル信号と前記1H遅延手段より
出力される第２のディジタル信号より画素信号を分離し
さらに分離後の画素信号をマトリクス処理することによ
りＲ（赤）,G（緑）,B（青）信号を生成する第１の演算
手段と、第１のディジタル信号と第２のディジタル信号
を入力として少なくとも垂直方向のエッジ強調を行なっ
た輝度（Ｙ）信号を生成するエンハンス手段と、前記R,
G,B信号及びＹ信号をそれぞれγ処理するγ処理手段
と、γ補正後の前記R,G,B信号より色差信号（Ｒ−Ｙ）
信号及び（Ｂ−Ｙ）信号を生成する第２の演算処理手段
と、前記（Ｒ−Ｙ），（Ｂ−Ｙ）信号とγ補正後の輝度
信号より標準テレビジョン信号を生成する標準テレビジ
ョン信号生成手段とにより信号処理回路を構成する。

〔作用〕

画素混合読み出し型のCCDセンサのフィルタ配列は、
第２図の様になっており、光電変換された電荷は２行ず
つ読み出される。たとえば、図に示す様にＡフィールド
では、A_n,A_n+1という様に、又、Ｂフィールドでは、B_n,
B_n+1という様に読み出す。（ここで、Ａフィールド,Bフ
ィールドで、組み合せを変えているのは、インタレース
走査のためである。この結果、センサからは、水平走査
毎に、（Mg＋Ye）と（Ｇ＋Cy），及び（Mg＋Cy）と（Ｇ
＋Ye）の画素信号が交互に出力される。

よって、前述の第１のディジタル信号とこれを1H遅延
した第２のディジタル信号からは、上記（Mg＋Ye），
（Ｇ＋Cy），（Mg＋Cy），（Ｇ＋Ye）の４色の画素信号
が得られ、これらを第１の演算手段で処理することによ
りR,G,B信号を生成できる。今、Mg＝Ｒ＋B,Ye＝Ｒ＋G,C
y＝Ｇ＋Ｂで表わせるとすると、 Mg＋Ye＝（Ｒ＋Ｂ）＋（Ｒ＋Ｇ）＝2R＋Ｇ＋Ｂ −（１）Ｇ＋Cy＝Ｇ＋（Ｇ＋Ｂ）＝2G＋Ｂ −（２） Mg＋Cy＝（Ｒ＋Ｂ）＋（Ｇ＋Ｂ）＝Ｒ＋Ｇ＋2B −（３）Ｇ＋Ye＝Ｇ＋（Ｒ＋Ｇ）＝Ｒ＋2G −（４）となり、よって、となる。今、とすれば、上式は、Ｙ＝AX −（６）となる。又RGBマトリスクをＸ＝Ａ′Ｙ −（７）として、（７）式を（６）に代入すると、Ｙ＝Ａ（Ａ′Ｙ）＝（AA′）Ｙ −（８）となり、Ａ′は、AA′＝Ｉ（Ｉは単位行列）を満す行列
である。Ａ′には自由度があり、何通りもの解がある
が、実際には、色モワレが最少となる様に決定する。第
１の演算手段はこのＡ′を用いた（７）式のマトリクス
演算を行なう。従来方式は、この様なマトリクスの最適
化は、難しく、このため、本方式は、従来より色モワレ
を低減できる。

こうして得られたＲ・Ｇ・Ｂ信号は、前記のγ補正手
段でγ補正し、さらに第２の演算処理において、このγ
補正後の各信号より、たとえば、NTSCでは、次式Ｒ−Ｙ＝0.7R−0.59G−0.11B −（９）Ｂ−Ｙ＝0.89B−0.59G−0.3R −（10）で表わされる色差マトリクス処理を行ない、色差信号
（Ｒ−Ｙ），（Ｂ−Ｙ）を生成する。この時、前述の従
来例と異なり、補間することなく、毎水平走査毎に２つ
の色差信号が生成される。又、以上の色差信号を生成す
るプロセスは、正規の色信号プロセスであり、色再現忠
実性にも優れる。

よって、本方式によれば前述の従来技術の色の垂直解
像度，色再現忠実性，色モアレ等の問題が解決される。

さらに、前述のエンハンサ回路においては、第１のデ
ィジタル信号と第２ディジタル信号との差分信号をと
り、この差分信号にベースクリップ，高域雑音除去等の
処理を行なった後、第１のディジタル信号（又は第２の
ディジタル信号）に可算し、垂直のエッジ強調を行な
う。すなわち、色分離とエンハンサにおいて1H遅延手段
を共用する上記構成によって、1H遅延手段を追加するこ
となく、垂直方向のレスポンスの改善をも行なうことが
できる。

又、以上の処理をアナログ処理で行なった場合には、
1H遅延を同期式のCCD遅延線により構成することになる
が、この場合、１）利得バラツキ２）直線性がわるい３）点順次信号の２種類の画素信号間に混色が生じる。

等の問題があり、この結果、生成した色信号が水平走査
毎にバタツキ（ラインペア）が生じる。これに対し、本
方式では、ディジタル化したことにより、上記１）バラ
ツキ、２）直線性、３）混色は生じず、上記ラインペア
を防止できる利点がある。

さらに、その他にも信号処理を大幅にディジタル化し
たことにより、前述した下記の効果も得られる。

ｉ）大型部品であるCCRにより構成していたフィルタ
を、ディジタルフィルタで構成し、ICに集積化すること
が可能である。

ｉ）バラツキを吸収するための調整が不要。

iii）各調整の自動電子調整が可能。

iv）A/D,D/A内蔵によりICの１チップ集積化が可能。

ｖ）演算まるめ誤差によるS/N劣化を十分考慮すること
により、S/N劣化を防止できる。

〔実施例〕

以下、本発明の実施例を図面を用いて説明する。

第１図は、本発明の第１の実施例のブロック図を示し
たものである。第１図において、１は固体撮像素子,2は
前処理回路,3はA/D変換回路,4は駆動回路,5は制御回路,
6はエンハンス回路7a・7bはγ（ガンマ）補正回路,8は1
H遅延メモリ,9はRGBマトリクス回路,10はホワイトバラ
ンス回路,12は色差マトリクス回路,13は標準テレビジョ
ン信号生成回路,14・14a〜14h・15〜27・28a・28bは端
子である。

駆動回路４は制御回路５と同期して、固体撮像素子１
に端子28aを介して駆動パルスを、又、前処理回路には
端子28bを介して前述のCDSに必要な制御パルスを供給す
る。固体撮像素子１は、供給された駆動パルスに従っ
て、図示外のレンズにより撮像面に結像した画像を光電
変換して得た電気信号を読み出す。固体撮像素子１より
出力された信号は、前処理回路２に供給され、雑音低減
の改善をするCDS処理及び信号量を一定とするAGC処理等
が行なわれ、A/D変換回路３に供給される。A/D変換回路
３では、制御回路５から端子14dに供給されるA/D変換ク
ロックにより、上記前処理回路２より供給された画素信
号を画素毎に点順次でA/D変換され、得られたディジタ
ル信号をRGBマトリクス回路9,1H遅延メモリ８及びエン
ハンス回路６に供給する。上記ディジタル信号は、水平
走査毎に構成が変わり、前述した様にある水平走査では
ある２色の画素信号（この２色の画素信号をA,Bとす
る）からなり、次の水平走査では他の２色の画素信号
（この２色の画素信号をC,Dとする）からなっている。
又、これら２色の画素信号は点順次に交互に得られる。
（以下、この信号を点順次信号と呼ぶ。）ここで、たと
えば、第２図に示すフィルタ配列のセンサでは、上記の
４つの画素信号は（Mg＋Ye），（Ｇ＋Cy），（Mg＋C
y），（Ｇ＋Ye）であり、第３図に示す点順次信号が得
られる。1H遅延メモリでは、供給された上記点順次信号
を1H遅延した後、エンハンサ回路６とRGBマトリクス回
路９へ供給する。RGBマトリクス回路９では、A/D変換回
路３より供給された点順次信号と1H遅延メモリより供給
された1H遅延された点順次信号より、上記の４色の画素
信号A,B,C,Dを分離し、さらに分離した画素信号A,B,C,D
をマトリクス処理することにより各水平走査毎に、R,G,
B信号を生成する。RGBマトリクス回路で生成された上記
Ｒ・Ｇ・Ｂ信号をホワイトバランス回路10に供給し、ホ
ワイトバランス処理を行なう。このホワイトバランス処
理したＲ・Ｇ・Ｂ信号は、さらにγ処理回路7aに供給す
る。γ処理回路7aでは、供給されたＲ・Ｇ・Ｂ信号をγ
処理し、処理後のＲ・Ｇ・Ｂ信号は色差マトリクス回路
12に供給する。色差マトリクス回路12では、供給された
γ補正後のＲ・Ｇ・Ｂ信号をマトリクス処理して前述の
通り各水平走査毎に色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を
生成し、標準信号生成回路13に供給する。以上が色差信
号を生成するまでの色差信号処理である。

次に、輝度信号処理について説明する。

輝度信号は、上述の画素信号ＡとＢ及びＣとＤの和で
与えられる。エンハンス回路６では、まずA/D変換回路1
7から供給された点順次信号と1H遅延メモリ８から供給
された点順次信号を帯域制限し（fs/2成分を除去し、f
s:画素読みだし周波数）、1H遅延前の輝度信号と遅延後
の輝度信号を生成する。次に、これら２つの輝度信号の
差をとり垂直方向の高域成分を取り出し、これを上記1H
遅延前の輝度信号または遅延後の輝度信号に加算して、
輝度信号の垂直方向の高域強調（エンハンス）を行う。
こうして、垂直方向の高域強調した輝度信号は、さらに
水平方向の高域も強調する。この結果、レンズなどのMT
F（Modulation Transfer Factor）による輝度信号のMTF
の劣化を補償できる。以上のエンハンス処理を行った輝
度信号は、γ処理回路7bに供給する。γ処理回路7bで
は、供給された輝度信号をγ処理し、γ処理後の輝度信
号を標準信号生成回路13に供給する。以上がγ処理まで
の輝度信号処理である。

標準信号生成回路13では、上記の色差マトリクス回路
12より供給された色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）と、
γ処理回路7bより供給された輝度信号から、端子14cよ
り供給される制御信号に従って、NTSC等の標準テレビジ
ョン信号を生成して出力する。この時、接続する機器の
入力インターフェイスがディジタルならば、そのままデ
ィジタル信号のまま出力し、また、アナログ入力なら
ば、D/A変換した後出力する。

以上が、本発明の第１の実施例の動作であり、本実施
例によれば、前述の通り、下記の効果がある。

まず、信号処理方式によって１）色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）が各水平走査毎に
生成でき、色信号の垂直解像度劣化が少ない。

２）色再現性が良く、色マトリクスの自由度が高く、モ
ワレも少ない。

３）1H遅延メモリを追加することなく、輝度信号に、垂
直方向のエンハンス処理ができる。

次に、ディジタル化したことによって、４）アナログ信号処理で同一処理を行なった時、色差信
号に生じる前述のラインペアを防止できる。

５）信号処理でS/N劣化はほとんどなく、高S/N処理がで
きる。

６）又、さらに下記合理化が可能である。

ｉ）LCRで構成される大型部品であるフィルタを、デ
ィジタルフィルタで構成することによって、高精度にIC
集積化できる。

ii）バラツキがなくバラツキ吸収用の調整が不要。

iii）自動電子調整化ができる。

iv）A/D,D/Aを内蔵することにより１チップ信号処理I
C化ができる。

第４図〜第13図は、第１の実施例の各ブロックの一例
を詳しく示すブロック図および各ブロック図における各
部の信号を示したものである。以下、これらの図面を用
いて各ブロックを説明する。

第４図は、RGBマトリクス回路９の一例であり、第５
図は、この例の各部の信号波形である。第４図におい
て、30はスイッチ、31a,31bはデマルチプレクサ（De−M
ultiplex,以下単にDe−MPXと呼ぶ）,32a〜32lは係数乗
算回路,33a〜33cは加算回路,29a〜29cはラッチ回路であ
る。端子17及び端子18を介し、SW30にA/D変換器３及び1
H遅延メモリ８よりA/D変換された点順次信号及びこの点
順次信号1H遅延された信号が供給される。この点順次信
号は、前述の通り、水平走査毎に構成が変わり、ある水
平走査では第５図（ａ）に示す様に画素信号A,Bにより
なり、次の水平走査では第５図（ｂ）に示す様に画像信
号C,Dよりなる。したがって、ある水平走査で端子17に
第５図（ａ）に示す信号が入力される時は、端子18には
1H前の第５図（ｂ）に示す信号が入力され、さらに次の
水平走査では、端子17,18にはそれぞれ第５図（ｂ）及
び第５図（ａ）が入力されるという様に、端子C17及び
端子18には、第５図の（ａ）と（ｂ）に示す信号が水平
毎に交互に供給される。スイッチ30では、端子14eより
供給される水平周波数の1/2の周波数パルスに従って、D
e−MPX31a及び31bに供給する上記点順次信号を切換え
る。この結果、De−MPX31a及び31bには、常に第５図
（ａ）及び第５図（ｂ）に示す信号がそれぞれ供給され
る。De−MPX31aでは、スイッチ30より供給された点順次
信号に含まれる２つの画素信号A_iとB_i（ｉ＝0,1,2,3,
…）を分離して第５図（ｃ）及び（ｄ）に示す信号を生
成する。同様に、De−MPX31bでは、画素信号C_iとD_iと分
離して、第５図（ｅ），（ｆ）に示す信号を生成する。
De−MPX31a,31bで生成された画素信号A_iとB_iとC_i及びD_i
は、第４図に示す様に、それぞれ係数乗算回路32a・32e
・32iと32b・32f・32jと32c・32g・32k及び32d・32k・3
2lに供給する。乗算回路32a,32b,32c,32d,32e,32f,32g,
32k,32i,32j,32k,32lでは、供給された各画素信号を、
それぞれ順にk_r1〜k_r4,k_g1〜k_g4,k_b1〜k_b4なる係数を乗
算し、演算により得られた各信号は、第４図に示す様
に、加算回路33a〜33cに供給する。加算回路33a〜33cで
は、供給された信号を加算し、演算後の信号はそれぞれ
ラッチ回路33a〜33cに供給する。ここで、係数乗算回路
及び加算回路の演算をまとめると、次式となる。

ここで、前述の行列Ａ′を用い、とすれば、（９）式はRGBマトリクス演算であり、この
結果、R_i,G_i,B_iが得られる。ラッチ回路29a〜29cでは、
供給されたR_i,G_i,B_i信号を端子14eより供給されたラッ
チクロックによりラッチして出力する。こうして、ラッ
チ回路29a〜29cより、第５図の（８），（ｈ），（ｉ）
に示す信号がそれぞれ出力される。以上が、本RGBマト
リクス回路の動作である。

次に、第６図により、γ処理回路7aの一例を説明す
る。第６図において、34a〜34cは減算回路,35a〜35cは
黒レベル検出回路,36a〜36cはγ補正回路である。ホワ
イトバランス回路10より供給される利得調整後のR_i,G_i,
B_i信号は、それぞれ減算回路34a〜34c及び黒レベル検出
回路35a〜35cに供給する。黒レベル検出回路35a〜35cで
は、供給されたR_i,G_i,B_i信号よりそれぞれ黒レベルの検
出を行ない、この検出値をそれぞれ減算回路34a〜34cに
供給する。この黒レベルの検出には、いく通りかの方法
があるが、一般的な方法としては、センサ受光面の水平
又は垂直のBLK部分の一部をしゃ光して、光学的に黒の
部分を作り、この期間の各信号R_i,G_i,B_iを積分して黒レ
ベルを検出する方法である。この方法の場合、黒レベル
検出回路35a〜35cにおいては、端子14gより入力される
光学黒レベル期間を示すパルスに従い、光学黒レベル期
間の信号を平均して黒レベルを検出する。減算回路で
は、供給されたR_i,G_i,B_i信号から、黒レベル検出回路35
a〜35cより供給された黒レベル検出値をそれぞれ減算
し、γ信号の黒レベルを一定値（たとえば０）にそろえ
る。（この処理を黒レベル再生と呼ぶ）黒レベル再生さ
れたR_i,G_i,B_i信号は、γ補正回路36a〜36cに供給し、γ
補正回路36a〜36cでは、次式表わされるγ補正を行な
う。

R_i′＝（R_i）^1/2 −（11） G_i′＝（G_i）^1/2 −（12） B_i′＝（B_i）^1/2 −（13）ここで、γは、NTSC方式では2.2であり、PAL,SECAW方
式では2.8である。ただ実際にはこのγ補正は、回路規
模等の理由によりたとえば、第７図に示す様な折れ線特
性により近似して行なう。

第８図は、色差マトリクス回路12の一例を示したブロ
ック図である。第８図において、37a〜37c及び38a〜38c
は係数乗算回路,39a・39bは加算回路,40a・40bはラッチ
回路である。本構成例の動作は次の通りである。γ処理
回路7aでγ補正されたR_i′,G_i′,B_i′信号は、第８図に
示す様に、それぞれ、係数乗算回路37a,37b,37c及び38
a,38b,38cに供給する。係数乗算回路37a,37b,37c及び38
a,38b,38cでは、順に、供給された信号を0.7,−0.59,−
0.11及び0.3,−0.59,0.89倍して、この演算により得た
各信号を加算回路39a及び39bに供給する。加算回路39a
及び39bでは、供給された信号を加算し、それぞれ 0.7R_i′−0.59G_i′−0.11B_i′ −（14）及び 0.89B_i′−0.59G_i′−0.3R_i′ −（15）なる信号を得る。これらの（14）式及び（15）式で与え
られる信号は、それぞれ色差信号（Ｒ−Ｙ）及び（Ｂ−
Ｙ）である。こうして得られた色差信号（Ｒ−Ｙ），
（Ｂ−Ｙ）は、それぞれラッチ回路40a及び40bに供給す
る。ラッチ回路40a及び40bでは、供給された信号を、14
hより供給されるラッチクロックでラッチした後出力す
る。

第９図は、エンハンス回路６の一例のブロック図を示
したものである。第９図において、41a・41b・41cは低
域通過フィルタ（以後単にLPFと呼ぶ）,42a・42bは遅延
回路,43a・43bは加算回路,44a・44bはベースクリップ回
路,45a・45bは係数乗算回路46は帯域通過フィルタ（以
後単にBPFと呼ぶ）,47は減算回路である。以下、本実施
例の動作について説明する。まず、LPF41a及び41bに
は、点順次信号と1H遅延した点順次信号が供給される。
これら点順次信号は、前述の通り、各水平走査前に２つ
の画素信号（ＡとＢ又はＣとＤがくり返している信号で
あり、このくり返し周期の成分を、上記LPF41a及び41b
にて除去することにより、輝度信号Ｙと1H遅延した輝度
信号Y_Dとを得る。さらに、輝度信号Ｙは、遅延回路42a
と減算回路47に供給し、1H遅延した輝度信号Y_Dは減算回
路47に供給する。減算回路47では、輝度信号Ｙから、1H
遅延した輝度信号を減算し、差信号（Ｙ−Y_D）をLPF41c
に供給する。LPF41cでは、供給された差信号の高域ノイ
ズを含む高域成分を除去した後、ベースクリップ回路45
aに供給する。ベースクリップ回路45aは、第10図に示す
入出力特性をもち、信号の絶対値がＡ以下の小振幅成分
をノイズとみなし除去する。こうして、垂直エンハンス
信号を得る。この垂直エンハンス信号は、あまりｆ特を
必要とせず、上述のLPF41cでは、そのカットオフ周波数
が１〜2MHz程度となる。さらに、上記垂直エンハンサ信
号は、係数乗算回路45aでk_V倍して、加算回路43aに供給
する。一方、遅延回路42aでは、供給された輝度信号を
一定時間だけ遅延して、加算回路43aに供給する。この
時、減算回路47とLPF41cとベースクリップ回路44c及び
係数乗算回路45aの総遅延時間分のみ輝度信号を遅延
し、同じく加算回路43aに供給する垂直エンハンス信号
と遅延時間をそろえる。加算回路43aでは、供給された
低域輝度成分を含む輝度信号に垂直エンハンス信号を加
算し、垂直方向のエンハンスを行なった輝度信号を生成
する。さらに、この輝度信号は、遅延回路42bとBPF46に
供給する。BPF46とベースクリップ回路44bと係数乗算回
路45bと遅延回路42b及び加算回路43bは、水平方向のエ
ンハンサを構成する。BPF46ではエンハンスする周波数
成分を、供給された輝度信号より抽出する。さらに、BP
F46で抽出した周波数成分は、ベースクリップ44bに供給
する。ベースクリップ44bでは、前述のベースクリップ
回路44aと同様にして、供給された信号から小振幅成分
をノイズとみなし除去し、水平エンハンス信号を生成す
る。ここで、信号に含まれる雑音が小さい場合には、ベ
ースクリップ処理は必ずしも必要ではなく、省略するこ
ともできる。この水平エンハンス信号は、係数乗算回路
45bでk_H倍した後、加算回路43bに供給する。遅延回路42
bでは、遅延回路42aと同様にして、BPF46とベースクリ
ップ44b及び係数乗算回路45bの総遅延時間分のみ、供給
された輝度信号を遅延した後、加算回路43bに供給す
る。加算回路43bでは、輝度信号に水平エンハンス信号
を加算する。以上、本実施例により、垂直及び水平とも
にエンハンスされた輝度信号を得る。しかし、上記エン
ハンスを行なうと、一般に、信号S/Nが低い低照度で
は、ノイズが前述のベースクリップ回路で除去されず、
S/Nが劣化する。この結果、かえって画質が劣化する場
合がある。したがい上記係数乗算回路45a及び45bでは、
さらに、エンハンス量を決定する。上記の係数k_H及びk_V
を低照度時には高照度時より小さくする様にする。たと
えば、AGC電圧に連動し、AGCが動作する時にk_H,k_Vを小
さくする。

第11図は、標準信号生成回路13の一実施例のブロック
図を示したものである。第11図において、48a・48bは加
算回路,49はエンコーダ回路,50a・50bはD/A変換回路で
ある。

NTSC,PAL,SECAM等の標準テレビジョン信号では、一般
に色信号は、変調した後輝度信号に多重化される。この
色信号の変調方式は、各方式により異なり、NTSC及びPA
Lは色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を色幅搬送波ｆsc
により、直交平衡変調するが、SECAMでは色差信号を線
順次でFM変調する。ディジタル化が容易なのは、NTSC及
びPAL方式の直交平衡変調である。ディジタルの直交平
衡変調は、基本的にはアナログの場合と同じであり、
（Ｒ−Ｙ）と（Ｂ−Ｙ）を90゜位相シフトした、周波数
がｆscの２つのパルスで平衡変調したのち２つの信号を
加算すればよい。又、このディジタルの平衡変調回路
も、上記パルスがＨの時正極性の信号を出力し、又、Ｌ
の時は負極性の信号を出力する極性反転回路で容易に構
成できる。第11図は、この色信号の変調が容易な、NTSC
及びPAL方式の場合の実施例である。以下動作を説明す
る。

色差信号（Ｒ−Ｙ）及び（Ｂ−Ｙ）は、色差マトリク
ス回路から、端子22及び端子23を介して、エンコーダ49
及び加算回路48aに供給する。加算回路48では、供給さ
れた（Ｂ−Ｙ）信号に、端子14cを介し制御回路５より
供給されたバースト信号を付加し、バーストを付加した
信号をエンコーダ49に供給する。エンコーダ49では、供
給された色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）に制御回路５
より供給される副搬送波パルスにより、上述のディジタ
ル直交平衡変調を行い、変調後の色信号をさらにD/A変
換回路50aに供給する。D/A変換回路50aでは供給された
色差信号をD/A変換して、変換後のアナログ色信号を出
力する。又、輝度信号は、端子27を介して加算回路48b
に供給する。加算回路48bでは、供給された輝度信号に
制御回路５より供給される複合同期信号（Ｃ・SYNC）を
付加し、D/A変換回路50bに供給する。D/A変換回路50bで
は、供給されたディジタル輝度信号をD/A変換して、変
換後のアナログ輝度信号を出力する。

以上、第１の実施例の主要ブロックについて一通り説
明した。ホワイトバランス回路10及び輝度信号7bについ
ては、詳しく説明を行なわなかったが、ホワイトバラン
ス回路10は、Ｒ信号,B信号の利得を変えるディジタル乗
算回路で簡単に構成でき、輝度信号のγ処理回路7bは、
色信号のγ補正回路7aと全く同様に構成できる。又、上
述の各ブロックは、極めてオーソドックスな構成で説明
した。しかし実際には、回路の増大を押える目的等によ
り、より複雑な構成となる。この一例を、第12図及び第
13図により説明する。

第12図は、前述したγ補正回路7aの他の例を示すブロ
ック図であり、第13図はその各部波形である。第12図に
おいて、35a・35b・35cは前述の黒レベル検出回路,34は
減算回路,36は前述と同様のγ補正回路,51a・51bはマル
チプレクサ（以下単にMPXと呼ぶ）である。端子20より
入力された,R_i,G_i,B_i信号は、MPX51a及び黒レベル検出
回路35a,35b,35cにそれぞれ供給する。黒レベル検出回
路35a,35b,35cでは前述の実施例と同様にして、各色信
号R_i,G_i,B_iの黒レベルを検出し、それぞれの黒レベルの
検出値k_r,k_g,k_bをMPX51bに供給する。MPX51a,51bでは、
第13図（ａ），（ｂ），（ｃ）に示す供給されたR_i,G_i,
B_i信号及び上記k_r,k_g,k_bを、制御回路５より供給される
セレクト信号に従い、第13図（ｄ）及び（ｅ）に示す様
に点順次で多重化する。多重化された色信号及び黒レベ
ル検出値は減算回路34に供給し、さらに、減算回路34で
は、多重化された色信号より多重化された黒レベルを減
算し、第13図（ｆ）に示す前述の黒レベル再生された色
信号を多重化した信号を生成する。この黒レベル再生さ
れた色信号は、γ補正回路36に供給し、前述のγ補正回
路と同様にγ補正を行ない、第13図の（ｇ）に示すγ補
正後の色信号R_i′,G_i′,B_i′が多重化された信号を得
る。この例によれば回路増加が小規模のMPX回路だけで
あり、回路規模が大きくしかも３チャンネル必要だった
又減算回路及びγ補正回路を１チャンネルだけで済ます
ことができる。この結果、回路規模の増大を極力抑える
ことができる。

以上、γ処理の回路規模を低減する例について述べた
が、同様の手法により、その他の色信号処理ブロックに
おいても回路規模の縮小が可能である。

第14図は、本発明による第２の実施例のブロック図を
示したものである。第14図において11はくし形フィル
タ,52a,52bは1H遅延メモリ,53a,53bは加算回路である。
本実施例において、第１の実施例と同一の働きをする部
分には、同一の符号を付け、説明はここで省略する。以
下、第１の実施例と異なる部分について説明する。

本実施例が第１の実施例と異なる点は、色差マトリク
ス回路12と標準信号生成回路13との間に、1H遅延回路52
a,52b及び加算回路53a,53bを設けたことである。1H遅延
回路52a及び52bは色差マトリクス回路より出力される
（Ｒ−Ｙ）と（Ｂ−Ｙ）信号をそれぞれ1H遅延し、加算
回路53a及び53bに供給する。加算回路53a及び53bでは、
色差マトリクス回路から供給される色差信号（Ｒ−Ｙ）
及び（Ｂ−Ｙ）に、1H遅延回路52a及び52bより供給され
る1H遅延された（Ｒ−Ｙ）及び（Ｂ−Ｙ）をそれぞれ加
算する。すなわち、1H遅延回路52aと加算回路53a及び1H
遅延回路52bと加算回路53bは、それぞれいわゆるくし形
フィルタを構成している。このため、標準信号生成回路
13が、加算回路53a及び加算回路53bより供給される色差
信号（Ｒ−Ｙ），（Ｂ−Ｙ）は、第１の実施例の場合に
対し、S/Nが改善されている。また、異なる色が画面上
で斜に接するような部分を有する被写体の撮影におい
て、当該色の境界がギザギザする不自然さを軽減する効
果が得られる。又、色差信号の垂直解像度は、少し劣化
するが、従来方式で同様のくし形フィルタを付るより
は、劣化が少ない。その他の効果については、第１の実
施例と同じである。

第15図は、本発明による、第３の実施例のブロック図
を示したものである。本実施例は、前述の第２の実施例
に比べ、信号処理に用いる1H遅延メモリの数は少なく、
さらに、１）第２の実施例のくし形フィルタと同程度のS/Nの
改善と色の境界の不自然さの軽減、２）３ラインの垂直エンハンサを実現するものである。第15図において、８′は1H遅延
メモリ,9′はRGBマトリクス回路,6′はエンハンサ回路
である。その他の部分は、第１の実施例と同じであり、
ここでは同一の符号を分け説明を省略する。

本実施例が、前述の第１及び第２の実施例と異なる点
は、上記RGBマトリクス回路９′とエンハンサ回路６′
が、A/D変換回路17と1H遅延メモリ８及び1H遅延メモリ
８′より供給された近接する３つの水平走査の画素信号
を処理することにより、R,G,B信号及び輝度信号を生成
することである。以下、このRGBマトリクス回路９′と
エンハンス回路６′の動作を、第16図及び第17図を用い
て説明する。

第16図は、RGBマトリクス回路９′の一例のブロック
図を示したものである。第16図において、54は加算回
路,55は係数乗算回路,9は第１の実施例のRGBマトリクス
回路である。今、あるｌ番目の水平走査で、端子17から
２つの画素信号A_i,B_iが入力されているとすると、前述
したセンサの出力信号の特徴より、端子18には、1H遅延
したｌ−１番目の水平走査で得られた画素信号C_i,D_iが
入力され、又、端子18′には、2H遅延したｌ−２番目の
水平走査で得られた画素信号A_i,B_iが入力される。ここ
で、以後の説明では、各水平走査の画素信号を区別する
ため、たとえば、ｌ番目の水平走査で得られた画素信号
は▲Ａ^l _i▼という様に表示する。端子17及び端子18′よ
り入力した▲Ａ^l _i▼，▲Ｂ^l _i▼及びは、加算回路54に供給される。加算回路54では、供給さ
れた画素信号をそれぞれ加算して、この結果得た画素信
号はさらに、係数乗算回路55に供給される。係数乗算回路
55では、供給された信号を1/2倍して、RGBマトリクス回
路９に供給する。RGBマトリクス回路９では、係数乗算
回路55から供給された画素信号よりなる点順次信号及び端子18から供給されたよりなる点順次信号から、各色信号を分離し、（９）式９と同様のマトリクス処理を行な
い、▲Ｒ^l _Ti▼，▲Ｇ^l _Ti▼，▲Ｂ^l _Ti▼を得る。又この
▲Ｒ^l _Ti▼，▲Ｇ^l _Ti▼，▲Ｂ^l _Ti▼は次式で表される。

これを変形し、ここで上式の右辺第１項及び第２項は（９）式と同じ
であり、これらは、第１の実施例においてｌ番目及びｌ
−１番目の近接する水平走査で得られる▲Ｒ^l _i▼・▲Ｇ
^l _i▼・▲Ｂ^l _i▼及びである。（17）式は、となり、RGBマトリクス回路９′で得た▲Ｒ^l _Ti▼，▲Ｇ
^l _Ti▼，▲Ｂ^l _Ti▼は、第１の実施例で得た▲Ｒ^l _i▼，▲
Ｇ^l _i▼，▲Ｂ^l _i▼をくし形フィルタで処理したものと同
じになる。第２の実施例と比べると、RGB信号で行なう
か、色差信号の状態で行うかの違いはあるが本実施例に
おいても・第２の実施例と同様に、色信号のS/Nの改善と色の境
界の不自然さの軽減ができる。又、第17図に、RGBマトリクス回路９に第４
図に示した回路を用いた例を示す。

第18図は、エンハンス回路６′の一例のブロック図を
示したものである。第18図において、41a,41b,41c,41d
はLPF,56a,56b,56cは係数乗算回路である。その他、第
９図に示した例と同じ部分については、同一の符号を付
け、ここでは、説明を省略する。まず端子17からは、A/
D変換回路３よりA/D変換された点順次信号が入力され
る。又、端子18からは、1H遅延メモリ８により1H遅延さ
れた点順次信号が入力される。さらに、端子18′から
は、1H遅延回路を８及び1H遅延回路８′により2H遅延さ
れた点順次信号が入力される。これらの点順次信号は、
それぞれ、LPF41a,41b,41dに供給にする。LPF41a,41b,4
1dでは第９図に示した実施例と同様に、２つの画素のく
り返し周波数近傍の周波数を除去し、各点順次信号より
輝度信号を生成する。さらに係数乗算回路56a,56b,56c
では、LPF41a,41b,41dより供給された輝度信号を、それ
ぞれ−1/4,1/2,−1/4倍して、加算回路47へ供給する。
加算回路47では、供給された信号を加算し、この演算結
果を出力する。今、LPF41bより出力信号をY_Mとすると、
41a及び41dより出力される信号はY_M・Ｚ及びＹ・Z^-1で
ある。したがって加算回路の出力信号をY_Eとすると、Y_E
はとなり、伝達関数は、となる。これは、３次の対称型LIRフィルタであり、郡
遅延特性が平坦なBPFである。さらにこのBPFで抽出され
たY_E信号は、LPF41d及びベースクリップ44aでノイズを
低減したのち、係数乗算回路45aにおいて利得を調整
し、加算回路43aに供給する。加算回路43aでは、遅延回
路42aで遅延調整された低域輝度成分を含む輝度信号Y_M
に、係数乗算回路より供給された垂直エンハンサ信号を
加算し、垂直方向のエンハンス処理を行なった輝度信号
を得る。以上の垂直エンハンサ部は、いわゆる３ライン
・エンハンサであり、前述のエンハンサ回路に比べ、極
めて良好な過渡応答特性を有する。本エンハンス回路に
より得られる垂直エッジでの過渡応答波形を、第19図の
（ａ）に、前述のエンハンサよる波形（第19図（ｂ））
と比較して示す。第19図において本エンハンス回路で得
た波形は、アンダーシュートとオーバーシュートがバラ
ンスしており、良好な過渡応答で垂直エッジが強調され
ている又、本エンハンス回路６′と、色分離を行なうRG
Bマトリクス回路９′とは、２つの1H遅延メモリを共用
しているため、少ない1H遅延メモリにより、前述の１）
色信号のS/N改善及び色信号の境界の不自然さの軽減,
2）３ラインエンハンサを実現できる。

又、その他の効果については、第２の実施例と同様
に、第１の実施例と同じである。

第20図は、本発明による第４の実施例のブロック図を
示したものである。第20図において、57は白検出回路,5
8は白検出回路の検出値を制御回路５に供給する端子で
ある。又、前述の実施例と同様の動作をするものについ
ては、同一の符号を付け説明を省略する。本実施例は、
前述の第３の実施例において、自動白バランス調整回路
を付加したものである。以下、自動白バランス調整回路
の動作を説明する。まず、白検出回路57では、色差マト
リクス回路より供給される２つの色差信号（Ｒ−Ｙ），
（Ｂ−Ｙ）をマトリクス演算することにより、２つの色
差信号R,Q信号を得る。このＲ信号軸は、色温度が変化
した時に白が移動する軸であり、又Ｑ信号軸はこれに直
交する軸である。今、上記の変換マトリクスをＨとすれ
ば、となる。白検出回路57では、第21図に斜線で示した領域
59を上記R,Q信号で見地し、Ｒ信号をこの領域で積分す
ることにより検出信号を生成する。（この検出信号を∫
Ｒdtとする。）さらに、この検出信号∫Ｒdtは、端子58
を介して制御回路５に供給する。制御回路５ではアップ
ダウンカウンタを内蔵し、∫Ｒdtが正であれば、アップ
ダウンカウンタをカウントダウンし、又、∫Ｒdtが負で
あればカウントアップする。さらに、こうして得たカウ
ンタ値をR_Detとすれば、なる座標軸変換をし、制御電圧K_R及びK_Bを生成する。さ
らにK_R,K_Bはホワイトバランス回路10に供給し、ホワイ
トバランス回路10では、K_R,K_Bに応じ、Ｒ信号及びＢ信
号の利得を制御する。ここで、ホワイトバランス回路1
0,γ補正回路7a,色差マトリクス回路12,白検出回路57,
制御回路５は制御ループを構成しており、 ∫Ｒdt＝０となる様に制御する。この∫Ｒdt＝０となる時が、白バ
ランスがとれている状態であり、無彩色部分において、Ｒ−Ｙ0,B−Ｙ０が成り立つ。

本実施例では、前述の第３の実施例の効果に加え、白
バランスを自動的に調整することができる。

第22図は、本発明による第５の実施例を示したブロッ
ク図である。本実施例は第４の実施例と同じく、自動白
バランス調整回路を付加した実施例である。ただ、前述
の第４の実施例では色差信号Ｒ−Y,B−Ｙより白検出を
行なったのに対し、本実施例は、RGB信号より白検出を
行う。本実施例においても同様の方法において、自動白
バランス調整が実現できる。

〔発明の効果〕

本発明は、以上説明したように構成されているので以
下に記載されるような効果を奏する。

まず、信号処理方式に寄因した効果として、１）各水平走査毎に２つの色差信号（Ｒ−Ｙ），（Ｂ
−Ｙ）が生成されるので、色信号の垂直解像度劣化が少
ない。

２）オーソドックスな色信号処理であり、又、色マト
リクスの自由度も高いため、色再現忠実性がよく、か
つ、色モワレが少ない。

３）色分離の1H遅延回路を垂直エンハンス回路に共用
できるため、1H遅延メモリを追加することなく、垂直方
向のエンハンスができる。

次に、信号処理をディジタル化したことによる効果と
して、４）アナログ信号処理で同一の処理を行った場合にバ
ラツキに寄因して色差信号のラインペアが生じるが、デ
ィジタル化によりバラツキを除去できるため、この現象
を防止できる。

５）信号処理によるS/N劣化はほとんど生じず、高S/N
処理ができる。

６）下記、合理化ができる。

ii）バラツキがなく、バラツキ吸収のための調整が不
要。

iii）自動電子調整圧ができる。

iv）A/D,D/A内蔵により１チップIC化ができる。

７）又、1H遅延メモリは、アナログで使用するCCD遅
延線に比べ、・遅延段数を任意に設定できる。

という特長をもち、水平画素数等の異なる任意のCCDセ
ンサに対応できる。

【図面の簡単な説明】

第１図，第14図，第15図，第20図および第22図は本発明
の一実施例を示すブロック図，第２図は、固体撮像素子
のフィルタ配置の模式図，第３図はディジタル点順次信
号の模式図、第４図，第６図，第８図，第９図，第11
図，第12図は第１の実施例の各ブロックの一例を示すブ
ロック図，第５図はRGBマトリクス回路の各部の波形
図，第７図はγ補正回路の入出力特性図，第10図はベー
スクリップ回路の入出力特性図，第13図はγ補正回路の
各部の波形図、第16図，第17図，第18図は第３の実施例
の各ブロックの例を示すブロック図，第19図はエンハン
ス後の輝度信号の波形図，第21図は白検出が行なわれる
領域を示す色度図である。１……固体撮像素子、２……前処理回路、３……A/D変
換回路、４……駆動回路、５……制御回路、６……エン
ハンス回路、7a,7b……γ補正回路、８……1H遅延メモ
リ、９……RGBマトリクス回路、12……色差マトリクス
回路、13……標準信号生成回路。

フロントページの続き (72)発明者増田美智雄神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所家電研究所内 (56)参考文献特開平２−202191（ＪＰ，Ａ) 特開平２−128591（ＪＰ，Ａ) 特開平１−175393（ＪＰ，Ａ) 特開昭60−127883（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 9/04 - 9/11

Claims

(57)【特許請求の範囲】

【請求項１】光学像を光電変換する固体撮像素子と、該固体撮像素子から出力された信号をディジタル変換す
るA/D変換手段と、該A/D変換手段から出力された信号を１水平走査期間遅
延させる第１の遅延手段と、該第１の遅延手段から出力された信号を１水平走査期間
遅延させる第２の遅延手段と、該A/D変換手段から出力されたｌ番目の水平走査で得ら
れた信号と、該第１の遅延手段から出力されたｌ−１番
目の水平走査で得られた信号と、該第２の遅延手段から
出力されたｌ−２番目の水平走査で得られた信号とから
とからR,G,B信号を生成するRGB生成手段と、該A/D変換手段から出力されたｌ番目の水平走査で得ら
れた信号と、該第１の遅延手段から出力されたｌ−１番
目の水平走査で得られた信号と、該第２の遅延手段から
出力されたｌ−２番目の水平走査で得られた信号とから
垂直エンハンサ信号を生成し、前記第１の遅延手段から
出力されたｌ−１番目の水平走査で得られた低域輝度成
分を含む信号に該エンハンサ信号を加算することにより
輝度信号を生成する輝度信号生成手段と、該RGB生成手段により生成されたR,G,B信号に基づいて色
差信号を生成する色差信号生成手段と、該色差信号生成手段から得られた色差信号と該輝度信号
生成手段から得られた輝度信号に基づいて標準信号を生
成する標準信号生成手段と、を有することを特徴とする撮像装置。
【請求項２】前記輝度信号生成手段は、該A/D変換手段
から出力された信号の繰り返し成分を除去するLPFを有
すること特徴とする請求項１に記載の撮像装置。
【請求項３】前記輝度信号生成手段は、前記垂直エンハ
ンサ信号を加算された輝度信号から水平方向の水平エン
ハンサ信号を生成し、前記垂直エンハンサ信号を加算さ
れた輝度信号に該水平エンハンサ信号を加算することに
より輝度信号を生成する特徴とする請求項１に記載の撮
像装置。
【請求項４】前記撮像装置は異なる４種類の色から構成
されるフィルタを有すること特徴とする請求項１に記載
の撮像装置。
【請求項５】光学像を光電変換する固体撮像素子と、該
固体撮像素子から出力された信号をディジタル変換する
A/D変換手段とを有する撮像装置の信号処理方法であっ
て、該A/D変換手段から出力された信号を第１の遅延手段に
て１水平走査期間遅延し、該第１の遅延手段から出力された信号を第２の遅延手段
にて１水平走査期間遅延し、該A/D変換手段から出力されたｌ番目の水平走査で得ら
れた信号と、該第１の遅延手段から出力されたｌ−１番
目の水平走査で得られた信号と、該第２の遅延手段から
出力されたｌ−２番目の水平走査で得られた信号とから
とからR,G,B信号を生成し、該A/D変換手段から出力されたｌ番目の水平走査で得ら
れた信号と、該第１の遅延手段から出力されたｌ−１番
目の水平走査で得られた信号と、該第２の遅延手段から
出力されたｌ−２番目の水平走査で得られた信号とから
垂直エンハンサ信号を生成し、前記第１の遅延手段から出力されたｌ−１番目の水平走
査で得られた低域輝度成分を含む信号に該垂直エンハン
サ信号を加算することにより輝度信号を生成し、該R,G,B信号に基づいて色差信号を生成し、該色差信号と該輝度信号輝度信号に基づいて標準信号を
生成することを特徴とする撮像装置の信号処理方法。
【請求項６】前記輝度信号を生成するときに、該A/D変
換手段から出力された信号の繰り返し成分を除去するこ
と特徴とする請求項５に記載の撮像装置の信号処理方
法。
【請求項７】前記輝度信号に前記垂直エンハンサ信号を
加算した後に、前記垂直エンハンサ信号を加算された輝
度信号から水平方向の水平エンハンサ信号を生成し、前
記垂直エンハンサ信号を加算された輝度信号に該水平エ
ンハンサ信号を加算することにより輝度信号を生成する
特徴とする請求項５に記載の撮像装置の信号処理方法。
【請求項８】前記撮像装置は異なる４種類の色から構成
されるフィルタを有すること特徴とする請求項５に記載
の撮像装置の信号処理方法。