JP3615778B2

JP3615778B2 - カラー撮像装置

Info

Publication number: JP3615778B2
Application number: JP02000394A
Authority: JP
Inventors: ユルゲン・エッチ・ティー・ゲーリングス; 一雅五十嵐; 宏北川
Original assignee: 日本フィリップス株式会社
Priority date: 1993-04-05
Filing date: 1994-01-19
Publication date: 2005-02-02
Anticipated expiration: 2020-02-02
Also published as: KR940025362A; US5508742A; DE69411324D1; EP0624041A3; EP0624041A2; EP0624041B1; JPH06343179A; DE69411324T2

Description

【０００１】
【産業上の利用分野】
この発明は、補色形カラーモザイクフィルタを持つ固体イメージセンサを有するカラー撮像装置に係り、更に詳細には高色忠実度を得る可変色マトリクス回路を有するようなカラー撮像装置に関する。
【０００２】
【従来の技術】
単一のＣＣＤイメージセンサを持つ従来のカラー撮像装置においては、通常補色形のカラーモザイクフィルタが用いられ、輝度信号に加えて２つの色差信号を発生させるようにしている。例えば４つの色、Ｙｅ、Ｍｇ、Ｃｙ及びＧｒ（Ｙｅは黄色、Ｍｇはマゼンタ、Ｃｙはシアン、Ｇｒは緑を各々表す）を持つ補色形カラーモザイクフィルタを使用した場合は、奇数フィールドにおいては隣接する奇数番目及び偶数番目のラインが同時に読み出されて、（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）なる色差信号が交互に発生される。また、偶数フィールドにおいては隣接する偶数番目及び奇数番目のラインが同時に読み出されて、（２Ｂ−Ｇ）及び（２Ｒ−Ｇ）なる色差信号が交互に発生される。そして、上記の交互の色差信号からライン遅延回路及びスイッチ等を用いることにより同時化された色差信号（２Ｂ−Ｇ）及び（２Ｒ−Ｇ）が求められる。このようにして得られた色差信号には、次いで、下記のようなマトリクス演算が施され、標準カラーコンポジット信号を作成するための色差信号（Ｒ−Ｙ）及び（Ｂ−Ｙ）が形成される。
【０００３】
Ｒ−Ｙ＝２Ｒ−Ｇ＋ａ（２Ｂ−Ｇ）
Ｂ−Ｙ＝２Ｂ−Ｇ＋ｂ（２Ｒ−Ｇ）
ここで、ａ及びｂは予め設定された定数、即ちマトリクス係数である。
【０００４】
しかしながら、本出願の発明者は上記のようなマトリクス演算では充分に満足することができるような高色忠実度を得るのは困難であることが判った。
【０００５】
【発明の目的及び概要】
したがって、本発明の目的とするところは、一層高い色忠実度を得ることができるような改善された色マトリクス回路を有するようなカラー撮像装置を提供することにある。
【０００６】
この目的を達成するため、本発明によるカラー撮像装置は、光学画像を電気画像信号に変換する複数のピクセルを持つイメージセンサと、このイメージセンサに対して設けられると共に補色を含む異なる色の所定のモザイクパターンを持つ色フィルタと、前記電気画像信号を処理して少なくとも（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の色差信号を生成する画像信号処理手段と、第１及び第２の係数を発生する係数発生器手段と、前記（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の色差信号に前記第２及び第１の係数を各々乗算する第１及び第２の乗算器手段と、前記第２及び第１の乗算器手段の出力を前記（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の色差信号に加算して目的とする（Ｒ−Ｙ）及び（Ｂ−Ｙ）の色差信号を発生する第１及び第２の加算器手段とを有するカラー撮像装置において、前記係数発生器手段が、各々が前記（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の色差信号に依存して変化する第３及び第４の係数を発生する可変係数発生器手段であり、前記第３及び第４の係数が前記第２及び第１の乗算器手段に前記第１及び第２の係数として各々供給されることを特徴としている。この場合、上記可変係数発生器手段は複数の係数のうちから（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の色差信号に基づいて１個の係数を選択するセレクタを設けて構成してもよい。
【０００７】
上記構成によれば、（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の色差信号から目的とする（Ｒ−Ｙ）及び（Ｂ−Ｙ）の色差信号を生成するためのマトリクス演算に用いられる係数を、異なる色の各々に対して最適値に調整することができる。従って、その結果として高色忠実度を得ることが可能となる。
【０００８】
また、本発明によれば、前記画像信号処理手段、前記第１及び第２の乗算器手段、前記第１及び第２の加算器手段及び前記可変係数発生器手段の少なくとも何れか一つをデジタル的に動作するものとしてもよい。
【０００９】
【実施例】
図１には、本発明の第１実施例に基づいて構成されたカラー撮像装置の主要部が示されている。この撮像装置は通常の形式のＣＣＤイメージセンサ１１を有し、該イメージセンサ上には補色形のカラーモザイクフィルタ１２が設けられている。なお、図１においては上記フィルタ１２はその一部のみを拡大して示している。このフィルタは４つの色、Ｍｇ（マゼンタ）、Ｇｒ（緑）、Ｙｅ（黄色）及びＣｙ（シアン）のモザイクパターンを有している。更に詳述すると、当該フィルタ１２はＣＣＤイメージセンサ１１の１番目、５番目、９番目、…の各水平ラインにおける各ピクセルに一致させてＭｇ、Ｇｒ、Ｍｇ、Ｇｒ、…の順に配列された色フィルタエレメントを有している。また、当該フィルタは上記イメージセンサの偶数番目の各ラインにおける各ピクセルに一致させてＹｅ、Ｃｙ、Ｙｅ、Ｃｙ、…の順に配列された色フィルタエレメントを有している。また、上記イメージセンサの３番目、７番目、１１番目、…の各水平ライン上における色フィルタエレメントは１番目、５番目、９番目、…の各水平ライン上における前記の各色フィルタエレメントに対して水平方向に１ピクセル分ずらされている。
【００１０】
ＣＣＤイメージセンサ１１はタイミング信号発生器１３からのタイミング信号に応答して、奇数フィールドにおいては隣接する奇数番目及び偶数番目の１対の水平ライン上における各ピクセルが水平方向では順次に、且つ、垂直方向では同時に読み出されるように、動作する。即ち、図１に示したｎ番目の対の奇数番目及び偶数番目の水平ラインの場合には、ＭｇとＹｅに相当する色ピクセルが同時に読み出されて（Ｍｇ＋Ｙｅ）が作成され、次にＧｒとＣｙに相当する色ピクセルが同時に読み出されて（Ｇｒ＋Ｃｙ）が作成される。そして、このような読出動作が当該ｎ番目の対の各水平ラインの残りの全ピクセルが順次読み出されるまで繰り返される。また、（ｎ＋１）番目の対の奇数番目及び偶数番目の水平ラインの場合は、ＧｒとＹｅに相当する色ピクセルが同時に読み出されて（Ｇｒ＋Ｙｅ）が作成され、次にＭｇとＣｙに相当する色ピクセルが同時に読み出されて（Ｍｇ＋Ｃｙ）が作成される。そして、このような読出動作が当該（ｎ＋１）番目の対の各水平ラインの残りの全ピクセルが順次読み出されるまで繰り返される。また、偶数フィールドにおいては、隣接する偶数番目及び奇数番目のラインの各対上のピクセルが、上述した奇数フィールドにおける場合と同様に、水平方向では順次に且つ垂直方向では同時に読み出される。
【００１１】
上述したようにしてＣＣＤイメージセンサ１１の各ピクセルを読み出すことにより得られた画像情報信号は、通常の形式の相関２重サンプリング（ＣＤＳ）回路１４に供給され、当該信号に含まれるノイズが低減される。このＣＤＳ回路の出力は色分離回路１５に供給される。この色分離回路は、ＣＤＳ回路１４の出力信号から輝度信号Ｙを抽出するための輝度信号処理部１５ａを有している。この輝度信号処理部は通常の形式のものであり、例えばローパスフィルタと遅延回路（共に図示せず）を有している。色分離回路１５は、また、第１の色信号処理部１５ｂを有し、この色信号処理部はタイミング信号発生器１３により駆動されて、同時化された第１の対の色信号（Ｍｇ＋Ｙｅ）及び（Ｇｒ＋Ｃｙ）を出力する。この色信号処理部は通常の形式のもので、例えばサンプル／ホールド回路、バンドパスフィルタ、ラインメモリ及びスイッチ回路等（共に図示せず）を有している。色分離回路１５は、更に、第２の色信号処理部１５ｃを有し、この色信号処理部はタイミング信号発生器１３により駆動されて、同時化された第２の対の色信号（Ｍｇ＋Ｃｙ）及び（Ｇｒ＋Ｙｅ）を出力する。この色信号処理部は上述した色信号処理部１５ｂと略同一の構成のものである。
【００１２】
第１の色信号処理部１５ｂからの色信号（Ｍｇ＋Ｙｅ）及び（Ｇｒ＋Ｃｙ）は第１の減算器１６の正及び負の入力端子に各々供給され、該減算器はその出力端子に第１の色差信号（２Ｒ−Ｇ）を発生する。同様にして、第２の色信号処理部１５ｃからの色信号（Ｍｇ＋Ｃｙ）及び（Ｇｒ＋Ｙｅ）は第２の減算器１７の正及び負の入力端子に各々供給され、該減算器はその出力端子に第２の色差信号（２Ｂ−Ｇ）を発生する。上記第１の色差信号（２Ｒ−Ｇ）は第１の加算器１８の第１入力端子と、第１の乗算器１９の第１入力端子と、可変係数発生器２０の第１入力端子２０ａとに供給される。また、第２の色差信号（２Ｂ−Ｇ）は第２の加算器２１の第１入力端子と、第２の乗算器２２の第１入力端子と、前記可変係数発生器２０の第２入力端子２０ｂとに供給される。
【００１３】
可変係数発生器２０は、前記色差信号（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の大きさに応じて変化するような係数信号ａ及びｂを発生するために設けられたもので、これら信号は第１及び第２出力端子２０ｃ及び２０ｄから各々出力される。この可変係数発生器は図２に示すように構成することができる。
【００１４】
図２において、入力端子２０ａに入力された第１の色差信号（２Ｒ−Ｇ）は第１の比較器３０の正側の入力端子に供給され、該比較器の負側の入力端子は接地されている。同様に、入力端子２０ｂに入力された第２の色差信号（２Ｂ−Ｇ）は第２の比較器３１の正側の入力端子に供給され、該比較器の負側の入力端子は接地されている。これら比較器の各々は、正側の入力端子の信号が負側の入力端子の信号よりも大きい（高い）場合にハイ信号を出力し、それ以外の場合にはロー信号を出力するように構成されている。第１及び第２の比較器３０及び３１の各出力信号Ｓ_１及びＳ_２は、同様の回路構成を持つ第１及び第２の係数選択部３２ａ及び３２ｂに供給される。第１の係数選択部３２ａは前記信号Ｓ_１及びＳ_２に応じて４つの入力信号の中の一つを選択するセレクタ３４を有している。このセレクタの４つの入力端子は４つの可変抵抗器３５_１、３５_２、３５_３及び３５_４に各々接続されており、これらの可変抵抗器は基準電位Ｖ_Ｒから異なる電位を帯びることができる４つの係数信号ａ_１、ａ_２、ａ_３及びａ_４を発生する。前記セレクタ３４は、信号Ｓ_１及びＳ_２が共にローの場合には係数信号ａ_１を選択し、信号Ｓ_１及びＳ_２が各々ロー及びハイである場合には係数信号ａ_２を選択し、信号Ｓ_１及びＳ_２が各々ハイ及びローである場合には係数信号ａ_３を選択し、信号Ｓ_１及びＳ_２が共にハイの場合には係数信号ａ_４を選択する。このようにして選択された係数信号は、係数信号ａとして、上記セレクタ３４の出力端子から当該可変係数発生器２０の第１出力端子２０ｃに供給される。
【００１５】
第２の係数選択部３２ｂも上述した第１の係数選択部３２ａと略同一の構成であり、４つの係数信号ｂ_１、ｂ_２、ｂ_３及びｂ_４から信号Ｓ_１及びＳ_２に応じて選択された信号を、係数信号ｂとして、当該可変係数発生器２０の第２出力端子２０ｄに出力する。
【００１６】
再び図１を参照して、上記可変係数発生器２０からの係数信号ａ及びｂは第２の乗算器２２の第２入力端子及び第１の乗算器１９の第２入力端子に各々供給される。これら乗算器２２及び１９の出力信号は第１及び第２の加算器１８及び２１の第２入力端子に各々供給される。加算器１８及び２１の出力信号、即ち（Ｒ−Ｙ）及び（Ｂ−Ｙ）なる色差信号に略相当する各信号、は前記輝度信号処理部１５ａからの輝度信号Ｙと共にエンコーダ４０に供給される。このエンコーダは上記輝度信号Ｙ及び２つの色差信号（Ｒ−Ｙ）及び（Ｂ−Ｙ）にエンコード処理を施して出力端子４１にＮＴＳＣカラーコンポジット信号のような標準カラーコンポジット信号を発生する。
【００１７】
図１及び図２に示した回路は以下のように動作する。即ち、ＣＣＤイメージセンサ１１上のピクセルが前述したようにして読み出された場合、第１の対の色信号（Ｍｇ＋Ｙｅ）及び（Ｇｒ＋Ｃｙ）並びに第２の対の色信号（Ｍｇ＋Ｃｙ）及び（Ｇｒ＋Ｙｅ）が第１及び第２の色信号処理部１５ｂ及び１５ｃの出力端子に各々現れる。次いで、第１の減算器１６において、色信号（Ｇｒ＋Ｃｙ）が色信号（Ｍｇ＋Ｙｅ）から減算され、これにより色差信号（２Ｒ−Ｇ）が作成される。同様にして、第２の減算器１７においては、色信号（Ｇｒ＋Ｙｅ）が色信号（Ｍｇ＋Ｃｙ）から減算され、これにより色差信号（２Ｂ−Ｇ）が作成される。そして、色差信号（２Ｒ−Ｇ）は、先ず乗算器１９において係数ｂで乗算され、次いで加算器２１において色差信号（２Ｂ−Ｇ）に加算され、これにより色差信号（Ｂ−Ｙ）が形成される。一方、色差信号（２Ｂ−Ｇ）は、先ず乗算器２２において係数ａで乗算され、次いで加算器１８において色差信号（２Ｒ−Ｇ）に加算され、これにより色差信号（Ｒ−Ｙ）が形成される。この場合、上記色差信号（Ｒ−Ｙ）を形成するために使用された係数ａは色差信号（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）に応じて決定されるから、この色差信号（Ｒ−Ｙ）は各色に対して一層正確に且つより独立して補正することができる。即ち、画像の色が緑である場合、言い替えれば色差信号（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）が共に負であって図３に示す色座標系の第３象限に在る場合には第１の係数ａ_１が係数ａとして選択される。従って、色差信号（Ｒ−Ｙ）はこの係数ａ_１に基づき緑色に関してより正確に且つ独立して調整することができる。この色差信号（Ｒ−Ｙ）は、第１象限及び第４象限におけるマゼンタ及びシアンのような他の色の各々に関しても、上述した緑の場合と同様にしてより正確に且つ独立して補正することが可能である。このことは色差信号（Ｂ−Ｙ）に関しても同様である。
【００１８】
このようにして補正された色差信号（Ｒ−Ｙ）及び（Ｂ−Ｙ）は輝度信号Ｙと共にエンコーダ４０に供給されるので、該エンコーダはより正確に調整された標準カラーコンポジット信号を形成することができる。
【００１９】
次ぎに、本発明によるカラー撮像装置の第２の実施例を図４を参照して説明するが、この図において図１に示した各部に相当する部分には「１００」だけ値の大きい同様の符号を付してある。
【００２０】
この実施例は、画像情報信号をデジタル形式で処理するように特別に設計されている。図４において、ＣＤＳ回路１１４のアナログ出力信号はアナログ／デジタル（Ａ／Ｄ）変換器１５０に供給される。このＡ／Ｄ変換器は、カラー画像情報信号である上記供給信号をタイミング信号発生器１１３からのクロック信号ＣＬＫ１により決まる時間間隔でデジタル信号に変換する。このようにして得られたデジタル画像情報信号はデジタル信号プロセッサ１５１に供給される。このデジタル信号プロセッサは、少なくとも前述した図１の色分離回路１５及び比較器１６及び１７の各機能と、図２の比較器３０及び３１の機能とを果たすようにプログラムされている。このように、このデジタル信号プロセッサ１５１は輝度信号Ｙと、第１及び第２の色差信号（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）と、信号Ｓ_１及びＳ_２とを出力する。
【００２１】
上記色差信号（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）はラッチ回路１５２及び１５３に各々供給される。これらのラッチ回路は色差信号（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）を、タイミング信号発生器１１３から供給されるクロック信号ＣＬＫ２に応答して各々一時記憶する。ラッチ回路１５２は記憶された信号をデジタル加算器１１８とデジタル乗算器１１９とに供給し、一方ラッチ回路１５３は記憶された信号をデジタル加算器１２１とデジタル乗算器１２２とに供給する。また、デジタル信号プロセッサ１５１からの信号Ｓ_１及びＳ_２は共にセレクタ１３４_−１及び１３４_−２に供給される。セレクタ１３４_−１は信号Ｓ_１及びＳ_２に基づいて４つの係数ａ_１、ａ_２、ａ_３及びａ_４の中の一つを選択する。同様に、セレクタ１３４_−２は信号Ｓ_１及びＳ_２に基づいて４つの係数ｂ_１、ｂ_２、ｂ_３及びｂ_４の中の一つを選択する。セレクタ１３４_−１により選択された係数は、クロック信号ＣＬＫ２に応答してラッチ回路１５４に一時記憶され、当該ラッチ回路から係数ａとして出力され、一方セレクタ１３４_−２により選択された係数は、クロック信号ＣＬＫ２に応答してラッチ回路１５５に一時記憶され、当該ラッチ回路から係数ｂとして出力される。係数ａ_１ないしａ_４及びｂ_１ないしｂ_４の各々は可変デジタル値であり、例えばＲＯＭのような適宜の手段により供給される。前記ラッチ回路１５４及び１５５からの係数ａ及びｂは、乗算器１２２及び１１９に各々供給される。色差信号（Ｒ−Ｙ）及び（Ｂ−Ｙ）となる加算器１１８及び１２１の各出力信号は、デジタル信号プロセッサ１５１からの輝度信号Ｙと共にデジタルエンコーダ１４０に供給される。そして、このエンコーダ１４０が上記３つの入力信号から既知の方法でデジタルカラーコンポジット信号を形成し、出力端子１４１から出力する。
【００２２】
上記実施例の動作は図１に示した第１の実施例のものと略同一であるが、Ａ／Ｄ変換器１５０以降の信号処理がデジタル形式で行われる点が異なる。
【００２３】
表１は、本実施例においてＣＣＤイメージセンサ１１１として松下製ＭＮ３７５２（７１０Ｈ、１／２”、ＮＴＳＣ）を使用し、色温度が３，２００Ｋの場合と４，４００Ｋの場合とについて各々実験的に使用した係数ａ_１ないしａ_４及びｂ_１ないしｂ_４の各値を示している。本実施例においては、これらの係数を使用することにより良好な結果を得ることができた。
【００２４】
【表１】

【００２５】
なお、上記実施例においてはセレクタ１３４_−１及び１３４_−２、ラッチ回路１５２ないし１５５、加算器１１８及び１２１、乗算器１１９及び１２２並びにエンコーダ１４０は別個の回路要素として示されているが、これらの回路要素はデジタル信号プロセッサ１５１に組み入れて単一のデジタル信号プロセッサとすることも可能である。この場合は、上記セレクタ、ラッチ回路、加算器、乗算器及びエンコーダの各機能を当該デジタル信号プロセッサ内にプログラムしなければならない。
【００２６】
また、本発明は上述した各実施例のみに限定されるものではないことは勿論である。例えば、本発明は上記とは異なる色フィルタエレメントの配列を持つカラーモザイクフィルタを用いたカラー撮像装置にも適用することができる。
【図面の簡単な説明】
【図１】図１は、本発明によるカラー撮像装置の第１実施例の主要部のブロック図、
【図２】図２は、図１の実施例における可変係数発生器の回路図、
【図３】図３は、同実施例における色差信号とマトリクス係数との間の関係を示す色座標系、
【図４】図４は、本発明によるカラー撮像装置の第２の実施例の主要部のブロック図である。
【符号の説明】
１１…イメージセンサ、１２…色フィルタ、
１５，１６，１７…画像信号処理手段、１８…第１の加算器手段、
１９…第１の乗算器手段、２０…可変係数発生器手段、
２１…第２の加算器手段、２２…第２の乗算器手段、
ａ…第１の係数（第３の係数）ｂ…第２の係数（第４の係数）、
（２Ｒ−Ｇ）…第１の色差信号、（２Ｂ−Ｇ）…第２の色差信号、
（Ｒ−Ｙ）…第３の色差信号、（Ｂ−Ｙ）…第４の色差信号。

Claims

光学画像を電気画像信号に変換する複数のピクセルを持つイメージセンサと、このイメージセンサに対して設けられると共に補色を含む異なる色の所定のモザイクパターンを持つ色フィルタと、前記電気画像信号を処理して少なくとも（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の色差信号を生成する画像信号処理手段と、第１及び第２の係数を発生する係数発生器手段と、前記（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の色差信号に前記第２及び第１の係数を各々乗算する第１及び第２の乗算器手段と、前記第２及び第１の乗算器手段の出力を前記（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の色差信号に加算して目的とする（Ｒ−Ｙ）及び（Ｂ−Ｙ）の色差信号を発生する第１及び第２の加算器手段とを有するカラー撮像装置において、
前記係数発生器手段が、各々が前記（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の色差信号に依存して変化する第３及び第４の係数を発生する可変係数発生器手段であり、前記第３及び第４の係数が前記第２及び第１の乗算器手段に前記第１及び第２の係数として各々供給されることを特徴とするカラー撮像装置。
請求項１に記載のカラー撮像装置において、前記可変係数発生器手段が、前記第１及び第２の係数の各々に対して、複数の係数信号を発生する信号発生器と、これら複数の係数信号のうちの一つを前記（２Ｒ−Ｇ）及び（２Ｂ−Ｇ）の色差信号に基づいて選択し前記第１及び第２の係数のうちの対応する係数として出力するセレクタとを有していることを特徴とするカラー撮像装置。
請求項１又は請求項２に記載のカラー撮像装置において、前記色フィルタがマゼンタ、緑、黄色及びシアンのフィルタエレメントを有していることを特徴とするカラー撮像装置。
請求項１ないし請求項３の何れか一項は記載のカラー撮像装置において、前記画像信号処理手段、前記第１及び第２の乗算器手段、前記第１及び第２の加算器手段及び前記可変係数発生器手段の少なくとも何れか一つがデジタル的に動作するものであることを特徴とするカラー撮像装置。