JPH02128591A

JPH02128591A - 色信号処理装置

Info

Publication number: JPH02128591A
Application number: JP63281456A
Authority: JP
Inventors: Taku Sasaki; 卓佐々木; Akihiko Shiraishi; 白石　昭彦
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1988-11-09
Filing date: 1988-11-09
Publication date: 1990-05-16
Anticipated expiration: 2014-07-19
Also published as: JP2920380B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、補色フィルタを装着した単板式カラービデオ
カメラやカラースチルビデオカメラの色信号処理装置に
関する。

〔従来の技術〕

従来、この種の装置においては、固体撮像素子に例えば
第２図（ａ）に示すような色フィルタを装着し、第３図
に示すような信号処理をすることで、最終的に輝度と２
つの色差信号Ｒ−Ｙ。

Ｂ−Ｙを得るのが普通である。

このような従来の方式の色信号処理においては、まず、
水平方向に隣り合っていて、かつ異なる色フィルタを装
着されている画素からの出力を減算した結果である色差
信号から演算処理が行われるのが普通である例えば、第
２図（ａ）に示す色フィルタ配列をフレーム蓄積モード
でインタレース走査すれば、各フィールドの奇数列目は
、Ｃ＋＝（Ｍｇ　　Ｇｒ）という減算結果が得られ、偶
数列目は、Ｃ２＝　（Ｙｅ−Ｃｙ）という減算結果が得
られる。これに対して、３０５の色信号処理部では、適
当な方法でホワイトバランス、γ変換などの色処理演算
が行われる。

次に、これらの線順次化されている色差信号Ｃ＋　／　
Ｃ２に対し、１）（（水平走査時間）遅延線などを用い
て同時化して、更に、これらを色差マドリスク回路に通
すことにより色差軸を適当に回転し、最終的に２つの色
差信号Ｒ−Ｙ、Ｂ−Ｙを得ている。

しかし、このような方式の色処理方法には、次のような
２つの根本的な問題がある。

（Ａ）ホワイトバランスがとりにくい。

三管式カメラやＲＧＢ原色（純色）タイプのカメラでは
、Ｇに対するＲとＢの比を色温度に応じて変化させるこ
とで、ホワイトバランスがとれるのに対し、この種の装
置では、色情報が色差の形で出てくるので、例えば、色
温度に応じて、輝度信号の何割かを色差信号に加減算す
ることによって白色に対する色差信号を強制的に零にし
、ホワイトバランスをとっている。この方法は、原理的
にも正しくなく、幅広い色温度範囲で、精度良くホワイ
トバランスをとることは極めてむずかしい。

（Ｂ）色差のままγ変換するので色の再現性が良くない
。

三管式カメラのＲＧＢＪＪｊ色タイプのカメラでは、Ｎ
ＴＳＣ方式に従って色分離された出力Ｒ，Ｇ、Ｂにγを
かけてＲγ、Ｇｒ、Ｂγを得たのち、２つの色差Ｒγ−
Ｙ、ＢＹ−Ｙを得る。但しＹ（輝度信号）はＹ＝０．３
０Ｒγ＋０．５９Ｇγ十０．１１ＢＹである。

ところが、補色タイプのカメラでは、色信号は、最初に
差をとられてから、γをかけられるので（Ｍｇ−Ｇｒ）
γのように差の形のままγをかけられてしまう。従フて
、後でどう補正しても正規のＮＴＳＣと対応のついた色
信号が得られず、色の再現性はよくない。

上記の問題点を解決するために例えば、第４図のように
２つの色差信号Ｃ，，Ｃ２とローパスフィルタを通した
輝度信号ＹＬ°を用いて、適当な演算によってＲＧＢへ
変換し、この状態でホワイトバランス、γ変換を行い、
再び輝度１色差へ変換する方法が考えられる。

これによれば、Ｒ，Ｇ、Ｂの状態でホワイトバランス、
γ変換を行えるので上述した第３図の例のような問題点
は解決される。

〔発明が解決しようとする課題〕

しかし、このように、−環水平方向の出力の差の色差を
作ってから、これをもとに、色処理を行う方法では、フ
ィルタの分光感度にマツチした最適な色処理が行えず、
色再現性が良くならないという問題があった。本発明は
このような問題を解消し、色再現性を大幅に向上できる
色信号処理装置を提供することを目的とするものである
。

〔課題を解決するための手段〕

上記目的を達成するため、最適な色再現について考察す
る。

ＮＴＳＣ方式では、その３原色Ｒ，Ｇ、Ｂに対する理想
分光特性が規定されており、これをｒ（λ）９ｇ（λ）
、ｂ（λ）とする。一方、第２図（ａ）のようなセンサ
を使用した場合のＭｇ。

Ｇｒ、Ｃｙ、Ｙｅの各出力の分光特性を、各々Ｍｇ（λ
）、Ｇｒ（λ）、Ｃｙ（λ）、Ｙｅ（λ）とする。

この時ある開数Ｆがあって、とできれば、センサ出力Ｍｇ、Ｇｒ、Ｃｙ、Ｙｅにも同
様の関数「を施せば、ＮＴＳＣの理想Ｒ１Ｇ、Ｂ信号が
得られはずである。

現実には、（１）式をすべての波長λで成立させるのは
、困難であるのでＦを、（３Ｘ４）のリニアマトリック
スＡ　＝　（ａ　＋、＋）で近似することを考える。へ
によって変換された結果の分光特性を（λ）ｇ（λ）ｂ　′ （λ）とする。

ここで、誤差関係Ｅを例えば次のように定義する。

Ｅ（へ）＝、Ｊ、（ｒ（λ１）−ｒ’（λ１））２＋（
ｇ（λｉ）−ｇ’（λ１））２＋（ｂ（λｉ）ｂ’　　
（λ１））２　　　　　　　　　（４）Ｎは整数で、通
常３００ｎｍ＜λ３．λ２　＊＊−−−−λ。＜８００
ｎｍである。

このＥ　（６）を最小にするような会を決めれば良い。

（５）は、いわゆる正規方程式で１２元連立１次方程式
になるので、これをとけば（ａＩｊ）が定まり、これを
用いればＦの良い近似となる。もちろん、誤差関数Ｅの
選択の仕方は、これだけではなく、適当な重み付けを波
長λ１や、ｒ、ｇ。

ｂの間でつけても良い。このようにして定まったΔを用
いて、センサ出力（Ｍｇ、Ｇｒ、Ｃｙ。

Ｙｅ）を、のように変換し、このＲ，Ｇ、Ｂをもとにγ変換、ホワ
イトバランスなど必要な色処理を行えば良い、そして、
最終的にというＮＴＳＣの規格にあった変換を行うことで所望の
輝度２色差信号を得ることができる。

但し、Ｒγ、Ｇｒ　Ｂｙはホワイトバランスのとられた
Ｒ、Ｇ、Ｂをおおむねγ＝０．４５でγ変換した信号で
ある。

一方、これに対し、第４図の従来例のように、水平方向
に隣り合った画素間の差から色差信号Ｃ，，Ｃ２を作り
、これらをもとに色処理する場合を考えてみる。

２つの色差信号ＣＩ、Ｃ２は、第２図の色配列の場合、Ｃ，＝Ｍｇ−ＧｒＣ２＝Ｃｙ−Ｙｅ　　　　　　（８）である。

方、輝度信号の低域成分ＹＬ°は、Ｍｇ。

Ｇｒ、Ｃｙ、Ｙｅの適当な重みづけ平均で形成されるの
で、ＹＬ＝に、Ｍｇ＋に２Ｇｒ＋に、、Ｃｙ＋に４　Ｙｅと
書ける。

この場合、ＲＧＢ変換部４０６では（３Ｘ３）マトリッ
クスリによってｃ、、ｃ２．ｙＬ’からＲ、Ｇ、Ｂへ変
換されているとすると、となる。

式（８）％式％（１１）と（６）を比べて、ＢＭ＝＾どなるようにいつ
も６を決めることができれば問題ないが、これは、不可
能である。何故ならば最初に水平方向の差をとるという
操作をしているので、この時点で色情報の次元が４から
３へ、すなわち（Ｍｇ、Ｃｙ、Ｙｅ、Ｇｒ）から（ＹＬ
’、　ＣＩ　。

Ｃ２）へ１つ下かりているためである。式（６）は、リ
ニアの範囲で色再現について最適化されているので、式
（１１）　’　よりも必ず色再現が良し）このように、本発明では、固体撮像素子からの色信号を
全て用いてＲ，Ｇ、Ｂ信号を生成する。

そのために色信号処理装置をつぎの（１）〜（３）のよ
うに構成するものである。

（１）３種類以上の色フィルタが装着された固体撮像子
から各フィルタに対応する３種類以上の色信号を受け、
該３種類以上の色信号に対し対応する色フィルタの分光
特性によフて決まるリニヤマトリックス変換を行いＲ，
Ｇ、Ｂの３信号を生成するようにする。

（２）上記（１）において、前記リニヤマトリックス変
換の係数がＲ，Ｇ、Ｂの基準の分光特性ｒ（λ）９ｇ（
λ）、ｂ（λ）をＮ色の色フィルタの分光特性ｆ１　（
λ＞−−−−−・ｆｎ　（λ）の線形結合で表すために
最小２乗法によって求められた係数に対応するようにす
る。

（３）上記（１）において、固体撮像素子が電荷結合素
子であり、かっ色信号を各色間でディレィとタップを共
通化した２次元デジタル補間フィルタによって同時化す
るようにする。

〔作用〕

上記（１）〜（３）の構成により、各フィルタに対応す
る色信号よりＲ，Ｇ、Ｈの３信号を生成することができ
、（３）の構成により電荷結合素子（ＣＣＤ）の出力か
らＲ，Ｇ、Ｈの３信号を生成できると共に、共通化によ
り回路規模を縮少できる。

〔実施例〕

以下本発明を実施例で説明する。

（第１実施例）第１図は、本発明を第２図（ａ）のような色フィルタを
装着したＣＣＤをインタレース走査する場合の実施例を
示す。

このケースでは、Ｍｇ、Ｇｒ、Ｃｙ、Ｙｅの４つの色信
号が同時化されていなければならない。

なぜなら、これら４つの情報を演算によって、Ｒ，Ｇ、
Ｂの色信号へ変換するからである。

ＭＯ５型センサのように、４線同時読み出しが可能な構
造であれば、このことは問題なく実行できるが、ＣＯＤ
のようにこれが出来ないセンサにおいては、まず各々の
色信号を２次元的に補間して同時化する必要がある。

例えば、第２図（ａ）のようなセンサ出力の場合、Ｍｇ
に注目すると、そのサンプリングの位置は、第２図（ｂ
）にＯ印で示した所になる。その他のｘ印の所は、他の
色情報はあるが、Ｍｇの色情報がないので、Ｏ印のつい
たデータ（ＡＮＨなど）の適当な重みづけで補間する。

これが２次元槽間フィルタによる同時化である。これは
、各色に対して行われる。

以上を念頭において、以下第１図を使用して説明する。

ＣＣＤセンサ１０１には、第２図（ａ）のような４種の
カラーフィルタが配置されている。センサ１０１からイ
ンタレース走査で一画素ごとに読み出された画像信号は
、Ａ／Ｄ変換器１０２で読出しクロックに同期したタイ
ミングでＡ／Ｄ変換される。後で行う色処理のために、
このＡ／Ｄ変換器１０２は、リニヤな特性が良く、量子
化誤差の点から考えて、８ｂｉｔ以上で行うのが望まし
い。

輝度信号は、１１６のバイパスフィルタで高域成分が検
出され、後述するような方法で得られる輝度の低域成分
Ｙ、と加算器１１７で加算され、Ｄ／Ａ変換器１１８で
Ｄ／Ａ変換され、出力される。

一方、Ａ／Ｄ変換器１０２の出力は、４つの補間フィル
タ１０６，１０７，１０８，１０９に入力される。これ
らの４つの補間フィルタは、例えば第５図に示すように
構成されており、これらの出力は各々同時化された色信
号Ｍｇ、ｃｙ。

Ｙｅ、Ｇｒとなる。ここで、第５図に示す補間フィルタ
の動作について説明する。

センサ１０１からの出力は、インタレース走査されてい
るものとすると、Ａ／Ｄ変換器１０２の出力は、ＩＨご
とに（Ｍｇ／Ｇｒ）のライン。

（Ｃｙ　／　Ｙ　ｅ　）のラインの出力と切り換わる。

従って、例えばＭｇの補間フィルタならば（Ｍｇ／Ｇｒ
）のラインを走査している間、スイッチ５０１はＡ／Ｄ
の出力を、次のＩＨでは零を選択するようにすると、ス
イッチ５０１の出力には、（Ｍｇ／Ｇｒ）ラインのデー
タとＩＨ分の零がＩＨごとに交互に出力される。

ＩＨメモリ５０２，５０３、係数倍器５０４゜５０５．
５０６及び加算器５０７は、垂直方向の補間フィルタを
形成している。例えば、５０４゜５０６の係数は１／２
．５０５の係数は１に設定すると、５０７の出力には（
Ｍｇ／Ｇｒ）のラインのデータと前後の（Ｍｇ／Ｇｒ）
ラインの平均値がＩＨごとに出力され、垂直方向に補間
される。

次に加算器５０７の出力は、スイッチ５０８へ入力され
る。スイッチ５０８の人力は、一画素ごとの読み出しク
ロックφに同期して、Ｍｇ信号。

Ｇｒ倍信号交互に表われているので、Ｍｇ信号の時は、
５０７の出力を、Ｇｒ倍信号時は零を選択して出力する
。これはディレィ５０９〜５１４、係数器５１５〜５２
１．加算器５２１からなる水平補間フィルタに入力され
、水平方向に補間される。係数器５１５〜５２１の係数
は、例えば各々（１／８，２／８，３／８，１／２，３
／８，２／８，１／８　）のように全部の和が２になる
ようにするのが良い。

以上、Ｍｇ用の補間フィルタ１０６について説明したが
、スイッチ５０８の選択を逆にすれば、Ｇｒ用の補間フ
ィルタ１０９が、又、スイッチ５０１の選択を逆にすれ
ば、スイッチ５０８の位相に応じて各々Ｃｙ、Ｙｅ用の
補間フィルタ１０７．１０８が構成できる。

また、上述の説明では、ＩＨメモリを２本用い（１／２
，１，１／２）の補間フィルタを構成したが、ＩＨメモ
リをＮ本用い、（Ｎ＋　１　）タップの垂直方向のＦＩ
Ｒ型ディジタルフィルタにしても良いし、またＩＨメモ
リを有効に使うため、ＩＩＲフィルタを用いても良いし
、またＩＨメモリを有効に使うため、ＩＩＲフィルタを
用いても良い。こうすると、垂直方向の色の帯域が好ま
しい。このような構成は、アナログ処理では難しく、デ
ィジタル処理による構成が望ましい。

以上の説明では、１０６〜１０９の４つの補間フィルタ
を個別に構成した場合を示したが、第６図のようにまと
めて構成すれば、ＩＨメモリやディレィ、加算器、係数
器の共通化ができるのて、回路規模の大幅な縮少が可能
である。

第６図において、Ａ／Ｄ変換器１０２の出力を第５図に
示したものと同様なＩＨメモリ５０２゜５０３、係数器
５０４，５０５，５０６からなる垂直補間フィルタに入
力する。加算器６０１の出力は、ＩＨごとに前後ライン
の平均値が表われる。今、５０５の出力が（Ｍｇ／Ｇｒ
）ラインであフだとすると、加算器６０１の出力は、前
後の（Ｃｙ／Ｙｅ）ラインの平均値が表われる。次のラ
インでは、５０５の出力は（Ｃｙ／Ｙ　ｅ　）ラインと
なるので、Ｆｌには、ＩＨ毎に、夫々（Ｍｇ／Ｇｒ）と
（Ｃｙ／Ｙｅ）ラインの補間された信号が交互に表われ
る。又、Ｆ２にはＩＨ毎に（Ｃｙ／Ｙｅ）と（Ｍｇ／Ｇ
ｒ）ラインの信号が交互に表われる。従フて、スイッチ
６０２でＩＨ毎に、ＦｌとＦ２を選択することにより、
垂直方向に同時化されて補間信号（Ｍｇ／Ｇｒ）。

（Ｃｙ／Ｙｅ）をとり出すことができる。

各々の（Ｍｇ／Ｇｒ）又は（Ｃｙ／Ｙｅ）ラインの信号
は、第５図と同様なディレィ５０９〜５１４及び係数器
５１５〜５２１からなる水平補間フィルタに入力される
。加算器６０３゜６０４．６０６，６０７は、２タツプ
ごとの出力を加算するようしているので、例えば６０３
と６０４の出力には、１クロツクφごとに、ＭｇとＧｒ
の補間された出力が交互に表われる。従って、６０５の
スイッチでφごとに６０３と６０４の出力を切り換えれ
ば、２次元的に補間されたＭｇ及びＧｒ倍信号得ること
ができる。Ｃｙ。

Ｙｅについても同様である。

又、第１図において、同時化されたＭｇ。

Ｃｙ、Ｙｅ、Ｇｒの信号が得られたならば、後のすべて
の演算処理は、画素ごとの読出しクロックの数回に、１
回行えばよい。なぜなら、一般に、カラー信号の帯域は
狭いからである。従って、補間フィルタの後に、間引き
処理を行って、後の演算処理を比較的低速で行うように
してもよい。こうすると、消費電力の大幅な節約ができ
る。

次に、ＲＧＢ変換部１１０について説明する。

前述したように、まずＭｇ、Ｇｒ、Ｃｙ、Ｙｅ各々の分
光特性Ｍｇ（λ）、Ｇｒ（λ）、Ｃｙ（λ）、Ｙｅ（λ
）を３８０　ｎｍから７８０　ｎｍまで１０ｎｍ間隔で
測定し、Ｍｇ（λｉ）、Ｇｒ（λｉ）、Ｃｙ（λｉ）、
Ｙｅ（λｊ）　　（ｉ＝１、・・・・・・、４１）を得
た。

次に、ＮＴＳＣのＲＧＢの理想分光特性ｒ（λｉ）、ｇ
（λｉ）、ｂ（λｉ）を、例えば“色彩化学ハンドブッ
ク東京大学出版会（１９８１）”より読みとり、（５）
式により、等しい重みをつけた正規方程式をといた結果
、次のような最適マトリックスＡを得た。もちろん、実
在するＲＧＢのフィルタの分光特性を測定して、基準の
ｒ（λｉ）、ｇ（λｉ）、ｂ（λｉ）を得てもよい。

これを３段までのシフトと加算を行うディジタル固定乗
算器で実行するため、次のようにＡ′と近似した。

もちろん、λｉに重みをつけて正規方程式を作り、Ａを
得てもよい。

また、本実施例においては、固定乗算器を用いたが、テ
ーブル変換を用いて実施してもよい。

次にホワイトバランス部１１１でＲＧＢ信号をＲＧＢか
らαＲ，Ｇ、βＢという形に変換することでホワイトバ
ランスがとられる。ＲＧＢ変換部１１０の乗算器を可変
乗数倍器としてマトリックスＡ＃のかわりにとして、ＲＧＢ変換とホワイトバランスを共通化しても
良い。

次に、γ変換部１１２では、テーブル変換によってＲＧ
Ｂ信号がγ変換される。色差マトリックス部１１３では
、（７）式に従って、マトリックス演算が行われる。こ
こでも、整数型の固定乗算を行うため、各係数をいくつ
かの２のべき乗の加減算が近似すると良い。

（第２実施例）第７図（ａ）のような色フィルタ配列で、フィールド蓄
積モードでインタレース読出しする場合においても、本
発明は有効であり、この場合の実施例を示す。

即ち、各フィールドの奇数番目のラインでは、（Ｍｇ＋
Ｃｙ）と（Ｇｒ＋Ｙｅ）が水平方向に交互に出力され、
偶数番目のラインでは、（Ｍｇ＋Ｙｅ）と（Ｇｒ＋Ｃｙ
）が各々交互に出力される。従って、Ｃｒ　＝　（Ｍｇ
＋Ｃｙ）、Ｃ２＝（Ｇｒ＋Ｙｅ）、Ｃｓ　＝　（Ｍｇ＋
Ｙｅ）、Ｃ，＝（Ｇｒ＋Ｃｙ）の４つの異なる色信号が
空間的にサンプリングされているので、２次元補間フィ
ルタリングを行って同時化してから各色フィルタの分光
特性に合わせて最適化された演算でＲＧＢへ変換するこ
とができる。

また、この配列でフレーム蓄積モードで、インタレース
或はノンインタレース読出しを行った結果を、−旦Ａ／
Ｄ変換してフレームメモリに入れ、これから読み出しな
がら同様な処理を行フてもよい。この場合、垂直相関距
離が短かくなるので垂直方向の偽色除去に効果がある。

（第３実施例）第７図（ｂ）のように、一画素上に２つの異なる色フィ
ルタを形成し、フレーム蓄積させてインタレース走査で
読み出す方式のスチルビデオカメラにおいて、フレーム
撮影を可能にしたセンサが提案されている。このような
場合においても、奇数番目からＣ，＝　（Ｍｇ＋Ｙｅ）
、Ｃ２＝　（Ｇｒ＋Ｃｙ）の２つの色信号、偶数番目か
らＣ３＝（Ｍｇ＋Ｃｙ）、Ｃ４＝　（Ｇｒ＋Ｙｅ）の２
つの色信号が得られるので、第１及び第２実施例と同じ
く本発明が有効である。

（第４実施例）第７図（Ｃ）のように、補色フィルタをストライブ状に
並べたセンサの場合にも、本発明は有効である。

この場合は、垂直方向にあえて補間する必要はないが、
垂直方向に補間、即ちローパスフィルタリングすること
によフて、色のＳ／Ｎ比は向上するので好ましい。水平
方向には、上述の実施例と同じように補間フィルタによ
って補間する。

ＲＧＢ変換マトリックスは、この場合は（３ｘ３）のマ
トリックスになる。

〔発明の効果〕

以上説明したように、本発明によれば、固体撮像子に装
着した各色フィルタに対応する色信号を全て用いてＲ，
Ｇ、Ｂの３信号が生成されるので、正しいホワイトバラ
ンス、γ変換が行うことができ、色再現性が大幅に向上
する。

【図面の簡単な説明】

第１図は本発明の第１実施例のブロック図、第２図は色
フィルタの配列を示す図、第３図は従来例のブロック図
、第４図は別の従来例のブロック図、第５図は補間フィ
ルタのブロック図、第６図は別の補間フィルタのブロッ
ク図、第７図は第２図とは別の色フィルタの配列を示す
図である。１０１−・・・・・センサ１０６〜１０９−・・・・・補間フィルタ１１０・−−
−−−ＲＧ　Ｂ変換器（ａ）（ｂ）（ｃ）邑フィルタの面乙ψ１苔力第図代す図

Claims

【特許請求の範囲】

（１）３種類以上の色フィルタが装着された固体撮像子
から各フィルタに対応する３種類以上の色信号を受け、
該３種類以上の色信号に対し対応する色フィルタの分光
特性によって決まるリニヤマトリックス変換を行いＲ、
Ｇ、Ｂの３信号を生成することを特徴とする色信号処理
装置。
（２）前記リニヤマトリックス変換の係数がＲ、Ｇ、Ｂ
の基準の分光特性に（λ）、ｇ（λ）、ｂ（λ）をＮ色
の色フィルタの分光特性ｆ、（λ）・・・・・・ｆ＿ｎ
（λ）の線形結合で表すために最小２乗法によって求め
られた係数に対応していることを特徴とする請求項１記
載の色信号処理装置。
（３）固体撮像素子が電荷結合素子であり、かつ色信号
を各色間でディレィとタップを共通化した２次元デジタ
ル補間フィルタによって同時化されていることを特徴と
する請求項１記載の色信号処理装置。