JPH04170882A

JPH04170882A - ディジタル・カメラ信号処理装置

Info

Publication number: JPH04170882A
Application number: JP2297078A
Authority: JP
Inventors: Toshihiko Mimura; 敏彦三村; Eiji Ohara; 栄治大原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1990-11-05
Filing date: 1990-11-05
Publication date: 1992-06-18
Anticipated expiration: 2014-08-30
Also published as: JP2942903B2; US5262849A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野〕本発明は、ディジタル・カメラ信号処理装置、特に撮像
素子の信号を直接ディジタル化して信号処理する装置に
関する。

〔従来の技術〕

従来アナログ信号処理では、カメラ信号処理というもの
は、センサの色フィルタの配列構造及びセンサからの読
出し方式により、その信号処理方式はまちまちであった
。

例えば、第２図にＹｅ、Ｇ、Ｃｙ　（イエロ、グリーン
、シアン）の縦ストライプシステムの構成例を示す。こ
のシステムにおいては、Ｙｅ、Ｇ。

ｃｙの色フィルタが縦３列のストライブ構造となってい
る。センサ（ＣＣＤ）２００は二わらの信号を１行づつ
、インターレースで転送し、ＣＤＳ回路２０１でタプル
クランプしその差分信号を抜きとることにより、１／ｆ
ノイズといわれるノイズが除去される。２０２は感度補
正のためのＡＧＣ（自動利得制御）であり、ここでセン
サ２００からの信号レベルが低い時は、ゲインアップさ
れる。こうしてＡＧＣアンプ２０２からは、Ｙｅ、Ｇ、
Ｃｙの順次信号が出力される。

２０３は、このＹｅ、Ｇ、Ｃｙの信号を分離するための
サンプルホールド回路であり、ここでうち抜かれた信号
は、各々１２０°づつ位相のずれたＹｅ、Ｇ、Ｃｙの３
相信号となる。こうして分離されたＹｅ、Ｇ、Ｃｙ傷信
号、まず色信号において次のような処理をうける。すな
わち、Ｙｅ＝Ｒ＋Ｇ、Ｃｙ＝Ｂ＋ＧであることからＲ＝
Ｙｅ−Ｇ、Ｂ＝Ｃｙ−Ｇで計算でき、こわはマトリクス
回路２０６で処理され、Ｒ，Ｇ、Ｂの３相信号となり、
ホワイトバランス回路（ＷＢ）２０７て、外測センサ等
から得た信号によりホワイトバランス調整をうけ、その
後γ補正回路２０９てγ補正をうけ、クロママトリクス
回路２１０により色差信号に変換され、ローパスフィル
タ２１２，２１３を経た後エンコータに人力される。一
方輝度信号は、レベルバランス回路２０４で、Ｙｅ、Ｇ
、Ｃｙの色フィルタのばらつき等を補正された後、スイ
ッチ２０５て再びＹｅ、Ｇ、Ｃｙの順次信号に変換され
た後ローパスフィルタ２１１で帯域制限をうけ、エンコ
ーダに同じく入力される。２１４は、補色フィルタによ
く、おこる高輝度の偽色圧縮のためのサプレス信号をと
りだすためのローパスフィルタであり、ここて得たサプ
レス信号によりエンコータ内のサプレス回路て色を消す
動作を行う。

第３図は、補色モザイクシステムの代表例である。なお
、ここでは、第２図にあげたような全システムの描写は
省略しである。このシステムで対象となっているのは、
第３図（ｂ）のようなｎラインにおいてｆ；８で、ｎ＋
ｌラインにおいて、’：ｅ　Ｃｙの構造をとる色フィル
タの配列であり、がつセンサからの信号は、第２図と同
じくインターレスに読み出される順次信号である。この
センサはまずｎラインにおいては、Ｍｇ＋Ｃｙ、　Ｇ十
Ｙｅ、Ｍｇ＋Ｃｙ、Ｇ＋Ｙｅのような形で色信号を出力
し、次にｎ＋１ラインにおいては、Ｍｇ＋Ｙｅ、Ｇ＋Ｃ
ｙ、Ｍｇ＋Ｙｅ、Ｇ＋Ｃｙというように、混合されて出
力される。これらの信号は、ＲＧＢ成分上からみると、
第３図（ｂ）のようになっており、これに対しバンドパ
スフィルタ３０１を通すことにより、ｎラインではＢＧ
ＢＧ成分、ｎ＋１ラインではＲＧＲＧ成分が出力され、
これを検波することで、Ｃ，＝２８−Ｇ。

Ｃｎ、、＝２Ｒ−Ｇといった色差信号をえる。

一方、輝度信号に関してはローパスフィルタ３００を通
過することによって、Ｙ、＝　（Ｙｅ＋Ｇ）＋　＜Ｃｙ
＋Ｍｇ＞＝２Ｒ＋３Ｇ＋２ＢＹ　１１＋１　＝　（Ｙ　
ｅ　十Ｍ　ｇ　）　＋（Ｃ３／　＋　Ｇ　）　＝　２　
Ｒ＋３Ｇ＋２Ｂの処理をうけ、その後プロセス回路３０
３に入る。ホワイトバランスは、色差の状態でおこなう
。３０２は、ホワイトバランス信号を形成するための低
域フィルタてあり、この信号をもとにホワイトバランス
は行われる。ここで出力される信号は当然ｎラインとｎ
＋１ラインで異なる。そこで、更に３０４のようなＩＨ
遅延線をもうけスイッチ回路３０５を経て同時化される
。

こうしてできあがったＹ＝２Ｒ＋３Ｇ＋２Ｂと２Ｒ−Ｇ
、２Ｂ−Ｇを輝度信号２色差信号として取り扱い、これ
がエンコーダに入力されるしくみとなっている。この他
には、色フィルタ配列は多々存在し、またセンサからの
出力も一本とはかぎらず、センサからの出力はインター
レスもノンインターレスも存在する。

〔発明が解決しようとする’Ｌ！題）このようなに、カメラ信号処理回路というものは、元来
センサの色フィルタ配列に対して、固存なものであり、
センサの色フィルタが変われば、信号処理ＩＣも変える
必要があり、そのため製品をつくる上で、センサの選択
に自由度がなくなるという問題かあった。また、半導体
メモリに直接ティジタルデータを記録する全固体カメラ
等では、色フィルタ配列か、各社まちまちのために一度
、輝度信号と色差信号にわけて記録するしが互換をとる
ことができない等の不便がある。

これに対し、発明者等は、別途、センサ上のデータをメ
モリに一度入れ、その後、ｎｘｍのウィンドウで画素デ
ータを切り出してその後ｎ×ｍの画素からＹ（輝度）、
Ｒ（赤）、Ｇ（縁）。

Ｂ（青）に変換をプログラマなマドリスク演算すること
て行い、その後、同一の処理をするという、カメラ信号
処理の汎用化のための手法を提案した。しかし、この例
においては、マドリスク演算において、どの色かウィン
ドのどこの位置に存在するかをプログラムする必要があ
り、更にウィンドをメモリ上に走査してゆく手段が必要
となるため、回路規模が大きくなるという問題点があっ
た。また、メモリがなければ全く動作できないシステム
であった。

本発明は、これらの問題を解消するためになされたもの
で、センサの色フィルタ配列にかかわりなくカメラ信号
処理のてきる、汎用のディジタル・カメラ信号処理装置
を提供することを目的とするものである。

〔課題を解決するための手段）本発明は、前記目的を達成するため、ディジタル・カメ
ラ信号処理装置をつぎの（１）。

（２）、（３）、（４）のとおりに構成するものである
。

（１）撮像素子からの信号をアナログ−ディジタル変換
するＡ−Ｄ変換手段と、該Ａ−Ｄ変換手段の出力信号か
ら各色毎のサンブリンクポイントに対応した色信号を分
離する色信号分離手段と、前記各色毎のサンプリングポ
イントに対応した色４３号にもとついて色信号の存在し
ないサンプリングポイントの色信号を補間する色信号補
間手段とを備えたディジタル・カメラ信号処理装置。

（２）前記（１）において、色信号補間手段か、プログ
ラマブルな２次元フィルタであるディジタル−カメラ信
号処理装置。

（３）前記（１）において、色信号補間手段が、プログ
ラマブルな１次元フィルタの組合せであるディジタル・
カメラ信号処理装置。

（４）前記（１）、（２）、（３）において、Ａ−Ｄ変
換手段の出力信号を書き込み、かつ読み出した信号を色
信号分離手段に供給するメモリを備えたディジタル・カ
メラ信号処理装置。

（作用〕前記（１）、（２）、（３）、（４）の構成によれば、
撮像素子の色フィルタ配列、読出し方にかかわらず、各
色毎のサンプリングポイントの全てに対応した色信号を
得られる。

〔実施例〕

以下、本発明を実施例により詳しく説明する。

第１図は本発明の第１実施例である“撮像装置”のブロ
ック図である。図において、撮像素子　。

１００で光電変換された画素信号は、順次読みだされ、
ＣＤ５ＩＯＩで、ノイズをキャンセルされ、クランプ１
０２で所定レベルにクランプされ、ブリニー１０３て高
輝度域を圧縮され、Ａ−Ｄ（アナログ−ディジタル）変
換器１０４より順次化されたディジタル信号が出力され
る。フィールドメモリ１０５，１０６、スイッチ１０７
、ラインメモリ１０８，１０９及びスイッチ１１０は、
撮像素子１００の色フィルタの配列がラインごとに線順
次になっているとき、ノンインターレスとしてだすため
の変換器である。

以下、具体的信号の形態を第４図に示しながら、各部の
働きを説明する。撮像素子１００がらの信号がまず、空
間的に４００のように並んでいたとすれば、インターレ
ースの場合、第１フイールドではＣ，、Ｃ２・−・−、
Ｃ，、Ｃ２−・・−・と出力され、第２フイールドでは
、Ｃ３，Ｃ４−・・・・・。

Ｃ４，Ｃ，−−−−・出力されてしまうため、色成分が
各フィールドで不足してしまう。そこで、−数的には、
４０１，４０２のように、撮像素子１００内で、隣接す
る垂直画素を加算して出す。本実施例においては、この
他に、−度メモリに記録した後、４０３のように垂直方
向に１ライン出力し、２ラインごとにとばしながら走査
する手法を、前段の回路でもうけ、自在な信号処理を可
能にしている。

さて、第１図の１３９〜１４４までのカラーセバレ〜ジ
ョンは、各ラインに流れている各色の信号を選択するも
のであり、選択されない時は、そこに０を挿入する構成
となっている。４０４〜４０７は、カラーセパレーショ
ンによって分離された色信号を、空間的に表示したもの
であり、これらの信号は、次に２次元（空間）フィルタ
ー１１３〜１１６により０を挿入した所を補間され、そ
の結果４０８〜４１１のようになる。ここで得られた信
号は、デコーティング行列式Ｍ７により、−度ＲＧＢに
直すことができ、その後、ホワイトバラスン調整をうけ
た後、γ変換をうけ、更に色差マトリクス変換回路１２
７において輝度信号Ｙ１色差信号Ｒ−Ｙ、Ｂ−Ｙに変換
され出力される。

輝度信号Ｙにおいては、色信号のようにセパレーション
を行わない。そのまま信用のデジタルフィルタと同様な
２次元フィルタをうける。ここて、１１１は、輝度信号
用ローパスフィルタてあり、こわによって例えば各色フ
ィルタの分光特性の差による輝度段差等を補間する。１
１２は、輝度用のバイパスフィルタてあり、これよりの
出力はコアリンク３１７てカットさせた後計数器１１８
をえて加算され、前記輝度用ローパスフィルタ１１１に
よって低下した、垂直アパーチャレスポンスを補正する
。本実施例ては、この輝度用信号処理回路では、２個の
２次元フィルタ１１１．１１２で加算したか、これにか
きるものではない。例えば、補間信号処理の場合、ある
色温度において、理想的輝度信号を形成する処理もあり
、その場合もサポートするなら、２次元フィルタを３個
並列に処理する必要性かある。

さて、こうして輝度信号Ｙ）ｌ、ＹＬ、色差信号Ｒ−Ｙ
、Ｂ−Ｙに変換された信号は、全く統一された信号処理
で扱われる。輝度信号に関しては、垂直方向処理を１１
１〜１１９でうけた後、１２８で低域成分を抜きとられ
、高域成分の制限をうけ、再び加算器３３４により低域
成分を加えられる。ここで、１３３はディジタルフィル
タ１３２の群遅延に相当する遅れ（ｄｅ　１ａｙ）を創
出するラッチ群であり、１２９は１３２で低下した周波
数特性を補正するためのディジタルバイパスフィルタ、
１３０はノイズを抑圧するためのコアリング回路、１３
１は、アパーチャ補正量を決定する係数器である。

なお、色フィルタ配列の色が、フィールド内で相関のみ
で、Ｒ，Ｇ、Ｈに戻せる場合のセンサに限定するならば
、この実施例におけるフィールドメモリは不要である。

以上のようにして、センサに設けられる色フィルタの配
設にかかられす、色信号分離手段と信号補間手段により
、各色毎の、サンプリングポイントの全てに対応した信
号が得られ、色フィルタ配列により構成を変える必要は
なく、回路模様を特別大きくすることなく、カメラ信号
処理を行うことができる。

次に、汎用の範囲を限定して考えてみると、−般に、色
フィルタとして考えられるものは、Ｗ（白）、Ｙｅ（黄
）、Ｃｙ（シアン）、Ｍｇ（マゼンダ）、Ｙ（輝度）、
Ｒ（赤）、Ｇ（緑）、Ｂ（青）の８種類であるため、前
記第１実施例の構成では、色信号処理には、最大８個の
色分離手段と８個の２次元フィルタを持つ必要があり（
同時に使用される色フィルタ分だけあればよいが）、更
に、輝度用としては前述したとおり、最大２次元フィル
タが３個必要であるから、回路規模がかなり大きくなる
。

一方、ビデオムーヒにおいては輝度信号重視の考え方が
多くあり、かつ、フラッシュをたけない等の理由から感
度か重視される。そのため、色フィルタとしては、Ｗ、
Ｙｅ、Ｃｙ、Ｍｇ等補色フィルタが、はぼそのすべてに
使用されている現状がある。

一方、スチルビデオ等、静止画入力機器や放送用ては、
色再現性の観点から純色フィルタが主に使われる。本発
明は、基本的に、ＲＧＢ処理を基本としているため、純
色フィルタのセンサに限れば、その信号処理系は、非常
に簡易になる。その理由は、ａ　ホワイトバランスを、入力前段でとることができる
。ｂ、入力前段て、γ補正を行えるため、信号処理のダ
イナミックレンジを圧縮して処理できる。Ｃ１色フィル
タの数を限定できるため、ディジタルフィルタ数が減る
。ｄ、ＲｌＧ、Ｂへの変換マドリスクが不要ということ
による。

さて、次に２次元フィルタについても考えてみる。一般
に、色分離後の補間においては、ｍｘｎのマトリクスに
よるディジタルフィルタで可能である。しかし、実際に
は、ｍｘｎを（ｔ　Ｘｍ）＠（ＩＸｎ）（但［有］はコ
ンボリューション）にて、あられされることが多い。つ
まり、垂直処理と水平処理に分離して処理することで、
大幅にその回路規模を減らすことが可能となる。

第５図は、前述の考え方にもとづく本発明の第２実施例
である“汎用・純色フィルタ用ディジタル・カメラ信号
処理装置”のブロック図である。

また第６図は、第５図に対する信号処理においてその代
表的色フィルタ配列と、それに対応するディジタルフィ
ルタ係数を示している。

第６図に示すように、色フィルタ配列、読出し方法にか
かわらず、°各色毎の、サンプリングポイントに対応し
た信号が得られる。

第７図は、本発明を、半導体メモリを記録メディアとし
て使うカートカメラに対して実施した第３実施例である
。撮像素子７００で結像し光電変換された画像データは
、７０１〜７０５の系を経て、ノンインターレスでラン
ダムアクセスメモリ７０７に蓄えられる。ランダムアク
セスメモリ７０７は、アナログ−ディジタル変換器Ａ／
Ｄのサンプルスピードに対してｊ倍の速度で動作するこ
とができ、撮像素子７００の各画素のデータは゛第８図
のようなイメージで蓄えられていることになる。（ここ
で、Ｄ、は０番地を示し、ここでは、Ｇストライブ　フ
レームＲ／Ｂｉｌ順次配列になっている。）８００は、
このメモリをアドレス指定するラッチで、ここで、指定
されたデータかメモリ７０７の出力となる。これに対し
て８０２は、オフセット値を蓄えるメモリ、及び８０３
は、ラインセパレータ７１０やＣ３ＥＰ回路７１５〜７
２１をコントロールするコントロール信号パターンを蓄
えるメモリである。セパレータ７１０は、選択された信
号を保持するセパレータでありセパレータ７１５〜７２
１の類は、外部より１を与えることで、各ラインを選択
し、０を人力すると、そのラインは０になって出力され
る。

今たとえば第８図のようにＧストライプＲ／Ｂ線順次に
なっていたとすれば、各部は、第９図のように働くこと
になる。すなわち、各フィールドの最初に、まず、スタ
ートアドレスＤ。がワークレジスタ８０４に書き込まれ
る。次に指定レジスタ８００に対してＨ−ＲＥＳＥＴ　
（１ラインごとのリセット）が入りアドレスレジスタ８
００はり、になる。アドレス指定レジスタは、次のＣＫ
にサイクルで、オフセット値ＲＡＭの値と加算され再び
戻される。この場合、オフセット値Ｘｍがメモリに入っ
ていれば新アドレス値はＤ（０＋Ｘｍ）となり、Ｄ、を
指すことになり、以下、ＣＫに従い、順にＤ　２ｘｍ　
、Ｄ　Ｉ　＋　　Ｄ　Ｘ１１１４ピ・・・・・どなるこ
とになる。ｊ２１〜ＩＬ３は、これらの信号を再び、３
ラインに分離するためのもので、ラインセパレータ７１
０には、１で選択された信号が１１〜１３に出力され、
次に１になるまで選択された値は保持される。第１０図
は、これをサンプリング周期ごとのＣ５ｅｐ回路におき
かえたものであり、各Ｃ５ｅｐ回路には、サンプリング
クロックに従って２．〜１３へのビットパターンが出力
され、ここで、７２２〜７２８までの２次元フィルタへ
の入力信号が生成される。ここで第７図ディジタルフィ
ルタ７２２を−”−（ｇ　＋　ｇ　）とすることで、フ
ィールドごとの分光感度を補正した信号が出力され、デ
ィジタルフィルタ７２３を（二手）とすることで、ディ
ジタルフィルり７２２で低下した垂直方向の成分が抜き
とられ、その後コアリング７３２でノイズ成分を除去す
るためのコアリングをうけ、係数器７３３で補正量を調
整され、加算器７３４で２次元フィルタ２２の出力と加
算されて、広帯域擬似輝度信号Ｙ□か形成される。７３
１は、補色フィルタで見られる高輝度部の偽色を圧縮す
るための検出信号を発生させるもので、判定のためのレ
ベルは、シスコン７１４を通し、あらかじめ設定される
。一方位信号に関して、この場合Ｃ＋　　（ｆｉｌｊｅ
ｒ＝　７２５　）　＝Ｇｒｅｅｎ、　　　Ｃ２（ｆｉｌ
ｔｅｒ＝７２６）＝Ｒｅｄ。

Ｃ３（ｆｉｌｔａｒ＝７２７）　＝Ｂ　１　ｕｅという
わりあてになる。Ｃ１の入力は、縦３列のＧＯＧＯ信号
であり、こねは（Ｘ　４　Ｘ　）で補間し、Ｃ２は（＋
目）で、Ｃ３は（×ｚχ）で補間することで、Ｃ，、Ｃ
２，Ｃ３の各出力は、ＲＧＢの補間された信号となる。

わ、７４８〜７５０でγ補正をうけた後、Ｙ、　Ｒ−Ｙ
、Ｂ−Ｙマトリクス演算回路７５１では色差信号Ｒ−Ｙ
、Ｂ−Ｙ形成され、それぞわ帯域制限フィルタ７５３，
７６３に入る。７５３，７６３は、水平ディジタルフィ
ルタであり、ここては、帯域制限と同時に、各色のサン
プリング構造からくるキャリア成分に対してトラップか
働くように設定される。

例えば、本実施例てあれば、ＲｌＧ、Ｂの各色フィルタ
はサンプリング周波数に対して１／２にキャリア成分か
あり、ここにトラップ特性を持つフィルタ係数かあらか
しめセットされる。マトリクス演算回路７５１では更に
、輝度信号の低域成分信号（以下ｙｔ、）も生成され、
７３６のγ補正をうけたＹ、信号と一度減算をうけＹ　
Ｈ−Ｙ　Ｌ信号になり、ディジタルフィルタ７４１で帯
域制限をうけた後再び、遅延量をあわせた、ＹＬ倍信号
加算され、さらに７３８〜７４０の処理系でＹＨ信号よ
り高域成分が抜きとられ、７４３で加算され、高域が強
調される。以下、色差信号はサプレス回路７５５で、高
域輝度時、色を消去する処理をうけ、ブランク回路７５
７〜７５９で、輝度信号とともにブランキングをうけ、
　Ｄ−Ａ（ディジタル−アナログ）コンバータ７６０で
アナロク信号に直される。７６１は、同期信号付加のた
めの加算回路であり、７６２は各ＴＶ方式にあわせるた
めのエンコーダである。このシステムの同期クロックは
、周波数シンセサイザ７５２で作られる。７５４は同期
信号を発生させるためのシステムシグナルジェネレータ
である。カメラシステムとしては、この場合Ａは、カメ
ラ記録系、Ｂは、再生糸であり、これまでは再生系を述
べた。記録系は、もっと単純であり、バッファメモリ７
０７からの出力は、圧縮伸長回路７１１で圧縮された後
、カードフォーマット変換回路７１２に入り、ここでカ
ード７１３のフォーマットに変換され、カード７１３に
記録される。この時シスコン７１４より、この圧縮され
た信号とともに、次のような信号も同時に記録される。

画像の大きさｍｘｎ、各フィールドのスタートアドレス
、アドレスオフセット値、各ビットパターン、サイクル
周期１，２及びディジタルフィルタ７２２〜７２８のデ
ジタルフィルタ値、クロマサプレス判定値、コアリング
レベル乗数Ａ１゜Ａ２．Ａ３．Ａ４．更にＲＧＢマドリ
スク演算定数、ディジタルフィルタ７３８，７４１゜７
５３．７６３の各ティジタルフィルタ乗数、周波数シン
セサイザの分周値、更に露出値、日付、メツセージ等か
記録対象となる。

〔発明の効果〕

以上説明したように、本発明によれば、撮像素子の色フ
ィルタ配列にかかわらず、カメラ信号処理のできる、汎
用のディジタル・カメラ信号処理装置を提供することか
できる。

【図面の簡単な説明】

第１図は本発明の第１実施例のブロック図、第２図は従
来例１のブロック図、第３図は従来例２のブロック図、
第４図は第１実施例の説明図、第５図は本発明の第２実
施例のブロック図、第６図は第２実施例の説明図、第７
図は本発明の第３実施例のブロック図、第８図、第９図
、第１０図は第３実施例の説明図である。１０４−−Ａ−Ｄ変換器

Claims

【特許請求の範囲】

（１）撮像素子からの信号をアナログ−ディジタル変換
するＡ−Ｄ変換手段と、該Ａ−Ｄ変換手段の出力信号か
ら各色毎のサンプリングポイントに対応した色信号を分
離する色信号分離手段と、前記各色毎のサンプリングポ
イントに対応した色信号にもとづいて色信号の存在しな
いサンプリングポイントの色信号を補間する色信号補間
手段とを備えたことを特徴とするディジタル・カメラ信
号処理装置。
（２）色信号補間手段が、プログラマブルな２次元フィ
ルタであることを特徴とする請求項１記載のディジタル
・カメラ信号処理装置。
（３）色信号補間手段が、プログラマブルな１次元フィ
ルタの組合せであることを特徴とする請求項１記載のデ
ィジタル・カメラ信号処理装置。
（４）Ａ−Ｄ変換手段の出力信号を書き込み、かつ読み
出した信号を色信号分離手段に供給するメモリを備えた
ことを特徴とする請求項１又は請求項２または請求項３
記載のディジタル・カメラ信号処理装置。