JP3961975B2

JP3961975B2 - Signal processing apparatus and digital camera

Info

Publication number: JP3961975B2
Application number: JP2003078285A
Authority: JP
Inventors: 健吉林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-03-20
Filing date: 2003-03-20
Publication date: 2007-08-22
Anticipated expiration: 2023-03-20
Also published as: JP2004289444A

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理装置及びデジタルカメラに係わり、特に、カラー画像を撮像するために、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた単板構成の撮像素子から読み出された各画素の色信号に所定の処理を施す信号処理装置及びデジタルカメラに関する。
【０００２】
【従来の技術】
近年、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の撮像素子の高解像度化に伴い、デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラの需要が急増している。デジタルカメラでは、高品位の画像を得るために、撮像素子での撮影により得られた画像信号に対して、エッジ強調などの輪郭補正処理や、色味を調整する色補正処理といった各種の補正処理が施される。
【０００３】
一般的なデジタルカメラでは、カラーで被写体を撮像する撮像素子を単板構成とし、撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の何れかのカラーフィルタが所定の配列に従って配置されている。従って、この撮像素子から撮像画像の各画素の信号を読み出すと、Ｒ、Ｇ、Ｂのうちの少なくとも１色の色信号が時系列に間欠的に出力されることになり、このような状態で供給される画像信号を用いて補正処理を行っても高精度に補正することはできない。
【０００４】
このため、デジタルカメラでは、各画素について、間欠した色の信号を周辺の画素の信号により補間して生成する信号処理（以下、「同時化処理」と称す）が行われている（例えば、特許文献１、２参照）。デジタルカメラで採用されるカラーフィルタの配列方式には、ベイヤー配列、ＲＧＢストライプ配列、ハニカム配列など各種の配列方式がある。同時化処理は、カラーフィルタの配列に応じて、各画素で間欠している色の信号を補間するために用いる周辺画素やその重み付け係数といった当該処理で用いるパラメータを定めて、それぞれのデジタルカメラの撮像素子で採用しているカラーフィルタの配列方式に応じて、適切な同時化処理が施されることが必要である。
【０００５】
また、同時化処理を行う場合、同時化処理の前段において、撮像素子から得られた各画素の色信号に対して、撮像素子の色毎の感度差などを補正して感度調整を行う補正処理（上述した高品位の画像を得るための補正処理と区別するために、この補正処理を「前処理」、高品位の画像を得るための補正処理を「後処理」と称す）を施しておく必要がある。
【０００６】
近年、デジタルカメラの低価格化に伴って、異なるカラーフィルタの配列方式、例えばハニカム配列のＣＣＤとベイヤー配列のＣＣＤの両方の色信号処理を１つの処理系（例えばＬＳＩ）で実現し、同一の処理系を、異なるカラーフィルタの配列方式が採用されたデジタルカメラで共通に使用可能にすることが望まれている。
【０００７】
【特許文献１】
特開平１１−１７７９９５号公報
【特許文献２】
特開２０００−１８４３８６号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、カラーフィルタの配列方式によって処理系に入力される画素色順が異なるため、例えばハニカム配列とベイヤー配列とで別々の信号処理回路が必要とされ、処理系の回路規模が増大し、かえってコストが高くなってしまうという問題があった。
【０００９】
本発明は上記問題点を解消するためになされたもので、小さな回路規模で、撮像素子から読み出した信号に対して、複数のカラーフィルタの配列方式に対応して所定の信号処理を行うことができる信号処理装置及びこの信号処理装置を適用可能なデジタルカメラを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の信号処理装置は、カラー画像を撮像するために、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた撮像素子から読み出された撮像画像の各画素の信号に所定の処理を施して前記撮像画像の画像データを得る信号処理装置であって、予め定められた複数の前記カラーフィルタの配列方式の何れか１つを表す選択信号が入力されると共に、該選択信号が表す配列方式に基づいて、前記画素信号による各画素の色を識別するための色識別信号を生成する生成手段と、前記複数の配列方式に共通に設けられ、前記生成手段により生成された色識別信号が示す色に対応する画素信号について、オフセット補正、ゲイン補正、及びガンマ補正の内の少なくとも１つの補正を施す処理を前記所定の処理として行う処理手段と、を有することを特徴としている。
【００１１】
この信号処理装置によれば、生成手段では、複数のカラーフィルタの配列方式のうち、選択信号が表すカラーフィルタの配列方式に対応して、画素信号による各画素の色を識別するための色識別信号が生成される。この色識別信号により、撮像素子から順次読み出される各画素の信号が複数の色のうち何れの色に該当するのかを識別可能になる。
【００１２】
複数の配列方式に共通で設けられた処理手段では、前記所定の処理として、色識別信号が示す色に対応する画素信号について、オフセット補正、ゲイン補正、及びガンマ補正の内の少なくとも１つの補正を施す処理が行われる。この処理は、例えば、色識別信号が示す色毎に処理に用いるパラメータを切換えるなどして行うことができる。
【００１３】
すなわち、撮像素子から各画素の信号を読み出したときに、配列方式によって、読出した信号が該当する色の順番が異なっても、当該撮像素子で採用されている配列方式を表す選択信号を生成手段に入力させれば、当該配列方式に対応した色識別信号を生成することができ、この色識別信号により各画素の信号が該当する色を識別できるので、処理手段が複数の配列方式で共通であっても、適切に処理を行うことができる。
【００１４】
このように信号処理装置では、複数の配列方式で処理手段で共通化しても、各配列方式に対応して所定の信号処理を行うことができ、回路規模を小さくすることができる。
【００１５】
上記の信号処理装置においては、例えば、請求項２に記載されているように、前記処理手段は、前記複数の配列方式に応じて個別に設けられ、各画素について、周辺の画素の信号から自らの画素の各色の画像データを生成する同時化信号処理手段と、前記同時化信号処理手段の前段に備えられ、且つ前記画素信号について、オフセット補正、ゲイン補正、及びガンマ補正の内の少なくとも１つの補正を施す処理を行う前処理手段と、から構成されるようにすることができる。
【００１６】
請求項３に記載のデジタルカメラは、カラー画像を撮像するために、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた単板構成の撮像素子と、請求項１又は請求項２に記載の信号処理装置とを備え、前記撮像素子で撮影して得られた撮像画像の画素信号に対して前記信号処理装置により所定の処理を施して、前記撮像画像を表す画像データを取得することを特徴としている。
【００１７】
このデジタルカメラによれば、上記の信号処理装置を用いて、撮像素子から得られた色信号に対して所定の処理を施して画像データを取得するので、低コスト化を図ることができる。
【００１８】
【発明の実施の形態】
次に、図面を参照して本発明に係る実施形態の１例を詳細に説明する。
【００１９】
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の構成を説明する。同図に示すように、本実施の形態に係るデジタルカメラ１０は、被写体像を結像させるための撮影レンズ１２と、撮影レンズ１２の光軸後方に配設された撮像素子としてのＣＣＤ１４と、ＣＣＤ１４を駆動するＣＣＤ駆動回路１６と、入力されたアナログ信号に対して所定の信号処理を行うアナログ信号処理部１８と、入力されたデジタル信号に対して所定のデジタル信号処理を施す本発明の信号処理装置としてのデジタル信号処理部２０と、各種タイミング信号を生成するタイミングジェネレータ（ＴＧ）２２と、撮影で取得されたデジタル画像信号を記憶するメモリ２４と、デジタルカメラ１０の全体的な動作を司る制御部２６と、カラーフィルタの配列方式を選択する選択手段として用いる切換えスイッチ２８と、を含んで構成されている。
【００２０】
撮影レンズ１２を介してＣＣＤ１４の受光面に結像された被写体像は、各センサで光の入射光量に応じた量の信号電荷に変換される。このようにして蓄積された信号電荷は、ＣＣＤ駆動回路１６から加えられるリードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって信号電荷に応じた電圧信号（アナログ信号）として順次読み出される。尚、このＣＣＤ１４は、蓄積した信号電荷をシャッタゲートパルスによって掃き出すことができ、これにより電荷の蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。
【００２１】
ＣＣＤ１４から順次読み出された電圧信号は、各画素の信号として、アナログ信号処理部１８に入力される。アナログ信号処理部１８では、入力された色信号に対して、所定のアナログ信号処理を施した後、デジタル信号に変換して出力する。なお、ＣＣＤ駆動回路１６、アナログ信号処理部１８は、ＴＧ２２から加えられるタイミング信号によって同期して駆動されるようになっている。
【００２２】
アナログ信号処理部１８から出力された信号（デジタル信号）は、一旦メモリ（図示省略）に格納され、その後、当該メモリに格納された色信号はＣＣＤ１４から読み出した点順次（画素の順番）にデジタル信号処理部２０に入力される。また、このときデジタル信号処理部２０には、アナログ信号処理部１８から画像毎の画像同期信号が入力されるようになっている。
【００２３】
デジタル信号処理部２０は、複数のカラーフィルタの配列方式に共通で使用可能に構成されており、本実施の形態では、一例として、ハニカム配列とベイヤー配列とで共通使用可能に構成されている。すなわち、ＣＣＤ１４には、ハニカム配列のＣＣＤ又はベイヤー配列のＣＣＤを使用可能である。ただし、本発明は、カラーフィルタの配列方式の種類をこれに限定するものではない。
【００２４】
なお、図２は、各画素３０を表す矩形内のＲ／Ｇ／Ｂは対応するカラーフィルタの色、すなわち画素３０の色を表している。
【００２５】
ハニカム配列のＣＣＤ１４の場合、図２（Ａ）に示すように、実画素３０Ａと虚画素３０Ｂとが市松模様を構成するように配列され、実画素について、ある行にはＧのみ、次の行にはＢＲＢＲ…、次の行にはＧのみ、次の行にはＲＢＲＢ…というように各色のカラーフィルタが配置されているかの如く、各画素の信号が読み出される。
【００２６】
ベイヤー配列のＣＣＤ１４の場合、図２（Ｂ）に示すように、実画素３０が二次元配列され、ある行にはＲＧＲＧ…、次の行にはＧＢＧＢ…というように各色のカラーフィルタが配置されているかの如く、各画素の信号が読み出される。
【００２７】
また、デジタル信号処理部２０は、図１に示すように、信号を取り込むＣＣＤインタフェース回路（ＣＣＤＩＦ）５０と、前処理手段として、取り込んだ信号に対して前処理を施すオフセット補正回路５２、ゲイン補正回路５４、及びガンマ補正回路５６と、同時化処理手段として、ハニカム配列に基づいた同時化処理を行う同時化処理回路５８Ａ及びベイヤー配列に基づいた同時化処理を行う同時化処理回路５８Ｂと、色信号に対して後処理を施すための後処理回路６０と、圧縮回路６２とを含んで構成されている。
【００２８】
ＣＣＤＩＦ５０は、画像同期信号に同期して、ＣＣＤ１４から読み出した点順次に各画素の信号の取り込みを開始する。また、ＣＣＤＩＦ５０は、切換えスイッチ２８と接続されており、切換えスイッチ２８から配列方式の選択（ハニカム／ベイヤー）を示す選択信号が入力される。この切換えスイッチ２８によるハニカム／ベイヤーの選択は、本デジタルカメラ１０の組み立て時に、採用するＣＣＤ１４のカラーフィルタの配列方式に従って予め実施されている。
【００２９】
ＣＣＤＩＦ５０は、入力された選択信号に基づいて、ＣＣＤ１４から読み出した点順次に取り込んだ各信号がそれぞれＲＧＢの何れの色の画素から得られたものであるか、すなわちＲＧＢの何れの色の画素の信号であるのかを識別するための色識別信号を生成する。すなわち、ＣＣＤＩＦ５０が生成手段としての機能を担っている。
【００３０】
本実施の形態では、一例として、表１に示すＲＧＢ信号及びＲＧＢＧ信号を色識別信号として生成するようになっている。
【００３１】
【表１】

【００３２】
なお、表１におけるＧ１、Ｇ２とは、ハニカム配列では、左上にＲが隣接したＧ、Ｂが隣接したＧを示し、ベイヤー配列では、水平方向にＲと隣接したＧ、Ｂと隣接したＧを示す。すなわち、ハニカム配列では垂直方向に隣り合うＧ、ベイヤー配列では、斜め方向に隣合うＧが区別されるようになっている。これは、同時化処理回路５８Ａ、５８Ｂで実行される同時化処理において、このようなＧ１、Ｇ２とで異なる補間演算式（すなわちパラメータ）が用いられるためである。
【００３３】
また、ハニカム配列については、実画素／虚画素を識別して虚画素で得られた色信号を無効とするために、さらに表２に示す２ビットのＸＯＳ信号を色識別信号として生成するようになっている。
【００３４】
【表２】

【００３５】
ＣＣＤＩＦ５０は、取り込んだ各画素の信号を色信号として、生成した色識別信号と共に後段のオフセット補正回路５２へ出力する。
【００３６】
オフセット補正回路５２は、黒色の被写体を撮影した場合に黒色が表現されるように、ＣＣＤ１４の出力信号における各色のゼロ値を補正するものである。詳しくは、オフセット補正回路５２では、当該回路での処理に用いるパラメータとして、ＲＧＢの各色毎に予めオフセット値が設定されており、ＣＣＤＩＦ５０から出力された色信号に対して、色識別信号が示す色のオフセットを選択し、選択したオフセット値を減算する。オフセット補正回路５２は、減算後の色信号を色識別信号と共に、後段のゲイン補正回路５４へ出力する。
【００３７】
ゲイン補正回路５４は、白色などの被写体を撮影した場合に白色が表現されるように、ＣＣＤ１４の出力信号における各色の最大値を補正するものである。詳しくは、ゲイン補正回路５４では、当該回路での処理に用いるパラメータとして、ＲＧＢの各色毎に予めゲイン値が設定されており、オフセット補正回路５２から出力された色信号に対して、色識別信号が示す色のゲイン値を選択し、選択したゲイン値を乗算する。ゲイン補正回路５４は、乗算後の色信号を色識別信号と共に、後段のガンマ補正回路５６へ出力する。
【００３８】
ガンマ補正回路５６は、各色の階調を補正するものである。詳しくは、ガンマ補正回路５６では、当該回路での処理に用いるパラメータとして、ＲＧＢの各色毎に予め入出力特性（ガンマカーブ）が設定されており、ゲイン補正回路５４から出力された色信号に対して、色識別信号が示す色の入出力特性（ガンマカーブ）を選択し、当該色信号を入力値として選択した入出力特性に従って変換する。ガンマ補正回路５６は、変換後の色信号を色識別信号と共に、後段の同時化処理回路５８Ａ、５８Ｂに出力する。
【００３９】
同時化処理回路５８Ａ、５８Ｂは、各画素についてＲＧＢの３色揃った色信号が得られるように、それぞれ対応するカラーフィルタの配列方式に対応して、各画素について同時化処理を行なう。同時化処理とは、ＲＧＢの各色信号のうち間欠した色の信号を周辺の画素の色信号により補間して生成する処理である。
【００４０】
例えば、図２（Ａ）において、Ｇ色のカラーフィルタが設けられた画素３０＿１では、Ｇ色の色信号が得られる。したがって、この画素では、Ｇ色については得られた色信号を用いればよいが、他のＢ、Ｒ色については周辺画素（例えばＢ色については画素３０＿２、３０＿３、Ｒ色については画素３０＿４、３０＿５）により補間して色信号を生成する。なお、補間演算については、従来公知の技術と同様でよいため、ここでは詳細な説明は省略する。
【００４１】
なお、本実施の形態では、ハニカム配列とベイヤー配列とでデジタル信号処理部２０を共通に使用可能としたため、ハニカム用の同時化処理回路５８Ａとベイヤー用の同時化処理回路５８Ｂを設けた。すなわち、同時化処理回路５８は、カラーフィルタの配列方式毎に設けられるものであり、ＲＧＢストライプ配列とハニカム配列とでデジタル信号処理部２０を共通に使用可能とする場合には、ＲＧＢストライプ用とハニカム用とで２つの同時化処理回路が設けられることになる。また、ハニカム配列、ベイヤー配列、及びＲＧＢストライプ配列でデジタル信号処理部２０を共通に使用可能とした場合には、ハニカム用、ベイヤー用、及びＲＧＢストライプ用で３つの同時化処理回路が設けられることになる。
【００４２】
このようにカラーフィルタの配列方式毎に同時化処理回路５８を設けるのは、同時化処理に用いる補正演算式（すなわちパラメータ）がカラーフィルタの配列方式によって異なるためである。
【００４３】
また、同時化処理回路５８Ａ、５８Ｂでは、同時化処理により得られた各画素毎のＲＧＢの色信号をＹＣ変換し、輝度信号（Ｙ信号）及び色差信号（Ｙｒ信号及びＹｂ信号）を生成する。同時化処理回路５８Ａ、５８Ｂは、画像信号として、生成した輝度信号及び色差信号を後段の後処理回路６０へ出力する。
【００４４】
後処理回路６０には、切換えスイッチ２８と接続されており、切換えスイッチ２８から配列方式の選択（ハニカム／ベイヤー）を示す選択信号が入力される。後処理回路６０は、入力された選択信号に基づいて、同時化処理回路５８Ａ、５８Ｂの何れか一方から出力された画像信号を選択して取り込む。すなわち、入力された選択信号がハニカム配列の選択を示すものであれば、同時化処理回路５８Ａから出力された画像信号を取り込み、入力された選択信号がベイヤー配列の選択を示すものであれば、同時化処理回路５８Ｂから出力された画像信号を取り込む。
【００４５】
なお、後処理回路６０で選択信号に基づいて同時化処理回路５８Ａ、５８Ｂのうち何れか一方の出力信号を選択する代わりに、選択信号に基づいて、同時化処理回路５８Ａ、５８Ｂのうち何れか一方のみが動作するようにしてもよい。例えば、選択信号がハニカム配列を示すものであれば、同時化処理回路５８Ｂへの電源供給をＯＦＦし、同時化処理回路５８Ａにのみに電源供給し、選択信号がベイヤー配列を示すものであれば、同時化処理回路５８Ａへの電源供給をＯＦＦし、同時化処理回路５８Ｂにのみに電源供給するようなスイッチを設けてもよい。
【００４６】
後処理回路６０は、取り込んだ画像信号に対して、当該信号が表す画像のエッジを強調したり、撮影環境などに応じて色補正したりするための所定の補正処理を施して、圧縮回路６２へ出力する。
【００４７】
圧縮回路６２では、ユーザによって不図示のレリーズボタン（所謂、シャッター）が押圧操作された際に、後処理回路６０から出力された画像信号を記録用の画像信号として取り込み、取り込んだ画像信号をＪＰＥＧなど所定の圧縮方式で圧縮する。圧縮された画像信号は、不図示のメモリインタフェース回路を介してメモリ２４に書き込まれる。
【００４８】
なお、後処理回路６０から出力された各種補正処理後の信号は、デジタルカメラ１０のファインダとして機能する不図示の液晶ディスプレイや電子ビューファインダへの表示用にも用いられる。
【００４９】
制御部２６は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、上記各部の動作を制御するために、各部に対して適宜制御信号を送出する。特に、本発明に関するものとして、制御部２６は、オフセット補正回路５２、ゲイン補正回路５４、及びガンマ補正回路５６へ、それぞれの処理で用いる各色毎のパラメータ（オフセット値、ゲイン値、入出力特性（ガンマカーブ））を示す信号を送出する。すなわち、制御部２６により、オフセット補正回路５２、ゲイン補正回路５４、及びガンマ補正回路５６で実行される前処理で用いるパラメータが設定される。なお、このパラメータは、制御部２６の不図示のメモリに予め記憶していてもよいし、制御部２６により演算により生成してもよい。
【００５０】
なお、上記では、切換えスイッチ２８から、ハニカム／ベイヤーの選択結果を示す信号がデジタル信号処理部２０に入力されるように構成したが、本発明はこれに限定されるものではない。例えば、切換えスイッチ２８をデジタル信号処理部２０に内蔵させてもよいし、切換えスイッチ２８からの選択結果を示す信号が、制御部２６を介して、デジタル信号処理部２０に入力されるようにしてもよい。また、切換えスイッチ２８を省略し、制御部２６の不図示のメモリに、当該デジタルカメラ１０の組み立て製造時に、ハニカム配列であるかベイヤー配列であるかを示す情報を記憶させ、制御部２６がこのメモリの記憶情報に従って、選択信号を生成して、デジタル信号処理部２０に供給するようにしてもよい。
【００５１】
次に、本実施の形態の作用を説明する。
【００５２】
本実施形態に係るデジタルカメラ１０は、ユーザによって、不図示のレリーズボタン（所謂、シャッター）が押圧操作されると、ＣＣＤ１４から各画素の信号が順次に読み出され、読み出された各信号は、アナログ信号処理部１８で所定のアナログ信号処理が施されてデジタル信号に変換される。このデジタル信号は、ＣＣＤ１４から読み出した点順次にデジタル信号処理部２０に入力され、デジタル信号処理部２０により、前処理、同時化処理、後処理が施される。これにより、撮像画像を表す画像データを生成される。生成された画像データは圧縮されて、メモリ２４に記憶される。
【００５３】
次に、図３乃至図５を参照して、デジタル信号処理部２０の動作を詳細に説明する。なお、デジタル信号処理部２０では、制御部２６からの信号に従って、前処理に用いるパラメータ、すなわちオフセット補正回路５２ではオフセット値、ゲイン補正回路５４ではゲイン値、及びガンマ補正回路５６では入出力特性（ガンマカーブ）が各色毎に設定されている。また、デジタル信号処理部２０には、切換えスイッチ２８から本デジタルカメラ１０で採用しているＣＣＤ１４のカラーフィルタの配列方式（ハニカム／ベイヤー）を示す信号が入力されている。
【００５４】
図３はデジタル信号処理部２０の動作を示すフローチャートを示している。また、図４、図５はＣＣＤのカラーフィルタの配列方式がハニカム配列の場合、ベイヤー配列の場合のデジタル信号処理部２０における各種信号のタイミングチャートをそれぞれ示している。
【００５５】
デジタル信号処理部２０では、アナログ信号処理部１８からの画像同期信号ＥＮが入力されると図３に示す動作を開始する。デジタル信号処理部２０は、画像同期信号ＥＮが入力されると、図３に示すように、まずステップＳＴ１において、ＣＣＤＩＦ５０により、切換えスイッチ２８から入力されている選択信号に基づいて、本デジタルカメラ１０で採用しているＣＣＤ１４のカラーフィルタの配列方式を選択信号に従って判別し、ハニカム配列であればステップＳＴ２、ベイヤー配列であればステップＳＴ３に進む。
【００５６】
ステップＳＴ２ではハニカム配列に応じて、ステップＳＴ３では、ベイヤー配列に応じて、ＣＣＤ１４から読み出された点順次の信号の画素の色を識別する色識別信号を画像同期信号ＥＮに同期して生成する。
【００５７】
また、ステップＳＴ２又はＳＴ３における色識別信号の生成と共に、ＣＣＤＩＦ５０では、ステップＳＴ４において、画像同期信号ＥＮに同期して、ＣＣＤ１４から読み出された点順次にアナログ信号処理部１８で処理された信号の取り込みを開始する。
【００５８】
詳しくは、図４に示すように、選択信号がハニカム配列を示す場合（同図ではＨレベル）、画像同期信号ＥＮの立下りに同期して、デジタル信号処理部２０には、ＣＣＤ１４から読み出した順に各画素の信号が色信号として入力される。具体的には、ハニカム配列の場合、ある行の信号として、同図に示されているように、所定のクロックＣＬＫに従って、ＲＸＢＸＲＸＢＸ・・・の順に各色の画素の信号が入力されることになる。なお、Ｘは虚画素を示す。
【００５９】
これと同時に所定のクロックＣＬＫに従って、色識別信号が順次生成され、具体的には、ＲＧＢ信号は１１１１１１１１・・・、ＲＧＢＧ信号は１１００１１００・・・、ＸＯＳ信号は１０１０１０１０・・・という２ビット信号が生成される。すなわち、点順次に入力された１画素目の色信号についての色識別信号（ＲＧＢ、ＲＧＢＧ、ＸＯＳ）＝（１、１、１）となり、この色識別信号から、表１、２に示したように、Ｒ色で且つ有効な画素（実画素）で得られた色信号であることが分かる。また２画素目の色信号についての色識別信号は、（ＲＧＢ、ＲＧＢＧ、ＸＯＳ）＝（１、１、０）となり、この色識別信号から、ＲＧＢ、ＲＧＢＧ信号はＲ色を示しているが、ＸＯＳ信号から無効な画素、すなわち虚画素の色信号であることが分かる。このように色識別信号（ＲＧＢ、ＲＧＢＧ、ＸＯＳ）により、各色信号が表す色及び有効／無効が判別可能である。
【００６０】
一方、図５に示すように、選択信号がベイヤー配列を示す場合（同図ではＬレベル）、画像同期信号ＥＮの立下りに同期して、デジタル信号処理部２０には、ＣＣＤ１４から読み出した順に各画素の信号が色信号として入力される。具体的には、ベイヤー配列の場合、ある行について、同図に示されているように、所定のクロックＣＬＫに従って、ＲＧＲＧＲＧＲＧ・・・の順に色信号が入力されることになる。
【００６１】
これと同時に所定のクロックＣＬＫに従って、色識別信号が順次生成され、具体的には、ＲＧＢ信号は１０１０１０１０・・・、ＲＧＢＧ信号は１１００１１００・・・という２ビット信号が生成される。すなわち、点順次に入力された１画素目の色信号についての色識別信号（ＲＧＢ、ＲＧＢＧ）＝（１、１）となり、この色識別信号から、表１に示したように、Ｒ色の画素で得られた色信号であることが分かる。また２画素目の色信号についての色識別信号は、（ＲＧＢ、ＲＧＢＧ）＝（０、１）となり、この色識別信号から、Ｒの画素と隣り合うＢ色の画素から得られた色信号であることが分かる。
【００６２】
そして、次のステップＳＴ５では、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６のそれぞれにおいて、色識別信号として入力されたＲＧＢ信号及びＲＧＢＧ信号が示す色に基づいて、パラメータを選択する。そして次のステップＳＴ６で、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６により、選択したパラメータを用いて、オフセット補正、ゲイン補正、ガンマ補正といった前処理をそれぞれ施す。なお、ここでは、色識別信号に含まれるＸＯＳ信号については無視され、実画素／虚画素に係わらず、同一の処理がなされる。
【００６３】
例えば、対応する色識別信号が（ＲＧＢ、ＲＧＢＧ）＝（１、１）とＲ色を表している色信号の場合は、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６において、Ｒ色に対応して設定されているパラメータが選択されて、オフセット補正、ゲイン補正、ガンマ補正が実行される。
【００６４】
このように前処理過程では、色識別信号に基づいて処理対象の色信号の色を判別し、ＲＧＢの各色毎に予め用意されたパラメータの中から、判別した色のパラメータを選択することで、各色毎に適切な前処理を行うことができる。
【００６５】
このようにして前処理が施された色信号は、同時化処理回路５８Ａ、５８Ｂの両者に入力され、次のステップＳＴ７においては、色識別信号が示す色の補間演算式に従って、それぞれでハニカム配列、ベイヤー配列に適した同時化処理がなされると共にＹＣ変換処理して輝度信号及び色差信号に変換される。なお、同時化処理回路５８Ａでは、対応する色識別信号に含まれるＸＯＳ信号が０の色信号については、無効な信号であるとして、同時化処理には用いないようになっている。
【００６６】
次のステップＳＴ８では、後処理回路６０により、切換えスイッチ２８から入力されている選択信号に基づいて、本デジタルカメラ１０で採用しているＣＣＤ１４のカラーフィルタの配列方式を選択信号に従って判別し、ハニカム配列であればステップＳＴ９、ベイヤー配列であればステップＳＴ１０に進む。
【００６７】
そして、後処理回路６０により、ステップＳＴ９では同時化処理回路５８Ａの出力信号（輝度信号、色差信号）、ステップＳＴ１０では同時化処理回路５８Ｂの出力信号を選択し、当該選択した出力信号に対して、後処理として、エッジ強調や色補正といった所定のデジタル信号処理を施す。
【００６８】
この後処理回路６０による処理後の信号（輝度信号、色差信号）は、撮像画像を表すデジタル画像データとして、圧縮回路６２に入力され、最後にステップＳＴ１１で、ＪＰＥＧ方式などで圧縮した後、メモリ２４に記憶させて、図３の動作は終了する。
【００６９】
このように、本実施の形態では、ＣＣＤ１４から読み出された各画素の信号について、ＣＣＤＩＦ５０において、当該ＣＣＤのカラーフィルタの配列方式に従って各画素の信号の色（Ｒ／Ｇ／Ｂ）を識別するための色識別信号を生成し、この色識別信号に基づいて点順次の各色信号が該当する画素の色を識別して、前処理、同時化処理を行うようにした。
【００７０】
これにより、デジタル信号処理部２０では、配列方式毎に、前処理、同時化処理、後処理を行う処理系を設けずとも、ハニカム配列とベイヤー配列の２つの配列方式に対応してデジタル信号処理を行うことができ回路規模の増大を抑えることができる。また、特に、オフセット補正回路５２、ゲイン補正回路５４、ガンマ補正回路５６といったカラーフィルタの配列方式によらずに同一の前処理を行うための回路については、色識別信号が示す色毎に処理に用いるパラメータを切換えるようにしたことで、カラーフィルタの配列方式によらずに共通化することができ、回路規模の増大を防止する効果がある。
【００７１】
【発明の効果】
上記に示したように、本発明は、小さな回路規模で、撮像素子から読み出した信号に対して、複数のカラーフィルタの配列方式に対応して所定の信号処理を行うことができるという優れた効果を有する。
【図面の簡単な説明】
【図１】本実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】（Ａ）はハニカム配列、（Ｂ）はベイヤー配列を示す図である。
【図３】デジタル信号処理部の動作を示すフローチャートである。
【図４】ＣＣＤのカラーフィルタの配列方式がハニカム配列の場合のデジタル信号処理部における各種信号のタイミングチャートである。
【図５】ＣＣＤのカラーフィルタの配列方式がベイヤー配列の場合のデジタル信号処理部における各種信号のタイミングチャートである。
【符号の説明】
１０デジタルカメラ
１２撮影レンズ
１４ＣＣＤ
１８アナログ信号処理部
２０デジタル信号処理部
２６制御部
２８切換えスイッチ
３０画素
３０Ａ実画素
３０Ｂ虚画素
５２オフセット補正回路
５４ゲイン補正回路
５６ガンマ補正回路
５８Ａ、５８Ｂ同時化処理回路
６０後処理回路
６２圧縮回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a signal processing device and a digital camera, and in particular, for picking up a color image, an image pickup device having a single plate configuration provided for pixels so that a plurality of color filters are arranged in a predetermined arrangement. The present invention relates to a signal processing apparatus and a digital camera that perform predetermined processing on the color signal of each pixel read out from.
[0002]
[Prior art]
In recent years, the demand for digital cameras such as digital still cameras and digital video cameras has been increasing rapidly as the resolution of imaging devices such as CCD (Charge Coupled Device) and CMOS (Complementary Metal Oxide Semiconductor) image sensors has increased. In digital cameras, in order to obtain high-quality images, various correction processes, such as edge correction and edge correction, and color correction to adjust color, are performed on image signals obtained by imaging with an image sensor. Is given.
[0003]
In a general digital camera, an image pickup device that picks up an image of a subject with a color has a single plate configuration, and each pixel of the image pickup device has a color filter of R (red), G (green), or B (blue). They are arranged according to a predetermined arrangement. Therefore, when the signal of each pixel of the captured image is read from this image sensor, the color signal of at least one of R, G, and B is intermittently output in time series, and in this state Even if correction processing is performed using the supplied image signal, it cannot be corrected with high accuracy.
[0004]
For this reason, in a digital camera, signal processing (hereinafter referred to as “synchronization processing”) is performed for each pixel by interpolating intermittent color signals with peripheral pixel signals (hereinafter, referred to as “synchronization processing”). References 1 and 2). There are various color filter arrangement methods employed in digital cameras, such as Bayer arrangement, RGB stripe arrangement, and honeycomb arrangement. In the synchronization processing, parameters used in the processing such as peripheral pixels used for interpolating intermittent color signals in each pixel and weighting coefficients thereof are determined according to the arrangement of the color filters, and each digital camera It is necessary to perform an appropriate synchronization process according to the arrangement method of the color filters employed in the image sensor.
[0005]
In addition, when performing the synchronization process, a correction process for adjusting sensitivity by correcting a sensitivity difference for each color of the image sensor with respect to the color signal of each pixel obtained from the image sensor in the previous stage of the synchronization process. (In order to distinguish from the above-described correction processing for obtaining a high-quality image, this correction processing is referred to as “pre-processing”, and the correction processing for obtaining a high-quality image is referred to as “post-processing”). There is a need.
[0006]
In recent years, with the price reduction of digital cameras, different color filter arrangement methods, for example, color signal processing for both honeycomb array CCDs and Bayer array CCDs have been realized in one processing system (for example, LSI). It is desired that the processing system can be commonly used in digital cameras that employ different color filter arrangement methods.
[0007]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-177995
[Patent Document 2]
JP 2000-184386 A
[0008]
[Problems to be solved by the invention]
However, since the order of the pixel colors input to the processing system differs depending on the color filter array method, for example, separate signal processing circuits are required for the honeycomb array and the Bayer array, which increases the circuit scale of the processing system, which is rather costly. There was a problem that would become high.
[0009]
The present invention has been made to solve the above problems, and can perform predetermined signal processing on a signal read from an image sensor with a small circuit scale corresponding to the arrangement method of a plurality of color filters. An object of the present invention is to provide a signal processing device that can be used and a digital camera to which the signal processing device can be applied.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, the signal processing device according to claim 1 is an image sensor provided for pixels so that a plurality of color filters are arranged in a predetermined arrangement in order to capture a color image. A signal processing apparatus that obtains image data of the captured image by performing a predetermined process on a signal of each pixel of the captured image read out from any one of a plurality of predetermined color filter arrangement methods Generating means for generating a color identification signal for identifying the color of each pixel based on the pixel signal based on the arrangement method represented by the selection signal, and the plurality of arrangement methods To the pixel signal corresponding to the color indicated by the color identification signal generated by the generating means. About at least one of offset correction, gain correction, and gamma correction And processing means for performing the processing to be performed as the predetermined processing.
[0011]
According to this signal processing device, the generation means corresponds to the color filter arrangement method represented by the selection signal among the plurality of color filter arrangement methods, and the color identification for identifying the color of each pixel by the pixel signal A signal is generated. With this color identification signal, it becomes possible to identify which of the plurality of colors corresponds to the signal of each pixel sequentially read from the image sensor.
[0012]
In the processing means provided in common for the plurality of arrangement methods, the pixel signal corresponding to the color indicated by the color identification signal is used as the predetermined processing. About at least one of offset correction, gain correction, and gamma correction Processing to apply But Done. This processing can be performed, for example, by switching parameters used for processing for each color indicated by the color identification signal.
[0013]
That is, when a signal of each pixel is read out from the image sensor, a selection signal that represents the array method employed in the image sensor is generated even if the order of the corresponding colors of the read signals differs depending on the array method. Since the color identification signal corresponding to the arrangement method can be generated and the color corresponding to the signal of each pixel can be identified by this color identification signal, the processing means is common to the plurality of arrangement methods. Even if it exists, it can process appropriately.
[0014]
Thus, in the signal processing apparatus, even if the processing means is shared by a plurality of arrangement methods, predetermined signal processing can be performed corresponding to each arrangement method, and the circuit scale can be reduced.
[0015]
In the above signal processing device, for example, as described in claim 2, the processing means includes: Provided individually according to the plurality of arrangement methods, For each pixel, a synchronization signal processing means for generating image data of each color of its own pixel from a signal of a surrounding pixel, and a stage preceding the synchronization signal processing means, and the pixel signal At least one of offset correction, gain correction, and gamma correction Supplement Positive Apply Process And pre-processing means.
[0016]
According to a third aspect of the present invention, there is provided a digital camera having a single-plate configuration in which a plurality of color filters are provided for pixels so as to form a predetermined arrangement in order to capture a color image. Alternatively, the signal processing device according to claim 2, an image representing the captured image by performing predetermined processing on the pixel signal of the captured image obtained by capturing with the image sensor by the signal processing device. It is characterized by acquiring data.
[0017]
According to this digital camera, since the image signal is obtained by performing predetermined processing on the color signal obtained from the image sensor using the above-described signal processing device, the cost can be reduced.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Next, an example of an embodiment according to the present invention will be described in detail with reference to the drawings.
[0019]
First, the configuration of the digital camera 10 according to the present embodiment will be described with reference to FIG. As shown in the figure, the digital camera 10 according to the present embodiment includes a photographing lens 12 for forming a subject image, a CCD 14 as an image pickup device disposed behind the optical axis of the photographing lens 12, A CCD driving circuit 16 for driving the CCD 14, an analog signal processing unit 18 for performing predetermined signal processing on the input analog signal, and a signal of the present invention for performing predetermined digital signal processing on the input digital signal The digital signal processing unit 20 as a processing device, a timing generator (TG) 22 that generates various timing signals, a memory 24 that stores digital image signals acquired by photographing, and the overall operation of the digital camera 10. It includes a control unit 26 and a changeover switch 28 used as a selection means for selecting a color filter arrangement method. That.
[0020]
The subject image formed on the light receiving surface of the CCD 14 via the photographing lens 12 is converted into a signal charge in an amount corresponding to the amount of incident light by each sensor. The signal charges accumulated in this way are read out to the shift register by a read gate pulse applied from the CCD drive circuit 16, and sequentially read out as a voltage signal (analog signal) corresponding to the signal charge by a register transfer pulse. The CCD 14 has a so-called electronic shutter function that can sweep out the accumulated signal charge by a shutter gate pulse and thereby control the charge accumulation time (shutter speed).
[0021]
The voltage signal sequentially read from the CCD 14 is input to the analog signal processing unit 18 as a signal of each pixel. The analog signal processing unit 18 performs predetermined analog signal processing on the input color signal, converts it to a digital signal, and outputs it. The CCD drive circuit 16 and the analog signal processing unit 18 are driven in synchronization with a timing signal applied from the TG 22.
[0022]
The signal (digital signal) output from the analog signal processing unit 18 is temporarily stored in a memory (not shown), and then the color signal stored in the memory is digitally converted in a dot-sequential order (pixel order) read from the CCD 14. The signal is input to the signal processing unit 20. At this time, an image synchronization signal for each image is input to the digital signal processing unit 20 from the analog signal processing unit 18.
[0023]
The digital signal processing unit 20 is configured to be commonly used for an arrangement method of a plurality of color filters. In the present embodiment, as an example, the digital signal processing unit 20 is configured to be commonly used for a honeycomb array and a Bayer array. That is, as the CCD 14, a honeycomb array CCD or a Bayer array CCD can be used. However, the present invention is not limited to this type of color filter arrangement method.
[0024]
In FIG. 2, R / G / B in the rectangle representing each pixel 30 represents the color of the corresponding color filter, that is, the color of the pixel 30.
[0025]
In the case of the CCD 14 having the honeycomb arrangement, as shown in FIG. 2A, the real pixels 30A and the imaginary pixels 30B are arranged so as to form a checkered pattern. The signal of each pixel is read out as if the color filters of each color were arranged such as BRBR..., Only G in the next row, and RBRB.
[0026]
In the case of the CCD 14 of the Bayer array, as shown in FIG. 2B, the actual pixels 30 are two-dimensionally arrayed, and color filters of respective colors are arranged such that RGRG... In one row and GBGB. As if, the signal of each pixel is read out.
[0027]
Further, as shown in FIG. 1, the digital signal processing unit 20 includes a CCD interface circuit (CCDIF) 50 that captures a signal, an offset correction circuit 52 that performs preprocessing on the captured signal, and gain correction as preprocessing means. A circuit 54, a gamma correction circuit 56, a synchronization processing circuit 58A that performs synchronization processing based on a honeycomb array, a synchronization processing circuit 58B that performs synchronization processing based on a Bayer array, A post-processing circuit 60 for performing post-processing on the signal and a compression circuit 62 are included.
[0028]
The CCDIF 50 starts taking in the signals of the respective pixels in dot-sequential order read from the CCD 14 in synchronization with the image synchronization signal. The CCDIF 50 is connected to the changeover switch 28, and a selection signal indicating selection of the arrangement method (honeycomb / Bayer) is input from the changeover switch 28. The selection of the honeycomb / Bayer by the changeover switch 28 is performed in advance according to the color filter arrangement method of the CCD 14 employed when the digital camera 10 is assembled.
[0029]
Based on the input selection signal, the CCDIF 50 is obtained from each color pixel of RGB in which each of the signals sequentially read out from the CCD 14 is obtained, that is, from which color pixel of RGB. A color identification signal for identifying whether the signal is a signal is generated. That is, the CCDIF 50 functions as a generation unit.
[0030]
In this embodiment, as an example, the RGB signals and RGBG signals shown in Table 1 are generated as color identification signals.
[0031]
[Table 1]

[0032]
In Table 1, G1 and G2 indicate G adjacent to R and G adjacent to B in the upper left in the honeycomb arrangement, and G adjacent to R and G adjacent to R in the horizontal direction in the Bayer arrangement. Show. That is, the adjacent G in the vertical direction is distinguished in the honeycomb arrangement, and the adjacent G in the oblique direction is distinguished in the Bayer arrangement. This is because different interpolation calculation formulas (that is, parameters) are used for G1 and G2 in the synchronization processing executed by the synchronization processing circuits 58A and 58B.
[0033]
Further, for the honeycomb arrangement, in order to identify the real pixel / imaginary pixel and invalidate the color signal obtained from the imaginary pixel, the 2-bit XOS signal shown in Table 2 is further generated as the color identification signal. It has become.
[0034]
[Table 2]

[0035]
The CCDIF 50 outputs the captured signal of each pixel as a color signal to the offset correction circuit 52 in the subsequent stage together with the generated color identification signal.
[0036]
The offset correction circuit 52 corrects the zero value of each color in the output signal of the CCD 14 so that black is expressed when a black subject is photographed. Specifically, in the offset correction circuit 52, an offset value is set in advance for each color of RGB as a parameter used for processing in the circuit, and the color indicated by the color identification signal with respect to the color signal output from the CCDIF 50 Select the offset and subtract the selected offset value. The offset correction circuit 52 outputs the color signal after subtraction to the subsequent gain correction circuit 54 together with the color identification signal.
[0037]
The gain correction circuit 54 corrects the maximum value of each color in the output signal of the CCD 14 so that white is expressed when a subject such as white is photographed. Specifically, in the gain correction circuit 54, a gain value is set in advance for each color of RGB as a parameter used for processing in the circuit, and a color identification signal is output for the color signal output from the offset correction circuit 52. Is selected and multiplied by the selected gain value. The gain correction circuit 54 outputs the multiplied color signal together with the color identification signal to the subsequent gamma correction circuit 56.
[0038]
The gamma correction circuit 56 corrects the gradation of each color. Specifically, in the gamma correction circuit 56, input / output characteristics (gamma curves) are set in advance for each color of RGB as parameters used for processing in the circuit, and for the color signal output from the gain correction circuit 54, Thus, the input / output characteristic (gamma curve) of the color indicated by the color identification signal is selected, and the color signal is converted according to the selected input / output characteristic as an input value. The gamma correction circuit 56 outputs the converted color signal together with the color identification signal to the subsequent synchronization processing circuits 58A and 58B.
[0039]
The synchronization processing circuits 58A and 58B perform the synchronization processing for each pixel in accordance with the corresponding color filter arrangement method so that color signals of three colors RGB can be obtained for each pixel. The synchronization processing is processing for generating an intermittent color signal among RGB color signals by interpolating with color signals of peripheral pixels.
[0040]
For example, in FIG. 2A, a G color signal is obtained in the pixel 30_1 provided with the G color filter. Therefore, in this pixel, the obtained color signal may be used for the G color, but other pixels for the B and R colors (for example, the pixels 30_2 and 30_3 for the B color and the pixels 30_4 and 30_5 for the R color). ) To generate a color signal. Since the interpolation calculation may be the same as that of a conventionally known technique, detailed description thereof is omitted here.
[0041]
In the present embodiment, since the digital signal processing unit 20 can be commonly used in the honeycomb arrangement and the Bayer arrangement, the honeycomb synchronization processing circuit 58A and the Bayer synchronization processing circuit 58B are provided. That is, the synchronization processing circuit 58 is provided for each color filter arrangement method, and when the digital signal processing unit 20 can be commonly used for the RGB stripe arrangement and the honeycomb arrangement, Two simultaneous processing circuits are provided for the honeycomb. In addition, when the digital signal processing unit 20 can be commonly used in the honeycomb arrangement, the Bayer arrangement, and the RGB stripe arrangement, three synchronization processing circuits are provided for the honeycomb, the Bayer, and the RGB stripe. become.
[0042]
The reason why the synchronization processing circuit 58 is provided for each color filter arrangement method in this way is that the correction arithmetic expression (that is, the parameter) used for the synchronization processing differs depending on the color filter arrangement method.
[0043]
Further, the synchronization processing circuits 58A and 58B perform YC conversion on the RGB color signal for each pixel obtained by the synchronization processing, and generate a luminance signal (Y signal) and a color difference signal (Yr signal and Yb signal). . The synchronization processing circuits 58A and 58B output the generated luminance signal and color difference signal as image signals to the post-processing circuit 60 at the subsequent stage.
[0044]
The post-processing circuit 60 is connected to the changeover switch 28, and receives a selection signal indicating selection of the arrangement method (honeycomb / Bayer) from the changeover switch 28. The post-processing circuit 60 selects and captures the image signal output from one of the synchronization processing circuits 58A and 58B based on the input selection signal. That is, if the input selection signal indicates selection of the honeycomb arrangement, the image signal output from the synchronization processing circuit 58A is captured, and if the input selection signal indicates selection of the Bayer arrangement, The image signal output from the synchronization processing circuit 58B is captured.
[0045]
Instead of selecting one of the output signals of the synchronization processing circuits 58A and 58B based on the selection signal in the post-processing circuit 60, either of the synchronization processing circuits 58A or 58B is selected based on the selection signal. Only one of them may operate. For example, if the selection signal indicates a honeycomb arrangement, the power supply to the synchronization processing circuit 58B is turned OFF, the power supply is supplied only to the synchronization processing circuit 58A, and the selection signal indicates a Bayer arrangement. Alternatively, a switch may be provided that turns off the power supply to the synchronization processing circuit 58A and supplies power only to the synchronization processing circuit 58B.
[0046]
The post-processing circuit 60 performs a predetermined correction process on the captured image signal to enhance the edge of the image represented by the signal, or to perform color correction according to the shooting environment, and the like. Output to.
[0047]
In the compression circuit 62, when a release button (so-called shutter) (not shown) is pressed by the user, the image signal output from the post-processing circuit 60 is captured as an image signal for recording, and the captured image signal is converted into JPEG. Compress with a predetermined compression method. The compressed image signal is written into the memory 24 via a memory interface circuit (not shown).
[0048]
The signals after various correction processes output from the post-processing circuit 60 are also used for display on a liquid crystal display (not shown) that functions as a finder of the digital camera 10 or an electronic view finder.
[0049]
The control unit 26 includes a CPU, a RAM, a ROM, and the like, and appropriately sends control signals to each unit in order to control the operation of each unit. In particular, as relating to the present invention, the control unit 26 sends the parameters (offset value, gain value, input / output characteristics (for each color) used in each process to the offset correction circuit 52, the gain correction circuit 54, and the gamma correction circuit 56. A signal indicating a gamma curve)) is transmitted. That is, the control unit 26 sets parameters used in the preprocessing executed by the offset correction circuit 52, the gain correction circuit 54, and the gamma correction circuit 56. This parameter may be stored in advance in a memory (not shown) of the control unit 26, or may be generated by calculation by the control unit 26.
[0050]
In the above description, the signal indicating the honeycomb / Bayer selection result is input to the digital signal processing unit 20 from the changeover switch 28. However, the present invention is not limited to this. For example, the changeover switch 28 may be incorporated in the digital signal processing unit 20, or a signal indicating the selection result from the changeover switch 28 may be input to the digital signal processing unit 20 via the control unit 26. Also good. Further, the changeover switch 28 is omitted, and information indicating whether the arrangement is a honeycomb arrangement or a Bayer arrangement is stored in a memory (not shown) of the control unit 26 when the digital camera 10 is assembled and manufactured. A selection signal may be generated according to the storage information in the memory and supplied to the digital signal processing unit 20.
[0051]
Next, the operation of the present embodiment will be described.
[0052]
In the digital camera 10 according to this embodiment, when a release button (a so-called shutter) (not shown) is pressed by a user, signals of each pixel are sequentially read from the CCD 14, and the read signals are The analog signal processing unit 18 performs predetermined analog signal processing and converts it into a digital signal. The digital signals are input to the digital signal processing unit 20 in a dot-sequential order read from the CCD 14, and preprocessing, synchronization processing, and postprocessing are performed by the digital signal processing unit 20. Thereby, image data representing the captured image is generated. The generated image data is compressed and stored in the memory 24.
[0053]
Next, the operation of the digital signal processing unit 20 will be described in detail with reference to FIGS. In the digital signal processing unit 20, parameters used for preprocessing, that is, an offset value in the offset correction circuit 52, a gain value in the gain correction circuit 54, and input / output characteristics (in the gamma correction circuit 56) according to the signal from the control unit 26. A gamma curve is set for each color. In addition, a signal indicating the color filter arrangement method (honeycomb / Bayer) of the CCD 14 employed in the digital camera 10 is input from the changeover switch 28 to the digital signal processing unit 20.
[0054]
FIG. 3 is a flowchart showing the operation of the digital signal processing unit 20. 4 and 5 show timing charts of various signals in the digital signal processing unit 20 when the CCD color filter arrangement method is a honeycomb arrangement and a Bayer arrangement.
[0055]
The digital signal processing unit 20 starts the operation shown in FIG. 3 when the image synchronization signal EN from the analog signal processing unit 18 is input. When the image synchronization signal EN is input, the digital signal processing unit 20 first, as shown in FIG. 3, in step ST1, based on the selection signal input from the changeover switch 28 by the CCDIF 50, the digital camera 10 The arrangement method of the color filter of the CCD 14 employed in the above is discriminated in accordance with the selection signal.
[0056]
In step ST2, in accordance with the honeycomb arrangement, in step ST3, in accordance with the Bayer arrangement, a color identification signal for identifying the pixel color of the dot sequential signal read from the CCD 14 is generated in synchronization with the image synchronization signal EN. .
[0057]
In addition to the generation of the color identification signal in step ST2 or ST3, in the CCDIF 50, in step ST4, in synchronization with the image synchronization signal EN, the signal processed by the analog signal processing unit 18 in a dot-sequential manner read from the CCD 14 is output. Start importing.
[0058]
Specifically, as shown in FIG. 4, when the selection signal indicates a honeycomb arrangement (H level in the figure), the digital signal processing unit 20 reads out from the CCD 14 in synchronization with the falling edge of the image synchronization signal EN. The signal of each pixel is sequentially input as a color signal. Specifically, in the case of the honeycomb arrangement, as shown in the figure, the signals of the pixels of the respective colors are input in the order of RXBXRXBX... According to a predetermined clock CLK as shown in FIG. . X represents an imaginary pixel.
[0059]
At the same time, color identification signals are sequentially generated according to a predetermined clock CLK. Specifically, RGB signals are 11111111..., RGBG signals are 11001100..., XOS signals are 10101010. Generated. That is, the color identification signal (RGB, RGBG, XOS) = (1, 1, 1) for the color signal of the first pixel inputted in dot order is as shown in Tables 1 and 2 from this color identification signal. Further, it can be seen that the color signal is obtained with R pixels and effective pixels (actual pixels). The color identification signal for the color signal of the second pixel is (RGB, RGBG, XOS) = (1, 1, 0). From this color identification signal, the RGB and RGBG signals indicate the R color. It can be seen from the XOS signal that the color signal is an invalid pixel, that is, an imaginary pixel. In this way, the color represented by each color signal and valid / invalid can be determined by the color identification signals (RGB, RGBG, XOS).
[0060]
On the other hand, as shown in FIG. 5, when the selection signal indicates a Bayer array (L level in the figure), the digital signal processing unit 20 is in the order read from the CCD 14 in synchronization with the falling edge of the image synchronization signal EN. The signal of each pixel is input as a color signal. Specifically, in the case of the Bayer array, color signals are input in the order of RGRRGRGRG... According to a predetermined clock CLK as shown in FIG.
[0061]
At the same time, color identification signals are sequentially generated according to a predetermined clock CLK, and specifically, a 2-bit signal of 10101010... For the RGB signal and 11001100. That is, the color identification signal (RGB, RGBG) = (1, 1) for the color signal of the first pixel that is input dot-sequentially, and from this color identification signal, as shown in Table 1, R color pixels It can be seen that this is the color signal obtained in (1). The color identification signal for the color signal of the second pixel is (RGB, RGBG) = (0, 1). From this color identification signal, a color signal obtained from a B color pixel adjacent to the R pixel. I understand that there is.
[0062]
In the next step ST5, each of the offset correction circuit 52, the gain correction circuit 54, and the gamma correction circuit 56 selects a parameter based on the color indicated by the RGB signal and the RGBG signal input as the color identification signal. In the next step ST6, the offset correction circuit 52, the gain correction circuit 54, and the gamma correction circuit 56 perform preprocessing such as offset correction, gain correction, and gamma correction using the selected parameters. Here, the XOS signal included in the color identification signal is ignored, and the same processing is performed regardless of the real pixel / imaginary pixel.
[0063]
For example, when the corresponding color identification signal is (RGB, RGBG) = (1, 1) and a color signal representing the R color, the offset correction circuit 52, the gain correction circuit 54, and the gamma correction circuit 56 use the R color. The parameters set corresponding to are selected, and offset correction, gain correction, and gamma correction are executed.
[0064]
In this way, in the preprocessing process, the color of the color signal to be processed is determined based on the color identification signal, and the parameter of the determined color is selected from the parameters prepared in advance for each color of RGB. Appropriate preprocessing can be performed for each color.
[0065]
The color signals that have been pre-processed in this way are input to both of the synchronization processing circuits 58A and 58B, and in the next step ST7, according to the color interpolation calculation formula indicated by the color identification signal, the honeycomb signals are respectively arranged. Then, a synchronization process suitable for the Bayer arrangement is performed, and a YC conversion process is performed to convert the signal into a luminance signal and a color difference signal. In the synchronization processing circuit 58A, a color signal whose XOS signal included in the corresponding color identification signal is 0 is not used for the synchronization process because it is an invalid signal.
[0066]
In the next step ST8, the post-processing circuit 60 discriminates the color filter arrangement method of the CCD 14 employed in the digital camera 10 based on the selection signal input from the changeover switch 28 according to the selection signal. If it is an array, the process proceeds to step ST9, and if it is a Bayer array, the process proceeds to step ST10.
[0067]
Then, the post-processing circuit 60 selects the output signal (luminance signal, chrominance signal) of the synchronization processing circuit 58A in step ST9 and the output signal of the synchronization processing circuit 58B in step ST10, and outputs the selected output signal. As post-processing, predetermined digital signal processing such as edge enhancement and color correction is performed.
[0068]
A signal (luminance signal, color difference signal) processed by the post-processing circuit 60 is input to the compression circuit 62 as digital image data representing a captured image, and finally compressed in the JPEG method or the like in step ST11, and then stored in the memory. 24, the operation of FIG. 3 is completed.
[0069]
As described above, in this embodiment, the signal (R / G / B) of the signal of each pixel is identified in the CCDIF 50 according to the arrangement method of the color filter of the CCD with respect to the signal of each pixel read from the CCD 14. For this purpose, a color identification signal is generated, and based on this color identification signal, each dot-sequential color signal identifies the color of the corresponding pixel, and preprocessing and synchronization processing are performed.
[0070]
Thereby, the digital signal processing unit 20 does not provide a processing system for performing pre-processing, synchronization processing, and post-processing for each arrangement method, and performs digital signal processing corresponding to the two arrangement methods of the honeycomb arrangement and the Bayer arrangement. The increase in circuit scale can be suppressed. In particular, a circuit for performing the same preprocessing regardless of the color filter arrangement method, such as the offset correction circuit 52, the gain correction circuit 54, and the gamma correction circuit 56, is processed for each color indicated by the color identification signal. Since the parameters to be used are switched, they can be shared regardless of the color filter arrangement method, and an effect of preventing an increase in circuit scale can be obtained.
[0071]
【The invention's effect】
As described above, the present invention has an excellent effect that predetermined signal processing can be performed on a signal read from an image sensor in accordance with an arrangement method of a plurality of color filters with a small circuit scale. Have
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a digital camera according to an embodiment.
2A is a diagram showing a honeycomb arrangement, and FIG. 2B is a diagram showing a Bayer arrangement.
FIG. 3 is a flowchart showing the operation of the digital signal processing unit.
FIG. 4 is a timing chart of various signals in a digital signal processing unit when the arrangement of color filters of a CCD is a honeycomb arrangement.
FIG. 5 is a timing chart of various signals in a digital signal processing unit when a CCD color filter array system is a Bayer array.
[Explanation of symbols]
10 Digital camera
12 Shooting lens
14 CCD
18 Analog signal processor
20 Digital signal processor
26 Control unit
28 changeover switch
30 pixels
30A real pixel
30B imaginary pixel
52 Offset correction circuit
54 Gain correction circuit
56 Gamma correction circuit
58A, 58B Simultaneous processing circuit
60 Post-processing circuit
62 Compression circuit

Claims

In order to capture a color image, a predetermined process is performed on a signal of each pixel of a captured image read from an image sensor provided for the pixels so that a plurality of color filters are arranged in a predetermined array. A signal processing device for obtaining image data of the captured image,
In order to input a selection signal representing any one of a plurality of predetermined color filter arrangement methods, and to identify the color of each pixel based on the pixel signal based on the arrangement method represented by the selection signal Generating means for generating a color identification signal;
Provided in common to said plurality of sequences method, with the pixel signal corresponding to a color indicated by the generated color identification signal by the generating means, offset correction, performs gain correction, and at least one correction of the gamma correction Processing means for performing processing as the predetermined processing;
A signal processing apparatus comprising:

The processing means includes
Synchronized signal processing means that is individually provided according to the plurality of arrangement methods and generates image data of each color of its own pixel from a signal of a peripheral pixel for each pixel;
Provided in front of the synchronizing signal processing means for and the pixel signal, a preprocessing unit for performing offset correction, gain correction, and at least one compensation to performing processing of the gamma correction,
The signal processing device according to claim 1, comprising:

3. The signal processing device according to claim 1, wherein, in order to capture a color image, an image sensor having a single plate configuration provided for pixels so that a plurality of color filters are arranged in a predetermined arrangement. And performing predetermined processing on the pixel signal of the captured image obtained by capturing with the image sensor by the signal processing device to obtain image data representing the captured image.
A digital camera characterized by that.