JP4454750B2 - イメージセンサ用のフロントエンド信号処理の方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤイメージセンサのような種々のイメージセンサからの信号を処理するフロントエンド信号処理の方法および装置に関するものである。
【０００２】
【従来の技術】
従来、ＣＣＤイメージセンサのようなイメージセンサからの信号を処理するのに使用されているフロントエンド信号処理器においては、通常、図６に示したような回路構成のものが使用されている。すなわち、図示のように、この従来のフロントエンド信号処理器では、ＣＣＤイメージセンサからの入力（CCD Input）を受ける相関二重標本化器ＣＤＳ（Correlated Double Sampler）と、アナログのプログラマブル・ゲイン増幅器ＰＧＡ（Programmable Gain Amplifier）と、Ａ／ＤコンバータＡＤＣ（Analog-to-Digital Converter）とを備えていた。アナログＰＧＡは、図示のように、ＣＤＳとＡＤＣとの間に設け、ＣＤＳ後の信号をアナログ的に増幅をしてから、ＡＤＣに入力するように構成していた。このアナログＰＧＡは、ＣＤＳからの信号の増幅（または減衰）のために、ゲイン制御信号に対しゲイン・カーブがｄＢ（デシベル）表示でリニアとなるゲイン特性を有する対数増幅器（あるいは対数減衰器）を備えるものもあった。ゲイン・カーブを対数特性にするのは人間の視覚の明るさに対する特性に由来するものである。この場合、ＰＧＡ内には、制御信号（PGACONT）に対しゲインの特性が対数特性になるような特殊な増幅器またはアッテネータが用いられていた。また、このフロントエンド信号処理器では、イメージセンサからの輝度信号の黒レベルをクランプするため、オプティカルブラック（ＯＢ）クランプ回路OBCLAMPと黒レベル記憶のためのコンデンサCAPとを含むフィードバック・ループを備えていた。このフィードバック・ループは、図示のように、ＡＤＣの入力または出力（図６では入力からのみ図示）から、ＣＤＳまたはＰＧＡに戻す形（実線および点線で示す）をとっていたので、フィードバック・ループの中にＰＧＡのようなゲイン段が存在する場合が多かった。
【０００３】
【発明が解決しようとする課題】
上記のような構成の従来のフロントエンド信号処理器においては、アナログＰＧＡに設けた対数増幅器（または対数減衰器）の特性を向上させることが難しく、対数増幅器に要求されるデシベル表示でリニアなゲイン・カーブを得ることが困難であった。また、この対数増幅器のゲイン・カーブは、製造上の素子バラツキに対する依存性が高く、直線からのズレが大きくなることもあった。これは、フロントエンド信号処理器全体の歩留まりを落とす原因となっていた。また、対数増幅器のリニアリティやノイズ性能を確保するため、このＰＧＡブロックでかなりの電力を消費していた。
【０００４】
さらに、上記従来の信号処理器では、対数増幅器のような増幅器を含むアナログＰＧＡがＯＢクランプ・フィードバック・ループ中にあるため、ループの収束時定数が、増幅器のゲインによって大きく変化する。このゲイン変化の補正には、ＰＧＡ中の増幅器のゲインの逆数のゲインをもつ増幅器をフィードバック・ループ内に挿入して、時定数の一定化を図るなどの、複雑なアナログ処理が必要であった。
【０００５】
上記の理由から、従来のフロントエンド信号処理器では、消費電力が通常１５０〜２００ｍＷと大きく、１００ｍＷを切るものは希であった。
したがって、本発明の目的は、電力消費の低いフロントエンド信号処理の方法および装置を提供することである。
【０００６】
本発明の別の目的は、センサ出力の増幅のためのゲイン・カーブのリニアリティを向上させることができるフロントエンド信号処理の方法および装置を提供することである。
【０００７】
本発明の別の目的は、向上した黒レベル・クランプを行えるフロントエンド信号処理の方法および装置を提供することである。
本発明の別の目的は、製造歩留まりを向上させることができるフロントエンド信号処理の方法および装置を提供することである。
【０００８】
【課題を解決するための手段】
上記目的を実現するため、本発明では、イメージセンサからの信号の信号増幅をデジタル化し、この信号増幅をＡ／Ｄ変換の後で行い、そして信号増幅前の信号をＯＢクランプに使用することを特徴とする。
【０００９】
すなわち、本発明によれば、イメージセンサからの信号を処理するフロントエンド信号処理方法は、イ）前記イメージセンサからのセンサ出力信号から、該センサ出力信号に含まれた輝度情報を検出してこれを表すデジタル輝度信号を発生する輝度検出／デジタル化ステップと、ロ）前記デジタル輝度信号に基づき、前記輝度信号の黒レベルを一定値にクランプするクランプ・ステップと、ハ）前記デジタル輝度信号にデジタル的に乗算を行ってフロントエンド信号処理した出力を発生するデジタル処理ステップと、から成る。
【００１０】
本発明によれば、前記輝度検出／デジタル化ステップは、イ）前記イメージセンサ出力を受け、該センサ出力信号に含まれた輝度情報を検出してこれを表すアナログの輝度信号を発生するステップと、ロ）該アナログ輝度信号をデジタル化してデジタル化出力を発生するステップと、とから構成できる。また、前記輝度検出／デジタル化ステップは、前記デジタル化出力を、前記フロントエンド信号処理出力よりも高い分解能で発生することができる。さらに、前記輝度検出／デジタル化ステップは、さらに、イ）前記イメージセンサに対する基準黒レベル値を発生するステップと、ロ）前記デジタル化出力から前記基準黒レベル値を減算して、その減算結果を前記デジタル輝度信号として発生する減算ステップと、を含むことができる。また、前記基準黒レベル値は、可変とすることができる。
【００１１】
さらに、本発明によれば、前記デジタル処理ステップは、デジタルＰＧＡを使用することから成るようにできる。この場合、前記デジタル処理ステップは、イ）所定のゲイン・コードを発生するステップと、ロ）前記デジタル輝度信号に前記ゲイン・コードをデジタル的に乗算して増幅デジタル輝度信号を発生するステップと、ハ）ペデスタル・レベルを表すペデスタル・コードを発生するステップと、ニ）前記増幅デジタル輝度信号に前記ペデスタル・コードを加算して、その加算結果を前記のフロントエンド信号処理信号として発生するステップと、から成るようにできる。さらに、前記ペデスタル・コードは、可変とすることができる。
【００１２】
また、本発明によれば、イメージセンサからの信号を処理するフロントエンド信号処理装置は、イ）前記イメージセンサからのセンサ出力信号を受け、該センサ出力信号に含まれた輝度情報を検出してこれを表すデジタルの輝度信号を発生する輝度検出／デジタル化手段と、ロ）前記デジタル輝度信号を受け、該デジタル輝度信号に乗算を行ってその乗算結果をフロントエンド信号処理出力として発生するデジタル処理手段と、ハ）前記デジタル輝度信号を受け、該デジタル輝度信号から得たフィードバック信号を前記輝度検出／デジタル化手段に供給することにより、前記輝度信号の黒レベルを一定値にクランプするためのクランプ手段と、から成る。
【００１３】
本発明によれば、前記輝度検出／デジタル化手段は、イ）前記イメージセンサ出力を受け、該センサ出力信号に含まれた輝度情報を検出してこれを表すアナログの輝度信号を発生するＣＤＳと、ロ）該アナログ輝度信号を受け、これをデジタル化してデジタル化出力を発生するＡＤＣと、から成るようにできる。また、前記ＡＤＣは、前記デジタル化出力を、前記フロントエンド信号処理出力よりも高い分解能で発生するようにできる。この場合、前記ＡＤＣは、ＡＤＣへの入力が減少するにつれリニアリティが増大する構成を有するようにでき、例えばパイプラインＡＤＣで構成することができる。また、前記輝度検出／デジタル化手段は、さらに、イ）前記イメージセンサに対する基準黒レベル値を発生する基準黒レベル値発生手段と、ロ）前記ＡＤＣの出力と前記黒レベル値発生手段とに接続した減算器であって、前記デジタル化出力から前記基準黒レベル値を減算して、その減算結果を、前記輝度検出／デジタル化手段の前記デジタル輝度信号として発生する、前記の減算器と、を含むことができる。また、前記基準黒レベル値発生手段は、可変の基準黒レベル値を発生するようにできる。前記デジタル処理手段は、デジタルＰＧＡを含むようにできる。この場合、前記デジタル処理手段は、イ）所定のゲイン・コードを発生するゲイン・コード発生手段と、ロ）前記デジタル輝度信号に前記ゲイン・コードをデジタル的に乗算して増幅デジタル輝度信号を発生する乗算器手段と、ハ）ペデスタル・レベルを表すペデスタル・コードを発生するペデスタル・コード発生手段と、ニ）前記増幅デジタル輝度信号に前記ペデスタル・コードを加算して、その加算結果を前記のフロントエンド信号処理信号として発生する加算器と、から成るようにすることができる。前記ペデスタル・コード発生手段は、可変のペデスタル・コードを発生するようにできる。
【００１４】
本発明によれば、前記クランプ手段は、前記フィードバック信号を前記ＣＤＳの基準電圧端子あるいは前記ＡＤＣの基準電圧端子に供給するようにできる。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は、本発明によるフロントエンド信号処理器の基本構成を示す１実施形態のブロック図である。このフロントエンド信号処理器Ａは、図示のように、イメージセンサ１と、輝度信号検出／デジタル化部３と、デジタル処理部５と、そしてＯＢ（オプティカルブラック）クランプ部７とから成っている。イメージセンサ１は、本実施形態ではＣＣＤイメージセンサであるが、ＣＭＯＳイメージセンサ、ラインセンサ等のその他の任意のイメージセンサとすることもできる。
【００１６】
図２（ａ）は、ＣＣＤセンサ１の構成を示し、図２（ｂ）はセンサの画素からの出力信号の波形を示している。図示のように、ＣＣＤセンサ１は、多数の画素１０のマトリックス（その一部のみを図示）から成る矩形の領域１２を有している。この矩形領域１２には、その中央に領域１２より小さな矩形の有効エリア１４と、その周囲のオプティカルブラック（ＯＢ）エリア１６とがある。有効エリア１４には光は入射するが、ＯＢエリア１６には光は完全に遮断されるようになっている。図２（ｂ）には、ＯＢエリア１６中の１つのＯＢ画素（OB pixel）１００からの出力信号と、有効エリア１４内の１つの有効画素（Active pixel）１０２からの出力信号の波形を示している。各画素からの出力波形は、同じ周期を有しており、また基準レベルＲＬを定める基準インターバルＲＬＩと、輝度成分を定めるインターバルＩＣＩとを有している。輝度成分インターバルＩＣＩは、ＯＢ画素１００の場合は通常は基準レベルＲＬよりわずかに低いレベルである黒レベル部分ＯＢＬを有し、そして有効画素１０２の場合は黒レベルあるいはこれより低いレベルの輝度成分レベルＩＬを有する。この輝度成分レベルＩＬは、ＯＢ画素１００において検出した黒レベルＯＢＬとの差が輝度を表す。したがって、黒レベルＯＢＬを含む輝度成分の検出のためには、基準インターバルＲＬＩと輝度成分インターバルＩＣＩの各々のインターバルで一回ずつの二重サンプリングを行ってその差を検出することが必要である。また、輝度信号ＩＳ検出のためには、輝度成分レベルＩＬと黒レベルＯＢＬとの差を検出することが必要である。尚、黒レベルＯＢＬは、イメージセンサ１として使用するＣＣＤセンサ毎にまちまちである。
【００１７】
図２（ｃ）は、ＯＢエリア１６のＯＢ画素１００から出力される黒レベルＯＢＬを検出するためのクランプ・タイミング信号ＣＬＰＯＢを示しており、この信号は、図示のように有効エリア１４の有効画素１０２の間はローであり、そしてＯＢエリア１６に対応するブランキング期間中にハイ（アクティブ）となる。
【００１８】
このＣＣＤセンサ１の出力に接続した入力を有する輝度信号検出／デジタル化部３は、受けるイメージセンサ出力信号内の輝度信号ＩＳを上記のようにして検出し、そしてこの検出した輝度信号ＩＳを表すデジタルの輝度信号を出力に発生する。次のデジタル処理部５は、入力が輝度信号検出／デジタル化部３の出力に接続しており、そして受けるデジタル輝度信号に対しデジタル的に乗算処理を行うことによって、その出力にフロントエンド信号処理した信号を出力に発生する。また、ＯＢクランプ部７も、入力が輝度信号検出／デジタル化部３の出力に接続してそれからのデジタル輝度信号を受け、そしてイメージセンサ１から検出する輝度信号の黒レベルＯＢＬのバラツキまたは変動を補償するため、その出力が輝度信号検出／デジタル化部３に接続している。ＯＢクランプ部７は、この黒レベルＯＢＬ変動補償のため、イメージセンサ１がＯＢ画素１００のようなＯＢ画素からの出力を発生している期間中、デジタル輝度信号の値が、一定値、すなわち基準黒レベル値（ＯＢクランプ・レベルとも呼ぶ）となるようにフィードバック制御すると共にその値を記憶し、そしてイメージセンサ１が画素１０２のような有効画素からの出力を発生している期間中は、その記憶した値を供給し続ける。
【００１９】
図３は、図１の構成をより具体化したフロントエンド信号処理器Ｂをブロック図で示している。このフロントエンド信号処理器Ｂは、図１の各要素３，５，７に対応して、輝度信号検出／デジタル化部３Ｂと、デジタルＰＧＡ５０Ｂと、ＯＢクランプ部７Ｂとを備えている。輝度信号検出／デジタル化部３Ｂは、ＣＣＤセンサ１から出力信号を受ける入力端子ＣＣＤＩＮとＯＢクランプ部７Ｂからのフィードバック信号を受ける入力とを有したＣＤＳ（相関二重標本化器）３０Ｂと、このＣＤＳ３０Ｂの出力に入力が接続したＡＤＣ３２Ｂと、このＡＤＣ３２Ｂの出力に入力が接続した減算器３４Ｂとから成っている。ＣＤＳ３０Ｂは、図２で説明したように二重サンプリングを行うことにより、輝度情報を検出するものであり、これの出力はアナログの輝度信号である。このアナログ輝度信号を受けるＡＤＣ３２Ｂは、１４ビットのＡＤＣであって、受けたアナログ輝度信号をデジタル形態に変換した結果のデジタル輝度信号ＡＤＣＯＵＴを出力する。尚、この出力は、符号なしの１４ビットである（ＵＳ１４）。この出力を一方の入力に受ける減算器３４Ｂは、他方の入力に１４ビットの基準の黒レベル・コードＢＬＣＯＤＥ（Black Level Code）を受ける。この基準黒レベル・コードは、図示の黒レベル・コード発生器３６Ｂが出力するものであって、ＣＣＤセンサ１の黒レベル変動補償に使用する。減算器３４Ｂは、デジタル信号ＡＤＣＯＵＴから黒レベル・コードＢＬＣＯＤＥを減算することにより、黒レベル変動補償したデジタル輝度信号ＡＤＣＯＵＴＣを、符号付きの１５ビット（Ｓ１５）で発生する。この補償により、ＣＣＤセンサ１からの“全黒”入力時には、デジタル輝度信号ＡＤＣＯＵＴＣはゼロの値となる。
【００２０】
デジタル処理部５Ｂは、デジタルＰＧＡ５０Ｂと、ゲイン・コード発生器５２Ｂと、ペデスタル・コード発生器５４Ｂとから成っており、そしてデジタルＰＧＡ５０Ｂは、デジタル的に乗算を行う乗算器５００Ｂと、加算器５０２Ｂとから成っている。詳細には、乗算器５００Ｂは、一方の入力に、輝度信号検出／デジタル化部３Ｂからの出力であるデジタル輝度信号ＡＤＣＯＵＴＣを受け、そして他方の入力にゲイン・コード発生器５２Ｂからのゲイン・コード（Gain Code）を受ける。ゲイン・コードが表すゲインＧＡＩＮは、従来と同様の対数増幅を行うため、発生器５２Ｂが受ける入力（図示せず）の大きさに依存して対数的に変化する値を有する。この対数ゲインの発生は、例えば、リニア−ＬＯＧの専用の変換テーブルを使用することによりデジタル的に実現できる。このような構成により、乗算器５００Ｂは、デジタル輝度信号ＡＤＣＯＵＴＣにＧＡＩＮを乗算した結果を１１ビットで出力する。次の加算器５０２Ｂは、この乗算出力を一方の入力に受け、他方の入力に１０ビットのペデスタル・コードＰＣＯＤＥ（Pedestal Code）を受ける。このペデスタル・コードＰＣＯＤＥは、ペデスタル・コード発生器５４Ｂが発生するものであり、乗算後のデジタル輝度信号をプラスにオフセットさせる。加算器５０２Ｂは、それら両入力を加算した結果を、１０ビットのフロントエンド信号処理済みの出力ＯＵＴとして発生する。この出力は、以下の式で表せる。
【００２１】
【数１】
ＯＵＴ＝ＧＡＩＮ＊（ＡＤＣＯＵＴ−ＢＬＣＯＤＥ）＋ＰＣＯＤＥ
これから判るように、ＣＣＤセンサ１の全黒入力時には、ＡＤＣＯＵＴ＝ＢＬＣＯＤＥとなるので、出力ＯＵＴは、ペデスタル・コードＰＣＯＤＥと一致し、そしてＣＣＤセンサ１に光が入った場合には、このコードより大きなコードとなる。このように、ゲイン・コード発生器５２Ｂでは、ＧＡＩＮの発生をデジタル的に行うため、従来のアナログの対数増幅器を使っていたときと比べ、対数カーブのような所望の任意のゲイン特性を簡単に実現することができる。また、デジタル的にゲインをつくるので、ゲイン特性の理想特性からのズレを予め完全に予測できるようになる。しかも、製造上の素子のバラツキによるゲイン・カーブのズレがなくなり、歩留まりも大幅に向上するという利点がある。
【００２２】
次に、ＯＢクランプ部７Ｂについて説明すると、これは、Ｄ／Ａコンバータ（ＤＡＣ）７０Ｂと、トラスミッション・ゲート（Ｔ−Ｇ）７２Ｂと、コンデンサ（ＣＡＰ１）７４Ｂと、そしてバッファ７６Ｂとから成っている。ＤＡＣ７０Ｂは、減算器３４Ｂの出力であるデジタル輝度信号ＡＤＣＯＵＴＣを入力に受け、そしてこれをアナログ信号に変換したものを出力に発生する。このアナログ出力を一方の端子に受けるゲート７２Ｂは、図２（ｃ）に示したタイミング信号ＣＬＰＯＢを受ける制御入力を有していて、タイミング信号ＣＬＰＯＢがハイの間のみＤＡＣ７０Ｂからのアナログ出力を他方の端子に通す。ゲート７２Ｂのこの他方の端子は、コンデンサ７４Ｂを介してグランドに接続して、ゲート７２Ｂからのアナログ出力を積分することにより、黒レベル補償用のフィードバック電圧を記憶する。ゲート７２Ｂは、コンデンサ７４Ｂへの回路を開閉するためのスイッチとして働く。このコンデンサ７４Ｂの上側の端子は、バッファ７６Ｂを介してＣＤＳ３０Ｂの基準電圧端子に接続しており、これによりフィードバック電圧をその基準電圧端子に供給する。これにより、ＣＤＳ３０Ｂは、発生するアナログ輝度信号をオフセットさせて、その黒レベルＯＢＬがデジタル輝度信号ＡＤＣＯＵＴＣにおいてゼロ・レベルとなるように負帰還を行う。詳しくは、信号ＡＤＣＯＵＴと黒レベル・コードＢＬＣＯＤＥとの差が正の場合には、信号ＡＤＣＯＵＴが減少するようにＣＤＳのオフセットを調節し、負の場合には信号ＡＤＣＯＵＴが増加するようにＣＤＳのオフセットを調節する。
【００２３】
このＯＢクランプ部７Ｂの動作について説明すると、このクランプ・ループは、ＯＢピクセルからの全黒信号を受けている期間（実際には、タイミング信号ＣＬＰＯＢがハイの期間）中に閉じて、この期間中のデジタル輝度信号ＡＤＣＯＵＴＣが一定になるようなフィードバック電圧をコンデンサに蓄積することにより、黒レベル補償用の電圧を準備する。それ以外の期間中すなわちＣＬＰＯＢがローが期間中は、コンデンサに蓄積したこのフィードバック電圧をＣＤＳに供給することにより、黒レベル補償を実行する。このフィードバック・ループは、従来のような可変のゲイン段を含んでいないため、時定数は、実質上一定である。このため、従来必要であったようなゲイン変化時における時定数一定化のための複雑なアナログ処理が不要となっている。
【００２４】
次に、図４を参照して、ゲイン・コード発生器５２Ｂにより実現する対数ＧＡＩＮ発生について説明する。図中、横軸はゲイン・コード発生器の入力であり、縦軸は、対数スケールでのゲイン・コード発生器の出力であるＧＡＩＮである。図示のように、本実施形態では、ほぼリニアのゲイン特性（実線）が得られるが、従来の対数増幅器を使用した場合では、リニアな特性が得られず（点線で示す）、また直線からのズレが大きいときには６ｄＢもあった。本発明によれば、簡単に、対数のゲイン特性を得ることが可能となる。また、デジタル的にゲインをつくるので、ゲイン特性の理想特性からのズレを予め完全に予測できるため、製造上の素子バラツキによるゲイン・カーブのズレがなくなり、フロントエンド信号処理器の歩留まりも大幅に向上させることができる。さらに、デジタル的にゲインをつくることができるため、対数特性に限らずその他の任意の特性を容易に作り出すことができるという利点がある。
【００２５】
次に、ＡＤＣ３２Ｂの分解能を、フロントエンド信号処理器全体の分解能よりも高くしている理由について説明する。上記実施形態では、ＡＤＣ３２Ｂの分解能は１４ビットとし、フロントエンド信号処理出力の分解能である１０ビットより４ビット高くしている。これは、デジタルＰＧＡ５０Ｂでのデジタル乗算により失われる可能性のある最大の分解能分を、ＡＤＣ３２Ｂに余分にもたせる必要があるからである。詳しくは、デジタル乗算では、信号をデジタル的に２倍にすると（すなわちデータコードを１ビット左へシフトすると）、一番右側の１ビットの情報が失われ、１ビット分解能が減る。したがって、ゲインを高くした場合にも、信号処理器全体としての分解能を保つには、デジタル乗算で欠落する分の分解能を予めＡＤＣに余分にもたせることが必要になる。例えば、１例として最大ゲインが６４（＝２⁶）倍で、最大ゲイン使用時の信号処理器に要求される分解能が８ビットとした場合には、ＡＤＣには ８＋６＝１４ビットの分解能が必要となる。この理由から、ＡＤＣ３２Ｂの分解能を信号処理出力ＯＵＴの分解能よりも高くしている。
【００２６】
次に、図５を参照して、ＡＤＣ３２Ｂの１つのより具体的な実施形態３２Ｃについて説明する。このＡＤＣ３２Ｃは、信号処理器の分解能より高い分解能である１４ビットのパイプラインＡＤＣで構成している。この１４ビット・パイプラインＡＤＣでは、ＡＤＣがフルスケールすなわち全入力信号では、１４ビットのリニアリティをもつことが要求されない、ということを利用する。すなわち、上述の例でＡＤＣに１４ビットのリニアリティが必要になるのは、最大ゲイン６４倍（６ビットの左シフトに相当）の場合であり、ゲインがこれより低くなるにつれ、ＡＤＣのリニアリティも低くてすむからである。また、最大ゲインを使用するのは、ＣＣＤカメラの被写体が大変暗い場合であり、この場合には、ＣＣＤセンサからの出力レベルも大変小さく、ＡＤＣへの入力信号も微小である。このため、ＡＤＣには、マイナス・フルスケール付近の微小信号に対してのみ高いリニアリティをもたせればよく、ＡＤＣへの入力信号が大きくて低ゲインしか要求されない場合には、リニアリティも低くてよいからである。このような目的に合致するＡＤＣとして、本実施形態では、分解能とリニアリティが一致していないパイプラインＡＤＣを使用する。
【００２７】
このパイプラインＡＤＣ３２Ｃでは、図示のように、パイプライン接続した段（STAGE）１−１３の１３段のフラッシュＡＤＣから成っていて、各段の分解能（各段のフラッシュＡＤＣの分解能）は、１ビットないし２ビット（図示例では２ビット）の低い分解能を有している。各段は、２ビットのフラッシュＡＤＣ３２０−１〜１３と、これの出力に入力が接続した２ビットのＤＡＣ３２２−１〜１２（最終段にはなし）と、フラッシュＡＤＣ３２０−１〜１３の出力に入力が接続したデジタル遅延器３２４−１〜１３と、から成っている。初段には、ＡＤＣ３２Ｃへの入力信号を受けるサンプル／ホールド回路３２６があり、その出力がフラッシュＡＤＣ３２０−１の入力に接続している。尚、このサンプル／ホールド回路（Input S/H（Sample and Hold））の機能は、実際にはＣＤＳが果たすため不要である。各段間には、加算器３２７−１〜１２と２倍増幅器３２８−１〜１２とがある。各加算器は、サンプル／ホールド回路３２６または前段の２倍増幅器の出力から前段のＤＡＣの出力を減算する。各段のデジタル遅延器３２４−１〜１３の出力は、デジタル・エラー訂正回路３２９に供給され、そしてこの回路が、エラー訂正をした後に、１４ビット出力端子Ｄ０〜Ｄ１３にＡ／Ｄ変換出力を発生する。
【００２８】
このＡＤＣの動作について説明すると、まず、入力アナログ信号が段１の低分解能（２ビット）フラッシュＡＤＣ３２０−１によってデジタル化され、２ビットのコードを出力する。これを２ビットＤＡＣ３２２−１を通して再びアナログ値に変換して、加算器３２７−１で入力信号から減算する。こうして得られた残余の信号（Residue Signal）をゲイン２倍の増幅器３２８−１で増幅し、次段に引き渡す。以下、上記動作を繰り返して、段１３まで進む。こうして各段から２ビットずつ合計２６ビットのデジタル出力データが得られるが、デジタル・エラー訂正回路を通して、冗長ビットを落として、最終的に１４ビットのみを出力する。段１がある画素の信号をサンプリングしている時、段２は１つ前の画素の信号をホールドし、これを段３がサンプリングするというように、各段の動作がコンカレントに進むので、非常に高いスループットを達成できる。段１−１３のデジタル出力は、段１３のデジタル出力と足並みが揃うまでそれぞれ適当に遅延をかけ、最終的に１４ビットが同時に出力する。この同時出力のタイミングは、段１が入力信号をサンプリングした時点より約７クロック遅れる（パイプライン遅延）。
【００２９】
このような構成のパイプラインＡＤＣ３２Ｃでは、まず初段のフラッシュＡＤＣ３２０−１のしきい値レベル付近で大きく精度が低下するが、ＡＤＣ入力信号が小さくなるにつれてリニアリティが良くなるという特性がある。したがって、各フラッシュＡＤＣの分解能が低いほど、この効果が顕著になる。例えば、フラッシュＡＤＣの分解能が１ビットの場合には、ＦＳ（ＦＳ＝フルスケール入力）の１／２のところにしきい値レベルがあるので、これよりＡＤＣ入力信号が小さいと、フルスケール入力の場合より、約１ビット精度が高くなる。さらに、入力信号がＦＳ／４より小さければ、もう１ビット、ＦＳ／８より小さければさらにもう１ビットというように、入力信号が小さいほどリニアリティが良くなるという特性を有する。
【００３０】
このパイプラインＡＤＣの分解能を増やすと、段数が増え、パイプライン遅延も増えるが、パイプライン遅延はほとんどのアプリケーションにおいてさしたる問題にはならない。尚、このようなパイプラインＡＤＣの使用は、１０ビット以上でビデオレートのＡＤＣを実現する場合には一般的である。本発明では、その中でも特に各段のフラッシュＡＤＣの分解能が１ビットないし２ビットと低い構成のパイプラインＡＤＣを用いて、入力信号レベルが下がるほど顕著にリニアリティがよくなるようにした。これでＡＤＣにフルスケールで１４ビット精度がなくても目的が達成され、ＡＤＣの高分解能化に伴う消費電力の増加を最小限に抑えることができる。
【００３１】
本発明のこの実施形態のＡＤＣ３２Ｃを使用すれば、図３に示したＡＤＣ３２Ｂのように入力信号のダイナミックレンジ全体に対して１４ビットの高いリニアリティをもたなくてもよく、信号処理器の１０ビット・リニアリティに対し十分となる。マイナス・フルスケール付近でのみ高いリニアリティを発揮するＡＤＣがあれば実現できるという点が大きな特徴である。このようにすることにより、ＡＤＣを低消費電力のもので実現することができる。
【００３２】
以上に、本発明の実施形態について説明したが、上記実施形態においては、以下のような変更が可能である。例えば、第１に、図３の黒レベル・コード発生器３６Ｂは、外部から変更可能とするため、専用のレジスタを設け、シリアル通信などの手段により、外部より設定変更可能とすることもできる。ペデスタル・コード発生器５４Ｂについても、これと同様に、専用のレジスタを設けてシリアル通信等の手段で外部より設定変更可能にできる。第２に、図３のゲイン・コード発生器５２Ｂは、ゲイン・コードの発生を、減算器３４Ｂの出力あるいは加算器５０２Ｂの出力である信号処理器の出力、あるいはその他の箇所から得た信号に基づいて設定することができる。また、このゲイン・コード発生器５２Ｂでは、必要に応じて、対数増幅以外の任意の特性を実現するためのＧＡＩＮを発生するように変更することも可能である。第３に、図３の実施形態では、バッファ７６Ｂの出力は、ＣＤＳ３０Ｂの基準電圧端子にフィードバックしているが、ＡＤＣ３２Ｂの基準電圧端子にフィードバックするようにすることもできる。
【００３３】
【発明の効果】
以上、詳細に説明した本発明のフロントエンド信号処理の方法および装置によれば、デジタル処理で対数演算を実行するため、複雑なアナログの対数増幅器が不要となるため、消費電力の大幅な低減できる。また、ゲイン乗算前のデジタル信号を使用して黒レベル・クランプを実行するため、ゲイン変更をフィードバック・ループ外で行うことになり、これによりゲイン変更による時定数変動を回避することができる。この結果、時定数変動補償のための複雑なアナログ処理回路も不要となり、これによってもさらに消費電力を低減することができる。さらに、対数演算をデジタル処理で実行するため、ゲイン・カーブのリニアリティを従来と比べ向上させることができる。さらにまた、上記の効果が合わさって製造歩留まりが向上し、フロントエンド信号処理器のコスト低減を図ることができる。
【図面の簡単な説明】
【図１】本発明の１実施形態によるフロントエンド信号処理器を示すブロック図。
【図２】（ａ）は、ＣＣＤセンサ１の構成を示し、（ｂ）はこのセンサの画素からの出力信号の波形を示し、（ｃ）は、クランプ・タイミング信号ＣＬＰＯＢを示す図。
【図３】図１の構成をより具体化した、本発明による別の実施形態のフロントエンド信号処理器を示すブロック図。
【図４】図３に示したデジタルＰＧＡ内の乗算器により実現する対数増幅特性を示す図。
【図５】図３のＡＤＣとして使用できる別の実施形態のＡＤＣを示すブロック図。
【図６】ＣＣＤイメージセンサ用の従来のフロントエンド信号処理器のブロック図。
【符号の説明】
Ａ，Ｂ フロントエンド信号処理器
１ イメージセンサ
３ 輝度信号検出／デジタル化部
５ デジタル処理部
７ ＯＢ（オプティカルブラック）クランプ部
１０ 画素
１２ 矩形領域
１４ 有効エリア
１６ ＯＢエリア
１００ ＯＢ画素
１０２ 有効画素
３０Ｂ ＣＤＳ
３２Ｂ ＡＤＣ
３２Ｃ パイプラインＡＤＣ
３４Ｂ 減算器
３６Ｂ 黒レベル・コード発生器
５０Ｂ デジタルＰＧＡ
５２Ｂ ゲイン・コード発生器
５４Ｂ ペデスタル・コード発生器
７０Ｂ ＤＡＣ
７２Ｂ トラスミッション・ゲート
７４Ｂ コンデンサ
７６Ｂ バッファ
５００Ｂ 乗算器
５０２Ｂ 加算器

Claims (12)

1. イメージセンサからの信号を処理するフロントエンド信号処理方法であって、
   イ） 前記イメージセンサからのセンサ出力信号から、該センサ出力信号に含まれた輝度情報を検出してこれを表すデジタル輝度信号を発生する輝度検出／デジタル化ステップと、
   ロ） 前記デジタル輝度信号に基づき、前記輝度信号の黒レベルを一定値にクランプするクランプ・ステップと、
   ハ） 前記デジタル輝度信号に対してデジタル的に対数増幅を行うための乗算を行ってフロントエンド信号処理した出力を発生するデジタル処理ステップと、
   を備え、
   前記輝度検出／デジタル化ステップは、
   イ） 前記イメージセンサ出力を受け、該センサ出力信号に含まれた輝度情報を検出してこれを表すアナログの輝度信号を発生するステップと、
   ロ） 該アナログ輝度信号をデジタル化してデジタル化出力を発生するステップと、
   を含み、
   前記クランプ・ステップは、
   イ）前記デジタル輝度信号の黒レベルを表すアナログ値を発生するステップと、
   ロ）前記黒レベルを表すアナログ値を積分してフィードバック電圧を発生するステップと、
   ハ）前記フィードバック電圧を前記イメージセンサに供給するステップであって、前記イメージセンサは、前記フィードバック電圧に応答して、前記デジタル輝度信号の黒レベルが一定値になるよう前記センサ出力信号をオフセットさせる、ステップと、
   を含み、
   そして、前記輝度検出／デジタル化ステップは、さらに、
   イ） 前記イメージセンサに対する基準黒レベル値を発生するステップと、
   ロ） 前記デジタル化出力から前記基準黒レベル値を減算して、その減算結果を前記デジタル輝度信号として発生する減算ステップと、
   を含む、
   フロントエンド信号処理方法。
2. 請求項１記載の方法において、前記輝度検出／デジタル化ステップは、前記デジタル化出力を、前記フロントエンド信号処理出力よりも高い分解能で発生すること、を特徴とするフロントエンド信号処理方法。
3. 請求項１記載の方法において、前記基準黒レベル値は、可変であること、を特徴とするフロントエンド信号処理方法。
4. 請求項１記載の方法において、前記デジタル処理ステップは、デジタルＰＧＡを使用することを含むこと、を特徴とするフロントエンド信号処理方法。
5. イメージセンサからの信号を処理するフロントエンド信号処理装置であって、
   イ） 前記イメージセンサからのセンサ出力信号を受け、該センサ出力信号に含まれた輝度情報を検出してこれを表すデジタルの輝度信号を発生する輝度検出／デジタル化手段と、
   ロ） 前記デジタル輝度信号を受け、該デジタル輝度信号に対して対数増幅を行うための乗算を行ってその乗算結果をフロントエンド信号処理出力として発生するデジタル処理手段と、
   ハ） 前記デジタル輝度信号を受け、該デジタル輝度信号から得たフィードバック信号を前記輝度検出／デジタル化手段に供給することにより、前記輝度信号の黒レベルを一定値にクランプするためのクランプ手段と、
   を備え、
   前記輝度検出／デジタル化手段は、
   イ） 前記イメージセンサ出力を受け、該センサ出力信号に含まれた輝度情報を検出してこれを表すアナログの輝度信号を発生するＣＤＳと、
   ロ） 該アナログ輝度信号を受け、これをデジタル化してデジタル化出力を発生するＡＤＣと、
   を含み、
   前記クランプ手段は、
   イ）前記デジタル輝度信号の黒レベルを表すアナログ値を発生するＤＡＣと、
   ロ）前記黒レベルを表すアナログ値を積分してフィードバック電圧を発生する積分手段と、
   ハ）前記フィードバック電圧を前記イメージセンサに供給するバッファであって、前記イメージセンサは、前記フィードバック電圧に応答して、前記デジタル輝度信号の黒レベルが一定値になるよう前記センサ出力信号をオフセットさせる、前記のバッファと、
   を含み、
   そして、前記輝度検出／デジタル化手段は、さらに、
   イ） 前記イメージセンサに対する基準黒レベル値を発生する基準黒レベル値発生手段と、
   ロ） 前記ＡＤＣの出力と前記黒レベル値発生手段とに接続した減算器であって、前記デジタル化出力から前記基準黒レベル値を減算して、その減算結果を、前記輝度検出／デジタル化手段の前記デジタル輝度信号として発生する、前記の減算器と、
   を含む、
   フロントエンド信号処理装置。
6. 請求項５記載の装置において、前記ＡＤＣは、前記デジタル化出力を、前記フロントエンド信号処理出力よりも高い分解能で発生すること、を特徴とするフロントエンド信号処理装置。
7. 請求項５記載の装置において、前記ＡＤＣは、ＡＤＣへの入力が減少するにつれリニアリティが増大する構成を有すること、を特徴とするフロントエンド信号処理装置。
8. 請求項５記載の装置において、前記ＡＤＣは、パイプラインＡＤＣであること、を特徴とするフロントエンド信号処理装置。
9. 請求項５記載の装置において、前記基準黒レベル値発生手段は、可変の基準黒レベル値を発生すること、を特徴とするフロントエンド信号処理装置。
10. 請求項５記載の装置において、前記デジタル処理手段は、デジタルＰＧＡを含むこと、を特徴とするフロントエンド信号処理装置。
11. 請求項５記載の装置において、前記クランプ手段は、前記フィードバック信号を前記ＣＤＳの基準電圧端子に供給すること、を特徴とするフロントエンド信号処理装置。
12. 請求項５記載の装置において、前記クランプ手段は、前記フィードバック信号を前記ＡＤＣの基準電圧端子に供給すること、を特徴とするフロントエンド信号処理装置。

Images