JP5106256B2

JP5106256B2 - 撮像装置

Info

Publication number: JP5106256B2
Application number: JP2008150983A
Authority: JP
Inventors: 佳孝江川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-06-07
Filing date: 2008-06-09
Publication date: 2012-12-26
Anticipated expiration: 2028-06-09
Also published as: JP2009017544A; US8013928B2; US20110273596A1; KR20080108019A; US8547472B2; KR100976284B1; US20080303919A1; CN101321295B; CN101321295A

Description

本発明は、撮像装置に係り、特にＲＧＢの色比率相関によりＲＧＢ信号を生成する信号処理に関するものであり、例えばＣＣＤ（charge-coupled device）イメージセンサやＣＭＯＳ型イメージセンサなどの固体撮像装置、イメージセンサ付き携帯電話、デジタルカメラ、ビデオカメラなどに使用される。

イメージセンサは、近年、画素の微細化が進み、画素ピッチが２μｍ台のものが実用化され、さらには、１．７５μｍピッチ画素や１．４μｍピッチ画素の開発が進められている。２μｍピッチ以下の微細画素では、受光面の入射光量が大幅に減少するので、撮像信号のＳ／Ｎが劣化する。さらに、従来から、カラーカメラでは、ＲＧＢの光波長の違いによるレンズを通過する際の屈折率の違いや画素ピッチの微小化から生じる色偽信号や色ノイズにより画質が劣化するという問題がある。色偽信号の抑制や色ノイズ低減に関しては様々な方式が提案されている（例えば、特許文献１〜５参照）。しかし、これらの従来の方式でも抜本的な対策は提案されていない。

また、例えば単板カラーカメラでは、被写体像のエッジ部分に偽色が付くＲＧＢ色ずれや、各ＲＧＢのランダムノイズによるドット状の色ノイズが発生するので、画質劣化が発生する。

この色偽信号は、２つの発生要因がある。１つは、センサの限界解像度近辺で、画素ピッチと被写体の高解像度パターンのピッチとの不整合によりビートが発生し、取り込んだ信号の周波数に低周波成分が混入することで発生する。もう１つは、前述したように、光学レンズへ入射するＲＧＢ光の波長の違いからＲＧＢ光の屈折率が異なり、センサ周辺エリアでＲＧＢの像がずれる倍率色収差によって発生する。

倍率色収差は、図２４に示すように、特にセンサ周辺エリアで大きくなる。また、センサの微細画素に対応させるために、レンズのＦ値を小さくし、画素ピッチに対応する空間周波数が高くなるほど、伝達関数ＭＴＦ(Modulated Transfer Function)のＲＧＢ光による変調度の低下の違いによりレンズの中心でも軸上色収差が大きくなる。このため、微細画素では画質の劣化が著しい。

図２５（Ａ）、図２５（Ｂ）は赤い文字を撮影したときの取得画像とこれに対応する信号波形とをそれぞれ示し、図２５（Ａ）では、対物レンズのピントがずれた状態で撮像されたピンボケの画像とその信号波形、図２５（Ｂ）は対物レンズのピントが合った画像とその信号波形を示す。図２５（Ａ）のピンボケ画像では、表示文字のエッジ部分に対応する信号波形が緩やかに変化しており、また、Ｇ信号とＢ信号の位相が色収差によってずれてしまうので、エッジ部分で偽色着色が発生する。このピンボケ画像は、固定フォーカス式の対物レンズで特に発生し易い。

図２６は、固定フォーカスレンズを使用し、１ｍ以上にピントを合わせた場合の変調度（ＭＴＦの）特性を示す。図２６から分かるように、レンズから１ｍ以上の距離にピントを合わせた場合には、１ｍ以下の距離にある近い被写体では、ピントが合わず、距離が近くなるほどボケ幅が拡大し、変調度の低下および図２４に示した色収差に起因する信号ボケが発生している。ボケ幅は信号波形の垂直位置からの傾斜の大きさに対応している。反対に、レンズから例えば３０ｃｍ程度の近くの被写体にピントを合わせた場合は、レンズから１ｍ以上の遠くの被写体の画像ボケが発生する。また、被写体にピントが合っている画像でも、図２４に示すように、センサの周辺、即ちレンズの周辺部分では色収差（倍率色収差）が発生し易い。また、前述したように、レンズの中心でも軸上色収差により偽色着色が発生する場合もある。

なお、特許文献６には、被写界深度を深くする固体撮像装置が開示されているが、レンズの色収差の課題に対する対策が施されていないので、画像に偽色が発生する問題があり、先の課題への対策が施されたとしても、いろんな被写体条件に対応できず、十分な解像度や解像度感、カラー再生画像が得られていない。
特開平４−２３５４７２号公報特開２００２−１０１０８号公報特開２００５−３０３７３１号公報特開２００１−２４５３０７号公報特開平５−１６８０２９号公報国際公開ＷＯ２００６０９５１１０号パンフレット

本発明は、前述した従来の問題点を解決すべくなされたもので、センサ部から出力するＲ信号、Ｇ信号、Ｂ信号の色偽信号の抑制や、ノイズの低減を可能とし、さらに、レンズの色収差が大きい場合やピントずれによるボケ画像の補正を行うことを可能とし、レンズの色収差特性との組み合わせで被写界深度を深くすることが可能になる撮像装置を提供することを目的とする。

一実施態様の撮像装置は、光を集光するための光学レンズにより集光した光信号を電子に変換する光電変換素子の前面に波長分離手段を配置した画素が二次元に配置されたセンサ部によって前記光信号を２色以上の波長成分に分離して生成した信号と波長分離しないで生成した信号を処理する信号処理手段を含む撮像装置であって、前記波長分離手段は、光の波長を分離するための色フィルタ層もしくは光の波長を分離しない透明フィルタ層と、前記色フィルタ層及び前記透明フィルタ層の上部に配置された１画素単位で光を集光するためのマイクロレンズとを有し、前記画素の基本配列内において、画素数の半分に、光の波長を分離しない前記透明フィルタを有する画素が配置され、光の波長を分離しない前記透明フィルタ層上のマイクロレンズは、前記色フィルタ層上のマイクロレンズより小さく形成され、前記マイクロレンズのうち、面積が小さいマイクロレンズは少なくとも１層からなり、面積が大きいマイクロレンズは、前記面積が小さいマイクロレンズよりさらに、一層以上加えた層からなることを特徴とする。

この発明によれば、センサ部から出力するＲ信号、Ｇ信号、Ｂ信号の色偽信号の抑制や、ノイズの低減を可能とし、さらに、レンズの色収差が大きい場合やピントずれによるボケ画像の補正を行うことを可能とし、レンズの色収差特性との組み合わせで被写界深度を深くすることができる撮像装置を提供することが可能である。

以下、図面を参照して本発明の撮像装置の実施形態として、ＣＭＯＳイメージセンサに適用した場合を例に取り説明する。説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。

＜第１の実施形態＞
図１は、第１の実施形態に係るＣＭＯＳイメージセンサの概略構成をレンズとともに示すブロック図である。このＣＭＯＳイメージセンサは、センサ部１１、ラインメモリ１２、色相関ＲＧＢ生成回路１３、信号処理回路１４、システムタイミング発生回路（ＳＧ）１５、コマンドデコーダ１６、およびシリアルインタフェース（シリアルＩ／Ｆ）１７を備えている。１８は、集光した光信号をセンサ部１１に入力するレンズである。

センサ部１１には、画素部１１１およびカラム型アナログデジタルコンバータ（ＡＤＣ）１１２が配置されている。画素部１１１は、画素が半導体基板上に行および列の二次元的に配置されたアレイを有する。各画素は、光電変換手段（例えばフォトダイオード）と色フィルタから構成され、フォトダイオードの受光面の前面にはＲ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタが配置される。色フィルタ配列は、ここではＲＧＢ原色のベイヤー配列を有する色フィルタを用いている。

センサ部１１は、レンズ１８を介して入力した被写体の光信号をカラーフィルタでＲＧＢ成分の光信号に分離し、フォトダイオードアレイで光電変換により信号電荷を生成する。この信号電荷は、カラム型ＡＤＣ１１２でデジタル的な信号（Ｒ信号、Ｇ信号、Ｂ信号）に変換され、出力される。センサ部１１から出力した信号は、ラインメモリ１２に入力される。ここでは色フィルタ配列がＡＤＣ１１２に対して７列並列に配置されているので、システムタイミング発生回路１５からのクロックにより、この７列の色フィルタに対応する７列のフォトダイオードアレイからのセンサ出力が順次出力され、ラインメモリ１２内の７ライン分のラインメモリ１〜ラインメモリ７に順次記憶される。このメモリ１〜メモリ７に記憶された信号は、システムタイミング発生回路１５からのクロックにより色相関ＲＧＢ生成回路１３へ順次並列に出力される。

色相関ＲＧＢ生成回路１３は、第１の加算部１３１、平均比率算出部１３２、ＲＧＢ生成部１３３、エッジ処理部１３４、信号合成部１３５、バンドパスフィルタ（ＢＰＦ）１３６、振幅強調部１３７、Ｇ補間・輪郭処理部１３０、輪郭信号抽出部１３９などを有する。

第１の加算部１３１では、ラインメモリ１２から並列に入力された信号（Ｒ信号、Ｇ信号、Ｂ信号）に基づいて第１の加算信号Ｓを生成する。そして、平均比率算出部１３２では、加算画素の周辺画素の色情報に基づいて、Ｒ信号、Ｇ信号、Ｂ信号の各々と第１の加算信号Ｓとの平均比率係数を算出する。そして、ＲＧＢ生成部１３３では、平均比率係数と第１の加算信号Ｓとから、画素配列の同じ位置の信号として新たなＲｓ、Ｇｓ、Ｂｓ信号を生成する。このＲｓ、Ｇｓ、Ｂｓ信号はベイヤー配列で生成してもよい。このような処理は従来の色分離補間回路における処理の代わりとなり、エッジ部分の色ずれや色ノイズを抑圧する。

ＲＧＢ生成部１３３で処理されたＲｓ、Ｇｓ、Ｂｓ信号は、後段の信号処理回路１４に入力され、ホワイトバランス、輪郭強調、ガンマ（γ）補正、およびＲＧＢマトリックス回路などにより処理され、ＹＵＶ信号形式やＲＧＢ信号形式のデジタル信号ＤＯＵＴ０〜ＤＯＵＴ７として出力される。また、前述したセンサ部１１、ラインメモリ１２に加えて、色相関ＲＧＢ生成回路１３および信号処理回路１４の動作も、システムタイミング発生回路（ＳＧ）１５から出力されるクロック信号に基づいて行われる。この際、各回路の処理のパラメータなどをコマンドにより制御することもできる。例えば、外部から入力されるデータＤＡＴＡがシリアルインタフェース（シリアルＩ／Ｆ）１７を介してコマンドデコーダ１６に入力され、デコードされた信号がシステムタイミング発生回路１５、ラインメモリ１２、色相関ＲＧＢ生成回路１３、信号処理回路１４に入力されることにより、外部入力データＤＡＴＡにより処理のパラメータなどを制御することもできる。

ところで、第１の加算部１３１において、ラインメモリ１２から並列に入力された信号の４画素分以上（ここでは、３×３画素配列の９画素分）を加算して第１の加算信号Ｓが生成される。この加算信号Ｓは画素ピッチに対応する高周波成分を含んでいないので、エッジ信号がなだらかになる。そこで、第１の加算信号Ｓの傾斜部分の信号変化が所定の基準より緩やかな場合を検出して信号変化を急峻にするためのボケ補正処理をボケ補正回路１４０にて実施する。また、第１の加算部１３１による加算処理と並行して、まず、Ｇ補間・輪郭処理部１３０において、加算前の信号に対してＧ補間処理および輪郭処理を実施する。そして、上記したＧ補間処理を実施した信号から高周波成分のＳ輪郭信号（高解像度信号）をＳ輪郭信号抽出部１３９で抽出し、このＳ輪郭信号を信号合成部１３５で加算部１３１からの第１の加算信号Ｓに加算もしくは乗算して合成信号Ｓａを生成する。

さらに、ボケ補正部１４０からの第１の加算信号Ｓからバンドパスフィルタ（ＢＰＦ）１３６により中間の周波数を抜き出して振幅強調部１３７で振幅強調した後に信号合成部１３５で第１の加算信号Ｓに加算もしくは乗算することが望ましい。これにより、第１の加算信号Ｓの中間周波数のMTFの変調度を向上させ、解像度感を向上させることができる。

なお、回路１３２における平均比率係数の算出に際して、信号の切り替わりのエッジでの比率係数の誤差により色再現性が劣化するおそれがある。この劣化の対策として、ラインメモリ１２から入力された信号の比率係数を高（Hi）レベル，中（Mid）レベル，低（Lo）レベルに分離して算出し、比率係数のHiレベルもしくはLoレベルをエッジ処理部１３４で選択して新たなＲ信号、Ｇ信号、Ｂ信号を生成している。この比率係数の選択は、回路１３９からのＳ輪郭信号および回路１４０からのボケ補正処理より抽出した信号に基づいて切り換えている。

上記した第１の実施形態によれば、各画素の信号に単独画素に起因するランダムノイズが存在しても、回路１３１において３×３画素配列に対して第１の加算信号Ｓを生成することにより、第１の加算信号Ｓではランダムノイズが低減され、Ｓ／Ｎを向上させることができる。また、各画素と同位置の画素の信号として、共通の第１の加算信号ＳからＲｓ，Ｇｓ，Ｂｓ信号を生成することにより、Ｒｓ，Ｇｓ，Ｂｓ信号のランダムノイズ成分が同じとなる。したがって、デモザイキングによる偽色抑圧回路が不要となり、エッジに起因する偽色を抑制できる。すなわち、輝度ノイズしか発生しないので、単色の色ノイズを抑圧することができる。

また、１つの加算信号ＳからＲｓ，Ｇｓ，Ｂｓ信号を生成しているので、信号処理回路１４において色再現性を改善するためのカラーマトリックス演算により信号を減算処理して新たにＲＧＢ信号を生成しても、各信号に含まれるランダムノイズが同位相となり、ノイズは増加しない。

さらに、第１の加算信号Ｓの中域周波数成分を抽出して振幅強調部１３７で振幅強調した信号を第１の加算信号Ｓに加算することにより解像度感を向上させることができる。

図２（Ｂ）は、図１中の色相関ＲＧＢ生成回路１３において前述したＧ信号の補間処理を行うＧ補間処理回路１３０の動作の一例を示す。ここでは、Ｒ，Ｂ画素位置にそれぞれＧ信号を生成する。以下、図２（Ａ）に示す３×３画素配列の中心位置のR3画素（補間対象）の位置に補間用のＧ信号gmを生成する方法を図２（Ｂ）に示す。まず、R3画素に隣接する４つのＧ画素(=G1,G2,G4,G5 画素)の信号レベルの最大値(Gmax)と最小値(Gmin)を判定し、ステップＳ１においてその差分の信号Gd(=Gmax-Gmin)を求める。ステップＳ２においてこの差分信号Gdを所定の判定レベルLevNと比較し、GdがLevNより小さいと判定した場合、ステップＳ５においてＧ信号gmとして４つのＧ信号の平均値=(G1+G2+G4+G5)/4を生成する。上記判定レベルLevNは、ランダムノイズレベルを想定している。差分信号GdがLevNより大きいと判定した場合、次のステップＳ３においてさらに、R3画素に縦方向に隣接する２つのG1,G5画素の信号の差分信号の絶対値ABS(G1-G5)をLevNと比較し、ABS(G1-G5)がLevNより小さいと判定した場合は、ステップＳ６においてG1,G5画素の信号の平均値=(G1+G5)/2を生成して補間する。これに対して、ABS(G1-G5)がLevNより大きいと判定した場合はステップＳ４に移行し、R3画素に横方向に隣接する２つのG2,G4画素の信号の差分の絶対値ABS(G2-G4)がLevNより小さいか否かの判定を行なう。絶対値ABS(G2-G4)がLevNより小さいと判定した場合は、ステップＳ７においてG2信号とG4信号の平均値=(G2+G4)/2を生成して補間する。R3画素の縦方向、横方向に相関がない場合には、ステップＳ８に進み、R3画素の周辺のR1,R2,R4,R5画素の信号とR3画素の信号の差分信号の絶対値ABS(R1-R3)=R13,ABS(R2-R3)=R23,ABS(R4-R3)=R43,ABS(R5-R3)=R53を算出する。この４つの差分信号の絶対値(R13,R23,R43,R53)の算出の結果から、ステップＳ９において差分信号が最小Rminである画素の位置（最小画素位置）を決定する。そして、Ｇ信号gmとして、最小画素位置と同じ方向の画素の信号を用いる
。例えば、R3画素の周辺のR1,R2,R4,R5画素の中でR2画素の信号とR3画素の信号の差分が一番小さい場合には、R2画素とR3画素の中間に位置するG2画素の信号で補間する。このような処理により、高解像度のＧ信号gmを補間することができる。

なお、４つの差分信号の絶対値(R13,R23,R43,R53)が全てLevNより小さい場合は、４つのＧ信号の平均値=(G1+G2+G4+G5)/4で補間することによりＳ／Ｎを改善することができる。このＧ補間処理の方法は、本例以外も適用できる。

ここで、Ｇ補間処理回路１３０は図２（Ｂ）に示すフローチャートで表された動作を行なうようにプログラミングされたソフトウエアを用いて実行するコンピュータであってもよく、或いは図２（Ｂ）に示された各ステップの動作を行なうように組み立てられた独立の回路を組み合わせて構成してもよい。また、以下に順次動作方法を説明する色相関ＧＢＲ生成回路１３内の各ブロック回路もその方法を実現するように構成したソフトウエアを用いてコンピュータにより実現してもよいし、あるいはディスクリート回路の組み合わせにより構成された回路を用いてもよい。

図３は、図１中の色相関ＲＧＢ生成回路１３においてＧ輪郭信号を生成する方法の一例を示す。図２（Ｂ）に示した方法により補間のために生成したＧ信号を用いて、Ｇ輪郭信号を生成する。例えば図３に示す５×５画素配列Ｐ３１内の太線内の３×３画素配列Ｐ３２の中心位置のG33画素に対しては、G33画素の信号レベルを８倍し、G22、g23、G24、g32、g34、G42、g43、G44画素の各信号レベルを−１倍して加算した信号G33'をＧ輪郭信号として生成する。このＧ輪郭信号G33'は、均一被写体では発生せず（零）、センサ１１の表面に縦縞、横縞などのパターンが発生した場合に発生する。他の輪郭生成方法として、Ｇ信号を低周波領域通過フィルタ（LPF）で高周波信号を除去し、元の高周波信号を含んだＧ信号との割り算を実施することで、LPFより低い低周波領域では結果が１となる。LPFより高い高周波信号は１より大きいかもしくは小さい結果が得られる。よって、割り算の結果が１以外となる信号が高周波信号であり、この信号を輪郭信号として抽出することができる。この抽出した信号を最適な輪郭信号レベルに振幅調整し、元の信号に乗算することで輪郭強調した合成信号が生成できる。輪郭信号の生成方法は、さらに他の方法も適用できる。

図４および図５は、図１中の色相関ＲＧＢ生成回路１３における基本的な処理方法および被写体のエッジ領域（被写体から得た信号が急激に変化する領域）に対して実施する処理方法の一例を示す。

まず、５×５画素配列もしくは７×７画素配列の中心画素（Ｔ画素）（ここでは５×５画素配列Ｐ４１内の中心画素：Ｔ画素）を中心に３×３画素配列Ｐ４２のフィルタ演算を実施する。この際、図示したように、３×３画素配列Ｐ４２のＴ画素の信号を４倍し、Ｔ画素に隣接する上下左右の画素の信号を２倍し、３×３画素配列のコーナー部の画素の信号を１倍とし、これらを合計した信号レベルを１／１６にする。こうして得られた信号をＴ画素の加算信号Ｓ０とする。その後、加算信号Ｓ０にＢＰＦ１３６からの信号とＳ輪郭回路からの信号とを合成部１３５で合成してＳａ信号を生成する。

一方、加算信号Ｓ１〜Ｓ８の平均値Ｓaveを生成し、ＲＧＢベイヤー配列からなる５×５画素配列もしくは７×７画素配列（ここでは５×５画素配列）の各信号中の同じ色の画素信号の平均値をそれぞれＲave、Ｇave、Ｂaveとして算出する。信号Ｓaveは、Hi、Mid、Loの各Ｒave、Ｇave、Ｂaveを加算した信号とする。そして、被写体画像のエッジ部分の信号（エッジ信号）をエッジ処理部１３４により検出し、エッジ部分にエッジ処理を実施する。エッジ処理に際しては、５×５画素配列もしくは７×７画素配列（ここでは５×５画素配列）の同色の全信号の平均値を比率係数として単純に用いるのではなく、Ｒ信号、Ｇ信号、Ｂ信号の比率係数を大，中，小レベルに分離して算出し、信号のエッジ領域では信号の大レベルもしくは小レベルに対応して算出した比率係数を用い、信号の平坦領域では中レベルに対応して算出した比率係数を用いる。

上記したようにＲ信号、Ｇ信号、Ｂ信号の比率係数を大，中，小レベルに分離して算出する際、Ｒ，Ｇ，Ｂ信号のそれぞれの比率係数の並べ替え処理を行う。例えば図５に示すように、５×５画素配列Ｐ５１の各画素ＲＧＢそれぞれの信号をそのレベルに従って小から大へ順に並べる。例えば画素Ｂについて最小レベル画素Ｂ１から最大画素Ｂ４の順に並べる。そして、Hiレベル２画素のＲ，Ｇ，Ｂの平均値Ｒave、Ｇave、Ｂaveをそれぞれ算出する。ここで、３画素の平均値を算出してもよい。同様に、Midレベルの２画素もしくは３画素のＲ，Ｇ，Ｂの平均値Ｒave、Ｇave、Ｂaveを算出する。ここでは画素ＲのMidレベルが３画素平均であり、他は２画素平均を算出している。同様に、Loレベルの２画素もしくは３画素のＲ，Ｇ，Ｂの平均値Ｒave、Ｇave、Ｂaveを算出する。そして、加算信号の平均値Ｓaveは、図４に示すようにそれぞれのHi,Mid,Loレベルの各平均値を加算（Ｓave＝Ｒave+Ｇave+Ｂave）して算出する。なお、上記したエッジ領域に対する処理の対象となる画素数は、２画素、３画素に限定されない。

そして、上記平均値Ｒave、Ｇave、Ｂaveおよびこれらを加算した平均値Ｓaveに基づいて第２の加算信号Ｓａに対応した３つの比率係数Ｋａ（＝Ｒave／Ｓave，Ｇave／Ｓave，Ｂave／Ｓaveを算出する。そして、ＲＧＢ生成部１３３により、信号ＫａとＳａを用いて新たな信号Ｒｓ（＝Sa＊Rave/Save）、Ｇｓ（＝Sa＊Gave/Save），Ｂｓ（＝Sa＊Bave/Save）を生成する。この際、Ｓ輪郭信号がHi（プラス）の時には、Hiレベルの比率係数を用いて新たにRs,Gs,Bs信号を生成する。Ｓ輪郭信号がLo（マイナス）の時には、Loレベルの比率係数を用いて新たにRs,Gs,Bs信号を生成する。このようにＳ輪郭信号のHi、Loを算出してRs,Gs,Bs信号を生成処理することにより、色収差によってＲ，Ｇ，Ｂの最高の解像度が得られる位置がずれていてもエッジ領域の偽色信号発生を抑圧することができる。

図６（Ａ）〜図６（Ｈ）は、図１中の色相関ＲＧＢ生成回路１３内のボケ補正回路１４０において第１の加算信号Ｓのボケ補正を行う処理の一例を示す。図６（Ａ）は、センサ部１１内の画素によって表される信号イメージを示しており、斜線部分は加算処理により信号波形が緩やかに傾斜しているエリアを示している。図６（Ａ）中のＧ−Ｇ´線に沿う画素列に対応して示すＧ−Ｇ´信号波形のように、図中左側(G側)から図中右側(G'側)へ緩やかに信号レベルが上昇している。ここで、図６（Ｂ）に示すように、３×３画素配列Ｐ６１内の中心領域の画素に着目し、１０×１０画素配列Ｐ６２の中心位置(5,E)の画素の信号をD0とし、斜め４方向に隣接する画素の信号をD1〜D4とする。そして、このD1〜D4について図６（Ｃ）に示すような判定条件により傾斜判定を実施する。すなわち、D0との差分が所定の判定レベルLevNより小さい場合は、図６（Ｄ）に示すように７×７画素配列Ｐ６３において傾斜がない場合と判定して０（零）とし、傾斜がある場合を１とする。このような傾斜判定の結果に基づいて、まず、この７×７画素配列Ｐ６３内の中央部の３×３画素配列のエリアで０の有無を判定する。０が無い場合は判定エリアを５×５画素配列に広げる。最大エリアは自由に設定できる。この５×５画素配列に０がある場合は、この０の位置の信号と置換する。０が複数画素ある場合は、平均値処理やメディアン処理を行って置換する。０の信号が大信号（５×５画素配列に対応）と小信号（３×３画素配列に対応）に含まれる場合は、含まれる個数が多い方を選択する。この処理を順次選択することにより、図６（Ｅ）に示すように緩やかな傾斜を改善した信号が得られる。もし、図６（Ｄ）中の５×５画素配列のエリアに０が無い場合は、加算処理で発生した傾斜でなく、元来の被写体自身の緩やかな傾斜と判断し、信号を置換せずにそのまま用いる。

図６（Ｆ）は、比率係数のHi,Lo判定方法の一例を示す。図６（Ｄ）の判定結果１の信号D(1)に対して、周辺判定結果０の信号D(0)との大小判定を実施し、D(0)が大きい場合は+1とし、小さい場合は-1と判定する。その結果、G-G'の比率係数は図６（Ｇ）に示すようになり、例えば図６（Ｈ）に示すＧ−Ｇ´信号波形のように、判定結果0,-1,+1,0…に応じてMid,Lo,Hi,Mid,…で使う係数が定まる。

図７（Ａ）〜図７（Ｊ）は、図１に示したＣＭＯＳイメージセンサにおける各部の信号処理の流れを示す。ここでは、信号処理の原理を判り易くするために、センサ部１１から出力されるＲ，Ｇ，Ｂ信号は同位相で出力されているように１ライン分を抜き取った信号波形を示している。この信号を水平方向に1,2,1の重み付けでフィルタ処理を行い、Ｓ／Ｎが改善された信号Ｓを得る。しかし、この信号Ｓは、信号の切り換わりエッジ部分が緩やかになってしまうため、限界解像度の領域では変調度が零となり、信号変化が検出できない。

そこで、図２（Ａ），２（Ｂ）および図３を参照して前述したように生成されたＧ輪郭信号をＳ輪郭信号として用いている。そして、このＳ輪郭信号を信号Ｓに加算することで、元のＧ信号と同じ高解像度のＳａ信号が得られる。この際、Ｓ輪郭信号の信号レベルは、解像度感に対応して調整するようにしてもよく、Ｓ輪郭信号のレベルを大きくして加算することにより、輪郭強調の効果が得られる。

また、前述したようにセンサ部１１から出力されるＲＧＢ信号は、レンズ１８による色収差のために信号位相がずれて出力されている。Ｓ輪郭信号は、前述したＧ輪郭信号を用いているが、小さな輪郭信号レベルはノイズと判断し、Ｓ輪郭信号から削除し、大きな信号のみをＳ輪郭信号としている。また、輪郭レベルを調整してＳ信号に加算している。加算した信号Ｓは、ＲＧＢの各信号を加算している。このため、図７（Ｅ）に示すように、低周波領域では、信号変化部分で信号の傾斜が緩やかになっており、高周波領域では、信号の変化レベル（変調度）が小さくなっている。Ｓ信号にボケ補正を実施した図７（Ｆ）に示すＳｂ信号は、低周波領域のエッジボケを改善している。高周波領域では、緩やかな傾斜となっていないので、Ｓ信号がそのまま出力される。このＳｂ信号にＳ輪郭信号を加算した図７（Ｇ）に示す信号Ｓａは、信号のエッジ部分が強調されて、解像度感を改善している。

図６（Ａ）〜図６（Ｈ）中に示したように生成した信号とＳ輪郭信号から得られた極性を合成した信号は、比率係数選択信号となっており、この信号に基づいて、信号波形のHi,Mid,Loの比率係数Kaを決定している。

ここで、エッジ領域の比率係数の選択方法の一例を説明する。図７（Ｄ）に示すＳ輪郭信号レベルがプラスもしくはマイナスの時はエッジ部分であると判定できる。Ｓ輪郭信号レベルが零の時は、エッジ部分でないと判定できる。この判定に基づいて、図４に示すエッジ処理回路１３４において、比率係数の中からＳ輪郭信号がプラスの時にはHiレベルの平均値(Hi-ave)の比率係数を選択し、Ｓ輪郭信号がマイナスの時にはL0レベルの平均値(L0-ave)の比率係数を選択し、Ｓ輪郭信号が零の時にはMidレベルの平均値(Mid-ave)の比率係数を選択する。Ｓ輪郭信号が所定レベルより小さい時は、信号無し（零）と判定している。Ｓ輪郭信号が所定レベルより大きい時は、輪郭信号有りと判定し、プラスもしくはマイナスの信号を有効にしている。なお、上記とは別の処理方法として、低域のエッジ領域でエッジ信号を判定した時には、図２（Ｂ）で算出した比率係数は隣接の比率係数で補間処理することもできる。

次に、Ｓａ信号と３つの係数KaからRs,Gs,Bs信号を生成する。この結果、元のＧ信号が持つのとほぼ同じ解像度情報が生成される。さらに、図７（Ｃ）および図７（Ｊ）から明らかなように、Bs,Rs信号のエッジはGs信号と位相が同じになるので色偽信号は発生しない。また、Rs,Gs,Bs信号のランダムノイズとＲ，Ｇ，Ｂ信号は相関を持っている（同位相となる）。すなわち、ランダムノイズでＧ信号レベルが大きくなれば、Ｒ，Ｂ信号とも大きくなり、ランダムノイズでＧ信号レベルが小さくなればＲ，Ｂ信号とも小さくなる。したがって、従来発生していた色ノイズ（ドット状のランダムノイズ）を抑圧することが可能になり、ノイズは輝度ノイズのみとなる。

図８（Ａ）および図８（Ｂ）は、図１中の色相関ＲＧＢ生成回路１３において第１の加算信号Ｓの中周波数領域（中域）の信号振幅を拡大（強調）する方法の一例を示す。図８（Ａ）では、第１の加算信号ＳからＢＰＦ処理を用いて中域信号を抜き出す方法を示す。例えば、５×５画素配列Ｐ８１内の３×３画素エリアＰ８２の中心画素の信号S33に、３×３画素エリアＰ８２の各画素に対応した係数（４、２、１）を掛け算し、加算する。そして、加算の前後で信号レベルが同じになるように、加算後に１／１６にし、この強調信号を新たに中心画素の信号S33'とする。

図８（Ｂ）は、３×３画素エリアＰ８２中の各画素に対して上記と同様に処理して強調信号を生成する方法を示す。このように生成した信号に、図３を参照して前述したと同様の輪郭抽出処理をすることによって中域の強調信号S33''を抽出する。この信号S33''を、図１中の振幅強調部１３７で振幅を制御して元の第１の加算信号Ｓに加減算する。これにより、中域周波数の振幅が増加し、解像度感が向上する。このように振幅強調を実施しても、本実施形態では、色バランスは平均比率算出で別に実施しているので、色再現性は変化しない。

＜第２の実施形態＞
図９は、第２の実施形態に係るＣＭＯＳイメージセンサの概略構成を示すブロック図である。前述したようにレンズ１８でピントボケした画像から得られる入力信号は高解像度の信号ではない。そこで、第２の実施形態のＣＭＯＳイメージセンサでは、レンズ１８のピントボケの対策を実施しており、前述した第１の実施形態の色相関ＲＧＢ生成回路１３と比べて、一部が異なる色相関ＲＧＢ生成回路１３ａが用いられる。

以下、異なる部分を主として説明する。色相関ＲＧＢ生成回路１３ａにおいて、加算回路１３１からの第１の加算信号Ｓに補正回路１４０でボケ補正処理を施したＳｂ信号をスイッチ素子１４１により選択してＳ輪郭回路１３９に導き、これを用いてＳａ輪郭信号を生成している。この補正回路１４０からのＳｂ信号を用いることで、高いＳ／Ｎを有する輪郭信号が生成される。勿論、第１の実施形態と同様に、補間処理回路１３０からのＧ信号をスイッチ素子141により選択してＳ輪郭回路１３９に与えて形成した信号を用いても良く、さらには、Ｓｂ信号からの輪郭信号とＧ信号からの輪郭信号を合成してＳ輪郭信号に用いても良い。他の回路は図１に示したものと同じであり、重複する説明は省略する。

上記図９に示した第２の実施形態によれば、前述した第１の実施形態と同様の効果が得られる。しかも、図１１（Ａ）、図１１（Ｂ）を参照して後で述べるＲＧＢの焦点位置の異なるレンズ１８aを使用する場合でも、信号処理によって擬似的に被写界深度を深くすることができる。

＜第３の実施形態＞
図１０は、第３の実施形態に係るＣＭＯＳイメージセンサの概略構成を示すブロック図である。このＣＭＯＳイメージセンサは、Ｓ輪郭として、Ｓｂ信号から生成した輪郭信号ＳｂをRGB信号から生成したＲ輪郭信号，Ｇ輪郭信号，Ｂ輪郭信号と合成し、これをＳ輪郭合成信号として用いている。レンズ１８ａは、レンズ設計で発生する軸上色収差（図１１（Ａ）参照）を有するが、この軸上色収差を積極的に活用している。すなわち、図１１（Ｂ）に示すように、光入力のＢ成分のピント位置を３０ｃｍ前後とし、Ｇ成分のピント位置を５０ｃｍ〜１ｍ、Ｒ成分のピント位置を１ｍ以上の被写界深度が得られるようにレンズ１８ａを設計している。そして、光信号の各BGR のピント位置をずらすことによって、被写界深度を異ならせている。

このＣＭＯＳイメージセンサでは、図１２に示すように、まず、各RGB信号の５×５画素配列Ｐ１２１、Ｐ１２２、Ｐ１２３の夫々について３×３画素配列における補間処理（中心画素を上下左右の４画素の平均値で埋める処理）を図示のように実施する。この補間した各画素信号から図２（Ｂ）あるいは図３と同様の処理により各RGB信号の輪郭信号を抽出する。抽出した信号を加算することで、近い被写体から遠くの被写体まで解像度感のある信号が得られる。

第３の実施形態によれば、前述した第１の実施形態と同様の効果が得られる。しかも、図１１（Ａ），図１１（Ｂ）に示す軸上色収差を有する通常のレンズ１８ａを用いても、信号処理により被写界深度を深く設定することができる。

＜第４の実施形態＞
図１３は、第４の実施形態に係るＣＭＯＳイメージセンサの概略構成を示すブロック図である。第４の実施形態は、前述した第３の実施形態と比べて、レンズ１８ａは同じものを採用しているが、センサ部１１ｂの一部、色相関ＲＧＢ生成回路１３ｂの一部が異なる。

以下、異なる部分を主として説明する。センサ部１１ｂの色フィルタ配列は、４×４配列のＷＲＧＢフィルタを基本とした原色フィルタ１１１を用いており、ＷフィルタはＲＧＢの信号を透過する色フィルタである。これにより、センサ部１１ｂは、レンズ１８ａで集光した光信号をＷ，Ｒ，Ｇ，Ｂ信号に分離し、二次元のフォトダイオードアレイで信号電荷に変換させ、ＡＤＣ１１２でデジタル信号に変換して出力する。

なお、図１３に示すように、ＲＧＢフィルタ夫々の上下左右をＷフィルタで囲む配列となるように、Ｗフィルタを市松模様に配置しておくことにより、色相関ＲＧＢ生成回路１３ｂでは、フィルタ１１１内の４×４画素配列の内のどの組み合わせでもＷＲＧＢ画素の個数が同じ加算信号Ｓを得ている。また、補間回路１３０ＷによるＷ信号の補間処理、輪郭回路１３９ＷによるＷ信号の輪郭抽出を実施して、合成回路１３９ＳによりＳ輪郭信号を得ている。これにより、被写体の位置に応じて、Ｗ信号の輪郭情報として、近い被写体はＢ信号から、遠い被写体はＲ信号からの輪郭信号を抽出している。

第４の実施形態によれば、前述した第１の実施形態と同様の効果が得られる。この際、Ｗ画素を用いることにより、Ｓ信号量が増加するので、撮像感度が向上する。

＜その他の実施形態＞
上述した各実施形態では、５×５の画素配列と７×７の画素配列を例にとって説明したが、画素数をさらに増加させることで、さらに高いＳ／Ｎ、高画質化を実施できる。

また、輪郭信号の幅を大きく抽出したり（複数画素分）、複数画素分の大きな幅と小さな（例えば１画素分）幅の信号を合成した輪郭信号を用いることで、ボケ補正回路を用いずに同等のボケ補正効果を得ることができる。

なお、カラーカメラのＳ／Ｎの劣化の要因の１つであるＲＧＢマトリックス回路は、ＲＧＢの色再現性を改善するために、ＲＧＢの行列演算を例えば次の演算式で実施している。

この処理は、１つの色に対して他の２色を減算している。すなわち、１つの色に他の２色が混色している量を減算することで、１つの色の純度を高めて色再現性を改善している。上記混色の要因には、色フィルタ自身の分光特性や、センサのフォトダイオードまでの光学的なクロストークや、センサ部のシリコン基板内での信号の拡散要因などがある。従来はRs,Gs,Bsの信号のノイズがランダムであるので、上記減算処理によってノイズ量が増加していた。

これに対して、本発明の実施形態では、Rs,Gs,Bsのランダムノイズが同一成分であるので、上記減算処理によってランダムノイズを低減する効果がある。例えば、Ｒ信号を生成する時、ランダムノイズによってRs信号が大きくなった時、信号Gs、Bsも大きくなっている。行列演算により、Ｒ信号はRs信号からGs,Bs成分を減算するので、ランダムノイズが大きい分、大きな信号を減算する。よって、Ｒ信号はより大きな信号を減算している。上記とは逆に、ランダムノイズによってRs信号が小さく時、信号Gs、Bsも小さくなる。行列演算により、Ｒ信号はRs信号からGs,Bs成分を減算するが、ランダムノイズが小さい分、小さな信号を減算する。よって、Ｒ信号は信号の低下が小さい。この結果、Ｒ信号はランダムノイズを小さくする効果がある。同様に、Ｇ，Ｂ信号のランダムノイズも小さくなる。

また、本発明の撮像装置は、色フィルタ配列が異なったＣＭＯＳイメージセンサに適用した場合でも、ＲＧＢ信号を生成した後に、同様の加算信号Ｓの生成とＲＧＢの比率算出に基づいて新たなRs,Gs,Bsを生成することにより、前記した効果と同じ効果が得られる。

また、本発明の撮像装置は、ＣＭＯＳイメージセンサに限定されることなく、その他のＣＣＤ（電荷結合型）センサや積層型センサでも適用できるほか、センサとは別チップで形成される専用のＩＳＰ（イメージシグナルプロセッサ）にも適用できる。

また、本発明は、センサ部で例えば１０ビットＡＤＣの信号を４画素分加算してＳ信号を生成する場合に適用すると、Ｓ信号は、加算処理により実質１２ビットの高精度化が可能になり、実質の飽和信号量が４倍になる。さらに、４画素分の加算処理により、ランダムノイズは約１／２に低減する。このように飽和信号量が４倍、ノイズ低減が１／２になると、ダイナミックレンジ（飽和信号量／ランダムノイズ）を８倍に拡大することが可能になる。さらに、４×４画素配列の16画素分の加算を行うと、飽和信号量が１６倍、ランダムノイズが１／４に低減し、ダイナミックレンジを６４倍に拡大することが可能になる。したがって、微細画素で飽和信号量が低下したとしても、実質４画素分を加算すれば、飽和信号量も４倍されるので、飽和信号量が実質的に従来の１／４でも、従来と同じＳ／Ｎが得られる。

例えば、飽和信号量が10000eleの時には、ショットノイズ（飽和信号量の平方根）は100eleとなり、Ｓ／Ｎ＝４０ｄＢが得られる。飽和信号量が2500ele の時には、ショットノイズは50ele となり、Ｓ／Ｎ＝３４ｄＢとなる。しかし、本発明を適用すれば、４画素加算で信号量が４倍の10000eleとなり、この時のノイズは２倍しか増大しないので、100eleとなる。この結果、Ｓ／Ｎ＝４０ｄＢが得られる。したがって、飽和信号量が実質的に１／４になっても、高いＳ／Ｎを期待することができる。

また、本発明の撮像装置は、レンズ１８、１８aの色収差による画質の劣化を回避できるので、レンズ１８、１８aのＦ値を小さくすることにより高感度化を実現することができる。また、レンズ１８の高さを低く、言い換えるとレンズ１８の厚さを薄くすることで、カメラモジュールの高さを低くすることができる。この結果、薄型の携帯電話機に対応した小型カメラモジュールを容易に実現することができる。

また、上記実施形態では、ＲＧＢ形式もしくはＷＲＧＢ形式の単板カラーカメラを例にとって説明したが、プリズムを使って３原色のＲＧＢ信号を得る３板カラーカメラでも色収差が発生するので、上記実施形態と同様の原理で高感度化、色収差対策を実施することができる。また、本発明を白黒センサに適用して輪郭補正を行った場合には、信号の増大とノイズ低減により、感度を高め、ダイナミックレンジを拡大することができる。

ここで、図１３の実施例のＷＲＧＢのカラーフィルタ１１１の４×４画素配列Ｐ１４１を図１４に示す。図１５はこの縦方向の画素列ＷＧＷＧにおけるセンサ部１１の断面図、図１６はこのＷＲＧＢの画素フィルタの分光特性を示す。図１５において、カラーフィルタ１１１の前面にはレンズ１８aの代わりにマイクロレンズ１８ｂが画素ごとに設けられ、フィルタ１１１を通過した光は半導体基板であるＳｉ基板１５０の表面領域に形成された画素ごとのフォトダイオードＰＤＷ，ＰＤＧの受光面に焦点を結んで入射される。

図１６に示すように、Ｗの色フィルタは透明（白）なため、他のRGBフィルタより光強度のピークが高く、すべての成分を含むため、ダイオードＰＤＷからはRGBの全領域の信号を得ることができる。しかし、Ｓｉ基板１５０内で光電変換した信号電荷が拡散することで他の色の画素へ混入し混色が発生する。しかもＷ画素無しのRGBの分光特性に対して、信号レベルが持ち上がっている。この混色の影響で色が薄くなる。このため、色再現性を改善するためにカラーマトリックス係数を大きくすることで、色再現性を改善する。しかし、このマトリックス係数が大きいとＳ／Ｎが大きく劣化する。一般的に自分の信号から他の色の信号を減算するため、信号Ｓが小さくなり、ランダムノイズＮが小さくならないためＳ／Ｎが劣化する。また、Ｗ画素の信号は、Ｇ画素の信号に対して約２倍得られる。そのため、Ｗ画素が飽和しない感度設定にすると、RGB信号は従来の１／２と小さくなるため、光ショットノイズで３ｄB劣化する課題がある。なお、Ｗの透明な色フィルタをグレー化することで感度を小さくできる。この結果、Ｗ画素からの混色を低減する方法がある。しかし、この方法はＷ画素を使った高感度のメリットが無くなるという問題を派生する。

＜第５の実施形態＞
図１７に、この問題を解決できる実施例のＷＲＧＢカラーフィルタの４×４画素配列Ｐ１７１を示す。この画素配列は、図１８に示すように、市松状に配置したＷ画素の面積を小さくし、他のR,G,Bの面積を相対的に大きくしている。図１９に水平方向に配列されたＷＧＷＧ画素に対応するセンサ部１１ｃの断面図を示す。PDＷ，PDGの受光面の面積は画素ＷＲＧＢに対してすべて同じ面積になっている。この面積は、標準的な色温度を想定した場合に発生する信号電荷量に応じてサイズを最適化して良い。図１７の平面図に示した画素Ｗに対応して、図１９に示すように、マイクロレンズ１８ｃと色フィルタＷの面積を、色フィルタＧのそれら（マイクロレンズ１８ｃ1，１８ｃ2と色フィルタＧの面積）より小さく設定している。即ち、感度の高いＷ画素の面積を小さくし、Ｗ画素より感度の小さいＧもしくはＲ，Ｂの面積を大きくしている。このように面積を異ならせることで、標準的な色温度例えば5500Kの時のＷ画素とＧ画素の信号量を同等にしている。Ｗ画素の高感度化のメリットをＷ画素に入射する面積を小さくし、他のR,G,B画素の面積を大きくすることで高感度化を実現できる。

マイクロレンズの曲率は、面積が大きいR,G,B画素に対応するマイクロレンズ１８ｃ1，１８ｃ2を大きくし、面積が小さいＷ画素のマイクロレンズ１８ｃの曲率を小さくしている。マイクロレンズの曲率を変えるには、例えば、マイクロレンズの形成をＷ画素では１回の塗布プロセスで形成し、面積の大きいR,G,B画素の部分では２回以上の塗布プロセスで形成することで実現できる。即ち、Ｗ画素でのマイクロレンズは１層からなり、R,G,B画素でのマイクロレンズは２層以上からなる。ここでは、Ｗ画素（画素面積小）が１層、R,G,B画素（画素面積大）が２層以上で説明しているが、R,G,B画素のマイクロレンズを形成する層がＷ画素のマイクロレンズを形成する層より多くの層によって形成されていればよい。図２０に分光特性を示す。Ｗ画素の信号レベルを小さくし、その分R,G,B画素の信号が増加していることが分かる。入射するＷ画素の信号量が減少するため、波長550nm以上のＲ，Ｇの信号の裾野のレベル浮き（混色）が低減している。この結果、色再現性を改善するためのカラーマトリックス係数を小さくすることができ、Ｓ／Ｎの劣化を低減している。

このように、高感度化のために用いる透明（白）の色フィルタはＧ信号の約２倍の感度を有する。よって、信号のバランスが崩れる問題や、Ｗ画素からのリークにより混色が大きくなり色再現性改善のためのカラーマトリックス係数が大きくなるためＳ／Ｎが劣化する問題が有ったが、本実施例は、高感度のＷ画素の面積を小さくし、その分を他のRGB色画素の面積を大きくすることで色信号のＳ／Ｎを改善するとともにＷとＧ画素の信号レベルが同じになるように調整することができる。その結果、カラーマトリックス係数を小さくできるためＳ／Ｎの劣化を回避することができる。

即ち、Ｗ画素を小さくすることで、シリコン（Ｓｉ）基板１５０内で発生する混色を低減できるためカラーマトリックス処理によるＳ／Ｎ劣化を低減できる。さらに、他のRGB画素の実効的な光の入射する面積を大きくすることにより、感度が高くなるためＳ／Ｎが改善できる。

図２１（Ａ）〜図２１（Ｃ）に、この発明の実施に用いるレンズ構成の例を示す。図２１（Ａ）はレンズ開口絞りがF2.8の場合の一般的な焦点面の結像状態を示している。図２１（Ｂ）に開口絞りがF2.0と小さくした場合を示す。一般に、F値を小さくすると焦点位置における入射光と光軸との角度が大きくなるため、焦点深度が狭くなるため焦点が合う被写体の距離が狭くなる。図２１（Ｃ）に特に本発明の実施に好適な焦点深度を深くしたレンズの例を示す。レンズの球面収差を利用している。図２１（Ｃ）では、F2.8のレンズ開口エリアよりF2.0を使ったときに広がる開口エリアの領域で中央エリアより焦点距離を長く設定することで焦点深度を深くしている。すなわちレンズの色収差とさらに球面収差を利用している。球面収差はレンズ形成時にリング状または上下もしくは左右で焦点距離を異ならせて形成することで実現できる。通常、開口F値を小さくすると焦点範囲が狭くなる、このため色収差をさらに低減するようにレンズ設計をすると、レンズ枚数が増加していた。図２１（Ｃ）のレンズでは、逆に色収差を大きくすることで、焦点深度を深くすることができ、色収差を低減しなくて良いためレンズ枚数を少なくできる。レンズ枚数が少なくなることでカメラモジュールの高さも低くすることができる。更にレンズ絞りF2.0とすることでF2.8に対して約２倍の光量が得られるため（F値の２乗比で増加）高感度化が実現できる。

ここで、図２２（Ａ），図２２（Ｂ）を参照してこの発明に用いられるレンズの材料について述べる。図２２（Ａ）は代表的な色消しレンズの構成を示す。この色消しレンズは1733年にイギリスの数学者ホールが、低屈折率低分散のレンズＬ１を高屈折率高分散のレンズＬ２と組み合わせることで、焦点位置での色収差低減を実現する方法として発明された。ここで、高分散とは、波長の違いによる屈折率の差が大きいことを意味し、低分散とは波長の違いによる屈折率の差が小さいことを意味している。

色収差を大きくするためには、図２２（Ｂ）に示すように、２枚のレンズ材料を同じものを用いることで色収差を発生させることができる。例えば、高屈折率高分散の材料を使って二つのレンズＬ１，Ｌ２を形成することで、このＬ１，Ｌ２組み合わせレンズからの焦点位置を短くすることができ、色収差も大きくできる。材料も１種類なため材料のコスト低下にも寄与できる。

図２３にこの発明を携帯電話などに使われているカメラモジュールに適用した一例の断面図を示す。センサチップ２３１は、ガラスエポキシなどの基板２３２上に接着剤で固定されている。センサチップ２３１のPADからワイヤ２３３で基板２３２の端子に接続されている。図示しないが、基板２３２では基板２３２の側面もしくは、底面に接続端子を引き出している。センサチップ２３１の上部には、赤外カット（IRcut）ガラスの２枚の光学レンズ２３４と、２枚のレンズ２３４間に絞り２３５を配置し、レンズバレル２３６上にプラスチックの樹脂で固定している。このレンズバレル２３６はレンズホルダ２３８上に固定されている。なお、センサチップ２３１とレンズ２３４との間に必要に応じてＩＲカットガラス板２３８を挿入してもよい。一般にレンズ２３４の枚数は、画素数が増加するにしたがって枚数が多くなっている。例えば3.2M画素では３枚レンズが多く使われている。また、センサチップ２３１は例えば図１の第１実施形態で説明した破線で囲んで示したＣＭＯＳイメージセンサであり、あるいは図９、１０、１３の実施例のイメージセンサであり、更にイメージセンサに他の機能を付加したセンサチップであってもよい。

また、前述した各実施形態はそれぞれ、単独で実施できるばかりでなく、適宜組み合わせて実施することも可能である。さらに、前述した各実施形態には種々の段階の発明が含まれており、各実施形態において開示した複数の構成要件の適宜な組み合わせにより、種々の段階の発明を抽出することも可能である。

本発明の撮像装置の第１の実施形態に係るＣＭＯＳイメージセンサの概略構成を示すブロック図。図１中の色相関ＲＧＢ生成回路においてＧ信号の補間処理を行う方法の一例を示す図。図１中の色相関ＲＧＢ生成回路においてＧ輪郭信号を生成する方法の一例を示す図。図１中の色相関ＲＧＢ生成回路における基本的な処理方法および被写体のエッジ領域に対して実施する処理方法の一例を示す図。図４の処理方法の一部を詳細に示す図。図１中の色相関ＲＧＢ生成回路において第１の加算信号Ｓのボケ補正処理の一例を示す図。図１に示したＣＭＯＳイメージセンサにおける各部の信号をその信号処理の流れに沿って示す図。図１中の色相関ＲＧＢ生成回路において第１の加算信号Ｓの中域の信号振幅を強調する方法の一例を示す図。本発明の第２の実施形態に係るＣＭＯＳイメージセンサの概略構成を示すブロック図。本発明の第３の実施形態に係るＣＭＯＳイメージセンサの概略構成を示すブロック図。図１０中のレンズで発生する軸上色収差および各色信号のピント位置を所望の被写界深度が得られるようにレンズ設計した例を示す図。図１０中の色相関ＲＧＢ生成回路におけるＧ輪郭信号生成方法の一例を示す図。本発明の第４の実施形態に係るＣＭＯＳイメージセンサの概略構成を示すブロック図。図１３におけるセンサ部のＷＲＧＢの色フィルタ配列の他の例を示す図。図１４の画素の断面図。図１５に示した色フィルタの分光特性の一例を示す図。本発明の第５の実施形態におけるイメージセンサの画素の平面図。図１７の画素の面積の大小関係を示す図。図１７の画素の断面図。図１９に示した色フィルタの分光特性の一例を示す図。この発明の実施形態に用いられるレンズの例を示す図。この発明の実施形態に用いられる組合わせレンズの例を示す図。この発明の撮影装置が組み込まれたモジュールの例を示す断面図。固定フォーカスレンズを使用した場合に被写体にピントが合っている画像でレンズの周辺部分に色収差が発生しいている様子を示す図。レンズのピントがずれたピンボケの画像及び信号波形と、レンズのピントが合った画像及び信号波形とを示す図。固定フォーカスレンズを使用して１ｍ以上にピントを合わせた場合の変調度（ＭＴＦ）特性を示す図。

符号の説明

１１，１１ｂ，１１ｃ…センサ部、１２…ラインメモリ、１３，１３ｂ…色相関ＲＧＢ生成回路、１４…信号処理部、１５…システムタイミング発生回路、１６…コマンドデコーダ、１７…シリアルインタフェース、１８，１８ａ…レンズ、１８ｂ，１８ｃ，１８ｃ1，１８ｃ2…マイクロレンズ、１１１，１１１ａ…画素部、１１２…カラム型アナログデジタルコンバータ、１３０…Ｇ補間・輪郭処理部、１３０Ｗ…補間回路、１３１…第１の加算部、１３２…平均比率算出部、１３３…ＲＧＢ生成部、１３４…エッジ処理部、１３５…信号合成部、１３６…バンドパスフィルタ、１３７…振幅強調部、１３９…輪郭信号抽出部、１３９Ｓ…合成回路、１３９Ｗ…輪郭回路、１４０…ボケ補正回路、１４１…スイッチ素子、１５０…シリコン基板。

Claims

光を集光するための光学レンズにより集光した光信号を電子に変換する光電変換素子の前面に波長分離手段を配置した画素が二次元に配置されたセンサ部によって前記光信号を２色以上の波長成分に分離して生成した信号と波長分離しないで生成した信号を処理する信号処理手段を含む撮像装置であって、
前記波長分離手段は、光の波長を分離するための色フィルタ層もしくは光の波長を分離しない透明フィルタ層と、前記色フィルタ層及び前記透明フィルタ層の上部に配置された１画素単位で光を集光するためのマイクロレンズとを有し、
前記画素の基本配列内において、画素数の半分に、光の波長を分離しない前記透明フィルタを有する画素が配置され、
光の波長を分離しない前記透明フィルタ層上のマイクロレンズは、前記色フィルタ層上のマイクロレンズより小さく形成され、
前記マイクロレンズのうち、面積が小さいマイクロレンズは少なくとも１層からなり、面積が大きいマイクロレンズは、前記面積が小さいマイクロレンズよりさらに、一層以上加えた層からなることを特徴とする撮像装置。
前記透明フィルタを有する画素は、市松状に配置されていることを特徴とする請求項１に記載の撮像装置。