JP4966035B2

JP4966035B2 - 固体撮像装置

Info

Publication number: JP4966035B2
Application number: JP2007016893A
Authority: JP
Inventors: 佳孝江川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-01-26
Filing date: 2007-01-26
Publication date: 2012-07-04
Anticipated expiration: 2027-01-26
Also published as: US8228407B2; TWI373965B; US20080180556A1; TW200836555A; CN101291437A; JP2008187274A; CN101291437B

Description

この発明は、ＣＣＤ（charge-coupled device）イメージセンサやＣＭＯＳ型イメージセンサなどの固体撮像装置に関するものであり、例えばイメージセンサ付き携帯電話、デジタルカメラ、ビデオカメラなどに使用される。

イメージセンサは、近年、画素の微細化が進み２μｍ代が実用化され、さらには１．７５μｍ画素や１．４μｍ画素の開発が進められている。２μｍ以下の微細画素では、入射光量が大幅に減少するためＳ／Ｎが劣化する。さらに、従来からカラーカメラでは、色偽信号や色ノイズにより画質が劣化するという問題がある。色偽信号の抑制やノイズ低減に関しては様々な方式が提案されている（例えば、特許文献１，２，３，４，５参照）。しかし、これらの抜本的な対策は提案されていない。
特開平４−２３５４７２号公報特開２００２−１０１０８号公報特開２００５−３０３７３１号公報特開２００１−２４５３０７号公報特開平５−１６８０２９号公報

この発明は、Ｒ信号、Ｇ信号、Ｂ信号の色偽信号を抑制できると共に、ノイズを低減できる固体撮像装置を提供する。

一実施態様の固体撮像装置は、光電変換素子にＲ（赤）、Ｇ（緑）、Ｂ（青）の色フィルタがそれぞれ配置されたＲ画素、Ｇ画素、Ｂ画素が行列状に２次元に配置され、前記Ｒ画素、Ｇ画素、Ｂ画素に入射した光をそれぞれ光電変換して得たＲ信号、Ｇ信号、Ｂ信号を出力する画素部と、前記画素部において、ある画素を中心画素とした所定エリアを定め、前記中心画素と前記所定エリア内の前記中心画素の周辺画素からの前記Ｒ信号、Ｇ信号、Ｂ信号を加算して加算信号を生成する加算部と、前記所定エリア内の画素からの前記Ｒ信号、Ｇ信号、Ｂ信号の各々の平均値と前記加算信号の平均値との比率係数を算出する比率算出部と、前記加算信号と前記比率算出部により算出した比率係数を用いて、前記中心画素における新たなＲ信号、Ｇ信号、Ｂ信号を生成するＲＧＢ生成部とを具備することを特徴とする。

この発明によれば、Ｒ信号、Ｇ信号、Ｂ信号の色偽信号を抑制できると共に、ノイズを低減できる固体撮像装置を提供することが可能である。

以下、図面を参照してこの発明の実施形態の固体撮像装置について説明する。ここでは、固体撮像装置としてＣＭＯＳイメージセンサを例に取る。説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。

［第１実施形態］
まず、この発明の第１実施形態のＣＭＯＳイメージセンサを含む固体撮像装置について説明する。

図１は、第１実施形態の固体撮像装置の概略構成を示すブロック図である。固体撮像装置は、図１に示すように、センサ部１１、ラインメモリ１２、色相関ＲＧＢ生成回路１３、信号処理回路１４、システムタイミング発生回路（ＳＧ）１５、コマンドデコーダ１６、及びシリアルインタフェース（シリアルＩ／Ｆ）１７を備えている。

センサ部１１には、画素部１１１、及びカラム型アナログデジタルコンバータ（ＡＤＣ）１１２が配置されている。画素部１１１には、画素（セル）が半導体基板上に行及び列の二次元的に配置されている。各画素は、光電変換手段（例えば、フォトダイオード）と色フィルタから構成され、フォトダイオードの上部にはＲ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタがそれぞれ配置される。色フィルタ配列は、ＲＧＢ原色のベイヤー配列となっている。

センサ部１１では、レンズ１８で集光した光信号を、ＲＧＢの３色のカラーフィルタでＲＧＢ光信号に分離し、２次元に配置されたフォトダイオードアレイによりＲＧＢ光信号を光電変換により信号電荷に変換する。この信号電荷は、カラム型アナログデジタルコンバータ（ＡＤＣ）１１２でデジタル信号（Ｒ信号、Ｇ信号、Ｂ信号）に変換される。変換されたデジタル信号は、ラインメモリ１２に出力され、ラインメモリ１２内のメモリ１〜メモリ５に垂直５ライン分、記憶される。このメモリ１〜メモリ５に記憶されたデジタル信号は、色相関ＲＧＢ生成回路１３へそれぞれ並列に入力される。

色相関ＲＧＢ生成回路１３では、ラインメモリ１２から入力されたＲ信号、Ｇ信号、Ｂ信号を加算部１３１により加算し加算信号Ｓを生成する。また、比率算出部１３２では、Ｒ信号、Ｇ信号、Ｂ信号の各々と加算信号Ｓとの比率係数を算出する。そして、ＲＧＢ生成部１３３では、加算信号Ｓと算出した比率係数から、画素配列の同じ位置の信号として信号Ｒｓ、Ｇｓ、Ｂｓを新たに生成する。この処理は従来の色分離補間回路の代わりとなる。

その後、ＲＧＢ生成部１３３にて処理された信号Ｒｓ、Ｇｓ、Ｂｓは、後段の信号処理回路１４に入力される。信号処理回路１４に入力された信号は、ホワイトバランス、輪郭強調、ガンマ補正、及びＲＧＢマトリックス回路などにより処理され、ＹＵＶ信号やＲＧＢ信号となりデジタル信号ＤＯＵＴ０〜ＤＯＵＴ７として出力される。また、前述したセンサ部１１、ラインメモリ１２、色相関ＲＧＢ生成回路１３、及び信号処理回路１４の動作は、システムタイミング発生回路（ＳＧ）１５から出力されるクロック信号に基づいて行われる。また、コマンドは、外部から入力されるデータＤＡＴＡで制御することもできる。コマンドデコーダ１６には、シリアルインタフェース（シリアルＩ／Ｆ）１７を介してデータＤＡＴＡが入力され、デコードされた信号が各回路に入力される。

次に、第１実施形態における色相関ＲＧＢ生成回路１３の処理方法について述べる。

図２は、色相関ＲＧＢ生成回路１３における処理方法を示す図である。５×５の画素配列の中心画素（ターゲット画素）を中心に３×３画素のフィルタ演算を実施する。加算部１３１により、中心画素の信号を４倍し、上下左右の画素の信号を２倍し、コーナーの画素の信号を１倍とし、これらを合計した信号レベルを１／４にする。こうして得られた信号を３×３画素の加算信号Ｓ０とする。中心画素の周辺８画素も同様に加算処理を行い、加算信号Ｓ１〜Ｓ８を生成する。

次に、比率算出部１３２により、加算信号Ｓ０〜Ｓ８の平均値Ｓaveを生成する。また、図２に示したＲＧＢベイヤー配列からなる５×５の画素信号において同じ色の画素信号の平均値をそれぞれＲave、Ｇave、Ｂaveとして算出する。そして、ＲＧＢ生成部１３３により、加算信号Ｓ０と比率係数“Ｒave／Ｓave”を用いて、新たな信号Ｒｓ、Ｇｓ、Ｂｓを次式より生成する。

Ｒｓ＝Ｓ０＊（Ｒave／Ｓave）
Ｇｓ＝Ｓ０＊（Ｇave／Ｓave）
Ｂｓ＝Ｓ０＊（Ｂave／Ｓave）
ここで、加算信号Ｓを生成することにより、加算信号Ｓからはランダムノイズが低減される。そして、同位置の画素信号として加算信号Ｓから信号Ｒｓ，Ｇｓ，Ｂｓを生成することで、従来のエッジに起因する偽色が抑制できる。さらに、Ｒ，Ｇ，Ｂ信号の単独のランダムノイズによって従来、色ノイズが発生していたが、加算信号ＳからＲｓ，Ｇｓ，Ｂｓ信号を生成することにより、各Ｒｓ，Ｇｓ，Ｂｓ信号のランダムノイズ成分が同じとなるため、色ノイズが発生しない。すなわち輝度ノイズしか発生しない（ノイズに色が付かない）。

図３に、色相関ＲＧＢ生成回路１３の加算部１３１における他の加算処理方法を示す。加算部１３１により、５×５の画素配列を、中心画素（ターゲット画素）をコーナーとする２×２の４画素からなる４ブロックＡＺ、ＢＺ、ＣＺ、ＤＺに分割する。４ブロックの各ブロックにおいて、２×２の４画素の信号を加算し、信号Ｓａ、Ｓｂ、Ｓｃ、Ｓｄを生成する。そして、この４つの信号Ｓａ、Ｓｂ、Ｓｃ、Ｓｄを平均化することにより、すなわち信号Ｓａ、Ｓｂ、Ｓｃ、Ｓｄを加算し４で割ることにより、加算信号Ｓ０を生成する。中心画素の周辺８画素も同様に加算処理し、加算信号Ｓ１〜Ｓ８を生成する。以降の処理は、前述と同様に行い、加算信号Ｓ０と比率係数“Ｒave／Ｓave”を用いて、新たな信号Ｒｓ、Ｇｓ、Ｂｓを生成する。

以上説明したようにこの第１実施形態によれば、画素信号を加算した加算信号を生成することにより、ランダムノイズを低減でき、Ｓ／Ｎを向上させることができる。さらに、加算信号から新たにＲ，Ｇ，Ｂ信号を同時に生成することでデモザイキングによる偽色抑制回路が不要となり、Ｒ，Ｇ，Ｂ信号の色ずれやＲＧＢ単画素に起因するランダムノイズの影響を削除することができるため、単色の色ノイズを抑制することができる。さらに、色再現性を改善するためのカラーマトリックス演算で、新たにＲ，Ｇ，Ｂ信号を生成しても、１つの加算信号から信号Ｒｓ，Ｇｓ，Ｂｓを生成しているため、各信号に含まれるランダムノイズが同位相となる。このため、カラーマトリックス演算で信号を減算処理しても、ノイズが増加しない。

［第２実施形態］
次に、この発明の第２実施形態のＣＭＯＳイメージセンサを含む固体撮像装置について説明する。第２実施形態は、画像のエッジの解像度を改善するための構成を付加したものである。その他の構成及び効果は第１実施形態と同様であり、同様の部分には同じ符号を付してその説明は省略する。

図４は、第２実施形態の固体撮像装置の概略構成を示すブロック図である。第２実施形態では、画像のエッジの解像度を改善するために、色相関ＲＧＢ生成回路１３内にエッジ検出回路１３４を設けている。さらに、エッジの信号を判定するために、閾値レベル設定回路１９を設け、ノイズレベルを想定した閾値レベルＬｅｖＮをエッジ検出回路１３４へ供給している。加算信号を生成する加算処理、及び比率係数を算出する比率算出処理は、５×５の画素配列を３×３画素の４つのブロックに分離して処理している。

図５（ａ）、図５（ｂ）、図５（ｃ）、図５（ｄ）、図５（ｅ）及び図５（ｆ）は、色相関ＲＧＢ生成回路１３のエッジ検出回路１３４における処理方法を示す図である。ラインメモリ１２からエッジ検出回路１３４へは、図５（ａ）に示すように、５×５の画素信号が入力される。エッジ検出回路１３４では、５×５の中心画素がＲ信号のとき、このＲ信号をＲ０とし、図５（ｂ）に示すように、５×５の画素信号が、中心画素のＲ０信号をコーナーとする４つのブロックに分離される。ここで、左上をブロックＡＺ、右上をブロックＢＺ、左下をブロックＣＺ、右下をブロックＤＺとする。

次に、図５（ｆ）に示すように、エッジ検出回路１３４の差分判定部により１画素差分判定方法が行われる。中心画素がＲ０のとき、Ｒ０を中心に差分信号Ｒ０−Ｒ１，Ｒ０−Ｒ２，Ｒ０−Ｒ３，Ｒ０−Ｒ４，Ｒ０−Ｒ５，Ｒ０−Ｒ６，Ｒ０−Ｒ７，Ｒ０−Ｒ８の絶対値をそれぞれ算出する。さらに、それぞれの絶対値が、閾値レベル設定回路１９に設定された閾値レベルＬｅｖＮより小さいか否か判定をする。そして、各ブロックに属する３つの判定の論理和（ＯＲ）をとり、ブロック内にエッジが存在するか否かの最終判定とする。すなわち、各ブロックの３つの判定のうち、すべてが閾値レベルＬｅｖＮより小さい場合、そのブロックにエッジが存在しないと判定し、１つでも閾値レベルＬｅｖＮと等しいかあるいは大きい場合、そのブロックにエッジが存在すると判定する。このブロック内にエッジが存在するか否かの判定は、エッジ検出回路１３４内のエッジ判定部により行われる。

また、５×５の中心画素がＢ信号のとき、エッジ検出回路１３４では、中心画素のＢ信号をＢ０とし、図５（ｃ）に示すように、５×５の画素信号が、中心画素のＢ０信号をコーナーとする４つのブロックＡＺ、ＢＺ、ＣＺ、ＤＺに分離される。続いて同様に、エッジ検出回路１３４の差分判定部により１画素差分判定方法が行われる。中心画素がＢ０のとき、Ｂ０を中心に差分信号Ｂ０−Ｂ１，Ｂ０−Ｂ２，Ｂ０−Ｂ３，Ｂ０−Ｂ４，Ｂ０−Ｂ５，Ｂ０−Ｂ６，Ｂ０−Ｂ７，Ｂ０−Ｂ８の絶対値をそれぞれ算出する。さらに、それぞれの絶対値が、閾値レベルＬｅｖＮより小さいか否か判定をする。そして、各ブロックに属する３つの判定の論理和（ＯＲ）をとり、ブロック内にエッジが存在するか否かの最終判定とする。

また、５×５の中心画素がＧｒ信号のとき、エッジ検出回路１３４では、図５（ｄ）に示すように、５×５の画素信号が、中心画素のＧｒ信号をコーナーとする４つのブロックＡＺ、ＢＺ、ＣＺ、ＤＺに分離される。また、５×５の中心画素がＧｂ信号のとき、エッジ検出回路１３４では、図５（ｅ）に示すように、５×５の画素信号が、中心画素のＧｂ信号をコーナーとする４つのブロックＡＺ、ＢＺ、ＣＺ、ＤＺに分離される。その後の処理は前述と同様である
図６（ａ）、図６（ｂ）、図６（ｃ）、図６（ｄ）及び図６（ｅ）は、ブロック内の差分判定における別の処理方法を示す図である。この差分判定は、エッジ検出回路１３４の差分判定部によって行われる。ここでは、図６（ａ）に示すように、左上の３×３画素のブロックＡＺを例に用い、３×３画素の画素信号をＤ１〜Ｄ９として説明する。

まず、２画素差分判定方法について述べる。図６（ｂ）に示すように、Ｄ５画素を中心として対象な各２画素を選択し、選択した各２画素の各々の加算信号の差分を取った信号レベルが閾値レベルＬｅｖＮより小さいか否かを判定する。そして、４つの判定の論理和（ＯＲ）をとり、ブロックの最終判定とする。

次に、３画素ストライプ差分判定方法について述べる。図６（ｃ）に示すように、Ｄ５画素を中心として対象に、ストライプ状に配列された各３画素を選択し、選択した各３画素の各々の加算信号の差分を取った信号レベルが閾値レベルＬｅｖＮより小さいか否かを判定する。そして、２つの判定の論理和（ＯＲ）をとり、ブロックの最終判定とする。

他に、３画素Ｌ字差分判定方法では、図６（ｄ）に示すように、Ｄ５画素を中心として対象なＬ字状の各３画素を選択し、選択した各３画素の各々の加算信号の差分を取った信号レベルが閾値レベルＬｅｖＮより小さいか否かを判定する。そして、２つの判定の論理和（ＯＲ）をとり、ブロックの最終判定とする。さらに、４画素差分判定方法では、図６（ｅ）に示すように、各４画素を選択し、選択した各４画素の各々の加算信号の差分を取った信号レベルが閾値レベルＬｅｖＮより小さいか否かを判定する。そして、２つの判定の論理和（ＯＲ）をとり、ブロックの最終判定とする。前述した判定方法のうちの複数の判定方法を用いてブロックの判定を行っても良いし、判定のための回路を削減するために、前述した判定方法のうちの１つの判定方法により、ブロックの判定を行っても良い。このように、２画素以上の加算信号を用いることでランダムノイズを低減でき、高精度の判定が実施できる。

図７に、エッジ検出回路１３４にてブロックＡＺ〜ＤＺを判定した例を示す。差分信号レベルが閾値レベルより小さい場合（ＹＥＳ）、すなわちブロック内にエッジが存在しないときを○で示し、差分信号レベルが閾値レベルと等しいかあるいは大きい場合（ＮＯ）、すなわちブロック内にエッジが存在するときを×で示す。図７に示すように、４つのブロックＡＺ〜ＤＺに対してそれぞれ判定を行う。このような判定を用いれば、画像部１１に入射した画像のエッジがコーナーだけに存在する場合、またストライプ状の場合、斜めの場合でも、エッジが存在するか否かを判定できる。

次に、４つのブロックに対するエッジ判定の結果に従って、図４に示したブロック選択部１３５で選択されたブロックに対して色相関ＲＧＢ生成回路１３により、以下のような処理が行われる。

図８は、左上のブロックＡＺを代表に、加算信号の生成、比率係数の算出、及びＲ，Ｇ，Ｂ信号の生成の処理方法を示す図である。３×３の画素配列の右下の中心画素（ターゲット画素）を基準に２×２の画素信号の加算処理を行い、加算信号Ｓ０を生成する。中心画素の隣接３画素も同様に加算処理を行い、信号Ｓ１〜Ｓ３を生成する。次に、信号Ｓ０〜Ｓ３の平均値Ｓaveを生成する。また、図８に示したＲＧＢベイヤー配列からなる３×３の画素信号において同じ色の画素信号の平均値をそれぞれＲave、Ｇave、Ｂaveとして算出する。なお、画素の位置によっては１画素の場合もあり、ここではＢ画素の信号が１つである。そして、新たな信号Ｒｓ、Ｇｓ、Ｂｓを次式より生成する。

Ｒｓ＝Ｓ０＊（Ｒave／Ｓave）
Ｇｓ＝Ｓ０＊（Ｇave／Ｓave）
Ｂｓ＝Ｓ０＊（Ｂave／Ｓave）
同様に、右上、左下、右下のブロックＢＺ、ＣＺ、ＤＺも算出できる。図７に示した判定結果で、エッジが存在しないブロックが１ブロックであるときは、前述のような処理を行い、前記信号Ｒｓ、Ｇｓ、Ｂｓを出力する。

図９は、図５（ａ）において３ブロックＡＺ、ＢＺ、ＤＺを選択した場合の処理例を示す図である。５×５の画素配列の中心画素を基準に２×２の画素信号の加算処理を行い、加算信号Ｓ０を３個生成する。中心画素の周辺７画素も同様に加算処理を行い、信号Ｓ１〜Ｓ９を生成する。次に、信号Ｓ０〜Ｓ９の１２個の平均値Ｓaveを生成する。また、図９に示したＲＧＢベイヤー配列からなる５×５の画素信号において、有効なＬ字配置の同じ色の画素信号の平均値をＲave、Ｇave、Ｂaveとして算出する。信号Ｓ０は３個生成しているため、３個の平均値を信号Ｓとする。そして、新たな信号Ｒｓ、Ｇｓ，Ｂｓを次式より生成する。

Ｒｓ＝Ｓ＊（Ｒave／Ｓave）
Ｇｓ＝Ｓ＊（Ｇave／Ｓave）
Ｂｓ＝Ｓ＊（Ｂave／Ｓave）
同様に、他のＬ字状のブロックの場合も算出できる。

図１０は、図５（ａ）において２ブロックＡＺ、ＢＺを選択した場合の処理例を示す図である。５×５の画素配列の中心画素を基準に２×２の画素信号の加算処理を行い、加算信号Ｓ０を２個生成する。中心画素の有効な周辺５画素も同様に加算処理を行い、信号Ｓ１〜Ｓ６を生成する。次に、信号Ｓ０〜Ｓ６の８個の平均値Ｓaveを生成する。また、図１０に示したＲＧＢベイヤー配列からなる５×５の画素信号において、有効な同じ色の画素信号の平均値をＲave、Ｇave、Ｂaveとして算出する。信号Ｓ０は２個生成しているため、２個の平均値を信号Ｓとする。そして、新たな信号Ｒｓ、Ｇｓ、Ｂｓを次式より生成する。

Ｒｓ＝Ｓ＊（Ｒave／Ｓave）
Ｇｓ＝Ｓ＊（Ｇave／Ｓave）
Ｂｓ＝Ｓ＊（Ｂave／Ｓave）
同様に、他の２ブロックの場合も算出できる。

図１１は、図５（ａ）において斜めに配置された２ブロックＡＺ、ＤＺを選択した場合の処理例を示す図である。５×５の画素配列の中心画素を基準に２×２の画素信号の加算処理を行い、加算信号Ｓ０を２個生成する。中心画素の有効な周辺６画素も同様に加算処理を行い、信号Ｓ１〜Ｓ６を生成する。次に、信号Ｓ０〜Ｓ６の８個の平均値Ｓaveを生成する。また、図１１に示したＲＧＢベイヤー配列からなる５×５の画素信号において、有効な同じ色の画素信号の平均値をＲave、Ｇave、Ｂaveとして算出する。信号Ｓ０は２個生成しているため、２個の平均値を信号Ｓとする。そして、新たな信号Ｒｓ、Ｇｓ，Ｂｓを次式より生成する。

Ｒｓ＝Ｓ＊（Ｒave／Ｓave）
Ｇｓ＝Ｓ＊（Ｇave／Ｓave）
Ｂｓ＝Ｓ＊（Ｂave／Ｓave）
同様に、反対の斜め配置のブロックの場合も算出できる。

図１２は、図５（ａ）において４ブロックＡＺ、ＢＺ、ＣＺ、ＤＺを選択した場合の処理例を示す図である。５×５の画素配列の中心画素を基準に２×２の画素信号の加算処理を行い、加算信号Ｓ０を４個生成する。中心画素の有効な周辺８画素も同様に加算処理を行い、信号Ｓ１〜Ｓ１２を生成する。次に、信号Ｓ０〜Ｓ１２の１６個の平均値Ｓaveを生成する。また、図１２に示したＲＧＢベイヤー配列からなる５×５の画素信号において、同じ色の画素信号の平均値をＲave、Ｇave、Ｂaveとして算出する。信号Ｓ０は４個生成しているため、４個の平均値を信号Ｓとする。そして、新たな信号Ｒｓ、Ｇｓ，Ｂｓを次式より生成する。

Ｒｓ＝Ｓ＊（Ｒave／Ｓave）
Ｇｓ＝Ｓ＊（Ｇave／Ｓave）
Ｂｓ＝Ｓ＊（Ｂave／Ｓave）
図１２に示した処理方法は、エッジ検出回路１３４における判定結果が０ブロックである場合、すなわちエッジが存在しないブロックが０である場合にも適用できる。判定結果が０ブロックの場合は、５×５画素の各信号レベルがばらばらになっている。そのため、それぞれの２×２の画素信号を加算した加算信号Ｓもばらつく。しかし、５×５画素で同色の画素信号の平均値を算出し、加算信号Ｓとの比率算出でＲ，Ｇ，Ｂ信号を生成することにより、色ノイズは発生しない。２×２の画素信号の加算信号Ｓに応じて輝度信号が変化するため、解像度情報は得られる。

［その他の例］
前述した実施形態では、５×５の画素配列で説明したが、７×７の画素配列として、ブロック内の加算信号の生成、及び比率係数の算出を４×４画素に増加させれば、さらに高Ｓ／Ｎ、及び高画質化を実施できる。

また、選択ブロック数が２ブロック〜４ブロックと０ブロックの場合では、選択ブロック数に応じて処理方法を変更したが、回路を削減するために、図８に示した１ブロックの処理から得られる各信号Ｒｓ、Ｇｓ、Ｂｓをブロック毎に算出し、選択ブロック数に応じて、前記各信号Ｒｓ、Ｇｓ、Ｂｓの平均値を求めても良い。もしくは、４ブロックの各信号Ｓ０とＲave、Ｇave、Ｂaveの平均値から新たな信号Ｒｓ、Ｇｓ、Ｂｓを生成処理するようにしても良い。また、ブロック選択部１３５よるエッジが存在しないブロックの選択は、４ブロックの各々の差分信号を比較して最も差分信号が小さい１ブロックのみを選択し、信号Ｒｓ、Ｇｓ、Ｂｓを生成しても良い。

また、カラーカメラのＳ／Ｎ劣化の要因にＲＧＢマトリックス回路がある。この回路は、ＲＧＢの色再現性を改善するために、ＲＧＢの行列演算を実施している。このときの演算式の一例を式（１）に示す。

式１

この処理では、自身の色に対して、他の２色を減算している。すなわち、他の２色が自身の色に混色している量を減算することで、自身の色の純度を高め、色再現性を改善している。この混色要因は、色フィルタ自身の分光特性や、イメージセンサのフォトダイオードまでの光学的なクロストークや、シリコン基板内での信号の拡散等の要因がある。この減算処理によって、従来はＲ，Ｇ，Ｂ信号のノイズがランダムなため、ノイズ量が増加していた。一方、本方式では、Ｒｓ，Ｇｓ，Ｂｓ信号のランダムノイズが同一成分なため、減算処理によってランダムノイズを低減する効果がある。例えば、Ｒ信号を生成する時、ランダムノイズによってＲｓ信号が大きくなった時、信号Ｇｓ、Ｂｓも大きくなっている。行列演算で、Ｒ信号はＲｓ信号からＧｓ，Ｂｓ成分を減算するため、ランダムノイズ分が大きい分大きな信号を減算する。よって、Ｒ信号はより大きな信号を減算している。逆に、ランダムノイズによって、Ｒｓ信号が小さく時は、信号Ｇｓ、Ｂｓも小さくなる。行列演算で、Ｒ信号はＲｓ信号からＧｓ，Ｂｓ成分を減算するが、ランダムノイズが小さい分、小さな信号を減算する。よって、Ｒ信号は信号の低下が小さい。この結果、Ｒ信号はランダムノイズを小さくする効果がある。同様にＧ，Ｂ信号のランダムノイズも小さくなる。

また、カラーカメラの課題として、光学レンズの色収差によって像のエッジに偽色が付くという課題がある。この色収差は、光学レンズによるＲＧＢ光の屈折率の違いで発生する。本実施形態におけるブロック判定に、Ｇ信号のみの差分信号による判定を実施することにより、エッジのＲ、Ｂ信号が無視でき、周辺画素の比率係数の算出によりＲｓ、Ｇｓ、Ｂｓ信号を生成するため、エッジの偽信号を抑制することができる。

また、カラーカメラの課題として、細かい高周波のパターンを撮影した時に低周波で色が付くモワレが発生する。この原因は、ＲＧＢ画素の画素ピッチと被写体の信号ピッチの位相が合わないために、画素に入射する信号量が変化し、ビート状の偽色信号が発生するからである。しかし、本実施形態における加算信号の生成では、高周波成分を低減し、加算信号からＲｓ、Ｇｓ、Ｂｓ信号を生成するため、Ｒ信号やＢ信号のみ強くなる（偽色）信号は発生せず、Ｒｓ、Ｇｓ、Ｂｓ信号が同時に変化するため、輝度信号のみの変化となる。よって、従来の課題となっているモワレによる偽色着色が抑制される。

また、本実施形態は、色フィルタ配列が異なったイメージセンサでも、Ｒ，Ｇ，Ｂ信号を生成した後に、同様の加算信号の生成とＲ，Ｇ，Ｂ信号の比率算出から新たなＲｓ，Ｇｓ，Ｂｓ信号を生成することにより、同様な効果が得られる。また、本実施形態は、ＣＭＯＳイメージセンサに限定されることなく、その他のＣＣＤイメージセンサや積層型イメージセンサでも適用できる。また、専用のＩＳＰ（イメージシグナルプロセッサ）で処理することもできる。

また以下に、この発明の実施形態において用いている色相関ノイズ低減方法の概要について述べる。図１３は、色相関ノイズ低減方法を示す図である。ここでは、３種類の被写体から得られる出力信号を例に取る。３種類の被写体から得られた信号をそれぞれＲ，Ｇ，Ｂ信号で示すと、図１３（ａ）のようになる。次に、図１３（ｂ）に示すように、各被写体において、Ｒ信号、Ｇｒ信号、Ｂ信号、Ｇｂ信号を加算して加算信号Ｓを生成する。また、図１３（ｃ）に示すように、各被写体において、Ｒ信号、Ｇ信号、Ｂ信号の各々と加算信号Ｓとの比率係数を算出する。そして、図１３（ｂ）で求めた加算信号Ｓと、図１３（ｃ）で求めた比率係数とを乗算して、新たなＲ，Ｇ，Ｂ信号を生成する。このような処理により、ランダムノイズを低減でき、Ｓ／Ｎを向上させることができる。さらに、色偽信号及び色ノイズを低減することができる。

また以下に、前述した実施形態における閾値レベル設定回路１９での閾値レベルＬｅｖＮの設定方法を述べる。図１４は、センサ部１１における光電変換特性と閾値レベルを示す図である。センサ部１１に入射する光量が大きくなると、センサ部１１からの出力信号は大きくなる。この出力信号の増加にともない、光ショットノイズも増加する。光ショットノイズは光量の平方根で発生する。また、センサ部１１に入射する入射光が低光量のときは、回路ノイズが光ショットノイズより支配的となる。そこで、ノイズレベルを想定した閾値レベルＬｅｖＮの値を、低光量のときには回路ノイズを想定した値とし、光量が大きいときには光ショットノイズに合わせて大きくなるように制御する。このような制御により、効果的にランダムノイズを抑制することができる。また、輝度信号はＹ＝０．５９Ｇ＋０．３Ｒ＋０．１１Ｂの比から生成される。そこで、閾値レベルＬｅｖＮを、輝度信号に寄与効果の小さいＲとＢのノイズ抑制処理の時に大きく設定すると、ＲとＢのランダムノイズの抑制効果を大きくできる。

また、ＲＧＢの各信号量に応じてホワイトバランスのゲイン比に合わせて閾値レベルＬｅｖＮを設定すると、さらに効果的である。また、レンズの光学特性に起因して、シェーディング補正を実施する場合、画面中心に対して、上下左右、コーナーになるほどデジタルゲインで信号を増幅している。このため、上下左右、コーナーのランダムノイズが増加する。そこで、閾値レベルＬｅｖＮをこのゲインに合わせて上下左右、コーナーで大きくするとノイズ抑制効果を大きくすることができ、画質を改善できる。このように、閾値レベルＬｅｖＮを、信号量・画面位置・色情報・ゲイン情報などに応じて適切に変更することにより、更に高画質が可能となる。

以上述べたようにこの発明の実施形態によれば、Ｒ信号、Ｇ信号、Ｂ信号の色偽信号を抑制できると共に、ノイズを低減できる固体撮像装置を提供することができる。詳述すると、本実施形態では、Ｒ信号、Ｇ信号、Ｂ信号を加算し加算信号を生成する。そして、加算画素の周辺画素の色情報から色比率を算出し、加算信号から新たにＲ，Ｇ，Ｂ信号を生成することにより、デモザイキングが不要となる。このように、画素信号を加算し加算信号を生成することにより、Ｓ／Ｎを向上させることができる。さらに、加算信号から新たにＲ信号、Ｇ信号、Ｂ信号を同時に生成することにより、Ｒ，Ｇ，Ｂ信号の色ずれや色ノイズを抑制した高画質の撮像装置を提供することができる。

また、前述した各実施形態はそれぞれ、単独で実施できるばかりでなく、適宜組み合わせて実施することも可能である。さらに、前述した各実施形態には種々の段階の発明が含まれており、各実施形態において開示した複数の構成要件の適宜な組み合わせにより、種々の段階の発明を抽出することも可能である。

この発明の第１実施形態の固体撮像装置の概略構成を示すブロック図である。第１実施形態の色相関ＲＧＢ生成回路における処理方法を示す図である。第１実施形態の色相関ＲＧＢ生成回路の加算部における他の加算処理方法を示す図である。この発明の第２実施形態の固体撮像装置の概略構成を示すブロック図である。第２実施形態の色相関ＲＧＢ生成回路のエッジ検出回路における処理方法を示す図である。第２実施形態のブロック内の差分判定における別の処理方法を示す図である。第２実施形態のエッジ検出回路にてブロックＡＺ〜ＤＺを判定した例を示す図である。第２実施形態における左上のブロックＡＺに対する加算信号の生成、比率係数の算出、及びＲ，Ｇ，Ｂ信号の生成の処理方法を示す図である。第２実施形態における３ブロックＡＺ、ＢＺ、ＤＺを選択した場合の処理例を示す図である。第２実施形態における２ブロックＡＺ、ＢＺを選択した場合の処理例を示す図である。第２実施形態における斜めに配置された２ブロックＡＺ、ＤＺを選択した場合の処理例を示す図である。第２実施形態における４ブロックＡＺ、ＢＺ、ＣＺ、ＤＺを選択した場合の処理例を示す図である。この発明の実施形態で用いた色相関ノイズ低減方法の概要を示す図である。この発明の実施形態のセンサ部における光電変換特性と閾値レベルを示す図である。

符号の説明

１１…センサ部、１２…ラインメモリ、１３…色相関ＲＧＢ生成回路、１４…信号処理回路、１５…システムタイミング発生回路（ＳＧ）、１６…コマンドデコーダ、１７…シリアルインタフェース（シリアルＩ／Ｆ）、１８…レンズ、１９…閾値レベル設定回路、１１１…画素部、１１２…カラム型アナログデジタルコンバータ（ＡＤＣ）、１３１…加算部、１３２…比率算出部、１３３…ＲＧＢ生成部、１３４…エッジ検出回路、１３５…ブロック選択部。

Claims

光電変換素子にＲ（赤）、Ｇ（緑）、Ｂ（青）の色フィルタがそれぞれ配置されたＲ画素、Ｇ画素、Ｂ画素が行列状に２次元に配置され、前記Ｒ画素、Ｇ画素、Ｂ画素に入射した光をそれぞれ光電変換して得たＲ信号、Ｇ信号、Ｂ信号を出力する画素部と、
前記画素部において、ある画素を中心画素とした所定エリアを定め、前記中心画素と前記所定エリア内の前記中心画素の周辺画素からの前記Ｒ信号、Ｇ信号、Ｂ信号を加算して加算信号を生成する加算部と、
前記所定エリア内の画素からの前記Ｒ信号、Ｇ信号、Ｂ信号の各々の平均値と前記加算信号の平均値との比率係数を算出する比率算出部と、
前記加算信号と前記比率算出部により算出した比率係数を用いて、前記中心画素における新たなＲ信号、Ｇ信号、Ｂ信号を生成するＲＧＢ生成部と、
を具備することを特徴とする固体撮像装置。
前記加算部は、行列状に配置された２×２の４画素もしくは３×３の９画素からの信号を加算することを特徴とする請求項１に記載の固体撮像装置。
前記比率算出部における前記比率係数の算出では、前記中心画素を含む前記周辺画素の複数画素に対する加算信号の平均値と、前記所定エリア内のＲ信号、Ｇ信号、Ｂ信号の各々の平均値から、前記加算信号の平均値に対する前記Ｒ信号、Ｇ信号、Ｂ信号の各々の平均値の比率をそれぞれ算出することを特徴とする請求項１または２に記載の固体撮像装置。
前記画像部に入射する画像のエッジ信号を検出するエッジ検出部をさらに具備することを特徴とする請求項１、２、３のいずれかに記載の固体撮像装置。
前記エッジ検出部は、前記所定エリアを、前記中心画素を含む複数画素からなる４つのブロックに分割し、前記４つのブロックの各ブロック内において前記中心画素を含む信号と他の同色画素の信号との差分と、所定値とを比較して大小を判定する差分判定部を備えたことを特徴とする請求項４に記載の固体撮像装置。