JP5436114B2

JP5436114B2 - 撮像システム

Info

Publication number: JP5436114B2
Application number: JP2009217380A
Authority: JP
Inventors: 正徳小倉; 徹小泉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-09-18
Filing date: 2009-09-18
Publication date: 2014-03-05
Anticipated expiration: 2029-09-18
Also published as: JP2011066801A

Description

本発明は、撮像システムに関する。

ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の固体撮像装置は、光電変換素子を含む画素セルの上方に色分解カラーフィルタ、さらにその上に集光用のマイクロレンズが積層された構造となっている。ＣＭＯＳはComplementary Metal Oxide Semiconductor、ＣＣＤはCharge Coupled Deviceである。上記の構造により構成されたカラー用の固体撮像装置は、光電変換素子とマイクロレンズがカラーフィルタ及び複数の絶縁膜で隔てられる。特にＣＭＯＳイメージセンサでは、画素上に複数の配線層を有するため、光電変換素子とマイクロレンズ間の距離はＣＣＤイメージセンサより更に大きくなる。そのため、カラーフィルタを通過した光が光電変換素子に到達するまでの経路で、光が隣接する別の色の光電変換素子に入射する成分が無視できない。この成分は混色と呼ばれる。混色は光学的な理由だけでなく、例えばある画素の光電変換素子を通過し、シリコン内部で隣接する画素に漏れ込む成分もある。更に、ある画素の光電変換素子で吸収され電荷に変換されたとしても、電荷がシリコン内部で拡散、ドリフトし、隣接画素へと漏れる成分もある。いずれの成分も、１画素の寸法が小さくなるにつれ増大するという性質がある。混色成分を信号処理で補正するために当該特定色画素と隣接する特定色以外の画素の信号より算出した一定割合の信号成分を減算する技術が知られている（特許文献１）。また、画素の配線等のレイアウトによる非対称性を考慮し、色の異なる画素に応じて減算する量を変えたりすることで混色を低減する技術が知られている（特許文献２）。

特開２００４−１３５２０６号公報特開２００７−１４２６９７号公報

特許文献１及び２は、固体撮像装置の混色による隣接画素への信号の漏れる割合を混色補正パラメータとして予め決めておき、固体撮像装置の信号処理装置及び撮像システムにより信号成分を減算して混色を低減する方法である。この手法は、画素寸法が比較的大きい場合には効果的に機能する。しかしながら、画素寸法が縮小すると、光電変換素子、マイクロレンズ、カラーフィルタ、絶縁層、配線層等の位置精度や厚さのばらつきに応じて混色量が大きく変化するため、予め決められた混色補正パラメータでは充分な混色の補正はできない。特許文献１、２とも、固体撮像装置のばらつきに応じて混色の補正の割合を変えることはしていない。従って、固体撮像装置の混色の個体ばらつきを充分に補正することが困難である。

本発明は、製造ばらつきによる混色の個体差に応じて、適切な混色補正を実現することができる撮像システムを提供することを目的とする。

本発明の撮像システムは、光電変換素子を含む複数の画素が行列状に２次元配置され、複数色のカラーフィルタが前記画素の表面上に配置される固体撮像装置と、画像処理装置とを有し、前記複数の画素は、複数の撮像用画素と、隣接する全ての画素が遮光画素である第１の開口画素と、前記第１の開口画素とは異なる位置に設けられ、隣接する全ての画素が遮光画素である第２の開口画素とを有し、前記画像処理装置は、前記第１の開口画素の信号及び前記第１の開口画素に隣接する遮光画素の信号を基に前記第１の開口画素から前記第１の開口画素に隣接する遮光画素への混色割合を表す補正パラメータを演算し、前記第２の開口画素の信号及び前記第２の開口画素に隣接する遮光画素の信号を基に前記第２の開口画素から前記第２の開口画素に隣接する遮光画素への混色割合を示す補正パラメータを演算する演算部と、前記補正パラメータを用いて前記複数の撮像用画素の信号を補正する補正部とを有することを特徴とする。

本発明によれば、第１及び第２の開口画素を用いて混色信号を測定することができ、個体ばらつきを考慮した精度の高い混色補正を行い、画質を向上させることができる。

撮像システム及び固体撮像装置の構成例を示す図である。固体撮像装置の画素色配列と混色の概要を示す図である。第１の実施形態の固体撮像装置の画素色配列を示す図である。第１の実施形態の混色補正装置の概要を示す図である。第２の実施形態の固体撮像装置の画素色配列を示す図である。第２の実施形態の混色補正装置の概要を示す図である。第２の実施形態の固体撮像装置の他の画素色配列を示す図である。第２の実施形態の固体撮像装置の画素色配列を示す図である。

（第１の実施形態）
図１（ａ）は本発明の第１の実施形態による撮像システムの構成例を示す図であり、図１（ｂ）は本発明の第１の実施形態による固体撮像装置１０２の構成例を示す図である。図１（ａ）の撮像システムの構成及び図１（ｂ）の固体撮像装置の構成は全ての実施形態で共通である。撮像システムは、デジタル一眼レフカメラ、コンパクトデジタルカメラ、ビデオカメラ、携帯用デジタルカメラ、放送用デジタルカメラ等である。撮像システムは、例えばデジタル一眼レフカメラである。固体撮像装置１０２は、撮像システムの一部として構成される。この構成はデジタル一眼レフカメラの適用に限られるものではなく、ビデオカメラ、デジタルコンパクトカメラ等の撮像装置全般に対して適用できる。

図１（ａ）の撮像システムは、光学系１０１、固体撮像装置１０２、ＡＦＥ１０３、ＤＦＥ１０４、画像エンジン１０５、タイミングジェネレータ１０６、レンズ制御部１０７、カメラ制御部１０８、インターフェース１０９等を有する。ＡＦＥ１０３はアナログフロントエンドであり、ＤＦＥ１０４はデジタルフロントエンドである。光学系１０１は、被写体からの入射光を固体撮像装置１０２の撮像面上に結像するレンズ１０１ａと、当該レンズ１０１ａ、シャッタ１０１ｃを経た入射光の光量を制御する絞り１０１ｂと、固体撮像装置１０２への光入射時間を制御するシャッタ１０１ｃを有する。固体撮像装置１０２は、光学系１０１を通して入射した光を画素単位で光電変換して電気信号として出力する。固体撮像装置１０２の具体的な構成は後述する。ＡＦＥ１０３は、アナログ信号処理回路であり、固体撮像装置１０２から出力されるアナログ信号に対して、サンプルホールドし、ゲイン調整、オフセット調整をした後、Ａ／Ｄ（アナログ／デジタル）変換する。ＤＦＥ１０４はデジタル処理によるゲイン微調整や、オフセットの微調整、デジタル信号の並べ替えや、デジタル信号のマルチプレクス処理を行う。ＤＦＥ１０４は、混色補正装置（画像処理装置）１１０を有する。画像エンジン１０５は、ホワイトバランス処理や、明るさ、コントラスト、色合い等の画像処理を行う。タイミングジェネレータ１０６は、カメラ制御部１０８の指示に応じて固体撮像装置１０２に適切な駆動信号を与える。レンズ制御部１０７は、カメラ制御部１０８の指示に応じて、被写体からの光を固体撮像装置１０２の撮像面上に結像させるように、レンズ１０１ａの位置を調整し、被写界深度、明るさを調整する為に絞り１０１ｂを調整する。カメラ制御部１０８は、マイクロコンピュータにより構成され、ユーザの設定している撮影モードや、絞り、シャッタスピード・ＩＳＯ感度を検知し、レンズ制御部１０７を介して光学系１０１を制御、ＡＦＥ３・ＤＦＥ１０４でゲインを制御する。そして、カメラ制御部１０８は、タイミングジェネレータ１０６を介して固体撮像装置１０２の蓄積時間を制御、ＡＦＥ１０３、ＤＦＥ１０４のゲインを制御、画像エンジン１０５での色あいを制御する。逆に、カメラ制御部１０８は、画像エンジン１０５から送られてくる信号を基に、撮影画像の信号をインターフェース１０９を介してユーザの表示装置に表示する。なお、混色補正装置１１０はＤＦＥ１０４に限らず、画素エンジン１０５の中にあってもよいし、独立して混色補正装置１１０があってもよい。

図１（ｂ）は、ＣＭＯＳイメージセンサを用いた固体撮像装置１０２の構成図である。固体撮像装置１０２は、光電変換素子を含む複数の画素２０１が行列状に２次元配置され、複数色のカラーフィルタが画素２０１の表面上に配置される撮像領域２０２を有する。垂直走査回路２０３は画素２０１の信号を読み出すための駆動信号を生成する。水平共通制御線２０４は垂直走査回路２０３からの駆動信号を画素２０１に伝達する。垂直共通信号線２０５は、画素２０１の信号を列信号読み出し回路２０６に伝達する。列信号読み出し回路２０６は、画素２０１の信号を信号処理した後、サンプルホールドし、水平走査回路２０８からの信号を待つ。水平読み出しスイッチ２０７は、水平走査回路２０８からの水平走査信号を受け取り、列信号読み出し回路２０６にサンプルホールドされた信号を水平共通信号線２０９ａ、２０９ｂに伝達する。ここでは、例として水平共通信号線２０９ａ、２０９ｂの２チャンネルを有する。なお、水平共通信号線は単数でも複数チャンネルでもよい。列信号読み出し回路２０６の構成にかかわらず、複数色のカラーフィルタを有する画素２０１が２次元状に配列されていれば、本実施形態は適用できる。

次に、図２を用いて、本実施形態の補正方法について説明する。図２は、図１（ｂ）の撮像領域２０２を示す。ここでは、Ｇ１及びＧ２（グリーン）、Ｂ（ブルー）、Ｒ（レッド）の３種類のカラーフィルタが画素２０１の表面上に形成されている場合を示すが、カラーフィルタは何種類でも本実施形態は適用できる。注目画素である画素Ｂ、Ｒは平面上で任意に選んでいる。両者の位置関係に制約事項があるわけではない。簡略のため８列１１行の画素配列としているが、実際は数百万〜数千万画素に及ぶ。混色の補正対象となる注目画素を画素Ｒとして説明する。注目画素Ｒの左上の画素Ｂのカラーフィルタを通過した光が、隣接する画素Ｒの光電変換素子へ漏れ込んでしまう電荷について、本来の画素Ｂの信号のうち画素Ｒへの混色信号となっている割合を表すパラメータをαR_UL(0)とする。同様に、上の画素Ｇ１のカラーフィルタを通過した光が、画素Ｒの光電変換素子へ漏れ込んでしまう電荷について、本来の画素Ｇ１の信号のうち画素Ｒへの混色信号となっている割合を表すパラメータをαR_UU(0)とする。注目画素Ｒの右上の画素Ｂから注目画素Ｒへの混色の割合を表すパラメータをαR_UR(0)とする。注目画素Ｒの右の画素Ｇ２から注目画素Ｒへの混色の割合を表すパラメータをαR_RR(0)とする。注目画素Ｒの右下の画素Ｂから注目画素Ｒへの混色割合を表すパラメータをαR_BR(0)とする。注目画素Ｒの下の画素Ｇ１から注目画素Ｒへの混色割合を表すパラメータをαR_BB(0)とする。注目画素Ｒの左下の画素Ｂから注目画素Ｒへの混色割合を表すパラメータをαR_BL(0)とする。注目画素Ｒの左の画素Ｇ２から注目画素Ｒへの混色割合を表すパラメータをαR_LL(0)とする。ｎ＝１，２，３・・・は、撮像領域２０２に応じた補正パラメータを意味する。

注目画素Ｒに対する補正式を説明する。撮像領域２０２の中央の画素Ｒを補正する場合、補正後の画素Ｒの信号出力をＲ(0)sig'とし、補正前の画素Ｒの信号出力をＲ(0)sigとする。その他、注目画素の周辺の画素信号に関しても、補正前の信号出力を、Ｇ１(0)sig、Ｂ(0)sig、Ｇ２(0)sigとする。混色の補正の式は次式となる。
Ｒ(0)sig'= Ｒ(0)sig -｛Ｂ×αR_UL(0) + Ｇ１×αR_UU(0) + Ｂ×αR_UR(0)
+ Ｇ２×αR_RR(0)+ Ｂ×αR_BR(0) + Ｇ１×αR_BB(0)
+ Ｂ×αR_BL(0) + Ｇ２×αR_LL(0) ｝式（１．１）
注目画素がＧ１(0)の場合、補正後の画素Ｇ１の信号出力をＧ１(0)sig'とし、補正前の画素Ｇ１の信号出力Ｇ１(0)sigとすると、以下の補正式となる。
Ｇ１(0)sig'= Ｇ１(0)sig -｛Ｇ２×αG1_UL(0) + Ｒ×αG1_UU(0) + Ｇ２×αG1_UR(0)
+ Ｂ×αG1_RR(0)+ Ｇ２×αG1_BR(0) + Ｒ×αG1_BB(0)
+ Ｇ２×αG1_BL(0) + Ｂ×αG1_LL(0) ｝式（１．２）
注目画素がＢ(0)の場合、補正後の画素Ｂの信号出力をＢ(0)sig'とし、補正前の画素Ｂの信号出力Ｂ(0)sigとすると、以下の補正式となる。
Ｂ(0)sig'= Ｂ(0)sig - Ｒ×αB_UL(0) + Ｇ２×αB_UU(0) + Ｒ×αB_UR(0)
+ Ｇ１×αB_RR(0)+ Ｒ×αB_BR(0) + Ｇ２×αB_BB(0)
+ Ｒ×αB_BL(0) + Ｇ１×αB_LL(0) ｝式（１．３）
注目画素がＧ２(0)の場合、補正後の画素Ｇ２の信号出力をＧ２(0)sig'とし、補正前の画素Ｇ２の信号出力Ｇ２(0)sigとすると、以下の補正式となる。
Ｇ２(0)sig'= Ｇ２(0)sig -｛Ｇ１×αG1_UL(0) + Ｂ×αG2_UU(0) + Ｇ１×αG1_UR(0)
+ Ｒ×αB_RR(0)+ Ｇ１×αG2_BR(0) + Ｂ×αG2_BB(0)
+ Ｇ１×αG2_BL(0) + Ｒ×αG2_LL(0) ｝式（１．４）
なお、撮像領域２０２上の画素２０１では、補正パラメータは変わるが、注目画素と周囲画素との演算の関係は変わらない。

図３（ａ）及び（ｂ）は、本発明の第１の実施形態の固体撮像装置１０２の色配置を示す図である。遮光画素領域６０２及び６０３は、撮像領域６０１の中に複数箇所設けられる。遮光画素領域６０２は、隣接する全ての画素が遮光画素である第１の開口画素を有する。遮光画素領域６０３は、隣接する全ての画素が遮光画素である第２の開口画素を有する。遮光画素とは光が光電変換素子に入射しないようにした金属層等で遮光した画素のことである。カラーフィルタを遮光材料で形成しても同様に遮光画素となる。本実施形態は、撮像領域６０１上に遮光画素で囲まれた開口画素を形成し、この開口画素の信号を評価することで混色量を評価できる構造を作り込んだ固体撮像装置の例である。図３（ｂ）に示すように遮光画素領域は、１つの開口画素（白色部）７０１の周囲画素を遮光画素（ハッチ部）７０２で囲ったものである。被写体からの入射光は開口画素Ｒ７０１にて光電変換される。開口画素Ｒのカラーフィルタを通過した光又は光電変換された電荷が開口画素Ｒ７０１の周囲画素に混色として漏れ込む。右下の遮光画素Ｂに現れる信号Bsigと開口画素Ｒの信号Rsigの比、すなわちαB_BR(n)を求めることができる。同様に、開口画素Ｒの他の周辺遮光画素について同様の手法で、αG1_BB(n)、αB_BL(n)、αG2_LL(n)、αB_UL(n)、αG1_UU(n)、αB_UR(n)、αG2_RR(n)を計算することができる。ここで、ｎ＝１，２，３・・・である。開口画素Ｇ２の周辺画素についても、αG1_BR(n)、αB_BB(n)、αG1_BL(n)、αR_LL(n)、αG1_UL(n)、αB_UU(n)、αG1_UR(n)、αR_RR(n)が計算できる。以下同様に、開口画素Ｂの周辺画素について、αR_BR(n)、αG2_BB(n)、αR_BL(n)、αG1_LL(n)、αR_UL(n)、αG2_UU(n)、αR_UR(n)、αG1_RR(n)が計算できる。また、開口画素Ｇ１の周辺画素について、αG2_BR(n)、αR_BB(n)、αG2_BL(n)、αB_LL(n)、αG2_UL(n)、αR_UU(n)、αG2_UR(n)、αB_RR(n)が計算できる。このように、複数箇所に設けられている遮光画素領域６０２及び６０３の各々で、補正パラメータを求める。ある画素の混色を補正する際には、たとえば補正パラメータが計算されているいくつかの開口画素のうち最も近い開口画素の補正パラメータを使用する。そして式（１．１）、（１．２）、（１．３）、（１．４）を用いて混色の補正処理を行う。

図４は、図１（ａ）の混色補正装置１１０の構成例を示す。混色補正装置１１０は、メモリ（記憶部）１２０、補正部１２１、メモリ１３０、補正パラメータ演算部１３１を有する。メモリ１３０は、混色補正装置１１０の中にあってもよいし、混色補正装置１１０の外部にあってもよい。ＤＦＥ１０４は、ＡＦＥ１０３から入力した撮像領域６０１の信号を処理する。メモリ１３０には、ＤＦＥ１０４で処理された信号がデジタルで格納される。例えば、補正パラメータ演算部１３１は、メモリ１３０から遮光画素７０１(Ｒ)の信号と隣接遮光画素７０２の信号を読み出し、２つの信号の比を計算する。例えば、補正パラメータ演算部１３１は、遮光画素７０１(Ｒ)の信号Rsigと右下遮光画素７０２（Ｂ）の信号Bsigを読み出し、２つの信号の比Bsig/Rsigを演算し、補正パラメータαB_BR(n)を求める。このようにして、補正パラメータ演算部１３１は、補正パラメータαB_BR(n)、αG1_BB(n)、αB_BL(n)、αG2_LL(n)、αB_UL(n)、αG1_UU(n)、αB_UR(n)、αG2_RR(n)を求める。ここで、ｎ＝１，２，３・・・であり、ｎは複数ある遮光画素を区別するものである。次に、補正パラメータ演算部１３１は、開口画素Ｇ２、Ｇ１、Ｂについても同様に周囲画素との信号の比として補正パラメータを計算する。開口画素Ｇ２については、補正パラメータαG1_BR(n)、αB_BB(n)、αG1_BL(n)、αR_LL(n)、αG1_UL(n)、αB_UU(n)、αG1_UR(n)、αR_RR(n)が計算される。また、開口画素Ｂについては、補正パラメータαR_BR(n)、αG2_BB(n)、αR_BL(n)、αG1_LL(n)、αR_UL(n)、αG2_UU(n)、αR_UR(n)、αG1_RR(n)が計算される。また、開口画素Ｇ１については、補正パラメータαG2_BR(n)、αR_BB(n)、αG2_BL(n)、αB_LL(n)、αG2_UL(n)、αR_UU(n)、αG2_UR(n)、αB_RR(n)が計算される。メモリ１２０には、補正パラメータ演算部１３１で求めた補正パラメータが格納される。補正部１２１は、メモリ１３０から補正対象となる注目画素の信号を読み出し、メモリ１２０から注目画素の補正パラメータを読み出し、式（１．１）（１．２）（１．３）（１．４）を用いて、混色を補正し、補正後の信号を出力する。この際、補正部１２１は、注目画素に最も近い開口画素の補正パラメータを用いて、注目画素の混色補正を行う。例えば、補正パラメータ演算部１３１は、遮光画素領域６０２内の第１の開口画素の信号及び第１の開口画素に隣接する遮光画素の信号を基に第１の開口画素から第１の開口画素に隣接する遮光画素への混色信号を補正するための補正パラメータを演算する。また、補正パラメータ演算部１３１は、遮光画素領域６０３内の第２の開口画素の信号及び第２の開口画素に隣接する遮光画素の信号を基に第２の開口画素から第２の開口画素に隣接する遮光画素への混色信号を補正するための補正パラメータを演算する。メモリ１２０は、補正パラメータを記憶する。補正部１２１は、メモリ１２０内の補正パラメータを用いて、式（１．１）〜（１．４）により各画素の信号から上記の混色信号を減算する。

本実施形態では、撮像領域６０１内に遮光画素領域６０２、６０３を複数設けることで、被写体の撮影画像そのものから、リアルタイムで補正パラメータを得ることができる。そのため、固体撮像装置１０２の固有の補正パラメータを計算することができる。従って製造ばらつきがあっても高い精度で混色補正を行うことができる。図３（ａ）に示す領域分割線６０４で分割される領域内で同じ領域に位置する注目画素は、同じ領域の遮光画素領域６０２等から得た補正パラメータを用いて補正される。同様に領域Ｂの補正対象となる注目画素は、同じ領域Ｂにある遮光画素６０３から得た補正パラメータを用いて補正される。補正の際の制御信号は、カメラ制御部１０８から注目画素と補正パラメータの組み合わせを指示する制御信号として補正部１２１に送られる。このように撮像領域６０１を区切って、領域毎の画素の製造ばらつきによる混色の個体差に対応した補正パラメータを取得し、混色補正の演算をすることで、少ない補正パラメータで効果的に混色補正の精度を向上することができる。例えば、固体撮像装置１０２は、領域分割線６０４で分割される遮光画素領域６０２（第１の開口画素を含む）を含む第１の画素領域と、領域分割線６０４で分割される遮光画素領域６０３（第２の開口画素を含む）を含む第２の画素領域とを有する。補正部１２１は、第１の画素領域の中の画素については第１の開口画素の補正パラメータを用いて画素の信号から混色信号を減算し、第２の画素領域の中の画素については第２の開口画素の補正パラメータを用いて画素の信号から混色信号を減算する。なお、領域分割線６０４で示す撮像領域の分割位置はこの限りではない。本実施形態によれば、被写体の撮影画像そのものから、リアルタイムで補正パラメータを計算することができる。撮影時の光学系１０１の絞り１０１ｂの値、光学系１０１の瞳距離に応じて、固体撮像装置１０２への光の入射角度が変わることで変化する混色に対しての補正パラメータを得るようにしてもよい。その結果、混色補正の精度を向上することができる。

（第２の実施形態）
図５は本発明の第２の実施形態の固体撮像装置の撮像領域を含む画素配列を示し、図６は混色補正装置１１０の構成例を示す。以下、本実施形態が第１の実施形態と異なる点を説明する。画素配列は、撮像領域８０１と遮光画素領域８０２から構成され、撮像領域８０１の中に遮光画素は設けられていない。撮像領域８０１は、開口画素の領域であり、画素領域内の画素の一部の領域である。遮光画素領域８０２は、撮像領域８０１の外周部に設けられ、画素領域内の画素の他の一部の領域である。また、遮光画素領域８０２は、隣接する全ての画素が遮光画素である第１の開口画素と、隣接する全ての画素が遮光画素である第２の開口画素等の複数の開口画素を有する。本実施形態では、遮光画素領域８０２中に設けられた複数の画素の補正パラメータを用いて、撮像領域８０１内の画素の補正パラメータを、線形補間法で計算する。本実施形態の補正パラメータの求め方と混色補正処理について、例をあげて説明する。撮像領域８０１の中央部の画素Ｂ(0)８０３を注目画素とした場合の補正パラメータを、αB_UL(0)、αB_UU(0)、αB_UR(0)、αB_RR(0)、αB_BR(0)、αB_BB(0)、αB_BL(0)、αB_LL(0)とする。これは事前に実験あるいはシミュレーションにより求めておく。同様に、遮光画素領域８０２内の画素B(1) ８０４から求められる補正パラメータをαB_UL(1)、αB_UU(1)、αB_UR(1)、αB_RR(1)、αB_BR(1)、αB_BB(1)、αB_BL(1)、αB_LL(1)とする。同様に、画素B(2)８０４についての補正パラメータを、αB_UL(2)、αB_UU(2)、αB_UR(2)、αB_RR(2)、αB_BR(2)、αB_BB(2)、αB_BL(2)、αB_LL(2)とする。同様に、画素B(3)８０５についての補正パラメータを、αB_UL(3)、αB_UU(3)、αB_UR(3)、αB_RR(3)、αB_BR(3)、αB_BB(3)、αB_BL(3)、αB_LL(3)とする。同様に、画素B(4)８０６についての補正パラメータを、αB_UL(4)、αB_UU(4)、αB_UR(4)、αB_RR(4)、αB_BR(4)、αB_BB(4)、αB_BL(4)、αB_LL(4)とする。同様に、画素B(5)８０７についての補正パラメータを、αB_UL(5)、αB_UU(5)、αB_UR(5)、αB_RR(5)、αB_BR(5)、αB_BB(5)、αB_BL(5)、αB_LL(5)とする。同様に、画素B(6)８０８についての補正パラメータを、αB_UL(6)、αB_UU(6)、αB_UR(6)、αB_RR(6)、αB_BR(6)、αB_BB(6)、αB_BL(6)、αB_LL(6)とする。中心画素B(0)８０３と画素B(6)８０８の位置座標の差を（Ｘ，Ｙ）とすると、遮光画素B(2)８０４と遮光画素B(3)８０５の位置座標の差は（Ｘ，０）、遮光画素B(4)８０６と遮光画素B(5)８０７の位置座標の差は（０，Ｙ）である。光の入射角度は位置座標に略比例して変化するので、開口画素B(6)８０８と開口画素B(0)８０３の補正パラメータの水平方向Ｘの差は、遮光画素８０５と８０４の補正パラメータの差と等しいと近似できる。同様に、開口画素B(6)８０８と開口画素B(0)８０３の補正パラメータの垂直方向Ｙの差は、遮光画素８０７と８０６の補正パラメータの差と等しいと近似できる。補正部１２１は、メモリ１２０から補正パラメータを読み出し、画素B(6)８０８の補正パラメータを以下の式で求める。

αB_UL(6) =αB_UL(0) + [ αB_UL(3) −αB_UL(2)] + [ αB_UL(5) −αB_UL(4)]
αB_UU(6) =αB_UU(0) + [ αB_UU(3) −αB_UU(2)] + [ αB_UU(5) −αB_UU(4)]
αB_UR(6) =αB_UR(0) + [ αB_UR(3) −αB_UR(2)] + [ αB_UR(5) −αB_UR(4)]
αB_RR(6) =αB_RR(0) + [ αB_RR(3) −αB_RR(2)] + [ αB_RR(5) −αB_RR(4)]
αB_BR(6) =αB_BR(0) + [ αB_BR(3) −αB_BR(2)] + [ αB_BR(5) −αB_BR(4)]
αB_BB(6) =αB_BB(0) + [ αB_BB(3) −αB_BB(2)] + [ αB_BB(5) −αB_BB(4)]
αB_BL(6) =αB_BL(0) + [ αB_BL(3) −αB_BL(2)] + [ αB_BL(5) −αB_BL(4)]
αB_LL(6) =αB_LL(0) + [ αB_LL(3) −αB_LL(2)] + [ αB_LL(5) −αB_LL(4)]
…式（３．１）〜（３．８）

同様に、補正部１２１は、遮光画素領域８０２の画素の補正パラメータを用いて他の開口画素の補正パラメータを計算する。そして、補正部１２１は、計算した補正パラメータを用いて、式（１．１）、（１．２）、（１．３）、（１．４）を用いて混色の補正処理を行う。以上のように、固体撮像装置１０２は、第３の開口画素８０３、第４の開口画素８０８、第１の遮光画素８０６、第２の遮光画素８０４、第３の遮光画素８０７、及び第４の遮光画素８０５を有する。第１の遮光画素８０６は、第３の開口画素８０３と同じ行の遮光画素である。第２の遮光画素８０４は、第３の開口画素８０３と同じ列の遮光画素である。第３の遮光画素８０７は、第４の開口画素８０８と同じ行の遮光画素である。第４の遮光画素８０５は、第４の開口画素８０８と同じ列の遮光画素である。補正部１２１は、第３の開口画素８０３の補正パラメータ及び第１〜第４の遮光画素８０６，８０４，８０７，８０５の補正パラメータを基に第４の開口画素８０８の補正パラメータを式（３．１）〜（３．８）により演算する。そして、補正部１２１は、第４の開口画素８０８の補正パラメータを用いて式（１．１）〜（１．４）により第４の開口画素８０８の信号から上記の混色信号を減算する。本実施形態により、撮像領域８０１の中に遮光画素領域を設けずに、撮像領域８０１全域にわたって、混色を低減することができる。また、図７のように、遮光画素領域８０２を撮像領域８０１の四辺に設けた場合に関して説明する。平行に位置する２つの遮光画素領域８０２から求められる補正パラメータのうち、注目画素と同じ行または列に位置し、対向する上下または左右の遮光画素から得られるパラメータの平均を用いると、補正パラメータの精度が上がり、なお良い。また、図８のように、撮像領域８０１の中に遮光画素領域８０３と設けて、かつ、撮像領域８０１周辺に遮光画素領域８０２を設けるハイブリット型で、補正パラメータの精度を向上させてもよい。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０２固体撮像装置、１１０混色補正装置、１２０メモリ、１２１補正部、１３０メモリ、１３１補正パラメータ演算部、６０１撮像領域、６０２，６０３遮光画素領域、６０４領域分割線

Claims

光電変換素子を含む複数の画素が行列状に２次元配置され、複数色のカラーフィルタが前記画素の表面上に配置される固体撮像装置と、
画像処理装置とを有し、
前記複数の画素は、
複数の撮像用画素と、
隣接する全ての画素が遮光画素である第１の開口画素と、
前記第１の開口画素とは異なる位置に設けられ、隣接する全ての画素が遮光画素である第２の開口画素とを有し、
前記画像処理装置は、
前記第１の開口画素の信号及び前記第１の開口画素に隣接する遮光画素の信号を基に前記第１の開口画素から前記第１の開口画素に隣接する遮光画素への混色割合を表す補正パラメータを演算し、前記第２の開口画素の信号及び前記第２の開口画素に隣接する遮光画素の信号を基に前記第２の開口画素から前記第２の開口画素に隣接する遮光画素への混色割合を示す補正パラメータを演算する演算部と、
前記補正パラメータを用いて前記複数の撮像用画素の信号を補正する補正部と
を有することを特徴とする撮像システム。
前記固体撮像装置は、
前記複数の画素の一部からなる撮像領域と、
前記撮像領域の外周部に設けられ、前記複数の画素の他の一部からなる遮光画素領域とを有し、
前記第１の開口画素及び前記第２の開口画素は、前記遮光画素領域の中に設けられていることを特徴とする請求項１記載の撮像システム。
前記固体撮像装置は、第３の開口画素、第４の開口画素、前記第３の開口画素と同じ行の第１の遮光画素、前記第３の開口画素と同じ列の第２の遮光画素、前記第４の開口画素と同じ行の第３の遮光画素、及び前記第４の開口画素と同じ列の第４の遮光画素を有し、
前記補正部は、前記第３の開口画素の補正パラメータ及び第１〜第４の遮光画素の補正パラメータを基に前記第４の開口画素の補正パラメータを演算し、前記第４の開口画素の補正パラメータを用いて前記第４の開口画素の信号を補正することを特徴とする請求項１又は２記載の撮像システム。
前記固体撮像装置は、
前記第１の開口画素を含む第１の画素領域と、
前記第２の開口画素を含む第２の画素領域とを有し、
前記補正部は、前記第１の画素領域の中の画素については前記第１の開口画素の補正パラメータを用いて前記複数の撮像用画素の信号を補正し、前記第２の画素領域の中の画素については前記第２の開口画素の補正パラメータを用いて前記複数の撮像用画素の信号を補正することを特徴とする請求項１又は２記載の撮像システム。