JP4997359B2 - 撮像装置及び混色補正方法 - Google Patents

Description

本発明は、カラー画像撮像用の単板式固体撮像素子を搭載した撮像装置及び混色補正方法に係り、特に、隣接画素間の混色を補正する撮像装置及び混色補正方法に関する。

単板式の固体撮像素子は、異なる色フィルタを同一受光面上の隣接画素に積層するため、入射光が斜めになると混色が発生してしまう。固体撮像素子は、半導体基板に二次元アレイ状に形成された複数のフォトダイオード（画素）への各々の入射光量に応じた信号電荷を各フォトダイオードが蓄積し、この蓄積電荷量に応じた信号を撮像画像信号として読み出す構成になっている。

カラー画像を撮像する固体撮像素子の場合、フォトダイオードが形成された半導体基板の上にカラーフィルタ層を積層し、その上に、フォトダイオードに入射光を集光するマイクロレンズがフォトダイオード対応に設けられる。フォトダイオードとマイクロレンズとの距離があるため、斜め入射光が受光面に入ってくると、例えば赤色フィルタを透過した入射光が、赤色検出用のフォトダイオードではなく隣接する青色検出用や緑色検出用のフォトダイオードに入射してしまい、混色が発生する。混色が多くなると、被写体画像の色味が変化し、画像品質を劣化させることになる。

特に、低Ｆ値の撮影レンズを持つ撮像装置では、固体撮像素子受光面の周辺画素ほど、大きな入射角で被写体光像が入ってくるため、混色の影響が大きくなる。また、近年では、裏面照射型と云われる固体撮像素子がデジタルカメラに搭載され始めている。この裏面照射型は、開口率が高いため撮影感度が高くなるが、光が入射して来る半導体基板の裏面側に形成したマイクロレンズやカラーフィルタ層と、半導体基板の表面側に形成したフォトダイオードとの間の距離が離れるため、混色を起こし易い構造になっている。

混色を補正する従来技術として、例えば下記の特許文献１記載のものがある。この従来の混色補正技術は、ある注目画素の検出信号を、注目画素の周囲画素が検出した信号で補正処理を施すとき、周囲４画素の影響が等方的に注目画素に影響するのではなく、ある方向にある周囲画素の影響が大きくなることを勘案した補正パラメータを用いて補正している。

日本国特開２００７―１４２６９７号公報

混色補正は、固体撮像素子に搭載される１画素１画素の検出信号を読み出し、夫々の周囲画素の検出信号を用いて補正処理する必要があり、処理に時間がかかってしまうという問題がある。特に、近年のデジタルカメラに装備される固体撮像素子は、多画素化が進展し、１０００万画素以上を搭載するのが普通になっている。このため、固体撮像素子から撮像画像信号を読み出すだけでも時間がかかる他、撮像画像信号を読み出しγ補正処理，ＲＧＢ／ＹＣ変換処理等の周知の画像処理に加えて混色補正を１画素１画素に対して行うと、更に時間がかかり、撮影終了から撮像画像をカメラ背面の液晶表示部に表示（これをプレビュー表示という。）するまでの時間が長くなってしまう。

本発明の目的は、精度の高い混色補正を行うと共に混色補正処理時間を短縮することができる撮像装置と混色補正方法を提供することにある。

本発明の撮像装置は、半導体基板の受光面上に二次元アレイ状に設けられた複数の画素を備え奇数行の画素行に対し偶数行の画素行が１／２画素ピッチずつずらして設けられ前記奇数行の画素行の各画素の上方にカラーフィルタがベイヤ配列され前記偶数行の画素行の各画素の上方にカラーフィルタがベイヤ配列された固体撮像素子と、前記奇数行の画素行の撮像画像信号と前記偶数行の画素行の撮像画像信号とを別フレームで分割して読み出す撮像素子駆動部と、前記分割して読み出した前記奇数行又は偶数行の一方の画素行の撮像画像信号のうち或る注目画素の撮像画像信号を該注目画素の周囲にある複数画素の撮像画像信号を用いて混色補正するに際し、該複数画素のうちの前記奇数行又は偶数行の他方の画素行に属する画素の撮像画像信号の代わりに、当該画素に対して斜め方向に隣接する前記一方の画素行の画素のうち当該他方の画素行に属する画素と同色のカラーフィルタを搭載した画素の撮像画像信号を用いて混色補正する混色補正部とを備えることを特徴とする。

本発明の混色補正方法は、半導体基板の受光面上に二次元アレイ状に設けられた複数の画素を備え奇数行の画素行に対し偶数行の画素行が１／２画素ピッチづつずらして設けられ前記奇数行の画素行の各画素の上方にカラーフィルタがベイヤ配列され前記偶数行の画素行の各画素の上方にカラーフィルタがベイヤ配列された固体撮像素子と、前記奇数行の画素行の撮像画像信号と前記偶数行の画素行の撮像画像信号とを別フレームで分割して読み出す撮像素子駆動部とを備える撮像装置で撮像して得た撮像画像信号に対し行う混色補正方法であって、前記分割して読み出した前記奇数行又は偶数行の一方の画素行の撮像画像信号のうち、或る注目画素の撮像画像信号を該注目画素の周囲にある複数画素の撮像画像信号を用いて混色補正するに際し、該複数画素のうちの前記奇数行又は偶数行の他方の画素行に属する画素の撮像画像信号の代わりに、当該画素に対して斜め方向に隣接する前記一方の画素行の画素のうち当該他方の画素行に属する画素と同色のカラーフィルタを搭載した画素の撮像画像信号を用いて混色補正することを特徴とする。

本発明によれば、精度の高い混色補正を行うと共に混色補正処理の処理時間の短縮を図ることができる。

混色補正の概要説明図である。 混色補正の固体撮像素子受光面上の差違を説明する図である。 本発明の一実施形態に係る撮像装置の機能ブロック構成図である。 図３に示す固体撮像素子の表面模式図（カラーフィルタ配置図）である。 長時間露光と短時間露光の説明図である。 図４に示すＡ面画素だけを示す図である。 本発明の一実施形態における分割読出による効果説明図である。 補正テーブルの説明図である。 間引読出と補正パラメータテーブルとの関係説明図である。 切出読出と補正パラメータテーブルとの関係説明図である。

以下、本発明の一実施形態について、図面を参照して説明するが、実施形態の説明の前に、混色補正の概要を説明する。

図１は、混色補正の概要説明図である。図中に８個の画素Ｈ０〜Ｈ８を示している。各画素の検出信号量もＨ０〜Ｈ８で表すことにする。各画素に積層されるカラーフィルタの色によって、同一輝度の光を受光しても、検出信号量は異なる。

以下の実施形態で述べる固体撮像素子は、所謂ハニカム画素配列となっており、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして配列されているため、図１に示す画素配列となる。

中心にある注目画素Ｈ０には、周辺８画素Ｈ１〜Ｈ８から夫々光が漏れて入るため、混色（この図１ではカラーフィルタは省略している。周囲画素と注目画素とでカラーフィルタの色が異なれば、混色となる。）が発生する。

周辺画素Ｈｉ（ｉ＝１〜８）から中心画素Ｈ０への光漏れ率をａｉ（ｉ＝１〜８）％とする。漏れて入った光により中心画素Ｈ０の検出信号量は増えるが、増えた信号量は、漏れて入ってきた光量に比例すると考えられる。

このため、注目画素Ｈ０への周辺８画素Ｈ１〜Ｈ８からの光漏れ量による信号の誤検出量は、
Ｋ＝（Ｈ１×ａ１＋Ｈ２×ａ２＋Ｈ３×ａ３＋Ｈ４×ａ４＋Ｈ５×ａ５＋Ｈ６×ａ６＋Ｈ７×ａ７＋Ｈ８×ａ８）となる。

従って、注目画素Ｈ０の検出量Ｈ０のうち、漏れて入ってきた光による分は“Ｋ”となり、注目画素Ｈ０の真の検出信号量は（Ｈ０−Ｋ）となる。この計算を行うことで混色補正が可能となる。

上述した光漏れ率ａｉ（ｉ＝１〜８）は、カラーフィルタを透過した光が赤（Ｒ）であるか緑（Ｇ）であるか（Ｂ）であるかにより若干違った値となる。カラーフィルタを透過した光の波長域が異なるからである。カラーフィルタとフォトダイオードとの間の層は透明な絶縁層であるが、この絶縁層に入ってくる光の波長が異なれば、当然の事ながら、屈折率が違ってくるからである。従って、例えば画素Ｈ２から注目画素Ｈ０に漏れる率ａ２は、正確に言えば、ａ２（Ｒ）≠ａ２（Ｇ）≠ａ２（Ｂ）である。

図２は、固体撮像素子受光面の有効画素領域を示す図である。受光面１の中心には、図示を省略した撮影レンズからの入射光が真っ直ぐ入るが、受光面１の周辺に行くに従って、斜めの入射光が入ることになる。今、受光面１の中心に対し垂直上方の位置２にある注目画素Ｈ０の混色補正を行う場合、入射光は、図１の画素Ｈ５からＨ０方向に入射することになる。このため、画素Ｈ５から注目画素Ｈ０への光漏れ率ａ５が一番高く、反対側の画素Ｈ１からの乱反射で注目画素Ｈ０に光が漏れる漏れ率ａ１が最も低くなると考えられる。

図２の受光面中心から左斜め下方向の位置３では、図１の画素Ｈ２から注目画素Ｈ０の方向に入射光が入ることになる。このため、周辺画素Ｈ２から注目画素Ｈ０への光漏れ率ａ２が最も高く、反対側の周辺画素Ｈ６から注目画素Ｈ０への光漏れ率ａ６が最も低くなると考えられる。

位置３より更に周辺寄りになる位置４でも、画素Ｈ２から注目画素Ｈ０の方向に入射光が入るため、画素Ｈ２から注目画素Ｈ０への光漏れ率ａ２が最も大きくなると考えられる。しかし、位置４に入る入射光の入射角は、位置３に入る入射光の入射角より大きくなり、一層斜めに入射することになる。このため、位置３における光漏れ率ａ２より、位置４における光漏れ率ａ２の方が大きくなる。

受光面１の夫々の位置における夫々の光漏れ率ａｉ（ｉ＝１〜８）がどの程度の値となるかは、固体撮像素子の構造（インナーレンズの有無，１画素の大きさ，マイクロレンズやカラーフィルタとフォトダイオードとの距離等）で異なるが、予め実験などで知ることができ、また、受光面の位置毎に各漏れ率ａｉをシミュレーションで算出することができる。この漏れ率ａｉを、補正パラメータとして予め持っていれば、混色補正を高速処理することが可能となる。

しかし、１画素１画素の混色補正を上述した方法で行う場合、周辺画素の全ての検出信号量を知らなければ補正ができないため、更なる高速補正が困難になる。そこで、本実施形態では、以下の方法によりＣＰＵ２９の指示の基でデジタル信号処理部２６が混色補正を行うことにしている。

図３は、本発明の一実施形態に係る撮像装置の機能ブロック図である。この実施形態の撮像装置は、被写体の静止画像或いは動画像を撮影するデジタルカメラ１５を例としている。デジタルカメラ１５は、撮影レンズ２０と、撮影レンズ２０の背部に置かれその結像面に配置された固体撮像素子２１と、撮影レンズ２０と固体撮像素子２１との間に置かれたレンズシャッタ１９と、固体撮像素子２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，固体撮像素子２１，撮影レンズ２０，レンズシャッタ１９の駆動制御を行う駆動制御部（タイミングジェネレータを含む）２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。

本実施形態のデジタルカメラ１５は更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理，混色補正処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備える。システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。

固体撮像素子２１は、上記例ではＣＣＤ型であり、固体撮像素子２１の出力信号を外部に設けたアナログ信号処理部（ＡＦＥ：アナログフロントエンド）２２で処理する。固体撮像素子２１はＣＭＯＳ型の固体撮像素子でも良い。ＣＭＯＳ型の場合は、このＡＦＥ部分は固体撮像素子内部に設けられるのが普通である。

固体撮像素子２１の画素配列は、正方格子配列ではなく、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして配列された、所謂ハニカム画素配列となっている。また、カラーフィルタ配列にも特徴がある。

図４は、固体撮像素子２１の表面模式図である。半導体基板上に形成された各画素（フォトダイオード：図示省略）がハニカム状に画素配列され、その各々の画素の上に、Ｒ＝ｒ＝赤、Ｇ＝ｇ＝緑、Ｂ＝ｂ＝青のカラーフィルタが積層されている。

奇数行の画素行だけみると各画素は正方格子配列され、カラーフィルタＲＧＢがベイヤ配列され、偶数行の画素行だけみても各画素は正方格子配列され、カラーフィルタｒｇｂがベイヤ配列されている。この結果、ペアとなる斜めに隣接する２画素に同色のフィルタ（Ｒｒ）（Ｇｇ）（Ｂｂ）が並ぶことになる。

大文字のＲＧＢで示すカラーフィルタを搭載した画素がＡ面（第１群）画素を構成し、小文字のｒｇｂで示すカラーフィルタを搭載した画素がＢ面（第２群）画素を構成する。Ｒとｒ、Ｇとｇ、Ｂとｂは全く同じカラーフィルタであるが、Ａ面画素だけで撮影した被写体画像と、Ｂ面画素だけで撮影した被写体画像とを区別するために、大文字と小文字で区別している。

この様な画素配列，カラーフィルタ配列の固体撮像素子２１により、次の様な被写体画像の撮像が可能となる。

Ａ面画素とＢ面画素とを同一時間露光し、Ａ面画素の出力信号とＢ面画素の出力信号とを夫々図１のアナログ信号処理部（ＡＦＥ）で増幅する。このとき、Ａ面画素の出力信号とＢ面画素の出力信号とを同一ゲインで利得制御する。これにより、Ａ面画素の信号表現幅（ダイナミックレンジ）とＢ面画素の信号表現幅は同一となる。

Ａ面画素による撮像画像とＢ面画素による撮像画像とは、画素位置が一画素の大きさだけずれた同一画像である。このため、斜め隣接する同色画素信号同士を加算すれば信号量が２倍となり、高感度撮影も可能となる。しかし、勿論、画素加算をせずに、「Ａ面画素＋Ｂ面画素」の画素数の高解像度の被写体画像を作ることもできる。

固体撮像素子２１から撮像画像信号を読み出すとき、Ａ面画素の全画素の撮像画像信号を先に読み出し、次にＢ面画素の全画素の撮像画像信号を読み出すことで、Ａ面画素の撮像画像信号からプレビュー画像を作成し液晶表示部２８に表示することができる。或いは、動画像を撮像する場合、Ａ面画素だけの撮像画像信号から被写体画像を生成すれば、画素数は１／２になるため、高フレームレートでの動画像撮像が可能となる。この様な場合、後述するようにして混色補正を行い、プレビュー画像を作成したり、動画像の生成を行う。

また、上述した画素配列，カラーフィルタ配列の固体撮像素子２１を用いて、ダイナミックレンジの拡大した被写体画像を得ることができる。例えば図５に示す様に、タイミングｔ１で図３のメカニカルなレンズシャッタ１９を開き、次のタイミングｔ２でＡ面画素にリセット信号を印加して露光を開始する。任意の遅れタイミングｔ３でＢ面画素にリセット信号を印加して露光を開始し、タイミングｔ４でレンズシャッタ１９を閉じて全画素の露光を終了する。これにより、Ａ面画素の露光時間はｔ２〜ｔ４の長時間露光となり、Ｂ面画素の露光時間はｔ３〜ｔ４の短時間露光となる。

ここで、Ａ面画素（又はＢ面画素）の全画素を第１フレームで読み出し、次の第２フレームでＢ面画素（又はＡ面画素）の全画素を読み出す。Ａ面画素の出力信号とＢ面画素の出力信号とをアナログ信号処理部（ＡＦＥ）２２にて同一ゲインで増幅すると、短時間露光のＢ面画素の信号表現幅はＡ面画素の信号表現幅に比べて倍となる。

従って、Ａ面画素とＢ面画素の撮像画像信号の斜めに隣接する同色画素同士を加算することで、被写体画像のダイナミックレンジを拡大することが可能となる。

この様に、第１画素群（Ａ面画素）と第２画素群（Ｂ面画素）とが同一受光面に混在して形成され、第１画素群に属する画素と該画素に隣接する第２画素群に属する画素とがペアを構成して同色のカラーフィルタが積層され、全体としてカラーフィルタがベイヤ配列される固体撮像素子を用いる。そして、Ａ面画素とＢ群画素の夫々の撮像画像信号を分割して読み出すこととする。更に、Ａ面画素の撮像画像信号だけでＡ面の撮像画像の混色補正を行い、Ｂ群画素の撮像信号だけでＢ面の撮像画像の混色補正を、次の様にして行う。

図６は、Ａ面画素の撮像画像信号をＲＧＢで示した図である。Ｂ面画素位置の撮像画像信号は無いため、空白としている。例えば図中の矩形枠５で囲った中心のＧ画素（Ｇフィルタを搭載した画素）の検出信号の混色補正について述べる。

図６の９画素分を囲った矩形枠５内と、図１とを対比すると、矩形枠５内には、図１の中心のＧ画素Ｈ０の信号と、周辺上側のＢ画素Ｈ１の信号と、周辺右側のＲ画素Ｈ３の信号と、周辺下側のＲ画素Ｈ７の信号とが存在し、図１の画素Ｈ２，Ｈ４，Ｈ６，Ｈ８の検出信号は未だ読み出されていないため、存在しない。

なお、ここで「Ｂ画素」とは青色（Ｂ）フィルタを搭載した画素のことをいい、上述した「Ｂ面画素」とは別である。

図１で説明した混色補正では、周辺８画素Ｈ１〜Ｈ８の信号が必要であり、画素Ｈ２，Ｈ４，Ｈ６，Ｈ８の信号が不足することになる。画素Ｈ８のカラーフィルタの色は、図４と図６を対比すれば分かる通り、ｇ色である。斜めに隣接する同色フィルタを積層した画素の受光量は、同じ受光量である蓋然性は高い。高々１画素の大きさ（例えば２μｍ）だけ離れた位置に存在するためである。

そこで、画素Ｈ８の検出信号の代わりに隣接する同色画素の検出信号を代用して混色補正を行えばよいことになる。画素Ｈ８は同色の注目画素Ｈ０の検出信号を用いても良く、あるいは、図６の同色画素６の検出信号を用いても良い。画素Ｈ４の検出信号は、同様に、同色の注目画素Ｈ０又は図６の同色画素７の検出信号を用いることができる。

図１の画素Ｈ２は、図６との対比でｂ色フィルタを搭載している。そこで、このｂ色フィルタの搭載画素（ｂ画素）とペアを組む同色のＢ画素Ｈ１の検出信号を代用することができる。同様に、図１の画素Ｈ６の検出信号は、同色Ｒフィルタを搭載した画素Ｈ７の検出信号を代用することができる。

この様に、同色ペア画素が必ず斜め方向に存在する画素配列，カラーフィルタ配列の固体撮像素子２１では、奇数行又は偶数行の画素の信号だけ読み出しても、注目画素の周囲８画素の検出信号が分かる（４つの信号は実際の検出信号、残りの４つの信号は代替信号）ため、図１で説明した８つの光漏れ率ａ１〜ａ８を用いた混色補正を行うことができ、高精度に混色を低減した被写体画像を得ることができる。

以上の説明では、Ａ面画素だけの検出信号でＢ面画素位置の検出信号を代替したが、Ａ面画素とＢ面画素とは画素位置がずれているだけのため、逆に、Ｂ面画素だけの検出信号で、Ａ面画素位置の検出信号を代替することができることはいうまでもない。また、Ｇ画素を注目画素Ｈ０として説明したが、Ｒ画素，Ｂ画素を注目画素としても、検出信号を代替する画素の方向が異なるだけで、同様の補正が可能となる。

図７は、上述した混色補正を行う効果を説明する図である。Ａ面画素とＢ面画素の各撮像画像信号を、分割せずに１フレームで読み出した場合（図７（ａ））、全画素の撮像画像信号を読み出した後に周知の画像処理や混色補正を行い、その後にプレビュー表示を行わなければならないため、プレビュー表示まで時間がかかってしまう。

これに対し、Ａ面画素とＢ面画素とを分割して読み出す場合（図７（ｂ））、Ａ面画素から読み出した撮像画像信号を用いて画像処理や混色補正を行うことができ、この画像処理や混色補正を行っている最中に並行してＢ面画素の撮像画像信号を読み出すことができる。Ａ面画素の混色補正等が終了した後、Ａ面画素の撮像画像信号から生成したプレビュー画像を表示し、これと並行してＢ面画素の撮像画像信号を用いて画像処理や混色補正を行うことができる。従って、全体としての処理時間の短縮を図ることが可能となる。

上述した補正パラメータである光漏れ率ａｉ（ｉ＝１〜８）は、図２で説明した様に、固体撮像素子２１の受光面上の位置に応じた値となる。正確に言えば、受光面上の１画素１画素のアドレスに応じた値となる。しかし、１画素１画素のアドレスに応じて補正パラメータを持たなければならないと、補正パラメータを保持するメモリの容量が膨大になってしまう。ＲＧＢ毎に光漏れ率の補正パラメータａｉ（Ｒ），ａｉ（Ｇ），ａｉ（Ｂ）を持つと更に３倍となる。

そこで、次の実施形態では、図２に示す受光面１を複数の領域、例えば８×８の計６４個の部分領域に分割する。そして、各部分領域に対応した図８に示すテーブル９に、各部分領域に対応した補正パラメータａｉ（ｉ＝１〜８）を持ち、これを図３のＣＰＵ２９の図示省略のＲＯＭ内に保存しておく。そして、１つの部分領域内ではこの領域内の中心座標値の補正パラメータとし、この領域内のその他の座標の補正パラメータの値は、領域間の中心座標の値を使った線形補間で作成する。これにより、部分領域の境目で急に補正パラメータの値が変化することがなくなり、補正痕が段差となって見えてしまう虞がなくなる。

これにより、補正パラメータａｉを保存するメモリ容量を削減することができる。更にメモリ容量を削減するために、図８の８×８＝６４の部分領域対応の補正パラメータの代わり、図８の市松位置の部分領域に対応した補正パラメータだけを保持し、残りの市松位置の部分領域の補正パラメータは周りの補正パラメータを線形補間演算して求めるようにしても良い。あるいは、ＲＧＢ毎に補正パラメータを持つのではなく、ＲＧＢで共通に１つの補正パラメータを持つことでもメモリ容量は１／３になる。受光面の中心部分の領域では、ＲＧＢで共通に１つの補正パラメータａｉ（ＲＧＢ）とし、周辺領域でａｉ（Ｒ）≠ａｉ（Ｇ）≠ａｉ（Ｂ）としても、メモリ容量の削減を図ることができる。

あるいは、図６の矩形枠５内において、中心画素Ｇの左右の画素は同色のＲ画素である。光の入射方向や他の構造的要因によって、左右のＲ画素からの光漏れ率の補正パラメータをａ３＝ａ７とすることができる場合には、いずれか一方を省略してメモリ容量を削減できる。同様に、左斜め上の代用ｇと、右斜め下の代用ｇにおいて、同色であるため、代用ｇからの光漏れ率をａ４＝ａ８とできるのであれば、いずれか一方を省略してメモリ容量を削減することができる。上下のＢ画素においても同様である。例えば図８の部分領域２８，２９，３６，３７では、受光面中心であり撮影レンズの光軸に近いため入射光は受光面に略垂直に入ってくる。このため、混色は周囲画素から等方的同程度に起きる蓋然性が高いため、同色画素からの光漏れ率は同程度と取り扱って良い。

例えば、隣接する２つの部分領域間、例えば図８の部分領域１と部分領域９とが夫々異なる補正パラメータになると、部分領域１と部分領域９との境界部分に補正によるノイズが乗る虞がある。この様なノイズを回避するために、境界部分の補正パラメータを、部分領域１の補正パラメータと部分領域９の補正パラメータとを補間演算した補正パラメータで混色補正を行う様にしても良い。

図９は、間引き読み出しの場合の説明図である。固体撮像素子を駆動して被写体画像を撮像する場合、図９（ａ）の上段に示す様に、全画素（Ａ面画素だけ表示）で撮像した被写体画像を読み出す場合もあるが、図９（ｂ）の上段に示す様に、間引き読み出しする場合もある。この様な間引き読み出しを行う場合を想定して、間引き読み出し用の図９（ｂ）下段に示す様な補正パラメータのテーブル１０を用意しておく必要はない。この様な間引き読み出しを行うときは、図９（ａ）下段に示す全画素読出のときのテーブル９から必要な補正パラメータを読み出して使用すればよい。この様に流用すれば、不要なテーブル１０を用意する必要が無くなり、テーブル１０を保存するメモリ容量を削減できる。

図１０は、被写体画像のうち必要な部分の画像を切り出して読み出す場合の説明図である。例えばデジタルズームした被写体画像を読み出すとき、図１０（ａ）に示す様に、全受光面１のために用意したテーブル９から、図１０（ｂ）上段に示す切出範囲１１に該当するテーブル部分１２をテーブル９から流用し、その補正パラメータを用いて混色補正すれば良い。

なお、上述した実施形態では、撮像装置内部のＣＰＵ２９が配下のデジタル信号処理部２６などを用いて混色補正を行うとして説明したが、撮像装置がＲＡＷデータで被写体画像を撮像し、外部のパーソナルコンピュータでＲＡＷデータを現像するときに混色補正を行うことでも良い。この場合、補正パラメータを格納したテーブルデータをパーソナルコンピュータが取得することで補正が可能となる。

以上述べた実施形態の撮像装置及び混色補正方法は、半導体基板の受光面上に二次元アレイ状に設けられた複数の画素を備え奇数行の画素行に対し偶数行の画素行が１／２画素ピッチずつずらして設けられ前記奇数行の画素行の各画素の上方にカラーフィルタがベイヤ配列され前記偶数行の画素行の各画素の上方にカラーフィルタがベイヤ配列された固体撮像素子と、前記奇数行の画素行の撮像画像信号と前記偶数行の画素行の撮像画像信号とを別フレームで分割して読み出す撮像素子駆動部とを備える撮像装置又は該撮像装置で撮影して得た撮像画像信号の混色補正方法であって、前記分割して読み出した前記奇数行又は偶数行の一方の画素行の撮像画像信号のうち、或る注目画素の撮像画像信号を該注目画素の周囲にある複数画素の撮像画像信号を用いて混色補正するに際し、該複数画素のうちの前記奇数行又は偶数行の他方の画素行に属する画素の撮像画像信号の代わりに、当該画素に対して斜め方向に隣接する前記一方の画素行の画素のうち当該他方の画素行に属する画素と同色のカラーフィルタを搭載した画素の撮像画像信号を用いて混色補正することを特徴とする。

また、実施形態の撮像装置及び混色補正方法の前記混色補正は、前記注目画素に対する周囲の画素の撮像画像信号に光漏れ率の補正パラメータを乗算することで行うことを特徴とする。

また、実施形態の撮像装置及び混色補正方法の前記補正パラメータは、前記受光面の座標位置に応じて予め決められていることを特徴とする。

また、実施形態の撮像装置及び混色補正方法の前記補正パラメータは、前記受光面を複数領域に分割した部分領域毎に定めることを特徴とする。

また、実施形態の撮像装置及び混色補正方法の前記補正パラメータは、入射光の方向と前記受光面の中心に対する前記注目画素の位置とに基づいて決められることを特徴とする。

また、実施形態の撮像装置及び混色補正方法の前記注目画素に対する周囲画素の前記補正パラメータは、該周囲画素が搭載するカラーフィルタの色毎に異なる値を持つことを特徴とする。

また、実施形態の撮像装置及び混色補正方法は、前記補正パラメータをテーブルデータとして持つことを特徴とする。

また、実施形態の撮像装置及び混色補正方法は、前記注目画素の周囲画素のうち同色カラーフィルタを搭載した複数画素の前記補正パラメータが同じ値を共有化して持つことを特徴とする。

また、実施形態の撮像装置及び混色補正方法は、前記受光面の有効画素領域全面に対応して設けた前記補正パラメータの値を用い、前記固体撮像素子から間引き読み出した撮像画像信号を混色補正することを特徴とする。

また、実施形態の撮像装置及び混色補正方法は、前記受光面の有効画素領域全面のうちの部分領域の撮像画像信号を切り出したとき、該部分領域の混色補正を、前記受光面の有効画素領域全面に対応して設けた前記補正パラメータの値を用いて行うことを特徴とする。

以上述べた実施形態によれば、精度の高い混色補正ができると共に、高速に混色補正処理を行うことが可能となる。

本発明に係る混色補正方法は、高精度かつ高速に補正することができるため、デジタルスチルカメラやデジタルビデオカメラ、カメラ付携帯電話機、カメラ付小型電子装置等のデジタルカメラに適用すると有用である。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１０年１０月４日出願の日本出願（特願２０１０−２２５２７９）に基づくものであり、その内容はここに参照として取り込まれる。

１ 受光面の有効画素領域
２，３，４ 受光面上の位置
５ 矩形枠
９ 補正テーブル
２０ 撮影レンズ
２１ 固体撮像素子
２６ デジタル信号処理部
２８ 表示部
２９ システム制御部

Claims (20)

1. 半導体基板の受光面上に二次元アレイ状に設けられた複数の画素を備え、奇数行の画素行に対し偶数行の画素行が１／２画素ピッチずつずらして設けられ、前記奇数行の画素行の各画素の上方にカラーフィルタがベイヤ配列され、前記偶数行の画素行の各画素の上方にカラーフィルタがベイヤ配列された固体撮像素子と、
   前記奇数行の画素行の撮像画像信号と前記偶数行の画素行の撮像画像信号とを別フレームで分割して読み出す撮像素子駆動部と、
   前記分割して読み出した前記奇数行又は偶数行の一方の画素行の撮像画像信号のうち、或る注目画素の撮像画像信号を該注目画素の周囲にある複数画素の撮像画像信号を用いて混色補正するに際し、該複数画素のうちの前記奇数行又は偶数行の他方の画素行に属する画素の撮像画像信号の代わりに、当該画素に対して斜め方向に隣接する前記一方の画素行の画素のうち当該他方の画素行に属する画素と同色のカラーフィルタを搭載した画素の撮像画像信号を用いて混色補正する混色補正部と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置であって、前記混色補正は、前記注目画素に対する周囲の画素の撮像画像信号に光漏れ率の補正パラメータを乗算することで行う撮像装置。
3. 請求項２に記載の撮像装置であって、前記補正パラメータは、前記受光面の座標位置に応じて予め決められている撮像装置。
4. 請求項３に記載の撮像装置であって、前記補正パラメータは、前記受光面を複数領域に分割した部分領域毎に定められている撮像装置。
5. 請求項２乃至請求項４のいずれか１項に記載の撮像装置であって、前記補正パラメータは、入射光の方向と前記受光面の中心に対する前記注目画素の位置とに基づいて決められる撮像装置。
6. 請求項２乃至請求項５のいずれか１項に記載の撮像装置であって、前記注目画素に対する周囲画素の前記補正パラメータは、該周囲画素が搭載するカラーフィルタの色毎に異なる値を持つ撮像装置。
7. 請求項２乃至請求項６のいずれか１項に記載の撮像装置であって、前記補正パラメータをテーブルデータとして持つ撮像装置。
8. 請求項２乃至請求項７のいずれか１項に記載の撮像装置であって、前記注目画素の周囲画素のうち同色カラーフィルタを搭載した複数画素の前記補正パラメータが同じ値を共有化して持つ撮像装置。
9. 請求項２乃至請求項８のいずれか１項に記載の撮像装置であって、前記受光面の有効画素領域全面に対応して設けた前記補正パラメータの値を用い、前記固体撮像素子から間引き読み出した撮像画像信号を混色補正する撮像装置。
10. 請求項２乃至請求項８のいずれか１項に記載の撮像装置であって、前記受光面の有効画素領域全面のうちの部分領域の撮像画像信号を切り出したとき、該部分領域の混色補正を、前記受光面の有効画素領域全面に対応して設けた前記補正パラメータの値を用いて行う撮像装置。
11. 半導体基板の受光面上に二次元アレイ状に設けられた複数の画素を備え、奇数行の画素行に対し偶数行の画素行が１／２画素ピッチずつずらして設けられ、前記奇数行の画素行の各画素の上方にカラーフィルタがベイヤ配列され、前記偶数行の画素行の各画素の上方にカラーフィルタがベイヤ配列された固体撮像素子と、
    前記奇数行の画素行の撮像画像信号と前記偶数行の画素行の撮像画像信号とを別フレームで分割して読み出す撮像素子駆動部と、
    を備える撮像装置で撮像して得た撮像画像信号に対し行う混色補正方法であって、
    前記分割して読み出した前記奇数行又は偶数行の一方の画素行の撮像画像信号のうち、或る注目画素の撮像画像信号を該注目画素の周囲にある複数画素の撮像画像信号を用いて混色補正するに際し、該複数画素のうちの前記奇数行又は偶数行の他方の画素行に属する画素の撮像画像信号の代わりに、当該画素に対して斜め方向に隣接する前記一方の画素行の画素のうち当該他方の画素行に属する画素と同色のカラーフィルタを搭載した画素の撮像画像信号を用いて混色補正することを特徴とする混色補正方法。
12. 請求項１１に記載の混色補正方法であって、前記混色補正は、前記注目画素に対する周囲の画素の撮像画像信号に光漏れ率の補正パラメータを乗算することで行う混色補正方法。
13. 請求項１２に記載の混色補正方法であって、前記補正パラメータは、前記受光面の座標位置に応じて予め決められている混色補正方法。
14. 請求項１３に記載の混色補正方法であって、前記補正パラメータは、前記受光面を複数領域に分割した部分領域毎に定める混色補正方法。
15. 請求項１２乃至請求項１４のいずれか１項に記載の混色補正方法であって、前記補正パラメータは、入射光の方向と前記受光面の中心に対する前記注目画素の位置とに基づいて決められる混色補正方法。
16. 請求項１２乃至請求項１５のいずれか１項に記載の混色補正方法であって、前記注目画素に対する周囲画素の前記補正パラメータは、該周囲画素が搭載するカラーフィルタの色毎に異なる値を持つ混色補正方法。
17. 請求項１２乃至請求項１６のいずれか１項に記載の混色補正方法あって、前記補正パラメータをテーブルデータとして持つ混色補正方法。
18. 請求項１２乃至請求項１７のいずれか１項に記載の混色補正方法であって、前記注目画素の周囲画素のうち同色カラーフィルタを搭載した複数画素の前記補正パラメータが同じ値を共有化して持つ混色補正方法。
19. 請求項１２乃至請求項１８のいずれか１項に記載の混色補正方法であって、前記受光面の有効画素領域全面に対応して設けた前記補正パラメータの値を用い、前記固体撮像素子から間引き読み出した撮像画像信号を混色補正する混色補正方法。
20. 請求項１２乃至請求項１８のいずれか１項に記載の混色補正方法であって、前記受光面の有効画素領域全面のうちの部分領域の撮像画像信号を切り出したとき、該部分領域の混色補正を、前記受光面の有効画素領域全面に対応して設けた前記補正パラメータの値を用いて行う混色補正方法。

Images