JP5526840B2 - 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム - Google Patents

画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム Download PDF

Info

Publication number
JP5526840B2
JP5526840B2 JP2010026202A JP2010026202A JP5526840B2 JP 5526840 B2 JP5526840 B2 JP 5526840B2 JP 2010026202 A JP2010026202 A JP 2010026202A JP 2010026202 A JP2010026202 A JP 2010026202A JP 5526840 B2 JP5526840 B2 JP 5526840B2
Authority
JP
Japan
Prior art keywords
correction
color
pixel
color mixture
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010026202A
Other languages
English (en)
Other versions
JP2011166398A (ja
Inventor
良仁 浴
栄治 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010026202A priority Critical patent/JP5526840B2/ja
Priority to US12/929,317 priority patent/US8730355B2/en
Publication of JP2011166398A publication Critical patent/JP2011166398A/ja
Application granted granted Critical
Publication of JP5526840B2 publication Critical patent/JP5526840B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、複数のカラーフィルタを用いたＣＣＤ(Charge Coupled Device)，ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどの固体撮像素子における、いわゆる混色を補正する機能を有する画像信号処理装置、撮像装置、画像信号処理方法、およびプログラムに関するものである。
撮像素子のカラーフィルタの配列としては、色再現性が良好な、色の３原色のうち緑（Ｇ）を２つ（Ｇｒ，Ｇｂ）、赤（Ｒ）、青（Ｂ）を一つずつ用いたベイヤ配列が知られている。
このベイヤ配列は、色よりも輝度の解像度を重視した配列である。
固体撮像装置において、カラーフィルタが形成された複数の受光素子を有する固体撮像素子を用いるとき、カラーフィルタ透過後の光の入射角や反射などの要因により、隣接する受光素子に光が透過してしまう。
その結果、本来カラーフィルタの透過領域ではない波長で信号値が得られるという、いわゆる混色が発生する。
ところで、画素を微細化する手段として、画素共有方式を採用することが一般的である。
この方法によって１画素あたりのトランジスタ数を少なくすることができる。たとえばジグザグ型４画素共有方式がある（非特許文献１参照）。
この共有方式の場合には、同じＧｒ画素でも２種類のレイアウト構造を持つ。レイアウト構造が違うために、混色量は非対称になる。
さらにこの影響は、携帯電話用途などで用いられる小型モジュールのように、入射角がセンサ面の垂直方向から大きく傾く用途において顕著に現れる。画素の微細化につれて混色量の非対称性を補正できる高精度な補正方法が必要となる。
混色の補正方法の一つとして、カラーフィルタの色毎に全画素一様の補正係数を掛け減算することで、補正対象となる色の混色を低減する方法が報告されている（特許文献１参照）。
また、アドレス毎に異なる係数を持つ補正方法として、特許文献２に開示された方法が知られている。
この方法では、補正対象となる画素の信号値から、補正対象となる画素の横方向片側に隣接する画素の信号値に色温度とアドレス固有の補正パラメータを掛けたものを、減算することによって混色の補正を行う。
この方法での演算式は次式で表され、行方向からの混色は補正可能である。
［数１］
R’(x,y) = R(x,y) − α(x,y)× Gr(x,y)
B’(x,y) = B(x,y) − β(x,y)× Gb(x,y)
ここで、α（x,y）＝R / Gr（x,y）−a（K)
β（x,y）＝B / Gb（x,y）−b（K） ※Kは色温度
特開昭５６−１４７５７８号公報 特開２００５−２７８００４号公報
S.Yoshihara, et al., "A 1/1.8-inch 6.4MPixel 60 frames/s CMOS Image Sensor with Seamless Mode Change" ISSCC Dig. Tech. Papers, pp.492-493, Feb., 2006
ところが、特許文献１に開示された方法では、アドレス毎に異なる混色の影響に対して補正ができないという問題点がある。
全画素一様にパラメータを持つ構成では、補正精度が不十分なため、画素の微細化に伴う混色の劣化に対応できないという問題点がある。
さらに、Ｂ画素と同行にあるＧ画素（以下、Ｇｂ）とＲ画素と同行にあるＧ画素（以下、Ｇｒ）の間の混色の違いに対応することができないという問題点もある。
また、特許文献２に開示された方法では、行方向からの混色は補正可能であるが、縦および斜め方向からの混色を補正することができないため、補正精度が十分に得られないという問題点がある。
この問題点を解決するために、特許文献２では、色温度に応じて補正係数を変える方法を採用している。
しかし、この方法では、色温度を算出するシステムが必要になり、さらに、色温度毎に異なる補正パラメータを格納するメモリを搭載する必要があるため、混色補正に要する回路規模が大きくなるという問題点がある。
その他の問題点として、Ｇ画素の混色補正を行うことができないため、Ｇｒ、Ｇｂ間にカラーフィルタの下層のレイアウト形状が異なるために混色の差が出るときに発生する画素劣化が顕著になるという問題点もある。
本発明は、アドレス毎に異なる混色補正が可能となり、同色カラーフィルタの画素間のレイアウト形状が異なるときに発生する混色の影響を補正でき、色温度に依存しない混色補正が可能な画像信号処理装置、撮像装置、画像信号処理方法、およびプログラムを提供することにある。
本発明の第１の観点の画像信号処理装置は、行および列方向に配列され、光電変換する受光部を複数個有し、当該複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを含む画素間の混色を補正する混色補正回路を有し、上記混色補正回路は、色補正対象画素に対して、画素配列の横方向かつ縦方向、または横方向かつ斜め方向、または横方向かつ縦方向かつ斜め方向に隣接する複数の周辺画素の各信号値と、当該各信号に対して画素位置のアドレス固有であって混色補正対象画素の画素位置のアドレスを変数とした多項式に近似した補正パラメータを関連付けて、上記混色補正対象画素の信号値に対して混色の補正演算処理を行い、同色のカラーフィルタで形成される画素に対する混色補正演算は、カラーフィルタの下層のレイアウト形状によって異なる補正パラメータで演算を行う。
本発明の第２の観点の撮像装置は、撮像面を形成するように行および列方向に配列され、光電変換する受光部を複数個有し、当該複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを含む画像部と、上記画像部で得られた画像信号に対する画像処理を施す画像信号処理装置と、を有し、上記画像信号処理装置は、画素間の混色を補正する混色補正回路を含み、上記混色補正回路は、混色補正対象画素に対して、画素配列の横方向かつ縦方向、または横方向かつ斜め方向、または横方向かつ縦方向かつ斜め方向に隣接する複数の周辺画素の各信号値と、当該各信号に対して画素位置のアドレス固有であって混色補正対象画素の画素位置のアドレスを変数とした多項式に近似した補正パラメータを関連付けて、上記混色補正対象画素の信号値に対して混色の補正演算処理を行い、同色のカラーフィルタで形成される画素に対する混色補正演算は、カラーフィルタの下層のレイアウト形状によって異なる補正パラメータで演算を行う。
本発明の第３の観点の画像信号処理方法は、行および列方向に配列され、光電変換する受光部を複数個有し、当該複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを含む画素間の混色を補正する混色補正ステップを有し、上記混色補正ステップでは、混色補正対象画素に対して、画素配列の横方向かつ縦方向、または横方向かつ斜め方向、または横方向かつ縦方向かつ斜め方向に隣接する複数の周辺画素の各信号値と、当該各信号に対して画素位置のアドレス固有であって混色補正対象画素の画素位置のアドレスを変数とした多項式に近似した補正パラメータを関連付けて、上記混色補正対象画素の信号値に対して混色の補正演算処理を行い、同色のカラーフィルタで形成される画素に対する混色補正演算は、カラーフィルタの下層のレイアウト形状によって異なる補正パラメータで演算を行う。
本発明の第４の観点は、行および列方向に配列され、光電変換する受光部を複数個有し、当該複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを含む画素間の混色を補正する混色補正処理を有し、上記混色補正処理では、混色補正対象画素に対して、画素配列の横方向かつ縦方向、または横方向かつ斜め方向、または横方向かつ縦方向かつ斜め方向に隣接する複数の周辺画素の各信号値と、当該各信号に対して画素位置のアドレス固有であって混色補正対象画素の画素位置のアドレスを変数とした多項式に近似した補正パラメータを関連付けて、上記混色補正対象画素の信号値に対して混色の補正演算処理を行い、同色のカラーフィルタで形成される画素に対する混色補正演算は、カラーフィルタの下層のレイアウト形状によって異なる補正パラメータで演算を行う画像信号処理をコンピュータに実行させるプログラムである。
本発明によれば、アドレス毎に異なる混色補正が可能で、同色カラーフィルタの画素間のレイアウト形状が異なるときに発生する混色の影響を補正でき、色温度に依存しない混色補正が可能となる。
本発明の実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の構成例を示すブロック図である。 図１の固体撮像素子（ＣＭＯＳイメージセンサ）におけるＡＤＣ群を含む要部を示すブロック図である。 画素配列例としてベイヤ配列に単位ユニットを示す図である。 図３のベイヤ配列の単位ユニットがマトリクス状に配列された例を示す図である。 本実施形態に係る画素部の単位画素の構成例を示す回路図である。 各カラーフィルタ画素Ｒ，Ｇｒ，Ｇｂ，Ｂの分光特性を概念的に示す図である。 波長別のシェーディング形状の一例を示す図である。 本実施形態に係る混色補正回路における演算処理系の基本構成を示す図である。 混色補正対象画素がＲ、Ｇｒ、Ｇｂ、Ｂの場合の混色補正回路のより具体的な機能構成を示す図である。 アドレス固有の補正パラメータの近似式化の例を示す図である。 理想混色補正パラメータを１次関数で表した例を示す図である。 混色補正パラメータの１次関数への近似処理をまとめて示す図である。 本実施形態に係る混色補正の補正係数算出部の構成例を示す図である。 一例として本実施形態に係る補正パラメータテーブルの１次関数近似式化パラメータを理想時と対応付けて示す図である。 ベイヤ配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性があるときの補正演算を説明するための図である。 図１５のようにベイヤ配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する場合の混色補正回路のより具体的な機能構成を示す図である。 ベイヤ配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性がないときの補正演算を説明するための図である。 ホワイト画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性があるときの補正演算を説明するための図である。 ホワイト画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性がないときの補正演算を説明するための図である。 ハニカム画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性があるときの補正演算を説明するための図である。 ハニカム画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性がないときの補正演算を説明するための図である。 クリアビット型画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性があるときの補正演算を説明するための図である。 クリアビット型画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性がないときの補正演算を説明するための図である。 本実施形態に係る画素部においてベイヤ配列の単位ユニットごとに画素共有の構成を採用した場合のカラーフィルタ、画素レイアウトおよび画素回路例を示す図である。 １／２間引き処理を行う際、間引いた先の画素の信号値を使用する場合と使用しない場合の混色補正処理結果を比較して示す図である。 ウィナーフィルタ演算と混色補正演算を同時並列的に行う処理の一例を示す図である。 本発明の実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。
以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．撮像装置の全体構成例
２．混色補正回路の構成および機能
３．補正パラメータの取得方法
４．カメラシステムの構成例
図１は、本発明の実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の構成例を示す図である。
図２は、図１の固体撮像素子（ＣＭＯＳイメージセンサ）におけるＡＤＣ群を含む要部を示すブロック図である。
＜１．固体撮像素子の全体構成例＞
この固体撮像素子１００は、図１および図２に示すように、撮像部としての画素部１１０、垂直走査回路１２０、水平転送走査回路１３０、およびタイミング制御回路１４０を有する。
さらに、固体撮像素子１００は、画素信号読み出し回路としてのＡＤＣ（アナログデジタル変換装置）群であるカラム処理回路群１５０、並びにＤＡＣ（デジタル−アナログ変換装置）１６１を含むＤＡＣおよびバイアス回路１６０を有する。
固体撮像素子１００は、アンプ回路（Ｓ／Ａ）１７０、画像信号処理装置１８０、およびメモリ１９０を有する。
これらの構成要素のうち、画素部１１０、垂直走査回路１２０、水平転送走査回路１３０、カラム処理回路群（ＡＤＣ群）１５０、ＤＡＣおよびバイアス回路１６０、並びにアンプ回路（Ｓ／Ａ）１７０はアナログ系回路により構成される。
また、タイミング制御回路１４０、画像信号処理装置１８０、およびメモリ１９０はデジタル系回路により構成される。
また、本実施形態の固体撮像素子１００は、アンプ回路１７０の出力に後段の画像信号処理装置１８０が接続されている。
画像信号処理装置１８０では、メモリ１９０内に格納された信号より混色補正、ホワイトバランス処理、縦線欠陥や点欠陥の補正、信号のクランプ処理を行ったり、パラレル-シリアル変換、圧縮、符号化、加算、平均、間欠動作などデジタル信号処理を行う。
画像信号処理装置１８０は、図２に示すように、混色補正パラメータＰＲＭ、アドレス情報ＡＤＲ、および色情報ＣＬＲの供給を受けて、混色補正処理を行う。
画像信号処理装置１８０は、混色補正対象画素の信号値から、混色補正対象画素に隣接する画素の信号値とアドレス固有の補正パラメータを掛け合わせた値を、減算することで、色温度に依存しない混色の補正を行う混色補正回路２００を含む。
混色補正回路２００は、この混色補正演算をオートホワイトバランス処理の演算前に行う。
この混色補正回路２００の具体的な構成および機能については後で詳述する。
なお、メモリ１９０には、画素行毎に送信されるデジタル信号が格納される。
また、メモリ１９０には、たとえばアドレス情報ＡＤＲ、および色情報ＣＬＲが与えられ、テーブルにセットされた混色補正を行うための混色補正パラメータＰＲＭが混色補正回路２００に供給される。
以下に、撮像素子１００の構成および機能の概要を説明した後、混色補正回路２００の具体的な構成および機能について説明する。
画素部１１０は、受光部としてのフォトダイオード（光電変換素子）と画素内アンプとを含む複数の単位画素１１０Ａがｍ行ｎ列の２次元状（マトリクス状）に配列されている。
画素部１１０は、画素が撮像面を形成するように行および列方向に配列され、光電変換する受光部を複数個有し、複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを有している。
画素部１１０は、その画素配列として、たとえば図３に示すようなベイヤ配列が採用される。
すなわち、撮像素子１００のカラーフィルタの配列として、色再現性が良好な、色の３原色のうち緑（Ｇ）を２つ（Ｇｒ，Ｇｂ）、赤（Ｒ）、青（Ｂ）を一つずつ用いたベイヤ配列が知られている。
そして、画素部１１０は、図３に示すベイヤ配列を最小の単位ユニットＵＮＴとし、この単位ユニットＵＮＴが図４に示すように、マトリクス状に配列されている。
画素部１１０は、ＲＧＢの何れかの色のフィルタＦＬＴを有する複数の有効画素を有する有効画素領域と、ブランキング領域を含んで構成される。
［単位画素の構成例］
図５は、本実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例を示す図である。
この単位画素１１０Ａは、光電変換素子としてたとえばフォトダイオード１１１を有している。
単位画素１１０Ａは、１個のフォトダイオード１１１に対して、転送素子としての転送トランジスタ１１２、リセット素子としてのリセットトランジスタ１１３、増幅トランジスタ１１４、および選択トランジスタ１１５の４トランジスタを能動素子として有する。
フォトダイオード１１１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。
転送トランジスタ１１２は、フォトダイオード１１１と出力ノードとしてのフローティングディフュージョンＦＤとの間に接続されている。
転送トランジスタ１１２は、転送制御線ＬＴｘを通じてそのゲート（転送ゲート）に駆動信号ＴＧが与えられることで、光電変換素子であるフォトダイオード１１１で光電変換された電子をフローティングディフュージョンＦＤに転送する。
リセットトランジスタ１１３は、電源ラインＬＶＤＤとフローティングディフュージョンＦＤとの間に接続されている。
リセットトランジスタ１１３は、リセット制御線ＬＲＳＴを通してそのゲートにリセットＲＳＴが与えられることで、フローティングディフュージョンＦＤの電位を電源ラインＬＶＤＤの電位にリセットする。
フローティングディフュージョンＦＤには、増幅トランジスタ１１４のゲートが接続されている。増幅トランジスタ１１４は、選択トランジスタ１１５を介して垂直信号線１１６に接続され、画素部外の定電流源とソースフォロアを構成している。
そして、選択制御線ＬＳＥＬを通して制御信号（アドレス信号またはセレクト信号)ＳＥＬが選択トランジスタ１１５のゲートに与えられ、選択トランジスタ１１５がオンする。
選択トランジスタ１１５がオンすると、増幅トランジスタ１１４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を垂直信号線１１６に出力する。垂直信号線１１６を通じて、各画素から出力された電圧は、画素信号読み出し回路としてのカラム処理回路群１５０に出力される。
これらの動作は、たとえば転送トランジスタ１１２、リセットトランジスタ１１３、および選択トランジスタ１１５の各ゲートが行単位で接続されていることから、１行分の各画素について同時並列的に行われる。
画素部１１０に配線されているリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬが一組として画素配列の各行単位で配線されている。
これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬは、画素駆動部としての垂直走査回路１２０により駆動される。
固体撮像素子１００は、画素部１１０の信号を順次読み出すための制御回路として内部クロックを生成するタイミング制御回路１４０、行アドレスや行走査を制御する垂直走査回路１２０、列アドレスや列走査を制御する水平転送走査回路１３０が配置される。
タイミング制御回路１４０は、画素部１１０、垂直走査回路１２０、水平転送走査回路１３０、カラム処理回路群１５０、ＤＡＣおよびバイアス回路１６０、画像信号処理装置１８０、メモリ１９０の信号処理に必要なタイミング信号を生成する。
画素部１１０においては、ラインシャッタを使用した光子蓄積、排出により、映像や画面イメージを画素行毎に光電変換し、アナログ信号ＶＳＬをカラム処理回路群１５０の各カラム処理回路１５１に出力する。
ＡＤＣ群１５０では、ＡＤＣブロック（各カラム部）でそれぞれ、画素部１１０のアナログ出力をＤＡＣ１６１からの参照信号（ランプ信号）ＲＡＭＰを使用したＡＰＧＡ対応積分型ＡＤＣ、およびデジタルＣＤＳを行い、数ビットのデジタル信号を出力する。
ＤＡＣ１６１は、ＤＡＣ制御部１４１の制御の下、ある傾きを持った線形に変化するスロープ波形である参照信号（ランプ信号）を生成し、参照信号ＲＡＭＰをカラム処理回路群１５０に供給する。
［カラムＡＤＣの構成例］
本実施形態のカラム処理回路群１５０は、ＡＤＣブロックであるカラム処理回路（ＡＤＣ）１５１が複数列配列されている。
すなわち、カラム処理回路群１５０は、ｋビットデジタル信号変換機能を有し、各垂直信号線（列線）１１６−１〜１１６−ｎ毎に配置され、列並列ＡＤＣブロックが構成される。
各ＡＤＣ１５１は、ＤＡＣ１６１により生成される参照信号を階段状に変化させたランプ波形である参照信号ＲＡＭＰ（Ｖｓｌｏｐ）と、行線毎に画素から垂直信号線を経由し得られるアナログ信号Ｖｓｌとを比較する比較器（コンパレータ）１５１−１を有する。
さらに、各ＡＤＣは、比較時間をカウントし、カウント結果を保持するカウンタラッチ１５１−２を有する。
各カウンタラッチ１５１−２の出力は、たとえばｋビット幅の水平転送線ＬＴＲＦに接続されている。
そして、水平転送線ＬＴＲＦに対応したｋ個のアンプ回路１７０、および画像信号処理装置１８０が配置される。
ＡＤＣ群１５０においては、垂直信号線１１６に読み出されたアナログ信号電位Ｖｓｌは列毎（カラム毎）に配置された比較器１５１−１で参照信号Ｖｓｌｏｐ（ある傾きを持った線形に変化するスロープ波形であるランプ信号ＲＡＭＰ）と比較される。
このとき、比較器１５１−１と同様に列毎に配置されたカウンタラッチ１５１−２が動作している。
各ＡＤＣ１５１は、ランプ波形のある参照信号ＲＡＭＰ（電位Ｖｓｌｏｐ）とカウンタ値が一対一の対応を取りながら変化することで垂直信号線１１６の電位（アナログ信号）Ｖｓｌをデジタル信号に変換する。
ＡＤＣ１５１は、参照信号ＲＡＭＰ（電位Ｖｓｌｏｐ）の電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)で数えることでデジタル値に変換する。
アナログ信号Ｖｓｌと参照信号ＲＡＭＰ（Ｖｓｌｏｐ）が交わったとき、比較器１５１−１の出力が反転し、カウンタラッチ１５１−２の入力クロックを停止し、または、入力を停止していたクロックをカウンタラッチ１５１−２に入力し、ＡＤ変換を完了させる。
以上のＡＤ変換期間終了後、水平転送走査回路１３０により、カウンタラッチ１５１−２に保持されたデータが、水平転送線ＬＴＲＦに転送され、アンプ回路１７０を経て画像信号処理装置１８０に入力され、所定の信号処理により２次元画像が生成される。
水平転送走査回路１３０では、転送速度の確保のために数チャンネル同時並列転送を行う。
タイミング制御回路１４０においては、画素部１１０、カラム処理回路群１５０等の各ブロックでの信号処理に必要なタイミングを作成している。
画像信号処理装置１８０では、メモリ１９０内に格納された信号より混色補正、ホワイトバランス処理、縦線欠陥や点欠陥の補正、信号のクランプ処理を行ったり、パラレル-シリアル変換、圧縮、符号化、加算、平均、間欠動作などデジタル信号処理を行う。
なお、メモリ１９０には、画素行毎に送信されるデジタル信号が格納される。
また、メモリ１９０には、たとえばアドレス情報ＡＤＲ、および色情報ＣＬＲが与えられ、テーブルにセットされた混色補正を行うための混色補正パラメータＰＲＭが混色補正回路２００に供給される。
本実施形態の固体撮像素子１００においては、画像信号処理装置１８０のデジタル出力がＩＳＰやベースバンド（baseband）ＬＳＩの入力として送信される。
＜２．混色補正回路の構成および機能＞
以下に、本実施形態に係る混色補正回路２００の構成および機能について具体的に説明する。ここでは、固体撮像素子１００におけるカラーフィルタ上の混色を補正するための演算処理を中心に説明する。
混色補正回路２００は、混色補正対象画素に隣接する周辺画素の各信号値と、その各信号に対してアドレス固有の補正パラメータを用いて(関連付けて)、混色補正対象画素の信号値に対して補正処理を行う機能を有する。
混色補正回路２００は、混色補正対象画素に隣接する周辺画素として、混色補正対象画素に対して、画素配列の横方向かつ縦方向、または横方向かつ斜め方向、または横方向かつ縦方向かつ斜め方向に隣接する画素を採用する。
混色補正回路２００は、同色のカラーフィルタで構成される画素に対する混色補正演算は、隣接する周辺画素のカラーフィルタの配置によって異なる補正パラメータで演算を行う機能を有する。
また、混色補正回路２００は、同色のカラーフィルタで構成される画素の混色補正演算をカラーフィルタの下層のレイアウト形状によって異なる補正パラメータで演算を行う機能を有する。
混色補正回路２００は、補正パラメータを、混色補正対象画素のアドレスを変数とした多項式に近似した補正パラメータとし、この多項式における係数をメモリ１９０に記憶する機能を有する。
この場合、混色補正回路２００は、アドレスを変数とした多項式において、最上限値または最下限値で補正パラメータをクリップする機能を有し、このクリップする値をメモリ１９０に記憶する。
混色補正回路２００は、アドレスを変数とした多項式として、ｉ個の変曲（きょく）点で(i+1)2個にエリア分割し、エリア毎にアドレスを変数とした多項式とし、この多項式の係数をメモリ１９０に記憶する機能を有する。
本実施形態に係る光電変換部となる画素におけるカラーフィルタの配置は、一例として上述したように図３に示すように配置される。
すなわち、本実施形態においては、一例として、Ｒ(赤)、Ｒと行方向に隣接するＧ（緑，Ｇｒ）、Ｂ(青)、Ｂと行方向に隣接するＧ（Ｇｂ）を、同一アドレスを持つ最小の単位ユニットＵＮＴとして構成するベイヤ配列が採用される。
そして、混色補正は基本的に次式を用いてアドレス毎に演算することで行う。
Figure 0005526840
［混色補正の背景］
このように、混色補正を行うのは以下の理由による。
図６は、各カラーフィルタ画素Ｒ，Ｇｒ，Ｇｂ，Ｂの分光特性を概念的に示す図である。
図６において、横軸が波長を、縦軸が相対的な感度をそれぞれ示している。
図７は、波長別のシェーディング形状の一例を示す図である。
図６に示すように、カラーフィルタ透過後の光の入射角や反射などの要因により、隣接する受光素子に光が透過してしまう。
その結果、本来カラーフィルタの透過領域ではない波長で信号値が得られるという、いわゆる混色成分ＣＭＣが発生する。
そして、混色の影響により、図７に示すように、シェーディング形状が異なる。
ここで２つの点で問題となる。
第１は、アドレス毎に混色成分が異なることである。
第２は、Ｇｒ，Ｇｂでシェーディング形状が異なることである。
そこで、本実施形態においては、混色補正は基本的に上記数２に示す式を用いてアドレス毎に演算する。
この演算の特徴は以下の通りである。
各画素固有の係数で演算する。これにより、色温度によらず色シェーディングを補正することが可能となる。
Ｇに対して、ＧｒおよびＧｂを分離して演算する。これにより、より高精度な色シェーディング補正が可能となる。
アドレス毎に異なる補正パラメータを近似式化して使用する。これにより、メモリ容量を削減することが可能となる。
以下に、混色補正回路の構成例、補正パラメータの取得方法(算出方法)、補正パラメータの１次関数への近似化処理等について具体的に説明する。
［混色補正回路の基本構成］
図８は、本実施形態に係る混色補正回路における演算処理系の基本構成を示す図である。
基本的に、混色補正回路２００は、乗算器２０１，２０２、および加減算器２０３を有する。
乗算器２０１は、混色補正対象画素ＳＰＸＬに隣接する一の周辺画素ＰＰＸＬ１に対応した出力信号ＳＰＰＸＬ１に、アドレス固有の補正パラメータＰＲＭ１を乗算する。
乗算器２０２は、混色補正対象画素ＳＰＸＬに隣接する一の周辺画素ＰＰＸＬ２に対応した出力信号ＳＰＰＸＬ２に、アドレス固有の補正パラメータＰＲＭ２を乗算する。
加減算器２０３は、加算部２０３１および減算部２０３２を含んで構成される。
加算部２０３１は、乗算器２０１，２０２の出力信号Ｓ２０１，Ｓ２０２を、混色補正対象画素ＳＰＸＬの信号ＳＳＰＸＬに加算して補正信号とする。
減算部２０３２は、混色補正対象画素ＳＰＸＬの信号値ＳＳＰＸＬと、加算部２０３１の出力補正信号の差分をとる。
なお、図３の配列において、混色補正対象画素ＳＰＸＬとしては、Ｒ、Ｇｒ、Ｇｂ、Ｂがなり得る。
図９は、混色補正対象画素がＲ、Ｇｒ、Ｇｂ、Ｂの場合の混色補正回路のより具体的な機能構成を示す図である。
混色補正対象画素ＳＰＸＬがＲである場合、図９（Ａ）に示すように、平均化回路２０４でＧｒ，Ｇｂの値の平均をとった信号が混色補正対象画素ＳＰＸＬ（Ｒ）に隣接する一の周辺画素ＰＰＸＬ１に対応した出力信号ＳＰＰＸＬ１として採用される。
乗算器２０１において、この信号ＳＰＰＸＬ１に補正パラメータＰＲＭ１が乗算されて、信号Ｓ２０１が加減算器２０３に出力される。
また、Ｂの信号が混色補正対象画素ＳＰＸＬ（Ｒ）に隣接する他の周辺画素ＰＰＸＬ２に対応した出力信号ＳＰＰＸＬ２として採用される。
乗算器２０２において、この信号ＳＰＰＸＬ２に補正パラメータＰＲＭ２が乗算されて、信号Ｓ２０２が加減算器２０３に出力される。
そして、加減算器２０３において、乗算器２０１，２０２の出力信号Ｓ２０１，Ｓ２０２を、混色補正対象画素ＳＰＸＬの信号ＳＳＰＸＬに加算して補正信号が得られ、混色補正対象画素ＳＰＸＬ（Ｒ）の信号値ＳＳＰＸＬと、出力補正信号の差分がとられる。
混色補正対象画素ＳＰＸＬがＧｒである場合、図９（Ｂ）に示すように、Ｒの信号が混色補正対象画素ＳＰＸＬ（Ｇｒ）に隣接する一の周辺画素ＰＰＸＬ１に対応した出力信号ＳＰＰＸＬ１として採用される。
乗算器２０１において、この信号ＳＰＰＸＬ１に補正パラメータＰＲＭ１が乗算されて、信号Ｓ２０１が加減算器２０３に出力される。
また、Ｂの信号が混色補正対象画素ＳＰＸＬ（Ｇｒ）に隣接する他の周辺画素ＰＰＸＬ２に対応した出力信号ＳＰＰＸＬ２として採用される。
乗算器２０２において、この信号ＳＰＰＸＬ２に補正パラメータＰＲＭ２が乗算されて、信号Ｓ２０２が加減算器２０３に出力される。
そして、加減算器２０３において、乗算器２０１，２０２の出力信号Ｓ２０１，Ｓ２０２を、混色補正対象画素ＳＰＸＬの信号ＳＳＰＸＬに加算して補正信号が得られ、混色補正対象画素ＳＰＸＬ（Ｇｒ）の信号値ＳＳＰＸＬと、出力補正信号の差分がとられる。
混色補正対象画素ＳＰＸＬがＧｂである場合、図９（Ｃ）に示すように、Ｒの信号が混色補正対象画素ＳＰＸＬ（Ｇｂ）に隣接する一の周辺画素ＰＰＸＬ１に対応した出力信号ＳＰＰＸＬ１として採用される。
乗算器２０１において、この信号ＳＰＰＸＬ１に補正パラメータＰＲＭ１が乗算されて、信号Ｓ２０１が加減算器２０３に出力される。
また、Ｂの信号が混色補正対象画素ＳＰＸＬ（Ｇｂ）に隣接する他の周辺画素ＰＰＸＬ２に対応した出力信号ＳＰＰＸＬ２として採用される。
乗算器２０２において、この信号ＳＰＰＸＬ２に補正パラメータＰＲＭ２が乗算されて、信号Ｓ２０２が加減算器２０３に出力される。
そして、加減算器２０３において、乗算器２０１，２０２の出力信号Ｓ２０１，Ｓ２０２を、混色補正対象画素ＳＰＸＬの信号ＳＳＰＸＬに加算して補正信号が得られ、混色補正対象画素ＳＰＸＬ（Ｇｂ）の信号値ＳＳＰＸＬと、補正信号の差分がとられる。
混色補正対象画素ＳＰＸＬがＢである場合、図９（Ｄ）に示すように、平均化回路２０４でＧｒ，Ｇｂの値の平均をとった信号が混色補正対象画素ＳＰＸＬ（Ｂ）に隣接する一の周辺画素ＰＰＸＬ１に対応した出力信号ＳＰＰＸＬ１として採用される。
乗算器２０１において、この信号ＳＰＰＸＬ１に補正パラメータＰＲＭ１が乗算されて、信号Ｓ２０１が加減算器２０３に出力される。
また、Ｒの信号が混色補正対象画素ＳＰＸＬ（Ｂ）に隣接する他の周辺画素ＰＰＸＬ２に対応した出力信号ＳＰＰＸＬ２として採用される。
乗算器２０２において、この信号ＳＰＰＸＬ２に補正パラメータＰＲＭ２が乗算されて、信号Ｓ２０２が加減算器２０３に出力される。
そして、加減算器２０３において、乗算器２０１，２０２の出力信号Ｓ２０１，Ｓ２０２を、混色補正対象画素ＳＰＸＬの信号ＳＳＰＸＬに加算して補正信号が得られ、混色補正対象画素ＳＰＸＬ（Ｂ）の信号値ＳＳＰＸＬと、出力補正信号の差分がとられる。
＜３．補正パラメータの取得方法＞
ここで、数２における補正パラメータの算出方法を示す。
その方法は、まず、分光測定から各色のカラーフィルタを配置した画素の感度応答を測定する。
分光測定結果から、Ｂ（Blue）画素、Ｇ（Green）画素、Ｒ（Red）画素における感度出力の波長依存性を得る。
次に、各画素からの混色量を算出する。たとえばＢ画素からの混色量（数２中のa41(x,y)、a42(x,y)、a43(x,y)）を算出する際は、Ｂの信号値がＧおよびＲ画素の信号値よりも十分に高いときの波長（例として４５０ｎｍ）を用いる。
この波長領域では、ＧおよびＲ画素における感度はＢ画素からの混色成分となる。
この波長領域内で、単一波長測定を行うことで、Ｂ画素からＲ、Ｇｒ、Ｇｂへの混色量の面内分布が得られる。この面内分布から、下記の演算を行う。
［数３］
a41(x,y) = R(x,y)@ 450nm / B(x,y)@ 450nm
a42(x,y) = Gr(x,y)@ 450nm / B(x,y)@450nm
a43(x,y) = Gb(x,y)@ 450nm / B(x,y)@450nm
ただし、R(x,y)：アドレスx,yにおけるＲ画素の信号値（Ｇｒ、Ｇｂ、Ｂについても同様）
これがＢ画素からのアドレス固有の補正パラメータとなる。
同様に、ＲおよびＧ画素からの混色量を算出することで、カラーフィルタの色およびアドレス固有の補正パラメータを取得する。
［補正パラメータの近似式化］
次に、測定により得られたアドレス固有の補正パラメータをオフチップで多項式に近似式化する。
補正パラメータをｉ個の変曲（きょく）点で(i+1)2個にエリア分割し、エリア毎にアドレスを変数とした多項式に近似する。
さらに、最上限値または最下限値を超える補正パラメータはクリップする。変曲（きょく）点、多項式の係数および最上限値、最下限値をオンチップメモリに記憶する。
図１０（Ａ）および（Ｂ）は、アドレス固有の補正パラメータの近似式化の例を示す図である。
図１０（Ａ）は、変曲（きょく）点が１個の場合で、すべて１次関数で近似化した場合を示す。
変曲（きょく）点Ｎ(a,b)と図中の補正パラメータの近似多項式Ｚ(x,y)における係数ABCDEFGHIJKLの値をメモリ１９０に記憶する。
メモリ１９０に記憶する値は変曲（きょく）点１個と多項式の係数１２個である。
変曲（きょく）点が１個であることから、４つのエリアＡＲ１〜ＡＲ４に分割され、エリアＡＲ１〜ＡＲ４毎にアドレスを変数とした多項式に近似する。
また、図１０（Ｂ）では、変曲（きょく）点が２個の場合で、すべて１次関数で近似化した場合を示す。
変曲（きょく）点Ｎ１(a,c)、Ｎ２(b,d)と図中の補正パラメータの近似多項式Ｚ(x,y)における係数ABCDEFGHIの値をメモリ１９０に記憶する。
メモリ１９０に記憶する値は変曲（きょく）点２個と多項式の係数２７個である。
変曲（きょく）点が２個であることから、９つのエリアＡＲ１〜ＡＲ９に分割され、エリアＡＲ１〜ＡＲ９毎にアドレスを変数とした多項式に近似する。
変曲（きょく）点がｉ個の場合、１次関数で近似した場合のメモリ１９０に記憶する値の数は、変曲（きょく）点ｉ個と近似多項式の係数3(i+1)2 個となる。
また、図１０（Ｂ）に示すように、最上限値または最下限値をクリップする場合、その値（Ｍ）をメモリ１９０に記憶する。
図１１（Ａ），（Ｂ）は、理想混色補正パラメータを１次関数で表した例を示す図である。
図１１（Ａ）が理想補正パラメータを示し、図１１（Ｂ）が１次関数で表現した例を示している。
全画素にアドレス固有のパラメータを用意すると莫大な容量のオンチップメモリが必要となる。
そこで、本実施形態においては、理想混色補正パラメータを１次関数で表し、メモリ容量の削減を図っている。
図１２は、混色補正パラメータの１次関数への近似処理をまとめて示す図である。
図１２に示すように、変曲（きょく）点に対応する基準点（Ｊ，Ｋ）を決め、近似線Ｌ１、Ｌ２を求める。
この例では、混色補正パラメータＰＲＭは次式で表される。
［数４］
ＰＲＭ＝ａｘ＋ｂｘ＋ｃ
係数ａは、ｘ＜Ｊのときａ１、ｘ＞Ｊのときａ２となる。係数ｂはｙ＜Ｋのときｂ１、ｙ＞Ｋのときｂ２となる。ｃは基準点の値である。
したがって、１つのテーブルに必要な係数の数は７個となる。
すなわち、１つのテーブルに必要な係数は、傾き係数が４個、定数が１個、下限値および上限値クリップ用の係数が２個の計７個となる。
図１３は、本実施形態に係る混色補正の補正係数算出部の構成例を示す図である。
この補正係数算出部２１０は、パラメータレジスタ２１１、乗算器２１２，２１３、加算器２１４，２１５、および上限・下限判定部２１６を有する。
乗算器２１２は、ｘアドレスとパラメータレジスタ２１１による傾き係数ａを乗算し、その結果を信号Ｓ２１２として加算器２１４に出力する。
乗算器２１３は、ｙアドレスとパラメータレジスタ２１１による傾き係数ｂを乗算し、その結果を信号Ｓ２１３として加算器２１４に出力する。
加算器２１４は、乗算器２１２の出力信号Ｓ２１２（ａ＊ｘ）と乗算器２１３の出力信号Ｓ２１３（ｂ＊ｙ）とを加算し、信号Ｓ２１４として加算器２１５に出力する。
加算器２１４は、加算器２１４の出力信号（ａ＊ｘ＋ｂ＊ｙ）にパラメータレジスタ２１１による定数ｃを加算し、信号Ｓ２１５として上限・下限判定部２１６に出力する。
上限・下限判定部２１６は、パラメータレジスタ２１１によるクリップ値Ｍを受けて、最上限値または最下限値を超える補正パラメータを、クリップする。
図１４（Ａ）〜（Ｈ）は、一例として本実施形態に係る補正パラメータテーブルの１次関数近似式化パラメータを理想時と対応付けて示す図である。
図１４（Ａ）は、Ｒフィルタ画素がＧｒフィルタ画素に及ぼす影響に関連した理想パラメータと近似式化パラメータとを対比して示している。
図１４（Ｂ）は、Ｒフィルタ画素がＧｂフィルタ画素に及ぼす影響に関連した理想パラメータと近似式化パラメータとを対比して示している。
図１４（Ｃ）は、Ｒフィルタ画素がＢフィルタ画素に及ぼす影響に関連した理想パラメータと近似式化パラメータとを対比して示している。
図１４（Ｄ）は、Ｇフィルタ画素がＲフィルタ画素に及ぼす影響に関連した理想パラメータと近似式化パラメータとを対比して示している。
図１４（Ｅ）は、Ｇフィルタ画素がＢフィルタ画素に及ぼす影響に関連した理想パラメータと近似式化パラメータとを対比して示している。
図１４（Ｆ）は、Ｂフィルタ画素がＲフィルタ画素に及ぼす影響に関連した理想パラメータと近似式化パラメータとを対比して示している。
図１４（Ｇ）は、Ｂフィルタ画素がＧｒフィルタ画素に及ぼす影響に関連した理想パラメータと近似式化パラメータとを対比して示している。
図１４（Ｈ）は、Ｂフィルタ画素がＧｂフィルタ画素に及ぼす影響に関連した理想パラメータと近似式化パラメータとを対比して示している。
ここで、上記構成を有する固体撮像素子１００の動作の概要を説明する。
画素部１１０で光電変換によって得られたアナログ信号値はカラム処理回路群１５０においてデジタルデータに変換され、水平転送走査回路１３０による水平転送処理により水平転送線ＬＴＲＦ、アンプ回路１７０を介して混色補正回路２００に入力される。
混色補正回路２００に入力した信号値はメモリ（ＲＡＭ）に格納され、近似式化した補正パラメータを用いて、数２に示す行列演算が行われる。混色補正演算は画像信号処理装置１８０のオートホワイトバランスの演算前に行われる。
数２に示す演算式に従って、混色補正対象画素ＳＰＸＬの信号値から、補正対象画素の縦、横、斜め方向に隣接する画素の信号値にアドレス固有の補正パラメータを掛けた値を、補正対象画素の信号値から減算することにより混色の補正が行われる。
数２に示す演算式は、横方向だけでなく、縦方向および斜め方向の画素が及ぼす混色の影響を除去することが可能なため、色温度に依存しない混色の補正が実現できる。
混色補正に用いる画素の組み合わせは、図４の組み合わせに限らず、図１５に示すような組み合わせでも可能である。
図１５は、ベイヤ配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性があるときの補正演算を説明するための図である。
図１５に示す構成では、混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正することが可能である。そのため、光学中心に対する位置によって補正量を変えることができる。
これにより、あらゆる方向からの混色を補正することが可能である。
この図１５のベイヤ配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する場合で、混色量に対称性があるときの補正演算式は次のようになる。
Figure 0005526840
この場合、複数の周辺画素を用いることから、たとえば混色補正対象画素ＳＰＸＬに隣接する複数の周辺画素ＰＰＸＬの平均値が出力信号ＳＰＰＸＬ１．ＳＰＰＸＬ２として採用される。
図１６は、図１５のようにベイヤ配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する場合の混色補正回路のより具体的な機能構成を示す図である。
図１６においては、３×３のマトリクスにおいて、中心画素の周辺の８つの画素を用いる。
左列の画素がＬ１、Ｌ２、Ｌ３である。
中央列の画像がＣ１、Ｃ２、Ｃ３である。
右列の画素がＲ１、Ｒ２、Ｒ３である。
そして、中央の画素Ｃ２が混色補正対象画素ＳＳＰＸＬとなる。
混色補正対象画素Ｃ２（ＳＰＸＬ）がＲである場合、次のように処理が行われる。
この場合、図１６（Ａ）に示すように、平均化回路２０４でＧｒ（Ｌ２，Ｒ２）とＧｂ（Ｃ１，Ｃ３）の値の平均をとった信号が混色補正対象画素ＳＰＸＬ（Ｒ）に隣接する一の周辺画素ＰＰＸＬ１に対応した出力信号ＳＰＰＸＬ１として採用される。
乗算器２０１において、この信号ＳＰＰＸＬ１に補正パラメータＰＲＭ１が乗算されて、信号Ｓ２０１が加減算器２０３に出力される。
また、平均化回路２０５でＢ（Ｌ１，Ｌ３，Ｒ１，Ｒ３）の値の平均をとった信号が混色補正対象画素ＳＰＸＬ（Ｒ）に隣接する他の周辺画素ＰＰＸＬ２に対応した出力信号ＳＰＰＸＬ２として採用される。
乗算器２０２において、この信号ＳＰＰＸＬ２に補正パラメータＰＲＭ２が乗算されて、信号Ｓ２０２が加減算器２０３に出力される。
そして、加減算器２０３において、乗算器２０１，２０２の出力信号Ｓ２０１，Ｓ２０２を、混色補正対象画素ＳＰＸＬの信号ＳＳＰＸＬに加算して補正信号が得られ、混色補正対象画素ＳＰＸＬ（Ｒ）の信号値ＳＳＰＸＬと、出力補正信号の差分がとられる。
混色補正対象画素Ｃ２（ＳＰＸＬ）がＧｒである場合、次のように処理が行われる。
この場合、図１６（Ｂ）に示すように、平均化回路２０４でＲ（Ｌ２，Ｒ２）の値の平均をとった信号が混色補正対象画素ＳＰＸＬ（Ｇｒ）に隣接する一の周辺画素ＰＰＸＬ１に対応した出力信号ＳＰＰＸＬ１として採用される。
乗算器２０１において、この信号ＳＰＰＸＬ１に補正パラメータＰＲＭ１が乗算されて、信号Ｓ２０１が加減算器２０３に出力される。
また、平均化回路２０５でＢ（Ｃ１，Ｃ３）の値の平均をとった信号が混色補正対象画素ＳＰＸＬ（Ｇｒ）に隣接する他の周辺画素ＰＰＸＬ２に対応した出力信号ＳＰＰＸＬ２として採用される。
乗算器２０２において、この信号ＳＰＰＸＬ２に補正パラメータＰＲＭ２が乗算されて、信号Ｓ２０２が加減算器２０３に出力される。
そして、加減算器２０３において、乗算器２０１，２０２の出力信号Ｓ２０１，Ｓ２０２を、混色補正対象画素ＳＰＸＬの信号ＳＳＰＸＬに加算して補正信号が得られ、混色補正対象画素ＳＰＸＬ（Ｇｒ）の信号値ＳＳＰＸＬと、出力補正信号の差分がとられる。
この場合、Ｇｂ（Ｌ１，Ｌ３，Ｒ１，Ｒ３）画素は未使用である。
混色補正対象画素Ｃ２（ＳＰＸＬ）がＧｂである場合、次のように処理が行われる。
この場合、図１６（Ｃ）に示すように、平均化回路２０４でＲ（Ｃ１，Ｃ３）の値の平均をとった信号が混色補正対象画素ＳＰＸＬ（Ｇｂ）に隣接する一の周辺画素ＰＰＸＬ１に対応した出力信号ＳＰＰＸＬ１として採用される。
乗算器２０１において、この信号ＳＰＰＸＬ１に補正パラメータＰＲＭ１が乗算されて、信号Ｓ２０１が加減算器２０３に出力される。
また、平均化回路２０５でＢ（Ｌ２，Ｒ２）の値の平均をとった信号が混色補正対象画素ＳＰＸＬ（Ｇｂ）に隣接する他の周辺画素ＰＰＸＬ２に対応した出力信号ＳＰＰＸＬ２として採用される。
乗算器２０２において、この信号ＳＰＰＸＬ２に補正パラメータＰＲＭ２が乗算されて、信号Ｓ２０２が加減算器２０３に出力される。
そして、加減算器２０３において、乗算器２０１，２０２の出力信号Ｓ２０１，Ｓ２０２を、混色補正対象画素ＳＰＸＬの信号ＳＳＰＸＬに加算して補正信号が得られ、混色補正対象画素ＳＰＸＬ（Ｇｂ）の信号値ＳＳＰＸＬと、出力補正信号の差分がとられる。
この場合、Ｇｒ（Ｌ１，Ｌ３，Ｒ１，Ｒ３）画素は未使用である。
混色補正対象画素Ｃ２（ＳＰＸＬ）がＢである場合、次のように処理が行われる。
この場合、図１６（Ｄ）に示すように、平均化回路２０４でＧｒ（Ｌ２，Ｒ２）とＧｂ（Ｃ１，Ｃ３）の値の平均をとった信号が混色補正対象画素ＳＰＸＬ（Ｂ）に隣接する一の周辺画素ＰＰＸＬ１に対応した出力信号ＳＰＰＸＬ１として採用される。
乗算器２０１において、この信号ＳＰＰＸＬ１に補正パラメータＰＲＭ１が乗算されて、信号Ｓ２０１が加減算器２０３に出力される。
また、平均化回路２０５でＲ（Ｌ１，Ｌ３，Ｒ１，Ｒ３）の値の平均をとった信号が混色補正対象画素ＳＰＸＬ（Ｂ）に隣接する他の周辺画素ＰＰＸＬ２に対応した出力信号ＳＰＰＸＬ２として採用される。
乗算器２０２において、この信号ＳＰＰＸＬ２に補正パラメータＰＲＭ２が乗算されて、信号Ｓ２０２が加減算器２０３に出力される。
そして、加減算器２０３において、乗算器２０１，２０２の出力信号Ｓ２０１，Ｓ２０２を、混色補正対象画素ＳＰＸＬの信号ＳＳＰＸＬに加算して補正信号が得られ、混色補正対象画素ＳＰＸＬ（ｂ）の信号値ＳＳＰＸＬと、出力補正信号の差分がとられる。
図１７は、ベイヤ配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性がないときの補正演算を説明するための図である。
図１５の例では、ベイヤ配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する場合で、混色量に対称性があるときの補正演算式は数５のようになる。
これに対して、混色量に対称性がないときの補正演算式は次のようになる。この場合、画素の組み合わせに応じた補正係数を持つ。
Figure 0005526840
以上の実施形態においては、画素配列としてベイヤ配列を一例として説明した。
本発明は、画素配列においても、ベイヤ配列に限らず、インタライン配列、市松配列、ハニカム配列などであっても適用でき、フィルタ配列においても、原色フィルタ配列に限らず、補色フィルタ配列でも適用可能である。
ここで、補色としては、シアン(Ｃｙ)、マゼンタ(Ｍｇ)、黄色(Ｙ)が含まれる。
また、画素配列は、ホワイト画素（Ｗ）を用いたホワイト画素型、ハニカム型、クリアビット型が適用可能である。
以下に、補正に用いる画素の組み合わせ例を、図１８および図１９にホワイト画素型、図２０および図２１にハニカム型、図２２および図２３にクリアビット型の一例を示す。
ホワイト画素型は、ベイヤ配列の単位ユニットＵＮＴにおけるＧｒ画素の配置位置にＧ画素が配置され、Ｇｂ画素の配置位置にホワイト（Ｗ）画素が配置される。
図１８は、ホワイト画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性があるときの補正演算を説明するための図である。
図１８に示す構成では、混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正することが可能である。そのため、光学中心に対する位置によって補正量を変えることができる。
これにより、あらゆる方向からの混色を補正することが可能である。
この図１８のホワイト画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する場合で、混色量に対称性があるときの補正演算式は次のようになる。
Figure 0005526840
図１９は、ホワイト画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性がないときの補正演算を説明するための図である。
図１８の例では、ホワイト画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する場合で、混色量に対称性があるときの補正演算式は数７のようになる。
これに対して、混色量に対称性がないときの補正演算式は次のようになる。この場合、画素の組み合わせに応じた補正係数を持つ。
Figure 0005526840
ハニカム型は、Ｇ画素を中心として、Ｇ画素の左斜め上および右斜め下にＲ画素が配置され、Ｇ画素右斜め上および左斜め下にＢ画素が配置される。
図２０は、ハニカム画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性があるときの補正演算を説明するための図である。
図２０に示す構成では、混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正することが可能である。そのため、光学中心に対する位置によって補正量を変えることができる。
これにより、あらゆる方向からの混色を補正することが可能である。
この図２０のハニカム画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する場合で、混色量に対称性があるときの補正演算式は次のようになる。この場合のＧｒ、Ｇｂについてはベイヤ配列の場合と同様である。
Figure 0005526840
図２１は、ハニカム画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性がないときの補正演算を説明するための図である。
図２０の例では、ハニカム画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する場合で、混色量に対称性があるときの補正演算式は数９のようになる。
これに対して、混色量に対称性がないときの補正演算式は次のようになる。この場合、画素の組み合わせに応じた補正係数を持つ。
Figure 0005526840
クリアビット型は、Ｇ画素を中心として、Ｇ画素の左斜め上および右斜め下にＧ画素が配置され、Ｇ画素右斜め上および左斜め下にＧ画素が配置される。そして、Ｇ画素の左側方および右側方にＲ画素が配置され、Ｇ画素の上側方および下側方にＢ画素が配置される。
図２２は、クリアビット型画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性があるときの補正演算を説明するための図である。
図２２に示す構成では、混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正することが可能である。そのため、光学中心に対する位置によって補正量を変えることができる。
これにより、あらゆる方向からの混色を補正することが可能である。
この図２２のクリアビット型画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する場合で、混色量に対称性があるときの補正演算式は次のようになる。
この場合、Ｇ画素の名称については、辺をＧ画素に囲まれたものをＧｒｂ、４辺をＧ画素に囲まれたものをＧｃとしている。Ｇｒｂについては、混色量の違いが生じた場合、さらに異色として扱うことも可能である。
Figure 0005526840
図２３は、クリアビット型画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する例であって、混色量に対称性がないときの補正演算を説明するための図である。
図２２の例では、ハニカム画素配列において混色補正対象画素に隣接するすべての周辺画素(８個)からの混色を補正する場合で、混色量に対称性があるときの補正演算式は数１１のようになる。
これに対して、混色量に対称性がないときの補正演算式は次のようになる。この場合、画素の組み合わせに応じた補正係数を持つ。
Figure 0005526840
以上、本発明が適用可能な画素配列例に説明した。
また、本発明は、いわゆる画素共有を行った場合であっても適用可能である。
図２４（Ａ）〜（Ｃ）は、本実施形態に係る画素部においてベイヤ配列の単位ユニットごとに画素共有の構成を採用した場合のカラーフィルタ、画素レイアウトおよび画素回路例を示す図である。
この画素構成では、３つの画素でリセットトランジスタ１１３、増幅トランジスタ１１４、選択トランジスタ１１５、フローティングディフュージョンＦＤを共有する。
図２４（Ａ）に示す画素共有構成では、ベイヤ配列において、光電変換素子（ＰＤ）ａをＲ、ＰＤｂおよびＰＤｃをＧｒ，Ｇｂ、ＰＤｄをＢのフォトダイオードとして採用する。
そして、各フォトダイオードＰＤａ〜ＰＤｄが転送トランジスタ１１２を介してＦＤに接続される。
図２４（Ｂ）および（Ｃ）の画素構成はジグザク型４画素共有方式である。この場合、ベイヤ配列において、第ｎ行のフィルタ画素Ｒ１、第ｎ＋１行のフィルタ画素Ｂ１、第ｎ＋２行のフィルタ画素Ｒ２、第ｎ＋３行のフィルタ画素Ｂ２がフローティングディフュージョンＦＤを共有する。そして、３つの画素でリセットトランジスタ１１３、増幅トランジスタ１１４、選択トランジスタ１１５を共有する。
そして、各フォトダイオードＰＤａ〜ＰＤｄが転送トランジスタ１１２を介してＦＤに接続される。
このように、本発明は、画素共有を行った際でも適用可能である。
そして、同色のカラーフィルタであってもカラーフィルタの下層レイアウトが異なるので、カラーフィルタ毎の混色補正演算だけでは十分ではなく、同色カラーフィルタだけでなく下地レイアウトの違いを考慮した混色補正演算が重要になる。
さらに、混色補正に用いる補正パラメータはアドレス固有の補正パラメータだけでなく、ブロックに分割したエリア固有の補正パラメータであっても良い。
今後、携帯電話などの小型カメラ用途では、光軸方向のモジュールの高さが低いことが望まれる。
その結果、センサの中央部に対して大きな像高で光の入射角が傾き、そのために画面中央部と周辺部の混色量が異なる。
像高に応じて混色補正量を変えることは、今後小型化が進むにつれ重要になってくる。
ところで、近年、高い解像度を持つイメージセンサであっても、低い解像度の良質な画像を撮像することが求められている。
たとえば、デジタルスチルカメラで動画を撮影したり、逆にカムコーダーで静止画を撮像したりするなどの機能が一般的になってきている。
また、これらの電子機器では、多くの場合、映像を確認するためのビューファインダーを備えているが、通常、ビューファインダーの解像度は撮像する画像よりも低い。
さらに一部のデジタルスチルカメラや携帯電話などでは、低解像度の撮像時にフレームレートを向上させ、従来は見ることができなかった高速の動きを撮像する機能を搭載している。
以上のように、一つのイメージセンサで、高解像度で低フレームレートの静止画と、比較的低解像度で高フレームレートの動画の両方に対応することが求められている。
これに対して、全ての画素から信号を読み出す全画素モードと、行や列を飛ばしながら間欠的に読み出す間引きモードに対応するＣＭＯＳイメージセンサが提案されている。
このＣＭＯＳイメージセンサにおいては、高解像度の静止画を撮影する際には全画素モードを用い、低解像度の動画や高いフレームレートで撮像する際には間引きモードを用いる。
そして、間引きモードにおいて、本実施形態に係る混色補正を行う場合において、間引きモードで単純間引きを行う際、間引いた先の画素を使用するとエラーが起きる。
混色補正を行うときは、間引いた先の画素を使用しない動作をさせる必要がある。
図２５は、１／２間引き処理を行う際、間引いた先の画素の信号値を使用する場合と使用しない場合の混色補正処理結果を比較して示す図である。
間引いた先の画素の信号値を使用すると、エッジに偽色が発生する。
これに対して、間引いた先の画素の信号値を使用しない場合は、エッジに偽色が発生しない。
したがって、混色補正を行うときは、間引いた先の画素を使用しない動作をさせる必要がある。
図２６は、ウィナーフィルタ演算と混色補正演算を同時並列的に行う処理の一例を示す図である。
また、画像信号処理装置１８０においては、混色補正処理の他にも、フィルタを用いた演算処理が行われる。
たとえば、画像信号処理装置１８０においては、ウィナーフィルタ(Wiener Filter)演算回路２４０を用いたマトリクス演算処理を行う。
本実施形態においては、たとえば図２６に示すように、ウィナーフィルタ演算回路２４０の演算係数マトリクスと混色補正回路２００の演算係数マトリクスを加算器２５０で加算する。
そして、元画像、図２６の例では５×５の元画像をノイズ低減処理（ＮＲ処理）回路２６０で行って７×７の画像に補正し、その結果と加算器２５０の加算結果を乗算器２７０で乗算して補正後出力を得る。
以上説明したように、本実施形態によれば、以下の効果を得ることができる。
すなわち、本実施形態によれば、アドレス毎に異なる補正パラメータをもつことで、アドレス毎に異なる混色補正が可能となる。
Ｇｒ、Ｇｂの混色を異なる補正パラメータを用いて各々補正することで、
隣接する周辺画素のカラーフィルタの配置によって異なる混色の影響を補正することができる。
また、同色カラーフィルタの画素間で下層のレイアウト形状が異なる時に発生する混色の影響を補正することも可能となる。
たとえば、基本的に数２に示す式を用いて、縦、横、および斜めの方向から混色を補正することで高精度な混色補正を実現し、色温度に依存しない混色補正を実現することが可能である。
これにより、色温度を算出するシステムが不要になり、さらに、色温度毎に異なる補正パラメータを格納するメモリも不要になるため、回路規模を削減できる。
また、使用する補正パラメータを近似式化することでさらなる回路規模の削減が可能である。
また、本実施形態においては、画素のアドレス毎に混色を補正するために、混色量に非対称性がある場合でも精度の高い補正が可能である。
そのため、半導体プロセスの微細化にともなうマスクずれや、モジュール製造工程のレンズあわせずれ等の製造上のばらつきを、本発明を適用して個体調整することによって補正可能となる。
本発明の実施形態を適用するＣＭＯＳイメージセンサは表面照射型、裏面照射型に限らず有効な手段である。
このような効果を有する固体撮像素子は、デジタルカメラやビデオカメラの撮像デバイスとして適用することができる。
＜４．カメラシステムの構成例＞
図２７は、本発明の実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。
本カメラシステム３００は、図２７に示すように、本実施形態に係る固体撮像素子１００が適用可能な撮像デバイス３１０を有する。
カメラシステム３００は、撮像デバイス３１０の画素領域に入射光を導く（被写体像を結像する）光学系として、たとえば入射光（像光）を撮像面上に結像させるレンズ３２０を有する。
さらに、カメラシステム３００は、撮像デバイス３１０を駆動する駆動回路(ＤＲＶ)３３０と、撮像デバイス３１０の出力信号を処理する信号処理回路(ＰＲＣ)３４０と、を有する。
駆動回路３３０は、撮像デバイス３１０内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス３１０を駆動する。
また、信号処理回路３４０は、撮像デバイス３１０の出力信号に対して所定の信号処理を施す。
信号処理回路３４０で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路３４０で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。
上述したように、デジタルスチルカメラ等の撮像装置において、撮像デバイス３１０として、先述した固体撮像素子１００を搭載することで、高精度なカメラが実現できる。
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
１００・・・固体撮像素子、１１０・・・画素部、１２０・・・垂直走査回路、１３０・・・水平転送走査回路、１４０・・・タイミング制御回路、１４１・・・パルス生成部、１５０・・・カラム処理回路群（ＡＤＣ群）、１５１・・・カラム処理回路（ＡＤＣ）、１５１−１・・・比較器、１５１−２・・・カウンタラッチ（メモリ）、１６１・・・ＤＡＣ、１１７０・・・アンプ回路、１８０・・・信号処理回路、１９０・・・メモリ、ＬＴＲＦ・・・水平転送線、２００・・・混色補正回路、２０１，２０２・・・乗算器、２０３・・・加減算器、２０４，２０５・・・平均化回路、２１０・・・混色補正パラメータテーブル、２１１・・・パラメータレジスタ、２１２，２１３・・・乗算器、２１４，２１５・・・加算器、２１６・・・上限・下限判定部、２２０・・・シェーディング補正回路、２３０・・・シェーディング補正パラメータテーブル、３００・・・カメラシステム、３１０・・・撮像デバイス、３２０・・・レンズ、３３０・・・駆動回路、３４０・・・信号処理回路。

Claims (16)

  1. 行および列方向に配列され、光電変換する受光部を複数個有し、当該複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを含む画素間の混色を補正する混色補正回路を有し、
    上記混色補正回路は、
    混色補正対象画素に対して、画素配列の横方向かつ縦方向、または横方向かつ斜め方向、または横方向かつ縦方向かつ斜め方向に隣接する複数の周辺画素の各信号値と、当該各信号に対して画素位置のアドレス固有であって混色補正対象画素の画素位置のアドレスを変数とした多項式に近似した補正パラメータを関連付けて、上記混色補正対象画素の信号値に対して混色の補正演算処理を行い、
    同色のカラーフィルタで形成される画素に対する混色補正演算は、カラーフィルタの下層のレイアウト形状によって異なる補正パラメータで演算を行う
    画像信号処理装置。
  2. 上記混色補正回路は、
    混色補正対象画素の信号値から、補正対象画素の縦、横、斜め方向に隣接する画素の信号値に上記アドレス固有の補正パラメータを掛けた値を、補正対象画素の信号値から減算することにより混色の補正を行う
    請求項１記載の画像信号処理装置。
  3. 上記混色補正回路は、
    画素位置のアドレスを変数とした多項式として、ｉ個の変曲点で(i+1)2個にエリア分割し、エリア毎にアドレスを変数とした多項式を採用する
    請求項１または２記載の画像信号処理装置。
  4. 上記混色補正回路は、
    画素位置のアドレスを変数とした多項式において、最上限値または最下限値で補正パラメータをクリップする機能を有する
    請求項１から３のいずれか一に記載の画像信号処理装置。
  5. 上記混色補正回路は、
    混色補正対象画素に隣接する周辺画素に対応した各出力信号に、上記アドレス固有の補正パラメータを乗算する乗算部と、
    上記乗算部の出力信号を前記混色補正対象画素の信号に加算して補正信号とする加算部と、
    上記混色補正対象画素の信号値と、上記加算部の出力信号の差分をとる減算部と、を有する
    請求項１から４のいずれか一に記載の画像信号処理装置。
  6. 上記混色補正回路は、
    上記混色補正対象画素に対する複数の周辺画素の信号値を平均化し、平均化した信号を混色補正対象画素に対する周辺画素に対応した信号とし、当該信号に上記アドレス固有の補正パラメータを乗算する機能を有する
    請求項１から５のいずれか一に記載の画像信号処理装置。
  7. 混色補正を行うための上記補正パラメータを記憶する記憶部を有し、
    上記メモリに、上記記憶部に画素位置のアドレス情報および色情報が与えられると、上記補正パラメータが上記混色補正回路に供給される
    請求項１から６のいずれか一に記載の画像信号処理装置。
  8. 撮像面を形成するように行および列方向に配列され、光電変換する受光部を複数個有し、当該複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを含む画像部と、
    上記画像部で得られた画像信号に対する画像処理を施す画像信号処理装置と、を有し、
    上記画像信号処理装置は、
    画素間の混色を補正する混色補正回路を含み、
    上記混色補正回路は、
    混色補正対象画素に対して、画素配列の横方向かつ縦方向、または横方向かつ斜め方向、または横方向かつ縦方向かつ斜め方向に隣接する複数の周辺画素の各信号値と、当該各信号に対して画素位置のアドレス固有であって混色補正対象画素の画素位置のアドレスを変数とした多項式に近似した補正パラメータを関連付けて、上記混色補正対象画素の信号値に対して混色の補正演算処理を行い、
    同色のカラーフィルタで形成される画素に対する混色補正演算は、カラーフィルタの下層のレイアウト形状によって異なる補正パラメータで演算を行う
    撮像装置。
  9. 上記混色補正回路は、
    混色補正対象画素の信号値から、補正対象画素の縦、横、斜め方向に隣接する画素の信号値に上記アドレス固有の補正パラメータを掛けた値を、補正対象画素の信号値から減算することにより混色の補正を行う
    請求項８記載の撮像装置。
  10. 上記混色補正回路は、
    画素位置のアドレスを変数とした多項式として、ｉ個の変曲点で(i+1)2個にエリア分割し、エリア毎にアドレスを変数とした多項式を採用する
    請求項８または９記載の撮像装置。
  11. 上記混色補正回路は、
    画素位置のアドレスを変数とした多項式において、最上限値または最下限値で補正パラメータをクリップする機能を有する
    請求項８から１０のいずれか一に記載の撮像装置。
  12. 上記混色補正回路は、
    混色補正対象画素に隣接する周辺画素に対応した各出力信号に、上記アドレス固有の補正パラメータを乗算する乗算部と、
    上記乗算部の出力信号を前記混色補正対象画素の信号に加算して補正信号とする加算部と、
    上記混色補正対象画素の信号値と、上記加算部の出力信号の差分をとる減算部と、を有する
    請求項８から１１のいずれか一に記載の撮像装置。
  13. 上記混色補正回路は、
    上記混色補正対象画素に対する複数の周辺画素の信号値を平均化し、平均化した信号を混色補正対象画素に対する周辺画素に対応した信号とし、当該信号に上記アドレス固有の補正パラメータを乗算する機能を有する
    請求項８から１２のいずれか一に記載の撮像装置。
  14. 混色補正を行うための上記補正パラメータを記憶する記憶部を有し、
    上記メモリに、上記記憶部に画素位置のアドレス情報および色情報が与えられると、上記補正パラメータが上記混色補正回路に供給される
    請求項８から１３のいずれか一に記載の撮像装置。
  15. 行および列方向に配列され、光電変換する受光部を複数個有し、当該複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを含む画素間の混色を補正する混色補正ステップを有し、
    上記混色補正ステップでは、
    混色補正対象画素に対して、画素配列の横方向かつ縦方向、または横方向かつ斜め方向、または横方向かつ縦方向かつ斜め方向に隣接する複数の周辺画素の各信号値と、当該各信号に対して画素位置のアドレス固有であって混色補正対象画素の画素位置のアドレスを変数とした多項式に近似した補正パラメータを関連付けて、上記混色補正対象画素の信号値に対して混色の補正演算処理を行い、
    同色のカラーフィルタで形成される画素に対する混色補正演算は、カラーフィルタの下層のレイアウト形状によって異なる補正パラメータで演算を行う
    画像信号処理方法。
  16. 行および列方向に配列され、光電変換する受光部を複数個有し、当該複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを含む画素間の混色を補正する混色補正処理を有し、
    上記混色補正処理では、
    混色補正対象画素に対して、画素配列の横方向かつ縦方向、または横方向かつ斜め方向、または横方向かつ縦方向かつ斜め方向に隣接する複数の周辺画素の各信号値と、当該各信号に対して画素位置のアドレス固有であって混色補正対象画素の画素位置のアドレスを変数とした多項式に近似した補正パラメータを関連付けて、上記混色補正対象画素の信号値に対して混色の補正演算処理を行い、
    同色のカラーフィルタで形成される画素に対する混色補正演算は、カラーフィルタの下層のレイアウト形状によって異なる補正パラメータで演算を行う
    画像信号処理をコンピュータに実行させるプログラム。
JP2010026202A 2010-02-09 2010-02-09 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム Expired - Fee Related JP5526840B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010026202A JP5526840B2 (ja) 2010-02-09 2010-02-09 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
US12/929,317 US8730355B2 (en) 2010-02-09 2011-01-14 Image signal processing device, imaging device, image signal processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010026202A JP5526840B2 (ja) 2010-02-09 2010-02-09 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2011166398A JP2011166398A (ja) 2011-08-25
JP5526840B2 true JP5526840B2 (ja) 2014-06-18

Family

ID=44353441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010026202A Expired - Fee Related JP5526840B2 (ja) 2010-02-09 2010-02-09 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US8730355B2 (ja)
JP (1) JP5526840B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2800382B1 (en) * 2011-12-27 2016-06-29 Fujifilm Corporation Imaging device, method for controlling imaging device, and control program
JP5802858B2 (ja) * 2013-03-05 2015-11-04 富士フイルム株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム
JP6335498B2 (ja) * 2013-03-19 2018-05-30 キヤノン株式会社 画像処理装置及びその制御方法
US20140374862A1 (en) * 2013-06-19 2014-12-25 Omnivision Technologies, Inc. CMOS Image Sensor With Integrated Silicon Color Filters
JP6299180B2 (ja) 2013-11-27 2018-03-28 株式会社リコー 撮像装置、撮像システムおよび当該撮像装置による撮像方法
JP2015138417A (ja) * 2014-01-22 2015-07-30 キヤノン株式会社 画像処理装置および画像処理方法
JP6338432B2 (ja) * 2014-04-21 2018-06-06 キヤノン株式会社 固体撮像装置及びその制御方法
CN114628425A (zh) * 2017-05-26 2022-06-14 株式会社半导体能源研究所 摄像装置及电子设备
KR20220050183A (ko) * 2019-09-21 2022-04-22 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
KR20220132069A (ko) * 2021-03-22 2022-09-30 삼성전자주식회사 이미지 센서

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56147578A (en) 1980-04-18 1981-11-16 Nec Corp Correction system of mixed color for solidstate color image pickup device
JP4295149B2 (ja) 2004-03-26 2009-07-15 富士フイルム株式会社 色シェーディング補正方法および固体撮像装置
US7656441B2 (en) * 2005-01-05 2010-02-02 Eastman Kodak Company Hue correction for electronic imagers
JP4717885B2 (ja) * 2005-09-28 2011-07-06 オリンパス株式会社 撮像装置
JP4389865B2 (ja) * 2005-11-17 2009-12-24 ソニー株式会社 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置
JP2008113236A (ja) * 2006-10-30 2008-05-15 Kyocera Corp 撮像装置におけるシェーディング補正方法と装置
JP5393446B2 (ja) 2007-02-26 2014-01-22 オリンパスメディカルシステムズ株式会社 画像取得装置
JP5084439B2 (ja) * 2007-10-19 2012-11-28 キヤノン株式会社 信号処理装置及び信号処理方法
JP5045380B2 (ja) * 2007-11-13 2012-10-10 ソニー株式会社 撮像装置および撮像データ補正方法並びにプログラム
JP5163319B2 (ja) * 2008-06-30 2013-03-13 ソニー株式会社 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム
JP2010092360A (ja) * 2008-10-09 2010-04-22 Canon Inc 画像処理システム、画像処理装置、収差補正方法及びプログラム

Also Published As

Publication number Publication date
US8730355B2 (en) 2014-05-20
JP2011166398A (ja) 2011-08-25
US20110194001A1 (en) 2011-08-11

Similar Documents

Publication Publication Date Title
JP5526840B2 (ja) 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
US11196955B2 (en) Solid-state imaging element and camera system
JP5664141B2 (ja) 固体撮像素子およびカメラシステム
JP6229652B2 (ja) 撮像装置および撮像方法、電子機器、並びにプログラム
US8310573B2 (en) Solid-state imaging device, signal processing method thereof and image capturing apparatus
US8031246B2 (en) Image sensor, electronic apparatus, and driving method of electronic apparatus
US9036052B2 (en) Image pickup apparatus that uses pixels different in sensitivity, method of controlling the same, and storage medium
US20080173794A1 (en) Solid-state imaging device, method for driving solid-state imaging device and camera
JP2013055499A (ja) 固体撮像素子およびカメラシステム
JP2013055500A (ja) 固体撮像素子およびカメラシステム
JP6164867B2 (ja) 固体撮像装置、その制御方法、および制御プログラム
JPWO2018198766A1 (ja) 固体撮像装置および電子機器
JP5607265B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP6411795B2 (ja) 信号処理装置および方法、撮像素子、並びに、撮像装置
WO2018092400A1 (ja) 固体撮像素子、信号処理回路、及び、電子機器
KR20140107212A (ko) 고체 촬상 소자 및 그 구동 방법, 카메라 시스템
JP2005109993A (ja) 撮影装置
TW202226824A (zh) 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器
JP6688854B2 (ja) 撮像装置
JP2015050604A (ja) 固体撮像装置の信号処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140331

LAPS Cancellation because of no payment of annual fees