WO2010001811A1 - 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム - Google Patents
画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム Download PDFInfo
- Publication number
- WO2010001811A1 WO2010001811A1 PCT/JP2009/061640 JP2009061640W WO2010001811A1 WO 2010001811 A1 WO2010001811 A1 WO 2010001811A1 JP 2009061640 W JP2009061640 W JP 2009061640W WO 2010001811 A1 WO2010001811 A1 WO 2010001811A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- correction
- color
- color mixture
- image signal
- pixel
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims description 52
- 238000012937 correction Methods 0.000 claims abstract description 181
- 239000000203 mixture Substances 0.000 claims description 137
- 238000003705 background correction Methods 0.000 claims description 62
- 238000010586 diagram Methods 0.000 description 19
- 238000010521 absorption reaction Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000012546 transfer Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 7
- 230000031700 light absorption Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000001788 irregular Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 101001018097 Homo sapiens L-selectin Proteins 0.000 description 3
- 102100033467 L-selectin Human genes 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 2
- 229920005591 polysilicon Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 102100026338 F-box-like/WD repeat-containing protein TBL1Y Human genes 0.000 description 1
- 101000835691 Homo sapiens F-box-like/WD repeat-containing protein TBL1X Proteins 0.000 description 1
- 101000835690 Homo sapiens F-box-like/WD repeat-containing protein TBL1Y Proteins 0.000 description 1
- 101000800590 Homo sapiens Transducin beta-like protein 2 Proteins 0.000 description 1
- 102100033248 Transducin beta-like protein 2 Human genes 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
Definitions
- the present invention relates to an image signal correction apparatus, an imaging apparatus, an image signal correction method, and a program for correcting color mixture (color crosstalk) between adjacent pixels in an imaging apparatus having a solid-state imaging device such as a CMOS image sensor. .
- An image signal correction apparatus receives an image signal photoelectrically converted by a color image sensor and corrects a color mixture component included in the image signal, and imaging of the image sensor
- a storage unit that stores a preset color mixture correction coefficient for each of the areas divided into a plurality of areas corresponding to the surface, and the color mixture correction unit reads the color mixture correction coefficient read from the storage unit during the color mixture correction. Is approximated by interpolation to obtain the color mixture rate at the required pixel position, and the color mixture component is corrected using the obtained color mixture rate.
- the color mixture correction unit sets a plurality of representative points and interpolates between the representative points to determine the color mixture rate of each pixel.
- FIG. 6 is a diagram illustrating the response of each pixel and the amount of color mixing with monochromatic light R. It is a figure for demonstrating the example of estimation of the color mixing rate (theta) by a representative point. It is a figure which shows typically the example of color mixture correction
- FIG. 1 is a block diagram showing a configuration example of an imaging apparatus to which an image signal correction apparatus according to an embodiment of the present invention is applied.
- FIG. 3 is a circuit diagram illustrating a configuration example of the unit pixel of the image sensor 12 according to the present embodiment.
- FIG. 3 shows an example of a pixel of a CMOS image sensor composed of four transistors according to this embodiment.
- the photoelectric conversion element 121 photoelectrically converts incident light into charges (here, electrons) in an amount corresponding to the amount of light.
- the transfer transistor 122 is connected between the photoelectric conversion element 121 and the floating diffusion FD, and a transmission signal TG that is a control signal is given to a gate (transfer gate) through the transfer control line LTx. Thereby, the transfer transistor 122 transfers the electrons photoelectrically converted by the photoelectric conversion element 121 to the floating diffusion FD.
- the reset transistor 123 is connected between the power supply line LVDD and the floating diffusion FD, and a reset signal RST, which is a control signal, is given to the gate of the reset transistor 123 through the reset control line LRST. Thereby, the reset transistor 123 resets the potential of the floating diffusion FD to the potential of the power supply line LVDD.
- the gate of the amplification transistor 124 is connected to the floating diffusion FD.
- the amplification transistor 124 is connected to the signal line LSGN via the selection transistor 125, and constitutes a constant current source 126 and a source follower outside the pixel portion.
- a selection signal SEL which is a control signal corresponding to the address signal is given to the gate of the selection transistor 125 through the selection control line LSEL, and the selection transistor 125 is turned on.
- the amplification transistor 124 amplifies the potential of the floating diffusion FD and outputs a voltage corresponding to the potential to the signal line LSGN.
- the voltage output from each pixel through the signal line LSGN is output to the column readout circuit.
- a reset control line LRST, a transfer control line LTx, and a selection control line LSEL wired to the pixel array unit are wired as a set for each row of the pixel array.
- These reset control line LRST, transfer control line LTx, and selection control line LSEL are driven by a vertical scanning circuit (not shown).
- the signal line LSGN is connected to a column readout circuit including a CDS circuit (correlated double sampling circuit) and the like.
- the light balance that enters or is dissipated from the peripheral pixel reaches the photodiode PD due to irregular reflection in the waveguide WGD that forms a path from the waveguide color filter CF to the photodiode PD. It's going to be complicated. In general, since the pixel structure is not symmetrical between adjacent pixels, it is difficult to estimate diffuse reflection.
- the color mixture correction and shading correction according to the present invention will be described in detail later.
- the A / D converter 13 converts the image signal from the image sensor 12 from an analog signal to a digital signal and outputs the converted signal to the clamp unit 14.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
画像信号補正装置（１５）は、カラーの撮像素子（１２）で光電変換された画像信号を受けて、この画像信号に含まれる混色成分を補正する混色補正部（１５１）と、撮像素子（１２）の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を保存する記憶部（１５３）と、を少なくとも有し、混色補正部（１５１）は、混色補正時に記憶部（１５３）から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得し、取得した混色率を用いて混色成分の補正を行う。
Description
本発明は、ＣＭＯＳイメージセンサなどの固体撮像素子を有する撮像装置における隣接画素間の混色（カラークロストーク）等を補正する画像信号補正装置、撮像装置、画像信号補正方法、およびプログラムに関するものである。
一般に、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ（ＣＩＳ）などの撮像素子では、隣接画素の影響を受ける混色（カラークロストーク）がおきている。
混色は大きく分けて、基板内部の拡散電荷混入による電気的混色と、入射光が隣接画素に乱反射などで漏れ込む光学的混色に分かれる。
これらの混色によって、色再現性を劣化させるなどの画質に悪影響を及ぼす要因となっている。
これらの混色によって、色再現性を劣化させるなどの画質に悪影響を及ぼす要因となっている。
そこで、色毎に混色補正用の係数を持たせ、面内一律の補正を可能とする技術や、Ｆ値によって、同様に面内一律で補正する技術等が提案されている（たとえば特許文献１参照）。
また、一般に混色と同時に画素内では、光の吸収などによりフォトダイオードの光電変換に寄与しない光量が存在し、画素単位でケラレが発生している。
このようなケラレを画素シェーディングといい、界面反射やトランジスタを構成するポリシリコンなどへの光吸収などが影響しており、混色と同様に面内分布を持ち、画質を劣化させる要因となっている。
このようなケラレを画素シェーディングといい、界面反射やトランジスタを構成するポリシリコンなどへの光吸収などが影響しており、混色と同様に面内分布を持ち、画質を劣化させる要因となっている。
そこで、この画素シェーディングに関してのみ、撮像面内分布を考慮した補正装置が提案されている（特許文献２，３参照）。これらは、混色を無視したセンサ出力からの信号をシェーディング補正するというシステムになっている。
しかし、携帯電話に搭載されているような小型カメラなどにおいて、画素ピッチの微細化、射出瞳距離の短距離化により、センサの中央画素と周辺画素における入射角度の差は大きくなってきている（周辺に行くほど主光線が傾く）。
そのため、周辺へ行くほど隣接画素への光の混入が増え、またマイクロレンズからフォトダイオードまでの間において、隣の画素までのＡｌ配線構造など画素単位で対称でないため光の乱反射がフォトダイオードに到達するまでに複雑におきている。
つまり、これらの要因から混色率が面内一律ではなくなってきている。したがって、面内一律の混色補正が難しくなってきている。
つまり、これらの要因から混色率が面内一律ではなくなってきている。したがって、面内一律の混色補正が難しくなってきている。
また、特許文献２，３に開示された補正装置は、混色を無視したセンサ出力からの信号をシェーディング補正するというシステムになっている。
一般的に混色は、周辺画素からの光の吸収過程に依存し、シェーディングは対象画素の光の散逸過程に依存するため、両者は熱力学的に見て等価になりえないものである。
一般的に混色は、周辺画素からの光の吸収過程に依存し、シェーディングは対象画素の光の散逸過程に依存するため、両者は熱力学的に見て等価になりえないものである。
ところが、前記先行文献におけるシェーディング補正システムでは、光の散逸過程のみを考慮しており、吸収過程における変位分は考慮されていないため、正しい信号量を見積もることが困難である。
したがって、上記シェーディング補正システムでは、精度の高い補正をすることは困難である。
したがって、上記シェーディング補正システムでは、精度の高い補正をすることは困難である。
本発明は、面内一律の混色補正を実現でき、また、精度の高い補正を実現することが可能な画像信号補正装置、撮像装置、画像信号補正方法、およびプログラムを提供することにある。
本発明の第１の観点の画像信号補正装置は、カラーの撮像素子で光電変換された画像信号を受けて、当該画像信号に含まれる混色成分を補正する混色補正部と、上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を保存する記憶部と、を少なくとも有し、上記混色補正部は、混色補正時に上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得し、当該取得した混色率を用いて混色成分の補正を行う。
本発明の第２の観点の撮像装置は、被写体像を撮像するカラーの撮像素子と、カラーの撮像素子で光電変換された画像信号を受けて補正を行う画像信号補正装置と、を有し、上記画像信号補正装置は、カラーの撮像素子で光電変換された画像信号に含まれる混色成分を補正する混色補正部と、上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を保存する記憶部と、を少なくとも有し、上記混色補正部は、混色補正時に上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得し、当該取得した混色率を用いて混色成分の補正を行う。
好適には、上記混色補正部は、複数の代表点を設定し、代表点間を補間して各画素の混色率を決定する。
好適には、上記混色補正部は、取得した混色率と入力画像信号との積和演算を行い、入力画像信号と当該積和演算結果の減算処理を行って混色補正を行う。
好適には、上記記憶部に保存される混色補正係数は、一のカラー画素からの他のカラー画素の混色率としてあらかじめ測定されて保存される。
好適には、上記混色補正部で混色補正された画像信号を受けて、当該被混色補正画像信号に対して画素シェーディング補正を行うシェーディング補正部をさらに有する。
好適には、上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された画素シェーディング補正係数を保存する第２の記憶部を有し、上記シェーディング補正部は、上記第２の記憶部に保存された画素シェーディング補正係数を補間により近似して必要な画素位置での補正係数を取得し、当該取得した補正係数を用いてシェーディング補正を行う。
好適には、上記シェーディング補正部は、取得した補正係数と上記被混色補正画像信号との積算を行ってシェーディング補正を行う。
本発明の第３の観点の画像信号補正方法は、カラーの撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を記憶部から読み出すステップと、上記撮像素子で光電変換された画像信号を受けて、上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得するステップと、上記取得した混色率を用いて混色成分の補正を行うステップとを有する。
本発明の第４の観点は、カラーの撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を記憶部から読み出す処理と、上記撮像素子で光電変換された画像信号を受けて、上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得する処理と、上記取得した混色率を用いて混色成分の補正を行う処理とを有する画像信号補正処理をコンピュータに実行させるプログラムである。
本発明によれば、カラーの撮像素子で光電変換された画像信号が混色補正部に入力される。
混色補正部においては、混色補正時に記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率が取得される。
そして、混色補正部では、取得した混色率を用いて混色成分の補正が行われる。
混色補正部においては、混色補正時に記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率が取得される。
そして、混色補正部では、取得した混色率を用いて混色成分の補正が行われる。
本発明によれば、面内分布に応じて混色補正を実現でき、また、精度の高い補正を実現することができる。
以下、本発明の実施形態を図面に関連付けて説明する。
図１は、本発明の実施形態に係る画像信号補正装置を適用した撮像装の構成例を示すブロック図である。
本撮像装置１０は、図１に示すように、レンズ系１１、撮像素子１２、Ａ／Ｄ変換器１３、クランプ部１４、画像信号補正装置１５、デモザイク部１６、リニアマトリクス部１７、ガンマ補正部１８、輝度クロマ信号生成部１９を有する。
また、輝度クロマ信号生成部１９の出力側にはビデオインタフェース（Ｉ／Ｆ）２０が配置されている。
また、輝度クロマ信号生成部１９の出力側にはビデオインタフェース（Ｉ／Ｆ）２０が配置されている。
レンズ系１１は、絞り１１１を含み、被写体像を撮像素子１２の撮像面に結像する。
撮像素子１２は、ＣＭＯＳイメージセンサ等により形成され、複数の単位画素がマトリクス状に配列されている。各画素には、対応してカラーフィルタが配置されている。
撮像素子１２は、その画素配列として、たとえば図２に示すようなベイヤ配列が採用される。
撮像素子１２は、その画素配列として、たとえば図２に示すようなベイヤ配列が採用される。
図３は、本実施形態に係る撮像素子１２の単位画素の構成例を示す回路図である。
図３は、本実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例を示している。
図３は、本実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例を示している。
各画素１２０は、図３に示すように、たとえばフォトダイオードからなる光電変換素子１２１を有する。
そして、画素１２０は、この１個の光電変換素子１２１に対して、転送トランジスタ１２２、リセットトランジスタ１２３、増幅トランジスタ１２４、および選択トランジスタ１２５の４つのトランジスタを能動素子として有する。
そして、画素１２０は、この１個の光電変換素子１２１に対して、転送トランジスタ１２２、リセットトランジスタ１２３、増幅トランジスタ１２４、および選択トランジスタ１２５の４つのトランジスタを能動素子として有する。
光電変換素子１２１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。
転送トランジスタ１２２は、光電変換素子１２１とフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴｘを通じてそのゲート（転送ゲート）に制御信号である送信信号ＴＧが与えられる。
これにより、転送トランジスタ１２２は、光電変換素子１２１で光電変換された電子をフローティングディフュージョンＦＤに転送する。
転送トランジスタ１２２は、光電変換素子１２１とフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴｘを通じてそのゲート（転送ゲート）に制御信号である送信信号ＴＧが与えられる。
これにより、転送トランジスタ１２２は、光電変換素子１２１で光電変換された電子をフローティングディフュージョンＦＤに転送する。
リセットトランジスタ１２３は、電源ラインＬＶＤＤとフローティングディフュージョンＦＤとの間に接続され、リセット制御線ＬＲＳＴを通してそのゲートに制御信号であるリセット信号ＲＳＴが与えられる。
これにより、リセットトランジスタ１２３は、フローティングディフュージョンＦＤの電位を電源ラインＬＶＤＤの電位にリセットする。
これにより、リセットトランジスタ１２３は、フローティングディフュージョンＦＤの電位を電源ラインＬＶＤＤの電位にリセットする。
フローティングディフュージョンＦＤには、増幅トランジスタ１２４のゲートが接続されている。増幅トランジスタ１２４は、選択トランジスタ１２５を介して信号線ＬＳＧＮに接続され、画素部外の定電流源１２６とソースフォロアを構成している。
そして、選択制御線ＬＳＥＬを通してアドレス信号に応じた制御信号である選択信号ＳＥＬが選択トランジスタ１２５のゲートに与えられ、選択トランジスタ１２５がオンする。
選択トランジスタ１２５がオンすると、増幅トランジスタ１２４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を信号線ＬＳＧＮに出力する。信号線ＬＳＧＮを通じて、各画素から出力された電圧は、カラム読み出し回路に出力される。
これらの動作は、たとえば転送トランジスタ１２２、リセットトランジスタ１２３、および選択トランジスタ１２５の各ゲートが行単位で接続されていることから、１行分の各画素について同時に行われる。
そして、選択制御線ＬＳＥＬを通してアドレス信号に応じた制御信号である選択信号ＳＥＬが選択トランジスタ１２５のゲートに与えられ、選択トランジスタ１２５がオンする。
選択トランジスタ１２５がオンすると、増幅トランジスタ１２４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を信号線ＬＳＧＮに出力する。信号線ＬＳＧＮを通じて、各画素から出力された電圧は、カラム読み出し回路に出力される。
これらの動作は、たとえば転送トランジスタ１２２、リセットトランジスタ１２３、および選択トランジスタ１２５の各ゲートが行単位で接続されていることから、１行分の各画素について同時に行われる。
撮像素子１２は、画素アレイ部に配線されているリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬが一組として画素配列の各行単位で配線されている。
これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬは、図示しない垂直走査回路により駆動される。
また、信号線ＬＳＧＮは、ＣＤＳ回路（相関二重サンプリング回路）等を含むカラム読み出し回路に接続される。
これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬは、図示しない垂直走査回路により駆動される。
また、信号線ＬＳＧＮは、ＣＤＳ回路（相関二重サンプリング回路）等を含むカラム読み出し回路に接続される。
図４は、撮像素子のデバイス構造を模式的に示し、かつ混色について説明するための図である。
図４において、撮像素子１２は、光電変換素子であるフォトダイオードＰＤの受光面に対して、導波路ＷＧＤを挟んでカラーフィルタＣＦが配置され、各カラーフィルタＣＦの光入射側にマイクロレンズＭＬがそれぞれ位置された多層配線構造を有する。
導波路ＷＧＤには、Ａｌ配線や層間膜などが形成されている。
導波路ＷＧＤには、Ａｌ配線や層間膜などが形成されている。
混色は、ＣＭＯＳイメージセンサなど多層配線構造をもつ撮像素子に多く見られる。主な原因としては、斜めに入射した光の乱反射の成分がＡｌ遮光膜を抜け隣接画素に漏れ込むことから起こる。
ここでは、これを光学混色と呼ぶ。
そのほか、フォトダイオードＰＤ間で電子の拡散による混色などもあるが、現在のプロセスでは混色の主要因ではない。
ここでは、これを光学混色と呼ぶ。
そのほか、フォトダイオードＰＤ間で電子の拡散による混色などもあるが、現在のプロセスでは混色の主要因ではない。
混色現象は、導波路カラーフィルタＣＦからフォトダイオードＰＤまでの経路を形成する導波路ＷＧＤ内での乱反射により、周辺画素から入射あるいは、周辺画素へ散逸したりする光の収支がフォトダイオードＰＤに到達するまでに複雑に起こっている。
一般に画素の構造が隣接間で対称でないため、乱反射の推定も困難である。
本発明での混色補正およびシェーディング補正については、後で詳述する。
一般に画素の構造が隣接間で対称でないため、乱反射の推定も困難である。
本発明での混色補正およびシェーディング補正については、後で詳述する。
Ａ／Ｄ変換器１３は、撮像素子１２による画像信号をアナログ信号からデジタル信号に変換してクランプ部１４に出力する。
クランプ部１４は、Ａ／Ｄ変換器１３によるデジタル画像信号の黒レベルを補正し、画像信号補正装置１５に出力する。
画像信号補正装置１５は、撮像素子１２の撮像面に合わせてマトリクス状（メッシュ状）に区分した領域毎に推定された実効的な混色率θに用い、この混色率を必要な画素位置（座標）でのθを補間により近似して得られるθに関連付けた混色補正を行う。
画像信号補正装置１５は、混色補正が施された画像信号に対してシェーディング補正を行う。
画像信号補正装置１５は、混色補正およびシェーディング補正時に、たとえば撮像素子１２の撮像面（補正対象面）に合わせてマトリクス状（メッシュ状）に区分し、メッシュ単位の複数の代表点に対する各重み付け係数を用いて、いわゆるＢスプライン補間を行う。
画像信号補正装置１５は、混色補正が施された画像信号に対してシェーディング補正を行う。
画像信号補正装置１５は、混色補正およびシェーディング補正時に、たとえば撮像素子１２の撮像面（補正対象面）に合わせてマトリクス状（メッシュ状）に区分し、メッシュ単位の複数の代表点に対する各重み付け係数を用いて、いわゆるＢスプライン補間を行う。
画像信号補正装置１５は、図１に示すように、混色補正部１５１、画素シェーディング補正部１５２、第１の記憶部１５３、および第２の記憶部１５４を有する。
記憶部１５３は、撮像素子１２の撮像面に合わせてマトリクス状（メッシュ状）に区分した領域毎に推定された実効的な混色率θが保存される。
混色補正部１５１は、記憶部１５３に保存されている混色率θのうち、混色補正時に必要な画素位置（座標）でのθを補間により近似して算出し、この近似された混色率θを用いて混色補正を行う。
混色補正部１５１は、記憶部１５３に保存されている混色率（補正係数）を用いたＢスプライン補間を行って混色補正を行う。
混色補正部１５１は、記憶部１５３に保存されている混色率θのうち、混色補正時に必要な画素位置（座標）でのθを補間により近似して算出し、この近似された混色率θを用いて混色補正を行う。
混色補正部１５１は、記憶部１５３に保存されている混色率（補正係数）を用いたＢスプライン補間を行って混色補正を行う。
記憶部１５４は、撮像素子１２の撮像面に合わせてマトリクス状（メッシュ状）に区分した領域毎に定義された補正係数が保存される。
シェーディング補正部１５２は、記憶部１５４に保存されている補正係数を用いたＢスプライン補間を行ってシェーディング補正を行う。
シェーディング補正部１５２は、記憶部１５４に保存されている補正係数を用いたＢスプライン補間を行ってシェーディング補正を行う。
画像信号補正装置１５における混色補正およびシェーディング補正については、後でさらに詳述する。
画像信号補正装置１５は、混色補正した後に、シェーディング補正された画像信号をデモザイク部１６に出力する。
混色補正した後に、シェーディング補正された画像信号は、デモザイク部１６で同時化処理が施され、リニアマトリクス部１７で色再現処理が施され、ガンマ補正部１８でガンマ補正された後、輝度クロマ信号生成部１９に供給される。
そして、輝度クロマ信号生成部１９で輝度信号、クロマ信号が生成され、ビデオＩ／Ｆ２０を通して図示しない表示デバイスに映像が表示される。
そして、輝度クロマ信号生成部１９で輝度信号、クロマ信号が生成され、ビデオＩ／Ｆ２０を通して図示しない表示デバイスに映像が表示される。
以下、画像信号補正装置１５における混色補正およびシェーディング補正について、原理的な説明も含めて具体的に説明する。
図５は、光の散逸、吸収過程のイメージ図である。
図６は、光の散逸、吸収逆過程のイメージ図である。
図６は、光の散逸、吸収逆過程のイメージ図である。
図５は、画素０における入射光Ｑ０から光電変換直前までの光ｑ０の散逸・吸収過程を示している（Ｑ０→ｑ０）。
図６は、画素０における入射光Ｑ０への逆過程を示している（ｑ０→Ｑ０）。
この場合、散逸過程（ケラレ）と吸収過程（混色）は同一ではない。すなわち、散逸過程（ケラレ）≠吸収過程（混色）である。
図６は、画素０における入射光Ｑ０への逆過程を示している（ｑ０→Ｑ０）。
この場合、散逸過程（ケラレ）と吸収過程（混色）は同一ではない。すなわち、散逸過程（ケラレ）≠吸収過程（混色）である。
混色は、図５に示すように、周辺画素からの光の吸収過程に依存し、シェーディングは対象画素の光の散逸過程に依存するため、両者は熱力学的に見て等価になりえないものである。
したがって、図６に示すように、光の散逸・吸収過程を逆に辿っていくと、まず周辺画素からの吸収量を補正し（これを混色補正という）、光の散逸量を補正する（これを画素シェーディング補正という）という順序で行わなければならないことがわかる。
既存技術におけるシェーディング補正システムでは、光の散逸過程のみを考慮しており、吸収過程における変位分は考慮されていないため、正しい信号量が見積もれないことが原理的にいえる。
つまり、混色と画素シェーディングは両者を排他的に補正する必要があり、この点を考慮したシステムが必要不可欠といる。
すなわち、混色補正とシェーディング補正は独立にかつ混色補正→シェーディング補正の順序で行わなければならないことがわかる。
本実施形態の画像信号補正装置１５は、混色補正した後に、シェーディング補正を行うように構成されている。
したがって、図６に示すように、光の散逸・吸収過程を逆に辿っていくと、まず周辺画素からの吸収量を補正し（これを混色補正という）、光の散逸量を補正する（これを画素シェーディング補正という）という順序で行わなければならないことがわかる。
既存技術におけるシェーディング補正システムでは、光の散逸過程のみを考慮しており、吸収過程における変位分は考慮されていないため、正しい信号量が見積もれないことが原理的にいえる。
つまり、混色と画素シェーディングは両者を排他的に補正する必要があり、この点を考慮したシステムが必要不可欠といる。
すなわち、混色補正とシェーディング補正は独立にかつ混色補正→シェーディング補正の順序で行わなければならないことがわかる。
本実施形態の画像信号補正装置１５は、混色補正した後に、シェーディング補正を行うように構成されている。
ここで、光学混色をモデル化してみる。
図７は、画素間混色モデルを示す図である。
図８は、各画素における光の散逸、吸収モデルを示す図である。
図７は、画素間混色モデルを示す図である。
図８は、各画素における光の散逸、吸収モデルを示す図である。
図７にある対象画素０番の光量収支を表すのに、光学通路内（カラーフィルからフォトダイオードまでのパス）で起こる光の散乱、吸収量が、各カラーフィルタ通過直後の光量Ｑｉに比例した係数（ξ,η)でおのおのξＱｉ、ηＱｊとして、図８に示すように定義する。
ここで、ξＱｉは画素ｉから周辺画素へ散逸する光量または電圧を、ηＱｊは画素ｊから乱反射して入射した光量または電圧（＝画素ｉの吸収光量または電圧）を、ｑｉ は画素ｉのセンサ出力信号量(光量または電圧またはデジタル信号値）をそれぞれ表している。
また、図９（Ａ）および(Ｂ)は撮像素子(センサ)１２の入出力信号の例を示す図である。図９（Ａ）は撮像素子(センサ)１２のカラーフィルタ通過直後の入力信号を示し、図９(Ｂ)は撮像素子（センサ）１２の出力信号を示している。
この混色モデルを定式化すると、次のようになる。
ここで、ｑ０は対象画素に対する光電変換後の電圧またはそれをＡＤ変換したデジタル信号量を示す。
Ｑ０は対象画素のカラーフィルタ通過直後の光量を電圧で換算した量またはそれをＡＤ変換したデジタル信号量を示す。
Ｑｊは対象画素に隣接する画素のカラーフィルタ通過直後の光量を電圧に換算した量またはそれをＡＤ変換したデジタル信号量を示す。
ξ０ｊは対象画素から周辺へ散逸する光量（＝対象画素の信号量ｑ０に寄与しないＱ０の部分光量）を対象画素の入射光量Ｑ０で割った無次元係数を示す。一般に、０．０＜ξ０ｊ＜１．０である。
ηｊ０は周辺から対象画素へ散乱してきた光量(＝Ｑ０以外に対象画素の信号量ｑ０に寄与する周辺Ｑｊからの部分光量)を各周辺画素の入射光量Ｑｊで割った無次元係数を示す。一般に、０．０＜ηｊ０＜１．０である。
χ０は吸収係数、対象画素と周辺画素との間で行われる光量収支に無関係な対象画素の信号量ｑ０に寄与しないＱ０に対する吸収率(例：画素周辺のトランジスタのポリシリコンへの吸収など）を示す。ここでは、０＜χ０＜１である。
ｎは対象画素に隣接する画素数を示す。
Ｑ０は対象画素のカラーフィルタ通過直後の光量を電圧で換算した量またはそれをＡＤ変換したデジタル信号量を示す。
Ｑｊは対象画素に隣接する画素のカラーフィルタ通過直後の光量を電圧に換算した量またはそれをＡＤ変換したデジタル信号量を示す。
ξ０ｊは対象画素から周辺へ散逸する光量（＝対象画素の信号量ｑ０に寄与しないＱ０の部分光量）を対象画素の入射光量Ｑ０で割った無次元係数を示す。一般に、０．０＜ξ０ｊ＜１．０である。
ηｊ０は周辺から対象画素へ散乱してきた光量(＝Ｑ０以外に対象画素の信号量ｑ０に寄与する周辺Ｑｊからの部分光量)を各周辺画素の入射光量Ｑｊで割った無次元係数を示す。一般に、０．０＜ηｊ０＜１．０である。
χ０は吸収係数、対象画素と周辺画素との間で行われる光量収支に無関係な対象画素の信号量ｑ０に寄与しないＱ０に対する吸収率(例：画素周辺のトランジスタのポリシリコンへの吸収など）を示す。ここでは、０＜χ０＜１である。
ｎは対象画素に隣接する画素数を示す。
式１を変形して、式２に示すように画素入射光の信号量を表すことができる。
式２は、光学系路内に起こる光の散乱吸収を補正した信号量を表している。
光学経路とは、図４のカラーフィルタＣＦからフォトダイオードＰＤまでの経路を形成する導波路ＷＧＤ内の光学通路である。
つまり、式２の分母は、光が散逸され対象画素の信号成分に寄与しない量を補正するための画素シェーディング補正を意味する。
式２の分子は、周辺画素から散乱された光が対象画素の信号成分へ寄与してしまう混色量を補正する、という意味になっている。
なお、画素シェーディングとはいわゆる画素におけるケラレのことである。ここではレンズシェーディングと区別するため画素シェーディングと呼んでいる。
光学経路とは、図４のカラーフィルタＣＦからフォトダイオードＰＤまでの経路を形成する導波路ＷＧＤ内の光学通路である。
つまり、式２の分母は、光が散逸され対象画素の信号成分に寄与しない量を補正するための画素シェーディング補正を意味する。
式２の分子は、周辺画素から散乱された光が対象画素の信号成分へ寄与してしまう混色量を補正する、という意味になっている。
なお、画素シェーディングとはいわゆる画素におけるケラレのことである。ここではレンズシェーディングと区別するため画素シェーディングと呼んでいる。
次に、混色補正式について述べる。
混色補正後の信号量Ｃ０は、式２を変形して次のように表される。
混色補正後の信号量Ｃ０は、式２を変形して次のように表される。
式３の右辺の第２項の意味は、たとえば、対象画素０番の周辺画素(ｎ個)をξＱで積和演算するということを意味する。
さて、本発明の実施形態におけるモデルでは、式３から明らかなように、まず混色補正を行い、続いて画素シェーディング補正を行えば、対象画素のＱ０が求められる。
ところで、式３の右辺にあるＱｊは、図９（Ａ）に示すような、カラーフィルタ通過直後の光量であるため、一般に測定不能量である。
したがって、図９（Ｂ）に示すような、測定可能なセンサ出力ｑｊで、後で示す式４～式６のように別途展開する必要がある。
したがって、図９（Ｂ）に示すような、測定可能なセンサ出力ｑｊで、後で示す式４～式６のように別途展開する必要がある。
図１０は、本実施形態に係る画像信号補正装置１５の信号処理の流れを示す図である。
図１１は、モデル式２に応じた補正処理を示す図である。
図１１は、モデル式２に応じた補正処理を示す図である。
本実施形態の画像信号補正装置１５において、図１０に示すように、あるセンサ出力ｑ０に対し、混色補正を施すことで、後段の画素シェーディング補正が正しく行えることがわかる。
もし、本信号処理を実施しないと（スキップすると）、式３から分かるように、ΣηＱ項がシェーディングゲイン分だけ増幅され最終的にＱ０が正しく再現できないことがわかる。
もし、本信号処理を実施しないと（スキップすると）、式３から分かるように、ΣηＱ項がシェーディングゲイン分だけ増幅され最終的にＱ０が正しく再現できないことがわかる。
以上の点を踏まえて、式２を隣接画素測定可能量ｑで展開すると、次式４のようになる。
この式４は、図１１に示すように、隣接、次隣接、次々隣接画素・・・の混色補正、シェーディング補正を対象画素の遠い方から順次施し、最後に対象画素０番の補正を行うという漸化式になっている。
同様に、混色補正式である式３を隣接画素の測定可能量ｑｊを使って展開すると、次式５のようになる。
さらに、この混色補正式５を隣接および次隣接画素まで展開すると、次式６のようになる。
この式６の右辺第５項は測定不能量Ｑを含む。
さて、各画素の散乱収支は高々画素に入射する光量の数％～十数％程度であるとすると、η＋Σξ＋Χ＜１が成り立つ。
つまりβ＜１であることから、式６からわかるように、補正Ｃはｑ－Σβｑまでの近似で十分表すことができる。β<<１になればなるほど混色・画素シェーディングが少ない良質なセンサ（撮像素子）であるといえる。
つまりβ＜１であることから、式６からわかるように、補正Ｃはｑ－Σβｑまでの近似で十分表すことができる。β<<１になればなるほど混色・画素シェーディングが少ない良質なセンサ（撮像素子）であるといえる。
したがって、本発明の実施形態において基本となる混色補正式は、次式７の下線部のようになる。
さて、式７の右辺第２項の加算部(Σβｑ)は、対象画素の混色量そのものである。
そこでたとえば赤(Ｒ)、緑（Ｇ）、青（Ｂ）のカラーフィルタをモザイク配列した撮像素子１２において、βを次の方法で原理的に求めることができる。
ここで実験的に混色量を求めるため以後、β→θと定義し、式７の右辺第２項の加算部をΣθqと書き直す。そしてθを新たに実効的な混色率と定義する。
そこでたとえば赤(Ｒ)、緑（Ｇ）、青（Ｂ）のカラーフィルタをモザイク配列した撮像素子１２において、βを次の方法で原理的に求めることができる。
ここで実験的に混色量を求めるため以後、β→θと定義し、式７の右辺第２項の加算部をΣθqと書き直す。そしてθを新たに実効的な混色率と定義する。
＜混色率θの求め方＞：
図１２は、本実施形態に係る混色量の測定系の一例を示す図である。
図１３は、単色光Ｒによる各画素の応答と混色量について示す図である。
図１２は、本実施形態に係る混色量の測定系の一例を示す図である。
図１３は、単色光Ｒによる各画素の応答と混色量について示す図である。
図１２の混色量の測定系３０は、白色光源３１、バンドパスフィルタ（ＢＰＦ）３２、レンズ３３、および撮像素子３４を含んで構成される、撮像素子３４は、図１の撮像素子１２と同様の構成、機能を有する。
たとえば図１２に示すように、各カラーフィルタＣＦの感度最大の波長付近のバンドパスフィルタ３２を通過した単色光を用意する。各色の単色光を撮像素子３４にレンズ３３を通して照射し、各画素の応答量を求める。
そして、各色の光源別に求めた画素値から混色量をもとめる。
そして、各色の光源別に求めた画素値から混色量をもとめる。
すなわち、図１３の例のように、単色光Ｒを照射させると、バンドパスフィルタの特性がＧ画素とＢ画素に寄与しない場合は、基本的にＧ画素およびＢ画素は、Ｇ，Ｂカラーフィルタで吸収されるため、Ｒ光に直接応答しない。なお、単色光Ｒ（カラーフィルタＲの感度が最大になり且つ、波長帯域に制限をもつ光源：白色光源にＲ波長付近のバンドパスフィルタを通過させたものなどで実現する。
したがって、このような条件下において、図１３に示すように、Ｇ画素とＢ画素に存在する応答量（信号量）は、隣接Ｒ画素からの混色量に相当する。
同様にＧ画素およびＢ画素に対しても各Ｇ光、Ｂ光を照射することで互いに混色量を測定することができる。
したがって、このような条件下において、図１３に示すように、Ｇ画素とＢ画素に存在する応答量（信号量）は、隣接Ｒ画素からの混色量に相当する。
同様にＧ画素およびＢ画素に対しても各Ｇ光、Ｂ光を照射することで互いに混色量を測定することができる。
たとえば、Ｒ画素からＧ画素の混色率θＲＧは次式8で求めることができる。
同様にＧ画素からＲ画素へ、Ｇ画素からＢ画素へ、・・・と各画素ごとに求めることができる。
そして、本実施形態における混色補正式は、下記の式９、式１０のように表すことができる。
これまでは、各画素ごとに混色量を定義し、測定によって混色率を求めてきた。
このように、全画素ごとの混色率を保持し補正するには膨大な記憶部が必要になるため、本実施形態では、好適な方法として以下の方法を採用する。
このように、全画素ごとの混色率を保持し補正するには膨大な記憶部が必要になるため、本実施形態では、好適な方法として以下の方法を採用する。
すなわち、代表点を作り、代表点の間をスプライン、ベジェ、線形補間といった手法で各画素の混色率を決定していく方法である。
図１４は、代表点による混色率θの推定例について説明するための図である。
画像信号補正装置１５においては、図１４に示すように、撮像素子１２の撮像面に合わせてマトリクス状（メッシュ状）に区分した領域毎に推定された実効的な混色率θが記憶部１５３に保存される。
図１４の例は、４×５のマトリクス状に区分した例で、混色率θ０～θ１９が示されている。
図１４の例は、４×５のマトリクス状に区分した例で、混色率θ０～θ１９が示されている。
混色補正部１５１は、記憶部１５３に保存されている混色率θのうち、混色補正時に必要な画素位置（座標）でのθを補間により近似して算出し、この近似された混色率θを用いて混色補正を行う。
混色補正部１５１は、混色補正を上記式９に従って行う。
混色補正部１５１は、混色補正を上記式９に従って行う。
図１５は、本実施形態に係る混色補正部１５１における混色補正例(原理)を模式的に示す図である。
図１５の例では、記憶部１５３には混色補正係数代表点テーブルＴＢＬ１が色ごとに保存されている。
混色補正部１５１は、混色補正時に記憶部１５３から必要な混色率θを読み出し、所定のタイミングで代表点の間をスプライン、ベジェ、線形補間といった手法で各画素の混色率を決定していく。
そして、混色補正部１５１は、補正前のクランプ部１４からの画像信号と決定した混色率について積和演算器１５１１で積和演算し、減算器１５１２で積和演算結果と補正前の画像信号の減算処理を行うことにより混色補正を行う。
混色補正部１５１は、混色補正時に記憶部１５３から必要な混色率θを読み出し、所定のタイミングで代表点の間をスプライン、ベジェ、線形補間といった手法で各画素の混色率を決定していく。
そして、混色補正部１５１は、補正前のクランプ部１４からの画像信号と決定した混色率について積和演算器１５１１で積和演算し、減算器１５１２で積和演算結果と補正前の画像信号の減算処理を行うことにより混色補正を行う。
図１６は、本実施形態に係るシェーディング補正部１５２におけるシェーディング補正例(原理)を模式的に示す図である。
図１６の例では、記憶部１５４にはシェーディング補正係数代表点テーブルＴＢＬ２が色ごとに保存されている。
シェーディング補正部１５２は、シェーディング補正時に記憶部１５４から必要なシェーディング補正係数を読み出し、所定のタイミングで代表点の間をスプライン、ベジェ、線形補間といった手法で各画素の補正係数を決定していく。
そして、シェーディング補正部１５２は、混色補正部１５１で混色補正されたシェーディング補正前の画像信号と決定した補正係数とを乗算器１５２１で積算処理を行うことによりシェーディング補正を行う。
シェーディング補正部１５２は、シェーディング補正時に記憶部１５４から必要なシェーディング補正係数を読み出し、所定のタイミングで代表点の間をスプライン、ベジェ、線形補間といった手法で各画素の補正係数を決定していく。
そして、シェーディング補正部１５２は、混色補正部１５１で混色補正されたシェーディング補正前の画像信号と決定した補正係数とを乗算器１５２１で積算処理を行うことによりシェーディング補正を行う。
図１７は、本実施形態に係る混色、画素シェーディング補正の補間演算の実例を示す図である。
補間演算においては、代表点間（メッシュ単位)をＮ等分（２のべき乗）して、図１７に示すように、３つの代表点に対するそれぞれの重み係数を各メッシュで定義して、［各代表点×補間位置における重み係数］で求める。
ここで、ｔ＝０～１．０をとり、１／Ｎステップ＝１画素ステップとする。
そして、次のように、いわゆるＢスプライン補間で行う。
ここで、ｔ＝０～１．０をとり、１／Ｎステップ＝１画素ステップとする。
そして、次のように、いわゆるＢスプライン補間で行う。
［数１１］
補間位置ｔ０の値＝ｗ１（t0）・代表点１の値(θ１)
＋ｗ２（t0）・代表点２の値(θ２)
＋ｗ３（t0）・代表点３の値(θ３)
補間位置ｔ０の値＝ｗ１（t0）・代表点１の値(θ１)
＋ｗ２（t0）・代表点２の値(θ２)
＋ｗ３（t0）・代表点３の値(θ３)
以上説明したように、本実施形態の画像信号補正装置１５は、以下の特徴的な構成を有している。
画像信号補正装置１５は、撮像素子１２の撮像面に合わせてマトリクス状（メッシュ状）に区分した領域毎に推定された実効的な混色率θに用い、この混色率を必要な画素位置（座標）でのθを補間により近似して得られるθに関連付けた混色補正を行う。
画像信号補正装置１５は、混色補正が施された画像信号に対してシェーディング補正を行う。
画像信号補正装置１５は、混色補正およびシェーディング補正時に、たとえば撮像素子１２の撮像面（補正対象面）に合わせてマトリクス状（メッシュ状）に区分し、メッシュ単位の複数の代表点に対する各重み付け係数を用いて、いわゆるＢスプライン補間を行う。
したがって、本実施形態によれば、以下の効果を得ることができる。
画像信号補正装置１５は、撮像素子１２の撮像面に合わせてマトリクス状（メッシュ状）に区分した領域毎に推定された実効的な混色率θに用い、この混色率を必要な画素位置（座標）でのθを補間により近似して得られるθに関連付けた混色補正を行う。
画像信号補正装置１５は、混色補正が施された画像信号に対してシェーディング補正を行う。
画像信号補正装置１５は、混色補正およびシェーディング補正時に、たとえば撮像素子１２の撮像面（補正対象面）に合わせてマトリクス状（メッシュ状）に区分し、メッシュ単位の複数の代表点に対する各重み付け係数を用いて、いわゆるＢスプライン補間を行う。
したがって、本実施形態によれば、以下の効果を得ることができる。
すなわち、面内分布に応じた混色補正を実現できる。
また、本実施形態においては、光の散逸過程のみならず、吸収過程における変位分を考慮した補正を行っているため、正しい信号量を見積もることが可能である。
その結果、精度の高い補正を実現することができる。
また、本実施形態においては、光の散逸過程のみならず、吸収過程における変位分を考慮した補正を行っているため、正しい信号量を見積もることが可能である。
その結果、精度の高い補正を実現することができる。
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
１０・・・撮像装置、１１・・・レンズ系、１２・・・撮像素子、１３・・・Ａ／Ｄ変換器、１４・・・クランプ部、１５・・・画像信号補正装置、１５１・・・混色補正部、１５２・・・画素シェーディング補正部、１５３，１５４・・・記憶部、１６・・・デモザイク部、１７・・・リニアマトリクス部、１８・・・ガンマ補正部、１９・・・輝度クロマ信号生成部
Claims (16)
- カラーの撮像素子で光電変換された画像信号を受けて、当該画像信号に含まれる混色成分を補正する混色補正部と、
上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を保存する記憶部と、を少なくとも有し、
上記混色補正部は、
混色補正時に上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得し、当該取得した混色率を用いて混色成分の補正を行う
画像信号補正装置。 - 上記混色補正部は、
複数の代表点を設定し、代表点間を補間して各画素の混色率を決定する
請求項１記載の画像信号補正装置。 - 上記混色補正部は、
取得した混色率と入力画像信号との積和演算を行い、入力画像信号と当該積和演算結果の減算処理を行って混色補正を行う
請求項１または２記載の画像信号補正装置。 - 上記記憶部に保存される混色補正係数は、一のカラー画素からの他のカラー画素の混色率としてあらかじめ測定されて保存される
請求項１から３のいずれか一に記載の画像信号補正装置。 - 上記混色補正部で混色補正された画像信号を受けて、当該被混色補正画像信号に対して画素シェーディング補正を行うシェーディング補正部をさらに有する
請求項１から４のいずれか一に記載の画像信号補正装置。 - 上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された画素シェーディング補正係数を保存する第２の記憶部を有し、
上記シェーディング補正部は、
上記第２の記憶部に保存された画素シェーディング補正係数を補間により近似して必要な画素位置での補正係数を取得し、当該取得した補正係数を用いてシェーディング補正を行う
請求項５記載の画像信号補正装置。 - 上記シェーディング補正部は、
取得した補正係数と上記被混色補正画像信号との積算を行ってシェーディング補正を行う
請求項６記載の画像信号補正装置。 - 被写体像を撮像するカラーの撮像素子と、
カラーの撮像素子で光電変換された画像信号を受けて補正を行う画像信号補正装置と、
を有し、
上記画像信号補正装置は、
カラーの撮像素子で光電変換された画像信号に含まれる混色成分を補正する混色補正部と、
上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を保存する記憶部と、を少なくとも有し、
上記混色補正部は、
混色補正時に上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得し、当該取得した混色率を用いて混色成分の補正を行う
撮像装置。 - 上記混色補正部は、
複数の代表点を設定し、代表点間を補間して各画素の混色率を決定する
請求項８記載の撮像装置。 - 上記混色補正部は、
取得した混色率と入力画像信号との積和演算を行い、入力画像信号と当該積和演算結果の減算処理を行って混色補正を行う
請求項８または９記載の撮像装置。 - 上記記憶部に保存される混色補正係数は、一のカラー画素からの他のカラー画素の混色率としてあらかじめ測定されて保存される
請求項８から１０のいずれか一に記載の撮像装置。 - 上記混色補正部で混色補正された画像信号を受けて、当該被混色補正画像信号に対して画素シェーディング補正を行うシェーディング補正部をさらに有する
請求項８から１１のいずれか一に記載の撮像装置。 - 上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された画素シェーディング補正係数を保存する第２の記憶部を有し、
上記シェーディング補正部は、
上記第２の記憶部に保存された画素シェーディング補正係数を補間により近似して必要な画素位置での補正係数を取得し、当該取得した補正係数を用いてシェーディング補正を行う
請求項１２記載の撮像装置。 - 上記シェーディング補正部は、
取得した補正係数と上記被混色補正画像信号との積算を行ってシェーディング補正を行う
請求項１３記載の撮像装置。 - カラーの撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を記憶部から読み出すステップと、
上記撮像素子で光電変換された画像信号を受けて、上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得するステップと、
上記取得した混色率を用いて混色成分の補正を行うステップと
を有する画像信号補正方法。 - カラーの撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を記憶部から読み出す処理と、
上記撮像素子で光電変換された画像信号を受けて、上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得する処理と、
上記取得した混色率を用いて混色成分の補正を行う処理と
を有する画像信号補正処理をコンピュータに実行させるプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP09773389.3A EP2299721B1 (en) | 2008-06-30 | 2009-06-25 | Image signal correcting device, imaging device, image signal correcting method, and program |
| US12/737,117 US8860853B2 (en) | 2008-06-30 | 2009-06-25 | Image signal correcting device, image device, image signal correcting method, and program with color mixing correction |
| CN200980132489.5A CN102132570B (zh) | 2008-06-30 | 2009-06-25 | 图像信号校正设备、成像设备、图像信号校正方法 |
| US14/500,140 US8988547B2 (en) | 2008-06-30 | 2014-09-29 | Image signal correcting device, imaging device, image signal correcting method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008171760A JP5163319B2 (ja) | 2008-06-30 | 2008-06-30 | 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム |
| JP2008-171760 | 2008-06-30 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US12/737,117 A-371-Of-International US8860853B2 (en) | 2008-06-30 | 2009-06-25 | Image signal correcting device, image device, image signal correcting method, and program with color mixing correction |
| US14/500,140 Continuation US8988547B2 (en) | 2008-06-30 | 2014-09-29 | Image signal correcting device, imaging device, image signal correcting method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2010001811A1 true WO2010001811A1 (ja) | 2010-01-07 |
Family
ID=41465908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2009/061640 WO2010001811A1 (ja) | 2008-06-30 | 2009-06-25 | 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US8860853B2 (ja) |
| EP (1) | EP2299721B1 (ja) |
| JP (1) | JP5163319B2 (ja) |
| KR (1) | KR20110036707A (ja) |
| CN (1) | CN102132570B (ja) |
| TW (1) | TWI422234B (ja) |
| WO (1) | WO2010001811A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130103259A1 (en) * | 2011-10-20 | 2013-04-25 | GM Global Technology Operations LLC | Vehicle suspension system and method of using the same |
| US20130113958A1 (en) * | 2010-10-21 | 2013-05-09 | Taiwan Semiconductor Manufacturing Co., Ltd. | Color image sensor array with color crosstalk test patterns |
| WO2013099151A1 (ja) * | 2011-12-26 | 2013-07-04 | パナソニック株式会社 | 固体撮像素子、撮像装置、および信号処理方法 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5254762B2 (ja) * | 2008-11-28 | 2013-08-07 | キヤノン株式会社 | 撮像装置、撮像システム、及び撮像装置における信号の補正方法 |
| JP5152114B2 (ja) * | 2009-06-30 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム |
| JP5460202B2 (ja) * | 2009-09-18 | 2014-04-02 | キヤノン株式会社 | 画像処理装置及び撮像システム |
| JP5526840B2 (ja) * | 2010-02-09 | 2014-06-18 | ソニー株式会社 | 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム |
| JP5496922B2 (ja) * | 2011-01-13 | 2014-05-21 | 日本放送協会 | クロストーク量測定装置、これを用いた色補正装置およびクロストーク量測定方法 |
| JP5425343B2 (ja) | 2011-06-30 | 2014-02-26 | 富士フイルム株式会社 | 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム |
| JP5817301B2 (ja) | 2011-08-02 | 2015-11-18 | ソニー株式会社 | 撮像素子、並びに、撮像装置および方法 |
| JP5600814B2 (ja) | 2011-12-28 | 2014-10-01 | 富士フイルム株式会社 | 画像処理装置及び方法並びに撮像装置 |
| JP5787856B2 (ja) * | 2012-09-24 | 2015-09-30 | 株式会社東芝 | 固体撮像装置 |
| US9451187B2 (en) | 2012-12-31 | 2016-09-20 | Nvidia Corporation | Lens shading calibration for cameras |
| JP5865555B2 (ja) | 2013-05-13 | 2016-02-17 | 富士フイルム株式会社 | 混色率算出装置及び方法並びに撮像装置 |
| JP6083678B2 (ja) * | 2013-12-25 | 2017-02-22 | パナソニックＩｐマネジメント株式会社 | 画像処理装置 |
| JP2015192234A (ja) * | 2014-03-27 | 2015-11-02 | Hoya株式会社 | 撮像素子、測定装置、測定方法、及び撮像装置 |
| KR102303764B1 (ko) * | 2017-04-24 | 2021-09-17 | 삼성전자주식회사 | 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10271519A (ja) | 1997-03-26 | 1998-10-09 | Sony Corp | 固体撮像装置 |
| JP2003169255A (ja) | 2001-11-30 | 2003-06-13 | Sony Corp | シェーディング補正方法 |
| JP2006121612A (ja) * | 2004-10-25 | 2006-05-11 | Konica Minolta Photo Imaging Inc | 撮像装置 |
| JP2006134157A (ja) | 2004-11-08 | 2006-05-25 | Fuji Photo Film Co Ltd | シェーディング補正装置、シェーディング補正値演算装置及び撮像装置 |
| JP2007142697A (ja) * | 2005-11-17 | 2007-06-07 | Sony Corp | 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4574022B2 (ja) * | 2001-01-17 | 2010-11-04 | キヤノン株式会社 | 撮像装置及びシェーディング補正方法 |
| JP3539394B2 (ja) * | 2001-03-26 | 2004-07-07 | ミノルタ株式会社 | 画像処理装置、プログラムおよび記録媒体 |
| US7502057B2 (en) * | 2002-06-20 | 2009-03-10 | Hewlett-Packard Development Company, L.P. | Method and apparatus for color non-uniformity correction in a digital camera |
| US6844883B2 (en) * | 2002-06-24 | 2005-01-18 | Koninklijke Philips Electronics N.V. | Color non-uniformity correction method and apparatus |
| JP2006058754A (ja) * | 2004-08-23 | 2006-03-02 | Canon Inc | 表示装置 |
| KR100606803B1 (ko) | 2005-05-16 | 2006-08-01 | 엘지전자 주식회사 | 스크롤 휠 장치를 이용한 기능 수행 기능을 갖는 이동통신단말기 및 이를 이용한 기능 수행 방법 |
| JP2007142693A (ja) * | 2005-11-17 | 2007-06-07 | Sony Corp | 撮像装置および撮像方法 |
| JP4704238B2 (ja) * | 2006-02-22 | 2011-06-15 | オリンパスイメージング株式会社 | 電子撮像装置及び電子撮像方法 |
| JP2008113236A (ja) * | 2006-10-30 | 2008-05-15 | Kyocera Corp | 撮像装置におけるシェーディング補正方法と装置 |
| JP2011521591A (ja) * | 2008-05-22 | 2011-07-21 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | カメラセンサの補正 |
-
2008
- 2008-06-30 JP JP2008171760A patent/JP5163319B2/ja not_active Expired - Fee Related
-
2009
- 2009-06-25 WO PCT/JP2009/061640 patent/WO2010001811A1/ja active Application Filing
- 2009-06-25 US US12/737,117 patent/US8860853B2/en active Active
- 2009-06-25 KR KR1020107028590A patent/KR20110036707A/ko not_active Application Discontinuation
- 2009-06-25 EP EP09773389.3A patent/EP2299721B1/en not_active Not-in-force
- 2009-06-25 CN CN200980132489.5A patent/CN102132570B/zh not_active Expired - Fee Related
- 2009-06-30 TW TW098122136A patent/TWI422234B/zh not_active IP Right Cessation
-
2014
- 2014-09-29 US US14/500,140 patent/US8988547B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10271519A (ja) | 1997-03-26 | 1998-10-09 | Sony Corp | 固体撮像装置 |
| JP2003169255A (ja) | 2001-11-30 | 2003-06-13 | Sony Corp | シェーディング補正方法 |
| JP2006121612A (ja) * | 2004-10-25 | 2006-05-11 | Konica Minolta Photo Imaging Inc | 撮像装置 |
| JP2006134157A (ja) | 2004-11-08 | 2006-05-25 | Fuji Photo Film Co Ltd | シェーディング補正装置、シェーディング補正値演算装置及び撮像装置 |
| JP2007142697A (ja) * | 2005-11-17 | 2007-06-07 | Sony Corp | 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置 |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP2299721A4 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130113958A1 (en) * | 2010-10-21 | 2013-05-09 | Taiwan Semiconductor Manufacturing Co., Ltd. | Color image sensor array with color crosstalk test patterns |
| US8767100B2 (en) * | 2010-10-21 | 2014-07-01 | Taiwan Semiconductor Manufacturing Co., Ltd. | Color image sensor array with color crosstalk test patterns |
| US20130103259A1 (en) * | 2011-10-20 | 2013-04-25 | GM Global Technology Operations LLC | Vehicle suspension system and method of using the same |
| US9533539B2 (en) * | 2011-10-20 | 2017-01-03 | GM Global Technology Operations LLC | Vehicle suspension system and method of using the same |
| WO2013099151A1 (ja) * | 2011-12-26 | 2013-07-04 | パナソニック株式会社 | 固体撮像素子、撮像装置、および信号処理方法 |
| JPWO2013099151A1 (ja) * | 2011-12-26 | 2015-04-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 固体撮像素子、撮像装置、および信号処理方法 |
| US9071722B2 (en) | 2011-12-26 | 2015-06-30 | Panasonic Intellectual Property Corporation Of America | Solid-state imaging element, imaging device, and signal processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201004370A (en) | 2010-01-16 |
| EP2299721A1 (en) | 2011-03-23 |
| US8988547B2 (en) | 2015-03-24 |
| EP2299721A4 (en) | 2012-10-24 |
| US8860853B2 (en) | 2014-10-14 |
| EP2299721B1 (en) | 2014-03-19 |
| JP5163319B2 (ja) | 2013-03-13 |
| CN102132570A (zh) | 2011-07-20 |
| US20150015748A1 (en) | 2015-01-15 |
| KR20110036707A (ko) | 2011-04-08 |
| US20110102635A1 (en) | 2011-05-05 |
| CN102132570B (zh) | 2014-04-16 |
| JP2010016419A (ja) | 2010-01-21 |
| TWI422234B (zh) | 2014-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5163319B2 (ja) | 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム | |
| US10015424B2 (en) | Method and apparatus for eliminating crosstalk amount included in an output signal | |
| US9379156B2 (en) | Per-channel image intensity correction | |
| KR101464750B1 (ko) | 고체 촬상 장치, 고체 촬상 장치의 신호 처리 장치 및 신호처리 방법과 촬상 장치 | |
| JP5173493B2 (ja) | 撮像装置及び撮像システム | |
| JP5526840B2 (ja) | 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム | |
| US11233957B2 (en) | Solid state image sensor and electronic equipment | |
| TWI520606B (zh) | 影像處理設備及影像處理設備之控制方法 | |
| WO2011132618A1 (ja) | 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム | |
| JP2012169830A (ja) | 画像処理装置、画像処理方法、および電子機器 | |
| JP2011205348A (ja) | 固体撮像装置および画像記録装置 | |
| JP2008113236A (ja) | 撮像装置におけるシェーディング補正方法と装置 | |
| JP4379006B2 (ja) | 撮像装置 | |
| JP2010288093A (ja) | 画像処理装置、固体撮像装置および電子情報機器 | |
| KR20140039970A (ko) | 고체 촬상 장치, 카메라 모듈 및 디지털 카메라 | |
| TWI795796B (zh) | 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器 | |
| JP2005223133A (ja) | 固体撮像装置およびそれを用いた撮像システム | |
| US20240273781A1 (en) | Electronic device and method of image processing | |
| JP2012253727A (ja) | 固体撮像装置及びカメラモジュール | |
| JP2012060496A (ja) | 画像処理装置 | |
| JP2011055336A (ja) | 撮像装置及び信号処理方法 | |
| JP2005353716A (ja) | 固体撮像素子及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WWE | Wipo information: entry into national phase |
Ref document number: 200980132489.5 Country of ref document: CN |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09773389 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 12737117 Country of ref document: US |
|
| ENP | Entry into the national phase |
Ref document number: 20107028590 Country of ref document: KR Kind code of ref document: A |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2009773389 Country of ref document: EP |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 9172/DELNP/2010 Country of ref document: IN |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |