JP4320720B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4320720B2
JP4320720B2 JP2003306099A JP2003306099A JP4320720B2 JP 4320720 B2 JP4320720 B2 JP 4320720B2 JP 2003306099 A JP2003306099 A JP 2003306099A JP 2003306099 A JP2003306099 A JP 2003306099A JP 4320720 B2 JP4320720 B2 JP 4320720B2
Authority
JP
Japan
Prior art keywords
signal
solid
imaging device
pixel
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003306099A
Other languages
English (en)
Other versions
JP2005079766A (ja
Inventor
淳 水口
幸一 掃部
一睦 佐藤
将之 楠田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2003306099A priority Critical patent/JP4320720B2/ja
Publication of JP2005079766A publication Critical patent/JP2005079766A/ja
Application granted granted Critical
Publication of JP4320720B2 publication Critical patent/JP4320720B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、固体撮像素子に生じる固定パターンノイズ(FPN)を除去する撮像装置に関するもので、特に、複数種類の色フィルタを備えてカラー画像を撮像する撮像装置に関する。又、本発明は、このような撮像装置における固定パターンノイズ補正処理方法に関するものである。
従来、入射光量に対して線形変換する線形変換動作を行う固体撮像素子においては、そのダイナミックレンジが2桁と狭いため、広い輝度範囲の輝度分布を構成する被写体を撮像したときは、ダイナミックレンジ以外の範囲の輝度情報は出力されない。又、従来の固体撮像装置として、入射光量に対して対数変換する対数変換動作を行うものがある(特許文献1参照)。この固体撮像素子においては、そのダイナミックレンジが5〜6桁と広いため、少々広い輝度範囲の輝度分布を構成する被写体を撮像しても、輝度分布内の全輝度情報を電気信号に変換して出力することができる。しかしながら、被写体の輝度分布に対してその撮像可能領域が広くなるので、撮像可能領域内の低輝度領域又は高輝度領域において、輝度データの無い領域ができてしまう。
これらに対して、従来の固体撮像素子として、上述の線形変換動作と対数変換動作とを切り換えることが可能なものがある(特許文献2参照)。このような線形変換動作と対数変換動作が切換可能な固体撮像素子において、各画素の感度バラツキを除去するために、リセット時のノイズ信号を画像信号から減算する動作が固体撮像素子内において行われている。しかしながら、このように固体撮像素子内において画像信号からノイズ信号を減算することでノイズ除去を行っても、各画素を構成するMOSトランジスタの閾値バラツキなどが原因となるオフセットが完全に除去されずに、固体撮像素子から出力される画像信号にFPNが重畳した状態となっていた。
このような画像信号に重畳したFPNを除去するために、本出願人は、対数変換特性による光電変換動作を行う固体撮像素子に均一光を与えて得られた固体撮像素子のFPNを表すシェーディングデータをメモリに記憶した後、撮像されて得られた画像信号に対して補正演算回路でメモリに記憶したシェーディングデータを減算して補正する固体撮像装置を提案している(特許文献3参照)。又、色フィルタを備えた対数変換特性による光電変換動作を行う固体撮像素子において、白色光照射時の各色信号を補正データとしてメモリに記憶した後、撮像されて得られた各色信号に対して補正演算回路でメモリに記憶した各色信号の補正データを減算してホワイトバランスをとる固体撮像装置を提案している(特許文献4参照)。更に、対数変換特性による光電変換動作を行う固体撮像素子に均一光を与えて得られた固体撮像素子のFPNを表すシェーディングデータにおける補正を行うとともに、均一光照射時の温度と撮像時の温度との差異に基づく感度変化に対する補正を行う固体撮像装置を提案している(特許文献5参照)。
特開平11−313257号公報 特開2002−77733号公報 特開平5−30350号公報 特開平5−168022号公報 特開2000−307962号公報
しかしながら、特許文献4における固体撮像装置では、対数変換特性のみによる光電変換動作を行う固体撮像素子から出力される画像信号を補正することに対しては有効であるが、線形変換特性による光電変換動作を行う固体撮像素子については、ホワイトバランスがとることができない。又、色フィルタを備えた固体撮像素子のFPNを除去するために、特許文献3〜特許文献5のようにして均一光照射時の画像信号をメモリに記憶して、撮像時の画像信号から減算したとき、色フィルタの透過率によって生じるオフセットも除去してしまう。そのため、光電変換動作に線形変換特性を含むような固体撮像素子を備えた撮像装置においては、ホワイトバランス処理を行うために後段に設けられる回路における演算処理が複雑なものとなってしまうという問題が生じる。
このような問題を鑑みて、本発明は、色フィルタの透過率による影響を除いた固体撮像素子におけるFPNが画像信号より除去することが可能な撮像装置及び固定パターンノイズ補正処理方法を提供することを目的とする。
上記目的を達成するために、本発明の撮像装置は、入射光量に応じた電気信号を発生するとともに複数種類の色フィルタが設けられた画素を備える固体撮像素子を備える撮像装置において、前記各画素間の出力バラツキを表す固定パターンノイズ成分を含むノイズ信号が前記固体撮像素子から出力されたとき、当該ノイズ信号より前記固定パターンノイズ成分を抽出するノイズ成分抽出部と、前記固定パターンノイズ成分を前記固体撮像素子の各画素毎に格納するメモリと、前記固体撮像素子が撮像動作を行うとき、当該撮像時における画像信号と前記メモリに格納した前記固定パターンノイズ成分とが前記各画素毎に与えられ、該画像信号から該固定パターンノイズを除去するノイズ成分除去部と、を備え、前記ノイズ成分抽出部において、前記各画素毎に、前記ノイズ信号から当該画素に設けられた前記色フィルタの透過率により発生するオフセットを減じることによって前記固定パターンノイズ成分を抽出することを特徴とする。
記色フィルタの透過率の差異による異なるオフセットを前記画像信号から除去することなく、純粋に前記固定パターンノイズのみを除去することができ、後段に設けるホワイトバランス処理が複雑なものでなくなる。更に、このとき、前記色フィルタにより発生するオフセットを、前記色フィルタの種類毎に求められた同一種類の前記色フィルタが設けられた前記画素からのノイズ信号の平均値としても構わない。
これらの撮像装置において、前記固体撮像素子が入射光量に対して線形変換した電気信号を発生するものとしても構わないし、入射光量に対して対数変換した電気信号を発生するものとしても構わない。又、このとき、前記固体撮像素子が入射光量に対して電気信号を発生する際に用いる光電変換特性を入射される輝度値に応じて切り換えるものとしても構わない。
更に、前記固体撮像素子が入射光量に対して電気信号を発生する際に用いる光電変換特性を入射される輝度値に応じて線形変換特性及び対数変換特性のいずれかに切り換えるものとしても構わない
又、上述の撮像装置において、前記固体撮像装置に均一光が照射されたときに前記固体撮像装置から出力される画像信号を前記ノイズ信号とするものとしても構わない。
又、本発明の固定パターンノイズ補正処理方法は、入射光量に応じた電気信号を発生するとともに複数種類の色フィルタが設けられた画素を備える固体撮像素子から出力される画像信号より、前記各画素間の出力バラツキを表す固定パターンノイズ成分を除去する固定パターンノイズ補正処理方法において、前記固定パターンノイズ成分を含むノイズ信号が前記固体撮像素子から出力されたとき、当該ノイズ信号より前記固定パターンノイズ成分を抽出する第1ステップと、前記 固定パターンノイズ成分を前記固体撮像素子の各画素毎に前記固体撮像素子外部のメモリに格納する第2ステップと、前記固体撮像素子が撮像動作を行うとき、当該撮像時における画像信号から前記メモリに格納した前記固定パターンノイズ成分を除去する第3ステップと、を備え、前記第1ステップにおいて、前記各画素毎に、前記ノイズ信号から当該画素に設けられた前記色フィルタの透過率により発生するオフセットを減じることによって前記固定パターンノイズ成分を抽出することを特徴とする。
このような固定パターンノイズ補正処理方法において、前記色フィルタにより発生するオフセットが、前記色フィルタの種類毎に求められた同一種類の前記色フィルタが設けられた前記画素からのノイズ信号の平均値である。更に、前記固体撮像装置に均一光が照射されたときに前記固体撮像装置から出力される画像信号を前記ノイズ信号とする。
本発明によると、固定パターンノイズ成分のみをメモリに格納して、メモリに格納した固定パターンノイズに基づいて、撮像動作を行ったときに固体撮像素子から出力される画像信号から固定パターンノイズのみを除去することができる。よって、従来のように、均一光などが照射されたときに得られるノイズ信号を減算して各画素毎の感度バラツキなどが原因となるノイズ成分を除去する場合と異なり、色フィルタの透過率の差異により生じるオフセットをも除去することなく、純粋に固定パターンノイズ成分のみを除去することができる。よって、光電変換特性として線形変換特性を備える固体撮像素子を有する場合などにおいて、従来においては、固定パターンノイズ成分とともに色フィルタの透過率によるオフセットを除去するため、ホワイトバランス処理を行ったとき、そのホワイトバランスが崩れてしまうが、当該発明では、固定パターンノイズ成分のみが除去されるため、ホワイトバランスを崩れることを防ぐことができる。即ち、本発明によると、後段に設けられるホワイトバランス処理を行うための回路を、従来と比べて、簡単な構成とすることができる。
<撮像装置の構成>
本発明の撮像装置の構成について、図1を参照して説明する。図1は、本発明の撮像装置の内部構成を示すブロック図である。
図1の撮像装置は、複数のレンズから構成される光学系1と、光学系1を通じて入射される光の入射光量を電気信号に変換する固体撮像素子2と、固体撮像素子2から出力される電気信号を増幅するアンプ3と、アンプ3で増幅された電気信号をデジタル信号に変換するAD変換回路4と、AD変換回路4からのデジタル信号の最低レベルを設定する黒基準補正回路5と、黒基準補正回路5で黒基準値により補正されたデジタル信号が固体撮像素子2の各画素の感度などによるFPNを除去するFPN補正回路6と、FPN補正回路6でFPN除去されたデジタル信号より自動露出制御(AE)及びホワイトバランス(WB)を行うためのそれぞれの評価値を検出するAE・WB評価値検出回路7と、FPN補正回路6でFPN除去されたデジタル信号について色バランスがとれるように各色信号毎に補正を行うWB制御回路8と、WB制御回路8から出力される隣接する複数の画素の色信号に基づいて各色信号の補間を行う色補間回路9と、色補間回路9から出力される各色信号を他の色信号により色合いを各画素毎に補正する色補正回路10と、色補正回路10から出力されるデジタル信号の階調変換を行う階調変換回路11と、階調変換回路11から出力されるデジタル信号についてエッジ強調などの処理を施すコアリング回路12と、各ブロックの制御を行う全体制御部13と、光学系1に備えられる絞り1aによる露光量を制御する絞り制御部14と、固体撮像素子2及びAD変換回路4に動作タイミング用のクロックを与えるタイミング生成回路15と、を備える。
このように構成される撮像装置は、光学系1を介して光が各画素毎に異なる色フィルタを備えた固体撮像素子2に入射されると、各画素において光電変換動作が行われ、各画素毎に異なる色信号となるアナログ信号が出力される。即ち、図2のように、RGBによるベイヤ型配列となる色フィルタが固体撮像素子2に設けられるとき、Rとなる色フィルタが設けられた画素からは赤色を表すR信号が、Gとなる色フィルタが設けられた画素からは緑色を表すG信号が、Bとなる色フィルタが設けられた画素からは青色を表すB信号が、それぞれ出力される。尚、固体撮像素子2は、後述するように、全体制御部13から与えられるダイナミックレンジを変化させるダイナミックレンジ制御信号によって、線形変換動作及び対数変換動作を切り換える輝度を変更させる。
この固体撮像素子2からシリアルに出力されるR信号及びG信号及びB信号が、アンプ3において増幅された後、AD変換回路4においてデジタル信号に変換される。このようにデジタル信号に変換されたR信号及びG信号及びB信号が黒基準補正回路5に与えられると、全体制御部13から与えられるダイナミックレンジ制御信号に基づいて、最低輝度値となる黒レベルが基準値(0)に補正される。即ち、固体撮像素子2のダイナミックレンジによって黒レベルが異なるため、AD変換回路4から出力されるR信号及びG信号及びB信号それぞれの信号レベルに対して、黒レベルとなる信号レベルが減算されることで、基準値補正が行われる。
この黒基準補正が行われたR信号及びG信号及びB信号は、後述するように、FPN補正回路6において格納しているFPN成分を減算することによって、FPN成分が除去される。このFPN成分は、固体撮像素子2内の各画素を構成するMOSトランジスタの閾値バラツキなどが原因となって生じるオフセットバラツキである。このようにFPN成分が除去されたR信号及びG信号及びB信号が、AE・WB評価値検出回路7及びWB制御回路8に与えられる。このFPN補正回路6の詳細については後述する。
AE・WB評価値検出回路7では、与えられたR信号及びG信号及びB信号より成る画像信号の輝度値を確認することにより、被写体の輝度範囲を表す輝度の平均値分布範囲を算出し、露光量を設定するAE評価値として全体制御部13に送出する。このAE評価値に基づいて全体制御部13が絞り1aの開口度を制御することで、露光量が制御される。又、AE・WB評価値検出回路7では、与えられたR信号及びG信号及びB信号よりそれぞれの輝度比及び輝度差を確認し、ホワイトバランスを行うための基準値であるWB評価値を算出し、全体制御部13に送出する。そして、WB制御回路8では、全体制御部13より与えられるWB評価値及びダイナミックレンジ制御信号に基づいて、R信号及びG信号及びB信号が、同一の光電変換特性となるようにホワイトバランス処理が施される。
WB制御回路8でホワイトバランス処理が施されたR信号及びG信号及びB信号は、色補間回路9において色補間処理が施される。図2のようなRGBによるベイヤ型配列となる色フィルタが固体撮像素子2に設けられているとき、各画素から出力される色信号は、その画素に設けられる色フィルタによる色信号のみである。よって、色補間回路9において、他の色信号が隣接する画素の色信号により生成されることで、色補間処理が施される。
そして、RGBそれぞれの色フィルタが各画素G11〜G44に図2のように配列されているとき、画素G11,G31,G13,G33からR信号r11,r31,r13,r33が、画素G21,G41,G12,G32,G23,G43,G14,G34からG信号g21,g41,g12,g32,g23,g43,g14,g34が、画素G22,G42,G24,G44からB信号b22,b42,b24,b44が、出力される。このとき、画素G22,G23,G32,G33のRGB信号が、以下の式のように表される。
画素G22のR信号r22、G信号g22、B信号b22
r22=(r11+r31+r13+r33)/4
g22=(g21+g12+g32+g23)/4
b22=b22
画素G32のR信号r32、G信号g32、B信号b32
r32=(r31+r33)/2
g32=g32
b32=(b22+b42)/2
画素G23のR信号r23、G信号g23、B信号b23
r23=(r13+r33)/2
g23=g23
b23=(b22+b24)/2
画素G33のR信号r33、G信号g33、B信号b33
r33=r33
g33=(g32+g23+g43+g34)/4
b33=(b22+b42+b24+b44)/4
このように画素補間処理を行うことで、各画素毎にRGB信号が得られると、各画素のRGB信号が色補正回路10に与えられ、各画素の色合いを強調するための色補正処理が施される。このとき、RGB信号はそれぞれ、他の色信号の値により色補正が施される。即ち、画素GklのRGB信号rkl,gkl,bklを以下の式に代入することによって、色合い補正が施された画素GklのRGB信号rxkl,gxkl,bxklが生成される。この際、a1〜a3,b1〜b3,c1〜c3によるマトリックス係数が、全体制御部13から入力されるダイナミックレンジ制御信号に基づいて切り換えられて、各画素のRGB信号による色合いが強調される。
rxkl=a1×rkl+a2×gkl+a3×bkl
gxkl=b1×rkl+b2×gkl+b3×bkl
bxkl=c1×rkl+c2×gkl+c3×bkl
色補正回路10で色補正が施されたRGB信号は、階調変換回路11に与えられて、適切な出力レベルとなるように、全体制御部13から入力されるダイナミックレンジ制御信号及びAE評価値に基づいて、γカーブに基づく変化やデジタルゲインの変化により階調特性を変化させる。そして、エッジ成分に対して図3のような関係のレベル変換特性を備えるコアリング回路12において、RGB信号それぞれに重畳したノイズ成分が除去されるとともに、エッジ成分が抽出されてエッジ強調処理が施される。
<固体撮像素子の構成例>
図1のように構成される撮像装置における固体撮像素子2の構成について、図面を参照して説明する。図4は、本例の固体撮像素子の一部の構成を概略的に示すブロック図であり、図5は、各画素の構成を示す回路図である。
固体撮像素子2は、図4に示すように、G11〜Gmnは行列配置(マトリクス配置)された画素を示している。21は垂直走査回路であり、各画素に信号φVを与える行(ライン)23−1,23−2,・・・,23−nを順次走査していくとともに、ライン24−1,24−2,・・・,24−nを介して各画素に信号φVDを、ライン25−1,25−2,・・・,25−nを介して各画素に信号φVPSを、それぞれ与える。22は水平走査回路であり、画素から出力信号線26−1,26−2,・・・,26−mに導出された光電変換信号を画素ごとに水平方向に順次読み出す。20は電源ラインである。各画素に対し、上記ライン23−1〜23−n,24−1〜24−n,25−1〜25−nや出力信号線26−1〜26−m、電源ライン20だけでなく、他のライン(例えば、クロックラインやバイアス供給ライン等)も接続されるが、図4ではこれらについて省略する。
又、出力信号線26−1〜26−mのそれぞれには、定電流源27−1〜27−mが接続されるとともに、信号線26−1〜26−mのそれぞれを介して与えられる画素G11〜Gmnから与えられる画像信号とノイズ信号をサンプルホールドする選択回路28−1〜28−mが設けられる。そして、補正回路29に選択回路28−1〜28−mから画像信号及びノイズ信号が順に送出されると、この補正回路29で補正処理が行われて、ノイズ除去された画像信号が外部に出力される。尚、定電流源27−1〜27−mの一端に直流電圧VPSが印加される。
このような固体撮像素子において、画素Gab(a:1≦a≦mの自然数、b:1≦b≦nの自然数)からの出力となる画像信号及びノイズ信号が、それぞれ、出力信号線26−aを介して出力されるとともに、この出力信号線26−aに接続された定電流源27−aによって増幅される。そして、画素Gabから出力された画像信号及びノイズ信号が順番に選択回路28−aに送出されるとともに、この選択回路28−aにおいて、送出された画像信号及びノイズ信号がサンプルホールドされる。その後、選択回路28−aより、サンプルホールドされた画像信号が補正回路29に送出された後、同じくサンプルホールドされたノイズ信号が補正回路29に送出される。補正回路29では、選択回路28−aより与えられた画像信号を、同じく選択回路28−aより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した画像信号をアンプ3に出力する。
このような構成の固体撮像素子2において、画素G11〜Gmnは、図5に示すように、カソードに直流電圧VPDが印加されたフォトダイオードPDのアノードにMOSトランジスタT1のドレインが接続され、MOSトランジスタT1のソースにMOSトランジスタT2のゲート及びドレインとMOSトランジスタT3のゲートが接続される。又、MOSトランジスタT3のソースにMOSトランジスタT4のゲート及びMOSトランジスタT5のドレインが接続され、MOSトランジスタT4のソースにMOSトランジスタT6のドレインが接続される。そして、MOSトランジスタT6のドレインが出力信号線26(図4の出力信号線26−1〜26−mに相当する)に接続される。尚、MOSトランジスタT1〜T6は、PチャネルのMOSトランジスタである。
MOSトランジスタT2のソースにはライン25(図4のライン25−1〜25−nに相当する)を介して信号φVPSが入力され、MOSトランジスタT3,T4のドレインに直流電圧VPDが印加される。又、MOSトランジスタT3のソースには、その一端にライン24(図4のライン24−1〜24−nに相当する)を介して信号φVDが与えられるキャパシタCの他端が接続される。又、MOSトランジスタT5のソースには直流電圧VRGが入力され、そのゲートに信号φRSが入力される。更に、MOSトランジスタT1,T6のゲートにはそれぞれ、信号φS,φVが入力される。
尚、信号φVPSは2値の電圧信号で、入射光量が所定値を超えたときにMOSトランジスタT2をサブスレッショルド領域で動作させるための電圧をVLとし、又、この電圧よりも高くMOSトランジスタT2を導通状態にする電圧をVHとする。又、信号φVDは、3値の電圧信号であり、キャパシタCを積分動作させる際の電圧値を最も高いVhとし、画像信号読み出し時の電圧値をVhよりも低いVmとし、ノイズ信号読み出し時の電圧値をVmよりも低いVlとする。
このように構成される固体撮像素子2における画素G11〜Gmnの動作について、図6のフローチャートを参照して説明する。まず、電圧値Vmのパルス信号φVDとパルス信号φVが与えられて画像信号が出力されると、信号φVDをVhとした後、信号φSをハイにしてMOSトランジスタT1をOFFにして、リセット動作が始まる。次に、MOSトランジスタT2のソースに与える信号φVPSをVHにして、MOSトランジスタT2のソース電圧を高くすることで、MOSトランジスタT2のゲート及びドレイン、そしてMOSトランジスタT3のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φRSをローとして、MOSトランジスタT5をONにして、キャパシタCとMOSトランジスタT4のゲートとの接続ノードの電圧を初期化する。
そして、MOSトランジスタT2のソースに与える信号φVPSをVLにして、MOSトランジスタT2のポテンシャル状態を基の状態に戻した後、信号φRSをハイにして、MOSトランジスタT5をOFFにする。その後、キャパシタCが積分動作を行って、キャパシタCとMOSトランジスタT4のゲートとの接続ノードの電圧が、リセットされたMOSトランジスタT2のゲート電圧に応じたものとなる。そして、パルス信号φVをMOSトランジスタT6のゲートに与えてMOSトランジスタT6をONにするとともに信号φVDの電圧値をVlにする。このとき、MOSトランジスタT4がソースフォロワ型のMOSトランジスタとして動作するため、出力信号線26にはノイズ信号が電圧信号として現れる。その後、再び、パルス信号φRSをMOSトランジスタT5に与えて、キャパシタCとMOSトランジスタT4のゲートとの接続ノードの電圧をリセットした後、信号φSをローにしてMOSトランジスタT1を導通させて撮像動作が行える状態にする。
このようにノイズ信号が出力された後、MOSトランジスタT1がONとされると、撮像動作が開始される。このとき、信号φRSをハイとして、MOSトランジスタT5をOFFとする。又、MOSトランジスタT2のソースに与える信号φVPSをVLとするとともに、キャパシタCに与える信号φVDの電圧値をVhとして、積分動作を行うようにする。そして、フォトダイオードPDより入射光量に応じた光電荷がMOSトランジスタT2に流れ込むと、MOSトランジスタT2はカットオフ状態であるので、光電荷がMOSトランジスタT2のゲートに蓄積される。
よって、撮像する被写体の輝度が低くフォトダイオードPDに入射される入射光量が少ない場合は、MOSトランジスタT2のゲートに蓄積された光電荷量に応じた電圧がMOSトランジスタT2のゲートに現れるため、入射光量の積分値に対して線形的に比例した電圧がMOSトランジスタT3のゲートに現れる。又、撮像する被写体の輝度が高くフォトダイオードPDに入射される入射光量が多く、MOSトランジスタT2のゲートに蓄積された光電荷量に応じた電圧が高くなると、MOSトランジスタT2がサブスレッショルド領域で動作を行うため、入射光量に対して自然対数的に比例した電圧がMOSトランジスタT3のゲートに現れる。
この入射光量に対して線形的に又は自然対数的に比例した電圧がMOSトランジスタT3で電流増幅されたドレイン電流がキャパシタCから流れるため、MOSトランジスタT4のゲート電圧が、入射光量の積分値に対して線形的又は自然対数的に比例した電圧となる。そして、信号φVDの電圧値をVmとするとともに、MOSトランジスタT6にパルス信号φVを与えることで、MOSトランジスタT4のゲート電圧に応じたソース電流が、MOSトランジスタT6を介して出力信号線6へ流れる。このとき、MOSトランジスタT4がソースフォロワ型のMOSトランジスタとして動作するため、出力信号線6には画像信号が電圧信号として現れる。その後、信号φVをハイにしてMOSトランジスタT6をOFFにするとともに、信号φVDの電圧値をVhとする。
このように動作するとき、撮像時の信号φVPSの電圧値VLが低くなり、リセット時の信号φVPSの電圧値VHとの差を大きくするほど、MOSトランジスタT2のゲート・ソース間のポテンシャルの差が大きくなり、MOSトランジスタT2がカットオフ状態で動作する被写体輝度の割合が大きくなる。よって、図7のように、電圧値VLが低いほど、線形変換する被写体輝度の割合が大きくなる。即ち、被写体の輝度範囲が狭いと電圧値VLを低くして、線形変換する輝度範囲を広くし、又、被写体の輝度範囲が広いと電圧値VLを高くして、対数変換する輝度範囲を広くする。よって、電圧値VLを最小とするとき、常に線形変換する状態とし、又、電圧値VLを最大とするとき、常に対数変換する状態とする。
このように動作する固体撮像素子2の画素G11〜Gmnに与える信号φVPSの電圧値VLの値を全体制御部13が切り換えることによって、被写体の輝度範囲に応じたダイナミックレンジを備えた固体撮像素子2とすることができる。即ち、全体制御部13が信号φVPSの電圧値VLの値を切り換えることで、固体撮像素子2の画素G11〜Gmnにおける線形変換動作から対数変換動作へ切り替わる変極点(輝度値)を設定することができる。尚、撮像時に対数変換動作に変わるときのMOSトランジスタT2のゲート電圧に至るまでにMOSトランジスタT2に流れ込む光電荷量が、全ての画素において等しい。
尚、本構成例では、図5のように構成される画素を備えた固体撮像素子としたが、このような構成に限られるものではなく、線形変換動作と対数変換動作が各画素において自動的に切り換えることが可能なものであれば、特許文献2に示されるような構成の画素などのような他の構成の画素より構成されるものとしても構わない。又、撮像時の信号φVPSの電圧値VLを変更することで線形変換動作と対数変換動作との変極点を変更するものとしたが、リセット時の信号φVPSの電圧値VHを変更することで線形変換動作と対数変換動作との変極点を変更するものとしても構わない。又、光電変換特性が暗時から明時に線形変換特性から対数変換特性に切り替わるものとしているが、暗時から明時に対数変換特性から線形変換特性に切り替わるものとしても構わない。又、光電変換特性が線形変換特性と対数変換特性との間で切り替わるものとしているが、常に線形変換動作を行うとともにそのゲインが切り替わるものとしても構わない。更に、各画素にRGBフィルタを備えるものとしたが、シアン(Cyan)、マゼンタ(Magenta)、イエロー(Yellow)などの他の色フィルタを備えるものとしても構わない。
<FPN補正回路>
図1のように構成される撮像装置におけるFPN補正回路6について、図面を参照して以下に詳細に説明する。図8は、FPN補正回路の内部構成を示すブロック図である。
FPN補正回路6は、図8に示すように、黒基準補正回路5から与えられる均一光照射時のRGB信号及びFPN成分抽出部64で得られたFPN成分が各画素毎に格納される画像メモリ61と、画像メモリ61の書き込み及び読み出し制御を行うメモリ制御部62と、均一光照射時のRGB信号それぞれの平均値を求める平均値演算部63と、均一光を照射したときのRGB信号とその平均値により固体撮像素子2の各画素のFPN成分を抽出するFPN成分抽出部64と、画像メモリ61に格納したFPN成分に基づいて被写体撮像時のRGB信号から各画素のFPN成分を除去するFPN成分除去部65と、黒基準補正回路5から与えられるRGB信号をメモリ制御部62及びFPN成分除去部65のいずれに送出するか選択するためのスイッチSW1と、メモリ制御部62によって読み出された信号を平均値演算部63及びFPN成分抽出部64及びFPN成分除去部65のいずれに送出するか選択するためのスイッチSW2と、を備える。
このようにFPN補正回路6が構成されるとき、固体撮像素子2にnフレーム毎に均一光が照射されてFPN成分がFPN補正回路6で抽出されるときの動作について、図9のフローチャートを参照して説明する。尚、均一光照射時においても、通常の撮像時と同様、固体撮像素子2の各画素G11〜Gmnが図6の状態遷移図に従って動作する。このFPN成分の抽出動作が行われるとき、FPN補正回路6では、まず、黒基準補正回路5から与えられるRGB信号がメモリ制御部62に送出されるように、スイッチSW1の接点を切り換える(STEP1)。次に、RGB信号がメモリ制御部62から平均値演算部63に送出されるように、スイッチSW2の接点を切り換える(STEP2)。
そして、黒基準補正回路5から与えられるRGB信号がスイッチSW1を介してメモリ制御部62に与えられ、各画素毎に画像メモリ61に格納される(STEP3)。又、メモリ制御部62よりRGB信号が平均値演算部63に与えられることによって、RGB信号それぞれの平均値rav,gav,bavが求められるとともに平均値演算部63内に格納される(STEP4)。具体的には、メモリ制御部62に与えられたRGB信号は、画像メモリ61及び平均値演算部63に与えられる。そして、平均値演算部63において、メモリ制御部62より与えられたRGB信号は、それぞれの信号が与えられる毎に加算する。その後、メモリ制御部62により全てのRGB信号が画像メモリ61及び平均値演算部63に与えられたとき、平均値演算部63では、RGB信号それぞれの加算された値が各信号を出力する画素数で除算することで平均値rav,gav,bavが求められて格納される。
よって、色フィルタが画素G11〜G44に対して図2のように設けられているとき、画素G11,G31,G13,G33に対して均一光照射時のR信号rb11,rb31,rb13,rb33が、画素G21,G41,G12,G32,G23,G43,G14,G34に対してG信号gb21,gb41,gb12,gb32,gb23,gb43,gb14,gb34が、画素G22,G42,G24,G44に対してB信号bb22,bb42,bb24,bb44が、それぞれ画像メモリ61に格納される。そして、平均値演算回路63において、R信号の平均値rav=(rb11+rb31+rb13+rb33)/4が、G信号の平均値gav=(gb21+gb41+gb12+gb32+gb23+gb43+gb14+gb34)/8が、B信号の平均値bav=(bb22+bb42+bb24+bb44)/4が求められて格納される。
このように、均一光照射時における各画素のRGB信号を画像メモリ61に格納するとともに、その平均値rav,gav,bavを平均値演算部63に格納すると、メモリ制御部62によって画像メモリ61から読み出されたRGB信号がFPN成分抽出部64に送出されるように、スイッチSW2の接点を切り換える(STEP5)。その後、メモリ制御部62により画像メモリ61からRGB信号が読み出されると、スイッチSW2を介して読み出されたRGB信号がFPN成分抽出部64に与えられ、平均値演算部63から与えられるRGB信号の平均値が減算されて、各画素のFPN成分が抽出される(STEP6)。このように画素毎に抽出されたFPN成分は、メモリ制御部62に与えられた後、メモリ制御部62によって各画素毎に画像メモリ61に格納される。
このとき、FPN成分抽出部64は、図10のように、メモリ制御部62によって画像メモリ61より読み出されたRGB信号それぞれが入力される減算回路64r,64g,64bを備える。そして、この減算回路64r,64g,64bそれぞれに対して平均値演算部63よりRGB信号の平均値rav,gav,bavが入力される。よって、色フィルタが画素G11〜G44に対して図2のように設けられているとき、画素G11,G31,G13,G33におけるR信号rb11,rb31,rb13,rb33がそれぞれ減算回路64rに与えられて、R信号の平均値ravが減算されると、画像メモリ61では、画素G11,G31,G13,G33に対してFPN成分f11=rb11−rav,f31=rb31−rav,f13=rb13−rav,f33=rb33−ravが格納される。
同様に、画素G21,G41,G12,G32,G23,G43,G14,G34におけるG信号gb21,gb41,gb12,gb32,gb23,gb43,gb14,gb34がそれぞれ減算回路64gに与えられて、G信号の平均値gavが減算されると、画像メモリ61では、画素G21,G41,G12,G32,G23,G43,G14,G34に対してFPN成分f21=gb21−gav,f41=gb41−gav,f12=gb12−gav,f32=gb32−gav,f23=gb23−gav,f43=gb43−gav,f14=gb14−gav,f34=gb34−gavが格納される。又、画素G22,G42,G24,G44におけるB信号bb22,bb42,bb24,bb44がそれぞれ減算回路64bに与えられて、B信号の平均値bavが減算されると、画像メモリ61では、画素G22,G42,G24,G44に対してFPN成分f22=bb22−bav,f42=bb42−bav,f24=bb24−bav,f44=bb44−bavが格納される。
このように、均一光照射時のRGB信号それぞれに対してRGB信号それぞれの平均値rav,gav,bavを減算した値をFPN成分として抽出することで、抽出したFPN成分を、均一光照射時に格納された各画素のRGB信号より各色フィルタの透過率によるオフセットを除いた値とすることができる。即ち、図2の例の場合、均一光照射時に黒基準補正回路5より与えられる画素G11〜G44によるRGB信号の値が図11(a)の実線のようになるとき、図11(a)の点線で表されるRGB信号それぞれの平均値rav,gav,bavが減算される。よって、抽出される画素G11〜G44のFPN成分が図11(b)のようになり、各色フィルタの透過率によるオフセットを除いた値とすることができる。
このようにしてFPN成分がFPN成分抽出部64で抽出されて画像メモリ61に格納されると、黒基準補正回路5から与えられるRGB信号がFPN成分除去部65に送出されるように、スイッチSW1の接点を切り換える(STEP7)。次に、メモリ制御部62によって画像メモリ61から読み出されたFPN成分がFPN成分除去部65に送出されるように、スイッチSW2の接点を切り換える(STEP8)。このようにすることで、通常動作時に得られたRGB信号が黒基準補正回路5から与えられるとき、これらのRGB信号は、FPN成分除去部65において各画素毎に画像メモリ61に記憶されているFPN成分が除去される(STEP9)。
このFPN成分除去部65では、図12のように、黒基準補正回路5から与えられるRGB信号がそれぞれ減算回路65r,65g,65bに入力される。そして、黒基準補正回路5からのR信号が入力される減算回路65rでは、そのR信号を出力した画素のFPN成分がメモリ制御部62より与えられて、R信号からFPN成分を減算する。又、黒基準補正回路5からのG信号が入力される減算回路65gでは、そのG信号を出力した画素のFPN成分がメモリ制御部62より与えられて、G信号からFPN成分を減算する。又、黒基準補正回路5からのB信号が入力される減算回路65bでは、そのB信号を出力した画素のFPN成分がメモリ制御部62より与えられて、B信号からFPN成分を減算する。
よって、色フィルタが画素G11〜G44に対して図2のように設けられているとき、画素G11,G31,G13,G33におけるR信号r11,r31,r13,r33がそれぞれ、黒基準補正回路5から減算回路65rに入力されるとき、画像メモリ61より読み出された画素G11,G31,G13,G33におけるFPN成分f11,f31,f13,f33がメモリ制御部62から減算回路65rに与えられる。そして、減算回路65rから、画素G11,G31,G13,G33に対するR信号がそれぞれ、r11−f11、r31−f31、r13−f13、r33−f33となり、FPN補正されてAE・WB評価値検出回路7及びWB制御回路8に出力される。
又、画素G21,G41,G12,G32,G23,G43,G14,G34におけるG信号g21,g41,g12,g32,g23,g43,g14,g34がそれぞれ、黒基準補正回路5から減算回路65gに入力されるとき、画像メモリ61より読み出された画素G21,G41,G12,G32,G23,G43,G14,G34におけるFPN成分f21,f41,f12,f32,f23,f43,f14,f34がメモリ制御部62から減算回路65gに与えられる。そして、減算回路65gから、画素G21,G41,G12,G32,G23,G43,G14,G34に対するG信号がそれぞれ、g21−f21、g41−f41、g12−f12、g32−f32、g23−f23、g43−f43、g14−f14、g34−f34となり、FPN補正されてAE・WB評価値検出回路7及びWB制御回路8に出力される。
又、画素G22,G42,G24,G44におけるB信号b22,b42,b24,b44がそれぞれ、黒基準補正回路5から減算回路65bに入力されるとき、画像メモリ61より読み出された画素G22,G42,G24,G44におけるFPN成分f22,f42,f24,f44がメモリ制御部62から減算回路65bに与えられる。そして、減算回路65bから、画素G22,G42,G24,G44に対するB信号がそれぞれ、b22−f22、b42−f42、b24−f24、b44−f44となり、FPN補正されてAE・WB評価値検出回路7及びWB制御回路8に出力される。
このように、FPN補正回路6のFPN成分除去部65によりFPN補正処理が可能な状態となると、n−1フレーム分の画像に対して通常撮像動作が行われると、再び、固体撮像素子2に均一光がされるとともに、FPN補正回路6の動作状態がSTEP1に移行してFPN成分を抽出するための動作を行う。又、上述のようにFPN補正回路6が動作することによって、FPN補正が施されたRGB信号には、色フィルタの透過率の差によって生じるオフセットが含まれることとなり、色フィルタの透過率の差によって生じるオフセットを含めて除去した場合と比べて、後段のWB制御回路8における演算処理を単純化することができる。
尚、本実施形態において、固体撮像素子を画像信号からノイズ信号を減算することで素子内で画素バラツキを除去するように動作するものとし、FPN補正回路において画像信号内に更に残存するFPN成分を除去するようにしたが、固体撮像素子においてノイズ信号の読み出しを行うことなく、FPN補正回路において画素バラツキなどにより発生するFPN成分全てを除去するようにしても構わない。
は、本発明の撮像装置の構成を示すブロック図である。 は、固体撮像素子に設けられる色フィルタの配列を示す図である。 は、コアリング回路におけるエッジ成分に対するレベル変換特性を示すグラフである。 は、固体撮像素子の全体の構成を説明するためのブロック回路図。 は、図4の固体撮像素子を構成する画素の一構成例を示す回路図である。 は、図5の画素の動作を示すタイミングチャートである。 は、被写体の輝度と画素の出力との関係を示すグラフである。 は、FPN補正回路の構成を説明するためのブロック図である。 は、FPN補正回路の動作を説明するための状態遷移図である。 は、FPN成分抽出部の構成を示す図である。 は、FPN補正回路のFPN成分抽出時の動作を説明するための図である。 は、FPN成分除去部の構成を示す図である。
符号の説明
1 光学系
2 固体撮像素子
3 アンプ
4 AD変換回路
5 黒基準補正回路
6 FPN補正回路
7 AE・WB評価値検出回路
8 WB制御回路
9 色補間回路
10 色補正回路
11 階調変換回路
12 コアリング回路
13 全体制御部
14 絞り制御部
15 タイミング生成回路

Claims (10)

  1. 入射光量に応じた電気信号を発生するとともに複数種類の色フィルタが設けられた画素を備える固体撮像素子を備える撮像装置において、
    前記各画素間の出力バラツキを表す固定パターンノイズ成分を含むノイズ信号が前記固体撮像素子から出力されたとき、当該ノイズ信号より前記固定パターンノイズ成分を抽出するノイズ成分抽出部と、
    前記固定パターンノイズ成分を前記固体撮像素子の各画素毎に格納するメモリと、
    前記固体撮像素子が撮像動作を行うとき、当該撮像時における画像信号と前記メモリに格納した前記固定パターンノイズ成分とが前記各画素毎に与えられ、該画像信号から該固定パターンノイズを除去するノイズ成分除去部と、
    を備え
    前記ノイズ成分抽出部において、前記各画素毎に、前記ノイズ信号から当該画素に設けられた前記色フィルタの透過率により発生するオフセットを減じることによって前記固定パターンノイズ成分を抽出することを特徴とする撮像装置。
  2. 前記色フィルタにより発生するオフセットが、前記色フィルタの種類毎に求められた同一種類の前記色フィルタが設けられた前記画素からのノイズ信号の平均値であることを特徴とする請求項に記載の撮像装置。
  3. 前記固体撮像素子が入射光量に対して線形変換した電気信号を発生することを特徴とする請求項1又は請求項に記載の撮像装置。
  4. 前記固体撮像素子が入射光量に対して対数変換した電気信号を発生することを特徴とする請求項1又は請求項に記載の撮像装置。
  5. 前記固体撮像素子が入射光量に対して電気信号を発生する際に用いる光電変換特性を入射される輝度値に応じて切り換えることを特徴とする請求項1〜請求項のいずれかに記載の撮像装置。
  6. 前記固体撮像素子が入射光量に対して電気信号を発生する際に用いる光電変換特性を入射される輝度値に応じて線形変換特性及び対数変換特性のいずれかに切り換えることを特徴とする請求項1又は請求項に記載の撮像装置。
  7. 前記固体撮像装置に均一光が照射されたときに前記固体撮像装置から出力される画像信号を前記ノイズ信号とすることを特徴とする請求項1〜請求項のいずれかに記載の撮像装置。
  8. 入射光量に応じた電気信号を発生するとともに複数種類の色フィルタが設けられた画素を備える固体撮像素子から出力される画像信号より、前記各画素間の出力バラツキを表す固定パターンノイズ成分を除去する固定パターンノイズ補正処理方法において、
    前記固定パターンノイズ成分を含むノイズ信号が前記固体撮像素子から出力されたとき、当該ノイズ信号より前記固定パターンノイズ成分を抽出する第1ステップと、
    前記固定パターンノイズ成分を前記固体撮像素子の各画素毎に前記固体撮像素子外部のメモリに格納する第2ステップと、
    前記固体撮像素子が撮像動作を行うとき、当該撮像時における画像信号から前記メモリに格納した前記固定パターンノイズを除去する第3ステップと、
    を備え
    前記第1ステップにおいて、前記各画素毎に、前記ノイズ信号から当該画素に設けられた前記色フィルタの透過率により発生するオフセットを減じることによって前記固定パターンノイズ成分を抽出することを特徴とする固定パターンノイズ補正処理方法。
  9. 前記色フィルタにより発生するオフセットが、前記色フィルタの種類毎に求められた同一種類の前記色フィルタが設けられた前記画素からのノイズ信号の平均値であることを特徴とする請求項に記載の固定パターンノイズ補正処理方法。
  10. 前記固体撮像装置に均一光が照射されたときに前記固体撮像装置から出力される画像信号を前記ノイズ信号とすることを特徴とする請求項8又は請求項に記載の固定パターンノイズ補正処理方法。
JP2003306099A 2003-08-29 2003-08-29 撮像装置 Expired - Fee Related JP4320720B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003306099A JP4320720B2 (ja) 2003-08-29 2003-08-29 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003306099A JP4320720B2 (ja) 2003-08-29 2003-08-29 撮像装置

Publications (2)

Publication Number Publication Date
JP2005079766A JP2005079766A (ja) 2005-03-24
JP4320720B2 true JP4320720B2 (ja) 2009-08-26

Family

ID=34409268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003306099A Expired - Fee Related JP4320720B2 (ja) 2003-08-29 2003-08-29 撮像装置

Country Status (1)

Country Link
JP (1) JP4320720B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4678218B2 (ja) * 2005-03-24 2011-04-27 コニカミノルタホールディングス株式会社 撮像装置及び画像処理方法
JP2006332936A (ja) * 2005-05-25 2006-12-07 Konica Minolta Photo Imaging Inc 撮像装置
EP2579574A4 (en) 2010-06-07 2013-12-25 Konica Minolta Advanced Layers IMAGING DEVICE
JPWO2011155135A1 (ja) 2010-06-07 2013-08-01 コニカミノルタ株式会社 撮像装置
JP6896788B2 (ja) * 2019-04-24 2021-06-30 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体

Also Published As

Publication number Publication date
JP2005079766A (ja) 2005-03-24

Similar Documents

Publication Publication Date Title
CN107534761B (zh) 成像装置、成像方法、图像处理装置
US8150201B2 (en) Image processing apparatus, method, and computer program with pixel brightness-change detection and value correction
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
TWI399086B (zh) 包含cmos型影像感測器的固態攝影裝置
US6734905B2 (en) Dynamic range extension for CMOS image sensors
US6181830B1 (en) Image signal correction device
CN114422766B (zh) 一种图像采集设备
JP2002033961A (ja) 固体撮像装置
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
US8675087B2 (en) Image pickup apparatus and control method for correcting data output from pixels of an image pickup element
JP4320720B2 (ja) 撮像装置
JP4725052B2 (ja) 撮像装置
JP4479429B2 (ja) 撮像装置
JP4529563B2 (ja) 偽信号抑制処理方法および偽信号抑制処理回路並びに撮像装置
US7643177B2 (en) System with a random number generator used to remove contouring in CMOS imager data having an extended dynamic range
JP4720130B2 (ja) 撮像装置
JP2005086630A (ja) 撮像装置
JP2004363193A (ja) Cmos型固体撮像素子
JP4103741B2 (ja) 撮像装置
JP2007324998A (ja) 撮像装置
JP2008028634A (ja) 撮像装置
JP2009284010A (ja) 画像処理装置、撮像装置及び画像処理方法
JP4123210B2 (ja) 撮像装置
JP2006180065A (ja) 撮像装置及び撮像方法
JP2006060628A (ja) 固体撮像装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090521

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees