以下、図面に基づき本発明の実施の形態を説明する。
まず、最初に、本発明に係る撮像装置の一例であるデジタルカメラ1について、図1および図2を用いて説明する。
図1は、デジタルカメラ1の外観模式図で、図1(a)は、正面図であり、図1(b)は、背面図である。
図1(a)で、ボディ10の正面には、交換レンズ20が取り付けられている。ボディ10の上面には、撮像のための操作部材であるレリーズボタン101が設置されており、ボディ10の内部でレリーズボタン101の下部には、レリーズボタン101の押し込みの1段目で動作するAFスイッチ101aと、レリーズボタンの押し込みの2段目で動作するレリーズスイッチ101bを構成する2段スイッチが配置されている。また、ボディ10の上部には、フラッシュ102が内蔵され、デジタルカメラ1の動作モードを設定するモード設定ダイアル112が配置されている。
図1(b)で、ボディ10の背面には、デジタルカメラ1の電源をオン/オフするための電源スイッチ111、カメラの各種設定条件を変更する変更ダイアル113、上下左右と中央の5つのスイッチから成り、デジタルカメラ1の各動作モードでの各種設定を行うためのジョグダイアル115、ファインダ接眼レンズ121a、記録された画像や各種情報等を表示するための画像表示部131が配置されている。
図2は、図1に示したデジタルカメラ1の回路の一例を示すブロック図である。図中、図1と同じ部分には同じ番号を付与した。
デジタルカメラ1の制御を行うカメラ制御手段150は、CPU(中央処理装置)151、ワークメモリ152、記憶部153等から構成され、記憶部153に記憶されているプログラムをワークメモリ152に読み出し、当該プログラムに従ってデジタルカメラ1の各部を集中制御する。
また、カメラ制御手段150は、電源スイッチ111、モード設定ダイアル112、変更ダイアル113、ジョグダイアル115、AFスイッチ101a、レリーズスイッチ101b等からの入力を受信し、光学ファインダ121上の測光モジュール122と交信することで測光動作を制御し、AFモジュール144と交信することでAF動作を制御し、ミラー駆動手段143を介してレフレックスミラー141及びサブミラー142を駆動し、シャッタ駆動手段146を介してシャッタ145を制御し、フラッシュ102を制御し、撮像制御手段161と交信することで撮像動作を制御すると共に、撮像された撮像データや各種情報を画像表示手段131に表示し、インファインダ表示手段132に各種情報を表示する。また、カメラ制御手段150は、外部インターフェース(I/F)185を介して、デジタルカメラ1の外部に設けられたパーソナルコンピュータや携帯情報端末と、撮像された画像データやデジタルカメラ1の制御信号等をやり取りする。
さらに、カメラ制御手段150は、ボディ10と交換レンズ20の間の交信を行う、マウント(ボディ側)171上に設けられたBL交信手段(ボディ側)172と、マウント(レンズ側)271上に設けられたBL交信手段(レンズ側)272を介して、交換レンズ20のレンズインターフェース251経由で、レンズ211のフォーカスとズームの制御を行うレンズ制御手段241、絞り221の制御を行う絞り制御手段222、交換レンズ20の固有情報を格納しているレンズ情報記憶手段231と交信を行うことで、交換レンズ20全体を制御する。
交換レンズ20のレンズ211によって結像される画像は、撮像素子162で光電変換された後、アンプ163で増幅され、アナログ/デジタル(A/D)変換手段164でデジタルデータに変換され、画像処理手段165で既定の画像処理を施したデジタル撮像データに変換され、一旦画像メモリ181に記録された後、最終的にはメモリカード182に記録される。これらの動作は、カメラ制御手段150の制御下で、撮像制御手段161によって制御される。撮像制御手段161、アンプ163、A/D変換器164および画像処理部165は、撮像回路160を構成する。
撮像素子162の近傍には、温度センサ166が配置され、温度センサ166とカメラ制御手段150によって、撮像素子162の温度またはデジタルカメラ1内部の温度を検知する。温度センサ166とカメラ制御手段150は、本発明における温度検知手段として機能する。
次に、本発明における撮像素子の第1の実施の形態とその駆動方式、および本発明の課題について、図3乃至図5を用いて説明する。
図3は、撮像素子162を構成する各構成要素の配置の一例を示す模式図である。
撮像素子162は、撮像面162a上に、水平と垂直に配列された複数の画素162bと、垂直走査回路162c、サンプルホールド回路162d、出力回路162e、出力アンプ162g、水平走査回路162f、タイミングジェネレータ(TG)162h等の構成要素を備え、画素162bの各水平行毎の並びと垂直走査回路162cとは行選択線162iで結ばれ、画素162bの各垂直列毎の並びとサンプルホールド回路162dとは垂直信号線162jで結ばれている。
ここでは、サンプルホールド回路162dは、垂直信号線162jの一本につき図示しない2個のキャパシタを備えており、図5で後述する撮像素子162の駆動方式において、一方のキャパシタに画素のノイズ成分を保持し、他方のキャパシタに画素の(信号+ノイズ)成分を保持し、その差分をとる、所謂CDS(相関二重サンプリング)動作を行い、ノイズ除去を行う。
撮像素子162の撮像動作は、撮像制御手段161からの制御に従って、タイミングジェネレータ162hによって制御され、撮像素子162の出力である撮像データ162kは、アンプ163に入力される。
図4は、撮像素子162を構成する画素162bの回路の一例を示す回路図である。
画素162bは、埋め込み型フォトダイオードPD(以後、PD部という)、NチャンネルMOSFET(金属酸化膜半導体電界効果トランジスタ:以下、トランジスタという)Q1乃至Q4から構成されている。トランジスタQ1のドレインとQ2のソースの接続部は、フローティングディフュージョンFD(以後、FD部という)で構成されている。φRSB、φRST、φTX、φVは、各トランジスタに対する信号(電位)を示し、VDDは電源、GNDは接地を示している。
PD部は光電変換手段であり、被写体からの入射光量に応じた光電流IPDを発生し、光電流IPDは、信号電荷QPDとしてPD部の寄生容量CPDに蓄積される。実際には、PD部は、撮像の初期に高電位(φRSB)にリセットされ、リセットによりPD部の寄生容量CPDに蓄積された電荷QPDを、光電流IPDで放電する動作を行う。PD部は埋め込み型構造となっており、光電変換された光電流IPDを直接取り出せないため、転送ゲートと呼ばれるトランジスタQ1(以後、転送ゲートQ1と言う)を介してFD部に接続されている。
転送ゲートQ1のゲート電位φTXが、図5(a)に示すように、中間電位Mに設定されると、転送ゲートQ1のスレショルド電位をVthとすると、PD部の電位VPDが(M−Vth)に達するまでは、PD部の寄生容量CPDの電荷QPDは、光電流IPDにより線形特性で放電され(線形の光電変換特性)、PD部の電位VPDが(M−Vth)以下になると、転送ゲートQ1のサブスレショルド特性により、PD部の電位VPDが光電流IPDを対数圧縮した電位となるように、対数特性で放電される(対数の光電変換特性)。従って、光電流IPDが小さい、すなわち被写体が暗い場合は、線形の光電変換特性、光電流IPDが大きい、すなわち被写体が明るい場合は、対数の光電変換特性となる。
転送ゲートQ1のスレショルド電位Vthは、画素毎にバラつく。つまり、各画素の転送ゲートQ1のゲート電位φTXが中間電位Mに一律に設定されたとしても、PD部の光電変換特性が線形特性から対数特性に切り替わる点、すなわち変曲点が画素毎のスレショルド電位Vthのバラツキによって異なることになり、本発明の課題である変曲点のバラツキが発生する。
トランジスタQ2はリセットゲートと呼ばれ(以後、リセットゲートQ2と言う)、オンすることによってFD部を既定の電位(φRSB)にリセットする。リセットゲートQ2のリセット動作時に、転送ゲートQ1を同時にオンすることで、PD部も同時に既定の電位(φRSB)にリセットすることができる。
トランジスタQ3は、ソースフォロワ増幅回路を構成するものであり、FD部の電位VFDに対する電流増幅を行うことで、出力インピーダンスを下げる働きをする。
トランジスタQ4は、信号読み出し用のトランジスタであり、ゲートは、上述した行選択線162iに接続されており、垂直走査回路162cによって印加される信号φVに応じてオン、オフされるスイッチとして動作する。トランジスタQ4のソースは、垂直信号線162jに接続されており、トランジスタQ4がオンされると、FD部の電位VFDがトランジスタQ3で低インピーダンス化されて、画素出力VOUTとして、垂直信号線162jへ導出される。
図5は、撮像素子の駆動方式のひとつであるグローバルリセット方式の動作を示すタイミングチャートであり、図5(a)は、全画素同時に行われる撮像動作のタイミングチャート、図5(b)は、水平各行毎に順次行われる撮像データとノイズデータの垂直転送および水平転送の動作のタイミングチャートである。グローバルリセット方式では、撮像素子の露光量制御は、絞り221とシャッタ145で行われる。
図5(a)で、Vブランク期間に、シャッタ145が閉じられた状態で、φRSBが既定の電位(VRSBH)に設定され、タイミングT1でφRSTが高電位にされることでリセットゲートQ2がオンされ、FD部の電位VFDがVRSBHにリセット(初期化)される。タイミングT1に包含されるタイミングT2で、φTXが高電位にされることで転送ゲートQ1がオンされ、PD部の寄生容量CPDがVRSBHにリセットされる。これによって、PD部とFD部が共にリセットされる。タイミングT2の最後でφTXが中間電位Mに設定されることで、PD部はリニアログ特性での撮像が可能な状態となる。
タイミングT3の初めでシャッタ145が開かれて、被写体からの光がPD部で光電変換されて、寄生容量CPDの電荷QPDが放電開始され、タイミングT3の終わりでシャッタ145が閉じられるまで動作が継続される。以上が全画素同時に行われる撮像動作である。
図5(b)で、Hブランク期間に、タイミングT4で水平n行目のφRST(φRSTn)が高電位にされることで、水平n行目の全画素162bのリセットゲートQ2がオンされ、水平n行目のφRSB(φRSBn)が既定の電位(VRSBH)に設定されることで、FD部の電位VFDが再度VRSBHにリセットされる。この時、FD部の電位VFDにはリセット動作に伴うリセットノイズVFDnoiseが残ることがある。
タイミングT5で水平n行目の行選択線162iの電位φV(φVn)が高電位にされることでトランジスタQ4がオンされ、FD部の電位VFD(ここではリセットノイズVFDnoise)が画素162bの画素出力VOUTとして垂直信号線162jに導出され、水平n行目の全画素の画素出力VOUTが、水平n行目のリセットノイズデータNOISEnとしてサンプルホールド回路162dの一方のキャパシタに保持される。
タイミングT6で、水平n行目のφTX(φTXn)が高電位にされることで、転送ゲートQ1がオンされて、PD部の寄生容量CPDの電荷QPDがFD部に完全転送される。この時、FD部にはリセットノイズVFDnoiseが残ったままであるので、FD部の電位VFDは、信号電荷QPDによる信号出力VFDsignalにリセットノイズVFDnoiseが重畳されたものとなる。
タイミングT7で、タイミングT5と同様に水平n行目の行選択線162iの電位φV(φVn)が高電位にされることでトランジスタQ4がオンされ、FD部の電位VFD(ここではVFDsignal+VFDnoise)が画素162bの画素出力VOUTとして垂直信号線162jに導出され、水平n行目の全画素の画素出力VOUTが、(SIGNALn+NOISEn)信号としてサンプルホールド回路162dの他方のキャパシタに保持され、前述した水平n行目のリセットノイズデータNOISEnとの差分がとられて(所謂CDS:相関二重サンプリング)、ノイズ成分の除去された画像信号成分SIGNALnが生成され、水平転送信号φHに従って、出力回路162e、出力アンプ162gを介して撮像データ162k(SIGNALn)としてアンプ163に出力される。
以上に述べたように、グローバルリセット方式では、リセットノイズが完全に除去されるために、高画質の画像が得られるという特長がある。
次に、本発明における変曲点バラツキの補正方法について、図6を用いて説明する。図6は変曲点バラツキの補正方法を示す図で、図6(a)は補正方法を示す光電変換特性の模式図、図6(b)は、図6(a)の変曲点901dと903d周辺の拡大図で、変曲点の算出方法を示す模式図である。図16と同じ部分には同じ番号を付与した。なお、図6においては、本発明の課題で示した図16との対比のために、撮像面照度Lが大きくなると光電変換出力VPも大きくなるように示してあるが、図4および図5に示した例では、撮像面照度Lが大きくなると光電変換出力VPは小さくなる。この場合は、図6の縦軸を上下逆転して考えればよい。
まず、図6(a)で、基準特性901に対して変曲点903dのズレた光電変換特性903を考えたときに、基準特性901の線形特性部分901aの内、変曲点903dよりも撮像面照度Lが暗い部分については、基準特性901も光電変換特性903も共に同一特性であるので、この部分については補正を行わない。基準特性901の対数特性部分901cと、光電変換特性903の対数特性部分の内、撮像面照度がLmよりも大きい部分については、図16で説明したと同様に、図の縦軸方向に平行移動(以後、オフセットと言う)905を行って、対数特性903cの撮像面照度がLmよりも大きい部分を特性901cに合わせこむ。
光電変換特性901が線形特性で光電変換特性903が対数特性の部分(撮像面照度がLmとLnの間の部分)901bと903bについては、特性903bに対数から線形への特性変換906を施すことで、特性903bを特性901bに合わせこむ。基準特性901の変曲点901dは、基準変曲点として、基準特性901の測定値から与えられるので、光電変換特性903の変曲点903dが分かれば、特性903bを特性901bに特性変換することができる。
基準特性901は、特定の画素(例えば、画面中心の画素)の光電変換特性であってもよいし、撮像素子162の全画素の平均値、最大値、最小値であってもよいし、仮想の画素の光電変換特性であってもよい。本実施の形態では、図8で後述するオフセットの演算を簡単にするために、全画素中の最大の変曲点を持つ画素の光電変換特性を、基準特性901とする。
次に、光電変換特性903の変曲点903dの算出方法を、図6(b)を用いて説明する。
基準特性901は、線形特性領域および対数特性領域が各々、
VP=a・L ・・・(式1)
VP=c・ln(L)+d ・・・(式2)
と表され、a、c、dは、基準特性901の測定値から与えられる定数である。また、光電変換特性903の対数特性領域は、
VP=c・ln(L)+f
と表すことができる。ここで、光電変換特性903の変曲点903dの光電変換出力Vthnと、オフセット905の大きさ(以後、オフセット値Vosと言う)との関係を導く。
まず、変曲点901dの光電変換出力Vthm、変曲点903dの光電変換出力Vthnおよびオフセット値Vosは、
Vthm=c・ln(Lm)+d=a・Lm ・・・(式3)
Vthn=c・ln(Ln)+f=a・Ln ・・・(式4)
Vos=Vthm−(c・ln(Lm)+f)=d−f ・・・(式5)
となり、(式4)から、
c・ln(Ln)+d−Vos=a・Ln ・・・(式6)
となる(a、c、dは定数)。(式6)にオフセット値Vosを与えて、それを満足するLnを求めることで、オフセット値Vosと変曲点903dの光電変換出力Vthnの関係を一義的に決定することができる。つまり、オフセット値Vosが分かれば、変曲点903dの光電変換出力Vthnが一義的に分かることになる。そして、変曲点903dの光電変換出力Vthnが分かれば、対数特性の光電変換特性903bを線形特性の光電変換特性901bに特性変換することができる。
通常は、(式6)から導かれるオフセット値Vosと光電変換出力Vthnを、ルックアップテーブル(以後、LUTと言う)の形にして記憶し、LUTにオフセット値Vosを与えて光電変換出力Vthnを得ることで、演算時間の短縮と記憶容量の削減を行うことが一般的である。このLUTのイメージを、図15(a)に、図8で後述する変曲点変換器803として示す。
次に、オフセット値Vosの求め方の一例を、図7を用いて説明する。図7は、オフセット値Vosの求め方の一例を説明する図で、図7(a)はオフセット調整方法を示す模式図、図7(b)はオフセット値Vosの求め方を示す光電変換特性の模式図である。図1、図2および図6と同じ部分には同じ番号を付与した。
図7(a)で、例えばデジタルカメラ1の工場出荷時等に、レフレックスミラー141とサブミラー142をミラーアップし、シャッタ145を開放にしたままで、光源ボックス701を用い、撮像素子基板155上に設置された撮像素子162の撮像面162aに均一な光が入射するように、光源ボックス701および光源面703を設定し、撮像素子162の撮像面162a上の照度が、全画素の光電変換特性が対数特性となるような撮像面照度Lxとなるように、光源面703の明るさを設定して撮像を行う。
上記撮像時の、ある画素の光電変換出力VPを撮像データとして読み出し(例えば、図7(b)のVP3)、基準特性のVP(例えば、図7(b)のVP1)と比較することで、オフセット905のオフセット値Vos(=VP1−VP3)を求めることができる。これを全画素について行うことで、全画素のオフセット値Vosを知ることができ、ある画素のオフセット値Vosから、上述した(式6)により、ある画素の変曲点の光電変換出力Vthnを算出、あるいはLUTから参照することができる。
これらの一連の動作は、カメラ制御手段150、撮像回路160によって、あるいは、必要に応じて、デジタルカメラ1の外部のパーソナルコンピュータPC等によって演算、制御される。カメラ制御手段150、撮像回路160およびパーソナルコンピュータPCは、本発明における補正データ生成手段として機能する。
続いて、図6に示した変曲点バラツキの補正方法を具現化する補正手段について、図8を用いて説明する。図8は、変曲点バラツキ補正手段の一例を示す図で、図8(a)は変曲点バラツキ補正手段の一例を示す回路ブロック図、図8(b)は比較器805の動作を示すフローチャートである。
変曲点バラツキ補正手段800は、例えば画像処理手段165内に設けられ、オフセット値メモリ801、変曲点変換器803、比較器805、加算器807、特性変換器809、選択器811で構成される。
オフセット値メモリ801は、本発明における補正データ記憶手段として機能し、図7に示した方法等で求めた撮像素子162の全画素のオフセット値Vosを記憶して、変曲点変換器803および加算器807にオフセット値813を出力する。変曲点変換器803は、図6の説明で述べたLUTからなり、(式6)から導かれるオフセット値Vosと変曲点出力Vthnのテーブルが格納されており、オフセット値メモリ801から出力されるオフセット値813に基づき、比較器805に変曲点出力815を出力する。変曲点変換器803のイメージを、図15(a)に示す。
比較器805は、撮像素子162のある画素の撮像データ817と、変曲点変換器803から出力される、ある画素の変曲点出力815とを比較して、選択部811に比較出力819を出力する。比較出力819は、以下の3通りのケースの何れかである。
ケース(1) ある画素の撮像データ817が、基準特性の変曲点出力Vthmからオフセット値Vosを引いた値(Vthm−Vos)よりも大きいかあるいは等しい。
ケース(2) ある画素の撮像データ817が、基準特性の変曲点出力Vthmからオフセット値Vosを引いた値(Vthm−Vos)よりも小さく、ある画素の変曲点出力Vthnよりも大きい。
ケース(3) ある画素の撮像データ817が、ある画素の変曲点出力Vthnよりも小さいかあるいは等しい。
上述した比較器の動作を、図8(b)のフローチャートを用いて説明する。ステップS11で、撮像データ817が基準特性の変曲点出力Vthmからオフセット値Vosを引いた値(Vthm−Vos)よりも大きいかあるいは等しいか否かが確認される。大きいかあるいは等しい場合は(ステップS11;YES)、ステップS12で比較出力819にケース(1)を示す信号が出力され、比較動作を終了する。撮像データ817が基準特性の変曲点出力Vthmからオフセット値Vosを引いた値(Vthm−Vos)よりも小さい場合は(ステップS11;NO)、ステップS21で、撮像データ817が、ある画素の変曲点出力Vthnよりも小さいかあるいは等しいか否かが確認される。小さいかあるいは等しい場合(ステップS21;YES)、ステップS31で比較出力819にケース(3)を示す信号が出力され、比較動作を終了する。撮像データ817が、ある画素の変曲点出力Vthnよりも大きい場合は(ステップS21;NO)、ステップS22で比較出力819にケース(3)を示す信号が出力され、比較動作を終了する。
加算器807は、ある画素の撮像データ817に、オフセット値メモリ801から出力される、ある画素のオフセット値813を加算して、選択器811に、オフセット補正出力821を出力する。本発明における特性変換手段として機能する特性変換器809は、LUTで構成されており、図6(b)で示したように、対数特性903bを線形特性901bに変換するテーブルを持ち、ある画素の撮像データ817に特性変換を施して、選択器811に特性変換出力823を出力する。特性変換器809のイメージを、図15(b)に示す。さらに、ある画素の撮像データ817は、選択器811にも入力されている。
選択器811には、オフセット補正出力821、特性変換出力823および撮像データ817の3つの信号が入力され、上述した比較器805の比較出力819の3通りの場合分けに応じて、比較出力819がケース(1)の場合はオフセット補正出力821、比較出力819がケース(2)の場合は特性変換出力823、比較出力819がケース(3)の場合は撮像データ817そのまま、が選択されて、変曲点バラツキ補正出力825として出力される。変曲点変換器803、比較器805および選択器811は、本発明における補正方法決定手段として機能する。
以上に述べた変曲点バラツキ補正手段800によって、図6(a)で説明したように、ある画素の光電変換特性を、基準特性との関係で3つの領域に分けて、領域毎に最適な方法で変曲点のバラツキを補正することが可能となる。
本実施の形態では、全画素中の最大の変曲点を持つ画素の光電変換特性を基準特性としたが、例えば最小の変曲点を持つ画素の光電変換特性を基準特性とした場合には、オフセット値メモリ801に記憶されるオフセット値Vosが全て負の値になり、特性変換器809は線形特性を対数特性に変換するLUTとなり、比較器805の比較出力819の大小関係は全て逆転する。また、例えば全画素の変曲点の平均値を基準特性とした場合には、オフセット値メモリ801に記憶されるオフセット値Vosは正または負の値になり、特性変換器809は線形特性を対数特性に、あるいは対数特性を線形特性に変換するLUTとなり、比較器805の比較出力819についても、基準特性の変曲点と、ある画素の変曲点の大小関係により上述した2通りの場合に分かれるが、基本的な考え方は、本実施の形態と全く同じである。
次に、変曲点バラツキ補正手段の他の実施の形態について、図9、図10および図11を用いて説明する。図9(a)、(b)、図10(a)、(b)および図11(a)は、変曲点バラツキ補正手段の他の例を示す回路ブロック図であり、図11(b)は図11(a)の説明のための光電変換特性の模式図である。図中、図8および図9、図10、図11内の同じ部分には同じ番号を付与した。
図9(a)の変曲点バラツキ補正手段830は、図8の変曲点変換器803の代わりに、全画素の変曲点出力を記憶する変曲点メモリ831を設け、各画素の変曲点出力833を比較器805に出力するものである。その他は図8と同じである。オフセット値メモリ801から出力されるオフセット値813に基づいて、変曲点変換器803から各画素の変曲点出力を取り出す必要がないため、高速処理に向くが、図8の変曲点変換器803に比べると、メモリ831の容量が増大する。
図9(b)の変曲点バラツキ補正手段840は、図8の変曲点変換器803の代わりに、乗算器845と加算器849を設け、オフセット値813に係数843を乗算し、その値847を基準特性の変曲点出力に加算することで、ある画素の変曲点を近似的に演算するものである。その他は図8と同じである。この場合の係数は、各オフセット値に応じた係数が望ましいが、各係数の平均値であってもよい。係数に応じて近似の精度が変わるが、変曲点変換器803(LUT)が不要になるメリットがある。
図10(a)の変曲点バラツキ補正手段860は、図9(a)のオフセット値メモリ801の代わりに、LUTで構成され、変曲点出力Vthnに応じたオフセット値Vosのテーブルを持つオフセット値テーブル861を設け、変曲点メモリ831からの各画素の変曲点出力833に応じたオフセット値863を、オフセット値テーブル861から出力するものである。その他は図8と同じである。オフセット値を記憶するメモリの容量を削減することができる。
図10(b)の変曲点バラツキ補正手段870は、図9(a)のオフセット値メモリ801の代わりに、減算器873と乗算器877を設け、変曲点メモリ831からの各画素の変曲点出力833と、基準特性の変曲点出力841の差分875に所定の係数871を乗算して、ある画素のオフセット値879を近似的に演算するものである。その他は図8と同じである。この場合の係数は、各オフセット値に応じた係数が望ましいが、各係数の平均値であってもよい。係数に応じて近似の精度が変わるが、メモリ801が不要になるメリットがある。
図9、および図10に示した各例においても、図8の例と同様に、図6(a)で説明した、ある画素の光電変換特性を、基準特性との関係で3つの領域に分けて、領域毎に最適な方法で変曲点のバラツキを補正することが可能となる。
図11(a)の変曲点バラツキ補正手段880は、変曲点バラツキ量があまり大きくない場合等に用いられるものである。その考え方は、図11(b)に示すように、基準特性901から最大の変曲点バラツキ量を持つ光電変換特性919までの間を、例えば変曲点バラツキ補正の許容幅ずつ等間隔に離れた複数の光電変換特性(本例の場合は、913、915、917と919の4通り)に分け、撮像素子162の各画素の光電変換特性を、これら4通りの光電変換特性と基準特性の、合わせて5通りの内の何れかのパターンに分類して、特性変換パターン情報として特性変換パターンメモリ881に記憶する。
一方、これら4通りの光電変換特性(913から919)を基準特性901に合わせ込む特性変換器として、4つのLUTを用意し、それぞれ、913特性変換器883、915特性変換器885、917特性変換器887、919特性変換器889とする。これら4つの特性変換器にはそれぞれ撮像データ817を入力し、それぞれの特性変換出力(893、895、897、899)を選択器811に入力する。選択器811は、各画素毎に、これら4つの特性変換器の特性変換出力(893、895、897、899)と撮像データ817そのものとを、メモリ881に記憶された特性変換パターン情報に従って切り換えて、変曲点バラツキ補正出力825として出力する。
図11に示した方法では、補正の精度は確保しつつ、図8に比べて、加算器や比較器といった演算器が不要となるために処理が簡単で高速処理に適し、コストも低減できる。
次に、本発明における撮像素子の第2の実施の形態について、図12を用いて説明する。図12は、本発明における撮像素子162の第2の実施の形態の光電変換特性を示す模式図である。
本例の撮像素子162は、可変蓄積時間型撮像素子、あるいは可変蓄積容量型撮像素子と呼ばれるもので、所謂、適応型撮像素子(以後、適応型センサと呼ぶ)の一例である。適応型センサの光電変換特性は、低照度側、高照度側ともに線形特性(第1および第2の線形特性)であるが、線形の傾きが異なる特性となっており、変曲点を有する。変曲点は、全画素同一となるように制御されるが、画素毎に設けられている蓄積電荷を検出する部分のバラツキにより、変曲点のバラツキが生じる。
ここでは、リニアログセンサの場合と同様に、全画素中で最大の変曲点を持つ画素の光電変換特性1201を基準特性とし、変曲点の異なる画素の光電変換特性1203を基準特性1201に合わせ込む。合わせ込み方法としては、図6(a)と同様に、光電変換特性1203の光電変換出力VPの状態により、以下の3通りの場合分けに従って変曲点バラツキ補正を行う。
(a) VPが、基準特性1201の変曲点1201dの変曲点出力Vthmからオフセット値Vosを引いた値(Vthm−Vos)よりも大きい場合は、光電変換出力VPにオフセットVosを加算する(1207)。
(b) VPが、基準特性1201の変曲点1201dの変曲点出力Vthmからオフセット値Vosを引いた値(Vthm−Vos)よりも小さく、光電変換特性1203の変曲点1203dの変曲点出力Vthnよりも大きい場合は、Vthnを基点に、線形特性1203bの傾きを変換して、線形特性1201bに合わせ込む(1205)。
(c) VPが、光電変換特性1203の変曲点1203dの変曲点出力Vthnよりも小さい場合は、線形特性1201aそのままとする。
次に、変曲点バラツキの温度によるズレを補正する方法について、図13、図14を用いて説明する。変曲点は、画素毎にバラつくだけでなく、主として、画素を構成するトランジスタやキャパシタの特性の温度依存性により、温度特性を持つ。これを補正する必要がある。図13は、図8に示した変曲点バラツキ補正手段800に、温度によるズレを補正する手段を追加した例を示す回路ブロック図であり、図14は、温度補正用の補正データを得る方法の一例を示す模式図である。図中、図2、図7および図8と同じ部分には同じ番号を付与した。
まず、図13の変曲点バラツキ補正手段1300で、温度センサ166は、撮像素子162の近傍に置かれ、撮像素子162の温度、あるいはデジタルカメラ1内部の撮像素子162近傍の温度を検知する。温度センサ166とカメラ制御手段150からなる温度検知手段1305は、温度信号1303を出力する。図8のオフセット値メモリ801に相当するオフセット値メモリ1301は、図14で後述するような方法で得た複数の温度での撮像素子162の全画素のオフセット値Vosを記憶しており、温度信号1303に従い、適切な温度でのオフセット値Vosを選択してオフセット出力813を出力する。温度に対するオフセット値を細かく設定したい場合は、記憶する温度の数を増やすか、各温度でのオフセット値Vos間の補間計算で中間の温度のオフセット値を計算するのが望ましい。オフセット値メモリ1301は、本発明における補正データ変更手段としても機能する。
変曲点変換器1313は、図8の変曲点変換器803に相当し、LUTからなり、図6で説明したような方法により求まる複数の温度でのオフセット値Vosと変曲点出力Vthnのテーブルを記憶しており、温度信号1303に従って適切なテーブルを選択して、温度補正されたオフセット値813に従って変曲点出力815を出力する。これによって、変曲点出力815にも温度補正が施されたことになり、比較器805の比較出力819にも温度補正が施されたことになる。また、加算器807にも、温度補正されたオフセット値813が入力されることで、オフセット補正出力821にも温度補正が施される。
一方、図8の特性変換器809に相当する特性変換器1309は、LUTからなり、メモリ1301と同様に、図14で後述するような方法で得た複数の温度での撮像素子162の全画素の光電変換特性の特性変換のテーブルを記憶しており、温度信号1303に従い、適切なテーブルを選択して特性変換された特性変換出力823を出力する。これによって、特性変換出力823に温度補正が施されたことになる。特性変換器1309は、本発明における特性変換補正手段としても機能する。その他の回路動作は、図8と同じであるので、説明は省略する。
よって、選択器811では、ある温度での撮像データ817、温度補正されたオフセット補正出力821、温度補正された特性変換出力823の何れかの出力が、温度補正された比較出力819に基づいて選択され、変曲点バラツキ補正出力825として出力されることになり、変曲点バラツキの温度特性が補正されたことになる。
図14は、温度補正用の補正データを得る方法の一例を示す模式図である。上述したように、変曲点バラツキの温度特性は、主として、画素を構成するトランジスタやキャパシタの特性の温度依存性により発生するので、理論的に温度係数として算出することも考えられるが、ここでは、実際に撮像素子162の温度を変化させて、その時の撮像素子162の出力からある温度下でのオフセット値Vosと特性変換器のLUTを得る方法について説明する。
パッケージ162xに収められた撮像素子162と、撮像素子162の近傍に置かれ、撮像素子162の温度を検知する温度センサ166、内部にオフセット値メモリ1301と特性変換器1309の領域を持つ画像処理手段165等は、撮像素子基板155上に実装されており、撮像素子基板155には、撮像素子162の裏面に相当する位置に穴155aが開けられている。
温度特性検知装置1400は、上部に配置された光源ボックス1421、光源面1423、投影レンズ1425等からなる光源ユニット1420と、下部に配置された、金属等からなる冷却板1411と放熱板1415に挟まれたペルチエ素子等の冷却素子1413と、冷却素子1413を駆動する電源1417等からなる冷却ユニット1410と、外部に設置されたパーソナルコンピュータPC等の制御装置で構成されている。
周知のように、ペルチエ素子等の冷却素子は、一方向に電流を流すと、片面が冷却され、反対面が加熱される。電流の向きを逆にすると、冷却と加熱の面が逆になる。そこで、撮像素子基板155の穴155aを、冷却板1411の上部に差し込み、冷却素子1413を駆動して冷却あるいは加熱することで、撮像素子162は、冷却素子1413によって冷却あるいは加熱されることになる。
光源ボックス1421を点灯して、光源面1423の輝度を投影レンズ1425を介して撮像素子162の撮像面162aに投影し、冷却素子1413によって冷却あるいは加熱された撮像素子162の温度を温度センサ166で検知し、その温度と、その時の撮像素子162の撮像データとを、例えば外部のPC等によって演算することで、ある温度下でのオフセット値Vosと特性変換器のテーブルを得、さらに図6で説明した方法により変曲点変換器1313のLUTを生成し、その値を画像処理手段165内のオフセット値メモリ1301と特性変換器1309と変曲点変換器1313に書き込むことで、温度補正用の補正データを得ることができる。光源の明るさは、図7(a)の説明で述べたように、少なくとも全画素が対数特性となる明るさが必要であるが、それ以外にも何点かの異なった明るさが用意されることが望ましい。
この方法によれば、実際に撮像素子162の温度を変化させて、その温度下での撮像データを用いて温度補正データを算出するため、正確な温度特性が反映された補正データを得ることが可能となる。
本例では、撮像素子162の温度を変化させるために、冷却素子1413を用いることとしたが、それに限るものではなく、例えば、撮像素子162上の消費電流の多い部分(例えば、電源部や出力部等)を連続通電して、消費電力により撮像素子162の温度を変化させてもよい。
また、撮像素子162の温度を検知するために、撮像素子162外に温度センサ166を設けることとしたが、これに限るものではなく、撮像素子162上に温度検知回路を設けてもよいし、撮像素子162の撮像データの、明るさの異なる複数の対数特性部分の傾きの変化から、撮像素子162の温度を算出してもよい。これは、対数特性が理論的に、VP=kT/q・ln(IPD)(ここに、kはボルツマン定数、Tは絶対温度、qは電子の電荷素量、VPは光電変換出力、IPDはPD部による光電流)の特性を持っているため、明るさの異なる対数特性部の撮像データから温度Tが算出できるからである。
以上に述べたように、本発明によれば、基準となる光電変換特性の変曲点と、補正データとを基に、画素の撮像データに補正データを用いた補正を施すか否か、および、画素の撮像データに特性変換手段を用いた特性変換を施すか否かを決定し、それに基づき適切な方法で変曲点のバラツキを補正することで、高画質化に寄与する撮像装置を提供することができる。また、変曲点バラツキの温度特性についても、同様の方法で補正をすることができ、高画質化に寄与する撮像装置を提供することができる。
尚、本発明に係る撮像装置を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。