JP5640316B2

JP5640316B2 - 撮像装置

Info

Publication number: JP5640316B2
Application number: JP2009041198A
Authority: JP
Inventors: 雅人武石
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-02-24
Filing date: 2009-02-24
Publication date: 2014-12-17
Anticipated expiration: 2029-02-24
Also published as: JP2010199867A

Description

本発明は、撮像装置のオフセット性カラムＦＰＮの補正技術に関する。

近年、固体撮像素子を用いたビデオカメラや電子カメラなどの撮像装置が広く一般に普及している。固体撮像素子は、受ける光を電気信号に変換する光電変換部を有する画素が２次元（行方向（ロー），列方向（カラム））に複数配置されている。各画素が出力する電気信号は、カラム毎に設けられた読み出し回路を通して行単位で固体撮像素子から外部に読み出される。

ところが、カラム間（列間）の回路素子などのばらつきなどによって、カラム間の読み出し信号にオフセット成分が生じる。この結果、撮影画像のカラム方向に縦縞状の固定ノイズ（オフセット性カラムＦＰＮ（Ｆixed Ｐattern Ｎoise））が現れるという問題がある。

そこで、このようなオフセット性カラムＦＰＮを除去するために、固体撮像素子からダーク信号を読み出してオフセット性カラムＦＰＮデータを抽出し、これをオフセット性カラムＦＰＮ補正データとして画像信号の読み出し時に行毎に画像信号から減算してカラム間のオフセット成分を除去する処理が行われている（例えば、特許文献１参照）。

ところが、撮像素子からダーク信号を読み出す際のランダムノイズがオフセット性カラムＦＰＮデータに混入するという問題がある。そこで、ランダムノイズを除去するために複数行のオフセット性カラムＦＰＮデータを平均化することが考えられるが、多くの行数を読み出すと時間がかかり、連写速度の低下やレリーズボタンの押下時点と画像の取り込み時点との時間差（レリーズタイムラグ）が大きくなるという問題が生じる。このため、撮像装置の製造時などに予めオフセット性カラムＦＰＮ補正データを取得してメモリに記憶しておき、この固定のオフセット性カラムＦＰＮ補正データを撮影毎に使用する方式が使われていた。ところが、撮像装置の使用時の温度変化や、経時的な固体撮像素子の特性の変化などに対応することができないという問題があった。

本発明の目的は、撮像装置の使用時の温度変化や、経時的な素子特性の変化などに対応できる撮像装置を提供することである。

本発明に係る撮像装置は、被写体から入射した光量に応じて光電変換部で生成される第１画像信号及び被写体からの光が入射しない状態で前記光電変換部に蓄積された電荷をリセットした時に読み出されるダーク信号のいずれも出力する第１画素と、前記第１画素とは異なる位置に配置され、被写体から入射した光量に応じて光電変換部で生成される第２画像信号を出力する第２画素と、を有する撮像素子と、前記第１画素から出力された前記第１画像信号と前記第２画素から出力された前記第２画像信号とを補正して固定パターンノイズを除去するための第１ノイズ補正データが記憶されているノイズ補正データ記憶部と、前記第１画素から出力された前記第１画像信号と前記第２画素から出力された前記第２画像信号とに対して前記第１ノイズ補正データを用いて補正するノイズ補正部と、前記ノイズ補正部により前記第１画素から出力された前記第１画像信号と前記第２画素から出力された前記第２画像信号とに対して前記ノイズ補正データ記憶部に記憶されている前記第１ノイズ補正データを用いて補正した後に前記第１画素から出力された前記ダーク信号に基づいてノイズデータを抽出し、前記第１画素から前記ダーク信号が出力された後に前記第１画素から出力される、被写体から入射した光量に応じて光電変換部で生成される第３画像信号と前記第１画素から前記ダーク信号が出力された後に前記第２画素から出力される、被写体から入射した光量に応じて光電変換部で生成される第４画像信号とを補正して固定パターンノイズを除去するための第２ノイズ補正データを生成するノイズ補正データ生成部と、前記第１ノイズ補正データと前記第２ノイズ補正データとを所定の加重平均比率で加重平均したノイズ補正データを前記ノイズ補正データ記憶部に記憶して第１ノイズ補正データを更新するノイズ補正データ更新部と、を備えることを特徴とする。

また、より好ましくは、前記第１ノイズ補正データの初期値は、前記撮像装置の製造時に生成したノイズ補正データであることを特徴とする。

また、より好ましくは、前記ノイズ補正データ生成部は、複数の前記第１画素から出力された前記ダーク信号の平均値を前記第２ノイズ補正データとして抽出することを特徴とする。

また、より好ましくは、前記ノイズ補正データ生成部が前記第２ノイズ補正データの抽出時近傍期間の前記撮像装置の温度を測定する温度測定部を更に設け、前記ノイズ補正データ記憶部に、予め設定した複数の温度範囲毎に第１ノイズ補正データを記憶しておき、前記ノイズ補正データ更新部は、前記温度範囲毎に、前記第２ノイズ補正データと前記第１ノイズ補正データとを所定の加重平均比率で加重平均した値を、ノイズ補正データとして前記ノイズ補正データ記憶部に記憶して第１ノイズ補正データとして更新することを特徴とする。

また、より好ましくは、前記ノイズ補正データ更新部は、前記温度範囲毎に前記加重平均比率を変えることを特徴とする。

本発明によれば、オフセット性カラムＦＰＮデータを適宜更新することにより、撮像装置の使用時の温度変化や、経時的な素子特性の変化などに対応することができる。

第１の実施形態の撮像装置１０１のブロック図である。オフセット性カラムＦＰＮの補正方法を示す説明図である。オフセット性カラムＦＰＮデータの抽出方法を示す説明図である。オフセット性カラムＦＰＮデータの変化例を示す説明図である。オフセット性カラムＦＰＮデータの変化による問題点を示す説明図である。撮像装置１０１の撮影処理を示すフローチャートである。撮像装置１０１の撮影時の処理の流れを示す説明図である。ＦＰＮ補正データメモリ１０８の記憶内容を示す説明図である。ＦＰＮ補正データ更新部１０８の加重平均方法を示す説明図である。第１の実施形態の変形例の撮影処理を示すフローチャートである。第１の実施形態の変形例の撮影時の処理の流れを示す説明図である。第２の実施形態の撮像装置１０１ａのブロック図である。ＦＰＮ補正データメモリ１０８ａの記憶内容を示す説明図である。温度範囲別の加重平均の係数例を示す説明図である。

以下、本発明に係る撮像装置の各実施形態について、図面を用いて詳しく説明する。

（第１の実施形態）
図１は、第１の実施形態に係る撮像装置１０１のブロック図である。図１において、撮像装置１０１は、撮像素子１０２と、アンプ１０３と、Ａ／Ｄ変換部１０４と、ＦＰＮ補正部１０５と、ＦＰＮ補正データ生成部１０６と、ＦＰＮ補正データ更新部１０７と、ＦＰＮ補正データメモリ１０８と、画像処理部１０９と、メモリカード１１０と、制御部１１１と、操作部材１１２とで構成される。尚、本実施形態に係る撮像装置１０１において、ＦＰＮ補正処理に関するブロックは、ＦＰＮ補正部１０５，ＦＰＮ補正データ生成部１０６，ＦＰＮ補正データ更新部１０７およびＦＰＮ補正データメモリ１０８の４つのブロックで、ＦＰＮ補正部１０５より後段のブロックは、一般的なデジタルスチルカメラやビデオカメラなどと同様の処理を行うブロックである。例えば、図１の場合、画像処理部１０９は、ＦＰＮ補正部１０５が出力するＦＰＮ補正後の画像データに対して、ガンマ補正や色補正あるいは画像圧縮などの画像処理を施して、メモリカード１１０に保存する。また、制御部１１１は、操作部材１１２に含まれる電源釦やレリーズ釦などの操作に応じて、撮像装置１０１の各部の動作を制御する。

撮像素子１０２は、ＣＭＯＳ型固体撮像素子など一般的な撮像素子で構成され、複数の画素が行方向および列方向に２次元マトリクス状に配置されている。各画素は、入射する光を電荷として蓄積する光電変換部や、光電変換部に蓄積された電荷をリセットするリセットトランジスタなどで構成されている。撮像素子１０２から行単位で読み出されるアナログ信号は、アンプ１０３で所定レベルになるように増幅され、Ａ／Ｄ変換部１０４に出力される。

Ａ／Ｄ変換部１０４は、アンプ１０３から出力されるアナログ信号をデジタルデータに変換し、ＦＰＮ補正部１０５とＦＰＮ補正データ生成部１０６とに出力する。尚、アンプ１０３およびＡ／Ｄ変換部１０４は、撮像素子１０２に内蔵しても構わない。

ここで、撮像素子１０２からアンプ１０３およびＡ／Ｄ変換部１０４を介して出力される信号について詳しく説明する。撮像素子１０２から読み出される信号には２つの種類がある。第１は、撮像素子１０２に光が入射しない状態で、光電変換部に蓄積された電荷をリセットした時に読み出すダーク信号である。第２は、被写体から入射した光量に応じて光電変換部で電気信号に変換された画像信号である。尚、オフセット性カラムＦＰＮデータは、ダーク信号を読み出すことにより得られる。また、ダーク信号は１画面分を読み出す必要はなく、複数行の読み出しだけでも構わない。

次に、オフセット性カラムＦＰＮについて説明する。図２は、オフセット性カラムＦＰＮによる縦筋２０２〜２０５が発生した補正前の画像２０１の様子と、ある撮影時のＦＰＮの特性を示すＦＰＮデータ２５１と、ＦＰＮ補正データメモリ１０８に製造時に記憶されているデフォルトのＦＰＮ補正データ２５２の一例を描いた説明図である。尚、ＦＰＮデータ２５１やＦＰＮ補正データ２５２は行方向の信号レベルの変化を示しており、実際にはマイクロボルトオーダーの変化であるが図面では強調して描いてある。

図２の補正前の画像２０１の撮影時のＦＰＮデータ２５１において、行方向の信号レベルの変化は、ゆっくりと変化するシェーディング２０８ａと、スパイク状ＦＰＮ２０２ａ〜２０５ａとがある。このようなシェーディング２０８ａやスパイク状ＦＰＮ２０２ａ〜２０５ａは、撮像素子１０２の製造時における列（カラム）間の素子特性のばらつきなどにより行方向に生じる固有のノイズ（オフセット性カラムＦＰＮ）である。特に、これらのオフセット性カラムＦＰＮは、ダーク信号の読み出し時だけでなく、画像信号の読み出し時にもシェーディング２０８ａやスパイク状ＦＰＮ２０２ａ〜２０５ａがＦＰＮデータ２５１と同じ位置に同じ信号レベルで発生する。

例えば、図２に示すように、シェーディング２０８ａの場合は、画像２０１の中央部分が白く、両端にかけて段々と黒くなる。また、レベルの高いスパイク状ＦＰＮ２０２ａ〜２０５ａの場合は、画像２０１に縦筋ノイズとなって現れる。特に図２の場合、スパイク状ＦＰＮ２０２ａと２０４ａは、信号レベルが高い方に出ているので、画像２０１には白い縦筋２０２，２０４となって現れ、固定パターンノイズ２０３ａと２０５ａは、信号レベルが低い方に出ているので、画像２０１には黒い縦筋２０３，２０５となって現れる。以降、特に明記しない限り、シェーディング２０８ａやスパイク状ＦＰＮ２０２ａ〜２０５ａをまとめてオフセット性カラムＦＰＮと称する。

次に、オフセット性カラムＦＰＮの補正方法について説明する。オフセット性カラムＦＰＮの補正は、撮影時の画像信号に含まれる図２のＦＰＮデータ２５１を除去する処理である。ここで、撮像素子１０２のＦＰＮ特性が製造時から変化していないとすると、ＦＰＮ補正データメモリ１０８に製造時に記憶されているデフォルトのＦＰＮ補正データ２５２と撮影時の画像信号に含まれるＦＰＮデータ２５１の特性は一致する。例えば、図２において、ＦＰＮデータ２５１のシェーディング２０８ａやスパイク状ＦＰＮ２０２ａ〜２０５ａの位置やレベルは、デフォルトのＦＰＮ補正データ２５２のシェーディング２０８ｂやスパイク状ＦＰＮ２０２ｂ〜２０５ｂの位置やレベルと一致する。そこで、図１のＦＰＮ補正部１０５は、ＦＰＮデータ２５１の特性のオフセット性カラムＦＰＮを含む画像信号からＦＰＮ補正データ２５２を行毎に減算することによって、オフセット性カラムＦＰＮを除去した画像２０１ｂを得ることができる。

ここで、ＦＰＮ補正データメモリ１０８に製造時に記憶されているデフォルトのＦＰＮ補正データ２５２について説明する。ＦＰＮデータは行毎にダーク信号を読み出すことによって得られるので、行によって様々なランダムノイズが含まれている。そこで、ＦＰＮデータを得るために複数行のＦＰＮデータを平均する処理を行っている。この様子を図３に示す。図３は、撮像素子１０２の（ｎ）行目（ｎは自然数）から（ｎ＋ｋ）行目（ｋは自然数）までのｋ行分を平均する例を描いたものである。図３において、（ｎ）行目のＦＰＮデータにはランダムノイズ３０１，３０２が含まれており、（ｎ＋１）行目のＦＰＮデータにはランダムノイズ３０３，３０４が含まれている。同様に、（ｎ＋２）行目のＦＰＮデータにはランダムノイズ３０５，３０６が含まれており、（ｎ＋ｋ）行目のＦＰＮデータにはランダムノイズ３０７，３０８が含まれている。これらのランダムノイズ３０１から３０８は位置が異なるため、これらのｋ行分のＦＰＮデータを平均化したＦＰＮデータ３５１でランダムノイズの影響が無視できる程度に小さくなり、撮像素子１０２固有のオフセット性カラムＦＰＮの特性を精度良く抽出することができる。特に、製造時にＦＰＮ補正データメモリ１０８に記憶されているデフォルトのＦＰＮ補正データ２５２は、精度を高めるために全行のダーク信号を読み出して平均化したものである。

ところが、撮像装置１０１の使用時の温度変化や、経時的な撮像素子１０１の素子特性の変化などが生じると、ＦＰＮ補正データメモリ１０８に記憶されている製造時に抽出したデフォルトのＦＰＮ補正データ２５２とは異なるオフセット性カラムＦＰＮの特性を示すようになる。例えば、図４（ａ）を図２に示したデフォルトのＦＰＮ補正データ２５２とした場合、温度変化や経時変化によって、図４（ｂ）に示すように、スパイク状ＦＰＮ２０２ｂがスパイク状ＦＰＮ３０９のように位置がずれたり、新たなスパイク状ＦＰＮ３１０が発生する。また、図４（ｃ）に示すように、スパイク状ＦＰＮ２０２ｂがスパイク状ＦＰＮ３１１のように同じ位置だがレベルが小さくなったり、逆にスパイク状ＦＰＮ２０３ｂがスパイク状ＦＰＮ３１２のように同じ位置だがレベルが大きくなったりする。或いは、図４（ｄ）に示すように、スパイク状ＦＰＮだけでなくシェーディング２０８ｂの形状がシェーディング３１３のように変化することもある。このような温度変化や経時変化によって撮像素子１０２のオフセット性カラムＦＰＮの特性が変化した場合は、図２で示したような製造時にＦＰＮ補正データメモリ１０８に記憶されているデフォルトのＦＰＮ補正データ２５２では完全に補正することができない。例えば、図５に示すように、温度変化や経時変化によって生じたスパイク状ＦＰＮ２０６ａ，２０７ａを含む撮影時のＦＰＮデータ２５３からデフォルトのＦＰＮ補正データ２５２を減算しても、スパイク状ＦＰＮ２０６ａ，２０７ａは除去されず、補正後の画像２０１ｃに縦筋２０６や縦筋２０７が現れてしまうという問題が生じる。尚、図５において、図２と同じ符号のものは同じものを示す。

そこで、本実施形態に係る撮像装置１０１は、温度変化や経時変化によってオフセット性カラムＦＰＮの特性が変化した場合でも補正できるように、適宜、ＦＰＮ補正データを更新するようになっている。

次に、本実施形態に係る撮像装置１０１の撮影時の処理について、図６のフローチャートを用いて詳しく説明する。尚、図６のフローチャートは、図１の制御部１１１に予め記憶されたプログラムに従って動作する。

（ステップＳ１０１）撮像装置１０１の電源が投入され、操作部材１１２のレリーズ釦を押下すれば撮影できる状態にある。

（ステップＳ１０２）撮影者が操作部材１１２のレリーズ釦を押下したか否かを判別する。レリーズ釦が押下された場合はステップＳ１０３に進み、レリーズ釦が押下されていない場合はステップＳ１０２でレリーズ釦が押下されるまで待つ。

（ステップＳ１０３）ＦＰＮ補正データ更新処理を行うサブルーチンである。本サブルーチンは、ステップＳ１５１からステップＳ１５４までの４つの処理ステップで構成される。本サブルーチンでは、撮像素子１０２からダーク信号を読み出してＦＰＮ補正データメモリ１０８に記憶されているＦＰＮ補正データを更新する。

ここで、ステップＳ１５１からステップＳ１５４までのＦＰＮ補正データ更新処理を行うサブルーチンについて説明する。

（ステップＳ１５１）レリーズ釦が押下されると、ＦＰＮ補正データ生成部１０６は、撮像素子１０２からダーク信号を読み出す。この時、先に図３で説明したように、複数行のＦＰＮデータを読み出して平均を求め、これを新ＦＰＮデータとする。尚、本実施形態では、図７（ａ）に示すように、ランダムノイズの除去と処理の高速化を実現するために６４行の平均を求めることとするが、図７（ｂ）に示すように、例えば２５６行の平均を求めるようにしても構わない。但し、処理時間が長くなるため、撮像装置１０１に搭載しているＣＰＵの処理能力に応じてできるだけ多くの行を平均化するのが好ましい。

（ステップＳ１５２）ＦＰＮ補正データ更新部１０７は、ＦＰＮ補正データメモリ１０８に記憶されている現在のＦＰＮ補正データを読み出す。

ここで、ＦＰＮ補正データメモリ１０８に記憶されている補正データについて説明する。図８は、ＦＰＮ補正データメモリ１０８の記憶内容を示した図である。図８において、ＦＰＮ補正データメモリ１０８には、デフォルトのＦＰＮ補正データ記憶領域４０１と、新規抽出のＦＰＮデータ記憶領域４０２と、現在のＦＰＮ補正データ記憶領域４０３の３つの記憶領域がある。撮像装置１０１の工場出荷時には、デフォルトのＦＰＮ補正データ記憶領域４０１と、現在のＦＰＮ補正データ記憶領域４０３には製造時に測定された同じＦＰＮ補正データが記憶されている。ここで、図１のＦＰＮ補正部１０５が画像信号のオフセット性カラムＦＰＮを補正する際に参照するのは、現在のＦＰＮ補正データ記憶領域４０３に記憶されているＦＰＮ補正データである。

（ステップＳ１５３）ＦＰＮ補正データ更新部１０７は、ステップＳ１５２で読み出した現在のＦＰＮ補正データと、ステップＳ１５１でＦＰＮ補正データ生成部１０６が求めた新ＦＰＮデータとを用いて更新ＦＰＮ補正データを求める。

ここで、図９を用いて、更新ＦＰＮ補正データの算出方法について説明する。図９は、ステップＳ１５２で読み出した現在のＦＰＮ補正データ４５１と、ステップＳ１５１でＦＰＮ補正データ生成部１０６が求めた新ＦＰＮデータ４５２とを用いて更新ＦＰＮ補正データ４５３を求める様子を描いたものである。図９において、更新ＦＰＮ補正データ４５３を求める際に、現在のＦＰＮ補正データ４５１に係数ａを掛け、さらに新ＦＰＮデータ４５２に係数ｂを掛けてこれらの和を求め、その和を更新ＦＰＮ補正データ４５３とする。つまり、現在のＦＰＮ補正データ４５１と新ＦＰＮデータ４５２との加重平均を求める。尚、係数ａおよび係数ｂは加重平均比率を示し、ａ＋ｂ＝１の関係を有する。例えば、係数ａ＝０．９および係数ｂ＝０．１とすることにより、現在のＦＰＮ補正データ４５１の影響が大きくなる。そして、新ＦＰＮデータ４５２が継続して発生する場合は、回が増える毎に徐々に現在のＦＰＮ補正データに反映されていく。例えば、図９において、新ＦＰＮデータ４５２に新たに出現したノイズ３１４は、更新ＦＰＮ補正データ４５３にノイズ３１５として係数ｂ＝０．１の割合で反映される。このようにして、一時的なノイズによって急激に更新ＦＰＮ補正データ４５３が変化しないようにする。

（ステップＳ１５４）ＦＰＮ補正データ更新部１０７は、ステップＳ１５３で求めた更新ＦＰＮ補正データをＦＰＮ補正データメモリ１０８の現在のＦＰＮ補正データ記憶領域４０３に記憶する。

このようにして、図８に示したＦＰＮ補正データメモリ１０８内の現在のＦＰＮ補正データを適宜更新することができる。尚、ＦＰＮ補正データメモリ１０８において、製造時に測定されたデフォルトのＦＰＮ補正データは、デフォルトのＦＰＮ補正データ記憶領域４０１に記憶されたまま保持されるので、撮像装置１０１を修理する場合や撮像装置１０１のリセット釦が押下された場合に、デフォルトのＦＰＮ補正データ記憶領域４０１に記憶されたデフォルトのＦＰＮ補正データを現在のＦＰＮ補正データ記憶領域４０３に記憶し直すことによって、工場出荷時の状態に戻すことが可能である。

以上がステップＳ１５１からステップＳ１５４までのサブルーチンで行うＦＰＮ補正データ更新処理である。このようにして、図６のステップＳ１０３では、ＦＰＮ補正データメモリ１０８に記憶されている現在のＦＰＮ補正データを更新した後、ステップＳ１０４に進む。

（ステップＳ１０４）制御部１１１は、撮像処理を行う。撮像処理は、図７（ａ）で説明したように、撮像素子１０２で所定時間の露光を行う処理である。

（ステップＳ１０５）ステップＳ１０４で露光後、撮像素子１０２の全行（全画面）の画像信号をアンプ１０３およびＡ／Ｄ変換部１０４を介してＦＰＮ補正部１０５に読み出す処理である。

（ステップＳ１０６）ＦＰＮ補正部１０５は、ＦＰＮ補正データメモリ１０８のＦＰＮ補正データ記憶領域４０３に記憶されている現在のＦＰＮ補正データを読み出し、ステップＳ１０５で読み出した画像信号から現在のＦＰＮ補正データを行単位で減算する処理を行う。そして、ＦＰＮ補正後の画像データは画像処理部１０９に出力される。

（ステップＳ１０７）画像処理部１０９は、ガンマ補正や色補正処理あるいは画像圧縮処理などの画像処理を行う。

（ステップＳ１０８）制御部１１１は、画像処理部１０９で処理された画像データを撮影画像としてメモリカード１１０に保存する。

（ステップＳ１０９）制御部１１１は、一連の撮影処理を終了する。

このように、本実施形態に係る撮像装置１０１は、オフセット性カラムＦＰＮの補正データを適宜更新することにより、撮像装置１０１の使用時の温度変化や経時的な素子特性の変化などで製造時に測定されたデフォルトのＦＰＮ補正データとは異なるオフセット性カラムＦＰＮの特性になったとしても、ＦＰＮ補正部１０５が使用する現在のＦＰＮ補正データを更新するので、撮像装置１０１の使用時の温度変化や、経時的な素子特性の変化などに柔軟に対応することができる。

特に、本実施形態では、ＦＰＮ補正データ更新部１０７が現在のＦＰＮ補正データを更新する際に、新たなＦＰＮデータと現在のＦＰＮ補正データとを所定の比率で加重平均を行うので、一時的な特性の変化による影響を少なくすることができる。

さらに、図７で説明したように、新たなＦＰＮデータを抽出する際に平均化する行数を少なくすることができるので、処理時間を短くすることができ、連続した撮影の場合でもＦＰＮ補正データの更新処理を行うことができる。

（第１の実施形態の変形例）
次に、第１の実施形態に係る撮像装置１０１の変形例について説明する。本変形例は、図１に示した撮像装置１０１の構成自体は変わらず、処理手順が少し異なる。本変形例では、先に説明した図６のフローチャートの代わりに図１０に示したフローチャートに従って処理する。尚、図１０のフローチャートにおいて、図６と同じ符号の処理ステップは図６と同じ処理を行う。図６のフローチャートと大きく異なる点は、ステップＳ１０３のＦＰＮ補正データ更新処理を行うサブルーチンの位置である。図６のフローチャートでは、ステップＳ１０３のＦＰＮ補正データ更新処理を行うサブルーチンは、ステップＳ１０２でレリーズ釦が押下された直後に行っていたが、図１０のフローチャートでは、ステップＳ１０３のＦＰＮ補正データ更新処理を行うサブルーチンは、ステップＳ１０７の画像処理と並列に行うようになっている。

本変形例での処理順序を図１１に示す。図１１は先に説明した図７に相当する図である。図１１において、レリーズ釦が押下されると直ぐに撮像素子１０２で所定時間の露光を行う。所定時間の露光を行った後、撮像素子１０２の全行（全画面）の画像信号をアンプ１０３およびＡ／Ｄ変換部１０４を介してＦＰＮ補正部１０５に読み出す。そして、ＦＰＮ補正部１０５は、読み出した画像信号からＦＰＮ補正データメモリ１０８に記憶されている現在のＦＰＮ補正データを行単位で減算する処理を行う。ＦＰＮ補正後の画像データは、画像処理部１０９に出力される。尚、この時使用される現在のＦＰＮ補正データは、今回の撮影で更新されたＦＰＮ補正データではなく、前回の撮影時に更新されたＦＰＮ補正データである。以上が図１０のステップＳ１０６までの処理である。

次のステップＳ１０７で画像処理を行う際に、平行してステップＳ１０３のＦＰＮ補正データ更新処理を行うサブルーチンを実行する。この様子は、図１１に示すように、画像処理部１０９で画像処理を行いながら、ＦＰＮ補正データ更新処理を行うサブルーチンでは撮像素子１０２から６４行分のダーク信号を読み出して、ＦＰＮ補正データメモリ１０８に記憶されている現在のＦＰＮ補正データの更新処理を行う。尚、連写撮影などでレリーズ釦が押下され続けている場合は、現在のＦＰＮ補正データの更新処理後に次の撮影の露光を行う（図１０のステップＳ２０１の処理）。このような撮影処理を繰り返した後、メモリカード１１０に撮影画像を保存する。尚、連写時の撮影画像は一時的に画像処理部１０９のバッファに記憶しておいて、撮影後に一括してメモリカード１１０に保存するようにしても構わないし、１枚撮影する毎に逐次メモリカード１１０に記憶するようにしても構わない。この場合は、図１０のフローチャートにおいて、ステップＳ１０８はステップＳ２０１の前に配置される。

このように、第１の実施形態の変形例に係る撮像装置１０１は、オフセット性カラムＦＰＮの補正データを撮影後に更新することにより、連写撮影などに対応することができる。特に、画像処理部１０９が画像処理を行っている間に、ＦＰＮ補正データの更新処理を行うので、ＦＰＮ補正データの更新処理に伴う時間の影響を無くし、従来通りの高速撮影を行いながらＦＰＮ補正データの更新処理を行うことができる。この結果、撮像装置１０１の使用時の温度変化や経時的な素子特性の変化などで製造時に測定されたデフォルトのＦＰＮ補正データとは異なるオフセット性カラムＦＰＮの特性になった場合でも柔軟に対応することができる。

尚、本変形例においても、第１の実施形態と同様に、ＦＰＮ補正データ更新部１０７が現在のＦＰＮ補正データを更新する際に、新たなＦＰＮデータと現在のＦＰＮ補正データとを所定の係数を用いた加重平均を行っても構わない。

（第２の実施形態）
次に、第２の実施形態に係る撮像装置１０１ａについて図１２を用いて説明する。図１２に示した撮像装置１０１ａのブロック図において、第１の実施形態の図１に示した撮像装置１０１と同符号のブロックは同じものを示す。図１と異なるのは、温度センサ１１３が新たに設けられていることと、ＦＰＮ補正データ更新部１０７と動作が少し異なるＦＰＮ補正データ更新部１０７ａと、ＦＰＮ補正データメモリ１０８と記憶内容が少し異なるＦＰＮ補正データメモリ１０８ａとが設けられていることである。

尚、本実施形態に係る撮像装置１０１ａにおいて、ＦＰＮ補正処理に関するブロックは、ＦＰＮ補正部１０５，ＦＰＮ補正データ生成部１０６，ＦＰＮ補正データ更新部１０７ａおよびＦＰＮ補正データメモリ１０８ａの４つのブロックで、ＦＰＮ補正部１０５より後段のブロックは、一般的なデジタルスチルカメラやビデオカメラなどと同様の処理を行うブロックである。

本実施形態に係る撮像装置１０１ａは、ＦＰＮ補正データを温度範囲別にＦＰＮ補正データメモリ１０８ａに記憶しておき、撮像装置１０１ａの撮影時の温度応じて使用するＦＰＮ補正データを選択するようになっている。このため、撮像装置１０１ａのオフセット性カラムＦＰＮの特性が温度依存性を有している場合でも最適なＦＰＮ補正を行うことができる。

例えば、１０℃と２５℃と４０℃の温度を中心とする３つの温度範囲に分けてＦＰＮ補正データをＦＰＮ補正データメモリ１０８ａに記憶する。この様子を図１３に示す。図１３は、第１の実施形態の図８に対応する図でＦＰＮ補正データメモリ１０８ａの記憶内容を示している。図１３において、ＦＰＮ補正データメモリ１０８ａには、デフォルトのＦＰＮ補正データ記憶領域４０１と新規抽出のＦＰＮデータ記憶領域４０２は図８のＦＰＮ補正データメモリ１０８と同じである。図８と異なるのは、現在のＦＰＮ補正データ記憶領域４０３の代わりに、１５℃以下の現在のＦＰＮ補正データ記憶領域４０４と、２５℃を中心とする１５℃から３５℃までの現在のＦＰＮ補正データ記憶領域４０５と、３５℃以上の現在のＦＰＮ補正データ記憶領域４０６の３つの記憶領域が設けられていることである。

ここで、撮像装置１０１ａの工場出荷時には、デフォルトのＦＰＮ補正データ記憶領域４０１と、１５℃以下の現在のＦＰＮ補正データ記憶領域４０４と、１５℃から３５℃までの現在のＦＰＮ補正データ記憶領域４０５と、３５℃以上の現在のＦＰＮ補正データ記憶領域４０６とには製造時に測定された同じＦＰＮ補正データが記憶されている。尚、デフォルトのＦＰＮ補正データ記憶領域４０１は、工場出荷時に例えば２５℃などの所定の温度で測定されたＦＰＮ補正データである。

また、本実施形態に係る撮像装置１０１ａの撮影時の処理は、第１の実施形態で説明した図６のフローチャートと基本的には同じである。但し、図６のフローチャートにおいて、ステップＳ１０３のＦＰＮ補正データ更新処理を行うサブルーチンの処理が少し異なる。例えば、ＦＰＮ補正データ更新処理のサブルーチンＳ１０３のステップＳ１５２において、ＦＰＮ補正データ更新部１０７がＦＰＮ補正データメモリ１０８ａに記憶されている現在のＦＰＮ補正データを読み出す前に、温度センサ１１３から温度を読み取る。そして、温度センサ１１３から読み取った温度に応じた現在のＦＰＮ補正データをＦＰＮ補正データメモリ１０８ａから読み出す。例えば、先に説明した図１３において、温度センサ１１３から読み取った温度が５℃の場合は１５℃以下の現在のＦＰＮ補正データ記憶領域４０４に記憶されているＦＰＮ補正データを読み出す。同様に、温度センサ１１３から読み取った温度が１８℃や３０℃の場合は１５℃から３５℃までの現在のＦＰＮ補正データ記憶領域４０５に記憶されているＦＰＮ補正データを読み出し、温度センサ１１３から読み取った温度が４０℃の場合は３５℃以上の現在のＦＰＮ補正データ記憶領域４０６に記憶されているＦＰＮ補正データを読み出す。

ＦＰＮ補正データ更新処理のサブルーチンＳ１０３内のステップＳ１５２以外の処理は、図６のフローチャートと全く同じである。

このように、本実施形態に係る撮像装置１０１ａは、オフセット性カラムＦＰＮの補正データを適宜更新することにより、撮像装置１０１ａの使用時の温度変化や経時的な素子特性の変化などで製造時に測定されたデフォルトのＦＰＮ補正データとは異なるオフセット性カラムＦＰＮの特性になったとしても、ＦＰＮ補正部１０５が使用する現在のＦＰＮ補正データを更新するので、撮像装置１０１ａの使用時の温度変化や経時的な素子特性の変化などに柔軟に対応することができる。

特に、本実施形態では、ＦＰＮ補正データ更新部１０７が現在のＦＰＮ補正データを更新する際に、温度センサ１１３から読み取った温度に応じてＦＰＮ補正データを選択するので、撮像装置１０１ａのオフセット性カラムＦＰＮの特性が温度依存性を有している場合でも最適なＦＰＮ補正を行うことができる。

（第２の実施形態の変形例）
次に、第２の実施形態に係る撮像装置１０１ａの変形例について説明する。本変形例は、図１２に示した撮像装置１０１ａの構成自体は変わらず、撮影時の処理は、第２の実施形態で説明した図６のフローチャートと基本的には同じである。但し、図６のフローチャートにおいて、ステップＳ１０３のＦＰＮ補正データ更新処理を行うサブルーチンのステップＳ１５３の処理が少し異なる。

ステップＳ１５３の処理において、ＦＰＮ補正データ更新部１０７は、ステップＳ１５２で読み出した温度範囲別の現在のＦＰＮ補正データと、ステップＳ１５１でＦＰＮ補正データ生成部１０６が求めた新ＦＰＮデータとを用いて更新ＦＰＮ補正データを求める。

ここで、第１の実施形態の図９で説明したように、更新ＦＰＮ補正データ４５３を求める際に、現在のＦＰＮ補正データ４５１に係数ａを掛け、新ＦＰＮデータ４５２に係数ｂを掛けてその和を求め、これを更新ＦＰＮ補正データ４５３とする。本実施形態の変形例では、現在のＦＰＮ補正データ４５１と新ＦＰＮデータ４５２との加重平均を求め際の係数ａおよび係数ｂを先に温度センサ１１３で測定した温度に応じて変えるようになっている。例えば、図１４に示すように、１５℃以下の場合は係数ａ＝０．８０、係数ｂ＝０．２０とし、１５℃から３５℃までの場合は係数ａ＝０．９０、係数ｂ＝０．１０とし、３５℃以上の場合は係数ａ＝０．９５、係数ｂ＝０．０５とする。

つまり、ステップＳ１５３の処理において、ＦＰＮ補正データ更新部１０７は、ステップＳ１５２で読み出した温度範囲別の現在のＦＰＮ補正データと、ステップＳ１５１でＦＰＮ補正データ生成部１０６が求めた新ＦＰＮデータとを加重平均して更新ＦＰＮ補正データを求める前に、温度センサ１１３から温度を読み取る。そして、温度センサ１１３から読み取った温度に応じた加重平均の係数ａおよび係数ｂを選択して、ステップＳ１５２で読み出した温度範囲別の現在のＦＰＮ補正データと、ステップＳ１５１でＦＰＮ補正データ生成部１０６が求めた新ＦＰＮデータとを加重平均して更新ＦＰＮ補正データを求める。尚、図１４に示した温度範囲毎の加重平均の係数ａおよび係数ｂは、ＦＰＮ補正データメモリ１０８ａなどに製造時に記憶しておくものとする。また、図１４は加重平均の係数ａおよび係数ｂの一例を示したもので、この数値である必要はない。但し、一般に、温度が高くなるほど素子特性の変動が大きくなるので、ＦＰＮ補正データの更新度合いが少なくなるように、温度が高いほど加重平均の係数ｂを小さくするのが好ましい。

このように、第２の実施形態の変形例に係る撮像装置１０１ａは、第２の実施形態の効果に加えて、現在のＦＰＮ補正データ４５１と新ＦＰＮデータ４５２との加重平均を求める際の係数ａおよび係数ｂを温度センサ１１３で測定した温度に応じて変えるので、撮像装置１０１ａの使用時の温度変化により一層柔軟に対応することができる。

尚、本実施形態では、加重平均の係数ａおよび係数ｂを１５℃以下と、１５℃から３５℃までと、３５℃以上との３つの温度範囲に分けたが、３つである必要はなく、複数の温度範囲毎に加重平均の係数ａおよび係数ｂを選択できるようになっていればよい。また、温度範囲の温度についても、１５℃と３５℃で分ける必要はなく、１０℃や４０℃で分けても構わない。

以上、各実施形態で説明してきたように、本発明に係る撮像装置は、オフセット性カラムＦＰＮデータを適宜更新することにより、撮像装置の使用時の温度変化や、経時的な素子特性の変化などに柔軟に対応することができる。

１０１，１０１ａ・・・撮像装置１０２・・・撮像素子
１０３・・・アンプ１０４・・・Ａ／Ｄ変換部
１０５・・・ＦＰＮ補正部１０６・・・ＦＰＮ補正データ算出部
１０７，１０７ａ・・・ＦＰＮ補正データ更新部
１０８，１０８ａ・・・ＦＰＮ補正データメモリ
１０９・・・画像処理部１１０・・・メモリカード
１１１・・・制御部１１２・・・操作部材
１１３・・・温度センサ

特開２００６−２８７３７８号公報

Claims

被写体から入射した光量に応じて光電変換部で生成される第１画像信号及び被写体からの光が入射しない状態で前記光電変換部に蓄積された電荷をリセットした時に読み出されるダーク信号のいずれも出力する第１画素と、前記第１画素とは異なる位置に配置され、被写体から入射した光量に応じて光電変換部で生成される第２画像信号を出力する第２画素と、を有する撮像素子と、
前記第１画素から出力された前記第１画像信号と前記第２画素から出力された前記第２画像信号とを補正して固定パターンノイズを除去するための第１ノイズ補正データが記憶されているノイズ補正データ記憶部と、
前記第１画素から出力された前記第１画像信号と前記第２画素から出力された前記第２画像信号とに対して前記第１ノイズ補正データを用いて補正するノイズ補正部と、
前記ノイズ補正部により前記第１画素から出力された前記第１画像信号と前記第２画素から出力された前記第２画像信号とに対して前記ノイズ補正データ記憶部に記憶されている前記第１ノイズ補正データを用いて補正した後に前記第１画素から出力された前記ダーク信号に基づいてノイズデータを抽出し、前記第１画素から前記ダーク信号が出力された後に前記第１画素から出力される、被写体から入射した光量に応じて光電変換部で生成される第３画像信号と前記第１画素から前記ダーク信号が出力された後に前記第２画素から出力される、被写体から入射した光量に応じて光電変換部で生成される第４画像信号とを補正して固定パターンノイズを除去するための第２ノイズ補正データを生成するノイズ補正データ生成部と、
前記第１ノイズ補正データと前記第２ノイズ補正データとを所定の加重平均比率で加重平均したノイズ補正データを前記ノイズ補正データ記憶部に記憶して第１ノイズ補正データを更新するノイズ補正データ更新部と、
を備えることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記第１ノイズ補正データの初期値は、前記撮像装置の製造時に生成したノイズ補正データであることを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、
前記ノイズ補正データ生成部は、複数の前記第１画素から出力された前記ダーク信号の平均値を前記第２ノイズ補正データとして抽出する
ことを特徴とする撮像装置。
請求項１から３のいずれか一項に記載の撮像装置において、
前記ノイズ補正データ生成部が前記第２ノイズ補正データの抽出時近傍期間の前記撮像装置の温度を測定する温度測定部を更に設け、
前記ノイズ補正データ記憶部に、予め設定した複数の温度範囲毎に第１ノイズ補正データを記憶しておき、
前記ノイズ補正データ更新部は、前記温度範囲毎に、前記第２ノイズ補正データと前記第１ノイズ補正データとを所定の加重平均比率で加重平均した値を、ノイズ補正データとして前記ノイズ補正データ記憶部に記憶して第１ノイズ補正データとして更新する
ことを特徴とする撮像装置。
請求項４に記載の撮像装置において、
前記ノイズ補正データ更新部は、前記温度範囲毎に前記加重平均比率を変える
ことを特徴とする撮像装置。