JP5523065B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関し、特に、撮像装置及びその制御方法において縦線ノイズを除去する技術に関する。

従来、各読み出しフィールド毎に不要電荷を掃き出す、高速掃き出しを行うＣＣＤイメージセンサでは、図１１（ａ）に示すように、画面の上下でレベルが異なった縦線ノイズが発生することがある。

このようなＣＣＤイメージセンサで発生する縦線ノイズを除去する撮像装置および方法として、特許文献１に記載の技術が知られている。特許文献１には、露光完了後に、受光素子から転送部に電荷を転送しないで読み出しを行って得られた画像データ（図１１（ｂ））をメモリに記憶する。その後、受光素子から転送部に電荷を転送して読み出しを行って得られた画像データから減算することで、縦線ノイズを除去することが開示されている（図１１（ｃ））。

特開２００７‐２７８６４号公報

しかし、特許文献１の方法では縦線ノイズを補正することはできるが、全画素に対して減算処理を行うため、本来処理が不要な画素についても減算処理を行うために、Ｓ／Ｎ比を悪化させてしまう。

本発明は上記問題点を鑑みてなされたものであり、画質を劣化させることなく縦線ノイズを低減することを目的とする。

上記目的を達成するために、本発明の撮像装置は、被写体の光学像の光電変換を行って画像信号に変換する、２次元に配列された複数の画素と、該複数の画素からの画像信号を垂直方向に転送する垂直転送部と、該垂直転送部により垂直方向に転送された画像信号を水平方向に転送する水平転送部とを含む撮像素子と、前記画像信号に対する縦線ノイズ補正処理を行う縦線ノイズ補正手段と、前記画像信号に対する黒引き処理を行う黒引き処理手段と、前記撮像素子における暗電流の大きさを予測するための情報を取得し、取得した情報に基づいて、前記縦線ノイズ補正処理および前記黒引き処理のいずれか、または前記縦線ノイズ補正処理および前記黒引き処理のいずれも行わない通常読み出し処理を選択し、前記縦線ノイズ補正処理を選択した場合に、前記縦線ノイズ補正手段が前記縦線ノイズ補正処理を行うことにより画像の縦線ノイズを補正し、前記黒引き処理を選択した場合に、前記黒引き処理手段が前記黒引き処理を行うことにより画像の縦線ノイズ及び固定パターンノイズを補正するように制御する制御手段と、を有し、前記制御手段は、前記縦線ノイズ補正手段が前記画像信号に対する前記縦線ノイズ補正処理を行う場合に前記垂直転送部の高速掃き出しを行う回数が、前記黒引き処理手段が前記画像信号に対する前記黒引き処理を行う場合よりも少なくなるように制御する。

本発明によれば、画質を劣化させることなく縦線ノイズを低減することができる。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図。 本発明の撮像装置に用いられる撮像素子（ＣＣＤ）の構造の一例を示す図。 第１の実施形態における補正選択テーブルを示す図。 第１の実施形態の画像信号の読み出しタイミングを示すタイミングチャート。 本発明の補正方法を適用する前後の画像を示す図。 第１の実施形態の処理を示すフローチャート。 本発明の第２の実施形態に係る撮像装置の構成を示すブロック図。 第２の実施形態の処理を示すフローチャート。 第３の実施形態における縦線ノイズ補正時の画像信号の読み出しタイミングを示すタイミングチャート。 第４の実施形態における縦線ノイズ補正時の画像信号の読み出しタイミングを示すタイミングチャート。 従来例における補正方法を説明するための図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の一例として、デジタルカメラの構成を示すブロック図である。

図１において、１０１は絞り機能を有するメカシャッタやレンズなどを含む撮像光学系であり、入射した被写体の光学像を撮像素子１０２上に結像する。撮像素子１０２は、結像された被写体の光学像を光電変換して電気信号に変換する。

アナログ信号処理部１０３は、撮像素子１０２の出力信号に対して二重相関サンプリング処理などの処理を行い、アナログ画像信号を出力する。アナログ／デジタル変換部（ＡＤＣ部）１０４は、アナログ信号処理部１０３の出力であるアナログ画像信号をデジタル画像信号に変換する。信号処理部１０５は、ＡＤＣ部１０４から出力されたデジタル画像信号に対して、ホワイトバランス調整、γ補正、画素補間等の画像処理を行う。

フレームメモリ部１０８は、デジタル画像信号を一時的に格納するメモリであり、例えばＤＲＡＭにより構成されている。信号圧縮部１１１は、フレームメモリ部１０８に格納されたデジタル画像信号をＪＰＥＧ（Joint Photographic Experts Group）等の手法により圧縮する。圧縮動作は撮影時のレリーズ動作に伴って開始される。記録メディア部１１２は、圧縮されたデジタル画像信号を記憶するものであり、例えばフラッシュメモリにより構成されている。

エンコーダ部１０９は、フレームメモリ部１０８に格納されたデジタル画像信号をＮＴＳＣ規格またはＰＡＬ規格などの、表示に適した画像信号に変換する。そして、電子ビューファインダ１１０は、エンコーダ部１０９により変換された画像信号を表示する表示部である。

システム制御部１０６（制御手段）は、デジタルカメラ各部の制御を司る。また、システム制御部１０６は、操作者の指示に基づきデジタルカメラの動作モードを設定すると共に、設定された動作モードに対応した情報をメモリ部１１３から検索する。

サーミスタ１１５は撮像素子１０２周辺の温度を測定して、測定した温度をシステム制御部１０６に通知する。タイミング信号生成部１０７は、撮像素子１０２、アナログ信号処理部１０３、ＡＤＣ部１０４に対して、駆動するためのタイミング信号を出力する。このタイミング信号生成部１０７から出力される各種のタイミング信号は、システム制御部１０６から供給される基準クロック信号に基づくものである。

操作部１１４は、ユーザーが、デジタルカメラを起動させる際や、露出条件、ズーム倍率、駆動モード等のデジタルカメラのシステム設定情報などを変更する際に操作される。そして、操作部１１４は、ユーザーからデジタルカメラのシステム設定情報の変更に係る変更情報が入力される度に、その変更情報をシステム制御部１０６へ入力する。この操作部１１４は、例えば、電源スイッチ、シャッタボタン、モード切り換えスイッチ、操作入力群等を含む。

図２は、撮像素子１０２として用いられるＣＣＤの構成の一例を示す図である。図２に示すように、撮像素子１０２（ＣＣＤ）は、２次元の行列状に多数の画素１０２ａが並んで配置されている。そして、それらの画素１０２ａの列の間に、画素１０２ａからの信号電荷を垂直方向に転送する垂直転送ＣＣＤ１０２ｂ（垂直転送部）が配置されて構成されている。これらの画素の配置は、Ｒ（赤）の画素とＧ（緑）の画素が並んだ行と、Ｇ（緑）の画素とＢ（青）の画素が並んだ行とが上下方向に交互に並んだいわゆるベイヤ配列であるものとする。また、１０２ｄは遮光されたＯＢ（オプティカルブラック）画素であり、入射光に依存しない電荷信号を出力する。

本第１の実施形態では、このような配置の画素からの画像信号の読み出しを、３フィールド読み出しにより行うものとする。３フィールド読み出しでは、最初の第１フィールドにおいて、１行目、４行目、７行目、…の画素の画像信号を垂直転送ＣＣＤ１０２ｂに転送して読み出し、次の第２フィールドにおいて、２行目、５行目、８行目、…の画素の信号を同様にして読み出す。さらに第３フィールドにおいて、３行目、６行目、９行目、…の画素の信号を読み出す。なお、垂直転送ＣＣＤ１０２ｂに転送された信号電荷は、垂直転送ＣＣＤ１０２ｂにより垂直方向に転送され、その後水平転送ＣＣＤ１０２ｃ（水平転送部）により水平方向に転送されて、後段のアンプ（不図示）に送られる。

本第１の実施形態でこのような読み出し方をするのは、以下の理由による。即ち、近年の撮像素子では画素数が極めて多く、画素同士が近接しているため、全画素の信号を一括して垂直転送ＣＣＤ１０２ｂに転送すると、垂直転送ＣＣＤ１０２ｂ内で上下の隣り合う画素の信号が混色を起こしてしまうからである。また、３行毎に読み出すのは、同じフィールドにおいて、例えば１行目と４行目の画素の信号を読み出せば、同じフィールド内で、Ｒ、Ｇ、Ｂの３色の信号が揃うからである。

なお、本発明は、３フィールド読み出しに限るものではなく、３フィールド以外の複数フィールドに分けて読み出しても、フィールドに分けずに、フレーム読み出しを行っても構わない。

次に、上記構成を有するデジタルカメラにおける第１の実施形態に係る処理について説明する。撮像素子１０２の温度（Ｔ）、シャッタ速度（ｓ）、感度（Ａ）（撮影感度）などの情報に基づいて暗電流の大きさ（暗電流値）を予測することができる。従って、本第１の実施形態では、これらの値に基づいて、通常読み出し処理、縦線ノイズ補正処理、黒引き処理のいずれかを選択する。

垂直転送ＣＣＤで発生する暗電流の大きさ（暗電流値）は感度と温度に依存しており、感度または、温度の上昇とともに暗電流が増加する。また、画素で発生する暗電流の大きさ（暗電流値）は、感度、温度とシャッタ速度に依存しており、感度が高い、または、温度が高い、もしくは、シャッタ速度が長いほど、暗電流が増加する。そのため、低温且つ短秒時は通常読み出し処理、高温且つ短秒時条件では縦線ノイズ補正処理、低温または高温かつ長秒時条件では、黒引き処理を行うことになる。

そこで、上述した撮像素子１０２の温度（Ｔ）、シャッタ速度（ｓ）、感度（Ａ）などの情報に基づいて暗電流値Ｘを予測し、垂直転送ＣＣＤの暗電流成分が主要因の縦線ノイズが画像上で見え始める暗電流値Ｘ１を超える条件で縦線ノイズ補正処理を開始する。

また、予測した暗電流値Ｘが、撮像素子１０２の垂直転送ＣＣＤの暗電流成分が主要因の縦線ノイズに加え、画素の暗電流成分が主要因の固定パターンノイズの両方が画像上で見え始める暗電流値Ｘ２を超える条件で黒引き処理を開始する。

ここで、縦線ノイズが見え始める暗電流値Ｘ１と、固定パターンノイズが見え始める暗電流値Ｘ２は、通常、Ｘ１＜Ｘ２の大小関係を有する。

図３は第１の実施形態における補正選択テーブルの一例を示す表であり、例えば、システム制御部１０６の内部メモリに保持されている。補正選択テーブルは、図３に示すように温度（Ｔ）とシャッタ速度（ｓ）、感度（Ａ）の３つのパラメータと、通常読み出し処理、縦線ノイズ補正処理、黒引き処理の３つの処理（処理内容）とを対応付けたテーブルである。図３に示す補正選択テーブルの例では、感度（Ａ）の値によって、２つの表に分割して構成されており、図３（ａ）は低感度、図３（ｂ）は高感度の場合を示している。また、図３に示す補正選択テーブルでは、破線で示される部分がＸ１の境界、太線がＸ２の境界を表している。

上述した暗電流成分の特性から、感度Ａ１、温度Ｔ１、Ｔ２，シャッタスピードＳ１、Ｓ２は、それぞれどの補正が必要であるかの境界に応じて予め設定しておく。

ここで、黒引き処理とは、撮像素子１０２の本撮影画像の露光時間と同じ時間だけシャッタを閉じた状態で電荷の蓄積を行い、この蓄積の結果得られた暗電流成分（黒画像）を本撮影画像の信号から差し引く処理である。この処理を行うことにより、本撮影画像の信号から暗電流成分が除去され、暗電流による固定パターンノイズを低減させることができる。また、この黒引き処理を行うと、詳細は後述するが、縦線ノイズの信号成分も本撮影画像の信号から差し引かれるので、縦線ノイズ補正処理を行う必要はない。

しかしながら、黒引き処理を行う場合、本撮影時と同じ電荷蓄積時間の黒画像を取得する必要があるため、処理時間が長くなる。また、本画像から黒画像を減算する際、画素単位で発生する固定パターンノイズは除去されるが、画素単位で発生するランダムノイズ成分は逆に増加し、Ｓ／Ｎ比が悪化してしまう。そのため、縦線ノイズのみが発生している際は、黒引き処理ではなく、縦線ノイズ補正処理を行うことが望ましい。

ここで、縦線ノイズ補正処理と黒引き処理について、図４及び図５を参照して説明する。図４において、ＶＤは垂直同期信号を示している。まず、縦線ノイズ補正処理について説明する。

図４（ａ）は、本第１の実施形態における縦線ノイズ補正処理時のタイミングチャートを示す。まず、露光の期間では読み出しパルスの出力後に電子シャッタにより撮像素子１０２内の蓄積電荷をクリアし、本露光を開始する。そして、所定時間経過後、撮像光学系１０１のメカシャッタのシャッタ速度に応じてシャッタ閉のパルスを出力してメカシャッタを閉じることで、撮像素子１０２への露光を終了させる。

その後、通常読み出し処理であれば第１フィールドの画像信号を読み出すが、縦線ノイズ補正処理時には、第１フィールドの画像信号を読み出す前に、読み出しパルスを出力せずに撮像素子１０２内で画素情報の無い空転送画像を読み出す。以下、このように読み出した空転送画像を「ダミー画像」と呼び、ダミー画像を読み出すフィールドを「ダミーフィールド」と呼ぶ。縦線ノイズは、画素からの画像信号を転送しなくても垂直転送ＣＣＤ１０２ｂで発生するため、ダミー画像は縦線ノイズが発生した画像になるので縦線ノイズを補正する画像として使用することができる。また、本第１の実施形態では、縦線ノイズ補正が選択された場合、縦線ノイズ成分を画面上下で均一な状態にするため、画像信号読み出し前の高速掃き出しを停止する。

このようにしてダミー画像をフレームメモリ部１０８に取り込んだ後、縦線ノイズ量を検出し、縦線ノイズの補正データを作成し、フレームメモリ部１０８に記憶する。その後、第１フィールドの読み出しパルスを出力して、第１フィールドの画像信号を読み出す。この第１フィールドの読み出しを行う際に、縦線ノイズの補正データをフレームメモリ部１０８から読み出して、読み出された第１フィールドの画像信号からの減算処理を行い、減算結果をフレームメモリ部１０８内に書き込む。同様の処理を第２フィールド及び第３フィールドに対して行うことで、縦線ノイズの画像補正を行う。

図５は縦線ノイズ補正処理前後の画像の一例を示す図である。縦線ノイズ補正処理を行う際には画像信号読み出し前の高速掃き出しを停止するため、図５（ａ）に示す様な画面の上下で均一な縦線ノイズが発生した画像になる。図５（ｂ）は図５（ａ）の縦線ノイズ未補正画像を各フィールド毎に表した画像である。本第１の実施形態では、撮像素子１０２の画像信号を上述したように２ラインおきに３フィールドに分けて読み出すので、３枚の最終的な画像サイズに対して１／３になる。なお、３フィールド以外の複数フィールドで読み出す場合やフレーム読み出しをする場合には、各画像の垂直方向サイズは、最終的な画像サイズに対して、１／フィールド数（ただし、フレーム読み出しの場合はフィールド数＝１）となる。

図５（ｃ）はダミー画像の一例を示す図である。ダミーフィールドでは画素の読み出しパルスを出力しないため、基本的な画像としては黒画像になる。しかし画素の情報は無くとも、垂直転送ＣＣＤ１０２ｂで電荷の転送しているので、ダミー画像でも図５（ｃ）のように縦線ノイズが発生している。この縦線ノイズの信号レベルは各フィールドの画像を読み出したときの縦線ノイズと同じレベルになるため、このダミー画像から縦線ノイズの補正データ（図５（ｄ））を作成する。補正データは、ダミー画像の所定領域の画素の平均値を各水平ライン数分、縦線ノイズ検出値として取得することにより作成する。そのため、ダミー画像の垂直サイズは、縦線ノイズ検出の精度をあげるため、できるだけ多いほうが好ましい。

このようにして得られた補正データを、図５（ｂ）に示すフィールド毎の縦線ノイズ未補正画像それぞれから減算することで、縦線ノイズ補正を行うことができる。図５（ｅ）は、縦線ノイズ補正後の画像を示す。

次に、黒引き処理について説明する。図４（ｂ）は、本第１の実施形態における黒引き処理時のタイミングチャートを示す。まず、露光の期間では読み出しパルスの出力後に電子シャッタにより撮像素子１０２内の蓄積電荷をクリアし、本露光を開始する。そして、所定時間経過後、撮像光学系１０１のメカシャッタのシャッタ速度に応じてシャッタ閉のパルスを出力してメカシャッタを閉じることで、撮像素子１０２への露光を終了させる。

その後、高速掃き出し動作を行い、第１フィールドの読み出しパルスを出力し、第１フィールドの画像信号を読み出し、フレームメモリ部１０８に書き込む。同様な動作を第２フィールド及び第３フィールドに対して行う。

その後、黒画像を取得するために、メカシャッタを閉じたまま、本撮影時の露光時間と同じ電荷蓄積時間、電荷の蓄積を行う。電荷蓄積期間終了後、本撮影時と同様に高速掃き出しを行い、第１フィールドの読み出しパルスを出力し、第１フィールドの黒画像を読み出す。

ここで、予めフレームメモリ部１０８に記憶してある、本画像の第１フィールドから、黒画像の第１フィールドとの減算処理を行い、減算結果を再度フレームメモリ部１０８内に書き込む。同様の処理を第２フィールド及び第３フィールドに対して行うことで、黒引き処理を行う。

次に、本第１の実施形態における撮影に係る処理について、図６のフローチャートを参照して説明する。

システム制御部１０６は、システム制御部１０６の内部メモリ或いはメモリ部１１３に記憶される測光データに従い、撮像光学系１０１に含まれる絞り機能を有するメカシャッタを絞り値に応じて開放し（Ｓ１１）、撮像素子１０２の露光を開始する（Ｓ１２）。

次に、フラッシュ・フラグにより不図示のフラッシュによる補光が必要か否かを判断し（Ｓ１３）、必要な場合はフラッシュを発光させ（Ｓ１４）、必要なければフラッシュを発光せずにＳ１５に進む。

システム制御部１０６は、測光データに従って撮像素子１０２の露光終了を待ち（Ｓ１５）、撮像光学系１０１に含まれるメカシャッタを閉じる（Ｓ１６）。そして、システム制御部１０６は、設定されたシャッタ速度ｓ、感度Ａと、サーミスタ１１５で測定される温度ｔを取得する（Ｓ１７）。この取得結果に基づいて、システム制御部１０６の内部メモリ（不図示）に記憶された、図３に示すような補正選択テーブルを参照し、縦線ノイズ補正処理、または黒引き処理を行うかどうかを判断する（Ｓ１８）。

Ｓ１７の検出結果から、Ｓ１８において補正選択テーブルに従って通常読み出し処理が選択された場合はＳ１９に進み、通常の画素信号を読み出す動作を行う。また、縦線ノイズ補正処理が選択された場合はＳ２１に進んで縦線ノイズ補正処理を行い、黒引き処理が選択された場合はＳ２６に進んで黒引き処理を行うことになる。

通常読み出し処理時は、まず、撮像素子１０２の高速掃き出しを行って不要電荷を掃き出す（Ｓ１９）。その後、撮像素子１０２から電荷信号を読み出し、アナログ信号処理部１０３、ＡＤＣ部１０４、信号処理部１０５を介して得られた画像信号を、フレームメモリ部１０８にデータを書き込む（Ｓ２０）。

縦線ノイズ補正処理時は、撮像素子１０２から蓄積電荷を転送せずに、アナログ信号処理部１０３、ＡＤＣ部１０４、信号処理部１０５を介して、ダミー画像を読み出してフレームメモリ部１０８に書き込む（Ｓ２１）。なお、ダミー画像の読み出し時には、撮像素子１０２の高速掃き出しは行わない。

次に縦線ノイズ量を検出する（Ｓ２２）。縦線ノイズ量検出は、ダミー画像の所定領域の画素の平均値を各水平ライン数分、縦線ノイズ検出値として取得し、補正データを作成する。

次に本画像の画像信号の画像を第１フィールドから順次読み出していく（Ｓ２３）。その際、撮像素子１０２の高速掃き出しは行わない。また、Ｓ２２で生成した補正データを本画像データから減算しながら本画像を読み出すことで縦線ノイズ補正処理を行い、縦線ノイズ補正された画像をフレームメモリ部１０８に書き込んでいく（Ｓ２４）。

黒引き処理時は、まず、撮像素子１０２で高速掃き出しを行って不要電荷を掃き出した後（Ｓ２５）、通常画像をフレーム毎に読み出してフレームメモリ部１０８に記憶しておく（Ｓ２６）。その後、直前の本撮影の時と同じ露光時間で蓄積した黒画像を読み出す必要があるので、シャッタを閉じたまま露光を開始して（Ｓ２７）、本撮影の露光時間と同じ電荷蓄積時間の終了を待つ（Ｓ２８）。電気蓄積時間が終了すると、高速掃き出しを行った後（Ｓ２９）、フレーム毎に黒画像を撮像素子１０２から順次読み出す（Ｓ３０）。

そして、Ｓ２６でフレームメモリ部１０８に記憶されていた本画像をフレームメモリから読み出しながら、Ｓ３０で読み出した対応するフレームの黒画像を黒引き処理して、フレームメモリ部１０８に再度記憶する（Ｓ３１）。

Ｓ２０、Ｓ２４、Ｓ３１のいずれかでフレームメモリ部１０８上に撮影された画像が揃うと、設定された撮影モードに応じて現像処理を順次行い（Ｓ３２）、フレームメモリ部１０８に処理を終えた画像データを書き込む。

上記の通り本第１の実施形態によれば、シャッタ速度ｓ、感度Ａ、温度ｔに応じて、通常読み出し処理、縦線ノイズ補正処理、黒引き処理の内、適した処理を選択するので、画質を劣化させることなく、縦線ノイズを低減させることができる。

なお、本発明における撮像装置は、図１及び図２に示す構成を有するものに限られるものではなく、撮像素子１０２の構成や、撮像素子１０２からの読み出し方法によって、縦線ノイズ補正処理及び黒引き処理の手順が異なる。従って、上述した縦線ノイズ補正処理及び黒引き処理の方法に限らず、装置の構成に応じて、公知の方法を用いて縦線ノイズ補正処理及び黒引き処理を行えばよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、撮像装置の温度、シャッタ速度、感度から予測される暗電流に基づく補正選択テーブルを用いて、検出した温度、シャッタ速度、感度に基づいて、通常読み出し、縦線ノイズ補正、黒引き処理のいずれかを選択した。

しかしながら、撮像素子１０２で発生する暗電流は、撮像素子１０２ごとに固体バラツキを持っている。そのため、補正選択テーブルの作成時は撮像素子１０２の暗電流の固体バラツキを考慮して、縦線ノイズ補正の開始、または黒引き処理の開始を早めておく必要があるため、それだけ画質の劣化を早めてしまう結果となる。

そこで、本第２の実施形態では、撮像素子１０２の暗電流の固体バラツキの影響を排除するために、デジタルカメラの動作中に暗電流を実際に測定し、その測定値に基づいて、通常読み出し処理、縦線ノイズ補正処理、黒引き処理のいずれかを選択する。

図７は、第２の実施形態におけるデジタルカメラの構成を示すブロック図である。図１は、ＡＤＣ部１０４と信号処理部１０５間に暗電流検出部７０１を備えた点が異なるが、それ以外の構成は図１と同様であるので、同じ参照番号を振って、説明を省略する。

通常、図２に示す撮像素子１０２のＯＢ画素１０２ｄは、黒レベルの基準となる画素として用いられる。また、ＯＢ画素１０２ｄは、遮光されている他は、他の画素の構成となんら変わりはない。そのため、暗電流についてもその他の画素と同様に発生する。そのため、暗電流検出部７０１は、撮像素子１０２内のＯＢ画素１０２ｄの画像信号から暗電流を検出する。本第２の実施形態では、静止画撮影前の駆動モード、例えばＥＶＦ（電子ビューファインダ）駆動時に取得された画像信号（第１の画像信号）の内、ＯＢ画素１０２ｄから出力された画像信号（ＯＢ画像信号）の標準偏差を算出する。算出した標準偏差を暗電流の検出値（暗電流値σ１）とする。検出した暗電流値σ１は、システム制御部１０６の内部メモリに格納する。

次に、本第２の実施形態における撮影に係る処理について、図８のフローチャートを参照して説明する。なお、図８において図６に示す処理と同一な処理については同一のステップ番号を付して、適宜説明を省略する。

システム制御部１０６は、露光終了後（Ｓ１５）、メカシャッタを閉じ（Ｓ１６）、ＥＶＦ動作時に検出しておいた暗電流値σ１から、本撮影時の暗電流値σ２を算出する（Ｓ１０１）。σ２は以下の計算式（１）により求められる。

上記式（１）において、ｓは本撮影時のシャッタ速度（第２のシャッタ速度）、ｓ’はＥＶＦ時のシャッタ速度（第１のシャッタ速度）、Ａは本撮影時の感度（第２の感度）、Ａ’はＥＶＦ時の感度（第１の感度）である。つまり、ＥＶＦ動作時に検出しておいた暗電流値σ１に、ＥＶＦ時に対する本撮影時におけるシャッタ速度及び感度の比率を掛けることで、本撮影時の暗電流値σ２を求める。
そして、Ｓ１０２において、暗電流値σ２がσ２＜αである場合は暗電流成分が少ないと判断し、Ｓ１８に進んで通常の画素信号を読み出す。また、暗電流値σ２がα≦σ２＜βの場合、暗電流により縦線ノイズが発生していると判断し、Ｓ２１に進んで読み出した画像信号（第２の画像信号）に対して縦線ノイズ補正処理を行う。暗電流値σ２がσ２≧βの範囲内にある場合、縦線ノイズだけでなく画素自体の固定パターンノイズが目立つようになるので、Ｓ２５に進んで読み出した画像信号（第２の画像信号）に対して黒引き処理を行うことになる。ここで、αとβは暗電流値の閾値であって、αとしては、垂直転送ＣＣＤ１０２ｂの暗電流成分が主要因の縦線ノイズが画像上で見え始め、縦線ノイズ補正が必要となる暗電流成分の最小値を設定する。βとしては、垂直転送ＣＣＤの暗電流成分が主要因の縦線ノイズに加え、画素の暗電流成分が主要因の固定パターンノイズの両方が画像上で見え始め、黒引き処理が必要となる暗電流成分の最小値を設定する。

Ｓ１８以降では、図６のフローチャートを参照して第１の実施形態で上述した手順により、処理を行う。

上記の通り本第２の実施形態によれば、ＯＢ画素の出力から求められた暗電流値に応じて、通常読み出し処理、縦線ノイズ補正処理、黒引き処理の内、適した処理を選択するので、画質を劣化させることなく、縦線ノイズを低減させることができる。

なお、本第２の実施形態では、静止画撮影を行う前の駆動モードをＥＶＦモードとしたが、被写体のピントを合わせるためのＡＦモードや、測光用のＥＦモードであってもよい。すなわち、現在読み出された画像に先立って読み出された画像の画像信号を用いることができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した第１及び第２の実施形態では、縦線ノイズ補正を行う際には高速掃き出しを行わなかった。しかしながら、高速掃き出しを行わないと、輝度の高い被写体を撮影した際にスミアが発生してしまう。そのため、本第３の実施形態では図９のタイミングチャートに示すように、ダミー画像を読み出す前に、高速掃き出し用のダミーフィールド１を追加する。これにより、撮像素子１０２の露光時間の終了後、高速掃き出しによってスミア成分等の不要電荷が一旦捨てられる。

その後、縦線ノイズを画面上下で均一な状態にするために、次のダミーフィールド２に移行するまでの高速掃き出し用ダミーフィールド１期間は垂直転送ＣＣＤ１０２ｂの転送を行う。この動作により、ダミー画像２、画像信号１〜３での縦線ノイズは、図５（ｂ）及び（ｃ）に示すように画面上下で均一な状態になり、ダミー画像２から縦線ノイズ検出を行うことで、第１の実施形態で説明した縦線ノイズ補正が可能となる。

なお、黒引き処理に関しては、第１の実施形態と同様である。また、通常読み出し処理、縦線ノイズ補正処理、黒引き処理の切り替えについては、図６または図８の処理を適用可能である。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。上述した第１及び第２の実施形態では、縦線ノイズ補正の補正値を作成する際に、画素の電荷を読み出さないダミー画像を用いた。これに対し、本第４の実施形態では、ダミー画像ではなく、黒画像から縦線ノイズ補正の補正値を検出する。

また、縦線ノイズ補正の際には、黒画像を第１フィールドのみ読み出し、第２、第３フィールドは読み出さない。以下、詳細な動作を図１０のタイミングチャートを参照して説明する。

まず、露光の期間では読み出しパルスの出力後に電子シャッタにより撮像素子１０２内の蓄積電荷をクリアし、本露光を開始する。そして、所定時間経過後、撮像光学系１０１のメカシャッタのシャッタ速度に応じてシャッタ閉のパルスを出力してメカシャッタを閉じることで、撮像素子１０２への露光を終了させる。

その後、第１フィールドの読み出しパルスを出力し、第１フィールドの画像信号を読み出し、フレームメモリ部１０８に書き込む。同様な動作を第２及び第３フィールドに対して行う。

その後、黒画像を取得するために、メカシャッタを閉じたまま、電荷蓄積を行う。ただし、縦スジノイズの主要因である垂直ＣＣＤの暗電流成分は蓄積時間に依存しないため、露光期間は、本撮影時の期間と同等にする必要はなく、最短の蓄積時間に設定する。

蓄積期間終了後、第１フィールドの読み出しパルスを出力し、第１フィールドの黒画像信号を読み出し、フレームメモリ部１０８に書き込む。黒画像信号をフレームメモリ部１０８に書き込んだ後、縦線ノイズ量を検出し、縦線ノイズの補正データを作成する。縦線ノイズ量の検出は、黒画像信号の所定領域の画素の平均値を各水平ライン数分、縦線ノイズ検出値として取得し、補正データを作成する。そして、フレームメモリ部１０８に記憶されている本撮影時の第１フィールドから第３フィールドの画像信号から、作成された補正データを減算することにより、縦線ノイズの画像補正を作成する。

ただし、本第４の実施形態における黒画像から縦線ノイズを検出する時には、画素単位で発生する暗電流成分を抑圧するために、黒画像の垂直サイズは縦線ノイズ検出の精度をあげるため、できるだけ多いほうが好ましい。

上記の通り本第４の実施形態によれば、特別にダミー画像の読み出しに切り替えることなく、黒画像を用いて縦線ノイズ補正処理を行うことが可能となる。また、撮像素子１０２内の電極構造（不図示）等の回路規模を縮小し、ファームの制御シーケンスを簡略化することができる。

なお、黒引き処理に関しては、第１の実施形態と同様である。また、通常読み出し処理、縦線ノイズ補正処理、黒引き処理処理の切り替えについては、図６または図８の処理を適用可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (7)

1. 被写体の光学像の光電変換を行って画像信号に変換する、２次元に配列された複数の画素と、該複数の画素からの画像信号を垂直方向に転送する垂直転送部と、該垂直転送部により垂直方向に転送された画像信号を水平方向に転送する水平転送部とを含む撮像素子と、
   前記画像信号に対する縦線ノイズ補正処理を行う縦線ノイズ補正手段と、
   前記画像信号に対する黒引き処理を行う黒引き処理手段と、
   前記撮像素子における暗電流の大きさを予測するための情報を取得し、取得した情報に基づいて、前記縦線ノイズ補正処理および前記黒引き処理のいずれか、または前記縦線ノイズ補正処理および前記黒引き処理のいずれも行わない通常読み出し処理を選択し、前記縦線ノイズ補正処理を選択した場合に、前記縦線ノイズ補正手段が前記縦線ノイズ補正処理を行うことにより画像の縦線ノイズを補正し、前記黒引き処理を選択した場合に、前記黒引き処理手段が前記黒引き処理を行うことにより画像の縦線ノイズ及び固定パターンノイズを補正するように制御する制御手段と、
   を有し、
   前記制御手段は、前記縦線ノイズ補正手段が前記画像信号に対する前記縦線ノイズ補正処理を行う場合に前記垂直転送部の高速掃き出しを行う回数が、前記黒引き処理手段が前記画像信号に対する前記黒引き処理を行う場合よりも少なくなるように制御することを特徴とする撮像装置。
2. 前記制御手段は、前記情報として、前記撮像素子の温度、シャッタ速度及び感度を取得し、予測される暗電流の大きさに応じて前記情報と処理内容とを対応付けたテーブルを保持し、該テーブルに従って、前記黒引き処理、前記縦線ノイズ補正処理、前記通常読み出し処理のいずれかを選択することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、遮光された複数のＯＢ画素を含み、
   前記制御手段は、前記情報として、現在読み出された第１の画像信号を取得する際の第１のシャッタ速度及び第１の感度と、前記第１の画像信号の読み出しに先んじて前記撮像素子から読み出された第２の画像信号のうち、前記ＯＢ画素から出力されたＯＢ画像信号と、前記第２の画像信号を取得する際の第２のシャッタ速度及び第２の感度とを取得し、 前記取得したＯＢ画像信号の標準偏差に、前記第２のシャッタ速度及び前記第２の感度に対する前記第１のシャッタ速度及び前記第１の感度の比率を掛けることで、前記第１の画像信号の読み出し時の暗電流の大きさを予測することを特徴とする請求項１に記載の撮像装置。
4. 前記縦線ノイズ補正手段は、前記画素からの画像信号を前記垂直転送部に転送せずに、該垂直転送部を空転送して信号を読み出し、該読み出した信号に基づいて縦線ノイズを補正するための補正データを生成し、該補正データを、前記画素から読み出した画像信号から減算することで、前記縦線ノイズ補正処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記縦線ノイズ補正手段は、前記空転送に先立って、前記垂直転送部の高速掃き出しを行うことを特徴とする請求項４に記載の撮像装置。
6. 前記縦線ノイズ補正手段は、前記画素を露光して画像信号を取得した後に、前記画素を遮光して黒画像信号を取得し、該黒画像信号に基づいて縦線ノイズを補正するための補正データを生成し、該補正データを、前記画素から読み出した画像信号から減算することで、前記縦線ノイズ補正処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
7. 被写体の光学像の光電変換を行って画像信号に変換する、２次元に配列された複数の画素と、該複数の画素からの画像信号を垂直方向に転送する垂直転送部と、該垂直転送部により垂直方向に転送された画像信号を水平方向に転送する水平転送部とを含む撮像素子を含む撮像装置の制御方法であって、
   取得手段が、前記撮像素子における暗電流の大きさを予測するための情報を取得する取得工程と、
   選択手段が、前記取得した情報に基づいて、縦線ノイズ補正処理および黒引き処理のいずれか、または前記縦線ノイズ補正処理および前記黒引き処理のいずれも行わない通常読み出し処理を選択する選択工程と、
   前記選択工程で前記縦線ノイズ補正処理が選択された場合に、縦線ノイズ補正手段が、前記画像信号に対する前記縦線ノイズ補正処理を行うことにより、画像の縦線ノイズを補正する縦線ノイズ補正処理工程と、
   前記選択工程で前記黒引き処理が選択された場合に、黒引き処理手段が、前記画像信号に対する前記黒引き処理を行うことにより、画像の縦線ノイズ及び固定パターンノイズを補正する黒引き処理工程と
   を有し、
   前記縦線ノイズ補正手段が前記画像信号に対する前記縦線ノイズ補正処理を行う場合に前記垂直転送部の高速掃き出しを行う回数が、前記黒引き処理手段が前記画像信号に対する前記黒引き処理を行う場合よりも少なくなるように制御することを特徴とする制御方法。