JP5489527B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置におけるノイズの補正に関し、特に縞状ノイズの補正に関する。

近年、デジタル一眼レフカメラやビデオカメラにＣＭＯＳ撮像素子が多く使用されている。このＣＭＯＳ撮像素子に関しては、多画素化、高速撮像化、高ＩＳＯ化（高感度化）が要求されている。

多画素化により、画素サイズが縮小傾向にあるが、これは１画素で蓄積できる電荷が少なくなることを意味する。一方、高ＩＳＯ化に対応するために、得られた電荷に対してより大きなゲインをかける必要がある。ゲインをかけると本来の光信号分はもちろん増幅されるが、回路等で発生するノイズも増幅されてしまうため、高ＩＳＯの画像は低ＩＳＯの画像よりもランダムノイズが大きくなる。

また、高速撮像を実現する方法の一つとして撮像素子の出力経路を複数設けて複数画素の読み出しを同時に行う多チャネル化がある。しかし、出力経路によってノイズ量にバラつきがあるため、ＣＨ毎（チャンネル毎）にノイズ量が異なるといった問題もある。

以下にＣＭＯＳ撮像素子の構成とノイズの発生原因について説明する。図９にＣＭＯＳ撮像素子の全体レイアウトを示す。図９に示すように、ＣＭＯＳ撮像素子は、開口画素（有効画素）を有する開口画素領域（有効画素領域）９０３と、遮光画素（基準画素）を有する垂直オプティカルブラック領域（ＶＯＢ、第１の基準画素領域）９０２及び水平オプティカルブラック領域（ＨＯＢ、第２の基準画素領域）９０１とを有する。ＨＯＢ９０１は、開口画素領域９０３の水平方向の先頭（左側）に隣接して設けられ、光が入射しないように遮光された領域である。また、ＶＯＢ９０２は、開口画素領域９０３の垂直方向の先頭（上側）に隣接して設けられ、光が入射しないように遮光された領域である。開口画素領域９０３及びオプティカルブラック領域９０１と９０２は同じ構造を有し、開口画素領域９０３は遮光されず、オプティカルブラック領域９０１、９０２は遮光されている。以下、各オプティカルブラック領域の画素をＯＢ画素と呼ぶ。通常、ＯＢ画素は信号レベルの基準信号、すなわち黒基準信号を得るために用いられる。そして、である。開口画素領域９０３の開口画素は、入射光に応じて発生した電荷を蓄積して出力する。

図１０にＣＭＯＳ撮像素子の単位画素（１画素分）の回路の一例を示す。フォトダイオード（以下ＰＤと称する）１００１は、撮影レンズによって結像された光学像を受けて電荷を発生し蓄積する。１００２は転送スイッチでありＭＯＳトランジスタで構成されている。１００４はフローティングディフュージョン（以下ＦＤと称する）である。ＰＤ１００１で蓄積された電荷は転送ＭＯＳトランジスタ１００２を介してＦＤ１００４に転送されて電荷が電圧に変換され、ソースフォロワアンプ１００５から出力される。１００６は選択スイッチであり、一行分の画素信号を一括して垂直出力線１００７に出力する。１００３はリセットスイッチであり、ＦＤ１００４の電位、及び転送スイッチ１００２を介してＰＤ１００１の電位を電源ＶＤＤでリセットする。

図１１は、ＣＭＯＳ撮像素子の構成例を示すブロック図である。なお、図１１は３×３画素の構成で示してあるが、通常は数百万、数千万と多画素である。垂直シフトレジスタ１１０１は、行選択線Ｐｒｅｓ１、Ｐｔｘ１、Ｐｓｅｌ１等の信号を画素領域１１０８に出力する。画素領域１１０８は、図９の構成を有し、複数の画素セルＰｉｘｅｌを有する。各画素セルＰｉｘｅｌは、偶数列と奇数列で各々ＣＨ１、ＣＨ２の垂直信号線に画素信号を出力する。電流源１１０７は、各垂直信号線に負荷として接続される。読み出し回路１１０２は、垂直信号線上の画素信号が入力され、画素信号をｎチャネルＭＯＳトランジスタ１１０３を介して差動増幅器１１０５に出力し、ノイズ信号をｎチャネルＭＯＳトランジスタ１１０４を介して差動増幅器１１０５に出力する。水平シフトレジスタ１１０６は、トランジスタ１１０３及び１１０４のオン／オフを制御し、差動増幅器１１０５は、画素信号とノイズ信号との差分を出力する。なお、図１１では出力経路はＣＨ１とＣＨ２の２チャネル構成であるが、出力経路を増やすことにより、高速処理が可能となる。例えば、出力経路を撮像素子構成の上下にそれぞれ４つ、計８つ設ければ一度に８画素処理することができる。

上記で説明した差動増幅器を用いることにより、ＣＭＯＳ撮像素子固有のノイズを除去して出力信号を得ることはできる。しかし、ＣＨ１とＣＨ２の出力アンプの特性にばらつきがあると列ごとにほぼ一様のレベル差が発生する。これを垂直方向のパターンノイズと呼ぶ。

一方、各画素の電源やＧＮＤは共通である。読み出し動作中に電源やＧＮＤが変動すると、その際に読み出されていた画素はほぼ一様のレベル差が生じる。通常、撮像素子の読み出しは画面左上から１行ずつ左から右へと読み出される。電源やＧＮＤの変動によって発生した、レベル差はほぼ行ごとのレベル差となって現れる。これを水平方向のパターンノイズと呼ぶ。

上記で説明したように、ＣＭＯＳ撮像素子の構造に起因して縞状のノイズが発生するという課題があり、スペックの向上を図るほどこの縞状のノイズが目立つ傾向にある。垂直方向のパターンノイズは出力アンプ特性によって決まる固有のパターンノイズであるため、出力アンプごとのばらつき補正により補正可能である。一方、水平方向のパターンノイズについては、電源やＧＮＤの変動がランダムであれば、パターンノイズもランダムになる。

このようなランダムなパターンノイズを補正する手法として、特許文献１には、ＯＢ画素の画素信号のライン平均の値を算出し、その行の開口画素の画素信号からライン平均値を減算する方法が開示されている。

ところで、ランダムノイズが多い画像中においては、縞状ノイズを補正するための補正値を算出するのが困難である。このことは特許文献１や特許文献２などでも指摘されている。特許文献２によれば、縞状ノイズをランダムノイズの１／８から１／１０に低減すれば、縞状ノイズはランダムノイズに埋もれて見えにくくなる。そこで、特許文献２ではランダムノイズを付加することにより、ノイズを緩和する方法が開示されている。

特開平７−６７０３８号公報 特開２００５−１６７９１８号公報

しかしながら、ＯＢ画素の画素信号のライン平均値を減算する補正方法では、補正残りや過補正により縞状ノイズを発生させてしまうなど、補正が不十分となることがしばしば発生する。この現象は高ＩＳＯでの撮影時といったランダムノイズを多く含む画像で多く見受けられる。ランダムノイズが多い画像ほど、正しい補正値を求めるには多くのＯＢ画素を必要とする。また、前述の特許文献２に記された通り、ランダムノイズの値の１／８から１／１０以下であれば縞状ノイズが見えにくくなるとしても、縞状ノイズが見えなくなる補正値を算出するには１行あたり約４００画素以上のＯＢ画素が必要という計算になる。しかし、ＣＭＯＳ撮像素子のレイアウトとして、ＯＢ画素に４００列以上割り当てるのは多画素化、高速撮影の要求に対して現実的とはいえない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、基準画素が少ない場合でも、効果的に横縞状ノイズを補正できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体像を光電変換する有効画素からなる有効画素領域と、基準となる画素信号を出力する基準画素からなる基準画素領域とを有する撮像素子と、前記基準画素領域から出力される画素信号の標準偏差を算出する第１の算出手段と、前記基準画素領域から出力される画素信号の行毎の積分値を算出する第２の算出手段と、前記第２の算出手段により算出された行毎の積分値の平均値を算出し、算出した平均値から所定の黒基準レベルを減算した結果に対して補正係数を乗じることにより行毎の補正値を算出する第３の算出手段と、前記第３の算出手段により算出された行毎の補正値を用いて前記有効画素領域から出力される画素信号を行毎に補正する補正手段と、を備え、前記補正係数は、前記第１の算出手段により算出される前記基準画素領域から出力される画素信号の標準偏差に基づいて決定されることを特徴とする。

また、本発明に係る撮像装置の制御方法は、被写体像を光電変換する有効画素からなる有効画素領域と、基準となる画素信号を出力する基準画素からなる基準画素領域とを有する撮像素子を備える撮像装置の制御方法であって、前記基準画素領域から出力される画素信号の標準偏差を算出する第１の算出工程と、前記基準画素領域から出力される画素信号の行毎の積分値を算出する第２の算出工程と、前記第２の算出工程により算出された行毎の積分値の平均値を算出し、算出した平均値から所定の黒基準レベルを減算した結果に対して補正係数を乗じることにより行毎の補正値を算出する第３の算出工程と、前記第３の算出工程により算出された行毎の補正値を用いて前記有効画素領域から出力される画素信号を行毎に補正する補正工程と、を備え、前記補正係数は、前記第１の算出工程により算出される前記基準画素領域から出力される画素信号の標準偏差に基づいて決定されることを特徴とする。

本発明によれば、基準画素が少ない場合でも、効果的に横縞状ノイズを補正することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示す全体ブロック図である。 ＣＭＯＳ撮像素子の断面図である。 図５に示した読み出し回路のブロック１列分の回路例を示す図である。 ＣＭＯＳ撮像素子の動作例を示すタイミングチャートである。 撮像装置によって得られた画像の一例を示す図である。 本発明の第１の実施形態の横縞状ノイズの補正処理のフローチャートである。 本発明の第２の実施形態の横縞状ノイズの補正処理のフローチャートである。 本発明の第３の実施形態の横縞状ノイズの補正処理のフローチャートである。 ＣＭＯＳ撮像素子の全体レイアウトを示す図である。 ＣＭＯＳ撮像素子の単位画素（１画素分）の回路の一例を示す図である。 ＣＭＯＳ撮像素子の構成例を示すブロック図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示す全体ブロック図である。図１において、撮像素子１０１は、ＣＭＯＳ撮像素子であり、不図示の撮影レンズで結像された被写体像を光電変換する。ＡＦＥ１０２は、アナログフロントエンド（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）であり、撮像素子１０１からの信号の増幅や黒レベルの調整（ＯＢクランプ）などを行う信号処理回路である。タイミング発生回路１１０からＯＢクランプタイミングやＯＢクランプ目標レベルなどを受け取り、それに従って処理を行う。そして、処理を行ったアナログ信号をデジタル信号に変換する。ＤＦＥ１０３は、デジタルフロントエンド（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）であり、ＡＦＥ１０２で変換された各画素のデジタル信号を受けて画像信号の補正や画素の並び替え等のデジタル処理などを行っている。１０５は画像処理装置であり、現像処理を行って表示回路１０８に画像を表示する、制御回路１０６を介して画像を記録媒体１０９に記録する、といった処理を行う。なお、制御回路１０６はその他、操作部１０７からの指示を受けて、タイミング発生回路１１０に命令を送るなどの制御も行う。また、記録媒体１０９にはコンパクトフラッシュ（登録商標）メモリなどが用いられる。メモリ回路１０４は、画像処理装置１０５の現像段階での作業用メモリに使用される。また、撮像が続いて行われて現像処理が間に合わないときのバッファメモリとしても使用される。操作部１０７は、デジタルカメラを起動させるための電源スイッチ、及び測光処理、測距処理などの撮影準備動作開始やミラー、シャッターを駆動して撮像素子１０１から読み出した信号を処理して記録媒体１０９に書き込む一連の撮像動作の開始を指示するシャッタースイッチなどが含まれる。

撮像素子１０１の画素領域の構成は、図９と同様であり、開口画素（有効画素）を有する開口画素領域（有効画素領域）９０３と、光が入射しないように遮光された遮光画素（基準画素）を有する垂直オプティカルブラック領域（ＶＯＢ、第１の基準画素領域）９０２及び水平オプティカルブラック領域（ＨＯＢ、第２の基準画素領域）９０１とを有する。

図２は、ＣＭＯＳ撮像素子の断面図である。ＡＬ１、ＡＬ２、ＡＬ３（図中２０５、２０４、２０３）は配線層であり、例えばアルミなどを使用する。ＡＬ３（２０３）は遮光にも兼用されており、ＯＢ画素である画素１、画素２はＡＬ３で遮光されている。一方、画素３、画素４はＡＬ３で遮光されておらず、開口画素となる。ＭＬ（２０１）はマイクロレンズであり光をフォトダイオードＰＤ（２０７）に集光する。ＣＦ（２０２）はカラーフィルタである。ＰＴＸ（２０６）は転送スイッチであり、ＰＤ（２０７）に蓄積された電荷をＦＤ（２０８）に転送する。

本実施形態におけるＣＭＯＳ撮像素子の単位画素（１画素分）の回路構成は、図１０と同様であるため、詳細な説明を省略する。本実施形態におけるＣＭＯＳ撮像素子の全体構成は、図１１と同様である。

図１０の転送ＭＯＳトランジスタ１００２のゲートは、横方向に延長して配置される第１の行選択線Ｐｔｘ１（図１１）に接続される。同じ行に配置された他の画素セルＰｉｘｅｌの同様な転送ＭＯＳトランジスタ１００２のゲートも上記第１の行選択線Ｐｔｘ１に共通に接続される。図１０のリセットＭＯＳトランジスタ１００３のゲートは、横方向に延長して配置される第２の行選択線Ｐｒｅｓ１（図１１）に接続される。同じ行に配置された他の画素セルＰｉｘｅｌの同様なリセットＭＯＳトランジスタ１００３のゲートも上記第２の行選択線Ｐｒｅｓ１に共通に接続される。図１０の選択ＭＯＳトランジスタ１００６のゲートは、横方向に延長して配置される第３の行選択線Ｐｓｅｌ１に接続される。同じ行に配置された他の画素セルＰｉｘｅｌの同様な選択ＭＯＳトランジスタ１００６のゲートも上記第３の行選択線Ｐｓｅｌ１に共通に接続される、これら第１〜第３の行選択線Ｐｔｘ１、Ｐｒｅｓ１、Ｐｓｅｌ１は、垂直シフトレジスタ１１０１に接続されて駆動される。

図１１に示されている残りの行においても同様な構成の画素セルＰｉｘｅｌと、行選択線が設けられる。これらの行選択線には、上記垂直シフトレジスタ１１０１により形成された行選択線Ｐｔｘ２〜Ｐｔｘ３、Ｐｒｅｓ２〜Ｐｒｅｓ３、Ｐｓｅｌ２〜Ｐｒｅｓ３が供給される。

上記選択ＭＯＳトランジスタ１００６のソースは、縦方向に延長して配置される垂直信号線の端子Ｖｏｕｔに接続される。同じ列に配置される画素セルＰｉｘｅｌの同様な選択ＭＯＳトランジスタ１００６のソースも上記垂直信号線の端子Ｖｏｕｔに接続される。図１１において、上記垂直信号線の端子Ｖｏｕｔは負荷である定電流源１００７に接続される。

図３は、図１０に示した読み出し回路１００２のブロック１列分の回路例を示す図である。破線で囲った部分が列分だけあり、各垂直信号線には端子Ｖｏｕｔが接続される。

図４は、ＣＭＯＳ撮像素子の動作例を示すタイミングチャートである。フォトダイオード１００１からの信号電荷の読み出しに先立って、リセットＭＯＳトランジスタ１００３のゲート線Ｐｒｅｓ１がハイレベルとなる。これによって、増幅ＭＯＳトランジスタのゲートがリセット電源電圧にリセットされる。リセットＭＯＳトランジスタ１００３のゲート線Ｐｒｅｓ１がローレベルに復帰すると同時にクランプスイッチのゲート線Ｐｃ０ｒ（図３）がハイレベルになった後に、選択ＭＯＳトランジスタ１００６のゲート線Ｐｓｅｌ１がハイレベルとなる。これによって、リセットノイズが重畳されたリセット信号（ノイズ信号）が垂直信号線Ｖｏｕｔに読み出され、各列のクランプ容量Ｃ０にクランプされる。次に、クランプスイッチのゲート線Ｐｃ０ｒがローレベルに復帰した後、ノイズ信号側転送スイッチのゲート線Ｐｃｔｎがハイレベルとなり、各列に設けられたノイズ保持容量Ｃｔｎにリセット信号が保持される。次に、画素信号側転送スイッチのゲート線Ｐｃｔｓをハイレベルにした後、転送ＭＯＳトランジスタ１００２のゲート線Ｐｔｘ１がハイレベルとなり、フォトダイオード１００１の信号電荷が、アンプ１００５のゲートに転送されると同時に信号電荷が垂直信号線Ｖｏｕｔに読み出される。次に転送ＭＯＳトランジスタ１００２のゲート線Ｐｔｘ１がローレベルに復帰した後、画素信号側転送スイッチのゲート線Ｐｃｔｓがローレベルとなる。これによって、リセット信号からの変化分（光信号成分）が各列に設けられた信号保持容量Ｃｔｓに読み出される。ここまでの動作で、第１行目に接続された画素Ｐｉｘｅｌの信号電荷がそれぞれの列に接続された信号保持容量Ｃｔｎ、Ｃｔｓに保持される。

この後、水平シフトレジスタ１１０６から供給される信号Ｐｈによって、各列の水平転送スイッチゲートが順次ハイレベルとなる。信号保持容量Ｃｔｎ，Ｃｔｓに保持されていた電圧は、順次水平出力線Ｃｈｎ，Ｃｈｓに読み出され、出力アンプで差分処理されて出力端子ＯＵＴに順次出力される。各列の信号読み出しの合間でリセットスイッチによって水平出力線Ｃｈｎ，Ｃｈｓがリセット電圧ＶＣＨＲＮ、ＶＣＨＲＳにリセットされる。以上で、第１行目に接続された画素セルＰｉｘｅｌの読み出しが完了する。以下同様に、垂直シフトレジスタ１１０１からの信号によって第２行目以降に接続された画素セルＰｉｘｅｌの信号が順次読み出され、全画素セルＰｉｘｅｌの読み出しが完了する。

上述した処理によって得られた画像の一例を図５に示す。ＰｃｔｎとＰｃｔｓには時間差があり、この間に電源やＧＮＤが変動した場合、その行全体の信号レベルが一様に変化する。この変動が行毎に異なるため、横縞状のノイズになる。この横縞状ノイズは高ＩＳＯ撮影時（高感度撮影時）ほどゲインを多くかけるため、ノイズも増幅されることになり、目立つようになる。

図６は、本発明の第１の実施形態の横縞状ノイズの補正処理のフローチャートである。以下、このフローチャートに従って本実施形態の縞状ノイズの補正方法を説明する。なお、本実施形態では、現像前の画像を取得した後に補正することを前提として説明する。ここで、以下の説明に出てくる、補正値と補正係数について定義しておく。補正値とは、行毎にＨＯＢ信号から求める値のことであり、後述する式に従ってその行の画素の補正を行う。補正係数とは、ここではＨＯＢ信号から算出した黒基準値からのずれ量に対して乗算する係数のことと定義する。

まず、ステップＳ６０１で読み出しを開始する。読み出しは図５及び図９に示した画素構成レイアウトに対し、左上から１行ずつ、左から右に行う。図５及び図９の画素構成では画面上部にＶＯＢ領域を設けているが、まずこのＶＯＢ領域から出力される画素信号の標準偏差σ_VOBを算出する（ステップＳ６０２：第１の算出工程））。計算対象とする画素領域はＯＢ画素であればどこでも良いが、画像の状態を正しく判定するためにはできるだけ多くの画素（第１の所定領域）の画素信号から算出した方が良い。多くの画素を領域として選択することで、σ_VOBは画像全体の標準偏差σとほぼ等しくなる（σ_HOBも同様。すなわち、σ_VOB≒σ_HOB≒画像全体のσ）。

続いてステップＳ６０３において、算出したσ_VOBの値によって、補正を行うか行わないかの判定を行う。あらかじめ設定しておいた閾値、σ_{th_VOB}に対しσ_VOBがσ_{th_VOB}以下であればステップＳ６０４へ進み、補正を行う。σ_{th_VOB}に対してσ_VOBが大きければステップＳ６０９へ進み、補正は実施しない。なぜなら、画像のσ（ここではσ_VOB）が大きい場合、補正値が正しく求まりにくく、間違った補正、すなわちノイズを増やしてしまう恐れがあるからである。

σ_VOBが閾値以下の場合、ステップＳ６０４に進む。σ_VOBの値により補正係数αを決定する。通常、ＨＯＢ信号から算出した黒基準値からのずれ量を補正値とすると誤補正になる傾向があるため、補正係数を１以下の値として補正値を決定し、補正を実施する方が良好な補正結果が得られる。特に、ＨＯＢの列数が少ないほど、また画像のランダムノイズ量が多いほど、過補正になる傾向は強い。すなわち、σ_VOBが大きいほどαは小さいほうが望ましい（１）。例えば、σ_VOBが４０であった時はα＝０．５、２０であった時はα＝０．７などとする。更に、補正係数αはＨＯＢの幅も反映させても良い（２）。例えば、σ_VOBが４０の時、ＨＯＢの幅が１００ならα＝０．５、４００ならα＝１．０といったように設定できる。この補正係数αは、（１）、（２）についてのテーブルや関数にしても良い。

ステップＳ６０５でｉ行目の補正値を決定するために、ＨＯＢ（第２の所定領域）から出力される画素信号の積分値Ｓ_iを算出する（ｉは垂直方向の座標：第２の算出工程）。補正は有効画素のみで良いので、ステップＳ６０５は読み出し行が有効画素領域に達した時から実施しても良い。また、図１１のように出力経路が複数チャンネルある場合、ＨＯＢから出力される画素信号の積分値は出力経路ごとに算出しても良いし、横縞はＣＨ（チャンネル）や色によらず行毎に一定であるため出力経路に関係なくその行のＨＯＢ画素から出力されるすべての画素信号の積分値としても良い。または、算出のしやすさなどを考慮して、Ｒ、Ｇ、Ｂそれぞれの色ごとに算出しても良い。

続いて、ステップＳ６０６でｉ行目の補正値Ｖ_iを決定する（ｉは垂直方向の座標）。補正値は式（１）に従って算出する（第３の算出工程）。すなわち、ステップＳ６０５で算出した積分値に対し、それを算出するのに使用したデータ数で除算して平均値を算出し、予め設定しておいた黒基準レベルで減算する。これに対し、ステップＳ６０４で決定された補正係数αで乗じたものがその行の補正値となる。

補正値Ｖ_i＝α×（Ｓ_i／データ数−黒基準値） …（１）
そして、ステップＳ６０７で、補正値Ｖ_iを用いて式（２）にしたがってｉ行の有効画素部の補正を行う。

補正後の画素信号ｘ ’（ｊ，ｉ）＝画素信号（ｊ，ｉ）−補正値Ｖ_i
（ｊは水平方向の座標） …（２）
有効画素の信号の補正計算をその行の最後まで行ったら、その行の処理は終了である。またステップＳ６０５に戻って画像の最後の行までこの処理を繰り返す（ステップＳ６０８）。

以上の処理を行うことにより、画像のランダムノイズの状態を反映して補正値を決定するため、新たにノイズを増やすことなく縞状ノイズの補正を実施することができる。すなわち、画像のランダムノイズが大きい時は補正しない、もしくは補正係数を小さくすることで補正量を小さくする処理を実施するため、新たにノイズを増やさずに補正処理を実行することができる。なぜなら、新たにノイズを増やしてしまう状況としては、補正値が正解よりも大きい値になってしまう場合であり、画像のランダムノイズが大きいために生じていることが多く、本実施形態はこの課題を解決している。

なお、本実施形態では、ステップＳ６０５において、ＨＯＢの積分値は補正を行う行の画素の信号のみで算出していたが、前後の行のＨＯＢ画素を数行用いて算出しても良い。また、時折異常にシグナルが大きい画素や小さい画素がある場合がある。その画素は、あるレベルにクリップして積分値の算出を行う、もしくは積分値の算出に使用しない（スキップ）、といった処理を付加した方がより正しく補正値を算出することができる。

また、本実施形態では、画像を取得してから補正処理を行うように記載したが、読み出しと同時にＡＦＥ１０２内でこれらの処理を行っても良い。

（第２の実施形態）
本発明の第２の実施形態について、図７に示すフローチャートに従って説明する。なお、現像前の画像を取得するまでは第１の実施形態と同様であるため、説明を省略する。

まず、ステップＳ７０１で読み出しを開始する。読み出しは第１の実施形態と同様に、図５及び図９に示した画素構成レイアウトに対し、左上から１行ずつ、左から右に行う。続いて、ＶＯＢ領域から出力される画素信号の標準偏差σ_VOBを算出する（ステップＳ７０２）。計算対象とする画素領域は、第１の実施形態と同様にＯＢ画素であればどこでも良いが、画像の状態を正しく判定するためにはできるだけ多くの画素から算出した方が良い。

続いて、ステップＳ７０３でｉ行目のＨＯＢから出力される画素信号の積分値Ｓ_iを算出する（ｉは垂直方向の座標。ｉ＝０，１，２，…，ｎ）。なお、ここでは異常データを積分値計算に使用しないように、例えば画素信号が黒基準レベル±２５６から大きい場合は、黒基準レベル＋２５６に、小さい場合は黒基準レベル−２５６にクリップすることとする。積分値Ｓ_iはメモリに保持しておき、画像の最終行まで積分値計算を実施する。また、ここでは説明を簡潔にするために出力経路及び色によらずＨＯＢ画素の行積分値を算出することとしているが、チャンネル分離して実施しても良い。また、ｉ行目のＨＯＢ画素から出力される画素信号の積分値Ｓ_iの算出には、ｉ行目のＨＯＢから出力される画素信号だけでなく、さらに前後の行数行のＨＯＢ画素から出力される信号を使用しても良い。

ステップＳ７０４で、ステップＳ７０３で算出したＨＯＢから出力される画素信号の積分値Ｓ０からＳｎの標準偏差σ_Vlineを求める（第４の算出工程）。ステップＳ７０２で求めたσ_VOBとステップＳ７０４で求めたσ_Vlineの値から、補正を実施するかどうかの判定を行う（ステップ７０５）。σ_Vline／σ_VOBを算出し、判定値Ｋ以上であればステップＳ７０６に進み、補正を実施する。判定値Ｋより小さければステップＳ７１０に進み、補正は実施しない。このσ_Vlineは、画像中の縞状ノイズの大きさや量を反映しており、画像のランダムノイズ成分を反映しているσ_VOBと比較して約０．１倍以上であれば、視覚的にも縞状ノイズが確認できるため補正を実施する。一方、σ_Vlineがσ_VOBの０．１倍より小さい時は、縞状ノイズは目立たない。ここで、補正を実施すると逆に縞状ノイズを作り出してしまう恐れがあるので、補正は実施しない。

補正を実施する場合、まず補正係数αをσ_VOBの値により決定する（ステップＳ７１０）。補正係数の算出は第１の実施形態と同様に行う。続いて、ステップＳ７０７でｉ行目の補正値Ｖ_iを決定する（ｉは垂直方向の座標）。補正値は第１の実施形態で示した式（１）に従って算出する。すなわち、ステップＳ７０４で算出した積分値に対し、それを算出するのに使用したデータ数で除算して平均値を算出し、予め設定しておいた黒基準レベルで減算する。これに対し、ステップＳ７０６で決定された補正係数αで乗じたものがその行の補正値となる。

そして、ステップＳ７０８で、補正値Ｖ_iを用いて式（２）にしたがってｉ行の有効画素部の補正を行う。

有効画素の信号の補正計算をその行の最後まで行ったら、その行の処理は終了である。またステップＳ７０７に戻って画像の最後の行までこの処理を繰り返す（ステップＳ７０９）。

以上の処理を行うことにより、第１の実施形態と同様に画像のランダムノイズの大きさを考慮して補正量を調整するため、新たにノイズを増やすことなく横縞状ノイズの補正を行うことができる。更に、画像の横縞状ノイズの状態を判断して補正を行うために、縞状ノイズが画像に対して少ない（目立たない）ときには無駄な処理を行わずに済む。

（第３の実施形態）
本発明の第３の実施形態について、図８に示すフローチャートに従って説明する。なお、全画素の読み出しまでは第１の実施形態と同様である。また、補正実施の有無判定までの処理は第２の実施形態とほぼ同様である。

まず、ステップＳ８０１で読み出しを開始する。読み出しは第１の実施形態と同様に、図５及び図９に示した画素構成レイアウトに対し、左上から１行ずつ、左から右に行う。続いて、ＶＯＢ領域から出力される画素信号の標準偏差σ_VOBを算出する（ステップＳ８０２）。計算対象とする画素領域は、第１の実施形態と同様にＯＢ画素であればどこでも良いが、画像の状態を正しく判定するためにはできるだけ多くの画素から算出した方が良い。

続いて、ステップＳ８０３でｉ行目のＨＯＢから出力される画素信号の積分値Ｓ_i及び標準偏差σ_iを算出する（ｉは垂直方向の座標。ｉ＝０，１，２，…，ｎ）。なお、ここでは異常データを積分値及び標準偏差の計算に使用しないように、例えば画素信号が黒基準レベル±２５６から大きい場合は、黒基準レベル＋２５６に、小さい場合は黒基準レベル−２５６にクリップすることとする。積分値Ｓ_i及び標準偏差σ_iはメモリに保持しておき、画像の最終行まで積分値計算を実施する。また、ここでは説明を簡潔にするために出力経路及び色によらずＨＯＢ画素の行積分値を算出することとしているが、チャンネル分離して実施しても良い。また、ｉ行目のシグナル積分値Ｓ_i及び標準偏差σ_iの算出には、ｉ行目のＨＯＢから出力される画素信号だけでなく、さらに前後の行、数行のＨＯＢ画素の信号を使用しても良い。

ステップＳ８０４で、ステップＳ８０３で算出したＨＯＢから出力される画素信号の積分値Ｓ０からＳｎの標準偏差σ_Vlineを求める。ステップＳ８０２で求めたσ_VOBとステップＳ８０４で求めたσ_Vlineの値から、補正を実施するかどうかの判定を行う（ステップＳ８０５）。σ_Vline／σ_VOBを算出し、判定値Ｋ以上であればステップＳ８０６に進み、補正を実施する。判定値Ｋより小さければステップＳ８１０に進み、補正は実施しない。

補正を実施する場合、ステップＳ８０６に進む。補正係数α_iを補正する行ごとに算出する（ｉは垂直方向の座標。ｉ＝０，１，２，…，ｎ）。Ｉ行目の補正係数α_iは、ステップＳ８０３で算出したσ_iから算出する。σ_iが大きい場合、ｉ行目のＨＯＢ積分値Ｓ_iはばらつきの多い画素データから算出しているため信頼度が低い。そのため、補正係数α_iを小さく設定する。一方、σ_iが小さい場合、ｉ行目のＨＯＢ積分値Ｓ_iはばらつきの少ない画素データから算出しているため信頼度が高い。そのため、補正係数α_iは１、もしくは１以下のそれに近い数値とする。このＩ行目の補正係数α_iは、σ_iに対するテーブルで定めても良いし、更にσ_VOBをパラメータに加えてσ_iとσ_VOBとの関数で決定しても良い。補正係数算出の関数としては、例えば式（３）や式（４）などがあげられる。

補正係数α_i＝β×σ_VOB／σ_i …（３）
補正係数α_i＝β×σ_VOB／√σ_i …（４）
ここで、βは任意に定める定数である。また、式（３）、式（４）を用いて算出した値が１を超えた場合は、補正係数が１を超えると過補正の恐れがあるため、補正係数α_i＝１とする。なお、本実施形態の補正係数を算出する式は、１例に過ぎずこれに限られるものではない。

続いて、ステップＳ８０８でｉ行目の補正値Ｖ_iを決定する（ｉは垂直方向の座標。ｉ＝０，１，２，…，ｎ）。補正値は式（５）に従って算出する。すなわち、ステップＳ８０３で算出した積分値に対し、それを算出するのに使用したデータ数で除算して平均値を算出し、予め設定しておいた黒基準レベルで減算する。これに対し、ステップＳ８０６で決定された補正係数α_iで乗じたものがその行の補正値となる。

補正値Ｖ_i＝α_i×（Ｓ_i／データ数−黒基準値） …（５）
そして、ステップＳ８０８で、補正値Ｖ_iを用いてｉ行の有効画素部の補正を式（２）に従って行う。

有効画素の信号の補正計算をその行の最後まで行ったら、その行の処理は終了である。またステップＳ８０６に戻って画像の最後の行までこの処理を繰り返す（ステップＳ８０９）。

以上の処理を行うことにより、各行のＨＯＢ画素の信号のばらつきを反映して補正値を決定するため新たにノイズを増やすことなく縞状ノイズの補正を実施することができる。なお、これらの処理はカメラ内部でなく、ＰＣ（パーソナルコンピュータ）上で行っても良い。なお、以上説明した実施形態では、基準画素領域が開口画素領域と同じ構造を有し、遮光されている例について説明したが、必ずしもこれに限られるものではない。たとえば、基準画素領域に含まれる基準画素がフォトダイオードを備えていなくても良い。その場合には、基準画素は遮光されていなくても良い。

以上説明したように、上記の実施形態によれば、基準となる画素信号の標準偏差の値によって補正を行うかの決定を行うため、誤補正により画像中に新たな縞状ノイズを発生させるのを抑制することができる。また、標準偏差の値に応じて補正係数を変えることにより、効果的に横縞状ノイズを補正することができる。

Claims (14)

1. 被写体像を光電変換する有効画素からなる有効画素領域と、基準となる画素信号を出力する基準画素からなる基準画素領域とを有する撮像素子と、
   前記基準画素領域から出力される画素信号の標準偏差を算出する第１の算出手段と、
   前記基準画素領域から出力される画素信号の行毎の積分値を算出する第２の算出手段と、
   前記第２の算出手段により算出された行毎の積分値の平均値を算出し、算出した平均値から所定の黒基準レベルを減算した結果に対して補正係数を乗じることにより行毎の補正値を算出する第３の算出手段と、
   前記第３の算出手段により算出された行毎の補正値を用いて前記有効画素領域から出力される画素信号を行毎に補正する補正手段と、を備え、
   前記補正係数は、前記第１の算出手段により算出される前記基準画素領域から出力される画素信号の標準偏差に基づいて決定されることを特徴とする撮像装置。
2. さらに、前記第１の算出手段により算出される標準偏差に基づいて前記補正手段による補正を行うか否かを制御する制御手段を備えることを特徴とする請求項１に記載の撮像装置。
3. 前記基準画素領域は、前記有効画素領域の上側に隣接して設けられた第１の基準画素領域と、前記有効画素領域の各行に隣接して設けられた第２の基準画素領域とから構成され、
   前記第１の算出手段は、前記第１の基準画素領域又は前記第２の基準画素領域から出力される画素信号の標準偏差を算出し、
   前記第２の算出手段は、前記第２の基準画素領域から出力される画素信号の行毎の積分値を算出することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記補正係数は、前記第１の算出手段により算出される前記第１の基準画素領域から出力される画素信号の標準偏差に基づいて決定されることを特徴とする請求項３に記載の撮像装置。
5. 前記第１の算出手段は、さらに前記第２の基準画素領域から出力される画素信号の行毎の標準偏差を算出し、
   前記補正係数は、前記第１の算出手段により算出される前記第２の基準画素領域から出力される画素信号の行毎の標準偏差に基づいて行毎に決定されることを特徴とする請求項３に記載の撮像装置。
6. 前記補正係数は、前記第１の算出手段により算出される前記第１の基準画素領域から出力される画素信号の標準偏差と前記第２の基準画素領域から出力される画素信号の行毎の標準偏差とに基づいて決定されることを特徴とする請求項５に記載の撮像装置。
7. 前記基準画素領域は、光が入射しないように遮光された遮光画素からなるオプティカルブラック領域であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 被写体像を光電変換する有効画素からなる有効画素領域と、基準となる画素信号を出力する基準画素からなる基準画素領域とを有する撮像素子を備える撮像装置の制御方法であって、
   前記基準画素領域から出力される画素信号の標準偏差を算出する第１の算出工程と、
   前記基準画素領域から出力される画素信号の行毎の積分値を算出する第２の算出工程と、
   前記第２の算出工程により算出された行毎の積分値の平均値を算出し、算出した平均値から所定の黒基準レベルを減算した結果に対して補正係数を乗じることにより行毎の補正値を算出する第３の算出工程と、
   前記第３の算出工程により算出された行毎の補正値を用いて前記有効画素領域から出力される画素信号を行毎に補正する補正工程と、を備え、
   前記補正係数は、前記第１の算出工程により算出される前記基準画素領域から出力される画素信号の標準偏差に基づいて決定されることを特徴とする撮像装置の制御方法。
9. さらに、前記第１の算出工程により算出される標準偏差に基づいて前記補正工程による補正を行うか否かを制御する制御工程を備えることを特徴とする請求項８に記載の撮像装置の制御方法。
10. 前記基準画素領域は、前記有効画素領域の上側に隣接して設けられた第１の基準画素領域と、前記有効画素領域の各行に隣接して設けられた第２の基準画素領域とから構成され、
    前記第１の算出工程では、前記第１の基準画素領域又は前記第２の基準画素領域から出力される画素信号の標準偏差を算出し、
    前記第２の算出工程では、前記第２の基準画素領域から出力される画素信号の行毎の積分値を算出することを特徴とする請求項８又は９に記載の撮像装置の制御方法。
11. 前記補正係数は、前記第１の算出工程により算出される前記第１の基準画素領域から出力される画素信号の標準偏差に基づいて決定されることを特徴とする請求項１０に記載の撮像装置の制御方法。
12. 前記第１の算出工程では、さらに前記第２の基準画素領域から出力される画素信号の行毎の標準偏差を算出し、
    前記補正係数は、前記第１の算出工程により算出される前記第２の基準画素領域から出力される画素信号の行毎の標準偏差に基づいて行毎に決定されることを特徴とする請求項１０に記載の撮像装置の制御方法。
13. 前記補正係数は、前記第１の算出工程により算出される前記第１の基準画素領域から出力される画素信号の標準偏差と前記第２の基準画素領域から出力される画素信号の行毎の標準偏差とに基づいて決定されることを特徴とする請求項１２に記載の撮像装置の制御方法。
14. 前記基準画素領域は、光が入射しないように遮光された遮光画素からなるオプティカルブラック領域であることを特徴とする請求項８乃至１３のいずれか１項に記載の撮像装置の制御方法。

Images