JP6961477B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

従来、撮像装置の出力画像に発生するノイズとして、撮像素子の電源やグラウンドの変動により発生する水平方向の横筋状ノイズや、局所的な高輝度被写体によって高輝度部の左右に帯状に発生する横スミア現象などが知られている。水平方向のノイズを補正する方法として、撮像素子において遮光されたオプティカルブラック（以下、ＯＢ）画素部の出力を水平方向に積分し、有効画素部の出力から減算して補正するクランプ補正が提案されている。その際、水平ＯＢ画素数が十分に大きくないと、クランプ補正による横引きノイズが無視できなくなってしまう。特許文献１には、複数ラインの水平ＯＢ平均値を用いてクランプを行うことにより、横引きノイズの悪化を抑制する技術が開示されている。

特開２０１３−１０６１８６号公報

しかしながら、特許文献１では、散発的に発生する横筋状ノイズは正しく補正することができるが、高輝度被写体による横スミア現象が発生した場合、横スミアの開始行付近と終了行付近で誤補正が発生してしまう。また、横スミア行においては複数フレームのライン平均値で補正をするように切り替える構成では、メモリが必要となり回路規模が大きくなってしまう。

本発明は、横筋状ノイズ補正および横スミア補正を精度よく行う撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、複数の画素が行列状に配列され、被写体からの光を受光する有効画素領域と、遮光された基準画素領域を有する撮像素子と、横筋状のノイズを検出する第１の検出部と、スミアを検出する第２の検出部と、前記横筋状のノイズの検出結果に基づいて、第１の補正値を生成する第１の補正値生成部と、前記スミアの検出結果に基づいて、第２の補正値を生成する第２の補正値生成部と、前記第１の補正値および前記第２の補正値に基づいて、第３の補正値を生成する第３の補正値生成部と、前記第３の補正値を用いて前記有効画素領域の出力信号を行ごとに補正する補正部と、を備える。

本発明によれば、横筋状ノイズ補正および横スミア補正を精度よく行う撮像装置を提供することができる。

撮像装置の構成を示すブロック図である。 横筋状ノイズと高輝度被写体が発生している画像の一例を示す図である。 補正値生成を説明する図である。 補正処理の構成を示すブロック図である。 補正値生成を説明する図である。

（第１実施形態）
図１は、撮像装置１００の構成を示すブロック図である。本実施形態では、レンズ装置を着脱可能な撮像装置の例を示しているが、レンズ装置と一体となっている撮像装置であってもよい。撮像装置１００は、撮像素子１０１、信号処理部１０２、システム制御部１０３、画像処理部１０４、記録媒体１０５、画像表示部１０６、温度判定部１０７、撮影感度判定部１０８およびランダムノイズ判定部（以下、ノイズ判定部）１０９を備える。

撮像素子１０１は、光電変換部を有し、被写体の光学像を結像させる光学系（不図示）を通った光を電気信号に変換して画像信号として出力する。信号処理部１０２は、撮像素子１０１から出力された信号の増幅や黒レベルの調整（ＯＢクランプ）を行う信号処理回路である。信号処理部１０２は、システム制御部１０３から受け取ったオプティカルブラック（以下、ＯＢ）クランプタイミングやＯＢクランプ目標レベルなどに基づいて処理を行う。

また、信号処理部１０２は、本実施形態において後述する補正処理を行う。信号処理部１０２は、補正処理に関する構成として、平均値演算部１０２１、平均値演算部１０２２、横筋状ノイズ検出部１０２３および横スミア検出部１０２４を備える。信号処理部１０２は、さらに、横筋状ノイズ補正値生成部１０２５、横スミア補正値生成部１０２６、補正値合成部１０２７および補正部１０２８を備える。

平均値演算部１０２１は、着目ラインの平均値Ｄｎを算出する。平均値演算部１０２２は、複数ラインの平均値Ｈｋを算出する。横筋状ノイズ検出部１０２３は、横筋状ノイズの検出を行う。横スミア検出部１０２４は、横スミアの検出を行う。横筋状ノイズ補正値生成部１０２５は、検出した横筋状ノイズを補正するための補正値ｐａｒａｍ１１を算出する。横スミア補正値生成部１０２６は、検出した横スミアを補正するための補正値ｐａｒａｍ１２を算出する。補正値合成部１０２７は、横筋状ノイズ補正値生成部１０２５が算出した補正値と横スミア補正値生成部１０２６が算出した補正値に基づいて、補正値ｐａｒａｍ１３を算出する。補正部１０２８は、算出した補正値ｐａｒａｍ１３に基づいて、撮像素子１０１から出力された信号を補正し、補正した信号を画像処理部１０４に出力する。

システム制御部１０３は、撮像装置１００の各部を制御するプロセッサーであり、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。また、システム制御部１０３は、ＲＡＭやＲＯＭ等のメモリを備えている。システム制御部１０３は、ＲＯＭに記憶された所定のプログラムに従って、カメラ内の各種回路を駆動し、撮像処理、画像処理、記録処理等の一連の動作を制御する。画像処理部１０４は、現像処理を行う。画像処理部１０４は、現像した画像を記録媒体１０５に記録したり、画像表示部１０６に表示したりする。記録媒体１０５は、フラッシュメモリ等のカメラ本体部に着脱可能な記録媒体であり、画像データ等を記録する。画像表示部１０６は、ＬＣＤ（液晶表示装置）等の表示デバイスを有し、カメラの撮影モードに関する情報、操作画面、撮影した画像等を表示する。

温度判定部１０７は、撮像素子の温度を判定する温度センサーである。撮影感度判定部１０８は、撮影感度を判定する。ノイズ判定部１０９は、撮像素子から出力される信号が持つランダムノイズ成分の大きさを判定する。撮影感度判定部１０８およびノイズ判定部１０９は、撮像素子１０１の出力信号、信号処理部１０２の出力信号、画像処理部１０４の画像処理部内の画像データのうち少なくとも１つに基づいて、撮影感度およびランダムノイズ量を判定する。その判定の方法については、本発明の主旨とは直接関係しないため、説明は省略する。

図２は、横筋状ノイズと高輝度被写体による横スミアが発生している画像の一例を示す図である。撮像素子１０１には、複数の画素が行列状に配列されている。撮像素子１０１は、被写体からの光を受光する有効画素領域２０３と、有効画素領域２０３の周辺部にある遮光された黒基準画素領域２０１および黒基準画素領域２０２を有する。有効画素領域２０３の有効画素は、入射光に応じて発生した電荷を蓄積して出力する。有効画素領域２０３、黒基準画素領域２０１および黒基準画素領域２０２は、画素としては同じ構造を有している。有効画素領域２０３は遮光されていないが、黒基準画素領域２０１および黒基準画素領域２０２は遮光されている。なお、黒基準画素領域２０１および黒基準画素領域２０２は光電変換素子を持たない構成でもよい。

黒基準画素領域２０１には、水平黒基準画素領域（以下、ＨＯＢ領域）が設けられている。ＨＯＢ領域は、有効画素領域２０３の水平方向の先頭（左側）に隣接して設けられた遮光された領域である。また、黒基準画素領域２０２には、垂直方向黒基準画素領域（以下、ＶＯＢ領域）が設けられている。ＶＯＢ領域は、有効画素領域２０３の垂直方向の先頭（上側）に隣接して設けられた遮光された領域である。

横筋状ノイズ２０５は、撮像素子１０１に現れる横筋状ノイズである。横筋状ノイズ２０５は、外乱ノイズ、撮像素子の電源やＧＮＤ配線に発生するノイズ等の影響により、一時的に生じる横引きノイズである。横スミア発生領域２０６は、横スミア現象の発生領域である。横スミア現象は、高輝度の被写体である高輝度被写体２０４の周辺に発生する。横スミア発生領域２０６は、横スミア現象により左右にオフセット誤差を持つ行が複数行に渡って現れていることを示している。

図１および図３を参照し、本実施形態に係る補正処理について説明する。図３は、補正処理の補正値と補正結果を示す図である。縦軸が、各ラインを表している。図３（Ａ）は、図２に示した横筋状ノイズと横スミアを各ラインの平均値で表した図である。横軸が、各ラインの平均値を表している。平均値３０１は、有効画素領域の各ラインの平均値を表している。図３（Ａ）においては、上側の平均値３０１が突出したラインに横筋状ノイズが発生し、中央の平均値３０１が突出したラインに横スミアが発生している様子を示している。

横筋状ノイズおよび横スミアを補正するために、まず、補正対象となる横筋状ノイズおよび横スミアの検出が行われる。横筋状ノイズの検出および横スミアの検出においては、まず、平均値演算部１０２２が、検出の基準レベルを求める。基準レベルは、ＨＯＢ領域画素を、着目ラインを含む複数ライン分にわたって平均化した平均値Ｈｋとする。したがって、平均値演算部１０２２は、撮像素子１０１からの出力に基づいて、ＨＯＢ領域の複数のラインの平均値Ｈｋを基準レベルとして算出する。なお、平均値Ｈｋは、横筋状ノイズの検出と横スミアの検出に対して共通に演算する。共通に演算することにより、平均値Ｈｋ算出時における時定数が等しくなり、後述するように、横筋状ノイズ補正と横スミア補正の相殺効果により、誤補正を低減することができる。次に、平均値演算部１０２１が、判定の対象となる着目ラインの平均値Ｄｎを算出する。

なお、複数ラインの平均値Ｈｋを演算するときに、着目ラインは含まないものとしてもよい。着目ラインを含む場合、横筋状ノイズ及び横スミアが発生したラインではＨｋが大きくなり、その差分｜Ｈｋ−Ｄｎ｜および｜Ｈｋ−ｃｏｎｓｔ｜を合わせて補正値とする際に、誤差が生じてしまう。ｃｏｎｓｔは、黒基準値であり、黒レベル等を表す所定の定数である。そこで、複数ラインの平均値Ｈｋを演算するときに着目ラインを含まず、着目ライン周辺の複数のラインもしくは着目ラインより前の複数のラインの平均値を算出するようにすることで、誤差を低減することができる。

次に、横筋状ノイズの検出と横スミアの検出が行われる。横筋状ノイズの検出と横スミアの検出は、並行して行われる。まず、横筋状ノイズの検出について説明する。横筋状ノイズ検出部１０２３は、基準レベルである平均値Ｈｋと判定の対象である着目ラインの平均値Ｄｎの差分｜Ｈｋ−Ｄｎ｜が、ｔｈ１より大きいか判定する。差分｜Ｈｋ−Ｄｎ｜がｔｈ１より大きい場合に、着目ラインに横筋状ノイズが発生していると判定される。しかし、横スミアの開始行付近と終了行付近では、横筋状ノイズを誤検出してしまう。

ｔｈ１は、横筋状ノイズの検出および横スミアの検出に用いる閾値である。ｔｈ１は、補正により抑圧すべき横筋状ノイズおよび横スミアのレベルに応じて設定される。また、ｔｈ１は、撮像素子の個体毎にシステム制御部１０３から設定されてもよい。また、ｔｈ１は、信号が持つランダムノイズ成分に応じて変化させてもよい。一般に撮影感度を上げると、信号が持つランダムノイズ成分や横筋状ノイズやスミア現象のオフセット誤差も上昇するため、閾値ｔｈ１を適切に設定する必要がある。一方で、列アンプの非線形特性などの影響により、撮影感度とランダムノイズ成分は非線形性を持つ。そのため、システム制御部１０３が、ランダムノイズの影響を考慮したｔｈ１のテーブルを記憶し、ランダムノイズの大きさの判定を行うノイズ判定部１０９の判定結果に応じて、テーブルを参照してｔｈ１を決定するようにすればよい。このようにすることで、撮影感度が上昇してランダムノイズが大きくなった状態でも、精度よく補正処理を行うことができる。

横筋状ノイズ検出部１０２３において、横筋状ノイズと判定された場合、横筋状ノイズ補正値生成部１０２５は、横筋状ノイズ補正値である補正値ｐａｒａｍ１１を｜Ｈｋ−Ｄｎ｜とする。一方、横筋状ノイズ検出部１０２３において、横筋状ノイズと判定されなかった場合、横筋状ノイズ補正値生成部１０２５は、補正値ｐａｒａｍ１１を０とする。なお、補正値ｐａｒａｍ１１に対して過補正を防止するために、調整用の補正係数をかけてもよい。

次に、横スミアの検出について説明する。横スミア検出部１０２４は、基準レベルである平均値Ｈｋと黒基準値であるｃｏｎｓｔとの差分｜Ｈｋ−ｃｏｎｓｔ｜が、閾値であるｔｈ１より大きいか判定する。差分｜Ｈｋ−ｃｏｎｓｔ｜がｔｈ１より大きい場合に、横スミアが発生していると判定される。横スミア検出部１０２４において、横スミアと判定された場合、横スミア補正値生成部１０２６は、横スミア補正値である補正値ｐａｒａｍ１２を｜Ｈｋ−ｃｏｎｓｔ｜とする。一方、横スミア検出部１０２４において、横スミアと判定されなかった場合、横スミア補正値生成部１０２６は、補正値ｐａｒａｍ１２を０とする。なお、補正値ｐａｒａｍ１２に対して過補正を防止するために、調整用の補正係数をかけてもよい。

なお、横スミア補正に用いる黒基準値のｃｏｎｓｔを、温度に応じて変化させるようにしてもよい。一般に、撮像素子の温度が変化すると、暗電流などの特性の変化が起き、黒基準画素領域のレベルも変化する。したがって、ｃｏｎｓｔは温度に応じて適切に設定する必要がある。そのため、システム制御部１０３が、温度の影響を考慮したｃｏｎｓｔのテーブルを記憶し、温度判定部１０７の判定結果に応じて、テーブルを参照してｃｏｎｓｔを決定するようにすればよい。このようにすることで、温度が上昇した場合においても、精度よく補正処理を行うことができる。

横スミアの検出は、基準レベルである平均値Ｈｋと黒基準値であるｃｏｎｓｔとの差分｜Ｈｋ−ｃｏｎｓｔ｜に基づいて行われる。平均値Ｈｋは、複数ラインの平均値であるが、複数ラインの平均値を用いて検出を行うと、横スミアの開始行付近と終了行付近で横スミアを誤検出してしまう。そして、誤検出した検出結果に基づいて補正を行うと、誤補正となってしまう。そこで、本実施形態では、横スミア補正と横筋状ノイズ補正の補正値を加算することで、横スミア補正の誤補正分を横筋状ノイズ補正の誤補正分で打ち消し、誤補正を軽減する。

横筋状ノイズおよび横スミアの検出が行われ、横筋状ノイズの補正値ｐａｒａｍ１１および横スミアの補正値ｐａｒａｍ１２が生成されると、補正値合成部１０２７で、２つの補正値ｐａｒａｍ１１と補正値ｐａｒａｍ１２を加算する。補正値ｐａｒａｍ１１と補正値ｐａｒａｍ１２を加算した値を、補正値ｐａｒａｍ１３とする。補正部１０２８は、補正値合成部１０２７で算出された補正値ｐａｒａｍ１３に基づいて、撮像素子１０１から出力された信号を補正し、補正した信号を画像処理部１０４に出力する。補正値ｐａｒａｍ１１と補正値ｐａｒａｍ１２を加算した補正値で補正することで、横スミア検出の開始行付近及び終了行付近において、横筋状ノイズと横スミアの補正による誤補正分を相殺させることができ、精度よく補正することができる。

横筋状ノイズや高輝度被写体によるスミア現象は、撮影感度が低い時には目立たない。そのため、撮影感度判定部１０８の判定結果に応じて、補正処理を行うか否か決定するようにしてもよい。撮影感度判定部１０８が、撮影感度が所定の感度以上であると判定した場合は、補正処理を行う。一方、撮影感度判定部１０８が、撮影感度が所定の感度より低いと判定した場合は、補正処理を行わない。このようにすることで、消費電力を低減することができる。

図３（Ｂ）は、図３（Ａ）に示した各ラインの平均値３０１に対して、横筋状ノイズの検出値および横スミアの検出値を示す図である。横軸が、各ラインの検出値を表している。横筋状ノイズ検出値３０２は、横筋状ノイズ検出の検出値｜Ｈｋ−Ｄｎ｜を表している。横スミア検出値３０３は、横スミア検出の検出値｜Ｈｋ−ｃｏｎｓｔ｜を表している。横筋状ノイズは散発的に発生するので、横筋状ノイズ検出値３０２は急峻に変化する。一方。横スミアは複数ラインにまたがって発生するので、横スミア検出値３０３は判別を行う着目ラインのライン平均値に追従する。

図３（Ｃ）は、補正値ｐａｒａｍ１１および補正値ｐａｒａｍ１２を示す図である。横軸が、各ラインの補正値を表している。補正値３０４は、横筋状ノイズの補正値ｐａｒａｍ１１を表している。補正値３０５は、横スミアの補正値ｐａｒａｍ１２を表している。横筋状ノイズおよび横スミアのいずれも、閾値ｔｈ１を超えた場合に補正値が生成され、超えなかった場合には補正値が０となる。なお、補正値３０４および補正値３０５は、複数ラインＨｋ演算時に、着目ラインを含めていない例である。

図３（Ｄ）は、補正前と補正後の有効画素領域の各ライン平均値の結果を示す図である。横軸が、各ラインの平均値を表している。平均値３０６は、補正後の有効画素領域の各ライン平均値を示している。補正値合成部１０２７で補正値３０４と補正値３０５を加算し、補正部１０２８では、加算した補正値に基づいて補正を行っている。そのため、横スミア検出の開始行付近及び終了行付近において、横筋状ノイズと横スミアの補正による誤補正分を相殺させることができ、精度よく補正することができる。また、若干の補正残りがあるが、補正残りの値は閾値ｔｈ１以下となり、補正残りは無視することができるレベルのものとなる。

以上説明したように、本実施形態によると、バッファメモリを設けず比較的回路規模の小さな回路構成で高輝度被写体による横スミア現象および横縞等の行方向に生じる横筋状ノイズに対して、それぞれ適切な補正処理を実現することが可能となる。

（第２実施形態）
図４は、第２実施形態における補正処理に関する構成を示すブロック図である。信号処理部１０２は、補正処理に関する構成として、平均値演算部１０２１、平均値演算部４０１、平均値演算部４０２、横筋状ノイズ検出部１０２３、横スミア検出部１０２４、横筋状ノイズ補正値生成部１０２５および横スミア補正値生成部１０２６を備える。信号処理部１０２は、さらに、補正値合成部１０２７および補正部１０２８を備える。また、信号処理部１０２は、横筋状ノイズの検出履歴管理部４０３、横スミアの検出履歴管理部４０４、誤補正判定部４０５および記憶部４０６を備える。その他の撮像装置の構成は、第１実施形態と同様である。

本実施形態では、第１実施形態と比較すると、横筋状ノイズ検出の検出情報を読み取る横筋状ノイズの検出履歴管理部４０３と、横スミア検出の検出情報を読み取る横スミアの検出履歴管理部４０４が追加されている。さらに、横筋状ノイズの検出情報および横スミアの検出情報から、横筋状ノイズ補正及び横スミア補正による誤補正を判定し、誤補正と判定した場合に補正値を補正する誤補正判定部４０５および合成された補正値を保存する記憶部４０６が追加されている。

第１実施形態では、横筋状ノイズ補正および横スミア補正による誤補正を打ち消すために、横筋状ノイズ補正と横スミア補正で検出閾値（ｔｈ１）を等しくし、複数ラインの平均値（Ｈｋ）を求める際のライン数を等しくする必要があった。一方、本実施形態では、検出閾値と複数ライン平均時のライン数が、横筋状ノイズ補正と横スミア補正で異なる値に設定された場合においても、同様に補正を行うことができる。

横筋状ノイズ補正と横スミア補正では、撮像素子の個体ばらつきや撮影モード等の影響を考慮して、それぞれ別々に平均値を算出し、検出に用いる閾値もそれぞれ別々に設定したい場合がある。そこで、本実施形態では、横筋状ノイズ検出用の複数ライン平均値Ｈｋ１を平均値演算部４０１で算出し、横スミア検出用の複数ライン平均値Ｈｋ２を平均値演算部４０２で算出する。また、横筋状ノイズの検出に用いる閾値をｔｈ２とし、横スミアの検出に用いる閾値をｔｈ３とする。ｔｈ２とｔｈ３は異なる値である。本実施形態では、横筋状ノイズと横スミアで、複数ラインの平均値Ｈｋと閾値ｔｈが異なるため、これに起因する誤補正の検出を行う必要がある。

図４および図５を参照しながら、第２実施形態に係る補正処理について説明する。図５は、第２実施形態における補正処理の補正値と補正結果を示す図である。縦軸が、各ラインを表している。ここでは説明のため、横筋状ノイズ検出用の検出閾値ｔｈ２が、横スミア検出用の検出閾値ｔｈ３より大きくなった場合を例にしているが、これに限られるものではない。なお、複数ライン平均値と検出閾値が異なる以外は、横筋状ノイズ及び横スミアの検出、補正値の生成および加算、補正の動作は第１実施形態と同様であるため、説明は割愛する。

図５（Ａ）は、図２に示した横筋状ノイズと横スミアを各ラインの平均値で表した図であり、図３（Ａ）と同様の図である。平均値３０１は、有効画素領域の各ラインの平均値を表している。図５（Ｂ）は、横筋状ノイズの検出値を示す図である。横筋状ノイズ検出値５０１は、横筋状ノイズ検出の検出値｜Ｈｋ１−Ｄｎ｜を表している。ｔｈ２は、横筋状ノイズを検出するための閾値である。図５（Ｃ）は、横スミア検出値を示す図である。横スミア検出値５０２は、横スミア検出の検出値｜Ｈｋ２−ｃｏｎｓｔ｜を表している。ｔｈ３は、横スミアを検出するための閾値である。横筋状ノイズ検出と横スミア検出とで閾値が異なる値となったため、横筋状ノイズおよび横スミア補正の誤補正が発生する領域がずれてしまい、補正残りが大きくなってしまう。

そこで、本実施形態では、誤補正を抑制するために、横筋状ノイズ検出および横スミア検出の検出履歴情報を参照し、誤補正領域の判定を行う。横筋状ノイズの検出履歴管理部４０３は、横筋状ノイズの検出に応じて、横筋状ノイズの検出情報の履歴である検出情報ｃｎｔ１を更新する。検出情報ｃｎｔ１は、横筋状ノイズが検出された場合に検出値が加算され、検出されなかった場合には０にリセットされる。同様に、横スミアの検出履歴管理部４０４は、横スミアの検出に応じて、横スミアの検出情報の履歴である検出情報ｃｎｔ２を更新する。検出情報ｃｎｔ２は、横スミアが検出された場合に検出値が加算され、検出されなかった場合には０にリセットされる。

記憶部４０６は、横筋状ノイズの補正値ｐａｒａｍ４１と横スミアの補正値ｐａｒａｍ４２を合成した補正値ｐａｒａｍ４３を保存する。横筋状ノイズの補正値ｐａｒａｍ４１は横筋状ノイズ補正値生成部１０２５で生成され、横スミアの補正値ｐａｒａｍ４２は、横スミア補正値生成部１０２６で生成される。補正値ｐａｒａｍ４３は、補正値合成部１０２７で横筋状ノイズの補正値ｐａｒａｍ４１と横スミアの補正値ｐａｒａｍ４２を加算して算出される。補正値ｐａｒａｍ４３は、ラインごとに更新される。

誤補正判定部４０５は、横筋状ノイズの検出履歴管理部４０３に記録された検出情報ｃｎｔ１および横スミアの検出履歴管理部４０４に記録された検出情報ｃｎｔ２に基づいて、補正値ｐａｒａｍ４３で補正した場合に誤補正が生じるか否か判定する。誤補正判定部４０５は、検出情報ｃｎｔ１と検出情報ｃｎｔ２のいずれか一方が検出履歴情報の閾値ｔｈ４より大きく、かつ、他方が０であるとき、誤補正であると判定する。

横筋状ノイズなどの複数ラインにまたがらない細いノイズがある場合、このノイズは横筋状ノイズ検出でのみ検出される。検出した横筋状ノイズの補正を誤補正と誤認せず精度よく行うために、検出履歴情報の閾値ｔｈ４は横筋状ノイズの太さ以上の値とする必要がある。また、一方の検出履歴情報の値が閾値ｔｈ４である場合に、他方の検出履歴情報の値が０であるか否か判断することで、誤って過補正してしまうことを防ぐことができる。

誤補正判定部４０５は、誤補正ではないと判定した場合、補正部１０２８に補正値ｐａｒａｍ４３を出力する。以下、誤補正ではないと判定した場合を状態１という。一方、誤補正判定部４０５は、誤補正であると判定した場合は、補正部１０２８に記憶部４０６に保存した一つ前のラインの補正値ｐａｒａｍ４３を出力する。以下、誤補正であると判定した場合を状態２と定義し、一つ前のラインの補正値ｐａｒａｍ４３を補正値ｐａｒａｍ４４と記す。なお、この際、一つ前のラインの補正値である補正値ｐａｒａｍ４４は更新しない。したがって、誤補正と判定した場合には、誤補正判定部４０５は、誤補正と判定したラインの補正値ｐａｒａｍ４３を一つ前のラインの補正値ｐａｒａｍ４４に補正する補正値補正部としての機能も有する。

図５（Ｄ）は、検出履歴に記録されている検出情報を示す図である。検出情報５０３は、横筋状ノイズの検出情報の履歴である検出情報ｃｎｔ１を表している。検出情報５０４は、横スミアの検出情報の履歴である検出情報ｃｎｔ２を表している。

各ラインのうち、領域６０１で示される範囲では、ｃｎｔ１＜ｔｈ４，ｃｎｔ２＝０となっている。したがって、誤補正判定部４０５は、状態１であると判定し、補正部１０２８に補正値ｐａｒａｍ４３を出力する。領域６０１では、横筋状ノイズ補正のみが動作しており、横スミアの開始行付近も横筋状ノイズ補正処理で補正を行う。

領域６０２で示される範囲では、ｃｎｔ１＞ｔｈ４，ｃｎｔ２＝０となっている。したがって、誤補正判定部４０５は、状態２であると判定し、補正部１０２８に補正値ｐａｒａｍ４４を出力する。領域６０２では、ｃｎｔ１がｔｈ４を超え、横筋状ノイズであると判断し、前ラインの補正値ｐａｒａｍ４４で補正を行う。

領域６０３で示される範囲では、ｃｎｔ１≠０，ｃｎｔ２≠０となっている。したがって、誤補正判定部４０５は、状態１であると判定し、補正部１０２８に補正値ｐａｒａｍ４３を出力する。領域６０３では、ｃｎｔ１とｃｎｔ２がそれぞれ検出され、横筋状ノイズ補正の誤補正と横スミア補正の誤補正が打ち消しあう。

領域６０４で示される範囲では、ｃｎｔ１＝０，ｃｎｔ２＞ｔｈ４となっている。したがって、誤補正判定部４０５は、状態２であると判定し、補正部１０２８に補正値ｐａｒａｍ４４を出力する。横スミア補正のみが動作している領域６０４では、前のラインの補正値を引き継ぐことで、横スミア開始行付近の誤補正の発生を抑制することができる。

領域６０５で示される範囲では、ｃｎｔ１≠０，ｃｎｔ２≠０となっている。したがって、誤補正判定部４０５は、状態１であると判定し、補正部１０２８に補正値ｐａｒａｍ４３を出力する。横スミア終了行付近である領域６０５では、横筋状ノイズ補正と横スミア補正の誤補正分が打ち消しあっている。

領域６０６で示される範囲では、ｃｎｔ１＝０，ｃｎｔ２＞ｔｈ４となっている。したがって、誤補正判定部４０５は、状態２であると判定し、補正部１０２８に補正値ｐａｒａｍ４４を出力する。横スミア補正の誤補正が残ってしまう領域６０６では、前のラインの補正値を引き継ぐことで、誤補正の発生を抑制することができる。

領域６０７で示される範囲では、ｃｎｔ１＝０，ｃｎｔ２＝０となっている。したがって、誤補正判定部４０５は、状態１であると判定し、補正部１０２８に補正値ｐａｒａｍ４３を出力する。領域６０７は、どちらの補正も行われない通常行である。

以上のプロセスで生成された補正値が、図５（Ｅ）の補正値５０５である。図５（Ｅ）は、補正値および補正後の有効画素領域の各ライン平均値の結果を示す図である。補正値５０５は、誤補正判定部４０５が補正部１０２８に出力する補正値である。すなわち、補正値５０５は、状態１の補正値ｐａｒａｍ４３と状態２の補正値ｐａｒａｍ４４を合わせた値である。補正結果５０６は、補正値５０５に基づく補正後の有効画素領域の各ライン平均値である。誤補正判定部４０５による誤補正の判定により、横筋状ノイズ補正の誤補正と横スミア補正の誤補正がなくなって、精度よく補正値を算出することができる。

本実施形態では検出閾値が異なる場合を説明したが、複数ラインの平均値が異なる場合も同様の原理で誤補正領域を判定し、適切な補正値を生成することができる。以上のように、本実施形態によると、複数ライン平均値のライン数やノイズ行検出用の閾値が異なっていても、高輝度被写体による横スミア現象および横縞等の行方向に生じる横筋状ノイズに対して、高精度な補正処理を実現することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 撮像装置
１０１ 撮像素子
１０２ 信号処理部
１０２１ 平均値演算部
１０２２ 平均値演算部
１０２３ 横筋状ノイズ検出部
１０２４ 横スミア検出部
１０２５ 横筋状ノイズ補正値生成部
１０２６ 横スミア補正値生成部
１０２７ 補正値合成部
１０２８ 補正部

Claims (15)

1. 複数の画素が行列状に配列され、被写体からの光を受光する有効画素領域と、遮光された基準画素領域を有する撮像素子と、
   横筋状のノイズを検出する第１の検出部と、
   スミアを検出する第２の検出部と、
   前記横筋状のノイズの検出結果に基づいて、第１の補正値を生成する第１の補正値生成部と、
   前記スミアの検出結果に基づいて、第２の補正値を生成する第２の補正値生成部と、
   前記第１の補正値および前記第２の補正値に基づいて、第３の補正値を生成する第３の補正値生成部と、
   前記第３の補正値を用いて前記有効画素領域の出力信号を行ごとに補正する補正部と、を備えることを特徴とする撮像装置。
2. 前記第１の検出部は、前記基準画素領域の複数ラインの出力信号に応じた第１の値と前記有効画素領域の着目ラインの出力信号に応じた第２の値との差分を第１の閾値と比較して、前記横筋状のノイズを検出し、
   前記第１の補正値生成部は、前記第１の値と前記第２の値の差分に基づいて、前記第１の補正値を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記第２の検出部は、前記基準画素領域の複数のラインの出力信号に応じた第３の値と前記基準画素領域の所定の基準値との差分を第２の閾値と比較して、前記スミアを検出し、
   前記第２の補正値生成部は、前記第３の値と前記基準値の差分に基づいて、前記第２の補正値を生成することを特徴とする請求項２に記載の撮像装置。
4. 前記第１の閾値と前記第２の閾値とは、同じ値であることを特徴とする請求項３に記載の撮像装置。
5. 前記有効画素領域および前記基準画素領域のランダムノイズを判定するノイズ判定部をさらに備え、
   前記第１の閾値または前記第２の閾値は、前記ランダムノイズに応じて設定されることを特徴とする請求項３または請求項４に記載の撮像装置。
6. 前記第１の値を算出するための前記複数ラインのライン数と、前記第３の値を算出するための前記複数ラインのライン数とは、同じライン数であることを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
7. 前記第３の補正値を補正する補正値補正部をさらに備え、
   前記補正値補正部は、前記横筋状のノイズの検出履歴情報および前記スミアの検出履歴情報に基づいて、前記第３の補正値を補正することを特徴とする請求項３に記載の撮像装置。
8. 補正値補正部は、前記横筋状のノイズの検出履歴情報と前記スミアの検出履歴情報とを第３の閾値と比較し、
   いずれか一方の検出履歴情報の値が前記第３の閾値より大きく、かつ、他方の検出履歴情報の値が０である場合、前記第３の補正値を補正することを特徴とする請求項７に記載の撮像装置。
9. 前記補正値補正部は、前記第３の補正値を補正する場合、補正対象のラインの補正値を、前のラインの前記第３の補正値とすることを特徴とする請求項７または請求項８に記載の撮像装置。
10. 前記第１の閾値と前記第２の閾値とは、異なる値であることを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
11. 前記第１の値を算出するための前記複数ラインのライン数と、前記第３の値を算出するための前記複数ラインのライン数とは、異なるライン数であることを特徴とする請求項７乃至１０のいずれか１項に記載の撮像装置。
12. 前記第１の値および前記第２の値を算出するための前記複数のラインには、着目ラインを含まないことを特徴とする請求項３乃至１１のいずれか１項に記載の撮像装置。
13. 前記撮像素子の温度を判定する温度判定部をさらに備え、
    前記基準画素領域の所定の基準値は、前記温度に応じて設定されることを特徴とする請求項３乃至１２のいずれか１項に記載の撮像装置。
14. 撮影感度を判定する感度判定部をさらに備え、
    前記撮影感度が所定の感度以上である場合に前記検出および前記補正を行い、前記撮影感度が所定の感度より低い場合は、前記検出および前記補正を行わないことを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 複数の画素が行列状に配列され、被写体からの光を受光する有効画素領域と、遮光された基準画素領域を有する撮像素子を備えた撮像装置の制御方法であって、
    横筋状のノイズを検出する第１の検出工程と、
    スミアを検出する第２の検出工程と、
    前記横筋状のノイズの検出結果に基づいて、第１の補正値を生成する第１の補正値生成工程と、
    前記スミアの検出結果に基づいて、第２の補正値を生成する第２の補正値生工程と、
    前記第１の補正値および前記第２の補正値に基づいて、第３の補正値を生成する第３の補正値生成工程と、
    前記第３の補正値を用いて前記有効画素領域の出力信号を行ごとに補正する補正工程と、を有することを特徴とする制御方法。

Images