JP5955466B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、特に撮像素子から出力される画像信号に含まれる雑音の低減に関するものである。

撮像素子は、個々の画素毎に微小な出力差異が存在し、固定パターンノイズとして知られる。加えて複数の画素の中には欠陥をもつものも有り、画素欠陥として常に突出した出力を示す画素が存在することも知られている。また遮光時の出力を０出力とするために基準となるオプティカルブラック（遮光）画素を用いて、撮像装置の回路側にて映像画素からオプティカルブラック画素をオフセット減算することが一般的である。

従来、固体撮像素子の受光面の有効画素より先に読み出す４ラインの垂直遮光画素から取得した信号の画面垂直方向の暗電流むらを補正してから、垂直遮光画像４ラインの各垂直画素信号の最小値から２番目の値を算出し、垂直スミア補正信号として記憶し、画像ＡＧＣに合わせて利得を可変して固体撮像素子の受光面の有効画素から出力されるＡＧＣ後の画像信号から減算する。また、前記固体撮像素子から出力される信号を１４ビットにＡ／Ｄ変換して前記代表値信号を算出して１５／１６に減衰して、前記固体撮像素子の受光面の有効画素から出力される画像信号から減算する技術が開示されている（例えば、特許文献１参照。）。

特開２００８−１０９６３９号公報

従来の一般的な手法であるオプティカルブラック（ＯＢ）領域や同一画素に対する単純な平均化によれば、白傷などの欠陥を持つ画素や、放射線による励起、あるいは点滅しての振る舞う欠陥を持つ画素などによる平均化に加えるべきでない値も合わせて平均化してしまう問題が有る。

本発明の目的は、撮像素子のオフセット出力変動や固定パターンノイズの補正論理回路において、平均化すべきでない値を平均動作に加えず、環境変化に追従して平均化すべき値を見付け出し、利用者あるいは外部計算回路に頼らず、自動的に平均動作を行う論理回路を、目的に沿った少ない回路構成で実現することにある。

本発明の撮像装置は、撮像部と、補正値出力部と、減算部を備えた撮像装置であって、補正値出力部は撮像部の遮光画素領域から出力される画素毎の信号レベルを複数の閾値で判定して所定内の信号レベルの画素信号を選択し、該選択した画素信号を平均化し、該平均化した信号を補正値信号として出力し、減算部は前記撮像部の感光画素領域から出力される信号を補正値信号で減算することを特徴とする。

本発明の撮像装置は、上述の撮像装置であって、補正値信号を比較参照値として保持する補正値保持レジスタ部と、平均化の開始と終了を制御する制御部と、複数の閾値を保持する設定部と、比較参照値と、新たな補正値信号の差分絶対値を算出する差分検出部と、 複数の閾値に対して前記差分絶対値の大きさが超えるか否かを判定する閾値検出判定部と、閾値判定部の出力と画素信号を加算する加算部と、複数の閾値に対して閾値判定にて閾値以内と判定された時にカウンタを繰り上げる閾値内画素データ出現回数判定部と、閾値内画素データ出現回数判定部の出力値が定められた一定値を超える最少の値を選択し、かつ同じ閾値を用いた加算部の出力を選択する選択部と、選択された加算部の出力を、選択された閾値内画素データ出現回数判定部の出力で、除算し利用した閾値による加算値を正規化して平均値とする正規化部と、正規化部の出力を制御部がアドレス指定する領域毎に保持し、アドレス指定された値を出力できる補正値保持メモリ部と、補正値保持メモリ部の出力を制御部の指定するタイミングにて、補正値保持レジスタ部が保持し、比較参照値および従属回路への平均化出力とする平均化回路構成を有することを特徴とする。

本発明の撮像装置は、上述の撮像装置であって、加算部の出力と前記閾値内画素データ出現回数判定部の出力を選択する選択部は、閾値の応じて切り替えることを特徴とする。

本発明の撮像装置は、上述の撮像装置であって、補正値出力部は撮像部の遮光画素領域から出力される水平ラインの画素毎の信号レベルを複数の閾値で判定して所定内の信号レベルの画素信号を選択し、該選択した画素信号を平均化し、該平均化した信号を補正値信号として出力することを特徴とする。

本発明の撮像装置は、上述の撮像装置であって、補正値出力部はさらに補正値保持メモリ部を有し、補正値保持メモリ部は補正値信号と、撮像部の遮光画素領域から出力される画素毎の信号レベルを記憶することを特徴とする。

本発明の撮像装置は、上述の撮像装置であって、さらにフレームメモリを複数有し、複数フレームメモリを用いて前記画素信号のフレーム平均化回路を構成することを特徴とする。

本発明の撮像装置は、上述の撮像装置であって、補正値出力部は補正値信号を出力後、再度、撮像部の遮光画素領域から出力される画素毎の信号レベルを複数の閾値で判定して所定内の信号レベルの画素信号を選択し、該選択した画素信号を平均化し、該平均化した信号を補正値信号として出力することを特徴とする。

本発明の撮像装置は、上述の撮像装置であって、フレームメモリに記憶してある情報に所定の係数を乗算して補正値信号を生成することを特徴とする。

本発明の撮像装置は、上述の撮像装置であって、さらにクリップ部を有し、クリップ部は撮像部の遮光画素領域から出力される信号を所定値で抑圧することを特徴とする。

本発明の撮像装置は、上述の撮像装置であって、閾値内画素データ出現回数判定部の出力値が所定値を超える最少の値を示すものを選択し、かつ同じ閾値を用いた加算部を選択する選択部から、選択された閾値の情報を出力する系統と、複数の閾値に対して差分絶対値の大きさが超えるか否かを検出する閾値判定部にて、複数の閾値が出力する閾値判定結果の数より多く、閾値判定結果へ出力すべき閾値の情報を入力する系統を持つことを特徴とする。

本発明によれば、雑音低減のため、撮像素子のオプティカルブラック領域の画素から得られる画像信号を平均するにあたり、平均から除外すべき極値を除外しつつ、データの並べ替えを行わずに適切な閾値にシフトする動作を行うことで、環境追従する極値除外平均回路を小規模論理で実現できる。
さらに本発明による期待値すなわち現在迄の補正値と新しい補正元データとの差分を用いて差分の近い値から平均を取り新しい補正値を求める方式は、温度などの環境変動への追従ができる。

本発明の一実施例である撮像装置を説明するためのブロック図である。 本発明の一実施例である補正値出力部の動作を説明するためのブロック図である。 撮像素子の遮光画素領域と感光画素領域を説明するための図である。 本発明の一実施例である補正値出力部の動作を説明するための図である。 本発明の一実施例である補正値出力部の閾値変遷制御の動作を説明するための図である。 フレームメモリへのデータ記憶を説明するための図である。 本発明の一実施例である複数フレーム同一画素平均化の動作を説明するための図である。 本発明の一実施例である補正値出力部の再平均化の動作を説明するための図である。 本発明の一実施例である補正値出力部の環境変化追従固定ノイズ除去の動作を説明するための図である。

以下、本発明の一実施例について図を用いて説明する。
図１は本発明の一実施例である撮像装置を説明するためのブロック図である。
図１において、撮像装置１００は、ＳＥＮＳ部１、減算部２、補正値出力部３、後段部４、制御部５で構成されている。
ＳＥＮＳ部１は、撮像手段である撮像素子を有する撮像部１０１と、Ａ／Ｄ変換部(Analog-to-Digital Converter)１０２で構成され、図示していない光学部品を通して撮像部に入力された光が電気信号に変換され、さらに電気信号をＡ／Ｄ変換部で論理回路が扱えるデジタル信号に変換するまでの一連の動作部で、デジタル出力信号１ａを出力する。ＳＥＮＳ部１は制御部５から出力される制御信号５ａにより制御される。

減算部２は、ＳＥＮＳ部１からのデジタル出力信号１ａが入力され、別の入力である補正値出力信号３ａの値が減算処理され、補正後の映像信号２ａを出力する。
補正値出力部３は、ＳＥＮＳ部１からのデジタル出力信号１ａが入力され、補正値出力信号３ａを出力する。補正値出力部３は、例えば、クリップ部３０、期待値差分判定平均回路３００、補正値保持メモリ部３８、補正値保持レジスタ部３９で構成されている。なお、フレームメモリ４０は補正値保持メモリ部３８に含まれている。
補正値出力信号３ａは補正値出力部３において、内部で動作する期待値差分判定を用いた平均化回路である期待値差分判定平均回路３００における参照値入力にも用いられる。
また、補正値出力部３は動作条件を決定するために、制御部５からカメラ調整値設定出力にて調整用データと、カメラタイミング出力４ｃにて動作切り替えタイミングが入力される。調整用データは平均範囲％や閾値など、動作切り替えタイミングは内部メモリのアドレス切り替えやデータレジスタの内容書き換えに対するタイミング情報である。

後段部４は、補正後の映像信号２ａが入力され、カメラ映像出力４ａを出力する。
映像出力４ａは、補正後の映像信号を元に他の映像機器へ接続できるカメラ映像出力する。
制御部５は撮像装置１００の全体を制御する。制御部５は、例えば、３ｂ、４ｂ等を入力することにより、制御信号５ａ、５ｂ、５ｃ等を出力する。

図２は本発明の一実施例である補正値出力部３の動作を説明するためのブロック図である。
補正値出力部３は、クリップ部３０、差分検出部３１、閾値判定部３２、加算部３３、閾値内画素データ出現頻度検出部３４、設定部３５、選択部３６、正規化部３７、補正値保持メモリ部３８、補正値保持レジスタ部３９で構成されている。
なお、図１の期待値差分判定平均回路３００は、例えば、図２の差分検出部３１、閾値判定部３２、加算部３３、閾値内画素データ出現頻度検出部３４、設定部３５、選択部３６、正規化部３７、設定部３５で構成されている。

クリップ部３０は、ＳＥＮＳ部１からのデジタル出力信号１ａを補正用に用いるｂｉｔ幅にクリップし、補正値出力部３で処理するｂｉｔ幅を制限し、デジタル出力信号３０ａを出力する。なお、処理ｂｉｔ範囲の制限が不要であれば無くても良い。

差分検出部３１は、参照値入力３ａと、画素データ入力３０ａから、差分の絶対値を求め、差分絶対値出力３１ａを出力する。
閾値判定部３２は、内部に複数の閾値を持ち、差分絶対値出力３１ａが各閾値を超えているかどうかをデジタル値で示す閾値判定出力群３２ａを出力する。閾値判定部３２は、閾値を利用者が設定できるように閾値設定データ群３５ｂを入力しても良いし、閾値を自動的に変更するために閾値変遷制御信号３８を入力しても良いが、固定した閾値であればそれらは無くても良い。
例えば、閾値設定データ群３５ｂは閾値がａｂｃの３種類である場合、３５ｂａの閾値ａ、３５ｂｂの閾値ｂ、３５ｂｃの閾値ｃが入力される。

加算部３３は、画素データ入力３０ａと閾値判定出力群３２ａが入力され、各閾値に対して、閾値を超えない時だけ画素データ入力の値３０ａを加算する加算回路で、カメラタイミング出力４ｃにてリセットされた後に、加算動作を繰り返し平均する期間の後に各閾値に対する加算結果を、加算出力群３３ａとして出力する。
例えば、加算出力群３３ａは閾値がａｂｃの３種類ある場合、３３ａａの閾値ａに対する加算結果、３３ａｂの閾値ｂに対する加算結果、３３ａｃの閾値ｃに対する加算結果が出力される。

閾値内画素データ出現回数判定部３４は、閾値判定出力群３２ａが入力され、各閾値に対して、閾値を超えない時だけカウントする加算回路で、カメラタイミング出力４ｃにてリセットされた後に、カウンタ動作を繰り返し平均する期間の後に各閾値に対する閾値を下回った回数を、出現回数群３４ａとして出力する。
例えば、出現回数群３４ａは閾値がａｂｃの３種類ある場合、３４ａａの閾値ａを下回った回数、３４ａｂの閾値ｂを下回った回数、３４ａｃの閾値ｃを下回った回数が出力される。

設定部３５は、カメラ調整値設定出力４ｂを入力とし、補正値出力部３のための設定を保持して内部回路に与える。
利用平均範囲％設定３５ａは、平均に用いる母数のうちで閾値が出現した回数が何％を超えるまでを平均対象とするかを指定する設定値である。閾値設定データ群３５ｂは、閾値判定部３２で用いる各閾値を与える設定値であり、構成によっては無くても良い。他に平均に用いる母数の範囲やタイミングの開始や終了の値を保持する。

選択部３６は、出現回数群３４ａの中で利用平均範囲％設定３５ａによる出現回数を上回るものの内、一番閾値が低いものを選択して、３６ａの選択された閾値の出現回数３６ａを出力する。

また、選択部３６は加算出力群３３ａの中で選択された閾値の出現回数と同じ閾値に対する加算結果が選択され、選択された閾値に対する加算結果３６ｂとして出力する。
例えば、閾値がａｂｃの３種類あり、３３ａａの閾値ａに対する加算結果、３３ａｂの閾値ｂに対する加算結果、３３ａｃの閾値ｃに対する加算結果と、３４ａａの閾値ａを下回った回数、３４ａｂの閾値ｂを下回った回数、３４ａｃの閾値ｃを下回った回数が存在し、３６ａの選択された閾値の出現回数に、３４ａｃの閾値ｃを下回った回数が選ばれる場合は、３６ｂの選択された閾値に対する加算結果には、３３ａｃの閾値ｃに対する加算結果が選ばれる。

また、選択部３６は、閾値判定部３２における閾値の値を自動制御変更するために、閾値変遷制御信号３６ｃを出力しても良い。
例えば、閾値判定部３２には８段階の閾値を持つが、閾値判定出力群３２ａは５系統の閾値の結果しか出力せず、加算部３３と、閾値内画素データ出現回数判定群部３４に、それぞれ５つの加算器しか無いという回路数の削減がなされている場合に、閾値変遷制御信号３８ｂが利用される。選択された閾値の出現回数３６ａが、現在利用されている５つ閾値の中点でない場合は、８つの閾値のうち利用する閾値を上下に変更するものである。この閾値変遷制御信号３６ｃは、補正値保持メモリ部３８に同じ座標の平均に対する閾値制御として合わせて保存され、次に同じ場所を平均化するときに補正値保持メモリ部３８から閾値変遷制御信号３８ｂとして利用される。

正規化部３７は、選択された閾値に対する加算結果３６ｂを、選択された閾値の出現回数３６ａで除算し、極値除外平均化出力３７ａを出力する。

補正値保持メモリ部３８は、極値除外平均化出力３７ａと、カメラタイミング出力４ｃを入力し、平均が終了して補正値として保持すべき値が確定したタイミングを元にアドレスの指定する場所にデータを記憶する。なお、フレームメモリ４０は補正値保持メモリ部３８に含まれている。
また、データ記憶する以外のタイミングではアドレスの指定する場所のデータを補正値メモリ出力３８ａとして出力している。また、閾値変遷制御信号３６ｃを用いる場合は付加信号として同時に記憶し、閾値変遷制御信号３８ｂとして出力しても良い。

補正値保持レジスタ部３９は、補正値メモリ出力３８ａと、カメラタイミング出力４ｃを入力し、平均を開始するタイミング時に前回の同じアドレスでの平均結果である補正値メモリ出力３８ａをレジスタに記憶し、補正値出力信号３ａを出力する。この時の補正値出力信号は即ち、差分検出部３１のための参照値入力としての役割を果たす。
また、補正値保持レジスタ部３９は、平均が終了して極値除外平均化出力３７ａを補正値として補正値保持メモリ部３８に記憶した次のタイミング、即ち補正値保持メモリ部３８が新たな補正値を補正値メモリ出力３８ａに出力した時点で、再びレジスタに記憶し、補正値出力信号３ａを出力する。

図３は撮像素子の遮光画素領域と感光画素領域を説明するための図である。
感光画素領域１０は、撮像素子の感光画素領域を示し、撮像素子がレンズなどの光学画像を元に映像を出力できる領域である。
遮光画素領域１１は、撮像素子の遮光画素領域を示し、感光画素領域１０における感光画素と同等特性の画素が常時遮光されている領域である。
全画素領域１２は、撮像素子の全画素領域を示し、外部からの駆動動作的には画素座標として振る舞うが、感光画素領域１０における感光画素や、撮像素子の遮光画素領域１１における遮光画素とは特性の異なる部分を含む。

任意ライン１３は、撮像素子の任意ラインの先頭部を拡大した図である。
遮光画素１４は撮像素子の遮光画素を示す。この例では水平左部分に２４画素並んでいることを示している。
感光画素１５は撮像素子の感光画素を示している。

図４は本発明の一実施例である補正値出力部の動作を説明するための図である。
図４は図３における遮光画素１４による２４画素を、図１のブロック構成で平均化する効果を信号レベルで示している。

１４ａａは処理開始時の遮光画素の出力レベルを示す。縦方向が出力レベルで横方向が２４個の画素に対応する。
１４ａｂは参照値不定な状態での差分絶対値の出力レベルを示す。縦方向が出力レベルで横方向が２４個の画素に対応する。１４ａａの処理開始時の遮光画素の出力レベルに対して横方向の画素の位置を合わせて、縦方向を別スケールにて表現している。処理開始時には参照値が存在しないため不定である。
この例では０クリアされている場合を示しているが、不定値がどうあろうとも、差分の出力が全体に大きくなり、以降に示す閾値の大きい範囲が自動的に選択され、全対象画素の平均となるだけなので問題はない。

１４ｔは閾値のレベルスケールを示す。１４ａｂなどの差分絶対値の出力に対して縦方向のスケールを合わせ、ＴＨ０、ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４、ＴＨ５の閾値スケールを示している。ここではそれぞれの閾値が倍々である例を示している。

１４ｔａは１４ａａで選択された閾値レベルを示している。ＴＨ５の倍のＴＨ６となることを表現している。この例では全対象画素の３分の２に当たる１６画素の差分絶対値が閾値以内に含まれるよう閾値レベルが選択されている。温度環境の変化などで遮光画素の出力にランダムノイズが重畳されたり、直流加算分が発生したりし、差分絶対値の値が大きくなった時も、この処理開始状態同様に自動的に全対象画素の３分の２に当たる１６画素の差分絶対値を含む閾値レベルが選択されるため、追従して収斂動作を行うことができる。

１４ａｃは同期性の傷を示す。２４個の画素中、該当の位置に同期性の傷が毎回存在していることを例示している。
１４ａｅは１４ａａを単純平均した出力レベルである。１４ａｃの同期性の傷を含むため、目視で予想され得る、有るべき平均よりレベルが小さくなっている。

１４ａｆは本発明により１４ａａを平均した出力および１４ｂａに対する参照値のレベルを示す。処理開始で差分絶対値の判定に用いる参照値が不定であり、１４ｔａの閾値レベル以下に全対象画素の差分絶対値が有るため、平均の対象外とされる画素は無い。そのレベルは１４ａｅの単純平均した出力レベルと何ら変わらない。しかしこの後のフレームに本発明の効果が表れる。秒数十枚の画像を出力する映像フレーム速度において、処理開始から数フレームで収斂するため何ら問題にならない。

１４ｂａは１４ａａの次フレームの遮光画素の出力を示す。１４ａａの処理開始時の遮光画素の出力レベルに対して縦方向レベルの位置を合わせて、横方向に列記している。
１４ｂｂは１４ａｆを参照値に用いた１４ｂａとの差分絶対値の出力レベルを示す。縦方向が出力レベルで横方向が２４個の画素に対応する。１４ｂａの出力レベルに対して横方向の画素の位置を合わせて、１４ａｂの参照値不定な状態での差分絶対値の出力レベルと縦方向を合わせたスケールにて表現している。参照値として１４ａｆが存在するため１４ａｂに比べて差分絶対値が小さくなり収斂されていく様子が判る。

１４ｔｂは１４ｂａで選択された閾値レベルを示している。ＴＨ２となることを表現している。前述の通りこの例では全対象画素の３分の２に当たる１６画素の差分絶対値が閾値以内に含まれるよう閾値レベルが選択されている。
１４ｂｃは同期性の傷を示す。２４個の画素中、該当の位置に同期性の傷が毎回存在していることを例示している。１４ａｃと同様である。
１４ｂｄは放射線や点滅画素欠陥による傷を示している。放射線の衝突や、点滅性の画素欠陥が存在すると、局所的な時間と空間に急峻な雑音レベルが発生し平均誤差の温床となる。

１４ｂｅは１４ｂａを単純平均した出力レベルである。１４ｂｃの同期性の傷を含むが、より突出した１４ｂｄの放射線や点滅画素欠陥による傷も含むため、目視で予想され得る、有るべき平均よりレベルが極めて大きくなっている。
１４ｂｆは本発明により１４ｂａを平均した出力および１４ｃａに対する参照値のレベルを示す。１４ｂｂの差分絶対値を用いて、この例では全対象画素の３分の２以上を残すよう動作設定されているため、１４ｔｂの閾値レベルを超える大きく外れた値は外して平均化するため、１４ｂｅの単純平均とは異なり、前回の１４ａｆの参照値よりさらに有るべき平均値に近付いた値となっている事が判る。

１４ｃａは１４ｂａの次フレームの遮光画素の出力を示す。１４ａａの処理開始時の遮光画素の出力レベルに対して縦方向レベルの位置を合わせて、横方向に列記している。
１４ｃｂは１４ｂｆを参照値に用いた１４ｃａとの差分絶対値の出力レベルを示す。縦方向が出力レベルで横方向が２４個の画素に対応する。１４ｃａの出力レベルに対して横方向の画素の位置を合わせて、１４ａｂの参照値不定な状態での差分絶対値の出力レベルと縦方向を合わせたスケールにて表現している。参照値として１４ａｆより平均精度の上がった１４ｂｆが存在するため１４ｂｂに比べて差分絶対値が小さくなり収斂されていく様子が判る。

１４ｔｃは１４ｃａで選択された閾値レベルを示している。ＴＨ１となることを表現している。前述の通りこの例では全対象画素の３分の２に当たる１６画素の差分絶対値が閾値以内に含まれるよう閾値レベルが選択されている。
１４ｃｃは同期性の傷を示す。２４個の画素中、該当の位置に同期性の傷が毎回存在していることを例示している。１４ａｃと同様である。
１４ｃｅは１４ｃａを単純平均した出力レベルである。１４ｃｃの同期性の傷を含むため、１４ａｅの場合と同様に目視で予想され得る、有るべき平均よりレベルが小さくなっている。

１４ｃｆは本発明により１４ｃａを平均した出力および１４ｄａに対する参照値のレベルを示す。１４ｃｂの差分絶対値を用いて、この例では全対象画素の３分の２以上を残すよう動作設定されているため、１４ｔｃの閾値レベルを超える大きく外れた値は外して平均化するため、１４ｃｅの単純平均とは異なり、前回の１４ｃｆの参照値よりさらに、図を目視しても気が付かない部分の精度で、有るべき平均値に近付いた値となっている。

１４ｄａは１４ｃａの次フレームの遮光画素の出力を示す。１４ａａの処理開始時の遮光画素の出力レベルに対して縦方向レベルの位置を合わせて、横方向に列記している。
１４ｄｂは１４ｃｆを参照値に用いた１４ｄａとの差分絶対値の出力レベルを示す。縦方向が出力レベルで横方向が２４個の画素に対応する。１４ｄａの出力レベルに対して横方向の画素の位置を合わせて、１４ａｂの参照値不定な状態での差分絶対値の出力レベルと縦方向を合わせたスケールにて表現している。参照値として１４ｂｆより平均精度の上がった１４ｃｆを用いているが、この例ではほぼ収斂されているため１４ｃｂと見た目では差分絶対値の違いは判らない。

１４ｔｄは１４ｄａで選択された閾値レベルを示している。ＴＨ１となることを表現している。前述の通りこの例では全対象画素の３分の２に当たる１６画素の差分絶対値が閾値以内に含まれるよう閾値レベルが選択されている。
１４ｄｃは同期性の傷を示す。２４個の画素中、該当の位置に同期性の傷が毎回存在していることを例示している。１４ａｃと同様である。
１４ｄｅは１４ｄａを単純平均した出力レベルである。１４ｄｃの同期性の傷を含むため、１４ａｅの場合と同様に目視で予想され得る、有るべき平均よりレベルが小さくなっている。

１４ｄｆは本発明により１４ｄａを平均した出力および次フレームでの参照値のレベルを示す。１４ｄｂの差分絶対値を用いて、この例では全対象画素の３分の２以上を残すよう動作設定されているため、１４ｔｄの閾値レベルを超える大きく外れた値は外して平均化するため、１４ｄｅの単純平均とは異なり、前回の１４ｃｆの参照値と同様に、有るべき平均値を示している。この例では前回の１４ｃｆの参照値と、１４ｄｆの参照値は同じ値であり、有るべき平均値へ収斂されている。

１４ａｅ、１４ｂｅ、１４ｃｅ、１４ｄｅの単純平均が、常に同期性ノイズの影響を受ける上に、放射線など外来ノイズの影響も受けていることに対し、１４ａｆ、１４ｂｆ、１４ｃｆ、１４ｄｆの本発明による平均および参照値が、フレームを繰り返す毎に平均精度を上げて収斂していく事が判る。
また前出の通り、環境変化により参照値と入力の各値がずれてきた場合も、差分絶対値を求めて、全対象画素の３分の２以上を残すよう動作設定しているため、平均範囲を自動的に拡張し、１４ａｆと類似する条件から収斂動作を続行できる。
この自動追従は従来の入力値のみを用いて固定の閾値を用いる方式では得られない、本発明の特徴である。

図５は本発明の一実施例である補正値出力部の閾値変遷制御の動作を説明するための図である。
図５は、図３における遮光画素１４による２４画素を、図１のブロック構成で平均化する効果を信号レベルで示している。特に回路規模を削減するために閾値変遷制御信号３６ｃを用いて、閾値変遷制御信号３８ｂにより、閾値判定出力群３２ａを動的に変化させ、加算部３３と、閾値内画素データ出現回数判定部３４と、選択部３６の内部回路数の削減を実現できる実施例である。

１４ａａは処理開始時の遮光画素の出力レベルを示す。縦方向が出力レベルで横方向が２４個の画素に対応する。
１４ａｂは参照値不定な状態での差分絶対値の出力レベルを示す。縦方向が出力レベルで横方向が２４個の画素に対応する。１４ａａの処理開始時の遮光画素の出力レベルに対して横方向の画素の位置を合わせて、縦方向を別スケールにて表現している。処理開始時には参照値が存在しないため不定である。この例では０クリアされている場合を示しているが、不定値がどうあろうとも、差分の出力が全体に大きくなり、以降に示す閾値の大きい範囲が自動的に選択され、全対象画素の平均となるだけなので問題はない。

１４ｔｓは可変する閾値出力のレベルスケールを示す。１４ａｂなどの差分絶対値の出力に対して縦方向のスケールを合わせ、ＴＨｓ０、ＴＨｓ１、ＴＨｓ２、ＴＨｓ３の４つの動的な閾値スケールを示している。ここではそれぞれの閾値が倍々の関係を保持し、動作開始時や環境変化時は粗い閾値から開始されることを示している。
１４ｔｓａは１４ａａで選択された閾値レベルを示している。参照値および閾値変遷制御信号が不定なため、閾値が最も粗い状態から開始されており、一番小さい閾値ＴＨｓ０がスケール外である。ゆえにＴＨｓ０が選択されていながら全画素が平均の対象となっている。

ＴＨｓ０が選択されたため、ＴＨｓ０に割り当てられていた閾値の絶対値が、この例で３２ａの閾値判定出力群の中心となるＴＨｓ２に閾値変遷制御される。
この例では全対象画素の３分の２に当たる１６画素の差分絶対値が閾値以内に含まれるよう閾値レベルが選択されている。温度環境の変化などで遮光画素の出力にランダムノイズが重畳されたり、直流加算分が発生したりし、差分絶対値の値が大きくなった時も、この処理開始状態同様に自動的に全対象画素の３分の２に当たる１６画素の差分絶対値を含む閾値レベルが選択されるため、追従して収斂動作を行うことができる。

１４ａｃは同期性の傷を示す。２４個の画素中、該当の位置に同期性の傷が毎回存在していることを例示している。
１４ａｅは１４ａａを単純平均した出力レベルである。１４ａｃの同期性の傷を含むため、目視で予想され得る、有るべき平均よりレベルが小さくなっている。
１４ａｆは本発明により１４ａａを平均した出力および１４ｂａに対する参照値のレベルを示す。処理開始で差分絶対値の判定に用いる参照値が不定であり、１４ｔｓａの閾値レベル以下に全対象画素の差分絶対値が有るため、平均の対象外とされる画素は無い。そのレベルは１４ａｅの単純平均した出力レベルと何ら変わらない。しかしこの後のフレームに本発明の効果が表れる。秒数十枚の画像を出力する映像フレーム速度において、処理開始から数フレームで収斂するため何ら問題にならない。

１４ｂａは１４ａａの次フレームの遮光画素の出力を示す。１４ａａの処理開始時の遮光画素の出力レベルに対して縦方向レベルの位置を合わせて、横方向に列記している。
１４ｂｂ’は１４ａｆを参照値に用いた１４ｂａとの差分絶対値の出力レベルを示す。縦方向が出力レベルで横方向が２４個の画素に対応する。１４ｂａの出力レベルに対して横方向の画素の位置を合わせて、１４ａｂの参照値不定な状態での差分絶対値の出力レベルと縦方向を合わせたスケールにて表現している。参照値として１４ａｆが存在するため１４ａｂに比べて差分絶対値が小さくなり収斂されていく様子が判る。

１４ｔｓｂは１４ｂａで選択された閾値レベルを示している。閾値変遷制御された後のＴＨｓ０となることを表現している。ＴＨｓ０が選択されたため、ＴＨｓ０に割り当てられていた閾値の絶対値が、この例で３２ａの閾値判定出力群の中心となるＴＨｓ２に閾値変遷制御される。
前述の通りこの例では全対象画素の３分の２に当たる１６画素の差分絶対値が閾値以内に含まれるよう閾値レベルが選択されている。

１４ｂｃは同期性の傷を示す。２４個の画素中、該当の位置に同期性の傷が毎回存在していることを例示している。１４ａｃと同様である。
１４ｂｄは放射線や点滅画素欠陥による傷を示している。放射線の衝突や、点滅性の画素欠陥が存在すると、局所的な時間と空間に急峻な雑音レベルが発生し平均誤差の温床となる。

１４ｂｅは１４ｂａを単純平均した出力レベルである。１４ｂｃの同期性の傷を含むが、より突出した１４ｂｄの放射線や点滅画素欠陥による傷も含むため、目視で予想され得る、有るべき平均よりレベルが極めて大きくなっている。
１４ｂｆ’ は本発明により１４ｂａを平均した出力および１４ｃａに対する参照値のレベルを示す。１４ｂｂ’の差分絶対値を用いて、この例では全対象画素の３分の２以上を残すよう動作設定されているため、１４ｔｓｂの閾値レベルを超える大きく外れた値は外して平均化するため、１４ｂｅの単純平均とは異なり、前回の１４ａｆの参照値よりさらに有るべき平均値に近付いた値となっている事が判る。

１４ｃａは１４ｂａの次フレームの遮光画素の出力を示す。１４ａａの処理開始時の遮光画素の出力レベルに対して縦方向レベルの位置を合わせて、横方向に列記している。
１４ｃｂ’ は１４ｂｆ’ を参照値に用いた１４ｃａとの差分絶対値の出力レベルを示す。縦方向が出力レベルで横方向が２４個の画素に対応する。１４ｃａの出力レベルに対して横方向の画素の位置を合わせて、１４ａｂの参照値不定な状態での差分絶対値の出力レベルと縦方向を合わせたスケールにて表現している。参照値として１４ａｆより平均精度の上がった１４ｂｆが存在するため１４ｂｂに比べて差分絶対値が小さくなり収斂されていく様子が判る。

１４ｔｓｃは１４ｃａで選択された閾値レベルを示している。閾値変遷制御された後のＴＨｓ０となることを表現している。ＴＨｓ０が選択されたため、ＴＨｓ０に割り当てられていた閾値の絶対値が、この例で３２ａの閾値判定出力群の中心となるＴＨｓ２に閾値変遷制御される。前述の通りこの例では全対象画素の３分の２に当たる１６画素の差分絶対値が閾値以内に含まれるよう閾値レベルが選択されている。

１４ｃｃは同期性の傷を示す。２４個の画素中、該当の位置に同期性の傷が毎回存在していることを例示している。１４ａｃと同様である。
１４ｃｅは１４ｃａを単純平均した出力レベルである。１４ｃｃの同期性の傷を含むため、１４ａｅの場合と同様に目視で予想され得る、有るべき平均よりレベルが小さくなっている。

１４ｃｆは本発明により１４ｃａを平均した出力および１４ｄａに対する参照値のレベルを示す。１４ｃｂの差分絶対値を用いて、この例では全対象画素の３分の２以上を残すよう動作設定されているため、１４ｔｓｃの閾値レベルを超える大きく外れた値は外して平均化するため、１４ｃｅの単純平均とは異なり、前回の１４ｃｆの参照値よりさらに、図を目視しても気が付かない部分の精度で、有るべき平均値に近付いた値となっている。

１４ｄａは１４ｃａの次フレームの遮光画素の出力を示す。１４ａａの処理開始時の遮光画素の出力レベルに対して縦方向レベルの位置を合わせて、横方向に列記している。
１４ｄｂは１４ｃｆを参照値に用いた１４ｄａとの差分絶対値の出力レベルを示す。縦方向が出力レベルで横方向が２４個の画素に対応する。１４ｄａの出力レベルに対して横方向の画素の位置を合わせて、１４ａｂの参照値不定な状態での差分絶対値の出力レベルと縦方向を合わせたスケールにて表現している。参照値として１４ｂｆより平均精度の上がった１４ｃｆを用いているが、この例ではほぼ収斂されているため１４ｃｂと見た目では差分絶対値の違いは判らない。

１４ｔｓｄは１４ｄａで選択された閾値レベルを示している。ＴＨｓ１となることを表現している。ＴＨｓ１が選択されたため、ＴＨｓ１に割り当てられていた閾値の絶対値が、この例で３２ａの閾値判定出力群の中心となるＴＨｓ２に閾値変遷制御される。ただし閾値が下限であればＴＨｓ０からＴＨｓ３の値は保持される。前述の通りこの例では全対象画素の３分の２に当たる１６画素の差分絶対値が閾値以内に含まれるよう閾値レベルが選択されている。

１４ｄｃは同期性の傷を示す。２４個の画素中、該当の位置に同期性の傷が毎回存在していることを例示している。１４ａｃと同様である。
１４ｄｅは１４ｄａを単純平均した出力レベルである。１４ｄｃの同期性の傷を含むため、１４ａｅの場合と同様に目視で予想され得る、有るべき平均よりレベルが小さくなっている。
１４ｄｆは本発明により１４ｄａを平均した出力および次フレームでの参照値のレベルを示す。１４ｄｂの差分絶対値を用いて、この例では全対象画素の３分の２以上を残すよう動作設定されているため、１４ｔｓｄの閾値レベルを超える大きく外れた値は外して平均化するため、１４ｄｅの単純平均とは異なり、有るべき平均値を示している。

１４ａｅ、１４ｂｅ、１４ｃｅ、１４ｄｅの単純平均が、常に同期性ノイズの影響を受ける上に、放射線など外来ノイズの影響も受けていることに対し、１４ａｆ、１４ｂｆ、１４ｃｆ、１４ｄｆの本発明による平均および参照値が、フレームを繰り返す毎に平均精度を上げて収斂していく事が判る。

この一実施例では可変閾値のＴＨｓ０、ＴＨｓ１、ＴＨｓ２、ＴＨｓ３と全平均の５つに対して、３３の画素データ加算回路群と、３４の閾値内画素データ出現回数判定群と、３６の選択回路の内部回路を持てばよい。実施例１によるＴＨ０乃至ＴＨ６以上と全平均では少なくとも８回路必要であり、回路の簡略化を図ることができる。
また前出の通り、環境変化により参照値と入力の各値がずれてきた場合も、差分絶対値を求めて、全対象画素の３分の２以上を残すよう動作設定しているため、平均範囲を自動的に拡張し、１４ａｆと類似する条件から収斂動作を続行できる。４つの可変閾値に加え、全平均を持つことで、環境変化で値が大きくずれても最初から収斂動作を継続できる。

図６はフレームメモリへのデータ記憶を説明するための図である。
図２の期待値差分判定は、複数フレームの画像平均化に対しても有効である。
図６はフレームメモリへのデータ記憶の一実施例である。４０はフレームメモリを表している。映像の垂直と水平のアドレスが相関を持って記憶されることを示している。

通常の場合は、図６（Ａ）に示すように撮像素子の全画素領域１２に対して、フレームメモリ４０に撮像素子の感光画素領域１０による、感光領域データ１０ａが記憶される。
従来、画像補正用に遮光画像領域を用いたい場合は図６（Ｂ）に示すように撮像素子の全画素領域１２に対して、フレームメモリ４０に撮像素子の感光画素領域１０による感光領域データ１０ａに加えて、撮像素子の遮光画素領域１１による遮光領域データ１１ａが記憶される。この時、垂直と水平の画素座標が相関するように記憶される。
本発明の一実施例では図６（Ａ）や図６（Ｂ）のフレームメモリへのデータ記憶の他に、より効率的かつ精度良く平均化を行うために図６（Ｃ）や図６（Ｄ）のフレームメモリへデータ記憶する。

図６（Ｃ）はフレームメモリへの記憶データに撮像素子の感光画素領域１０による感光領域データ１０ａと、撮像素子の遮光画素領域１１からデータを平均化した遮光領域平均データ１１ｆａを記憶する形式を示している。
この時、垂直と水平の画素座標が相関するように記憶される。この遮光領域の平均化を行ったデータは、フレームメモリに記憶する時に、該当画像データの遮光領域の平均化を完了しておくことで、その後にフレームメモリに記憶されたデータと、現在撮影しているデータを比較する場合に、現在撮影しているデータの遮光領域を平均化すれば、フレームメモリの記憶データ側の平均化を同時に行う必要なく比較できる利点が有り、平均化回路の共通化や、回路重複の冗長性、動作電力の低減を図れる。

遮光領域平均データ１１ｆａに関しては図６（Ｓ）で説明する。
１１Ｌは遮光領域の左部である。１１の撮像素子の遮光画素領域を平均化する部位ごとに取り出した一部となる。１１Ｌｆは遮光領域左部の平均化データである。１１Ｌに示す遮光領域の左部に関して水平方向にデータの平均化を完了したものとなる。同様に、１１Ｒは遮光領域の右部であり、１１Ｒｆは遮光領域右部の平均化データとなり、１１Ｒに示す遮光領域の右部に関して水平方向にデータの平均化を完了したものとなる。

同様に撮像素子の遮光画素領域１１を平均化する部位ごとに取り出す一実施例を示すものとして上部について、１１ＬＵは遮光領域の左上部、１１ＬｆＵは遮光領域左の平均化データ上部、１１Ｕは遮光領域の上中央部、１１ＲＵは遮光領域の右上部、１１ＲｆＵは遮光領域右の平均化データ上部を、それぞれ示す。
上記各該当領域及びデータに関して、遮光領域上部を垂直方向に平均化完了したデータとして、１１ＬＵｆは遮光領域左上部の垂直平均化データ、１１ＬｆＵｆは遮光領域左平均化データ上部の垂直平均化データ、１１Ｕｆは遮光領域上中央部の垂直平均化データ、１１ＲＵｆは遮光領域右上部の垂直平均化データ、１１ＲｆＵｆは遮光領域右平均化データ上部の垂直平均化データを、それぞれ示している。

同様に撮像素子の遮光画素領域１１を平均化する部位ごとに取り出す一実施例を示すものとして下部について、１１ＬＤは遮光領域の左下部、１１ＬｆＤは遮光領域左の平均化データ下部、１１Ｄは遮光領域の下中央部、１１ＲＤは遮光領域の右下部、１１ＲｆＤは遮光領域右の平均化データ下部を、それぞれ示す。
上記各該当領域及びデータに関して、遮光領域下部を垂直方向に平均化完了したデータとして、１１ＬＤｆは遮光領域左下部の垂直平均化データ、１１ＬｆＤｆは遮光領域左平均化データ下部の垂直平均化データ、１１Ｄｆは遮光領域下中央部の垂直平均化データ、１１ＲＤｆは遮光領域右下部の垂直平均化データ、１１ＲｆＤｆは遮光領域右平均化データ下部の垂直平均化データを、それぞれ示している。

図６（Ｃ）における遮光領域平均データ１１ｆａでは、４角にあたる１１ＬｆＵｆの遮光領域左平均化データ上部の垂直平均化データと、１１ＲｆＵｆの遮光領域右平均化データ上部の垂直平均化データ、１１ＬｆＤｆの遮光領域左平均化データ下部の垂直平均化データ、１１ＲｆＤｆの遮光領域右平均化データ下部の垂直平均化データ、および左右にあたる１１Ｌｆの遮光領域左部の平均化データから１０ａの感光領域データとの相関部と、１１Ｒｆは遮光領域右部の平均化データから１０ａの感光領域データとの相関部、および上下にあたる１１Ｕｆの遮光領域上中央部の垂直平均化データと、１１Ｄｆの遮光領域下中央部の垂直平均化データを、垂直と水平の画素座標が１０ａの感光領域データと相関するように記憶される一実施例が示されている。
図６（Ｃ）の構成の場合、１０ａの感光領域データと相関する１１ｆａの遮光領域平均データが記憶されていれば、その記憶部位については多々の形式が有る。

図６（Ｄ）はフレームメモリへの記憶データに１０の撮像素子の感光画素領域１０による感光領域データ１０ａと、撮像素子の遮光画素領域１１による遮光領域データ１１ａに加えて、撮像素子の遮光画素領域１１からデータを平均化した１１ｆａの遮光領域平均データを記憶する形式を示している。この時、垂直と水平の画素座標が相関するように記憶される。
この遮光領域の平均化を行ったデータ記憶は、フレームメモリ４０に記憶する時に、該当画像データの遮光領域の平均化を完了しておくことで、その後にフレームメモリに記憶されたデータと、現在撮影しているデータを比較する場合に、現在撮影しているデータの遮光領域を平均化すれば、フレームメモリ記憶データ側の平均化を同時に行う必要なく比較できる利点が有り、平均化回路の共通化や、回路重複の冗長性、動作電力の低減を図れる。

さらに平均前の元データである遮光領域データ１１ａも記憶しておくことで、平均前のデータについてと、平均後のデータについて、記憶データと現在データを比較する事が可能となり、周囲温度などの環境変化の確認に用いる事ができる。
図６（Ｄ）においては、遮光領域データ１１ａと、遮光領域平均データ１１ｆａに関して、全てのデータについて、垂直と水平の画素座標が１０ａの感光領域データと相関するように記憶される一実施例が示されている。
図６（Ｄ）の構成の場合、感光領域データ１０ａと相関する遮光領域データ１１ａと、遮光領域平均データ１１ｆａが記憶されていれば、その記憶部位については多々の形式が有る。

次に、図１と図７を用いて、本発明の一実施例である複数フレーム同一画素平均化の動作を説明する。
図７は本発明の一実施例である複数フレーム同一画素平均化の動作を説明するための図である。
４０はフレームメモリを表している。左のフレームメモリ４０は本発明の処理前、右のフレームメモリ４０は本発明の処理後を示している。
各画像の撮影時には光学的な遮光状態がある状態とし、感光画素領域のデータも遮光された時の出力データがメモリに記憶されていることを示している。

１０ａ１は１フレーム目の感光画素領域のデータであり、１１ａ１は１フレーム目の遮光画素領域のデータである。１０ａ２は２フレーム目の感光画素領域のデータであり、１１ａ２は２フレーム目の遮光画素領域のデータである。１０ａ３は３フレーム目の感光画素領域のデータであり、１１ａ３は３フレーム目の遮光画素領域のデータである。１０ａ４は４フレーム目の感光画素領域のデータであり、１１ａ４は４フレーム目の遮光画素領域のデータである。１０ａ５は５フレーム目の感光画素領域のデータであり、１１ａ５は５フレーム目の遮光画素領域のデータである。１０ａ６は６フレーム目の感光画素領域のデータであり、１１ａ６は６フレーム目の遮光画素領域のデータである。１０ａ７は７フレーム目の感光画素領域のデータであり、１１ａ７は７フレーム目の遮光画素領域のデータである。１０ａ８は８フレーム目の感光画素領域のデータであり、１１ａ８は８フレーム目の遮光画素領域のデータである。

１０ａ０は感光画素領域の単純平均データであり、１１ａ０は遮光画素領域の単純平均データである。前出の１フレーム目から８フレーム目までの出力を画素毎に単純平均されたデータが記憶されることを示している。

１０ａ１ａは１フレーム目の感光画素領域における処理画素のデータである。
１０ａ２ａは２フレーム目の感光画素領域における処理画素のデータである。
１０ａ３ａは３フレーム目の感光画素領域における処理画素のデータであり、放射線や点滅画素欠陥により、急峻な雑音レベルが発生している事を示している。
１０ａ４ａは４フレーム目の感光画素領域における処理画素のデータである。
１０ａ５ａは５フレーム目の感光画素領域における処理画素のデータである。
１０ａ６ａは６フレーム目の感光画素領域における処理画素のデータである。
１０ａ７ａは７フレーム目の感光画素領域における処理画素のデータである。
１０ａ８ａは８フレーム目の感光画素領域における処理画素のデータである。
１０ａ０ａは感光画素領域の単純平均における処理画素のデータであり、平均化に１０ａ３ａの３フレーム目の感光画素領域における処理画素のデータから放射線や点滅画素欠陥による急峻な雑音レベルが含まれてしまった事を示している。

３００は本発明の中心構成となる期待値差分判定平均化回路である。図２の本発明の一実施例に用いる期待値差分判定を用いた平均化回路のブロック構成図が用いられる部分である。
水平遮光領域の平均化においては画素データ入力３０ａに水平同一ラインの画素が順次入力されていた。本発明を複数フレーム同一画素平均化へ適用する場合は、画素データ入力３０ａに記憶された複数フレームの同一座標の画素データを入力として用いる。前出の処理画素のデータが順次入力される。
水平遮光領域の平均化においては参照値入力３ａに前回の同一ラインの平均値を用いていた。本発明を複数フレーム同一画素平均化へ適用する場合は、参照値入力３ａに複数フレームの同一座標の画素データを平均化した値を用いる。前出１０ａ０ａの感光画素領域の単純平均における処理画素のデータが入力される。この例では単純平均を用いているが、本発明の一実施例を用いた帰還を繰り返して精度を上げても良い。

１０ａ０ａａは単純平均における処理画素データのレベルである。縦方向に出力レベルを表現している。
１０ａ１ａａは１フレーム目における処理画素データのレベルである。縦方向の出力レベルを１０ａ０ａａと同一スケールで表現している。
１０ａ２ａａは２フレーム目における処理画素データのレベルである。縦方向の出力レベルを１０ａ０ａａと同一スケールで表現している。
１０ａ３ａａは３フレーム目における処理画素データのレベルである。縦方向の出力レベルを１０ａ０ａａと同一スケールで表現し、放射線や点滅画素欠陥により、急峻な雑音レベルが発生している事を示している。
１０ａ４ａａは４フレーム目における処理画素データのレベルである。縦方向の出力レベルを１０ａ０ａａと同一スケールで表現している。
１０ａ５ａａは５フレーム目における処理画素データのレベルである。縦方向の出力レベルを１０ａ０ａａと同一スケールで表現している。
１０ａ６ａａは６フレーム目における処理画素データのレベルである。縦方向の出力レベルを１０ａ０ａａと同一スケールで表現している。
１０ａ７ａａは７フレーム目における処理画素データのレベルである。縦方向の出力レベルを１０ａ０ａａと同一スケールで表現している。
１０ａ８ａａは８フレーム目における処理画素データのレベルである。縦方向の出力レベルを１０ａ０ａａと同一スケールで表現している。

１０ｂｂは処理画素における差分絶対値のレベルである。横方向に各フレームの処理画素データと合わせて、縦方向の座標をずらした位置に表現している。放射線や点滅画素欠陥の影響の有る１０ａ３ａａに対応する場所が突出している。
１０ｔは処理画素において選択される閾値である。この一実施例では全処理対象フレームの画素から３／４以上が含まれる閾値が選択されるため、前出の１０ａ３ａａに対応する突出したフレームに対応するデータが平均化から除外される。
１０ｂ０ａａは本発明を用いた処理画素データのレベルである。放射線や点滅画素欠陥の影響の有るデータが除外され、有るべき平均値となっている。３７ａの極値除外平均化出力に１０ｂ０ａａの本発明を用いた処理画素データのレベルが出力され、処理画素の座標データとしてフレームメモリに記憶される。
１０ｂ０は本発明の一実施例を用いた感光画素領域の平均データであり、１１ｂ０は本発明の一実施例を用いた遮光画素領域の平均データである。１０ａ０の感光画素領域の単純平均データや、１１ａ０の遮光画素領域の単純平均データに対して、放射線や点滅画素欠陥の影響が除外され、より良い精度で複数フレーム同一画素平均化が行えている。

次に、図１と図８を用いて、本発明の一実施例である補正値出力部の再平均化の動作を説明する。
図８は本発明の一実施例である補正値出力部の再平均化の動作を説明するための図である。
図２の期待値差分判定は、フレームメモリに記憶されているデータ領域を再平均化する場合に対しても有効である。
本一実施例では上述の期待値差分判定平均化回路３００を用いて画素単位の平均化が完了していることを示しており、１０ｂ０は本発明の一実施例を用いた感光画素領域の平均データであり、１１ｂ０は本発明の一実施例を用いた遮光画素領域の平均データである。

１４’は任意のラインにメモリ記憶された遮光画素のデータである。撮像素子からの画素の代わりに、３０ａの画素データ入力に順次入力される。１４ａａ’は記憶された遮光画素のデータレベルであり、横軸は１４’と位置を合わせ、縦軸に出力レベルを示している。この例では画素単位の平均化の後であるため放射線や点滅欠陥の影響は無い。１４ａｃ’は同期性の傷である。この同期性の傷の他、画素固有のノイズは画素単位の平均化では残っており、遮光画素領域の平均値を正確に求めるために記憶データからの再平均化を行う。

３ａの参照値入力は初回不定となるため、３７ａの初回出力は単純平均となる。１４ａｆ’は単純平均出力のレベルである。同期性の傷などの除外すべきデータを含む平均である。このため１回以上は３ａの参照値入力へ帰還して、３７ａの極値除外平均化出力が有効に働いたデータを生成する。この時、３０ａの画素データ入力は同じラインのデータを繰り返し用いれば良い。１４ｂｆ”は本発明の一実施例を用いて遮光領域を再平均化したレベルである。この１４ｂｆ”の再平均化レベルを、４０のフレームメモリ上で同じラインに相関させて保存する。

１１ｂ０ｆは遮光領域再平均化データである。１４ｂｆ”の再平均化レベルをライン毎に記憶していき生成されるものである。再平均化にて遮光領域の平均値を生成する手法を用いることで、本発明の一実施例の中心構成となる期待値差分判定平均化回路３００を複数搭載せずに必要とする平均値を精度良く得ることができる。

次に、図１と図９を用いて、本発明の一実施例である補正値出力部の環境変化追従固定ノイズ除去の動作を説明する。
図９は本発明の一実施例である補正値出力部の環境変化追従固定ノイズ除去の動作を説明するための図である。
１０ｃは撮影中の感光画素領域のデータであり、１１ｃは撮影中の遮光画素領域のデータである。３００の本発明の中心構成となる期待値差分判定平均化回路は、１１ｃは撮影中の遮光画素領域のデータをライン毎の水平方向で平均化している。

フレームメモリ４０には、上述の実施例を用いて既に、１０ｂ０の遮光時での感光領域データと、１１ｂ０の遮光領域データ、１１ｂ０ｆの遮光領域再平均化データが記憶されている。これらデータは固定ノイズ除去のための補正信号のために用いる。
５１は再平均データの読出し信号である。３７ａの極値除外平均化出力に対応するラインについて、１１ｂ０ｆの遮光領域再平均化データが読み出される。
５２は５連の係数乗算回路である。現在の中心係数ｋに対して上下２つの係数を用いて、５１の再平均データの読出し信号に乗算した値を生成する。例えばｋに対してｋ±０．１の上下の係数として、ｋ±０．２をさらに上下の係数として用いて、５１の再平均データの読出し信号に乗算を行う。

５３はライン相関の図である。３７ａの極値除外平均化出力の動作しているラインと、５１の再平均データの読出し信号のラインと、５２の５連の係数乗算回路の出力しているラインが同一であることを示すために記載している。
５４は５連の差分絶対値生成回路である。３７ａの極値除外平均化出力と、５２は５連の係数乗算回路による５つの各出力の差分絶対値を出力する。
５５は最小値判定回路である。５４の５連差分絶対値生成回路から差分絶対値が最少となる係数にフラグを立てる。
５６は５連のシフトレジスタである。５５の最小値判定回路が出力するフラグを各係数に対して一定分シフトレジスタに溜めておく。

５７は係数補正回路である。５６の５連シフトレジスタの各列のフラグの量を監視する。必要に応じて、４ｂのカメラ調整値設定出力で利用するシフトレジスタの範囲を設定し、４ｃのカメラタイミング出力で垂直同期や複数フレームに同期させて補正係数の切り替えを管理しても良い。ｋの列以外が出現頻度最大となった場合は、係数ｋの値をその最大となった列に置き換え、５７ａの係数出力に出力する。２つの列の出現頻度がほぼ等しい時は、係数ｋの値をその２つの平均値に置き換えて５７ａの係数出力に出力する。５７ａの係数出力をｋ以外に置き換えた場合には、５７ｂのシフトレジスタクリア信号を出力し、５６の５連シフトレジスタをクリアする。５６の５連シフトレジスタに一定の数のフラグが溜まるまでは新しく設定した係数ｋを５７ａの係数出力に出力しておく。

５８は係数乗算回路である。１０ｂ０の遮光時での感光領域データに係数ｋを乗算して補正用のデータを生成する。５５の最小値判定回路にて撮影中の遮光領域平均と補正用の遮光領域平均の差が最少になる係数が算出され、５７の係数補正回路にて差が最少になる係数へ変更されるため、記憶されているデータと現在撮影中のデータでの環境の差異が最少となる係数ｋが選択されている。この係数ｋを１０ｂ０の遮光時での感光領域データに乗算することで、撮影中の感光領域データに含まれる固定ノイズと等価な値を生成する。
５９は固定ノイズ減算回路である。１０ｃの撮影中の感光画素領域のデータから、補正用のデータを減算する。撮影中の感光領域データに含まれる固定ノイズと等価な値が減算されることで、環境変化に追従した固定ノイズ除去を行うことができる。

本発明の上述の一実施例によれば、雑音低減のため、撮像素子のオプティカルブラック領域の画素から得られる画像信号を平均するにあたり、平均から除外すべき極値を除外しつつ、データの並べ替えを行わずに適切な閾値にシフトする動作を行うことで、環境追従する極値除外平均回路を小規模論理で実現できる。
さらに本発明の上述の一実施例による期待値すなわち現在迄の補正値と新しい補正元データとの差分を用いて差分の近い値から平均を取り新しい補正値を求める方式は、温度などの環境変動への追従ができる。

以上本発明について詳細に説明したが、本発明は、ここに記載された単板方式の撮像装置に限定されるものではなく、上記以外の複数板方式の撮像装置に広く適用することができることは言うまでもない。

本発明は、ここに記載された単板方式の撮像装置に限定されるものではなく、上記以外の複数板方式の撮像装置に広く適用することができる。

１：ＳＥＮＳ部、２：減算部、３：補正値出力部、４：後段部、５：制御部、３０：クリップ部、３１：差分検出部、３２：閾値判定部、３３：加算部、３４：閾値内画素データ出現回数判定部、３５：設定部、３６：選択部、３７：正規化部、３８：補正値保持メモリ部、３９：補正値保持レジスタ部、４０：フレームメモリ、３００：期待値差分判定平均回路。

Claims (6)

1. 撮像部と、
   前記撮像部の遮光画素領域から出力される画素毎の信号レベルを複数の閾値で判定して所定内の信号レベルの画素信号を選択し、該選択した画素信号を平均化し、該平均化した信号を補正値信号として出力する補正値出力部と、
   前記撮像部の感光画素領域から出力される信号を前記補正値信号で減算する減算部と、
   平均化の開始と終了を制御する制御部と、を備えた撮像装置において、
   前記補正値出力部は、
   前記補正値信号を比較参照値として保持する補正値保持レジスタ部と、
   複数の閾値を保持する設定部と、
   前記比較参照値と、新たな補正値信号の差分絶対値を算出する差分検出部と、
   複数の閾値に対して前記差分絶対値の大きさが超えるか否かを判定する閾値判定部と、
   前記閾値判定部の出力と画素信号を加算する加算部と、
   複数の閾値に対して前記閾値判定にて閾値以内と判定された時にカウンタを繰り上げる閾値内画素データ出現回数判定部と、
   前記閾値内画素データ出現回数判定部の出力値が定められた一定値を超える最少の値を選択し、かつ同じ閾値を用いた前記加算部の出力を選択する選択部と、
   選択された前記加算部の出力を、選択された前記閾値内画素データ出現回数判定部の出力で除算することによって、利用した前記閾値による加算値を正規化して平均値とする正規化部と、
   前記正規化部の出力を前記制御部がアドレス指定する領域毎に保持し、アドレス指定された値を出力できる補正値保持メモリ部と、を備え、
   前記補正値保持レジスタ部が、前記制御部の指定するタイミングにて前記補正値保持メモリ部の出力を保持し、前記比較参照値および従属回路への平均化出力とする平均化回路構成を有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記選択部は、前記加算部の出力と前記閾値内画素データ出現回数判定部の出力を選択する際に、前記閾値に応じて切り替えることを特徴とする撮像装置。
3. 請求項１又は２に記載の撮像装置において、
   前記補正値保持メモリ部は、フレームメモリを複数有し、前記補正値出力部に設けられ、
   前記補正値保持メモリ部は、前記補正値信号と、前記撮像部の遮光画素領域から出力される画素毎の信号レベルを記憶することを特徴とする撮像装置。
4. 請求項１又は２に記載の撮像装置において、
   前記補正値出力部は、前記補正値信号を出力後、再度、前記撮像部の遮光画素領域から出力される画素毎の信号レベルを複数の閾値で判定して所定内の信号レベルの画素信号を選択し、該選択した画素信号を平均化し、該平均化した信号を補正値信号として出力することを特徴とする撮像装置。
5. 請求項３に記載の撮像装置において、
   前記補正値出力部は、係数乗算回路と、クリップ部とを更に備え、
   前記クリップ部は、前記撮像部の遮光画素領域から出力される信号を所定のビット幅に制限し、
   前記係数乗算回路は、前記フレームメモリに記憶してある情報に所定の係数を乗算して、前記補正値信号を生成することを特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、
   前記閾値内画素データ出現回数判定部の出力値が所定値を超える最少の値を示すものを選択し、かつ同じ閾値を用いた前記加算部を選択する選択部から、選択された閾値の情報を出力する系統と、
   複数の閾値に対して前記差分絶対値の大きさが超えるか否かを検出する閾値判定部にて、複数の閾値が出力する閾値判定結果の数より多く、閾値判定結果へ出力すべき閾値の情報を入力する系統を持つことを特徴とした撮像装置。

Images