JP6413612B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

従来、出力デジタル値を横軸とし、頻度を縦軸としたヒストグラムを作成して、当該ヒストグラムの中央値を中心とする予め定められた幅の出力デジタル値の平均値を用いて、ＲＴＳ（Ｒａｎｄｏｍ Ｔｅｌｅｇｒａｐｈ Ｓｉｇｎａｌ）ノイズを補正するための補正用信号を生成していた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００８−２４５１２１号公報

しかしながら、撮影の度にヒストグラムを作成してＲＴＳノイズを補正すると、補正のための演算時間が増大する。

本発明の第１の態様においては、複数の画素を有し、それぞれの画素がリセットと信号出力とを予め定められた回数繰り返して複数の画素信号を出力する画素部と、ＲＴＳノイズを検出するＲＴＳ閾値を記憶する閾値記憶部と、それぞれの画素について、複数の画素信号のそれぞれと、ＲＴＳ閾値とを比較して、それぞれの画素信号がＲＴＳノイズか否かを判定し、ＲＴＳノイズと判定された画素信号を除外した残りの画素信号に基づいて、それぞれの画素のＲＴＳ除外画素値を生成するデータ処理部とを備える撮像装置を提供する。

本発明の第２の態様においては、複数の画素を有し、それぞれの画素がリセットと信号出力とを予め定められた回数繰り返して複数の画素信号を出力する画素部と、予め定められた画素ブロック内のそれぞれの画素について、予め定められた回数繰り返し出力される複数の画素信号の第１ヒストグラムを生成し、第１ヒストグラムに基づいて、ＲＴＳノイズを検出するためのＲＴＳ閾値を生成する閾値生成部とを備える撮像装置。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一眼レフカメラ４００の断面図である。 撮像素子２００の構成例を示すブロック図である。 画素部１１における、画素ブロック１２および画素１３を示す図である。 画素１３において、リセットと信号出力とが複数回繰り返されることを示す図である。 予め定められた画素ブロック１２における、各画素１３の画素値の第１ヒストグラムである。 予め定められた画素ブロック１２における、各画素１３のＲＴＳ除外画素値から作成した第２ヒストグラムである。 第１の実施形態における、ＲＴＳノイズおよび点欠陥ノイズを検出するフローチャート７０である。 第２の実施形態における、ＲＴＳノイズおよび点欠陥ノイズを検出するフローチャート９０である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一眼レフカメラ４００の断面図である。撮像装置の一例としての一眼レフカメラ４００は、撮像素子２００、レンズユニット５００およびカメラボディ６００を備える。カメラボディ６００には、レンズユニット５００が装着される。レンズユニット５００は、その鏡筒内に、光軸４１０に沿って配列された光学系を備え、入射する被写体光束をカメラボディ６００の撮像素子２００へ導く。

本例においては、撮像装置として一眼レフカメラ４００を例に説明するが、カメラボディ６００を撮像装置と捉えてもよい。また、撮像装置は、ミラーユニットを備えるレンズ交換式カメラに限らず、ミラーユニットを持たないレンズ交換式カメラ、ミラーユニットの有無に関わらずレンズ一体式カメラであってもよい。また、本例において光軸４１０に沿って被写体光束が進む方向を第３方向とする。第３方向に対して垂直であって、かつ、互いに垂直な方向を、第１方向および第２方向とする。

カメラボディ６００には、レンズマウント５５０が結合される。カメラボディ６００は、ボディマウント６６０よりも第３方向の側にミラー６７２を備える。ミラー６７２は、レンズユニット５００から第３方向に入射する被写体光束に対して傾けて設けられる斜設位置と、被写体光束から退避する退避位置との間で回転可能であるように軸に固定される。

ミラー６７２が斜設位置にある場合、レンズユニット５００を通じて入射した被写体光束の多くはミラー６７２に反射されてピント板６５２に導かれる。ピント板６５２は、撮像素子２００の受光面と共役な位置に配されて、レンズユニット５００の光学系が形成した被写体像を可視化する。ピント板６５２に形成された被写体像は、ペンタプリズム６５４およびファインダ光学系６５６を通じてファインダ６５０から観察される。

ピント板６５２、ペンタプリズム６５４、ミラー６７２は、構造体としてのミラーボックス６７０に支持される。撮像素子２００は、ミラーボックス６７０に取り付けられる。ミラー６７２が退避位置に退避し、シャッタユニット３４０の先幕および後幕が開状態となれば、レンズユニット５００を透過する被写体光束は、撮像素子２００の受光面に到達する。

撮像素子２００に対してシャッタユニット３４０とは逆側には、ボディ基板６２０および背面表示部６３４が順次配置される。液晶パネル等が採用される背面表示部６３４は、カメラボディ６００の背面に位置する。ボディ基板６２０には、ＣＰＵ６２２、画像処理部６２４等の電子回路が実装される。撮像素子２００の出力は、画像処理部６２４へ引き渡される。

図２は、撮像素子２００の構成例を示すブロック図である。撮像素子２００は、撮像チップ１０および信号処理チップ２０を備える。撮像チップ１０には、第３方向から光束が入射する。撮像チップ１０は、第３方向において信号処理チップ２０に積層される。撮像チップ１０は、複数のバンプ１９を介して、信号処理チップ２０に電気的に接続される。

撮像チップ１０は、画素部１１を有する。画素部１１は、第１方向および第２方向において２次元に配列された複数の画素を含む。各画素は、少なくとも一つの光電変換部を含む。光電変換部は、第３方向から入射する光束の光量に応じて電荷を生成する。それぞれの画素は、生成されて蓄積された電荷を排除するリセット動作と電荷蓄積状態における信号出力動作とを予め定められた回数繰り返して、複数の画素信号を出力する。

また、各画素は、光電変換部に蓄積された電荷をアナログの画素信号として出力する。アナログの画素信号は信号処理チップ２０に出力される。

信号処理チップ２０は、複数のＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路２１および信号処理部２３を有する。本例では、信号処理チップ２０は、画素部１１の画素ブロック毎にアナログの画像信号を読み取る。それゆえ、ＣＤＳ回路２１は、画素部１１の画素ブロックの個数と同じ数設けられる。なお、信号処理チップ２０が、画素ブロック毎にアナログの画像信号を読み取らない場合は、ＣＤＳ回路は第２方向に連続して設けられた一行の画素と同じ数だけ設けられてよい。ＣＤＳ回路２１は、画素ブロック中の画素に対応して設けられたアナログの画素信号を増幅するトランジスタの性能バラつきを補償する。

信号処理部２３は、複数のＡＤ変換器２４、マルチプレクサ２５、スイッチ２６、閾値生成部３０、閾値記憶部３２およびデータ処理部３４を有する。１つのＡＤ変換器２４は、１つのＣＤＳ回路２１に対応して設けられる。ＡＤ変換器２４は、ＣＤＳ回路２１から出力されたアナログの画素信号をデジタルの画素信号に変換する。ＡＤ変換器２４は、変換したデジタルの画素信号をマルチプレクサ２５に出力する。

マルチプレクサ２５は、ＡＤ変換器２４から出力された複数のデジタルの画素信号を閾値生成部３０およびデータ処理部３４のいずれか一方に順次に出力する。スイッチ２６は、マルチプレクサ２５と閾値生成部３０およびデータ処理部３４のいずれか一方とを選択的に接続する。

スイッチ２６が閾値生成部３０に接続され、デジタルの画素信号がマルチプレクサ２５から閾値生成部３０に出力される。閾値生成部３０は、デジタルの画素信号の信号値から特定の閾値を生成する。本例における特定の閾値とは、ＲＴＳ閾値および点欠陥閾値である。例えば、閾値生成部３０は、一の画素について複数の画素信号の第１ヒストグラムを生成する。複数の画素信号は、閾値生成部３０に予め定められた回数繰り返し出力される。閾値生成部３０は、当該第１ヒストグラムに基づいてＲＴＳ閾値を生成する。閾値生成部３０は、第１ヒストグラムを正規分布曲線でフィッティングし、当該正規分布から外れた画素値を除外するようＲＴＳ閾値を定める。なお、デジタルの画素信号のデジタル値を画素値と称する。

本明細書において、ＲＴＳ閾値とは、画素値がＲＴＳノイズであることを示す画素値の上限値および下限値を意味する。また、本明細書において、点欠陥閾値とは、画素値が点欠陥ノイズであることを示す画素値の上限値および下限値を意味する。ＲＴＳ閾値の下限値以上であり、ＲＴＳ閾値の上限値以下である画素値を、ＲＴＳ閾値以内の画素値と称する。また、ＲＴＳ閾値の下限値より小さい、または、ＲＴＳ閾値の上限値より大きい画素値を、ＲＴＳ閾値より外の画素値と称する。同様に、点欠陥閾値の下限値以上であり、点欠陥閾値の上限値以下である画素値を、点欠陥閾値以内の画素値と称する。また、点欠陥閾値の下限値より小さい、または、点欠陥閾値の上限値より大きい画素値を、点欠陥閾値より外の画素値と称する。

ＲＴＳノイズは一般に、トラップ準位に捕捉されたキャリアが何らかの要因によりトラップ準位から放出されることにより、異常な画素値を示す現象として知られている。また、点欠陥ノイズは、画素が光電変換された電荷量に応じたアナログ信号値を出力しなくなる現象として知られている。例えば、点欠陥ノイズを有する画素は、複数回アナログ信号値のサンプリングをしても、光電変換された電荷量に対応しない画素値であって、ポアソン分布等の統計分布に従った一定の画素値を常時示す。

閾値記憶部３２は、閾値生成部３０が生成したＲＴＳ閾値を記憶する。なお、閾値記憶部３２は、一眼レフカメラ４００の出荷点検時において測定されたＲＴＳ閾値を予め記憶してもよい。閾値記憶部３２は、ＲＴＳ閾値をデータ処理部３４に提供する。

データ処理部３４は、閾値生成部３０が生成したＲＴＳ閾値を用いてＲＴＳノイズを検出する。例えば、データ処理部３４は、一の画素における複数の画素信号と、ＲＴＳ閾値とを比較する。データ処理部３４は、一の画素における複数の画素信号のそれぞれがＲＴＳノイズか否かを判定する。

データ処理部３４は、一の画素における複数の画素信号のうち、ＲＴＳノイズと判定されたデジタルの画素信号を除外した残りのデジタルの画素信号に基づいて、それぞれの画素のＲＴＳ除外画素値を生成する。例えばデータ処理部３４は、一画素における複数のデジタルの画素信号から、ＲＴＳ閾値より外の画素値をＲＴＳノイズと判定する。

閾値生成部３０は、スイッチ２６を介してマルチプレクサ２５から各画素における画素値の積算値および画素値のカウント値を受け取る。閾値生成部３０は、ＲＴＳ閾値以内における画素値の積算値および画素値のカウント値を、データ処理部３４に送る。データ処理部３４は、当該積算値およびカウント値を用いて、ＲＴＳ除外画素値を生成する。これにより、データ処理部３４は、ＲＴＳノイズと判定されたデジタルの画素信号を除外した残りのデジタルの画素信号を、当該一画素のＲＴＳ除外画素値とする。データ処理部３４は、当該一画素以外の複数の画素の各々についても、ＲＴＳ除外画素値を生成する。

なお、変形例として、閾値生成部３０は、閾値生成部３０に入力された各々の画素における複数の画素信号を複製して、ＲＴＳ閾値と共にデータ処理部３４に転送してもよい。これにより、データ処理部３４は、各々の画素における複数の画素信号とＲＴＳ閾値とを用いて、ＲＴＳ除外画素値を生成することができる。これに代えて、スイッチ２６は、閾値生成部３０のみをマルチプレクサ２５に接続するのではなく、閾値生成部３０およびデータ処理部３４を同時にマルチプレクサ２５に接続してもよい。これにより、各々の画素における複数の画素信号が、閾値生成部３０およびデータ処理部３４に入力される。データ処理部３４は、閾値生成部３０から受信したＲＴＳ閾値とマルチプレクサ２５から受信した複数の画素信号とから生成したＲＴＳ除外画素値を、再び閾値生成部３０へ出力する。

次に、閾値生成部３０は、データ処理部３４が生成したＲＴＳ除外画素値に基づいて点欠陥閾値を生成する。閾値生成部３０は、複数の画素のＲＴＳ除外画素値について第２ヒストグラムを作成することにより、点欠陥ノイズを有する画素を特定する。閾値生成部３０は、複数の画素のＲＴＳ除外画素値について第２ヒストグラムを作成し、当該第２ヒストグラムを正規分布曲線でフィッティングする。閾値生成部３０は、当該正規分布から外れた画素値を除外するよう点欠陥閾値を定める。

閾値記憶部３２は、閾値生成部３０が生成した点欠陥閾値を記憶する。閾値記憶部３２は、製品の出荷前の試験時において閾値生成部３０が生成した点欠陥閾値を予め記憶してもよい。閾値記憶部３２は、既に記憶されている点欠陥閾値を、閾値生成部３０において新たに生成された点欠陥閾値で上書きしてもよい。閾値記憶部３２は、点欠陥閾値をデータ処理部３４に提供する。

データ処理部３４は、閾値記憶部３２が記憶したＲＴＳ閾値および点欠陥閾値を用いて、先に出力された複数の画素とは異なる複数の画素におけるＲＴＳノイズおよび点欠陥ノイズを除外する。
例えば、スイッチ２６が閾値生成部３０からデータ処理部３４に接続変更され、先に出力された複数の画素とは異なる複数の画素の各々から、デジタルの画素信号がデータ処理部３４に出力される。つまり、データ処理部３４は、先に出力された複数の画素の画素信号が除かれた、一つの画像を構成する画素信号全体を取得する。なお、これに代えて、データ処理部３４は、先に出力された複数の画素の画素信号も含めて、一つの画像を構成する画素信号全体を取得してもよい。

そして、データ処理部３４は、当該異なる複数の画素におけるデジタルの画素信号の画素値と、ＲＴＳ閾値および点欠陥閾値とを比較する。データ処理部３４は、先に出力された複数の画素の画素信号が除かれた画素値の各々と、ＲＴＳ閾値および点欠陥閾値とを比較する。なお、データ処理部３４は、先に出力された複数の画素の画素信号も含めて、一つの画像を構成する画素信号全体の画素値の各々と、ＲＴＳ閾値および点欠陥閾値とを比較してもよい。データ処理部３４は、ＲＴＳ閾値および点欠陥閾値より外の画素値をＲＴＳノイズおよび点欠陥ノイズであると判断してよい。

データ処理部３４は、ＲＴＳ閾値より外の画素値を除外する。さらに、データ処理部３４は、点欠陥閾値より外の画素値を補正、補間または補完する。例えばデータ処理部３４は、全く光電変換を行わない点欠陥画素を有する画素とその隣接画素とを含む領域内で、被写体構造物の方向判定に基づいて、点欠陥画素の画素値を適正な画素値で補間してよい。また例えばデータ処理部３４は、点欠陥ノイズを有する画素が光に応答する画素であり、かつ、上述の方向性判定に基づいた置き換え処理をしない場合、画素値をゲイン補正をしたり、または、画素値をオフセット補正したりしてよい。また例えばデータ処理部３４は、線状に繋がる画素の欠陥（線欠陥）または塊となって繋がる（塊欠陥）がある場合、補正、補間または補完のアルゴリズムを適宜変更して、画素値を補正等してよい。これにより、データ処理部３４は、ＲＴＳ閾値および点欠陥閾値以内の画素値を、ノイズ除去後のデジタルの画素信号として画像処理部６２４に出力する。なお変形例として、データ処理部３４は欠陥画素の位置情報を画像処理部６２４へ伝達し、画像処理部６２４が点欠陥画素の画素値の補正、補間または補完を行ってもよい。

画像処理部６２４は、画像処理ＡＳＩＣ６２５および記録部６２６を有する。画像処理ＡＳＩＣ６２５は、記録部６２６をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理ＡＳＩＣ６２５は、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部６２６に記録される。また、背面表示部６３４は、当該記録部６２６記録された画像データに応じた画像を予め設定された時間の間表示する。

図３は、画素部１１における、画素ブロック１２および画素１３を示す図である。画素部１１は、複数の画素ブロック１２を有する。本例の画素部１１は、第１方向にＭ個かつ第２方向にＮ個の画素ブロック１２を有する。画素ブロック１２は、複数の画素１３を有する。本例の画素ブロック１２は、第１方向にｍ個かつ第２方向にｎ個の複数の画素１３を有する。なお、Ｍ、Ｎ、ｍおよびｎは自然数である。複数の画素１３の各々は、光電変換された電荷からアナログの画素信号を生成する。

画素１３は、光電変換部１４、転送トランジスタ１５、リセットトランジスタ１６、増幅トランジスタ１７および選択トランジスタ１８を有する。光電変換部１４のカソードは、転送トランジスタ１５のソースに接続される。転送トランジスタ１５のドレインは、リセットトランジスタ１６のソースおよび増幅トランジスタ１７のゲートに接続される。転送トランジスタ１５のドレインは、浮遊拡散（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）領域であり、文字ＦＤで示す。

リセットトランジスタ１６および増幅トランジスタ１７のドレインは高電位部ＶＤＤに接続される。また、増幅トランジスタ１７のソースは選択トランジスタ１８のドレインに接続される。一つの画素ブロック１２中の各画素１３における選択トランジスタ１８のソースは、バンプ１９を介してＣＤＳ回路２１に接続される。一つの画素ブロック１２中の各画素１３における選択トランジスタ１８のソースは、順番に出力信号Ｓ_ＯＵＴをＣＤＳ回路２１に出力する。出力信号Ｓ_ＯＵＴはアナログの画像信号である。

転送トランジスタ１５のゲートである端子ＴＸには、駆動回路から制御信号が入力される。当該制御信号は、正のパルス電圧信号であってよい。当該正のパルス電圧信号により、転送トランジスタ１５はオン状態になる。オン状態となった転送トランジスタ１５は、光電変換部１４に蓄積された電荷を浮遊拡散領域ＦＤに出力する。

リセットトランジスタ１６のゲートである端子ＲＳＴには、駆動回路から制御信号が入力される。当該制御信号は、正のパルス電圧信号であってよい。当該正のパルス電圧信号により、リセットトランジスタ１６はオン状態になる。オン状態となったリセットトランジスタ１６は、浮遊拡散領域ＦＤに蓄積された電荷を排除する。

増幅トランジスタ１７と選択トランジスタ１８のソースに接続された定電流源とは、ソースフォロワを構成する。増幅トランジスタ１７のゲートに対する入力は、選択トランジスタ１８のソースからＳ_ＯＵＴとして出力される。増幅トランジスタ１７のゲートには、浮遊拡散領域ＦＤの電圧値が入力される。選択トランジスタ１８のゲートである端子ＳＥＬには、駆動回路から制御信号が入力される。当該制御信号は、正のパルス電圧信号であってよい。当該正のパルス電圧信号により、選択トランジスタ１８はオン状態になる。

ＣＤＳ回路２１は、一つの画素ブロック１２対応して一つ設けられる。ＣＤＳ回路２１は、あるタイミングにおいて、リセットトランジスタ１６をオンにすることにより浮遊拡散領域ＦＤの電荷が排除された状態（リセット状態）における選択トランジスタ１８の出力信号Ｓ_Ｒを読み出して記録する。ＣＤＳ回路２１は、他のタイミングにおいて、リセットトランジスタ１６をオフ、かつ、転送トランジスタ１５、増幅トランジスタ１７および選択トランジスタ１８をオンする。これによりＣＤＳ回路２１は、リセット状態の後において、浮遊拡散領域ＦＤに電荷が蓄積された状態（電荷蓄積状態）における選択トランジスタ１８の出力信号Ｓ_Ｓを読み出して記録する。

そして、ＣＤＳ回路２１は、リセット状態の出力信号Ｓ_Ｒと蓄積状態の出力信号Ｓ_Ｓとの差を計算する。出力信号Ｓ_ＲとＳ_Ｓとの差をアナログの画素信号として用いることにより、各画素１３に設けられた増幅トランジスタ１７等の性能バラつきを補償することができる。

それぞれの画素１３は、リセット状態における出力信号の読出し動作であるリセットと電荷蓄積状態における出力信号の読み出し動作である信号出力とを、１フレーム期間内で予め定められた回数繰り返して複数のアナログの画素信号をＡＤ変換器２４に出力する。例えば、リセット状態および電荷蓄積状態の出力信号によりアナログの画素信号を生成する動作を、１フレーム期間内で複数回順次繰り返す。各回において生成されたアナログの画素信号は、それぞれＡＤ変換器２４に出力されてデジタルの画素信号に変換される。つまり、１つの画素１３について１フレーム期間内で複数回の画素値がサンプリングされる。

図４は、画素１３において、リセットと信号出力とが複数回繰り返されることを示す図である。横軸は時刻を示し、縦軸は電圧値を示す。図４は、上から順に、リセットトランジスタ１６のゲートに接続された端子ＲＳＴの電圧値、転送トランジスタ１５のゲートに接続された端子ＴＸの電圧値、および、選択トランジスタ１８のソースから出力される出力信号Ｖ_ＯＵＴの電圧値を示す。Ｖ_ＯＵＴは出力信号Ｓ_ＯＵＴの電圧値を示し、Ｖ_Ｓは出力信号Ｓ_Ｓの電圧値を示し、Ｖ_Ｒは出力信号Ｓ_Ｒの電圧値を示す。

画素１３は、時間Ｔ１、Ｔ２、Ｔ３‥において、同様の動作を繰り返す。それゆえ、時刻ｔ１からｔ５までの時間Ｔ１についてのみ説明する。時刻ｔ１からｔ２において端子ＲＳＴに正のパルス電圧信号が入力される。この間、選択トランジスタ１８はオン状態とされて、Ｖ_ＯＵＴは増大する。

時刻ｔ２からｔ３において、Ｖ_ＯＵＴは一定の電圧値Ｖ_Ｒとなる。この間、選択トランジスタ１８はオン状態とされて、電圧値Ｖ_Ｒはリセット状態の出力信号Ｓ_ＲとしてＣＤＳ回路２１に読み出されて記録される。時刻ｔ３からｔ４において端子ＴＸに正のパルス電圧信号が入力される。この間、選択トランジスタ１８はオン状態とされて、光電変換部１４で生成された電荷量に対応してＶ_ＯＵＴは減少する。

時刻ｔ４からｔ５において、Ｖ_ＯＵＴは一定の電圧値Ｖ_Ｓとなる。この間、選択トランジスタ１８はオン状態とされて、電圧値Ｖ_Ｓは電荷蓄積状態の出力信号Ｓ_ＳとしてＣＤＳ回路２１に読み出されて記録される。時間Ｔ２の時刻ｔ５以降は、時間Ｔ１と同じ動作が繰り返される。これにより、ＣＤＳ補正を反映した画素値が複数回サンプリングされる。

図５は、予め定められた画素ブロック１２における、各画素１３の画素値の第１ヒストグラムである。予め定められた画素ブロック１２は、２以上の画素１３を有してよい。図５においては、図４の画素ブロック１２における数字１から４に対応する画素１３を、（ａ）第１画素から（ｄ）第４画素の画素１３として示す。

各画素１３の第１ヒストグラムの横軸は画素値を示し、縦軸は度数を示す。画素値が大きいほど蓄積された電荷が多く、画素値が小さいほど蓄積された電荷が少ないことを示す。なお、一の画素１３における複数回のサンプリングにおいて、同一の光量が当該一の画素１３に入射するとしても、画素値はポアソン分布等の統計分布に従うので、画素値は必ずしも毎回同じ値とはならない。

例えば、（ｂ）第２画素において、画素値Ｄは最も高い画素値であるが、画素値Ｄが測定された数は最も少ない。これに対して、画素値Ｂは三番目に高い画素値であるが、画素値Ｂが測定された数は最も多い。このように１フレーム期間内における複数回のサンプリングにおいて、１つの画素１３について複数の画素値がばらつきをもって測定される。

閾値生成部３０は、第１画素から第４画素の各画素１３について、複数の画素信号の第１ヒストグラムを生成する。そして、閾値生成部３０は、（ａ）第１画素から（ｄ）第４画素の第１ヒストグラムを、正規分布曲線でフィッティングする。

本例では、各画素１３の第１ヒストグラムを、各々個別に正規分布曲線でフィッティングする。閾値生成部３０は、正規分布における特徴的なパラメータによって特定される画素値をＲＴＳ閾値としてよい。本例の閾値生成部３０は、正規分布の±３σに対応する画素値をＲＴＳ閾値とする。これにより、フィッティングした正規分布曲線のＲＴＳ閾値より外の画素値がＲＴＳノイズとして特定される。

これに対してデータ処理部３４は、フィッティングした正規分布曲線のＲＴＳ閾値以内の画素値をＲＴＳを含まない画素値として特定する。本例においては、データ処理部３４は、ＲＴＳを含まない画素値の重み付き平均値をＲＴＳ除外画素値として生成する。例えば、（ｂ）第２画素の例において、ＲＴＳを含まない画素値（Ａ，Ｂ，Ｃ，Ｄ）の度数が（６，１６，６，４）であったと仮定する。この場合、重み付き平均値によって算出されるＲＴＳ除外画素値は、（Ａ×６＋Ｂ×１６＋Ｃ×６＋Ｄ×４）／３２となる。なお、本手法においては、ＲＴＳ閾値以内に存在するＲＴＳノイズは、当該手法によりＲＴＳノイズとして区別しないこととなる。

各々の画素１３におけるＲＴＳ閾値は、閾値記憶部３２に記憶される。予め定められた画素ブロック１２における各々の画素１３の第１ヒストグラムを正規分布曲線でフィッティングした結果、各画素１３に特有のＲＴＳ閾値が得られる。本例の閾値記憶部３２は、予め定められた画素ブロック１２における、最大のＲＴＳ閾値の上限値および最小のＲＴＳ閾値の下限値を記憶する。なお、閾値記憶部３２は、当該各画素１３に特有のＲＴＳ閾値を記憶してもよい。

なお、上述の説明では、予め定められた画素ブロック１２において、画素１３毎に第１ヒストグラムを生成してＲＴＳ閾値を生成するとした。つまり、１つの画素１３に対して上限値および下限値を有する１対のＲＴＳ閾値が生成されるとした。しかしながら、２以上の画素１３毎に第１ヒストグラムを生成してＲＴＳ閾値を生成してもよい。つまり、１つの予め定められた画素ブロック１２に対して上限値および下限値を有する一対のＲＴＳ閾値が生成されてもよい。

画素ブロック１２の明るさに応じて画素１３の画素値の分布は変化する。例えば、被写体の明るい部分を表示する画素ブロック１２の画素１３の画素値は、被写体の暗い部分を表示する画素ブロック１２の画素１３の画素値よりも高くなる。それゆえ、被写体の明るい部分を表示する画素１３の画素値の分布は、被写体の暗い部分を表示する画素１３の画素値の分布よりも第１ヒストグラム上において右側にずれる。この場合、ＲＴＳ閾値も第１ヒストグラム上において右側にずれることとなる。

そこで、画素ブロック１２の明るさに応じて、画素値をスケーリングするべく、ルックアップテーブルおよび変換関数の少なくとも一方を予め定めてよい。つまり、異なる明るさを有する複数の画素ブロック１２において、画素１３の第１のヒストグラムにおける画素値の中央値が、同じになるように画素値を変換してよい。これにより、予め定められた画素ブロック１２において決定したＲＴＳ閾値を、当該予め定められた画素ブロック１２と異なる明るさを有する画素ブロック１２に対しても適用することができる。ルックアップテーブルおよび変換関数は、閾値記憶部３２に記憶されてよい。

図６は、予め定められた画素ブロック１２における、各画素１３のＲＴＳ除外画素値から作成した第２ヒストグラムである。本例では、画素ブロック１２内における各画素１３について、ＲＴＳを含まない画素値の重み付き平均値をＲＴＳ除外画素値として、ヒストグラム上にマッピングする。なお、第２ヒストグラムの横軸は画素値を示し、縦軸は度数を示す。

閾値生成部３０は、第２ヒストグラムを正規分布曲線でフィッティングする。閾値生成部３０は、正規分布曲線における特徴的なパラメータに対応する画素値を点欠陥閾値としてよい。本例の閾値生成部３０は、正規分布曲線の±３σに対応する画素値を点欠陥閾値と定める。

点欠陥閾値は、予め定められた画素ブロック１２における複数の画素１３の各々について、ＲＴＳ除外画素値をマッピングして正規分布曲線でフィッティングした結果得られる。それゆえ点欠陥閾値は、予め定められた画素ブロック１２内における２以上の画素１３に対して共通の値である。異なる２以上の画素ブロック１２においては、点欠陥閾値は異なる値であってよい。なお、点欠陥閾値以内に存在する点欠陥ノイズは、当該手法により点欠陥ノイズとして区別しない。閾値記憶部３２は、１つの予め定められた画素ブロック１２に対して上限値および下限値を有する一対の点欠陥閾値を記憶する。

図７は、第１の実施形態における、ＲＴＳノイズおよび点欠陥ノイズを検出するフローチャート７０である。ステップ７１において本フローチャート７０を開始する。ステップ７２において、画素部１１における予め定められた画素ブロック１２が指定される。指定される画素ブロック１２を画素部１１中のどこにするか、および、画素ブロック１２中におけるｍ×ｎ個の画素１３の具体的な数は、ＣＰＵ６２２により任意に指定されてもよいし、ユーザが定めてもよい。

ステップ７３において、閾値生成部３０は、予め定められた画素ブロック１２内のそれぞれの画素１３について、予め定められた回数繰り返し出力される複数の画素信号の第１ヒストグラムを生成する。閾値生成部３０はさらに、第１ヒストグラムに基づいて、ＲＴＳノイズを検出するためのＲＴＳ閾値を生成する。本例では、閾値生成部３０は、当該第１ヒストグラムを正規分布曲線でフィッティングする。閾値生成部３０は、正規分布の±３σに対応する画素値をＲＴＳ閾値とする。

ステップ７４において、データ処理部３４は、予め定められた画素ブロック１２内のそれぞれの画素１３について、複数の画素信号のうちＲＴＳノイズと判定される画素信号を除外する。データ処理部３４は、ＲＴＳノイズを除外した残りの画素信号に基づいてＲＴＳ除外画素値を生成する。本例のデータ処理部３４は、第１のヒストグラムをフィッティングした正規分布曲線のＲＴＳ閾値以内における画素値の重み付き平均することでＲＴＳ除外画素値を生成する。

ステップ７５において、閾値記憶部３２は、閾値生成部３０が生成したＲＴＳ閾値を記憶する。ステップ７６において、閾値生成部３０は、画素ブロック１２内のそれぞれの画素１３のＲＴＳ除外画素値の第２ヒストグラムを生成する。本例では、閾値生成部３０は、予め定められた画素ブロック１２内における各画素１３のＲＴＳ除外画素値をマッピングして第２ヒストグラムを作成する。閾値生成部３０は、第２ヒストグラムに基づいて点欠陥を検出するための点欠陥閾値を生成する。本例では、閾値生成部３０は、当該第２ヒストグラムを正規分布曲線でフィッティングする。閾値生成部３０は、正規分布の±３σに対応する画素値を点欠陥閾値とする。ステップ７７において、閾値記憶部３２は、閾値生成部３０が生成した点欠陥閾値を記憶する。

ステップ７８において、データ処理部３４は、予め定められた画素ブロック１２に対応する画素値を除く一つの画像のデータ全体を取得する。ステップ７９において、データ処理部３４は、閾値記憶部３２からＲＴＳ閾値を取得する。そして、データ処理部３４は、予め定められた画素ブロック１２以外のそれぞれの画素１３と、ＲＴＳ閾値とを比較して、それぞれの画素信号がＲＴＳノイズか否かを判定する。例えばデータ処理部３４は、ウィンドウコンパレータを用いて、一つの画像のデータを構成する画素信号の画素値とＲＴＳ閾値とを比較する。また、データ処理部３４は、画素ブロック１２における各画素１３の複数の信号値のうち、ＲＴＳ閾値より外の画素値を除外する。データ処理部３４は、ＲＴＳノイズと判定された画素信号を除外した残りの画素信号に基づいて、それぞれの画素１３のＲＴＳ除外画素値を生成する。これにより、データ処理部３４は、ＲＴＳ閾値より大きい画素値およびＲＴＳ閾値より小さい画素値をＲＴＳノイズとして除去することができる。

ステップ８０において、データ処理部３４は、閾値記憶部３２から点欠陥閾値を取得する。そして、データ処理部３４は、予め定められた画素ブロック１２以外のそれぞれの画素１３のＲＴＳ除外画素値と点欠陥閾値とを比較する。これにより、データ処理部３４は、それぞれの画素１３が点欠陥画素か否かを判定する。本例では、データ処理部３４は、ウィンドウコンパレータを用いてＲＴＳ除外画素値と点欠陥閾値とを比較をする。データ処理部３４は、点欠陥閾値より外の画素値を点欠陥ノイズと判断する。この場合データ処理部３４は、点欠陥ノイズである画素１３の画素値については、画素値を補正等する。データ処理部３４は、点欠陥ノイズを有する画素１３の画素値を、点欠陥ノイズである当該画素１３の周辺の画素１３の画素値から補間してよい。ステップ８１において、ＲＴＳノイズを除去し、かつ、点欠陥ノイズを有する画素値を補正等した画素信号を出力して、処理を終了する。

本例においては、画素部１１の予め定められた画素ブロック１２の複数の画素１３だけについて、閾値生成部３０がＲＴＳ閾値および点欠陥閾値を生成する。そして、画素部１１の他の画素ブロック１２における複数の画素１３の画素値と、当該ＲＴＳ閾値および点欠陥閾値と、を比較することによりＲＴＳノイズを除去し、点欠陥ノイズを有する画素値を補正等する。つまり、全ての画素１３についてヒストグラムを作成しないので、演算量を減らすことができる。また、信号処理チップ２０の演算量の負担を軽減することができる。よって、ＲＴＳノイズ除去および点欠陥ノイズを有する画素値の補正に要する処理時間を短くすることができる。また、一眼レフカメラ４００は迅速にＲＴＳノイズ除去および点欠陥ノイズを有する画素値の補正等をすることができる。

また、本例におけるノイズ補正は、正規分布曲線から外れた画素値をＲＴＳノイズおよび点欠陥ノイズと見なす。これにより、中央値を用いて補正する場合と比較して、より効果的にＲＴＳを除外することができる。加えて、ＲＴＳ除外画素値をマッピングして作成した第２ヒストグラムにおいて点欠陥ノイズを検出して画素値を補正等するので、ＲＴＳノイズと点欠陥ノイズとを区別して除外することができる。

なお、データ処理部３４は、ステップ７９におけるＲＴＳ除外画素値を生成する際に、上述したように画素１３について一回だけサンプリングしてよいし、複数回サンプリングしてもよい。データ処理部３４は、画素１３についてＲＴＳ除外画素値を複数回サンプリングして得た値を平均することにより、画素値の信号対雑音比を向上させることができる。

さらに、信号対雑音比の向上よりも処理時間の短縮を優先する場合は、データ処理部３４は、ＲＴＳ除外画素値を一回だけサンプリングしてよい。これに対して、処理時間の短縮よりも信号対雑音比の向上を優先する場合は、データ処理部３４は、ＲＴＳ除外画素値を複数回サンプリングしてもよい。

なお上述の例では、予め定められた画素ブロック１２は一つとしたが、ＲＴＳ閾値を生成する範囲を一つの画素ブロック１２から複数の画素ブロック１２へと拡張してもよい。これにより、一つの画素ブロック１２を用いる場合と比較して、さらに高精度にＲＴＳノイズ除去および点欠陥ノイズを有する画素値の補正等を行うことができる。さらに、ＲＴＳ閾値を生成する範囲は全画素ブロック１２としてもよい。

図８は、第２の実施形態における、ＲＴＳノイズおよび点欠陥ノイズを検出するフローチャート９０である。本例においては、閾値記憶部３２が、ＲＴＳ閾値および点欠陥閾値を予め記憶している。また、ＲＴＳ閾値および点欠陥閾値がユーザ指示により更新される。係る点が第１の実施形態と異なる。ＲＴＳ閾値および点欠陥閾値は、製品の出荷前の試験時において測定された閾値であってよい。

ステップ９１において本フローチャート９０を開始する。ステップ９２においてユーザは、閾値記憶部３２が予め記憶したＲＴＳ閾値および点欠陥閾値を更新するか否か指示を出す。ＲＴＳ閾値および点欠陥閾値を更新しない（Ｎｏ）場合、ステップ９２からステップ９３に進む。これに対して、ＲＴＳ閾値および点欠陥閾値を更新する（Ｙｅｓ）場合、ステップ９２からステップ１０１に進む。

ＲＴＳ閾値および点欠陥閾値を更新しない（Ｎｏ）場合について説明する。ステップ９３において、データ処理部３４は、一つの画像のデータ全体を取得する。なお、データ処理部３４は、複数枚の画像を取得して、各画像においてＲＴＳノイズを除去してもよい。これにより、上述の複数回サンプリングの効果を得ることができる。

ステップ９４において、データ処理部３４は、閾値記憶部３２から予め記憶されているＲＴＳ閾値を読み出す。そして、データ処理部３４は、一つの画像のデータを構成する画素信号の画素値とＲＴＳ閾値とを比較する。データ処理部３４は、ＲＴＳ閾値より外の画素値をＲＴＳノイズとして除去する。

ステップ９５において、データ処理部３４は、閾値記憶部３２から予め記憶されている点欠陥閾値を読み出す。そして、データ処理部３４は、ＲＴＳノイズ除去後のそれぞれの画素１３のＲＴＳ除外画素値と点欠陥閾値とを比較する。これによりデータ処理部３４は、点欠陥画素を検出する。データ処理部３４は、点欠陥閾値より外の画素値を点欠陥ノイズを有する画素と判断して、その画素値を補正等する。ステップ９５において、ノイズを除去および画素値の補正等をした画素信号を出力して、一旦処理を終了する。

次に、ＲＴＳ閾値および点欠陥閾値を更新する（Ｙｅｓ）場合について説明する。ステップ１０１において、ユーザの指示に応じて、ＲＴＳ閾値および点欠陥閾値の更新が開始される。なお、当該ユーザの指示は、ＲＴＳ閾値および点欠陥閾値の更新をする指示であって、一眼レフカメラ４００に設けられるボタン等により入力される明示的な指示であってよい。ステップ１０１において、画素部１１中の特定の画素ブロック１２が定められる。画素ブロック１２を画素部１１中のどこにするか、および、画素ブロック１２中におけるｍ×ｎ個の画素１３の具体的な数は、ＣＰＵ６２２により任意に指定されてよいし、ユーザが定めてもよい。

ステップ１０２において、閾値生成部３０は、予め定められた画素ブロック１２内における各画素１３について定められた回数繰り返し出力される複数の画素信号の第１ヒストグラムを生成する。閾値生成部３０は、当該第１ヒストグラムに基づいて新たなＲＴＳ閾値を生成する。つまり、閾値生成部３０は、各画素１３の画素値の第１ヒストグラムを正規分布曲線でフィッティングすることで、ＲＴＳ閾値を新たに生成する。

ステップ１０３において、データ処理部３４は、予め定められた画素ブロック１２内における各画素１３の複数の信号値とＲＴＳ閾値とから、ＲＴＳ除外画素値を生成する。データ処理部３４は、第１のヒストグラムをフィッティングして、正規分布曲線のＲＴＳ閾値以内の画素値を画素値の重み付き平均することでＲＴＳ除外画素値を生成してよい。ステップ１０３において、閾値記憶部３２は、予め記憶したＲＴＳ閾値を閾値生成部３０が新たに生成したＲＴＳ閾値で更新する。

ステップ１０４において、閾値生成部３０は、ＲＴＳ除外画素値の第２ヒストグラムを生成する。つまり、閾値生成部３０は、ＲＴＳ除外画素値から予め定められた画素ブロック１２における各画素１３のＲＴＳ除外画素値をマッピングして第２ヒストグラムを作成する。閾値生成部３０は、第２ヒストグラムに基づいて新たな前記点欠陥閾値を生成する。本例では、閾値生成部３０は、第２ヒストグラムを正規分布曲線でフィッティングすることで、点欠陥閾値を生成する。

ステップ１０５において、閾値記憶部３２は、予め記憶した点欠陥閾値を閾値生成部３０が生成した点欠陥閾値で更新する。次に、ステップ１０５からステップ９４に進み、データ処理部３４は、閾値記憶部３２から更新されたＲＴＳ閾値を読み出す。ＲＴＳ閾値比較は上述の様に行われる。次に、ステップ９５に進み、データ処理部３４は、閾値記憶部３２から更新された点欠陥閾値を読み出す。その後の処理は上述の通りである。なお、ＲＳＴ閾値および点欠陥閾値は、その後もユーザの指示に応じて何度でも更新してよい。

本例においては、製品の出荷前の試験において記憶されたＲＴＳ閾値および点欠陥閾値を、ユーザ指示に応じて更新する。これにより、ＲＴＳノイズおよび欠陥ノイズについて、先天性のノイズの閾値が経時およびストレス変化により生じた後天性のノイズの閾値により更新される。よって、製品の状態に応じて適切にＲＴＳ閾値および点欠陥閾値をアップデートすることができる。また、新品状態においては記憶された閾値を用いて迅速にノイズ補正を行い、一定期間経過後には経時劣化に応じたノイズ補正ができる。さらに、ＲＴＳ閾値および点欠陥閾値を閾値算出時間と共に記録することにより、経時的なＲＴＳノイズおよび点欠陥ノイズの発生頻度のデータを得ることもできる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

１０ 撮像チップ、１１ 画素部、１２ 画素ブロック、１３ 画素、１４ 光電変換部、１５ 転送トランジスタ、１６ リセットトランジスタ、１７ 増幅トランジスタ、１８ 選択トランジスタ、１９ バンプ、２０ 信号処理チップ、２１ ＣＤＳ回路、２３ 信号処理部、２４ ＡＤ変換器、２５ マルチプレクサ、２６ スイッチ、３０ 閾値生成部、３２ 閾値記憶部、３４ データ処理部、７０ フローチャート、９０ フローチャート、２００ 撮像素子、３４０ シャッタユニット、４１０ 光軸、４００ 一眼レフカメラ、５００ レンズユニット、５５０ レンズマウント、６００ カメラボディ、６２０ ボディ基板、６２２ ＣＰＵ、６２４ 画像処理部、６２５ 画像処理ＡＳＩＣ、６２６ 記録部、６３４ 背面表示部、６５０ ファインダ、６５２ ピント板、６５４ ペンタプリズム、６５６ ファインダ光学系、６６０ ボディマウント、６７０ ミラーボックス、６７２ ミラー

Claims (9)

1. 複数の画素を有し、それぞれの画素がリセットと信号出力とを予め定められた回数繰り返して複数の画素信号を出力する画素部と、
   ＲＴＳノイズを検出するＲＴＳ閾値を記憶する閾値記憶部と、
   それぞれの画素について、前記複数の画素信号のそれぞれと、前記ＲＴＳ閾値とを比較して、それぞれの画素信号がＲＴＳノイズか否かを判定し、ＲＴＳノイズと判定された画素信号を除外した残りの画素信号に基づいて、それぞれの画素のＲＴＳ除外画素値を生成するデータ処理部と
   を備える撮像装置。
2. 前記閾値記憶部は、２以上の画素に対して共通の点欠陥閾値を更に記憶し、
   前記データ処理部は、それぞれの画素の前記ＲＴＳ除外画素値と、前記点欠陥閾値とを比較して、点欠陥画素を検出する、
   請求項１に記載の撮像装置。
3. ユーザの指示に応じて前記ＲＴＳ閾値を新たに生成して、前記閾値記憶部が記憶した前記ＲＴＳ閾値を更新する閾値生成部を更に備え、
   前記閾値生成部は、予め定められた画素ブロック内のそれぞれの画素について、前記予め定められた回数繰り返し出力される前記複数の画素信号の第１ヒストグラムを生成し、前記第１ヒストグラムに基づいて新たな前記ＲＴＳ閾値を生成する、
   請求項２に記載の撮像装置。
4. 前記データ処理部は、前記画素ブロック内のそれぞれの前記画素について前記ＲＴＳ除外画素値を生成し、
   前記閾値生成部は、前記ＲＴＳ除外画素値の第２ヒストグラムを生成し、前記第２ヒストグラムに基づいて新たな前記点欠陥閾値を生成し、前記閾値記憶部が記憶した前記点欠陥閾値を更に更新する、
   請求項３に記載の撮像装置。
5. 複数の画素を有し、それぞれの画素がリセットと信号出力とを予め定められた回数繰り返して複数の画素信号を出力する画素部と、
   予め定められた画素ブロック内のそれぞれの画素について、前記予め定められた回数繰り返し出力される前記複数の画素信号の第１ヒストグラムを生成し、前記第１ヒストグラムに基づいて、ＲＴＳノイズを検出するためのＲＴＳ閾値を生成する閾値生成部と
   を備える撮像装置。
6. 前記画素ブロック内のそれぞれの画素について、前記複数の画素信号のうち前記ＲＴＳノイズと判定される画素信号を除外した残りの画素信号に基づいてＲＴＳ除外画素値を生成するデータ処理部を更に備える、
   請求項５に記載の撮像装置。
7. 前記データ処理部は、前記画素ブロック以外のそれぞれの画素と、前記ＲＴＳ閾値とを比較して、それぞれの画素信号がＲＴＳノイズか否かを判定し、ＲＴＳノイズと判定された画素信号を除外した残りの画素信号に基づいて、それぞれの画素のＲＴＳ除外画素値を生成する、
   請求項６に記載の撮像装置。
8. 前記閾値生成部は、前記画素ブロック内のそれぞれの画素の前記ＲＴＳ除外画素値の第２ヒストグラムを生成し、前記第２ヒストグラムに基づいて点欠陥を検出するための点欠陥閾値を生成する、
   請求項７に記載の撮像装置。
9. 前記データ処理部は、前記画素ブロック以外のそれぞれの画素の前記ＲＴＳ除外画素値と前記点欠陥閾値とを比較して、それぞれの画素が点欠陥画素か否かを判定する、
   請求項８に記載の撮像装置。

Images