JP5060447B2 - ノイズキャンセル処理回路および固体撮像装置 - Google Patents

Description

この発明は、ノイズキャンセル処理回路および固体撮像装置に関する。

従来、デジタルスチルカメラ（ＤＳＣ）や携帯電話などに搭載されるデジタル映像出力を行う固体撮像装置（カメラ）は、撮像レンズを通して撮像素子に結像された被写体像のアナログ信号をアナログデジタル変換器（ＡＤＣ）によりデジタル映像信号に変換する。そして、カメラが内蔵する画像処理部は、変換したデジタル映像信号に対し、レンズシェーディング処理、傷補正処理、およびノイズキャンセル処理などを行い、最終的なデジタル映像信号を出力する。

近年、画素の微細化に伴い、撮像素子から出力される映像信号のＳ／Ｎ比の劣化が目立ち始めている。そして、この撮像素子からの映像信号のノイズに起因する画像処理部での各種処理の演算精度の劣化が問題となってきている。この問題の解決方法として、撮像素子からの撮像信号のノイズを除去するために、前述の従来の各種処理を行う画像処理部において、初段にさらに別のノイズキャンセル処理を行う回路を設けることが考えられる。

しかしながら、従来画像処理部の内部で行っていたようなノイズキャンセル処理回路は、２次元フィルタを用いるため、ラインメモリを有する構成となっている（例えば特許文献１）。したがってこのようなノイズキャンセル処理回路を画像処理部の初段に設けることは回路規模および消費電力などの関係から好ましくない。ラインメモリを使用しないで１次元の画素の並びに基づいてノイズキャンセル処理を行おうとすると、コントラスト情報が急激に変化する鮮鋭な部分とノイズとの区別が難しく、ノイズキャンセル処理の結果、鮮鋭な部分をも減衰させてしまい、解像度感が低下し、画質が劣化してしまうという問題があった。

特開２００６−２００５０号公報

本発明は、画質の劣化を防ぎつつノイズキャンセルを行うことができる、回路規模の小さいノイズキャンセル処理回路および固体撮像装置を提供することを目的とする。

本願発明の一態様によれば、撮像レンズを通して入射された被写体像を撮像素子にて撮像し、撮像信号に基づいてデジタル映像信号を生成し、このデジタル映像信号の画素値に対して順次ノイズキャンセル処理を行うノイズキャンセル処理回路であって、前記デジタル映像信号の注目画素および該注目画素の直前並びに直後に入力された所定数の画素の画素値に基づいて鮮鋭さを示す鮮鋭度値および前記注目画素に含まれているノイズ値を概略的に示す概略ノイズ値を算出し、前記鮮鋭度値と前記概略ノイズ値とを比較することによって前記注目画素近傍が鮮鋭部であるか平坦部であるかを判定する鮮鋭部／平坦部判定手段と、前記鮮鋭部／平坦部判定手段による判定結果に応じて前記注目画素および前記直前および直後に入力された所定数の画素に対し１次元フィルタを用いる２種類のノイズ抽出処理のうちの１つのノイズ抽出処理を選択して実行して前記注目画素のノイズ値を抽出するノイズ抽出手段と、前記抽出された注目画素のノイズ値を用いて前記注目画素の画素値を補正する補正手段と、を備えるノイズキャンセル処理回路が提供される。

また、本願発明の別の一様態によれば、撮像レンズを通して入射された被写体像を撮像素子にて撮像し、撮像信号に基づいてデジタル映像信号を生成し、該生成されたデジタル映像信号に対して画像処理部にて画像処理を実行する固体撮像装置において、前記画像処理部は、ノイズキャンセル処理回路を初段に備え、該ノイズキャンセル処理回路の後段以降に、前記ノイズキャンセル処理回路を経て入力されてくるデジタル映像信号の画素値をラインメモリに蓄積し、該蓄積した画素値に対して２次元フィルタを用いてノイズキャンセル処理を行う別のノイズキャンセル処理回路をさらに備える、固体撮像装置が提供される。

本発明によれば、画質の劣化を防ぎつつノイズキャンセルを行うことができる、回路規模の小さいノイズキャンセル処理回路を提供することができる、という効果を奏する。

以下に添付図面を参照して、この発明にかかるノイズキャンセル処理回路および固体撮像装置の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態にかかる固体撮像装置の構成を示すブロック図である。この固体撮像装置は、撮像レンズ１、撮像部２、ＡＤ変換器（ＡＤＣ）３および画像処理部４を備える。

撮像レンズ１は、被写体からの光を取り込む。撮像部２は、撮像レンズ１に入射された光を撮像する。また、撮像部２は、図示を省略したイメージセンサ（撮像素子）が赤色、青色、緑色の画素値をベイヤー配列に対応する順序で取り込み、取り込んだアナログ映像信号を、外部から指定された撮像条件に応じたゲインにて順次増幅して出力する。アナログデジタル変換器（ＡＤＣ）３は、撮像部２から出力されるアナログ映像信号をデジタル映像信号に変換する。画像処理部４は、アナログデジタル変換器３から出力されたデジタル映像信号に対して、デジタル映像信号が人の目にリニアに映し出せるようにする処理、すなわち、デジタル映像信号を人が見たシーンに近づけるための画像処理を実行する。

画像処理部４は、第１のノイズキャンセル処理部（ノイズキャンセル処理回路）４０、レンズシェーディング処理部４１、傷補正処理部４２、第２のノイズキャンセル処理部４３、画素補間処理部４４、ホワイトバランス処理部４５、カラーマトリクス処理部４６、輪郭処理部４７およびガンマ補正部４８を備え、さらに、画像処理を実行して得られたデジタル映像信号を出力するための出力部４９を備える。

第１のノイズキャンセル処理部４０は、後段の各部の処理における演算精度を向上させるために、画像処理部４の初段においてアナログデジタル変換器３から出力されたデジタル映像信号からショットノイズなど被写体像の信号とは異なる信号を除去する。第１のノイズキャンセル処理部４０は、回路規模および消費電力を小さく抑えるためにラインメモリを使用しない構成となっており、ベイヤー配列に対応する順序で伝達されてくるデジタル映像信号の画素値に対して逐次ノイズキャンセル処理を実行する。したがって、第１のノイズキャンセル処理部４０は、デジタル映像信号の画像フレームにおける画素値の一次元の並びに基づいてノイズキャンセル処理を実行する。第１のノイズキャンセル処理部４０の構成および動作については後ほど詳しく説明する。

レンズシェーディング処理部４１は、第１のノイズキャンセル処理部４０にてノイズキャンセル処理が実行された後のデジタル映像信号に対して、対応する画素の位置（撮像素子のどの画素から取り込まれた信号か）に応じて個別に決定された補正係数を乗じることにより電気的なシェーディング補正を実行する。

傷補正処理部４２は、レンズシェーディング処理部４１にてシェーディング補正が実行された後のデジタル映像信号に対して、撮像素子に生じる正常に機能していない画素によるデジタル映像信号の欠損部分（傷）を補正する傷補正処理を実行する。

第２のノイズキャンセル処理部４３は、傷補正処理部４２にて傷補正処理が実行されたデジタル映像信号に対して、再度ノイズキャンセル処理を実行する。第２のノイズキャンセル処理部４３は、ラインメモリを使用する構成となっており、ベイヤー配列に対応する順序で伝達されてくるデジタル映像信号の画素値をラインメモリに一時的に貯え、該貯えた画素値に対して２次元フィルタなどを使用して２次元の画素の並びに基づくノイズキャンセル処理を実行する。

画素補間処理部４４は、第２のノイズキャンセル処理部４３にてノイズキャンセル処理が実行された後のベイヤー配列の順序で伝達されてくるデジタル映像信号に対して、画素補間処理（デモザイク処理）を実行する。

ホワイトバランス処理部４５は、画素補間処理部４４にてデモザイク処理が実行された後のデジタル映像信号に対してホワイトバランス処理を実行する。

カラーマトリクス処理部４６は、ホワイトバランス処理部４５にてホワイトバランス処理が実行された後のデジタル映像信号に対して、色再現性を得るためのカラーマトリクス演算処理（色再現性処理）を実行する。

輪郭処理部４７は、カラーマトリクス処理部４６にて色再現性処理が実行された後のデジタル映像信号に対して、撮像部２における撮像条件および各画素の位置に基づいて算出した補正係数を用いて輪郭強調処理を実行する。

ガンマ補正部４８は、輪郭処理部４７にて輪郭が強調された後のデジタル映像信号に対して、ガンマ補正を実行する。

出力部４９は、ガンマ補正部４８にてガンマ補正が実行された後のデジタル映像信号を最終的なデジタル映像信号（補正後のデジタル映像信号）として外部へ出力する。

次に、本発明の第１の実施の形態の要部である第１のノイズキャンセル処理部４０について詳しく説明する。まず、第１のノイズキャンセル処理部４０の構成を、図２を用いて説明する。図２は、第１のノイズキャンセル処理部４０の構成を説明するブロック図である。図示するように、第１のノイズキャンセル処理部４０は、非線形処理部４０１、鮮鋭度値算出部４０２、平均値（Ａｖｅ）算出部４０３、概略ノイズ値算出部４０４、乗算器４０５、比較器４０６、分配器４０７、第１のノイズ抽出部４０８、第２のノイズ抽出部４０９、振幅制限部４１０、および加算器４１１を有する。

ここで、以下の説明においては、第１のノイズキャンセル処理部４０の各構成要素は、ベイヤー配列に対応する順序で伝達されてくるデジタル信号の注目画素に対して、該注目画素の直前に伝達されてきた最も近接する同色の２画素と、直後に伝達されてくる最も近接する同色の２画素とに基づいてノイズキャンセル処理を実行するとして説明する。なお、注目画素に対するノイズキャンセル処理に使用される前後に近接する前後あわせて同色４画素を、単に近接４画素と表記することとする。図３は、第１のノイズキャンセル処理部４０に伝達されてくるベイヤー配列の画像フレームの一例を説明する図である。図３において、「Ｒ」は赤色、「Ｇ」は緑色、「Ｂ」は青色の画素を示す。図示するように、画像フレームは、奇数ラインに青色及び緑色の画素が交互に配置され、偶数ラインに緑色及び赤色の画素が交互に配置されている。デジタル映像信号は、図３におけるＨ方向の右側に向かって１画素ずつ順次入力され、右端に到達すると、続いてＶ方向における一段下のラインの左端の画素から入力されることとする。図示するように、一つの赤色の画素を注目画素とすると、赤色の画素のうち該注目画素の直後に入力される右側の２つの赤色画素および直前に入力された左側の２つの赤色画素が近接４画素となる。各画素は、画素値が第１のノイズキャンセル処理部４０に入力される順番で順次注目画素に設定される。

非線形処理部４０１、鮮鋭度値算出部４０２、Ａｖｅ算出部４０３、概略ノイズ値算出部４０４、乗算器４０５および比較器４０６は、注目画素近傍が人が見て色や輝度の変化が鮮鋭であると感じる鮮鋭部であるか、鮮鋭ではなく色や輝度の変化が平坦な平坦部であるかを判定する鮮鋭部／平坦部判定手段として機能する。

非線形処理部４０１は、注目画素と該注目画素の近接４画素に対して、後段にて鮮鋭度値算出部４０２により人が見た場合に近い感覚で鮮鋭さの程度を定量化した鮮鋭度値を算出できるように、予め定められた被視感度特性に基づいて画素値を非線形に変換する非線形処理を行う。鮮鋭度値算出部４０２は、非線形処理部４０１により非線形処理された後、注目画素と近接４画素との間で夫々差分の絶対値を算出し、該算出した４つの絶対値の平均値を鮮鋭度値として出力する。このように出力される鮮鋭度値は、注目画素および近接４画素が例えば色の違う物体の境界部分のような部分（エッジ部分）を含む場合など人が見て鮮鋭であると感じる程度が大きいほど大きな値をとる。

Ａｖｅ算出部４０３は、注目画素および近接４画素の計５画素の平均値を算出する。概略ノイズ値算出部４０４は、Ａｖｅ算出部４０３が算出した平均値に基づき、注目画素に混じるノイズの程度を概略的に示す概略ノイズ値を算出する。概略ノイズ値算出部４０４による概略ノイズ値の算出方法はどのようなものであってもよいが、一般的に、画素の微細化に伴って増加するショットノイズの標準偏差は画素値の平均値の平方根との間にリニアな関係があることが知られているため、Ａｖｅ算出部４０３が算出した平均値に対して平方根をとることで概略ノイズ値とするようにしてよい。また、撮像部２が使用する撮像素子に特化したショットノイズ特性をあらかじめ求めておき、該ショットノイズ特性に基づいて概略ノイズ値を算出するようにしてもよい。乗算器４０５は、概略ノイズ値算出部４０４が算出した概略ノイズ値に対し、予め設定レジスタなどにより与えられるノイズ係数（Ｎｏｉｓｅ＿Ｍｐ）を乗算することにより、概略ノイズ値算出部４０４が算出した概略ノイズ値の調整を行う。

比較器４０６は、鮮鋭度値算出部４０２が算出した鮮鋭度値と乗算器４０５が調整した概略ノイズ値とを比較する。比較器４０６は、鮮鋭度値が概略ノイズ値より大きいとき、注目画素および近接４画素は鮮鋭部であると判定し、後ほどノイズ抽出部４０８、４０９のうち使用するノイズ抽出部を選択するための選択信号として使用される所定のフラグを０とし、鮮鋭度値が概略ノイズ値未満であるとき、ショットノイズに対して有意な鮮鋭さを有しないということであるので、注目画素および近接４画素は平坦部であると判定し、フラグを１とする。

分配器４０７、第１のノイズ抽出部４０８および第２のノイズ抽出部４０９は、ノイズ抽出手段として機能する。

第１のノイズ抽出部４０８および第２のノイズ抽出部４０９は、注目画素の補正に使用するために、一次元のノイズ抽出フィルタを用いて前記する概略ノイズ値よりも精密なノイズ値を抽出する。ただし、各ノイズ抽出部４０８、４０９は夫々異なった特性を持つノイズ抽出フィルタを用いる。例えば、第１のノイズ抽出部４０８は、鮮鋭さを極力保存するために、ローパスフィルタのような特性を有するノイズ抽出フィルタを使用し、第２のノイズ抽出部４０９は、第１のノイズ抽出部４０８よりも広い周波数成分にわたり平坦化する特性のノイズ抽出フィルタを使用するようにするとよい。分配器４０７は、ノイズ抽出部４０８、４０９のうち、どちらのノイズ抽出部を用いて注目画素に対するノイズキャンセル処理に使用するノイズ値を算出するかを比較器４０６による比較結果に基づいて決定し、該決定したノイズ抽出部に注目画素および近接４画素の画素値を伝達する。すなわち、分配器４０７は、前述の所定のフラグが０を示しているとき、注目画素近傍は鮮鋭部であるので、鮮鋭さを極力保存する特性のノイズ抽出フィルタを使用するノイズ抽出部４０８に注目画素および近接４画素を伝達する。所定のフラグが１を示しているとき、注目画素近傍は平坦部であるので、分配器４０７は、ノイズ抽出部４０８に比して広い周波数成分の画素値に対して平坦化する特性のノイズ抽出フィルタを使用するノイズ抽出部４０９に伝達する。

振幅制限部４１０および加算器４１１は、ノイズ抽出部４０８またはノイズ抽出部４０９により抽出されたノイズ値を用いて注目画素の画素値を補正する補正手段として機能する。すなわち、振幅制限部４１０は、過補正を防止するために、ノイズ抽出部４０８またはノイズ抽出部４０９により抽出されたノイズ値に対し、乗算器４０５が調整した概略ノイズ値に基づいて振幅制限を行う。加算器４１１は、振幅制限部４１０により振幅制限されたノイズ値を注目画素の画素値に加算する。第１のノイズキャンセル処理部４０は、加算器４１１により出力された注目画素の画素値をノイズキャンセル処理が実行された画素値として出力される。

次に、以上のように構成された第１のノイズキャンセル処理部４０の動作を説明する。図４は、第１のノイズキャンセル処理部４０の動作を説明するフローチャートである。

図４において、ノイズキャンセル処理が開始されると、まず、第１のノイズキャンセル処理部４０は、Ｎｏｉｓｅ＿ＭＰを取得する初期設定を実行する（ステップＳ１）。そして、非線形処理部４０１、Ａｖｅ算出部４０３、および分配器４０７は、注目画素および該注目画素の近接４画素を取得する（ステップＳ２）。ここで、第１のノイズキャンセル処理部４０は画素値を蓄積するラインメモリを有さないので、各構成要素は、タイミングをずらすことによりベイヤー配列の順番で逐次入力されてくる画素値からこれらの５画素の画素値を取得する。

非線形処理部４０１および鮮鋭度値算出部４０２は、取得した注目画素および近接４画素の画素値に基づき、鮮鋭度値を算出する（ステップＳ３）。Ａｖｅ算出部４０３および概略ノイズ値算出部４０４は、取得した注目画素および近接４画素の画素値に基づき、概略ノイズ値を算出し、乗算器４０５は該概略ノイズ値にＮｏｉｓｅ＿ＭＰを乗算して概略ノイズ値を調整する（ステップＳ４）。

続いて、比較器４０６は、鮮鋭度値と調整後の概略ノイズ値とを比較する（ステップＳ５）。鮮鋭度値が概略ノイズ値よりも大きい場合（ステップＳ５、Ｙｅｓ）、比較器４０６はフラグを「０」とし、分配器４０７は取得した注目画素および近接４画素の画素値を第１のノイズ抽出部４０８に伝達し、第１のノイズ抽出部４０８は、伝達されてきた注目画素のノイズ値を抽出する（ステップＳ６）。

鮮鋭度値が概略ノイズ値未満であった場合（ステップＳ５、Ｎｏ）、比較器４０６はフラグを「１」とし、分配器４０７は取得した注目画素および近接４画素の画素値を第２のノイズ抽出部４０９に伝達し、第２のノイズ抽出部４０９は、伝達されてきた注目画素のノイズ値を抽出する（ステップＳ７）。

そして、振幅制限部４１０は、調整後の概略ノイズ値に基づいて、ノイズ抽出されたノイズ値に振幅制限をかけ（ステップＳ８）、加算器４１１は振幅制限されたノイズ値を注目画素の画素値に加算する（ステップＳ９）。

このように、第１のノイズキャンセル処理部４０は、Ｈ方向の画素の並びに基づいて注目画素近傍が鮮鋭部か平坦部かを判定し、鮮鋭部である場合、鮮鋭さを極力保存する特性を有するノイズキャンセル処理を行い、平坦部である場合、広い周波数成分の画素値を平坦化するノイズキャンセル処理を行う。これにより、第１のノイズキャンセル処理部４０は、鮮鋭な部分の減衰を抑え、解像度感を損なわないノイズキャンセル処理を実行することができる。すなわち、画質の劣化を防ぎつつノイズキャンセル処理を行うことができる。

次に、第２のノイズキャンセル処理部４３の構成を説明する。図５（ａ）は第２のノイズキャンセル処理部４３の構成の一例を説明するブロック図である。

図５（ａ）において、第２のノイズキャンセル処理部４３は、４Ｈのラインメモリを使い、該ラインメモリおよび本線を含め合計５ラインから、図５（ｂ）に示すようにＨ方向５画素×Ｖ方向５画素の画素配置から注目画素を含む同色９画素の画素値を取得し、該取得した画素値に対してメディアン処理を行い、中央値を検索する。検索した中央値と注目画素の画素値との差分をとる事で負のノイズを抽出し、そのノイズに所定ゲインを乗算し、該乗算したノイズを振幅制限して再度注目画素の画素値に加算する事でノイズキャンセルする構成となっている。

この構成により、第２のノイズキャンセル処理部４３は、Ｈ方向に加え、Ｖ方向の画素の並びをも考慮した処理を実行できるので、解像度感の劣化を抑える事ができ、精度の高いノイズキャンセル処理が可能であるが、ラインメモリを使用する必要があるため、回路規模が大きなものとなっている。これに対して、第１のノイズキャンセル処理部４０は、ラインメモリを有さないため、第２のノイズキャンセル処理部４３に比べて回路規模および消費電力が小さく、かつ前述するように画質の劣化を抑えたノイズキャンセル処理が可能である。したがって、第１のノイズキャンセル処理部４０は、本発明の第１の実施の形態の固体撮像装置の構成に示すように、第２のノイズキャンセル処理部４３とは別に画像処理部４の初段に配備されることが可能である。

以上述べたように、第１の実施の形態によれば、撮像素子の配列に基づく順序で入力されてくるデジタル撮像信号の画素値に対して、注目画素および該注目画素の直前および直後に入力された所定数の画素の画素値に基づいて注目画素近傍が鮮鋭部か平坦部かを判定し、判定結果に応じて異なるノイズキャンセル処理を実行できるように構成したので、画質の劣化を防ぎつつノイズキャンセルを行うことができる回路規模の小さいノイズキャンセル処理回路を提供することが可能となる。

（第２の実施の形態）
次に、本発明にかかる第２の実施の形態の固体撮像装置について説明する。第２の実施の形態は、ノイズ抽出手段として機能する部分の構成が第１の実施の形態と異なる。本第２の実施の形態の第１のノイズキャンセル処理部の符号を５０とし、この第１のノイズキャンセル処理部５０の構成および動作について説明する。

図６は、第１のノイズキャンセル処理部５０の構成を説明するブロック図である。第１のノイズキャンセル処理部５０の各構成要素に関して、第１の実施の形態と同様の機能を有する構成要素に関しては同一の符号を付し、詳細な説明を省略する。

第１のノイズキャンセル処理部５０は、非線形処理部４０１、鮮鋭度値算出部４０２、Ａｖｅ算出部４０３、乗算器４１２、概略ノイズ値算出部４０４、乗算器４０５、比較器４０６、分配器４０７、イプシロン（ε）フィルタ４１３、第３のノイズ抽出部４１４、振幅制限部４１０および加算器４１１を備える。

εフィルタ４１３は、比較器４０６がフラグを「０」とした場合、すなわち注目画素近傍が鮮鋭部であると判定された場合に使用されるフィルタであり、後段の第３のノイズ抽出部４１４が鮮鋭な部分を保存したままノイズを除去できるようにマスク処理を実行するものである。すなわち、εフィルタ４１３は、注目画素および近傍４画素の画素値を夫々しきい値εと比較し、しきい値εを越える画素の画素値を注目画素の画素値で置き換える処理を行う。

乗算器４１２は、Ａｖｅ算出部４０３が算出した注目画素および近接４画素の画素値の平均値に、予め設定レジスタなどにより与えられる１より大きい値であるε算出用の設定係数（Ｅｐｓｉｌｏｎ＿Ｇ）を乗算することによってしきい値εを算出し、該算出したしきい値εをεフィルタ４１３に送信する。

第３のノイズ抽出部４１４は、広い周波数成分の画素値を平坦化する特性を有するものであればどのようなノイズフィルタを使用するものであってもよく、例えば第２のノイズ抽出部４０９と同じものを使用するようにしてもよい。鮮鋭部であると判定された注目画素および近接４画素が第２のノイズ抽出部４０９と同じ構成の第３のノイズ抽出部４１４に入力された場合であっても、前段に設けられたεフィルタ４１３により、急峻に値が変化して平均値から突出する画素がマスクされているので、広い周波数成分の画素値を平坦化してしまう特性のノイズ抽出処理が実行されても補正後に鮮鋭さを劣化させることのないようにノイズ値が抽出される。

以上のように構成される第２の実施の形態の動作を説明する。図７は第２の実施の形態の動作を説明するフローチャートである。図７において、まず第１のノイズキャンセル処理部５０は、Ｎｏｉｓｅ＿ＭＰおよびＥｐｓｉｌｏｎ＿Ｇを取得する初期設定を実行する（ステップＳ１１）。続いて、第１のノイズキャンセル処理部５０は、第１の実施の形態におけるステップＳ２〜ステップＳ４と同等の処理をステップＳ１２〜ステップＳ１４において実行する。

続いて、比較器４０６は、鮮鋭度値と調整後の概略ノイズ値とを比較する（ステップＳ１５）。鮮鋭度値が概略ノイズ値よりも大きい場合（ステップＳ１５、Ｙｅｓ）、比較器４０６はフラグを「０」とし、分配器４０７は取得した注目画素および近接４画素の画素値をεフィルタ４１３に伝達し、εフィルタ４１３は、乗算器４１２はＡｖｅ算出部４０３が算出した平均値にＥｐｓｉｌｏｎ＿Ｇを乗算して求めたしきい値εを用いて、伝達されてきた注目画素および近接４画素の画素値に対してマスク処理を実行する（ステップＳ１６）。続いて、第３のノイズ抽出部４１４は、マスク処理後の注目画素のノイズ値を抽出する（ステップＳ１７）。

鮮鋭度値が概略ノイズ値未満であった場合（ステップＳ１５、Ｎｏ）、比較器４０６はフラグを「１」とし、分配器４０７は取得した注目画素および近接４画素の画素値を第２のノイズ抽出部４０９に伝達し、ステップＳ１７に移行する。ステップＳ１７において、第３のノイズ抽出部４１４は、伝達されてきた注目画素のノイズ値を抽出する。

そして、振幅制限部４１０は、調整後の概略ノイズ値に基づいて、ノイズ抽出されたノイズ値に振幅制限をかけ（ステップＳ１８）、加算器４１１は振幅制限されたノイズ値を注目画素の画素値に加算する（ステップＳ１９）。

ところで、以上の説明においては、Ｅｐｓｉｌｏｎ＿Ｇは１より大きい値であり、εフィルタ４１３はしきい値εよりも大きい画素値の画素を注目画素の画素値に置き換える、と説明したが、Ｅｐｓｉｌｏｎ＿Ｇを１より小さい値とし、εフィルタ４１３はしきい値εよりも小さい画素値の画素を注目画素の画素値に置き換えるようにしてもよい。また、Ｅｐｓｉｌｏｎ＿Ｇとして１より大きい値を１より小さい値の２種類設定し、εフィルタ４１３は、２種類のＥｐｓｉｌｏｎ＿Ｇに基づく２種類のしきい値εのうち、大きい方のしきい値εを越える画素値の画素および小さい方のしきい値εよりも小さい画素値の画素を注目画素の画素値に置き換えるようにしてもよい。

以上のように、第２の実施の形態によれば、鮮鋭部に対してはεフィルタを適用した後ノイズ抽出し、平坦部に対してはεフィルタを適用しないでノイズ抽出するように構成したので、鮮鋭さを劣化させることなくノイズキャンセル処理を行うことができる。すなわち画質の劣化を防ぎつつノイズキャンセルを行うことができる回路規模の小さいノイズキャンセル処理回路を提供することができる。また、εフィルタに用いるしきい値εをノイズ抽出対象の範囲の画素の平均画素値にしきい値算出用の設定係数を乗じて算出するようにしたので、注目画素近傍の画素値に応じてしきい値εが変化するので、精度の高いノイズ抽出が可能となる。

（第３の実施の形態）
次に、本発明にかかる第３の実施の形態の固体撮像装置について説明する。第３の実施の形態は、補正手段として機能する部分の構成が第２の実施の形態と異なる。本第３の実施の形態の第１のノイズキャンセル処理部の符号を６０とし、この第１のノイズキャンセル処理部６０の構成および動作について説明する。

図８は、第１のノイズキャンセル処理部６０の構成を説明するブロック図である。第１のノイズキャンセル処理部６０の各構成要素に関して、第２の実施の形態と同様の機能を有する構成要素に関しては同一の符号を付し、詳細な説明を省略する。

図８に示すように、第１のノイズキャンセル処理部６０は、補正に使用されるノイズ値に対してさらに最終的な調節を行うことができるように、第２の実施の形態の構成に加え、選択器４１５および乗算器４１６をさらに有する構成となっている。

乗算器４１６は、振幅制限部４１０により振幅制限されたノイズ値に対し、さらに選択器４１５が選択した調節用の係数を乗じ、加算器４１１に伝達する。

選択器４１５は、乗算器４１６が乗じる前述の調節用の係数を、鮮鋭部か平坦部かの判定に基づいて選択する。すなわち、第１のノイズキャンセル処理部６０は、予め鮮鋭部であると判定されたとき乗じる調節用係数ＥＤ＿ＭＰおよび平坦部であると判定されたとき乗じる調節用係数ＦＬ＿ＭＰの２種類の調節用の係数が設定レジスタなどに設定される。選択器４１５は、フラグが「０」のとき、ＥＤ＿ＭＰを選択して乗算器４１６に伝達する。選択器４１５は、フラグが「１」のとき、ＦＬ＿ＭＰを選択して乗算器４１６に伝達する。

調節用の係数は、例えば第３の実施の形態を高級機種に適用する場合など、ディテールを重視し、鮮鋭さを少しでも損ないたくない場合、補正の強度を弱くするために夫々１よりも小さい値が設定される。また、携帯電話などに搭載される比較的解像度の低いレンズを搭載したカメラに適用する場合は、強く補正をかけるために、夫々１よりも大きい値が設定される。二つの調節用の係数は夫々個別に設定できるので、１つの調節用の係数で抽出されたノイズ値を一律に変化させる場合に比べて設定の自由度が高く、より好ましい設定を行うことができる。

次に、第３の実施の形態の動作を説明する。図９は、第３の実施の形態の動作を説明するフローチャートである。図９において、まず、第１のノイズキャンセル処理部６０は、Ｎｏｉｓｅ＿ＭＰ、Ｅｐｓｉｌｏｎ＿Ｇ、ＥＤ＿ＭＰおよびＦＬ＿ＭＰを取得する初期設定を実行する（ステップＳ２１）。続いて、第１のノイズキャンセル処理部６０は、第２の実施の形態におけるステップＳ１２〜ステップＳ１８と同等の処理をステップＳ２２〜ステップＳ２８において実行する。

続いて、選択器４１５は、フラグが「０」か否かを判定する（ステップＳ２９）。フラグが「０」であった場合（ステップＳ２９、Ｙｅｓ）、ＥＤ＿ＭＰを乗算器４１６に伝達し、乗算器４１６は抽出されたノイズ値にＥＤ＿ＭＰを乗じる（ステップＳ３０）。フラグが「１」であった場合（ステップＳ２９、Ｎｏ）、ＦＬ＿ＭＰを乗算器４１６に伝達し、乗算器４１６は抽出されたノイズ値にＦＬ＿ＭＰを乗じる（ステップＳ３１）。

そして、加算器４１１はＥＤ＿ＭＰまたはＦＬ＿ＭＰが乗じられたノイズ値を注目画素の画素値に加算する（ステップＳ３２）。

このように、第３の実施の形態によれば、抽出された注目画素のノイズ値に対し、注目画素の近傍が平坦部および鮮鋭部であると判定された夫々の場合において、予め与えられた夫々異なる係数を乗じるように構成したので、製品仕様により適宜ノイズキャンセル量を調節することが可能となる。

第１の実施形態に従った固体撮像装置の構成を説明する図。 第１の実施形態に従った第１のノイズキャンセル処理部の構成を説明する図。 画像フレームの構成を説明する図。 第１の実施形態に従った第１のノイズキャンセル処理部の動作を説明するフローチャート。 第２のノイズキャンセル処理部の構成の一例を説明する図。 第２の実施形態に従った第１のノイズキャンセル処理部の構成を説明する図。 第２の実施形態に従った第１のノイズキャンセル処理部の動作を説明するフローチャート。 第３の実施形態に従った第１のノイズキャンセル処理部の構成を説明する図。 第３の実施形態に従った第１のノイズキャンセル処理部の動作を説明するフローチャート。

符号の説明

１ 撮像レンズ、２ 撮像部、３ アナログデジタル変換器、４ 画像処理部、４０、５０、６０ 第１のノイズキャンセル処理部、４１ レンズシェーディング処理部、４２ 傷補正処理部、４３ 第２のノイズキャンセル処理部、４４ 画素補間処理部、４５ ホワイトバランス処理部、４６ カラーマトリクス処理部、４７ 輪郭処理部、４８ ガンマ補正部、４９ 出力部、４０１ 非線形処理部、４０２ 鮮鋭度値算出部、４０３ 平均値算出部、４０４ 概略ノイズ値算出部、４０５ 乗算器、４０６ 比較器、４０７ 分配器、４０８ 第１のノイズ抽出部、４０９ 第２のノイズ抽出部、４１０ 振幅制限部、４１１ 加算器、４１２ 乗算器、４１３ イプシロンフィルタ、４１４ 第３のノイズ抽出部、４１５ 選択器、４１６ 乗算器。

Claims (5)

1. 撮像レンズを通して入射された被写体像を撮像素子にて撮像し、撮像信号に基づいてデジタル映像信号を生成し、このデジタル映像信号の画素値に対して順次ノイズキャンセル処理を行うノイズキャンセル処理回路であって、
   前記デジタル映像信号の注目画素および該注目画素の直前並びに直後に入力された所定数の画素の画素値に基づいて鮮鋭さを示す鮮鋭度値および前記注目画素に含まれているノイズ値を概略的に示す概略ノイズ値を算出し、前記鮮鋭度値と前記概略ノイズ値とを比較することによって前記注目画素近傍が鮮鋭部であるか平坦部であるかを判定する鮮鋭部／平坦部判定手段と、
   前記鮮鋭部／平坦部判定手段による判定結果に応じて前記注目画素および前記直前および直後に入力された所定数の画素に対し１次元フィルタを用いる２種類のノイズ抽出処理のうちの１つのノイズ抽出処理を選択して実行して前記注目画素のノイズ値を抽出するノイズ抽出手段と、
   前記抽出された注目画素のノイズ値を用いて前記注目画素の画素値を補正する補正手段と、
   を備えることを特徴とするノイズキャンセル処理回路。
2. 前記ノイズ抽出手段は、前記注目画素近傍が鮮鋭部であった場合、イプシロンフィルタを適用した後、ノイズ抽出フィルタを用いてノイズ値を抽出し、前記注目画素近傍が平坦部であった場合、イプシロンフィルタを適用することなくノイズ抽出フィルタを用いてノイズ値を抽出する、
   ことを特徴とする請求項１に記載のノイズキャンセル処理回路。
3. 前記イプシロンフィルタに使用されるしきい値は、予め与えられたゲインを前記注目画素および前記直前並びに直後に入力された所定数の画素の画素値の平均値に乗じた値である、
   ことを特徴とする請求項２に記載のノイズキャンセル処理回路。
4. 前記注目画素の近傍が平坦部および鮮鋭部であると判定された夫々の場合において、予め与えられた夫々異なる係数を前記ノイズ抽出手段により抽出されたノイズ値に乗じるノイズ値調整手段をさらに備え、
   前記補正手段は、前記ノイズ値調整手段により係数が乗じられたノイズ値を用いて前記注目画素の画素値を補正する、
   ことを特徴とする請求項１〜３のうちのいずれか一つに記載のノイズキャンセル処理回路。
5. 撮像レンズを通して入射された被写体像を撮像素子にて撮像し、撮像信号に基づいてデジタル映像信号を生成し、該生成されたデジタル映像信号に対して画像処理部にて画像処理を実行する固体撮像装置において、
   前記画像処理部は、請求項１〜４のうちの何れか一つに記載のノイズキャンセル処理回路を初段に備え、該ノイズキャンセル処理回路の後段以降に、前記ノイズキャンセル処理回路を経て入力されてくるデジタル映像信号の画素値をラインメモリに蓄積し、該蓄積した画素値に対して２次元フィルタを用いてノイズキャンセル処理を行う別のノイズキャンセル処理回路をさらに備える、
   ことを特徴とする固体撮像装置。

Images