JP5681155B2 - 画像処理装置 - Google Patents

Description

本発明は、レンズ特性起因で発生する周辺光量落ちを補正する装置を備えた画像処理装置に関する。

一般にレンズは、レンズ中心とレンズ周辺で集光能力に程度差があり、レンズ周辺に近づくほど集光能力が低下するという特性がある。この特性の影響によって、実際には明るさが等しい被写体を撮影したときに、撮像装置を介して出力される映像において、信号レベルに違いが生じる現象が発生する場合がある。この現象を周辺光量落ちと呼んでいる。

近年の撮像装置では、周辺光量落ちを補正する装置を有するものも珍しくない。これらの撮像装置では、レンズおよび撮像センサを介して出力された映像信号に対して、周辺光量落ちの程度に応じて映像信号を増幅することで、周辺光量落ちを補正するものが一般的である。

このような撮像装置では、周辺光量落ちが顕著に発生するレンズ周辺部においては、補正のために必要な増幅率（以下、光量落ち補正ゲインと呼ぶ）も大きくなる。映像信号には通常ランダムノイズが含まれているため、光量落ち補正ゲインが大きくなるほど、ノイズも増幅されてしまい、映像信号のＳ／Ｎ（Signal/Noise）比が低下してしまう。このため、一般的な周辺光量落ち補正技術は、レンズ周辺部での周辺光量落ちが補正できる反面、レンズ周辺部でのＳ／Ｎ比が低下しやすいという問題がある。

この問題を解決するために、特許文献１に示す撮像装置も提案されている。特許文献１に記載された装置は、光量落ち補正ゲインに応じてノイズ低減効果を連続的に調整し、ノイズ低減を図る周辺光量落ち補正装置である。

特開２００４−４８５６２号公報

しかしながら、前記した従来技術では、レンズ周辺での周辺光量落ちが補正され、レンズ周辺でのＳ／Ｎ比の低下も抑制可能ではあるが、レンズ周辺での解像感低下が問題となる。

一般にレンズでは、レンズ中心とレンズ周辺で解像能力に程度差があり、レンズ周辺に近づくほど解像能力が低くなる。また、従来技術で利用されているメディアンフィルタに代表されるような空間フィルタ（空間方向のノイズ除去手段）を用いたノイズ除去技術は、アルゴリズムの優劣によってその弊害にも程度差はあるものの、前記した解像能力の違いから生じるレンズ周辺での解像感低下の弊害が避けられない。

このため、前記の従来技術は、レンズ特性だけをみてもレンズ中心に対してレンズ周辺での解像感が低くなる所に、さらに空間フィルタによるノイズ低減処理の副作用としての解像感低下が重なっており、レンズ中心とレンズ周辺の間で解像感に差が生じやすい。

そこで、本発明は、レンズの周辺光量落ち補正をする際にレンズ周辺でのＳ／Ｎ比低下と解像感低下を最低限に留める手段を提供することを課題とする。

前記した課題を解決するため本発明を以下の構成とした。すなわち、画像処理装置は、映像信号に対し周辺光量落ち補正を行ったあと、空間方向ノイズ除去を行う。このときの空間方向ノイズ除去は、レンズ周辺部に行くほど、ノイズ除去の強さを弱くする。このようにすることで、レンズ周辺部における解像感の低下を低減する。そして、画像処理装置は、空間方向ノイズ除去を行った映像信号に対し、時間方向ノイズ除去を行う。ここでの時間方向ノイズ除去は、レンズ周辺部に行くほど、ノイズ除去の強さを強くする。なお、時間方向ノイズ除去は、空間方向ノイズ除去に比して映像信号におけるレンズ周辺部の解像感の低下の度合いが低いという特性を持つので、画像処理装置は、映像信号におけるレンズ周辺部におけるＳ／Ｎ比低下を低減しつつ、レンズ周辺部の解像感の低下を低減する。

本発明によれば、レンズの周辺光量落ち補正をする際にレンズ周辺でのＳ／Ｎ比低下や解像感低下を防ぐことができる。これにより、高画質な画像を得ることができる。

本実施の形態である画像処理装置（画像処理ＬＳＩ（Large Scale Integration））を備えるカメラのシステム構成図である。 本実施の形態における各画素のレンズ中心からの距離ｄ１を説明するための図である。 レンズ周辺の集光能力の低下による映像信号レベルの低下を説明するための図である。 本実施の形態における各画素のレンズ中心からの距離ｄ１に応じたデジタルゲインＸの算出方法を説明するための図である。 図１の空間方向ノイズ除去補正部での空間方向ノイズ除去補正の手順を示す図である。 本実施の形態における各画素のレンズ中心からの距離ｄ１に応じた閾値TH1の算出方法を説明するための図である。 図１の時間方向ノイズ除去補正部での時間方向ノイズ除去補正の手順を示す図である。 本実施の形態における各画素のレンズ中心からの距離ｄ１に応じた閾値TH2の算出方法を説明するための図である。

以下、本発明を実施するための形態（以下、実施の形態とする）について説明する。

図１は、本実施の形態である画像処理装置（画像処理ＬＳＩ（Large Scale Integration））１１７を備えるカメラのシステム構成図である。図１を参照しながら、システム構成と、カメラによる撮影およびデータ記録時の動作とを説明する。

システムは、レンズユニット１０３、ＣＣＤ（Charge Coupled Device）センサ１０４、ＡＦＥ（Analog Front End Circuit）回路１０５、マイコン（マイクロコンピュータ、制御部）１１９、ＴＧ（Timing Generator）１２０、レンズ用モータ１２１、アイリス用モータ１２２、画像処理ＬＳＩ１１７、カメラ映像信号出力部１１８等を備える。

レンズユニット１０３は、レンズ１０１とアイリス１０２とを備える。レンズユニット１０３は、ズーム機能を有し、アイリス１０２は、レンズ１０１から取り込まれる外部光の光量を調整する。

ＣＣＤセンサ１０４は、レンズユニット１０３から照射された光を、映像信号に変換する。

ＡＦＥ回路１０５は、入力された映像信号を画像処理ＬＳＩ１１７で処理可能な信号へ変換する。例えば、ＡＦＥ回路１０５は、入力された映像信号に対し相関二重サンプリング(Correlated Double Sampling、以下ＣＤＳと略す)処理、アナログＡＧＣ（Automatic Gain Control）処理、Ａ／Ｄ（アナログ／デジタル）変換等の処理を行う。そして、ＡＦＥ回路１０５は、変換した信号を画像処理ＬＳＩ１１７へ出力する。

マイコン１１９は、ＴＧ１２０を制御し、ＣＣＤセンサ１０４を駆動させるために必要なパルスを発生させている。また、マイコン１１９は、レンズ用モータ１２１とアイリス用モータ１２２を動かして、それぞれ任意のズーム位置と絞り位置となるように制御する。さらに、マイコン１１９は、画像処理ＬＳＩ１１７を制御する。

ＴＧ１２０は、マイコン１１９からの制御に基づき、ＣＣＤセンサ１０４を駆動させるためのパルスを発生させる。

レンズ用モータ１２１は、レンズ１０１のズーム位置の制御を行う。アイリス用モータ１２２は、アイリス１０２の絞り位置の制御を行う。カメラ映像信号出力部１１８は、画像処理ＬＳＩ１１７から出力された信号をモニタ等の表示装置（図示省略）に出力し、表示装置上に映像を表示させる。

画像処理ＬＳＩ１１７は、入力された映像信号に対し、周辺光量落ち補正処理およびノイズ低減処理を行う周辺光量落ち補正処理部１１５と、映像信号の画像をより見やすくする処理を行う画像処理部１１６を備える。

周辺光量落ち補正処理部１１５は、ＡＦＥ回路１０５から入力された映像信号に対し、レンズの周辺光量落ち補正と、この周辺光量落ち補正により強調されたノイズの低減処理とを行う。この周辺光量落ち補正処理部１１５は、ノイズ低減処理後の映像信号を画像処理部１１６へ出力する。

画像処理部１１６は、周辺光量落ち補正処理部１１５から入力された映像信号に対し、感度ＵＰ処理、色再現性向上処理等の映像信号の画像をより見やすくする処理を行い、カメラ映像信号出力部１１８へ出力する。

＜周辺光量落ち補正処理部＞
次に、周辺光量落ち補正処理部１１５を詳細に説明する。周辺光量落ち補正処理部１１５は、距離算出部１０６、周辺光量落ち補正部１０７、周辺光量落ち補正強度算出部１０８、画像メモリ１１１、ノイズ低減処理部１１４等を備える。

＜周辺光量落ち補正処理部の処理の流れ＞
周辺光量落ち補正処理部１１５は、まず距離算出部１０６で各画素のレンズ中心からの距離を算出すると、周辺光量落ち補正強度算出部１０８において、この算出された距離に基づき各画素に対する補正強度を算出する。そして、周辺光量落ち補正部１０７は、この算出された補正強度で各画素に対する周辺光量落ち補正を行う。その後、ノイズ低減処理部１１４において、距離算出部１０６で算出された画素のレンズ中心からの距離に基づき空間方向ノイズ除去を行い、また、空間ノイズ除去後の映像信号に対し、画像メモリ１１１に蓄積された過去の映像信号を参照しながら時間方向ノイズ除去補正を行う。そして、ノイズ低減処理部１１４は、ノイズ除去後の画像信号を画像処理部１１６へ出力する。

距離算出部１０６は、レンズ１０１の中心となるＣＣＤセンサ１０４の中心を原点(０，０)として、ＣＣＤセンサ１０４上の任意の画素の座標(ｘ１，ｙ１)との距離ｄ１を算出する。この距離算出部１０６は、例えば、図２に示すようにレンズ１０１の中心となるＣＣＤセンサ１０４の中心を原点(０，０)として、ＣＣＤセンサ１０４上の任意の画素の座標(ｘ１，ｙ１)との距離ｄ１の算出を以下の式（１）により行う。

周辺光量落ち補正部１０７は、映像信号レベルの低下に対して光量落ち補正ゲインとしてデジタルゲインを付加することで補正を行う。付加するデジタルゲインの値は、周辺光量落ち補正強度算出部１０８で算出された値を用いる。周辺光量落ち補正強度算出部１０８および周辺光量落ち補正部１０７の機能は、例えば、特許文献１に記載の技術により実現される。

ここで、図３を用いて、レンズ周辺の集光能力の低下による映像信号レベルの低下を説明する。図３は、図１のレンズ１０１とレンズ１０１を介して映像が照射されるＣＣＤセンサ１０４の平面と、その平面をline a で見たときの映像信号レベルの変化を示している。図３のline a 上の映像信号レベルは、レンズ１０１の周辺に向かうに従い、レンズ１０１の集光能力が低下する。このため、レンズ周辺の映像信号レベルはレンズ１０１の中心の映像信号レベルよりも低下している。このため、周辺光量落ち補正部１０７はレンズ周辺における映像信号レベルを向上させるよう、レンズ周辺部により大きなデジタルゲインを付加する。

図１の周辺光量落ち補正強度算出部１０８は、距離算出部１０６により算出された距離ｄ１に基づき、周辺光量落ち補正部１０７で映像信号に付加するデジタルゲインを算出する。デジタルゲインの算出方法については後記する。

画像メモリ１１１は、現在の映像信号よりも過去の映像信号を蓄えておく。この画像メモリ１１１上の映像信号は、ノイズ低減処理部１１４の時間方向ノイズ除去補正部１１２が時間方向ノイズの補正をする際に用いられる。

ノイズ低減処理部１１４は、周辺光量落ち補正部１０７から入力された映像信号のノイズ低減処理を行う。ノイズ低減処理の詳細は後記するが、ノイズ低減処理部１１４は空間方向のノイズ除去と時間方向のノイズ除去を組み合わせることにより、解像感の低下を極力防いだノイズ低減を実現する。

＜周辺光量落ち補正＞
ここで、周辺光量落ち補正強度算出部１０８によるデジタルゲインの算出について説明する。周辺光量落ち補正強度算出部１０８は、ＣＣＤセンサ１０４上の任意の画素の信号レベルをeとしたとき、デジタルゲインＸを付加した際の信号レベルe’を以下式（２）により算出する。

e’ = e×10^{(デジタルゲインX/20)} (デジタルゲインＸ[dB], Ｘ= A,B,C,…)…式（２）

周辺光量落ち補正強度算出部１０８は、各画素に付加するデジタルゲインＸを、各画素のレンズ中心からの距離ｄ１に応じて算出する。図４に、距離ｄ１に応じたデジタルゲインＸの算出方法を示す。図４ではレンズ中心を原点(０，０)として、原点からの距離を、距離の短い方から、距離Ａ、距離Ｂ、距離Ｃ、距離Ｄおよび距離Ｅの５段階で区切り、この距離を用いてデジタルゲインＸを以下（１）〜（５）の５段階で算出している。

（１）原点≦距離ｄ１＜距離Ａであれば、デジタルゲインＸ＝デジタルゲインＡとする。
（２）距離Ａ≦距離ｄ１＜距離Ｂであれば、デジタルゲインＸ＝デジタルゲインＢとする。
（３）距離Ｂ≦距離ｄ１＜距離Ｃであれば、デジタルゲインＸ＝デジタルゲインＣとする。
（４）距離Ｃ≦距離ｄ１＜距離Ｄであれば、デジタルゲインＸ＝デジタルゲインＤとする。
（５）距離Ｄ≦距離ｄ１＜距離Ｅであれば、デジタルゲインＸ＝デジタルゲインＥとする。

そして、図１の周辺光量落ち補正処理部１１５は、周辺光量落ち補正強度算出部１０８が（１）〜（５）で算出したデジタルゲインＸを映像信号の任意の画素の信号レベルeに付加する。

デジタルゲインＸの大きさは、図４に示すように、デジタルゲインＡ≦デジタルゲインＢ≦デジタルゲインＣ≦デジタルゲインＤ≦デジタルゲインＥとし、距離ｄ１が大きくなりレンズ周辺に向かうに従ってデジタルゲインＸを大きくするようにしている。ただし、図４のデジタルゲインＡはレンズ中心近辺であり、通常、周辺光量落ちはあまり発生しないので、デジタルゲインＡ＝０としている。

周辺光量落ち補正部１０７が、図４のline a の映像信号レベルに対してデジタルゲインＸを付加した場合、レンズ周辺に向かうに従って補正レベルをデジタルゲインＡからデジタルゲインＥというように大きくすることで周辺光量落ちが目立たなくなるようにしている。

このように、図１の周辺光量落ち補正部１０７は、レンズの周辺光量落ちによる映像信号のレンズ周辺レベルの低下を補正する。ここで、周辺光量落ち補正部１０７は、デジタルゲインＸを付加しているので、レンズ周辺に向かうに従ってノイズ成分も増幅される。そこで、画像処理ＬＳＩ１１７のノイズ低減処理部１１４は、解像感の低下を考慮したＳ／Ｎ比の改善を行う。

＜ノイズ低減処理部＞
このノイズ低減処理部１１４を詳細に説明する。ノイズ低減処理部１１４は、空間方向ノイズ除去補正部１０９、空間方向ノイズ除去補正強度算出部１１０、時間方向ノイズ除去補正部１１２、時間方向ノイズ除去補正強度算出部１１３等を備える。なお、空間方向ノイズ除去補正部１０９および空間方向ノイズ除去補正強度算出部１１０は、空間フィルタを用いたノイズ除去部に相当し、時間方向ノイズ除去補正部１１２および時間方向ノイズ除去補正強度算出部１１３は、時間フィルタを用いたノイズ除去部に相当する。

＜ノイズ低減処理部の処理の流れ＞
ノイズ低減処理部１１４は、まず、空間方向ノイズ除去補正強度算出部１１０において、距離算出部１０６で算出された各画素のレンズ中心からの距離に応じて、各画素に対する空間方向のノイズ除去補正強度を算出する。そして、空間方向ノイズ除去補正部１０９において、この算出されたノイズ除去補正強度により各画素に対する空間ノイズ除去を行う。その後、この空間ノイズ除去後の映像信号を時間方向ノイズ除去補正部１１２へ出力する。時間方向ノイズ除去補正強度算出部１１３は、距離算出部１０６で算出された各画素のレンズ中心からの距離に応じて、各画素に対する時間方向のノイズ除去補正強度を算出する。そして、時間方向ノイズ除去補正部１１２において、画像メモリ１１１から映像信号における過去の画像を読み出し、この過去の画像を参照して、映像信号の現在の画像の各画素に対する時間方向のノイズ除去補正を行う。そして、時間方向ノイズ除去補正部１１２は、時間方向ノイズ除去補正後の映像信号を画像処理部１１６へ出力する。

＜空間方向ノイズ除去補正＞
まず、空間方向ノイズ除去補正について説明する。空間方向ノイズ除去補正部１０９は、周辺光量落ち補正部１０７から出力された映像信号に対して距離ｄ１に応じた空間ノイズ除去を行うことによりＳ／Ｎ比の改善を図っている。以下、空間方向ノイズ除去を詳細に説明する。

図５に空間方向ノイズ除去補正部１０９での空間方向ノイズ除去補正の手順を示す。図５では現在処理している任意画素の信号レベルをeとし、この画素を中心画素とした際の周辺画素の信号レベルをa,b,c,d,f,g,h,iとしている。

空間方向ノイズ除去補正部１０９は、図５のＳ５０１により処理を開始する。まず、空間方向ノイズ除去補正部１０９は、レンズ中心画素（中心画素）の信号レベルeに対して、中心画素とレンズ周辺画素（周辺画素）の信号レベルを足し合わせ(SUM(a,b,c,d,e,f,g,h,i))割算(/9)する。これにより、空間方向ノイズ除去補正部１０９は、レンズ中心の９画素の信号レベルの平均値AVERAGE1を算出する（Ｓ５０２）。

Ｓ５０３では、空間方向ノイズ除去補正部１０９は、中心画素の信号レベルeとＳ５０２で算出した平均値AVERAGE1との差分DIFF1の算出を行う。

Ｓ５０４では、空間方向ノイズ除去補正部１０９は、Ｓ５０３で算出した差分DIFF1が閾値TH1より大きいか否かの判定を行い、もし差分DIFF1が閾値TH1より大きい場合（Ｓ５０４でＹｅｓ）は、中心画素の信号レベルeはノイズと判断し、Ｓ５０５にて中心画素の信号レベルeを、Ｓ５０２で計算した平均値AVERAGE1に置き換え、処理を終了する（Ｓ５０６）。一方、もし差分DIFF1が閾値TH1以下の場合（Ｓ５０４でＮｏ）、空間方向ノイズ除去補正部１０９は、Ｓ５０５の処理は実行せず、処理を終了する（Ｓ５０６）。空間方向ノイズ除去補正部１０９は、このような処理を映像信号の画像の各画素に対し実行する。

これにより、空間方向ノイズ除去補正部１０９は、映像信号のノイズの平滑化を行う。この際、Ｓ５０４で参照した閾値TH1は、空間方向ノイズ除去補正強度算出部１１０が距離算出部１０６で算出された距離ｄ１を用いて算出した値である。

図６に距離ｄ１に応じた閾値TH1の算出方法を示す。図４と同様にレンズ中心を原点（０，０）として原点からの距離を距離Ａ、距離Ｂ、距離Ｃ、距離Ｄおよび距離Ｅの５段階で区切る。そして、これらの距離を用いて各画素に対して空間ノイズ補正するかしないか判定する閾値TH1を以下（１）〜（５）のように設定する。

（１）原点≦距離ｄ１＜距離Ａであれば、閾値TH1=th1_Aとする。
（２）距離Ａ≦距離ｄ１＜距離Ｂであれば、閾値TH1=th1_Bとする。
（３）距離Ｂ≦距離ｄ１＜距離Ｃであれば、閾値TH1=th1_Cとする。
（４）距離Ｃ≦距離ｄ１＜距離Ｄであれば、閾値TH1=th1_Dとする。
（５）距離Ｄ≦距離ｄ１＜距離Ｅであれば、閾値TH1=th1_Eとする。

ここで閾値TH1の大きさはth1_B≦th1_C≦th1_D≦th1_E≦th1_Aとし、距離ｄ１が大きくなり、レンズ周辺に向かうに従って閾値TH1の値を大きくする。つまり、レンズ周辺に向かうに従って空間ノイズ除去補正の効果を低くする。ただし、原点≦距離ｄ１＜距離Ａは、レンズの中心付近であり、周辺光量落ち補正処理部１１５は周辺光量落ち補正でデジタルゲインを付加していない。よって、空間方向ノイズ除去補正強度算出部１１０はth1_Aを最も大きい値とする。つまり、空間方向ノイズ除去補正強度算出部１１０は、レンズ中心部に対し、実質的に空間ノイズ除去補正を不要とみなして、空間ノイズ除去補正をオフとする。

従来技術では、レンズ周辺に向かうに従い空間ノイズ除去補正を強めていくことが通常であったが、本実施の形態の画像処理ＬＳＩ１１７は、空間ノイズ除去補正をレンズ周辺に向かうに従い弱めていく。これにより、空間ノイズ除去補正の弊害である解像感の低下をレンズ周辺で低減することができる。

＜時間方向ノイズ除去補正＞
次に、時間方向ノイズ除去補正を説明する。時間方向ノイズ除去補正部１１２は、空間方向ノイズ除去補正部１０９から出力された映像信号に対して距離ｄ１に応じた時間方向ノイズ除去補正を行うことによりＳ／Ｎ比の改善を図っている。

図７に時間方向ノイズ除去補正部１１２での時間方向ノイズ除去補正の手順を示す。画像メモリ１１１（図１参照）では、現在の画像image1よりも過去の画像image2,image3,… を蓄える。図７では現在の画像image1から過去２枚分の画像image2,image3を蓄えるものとして説明するが、何枚蓄積してもよいものとする。

図７では、図１の時間方向ノイズ除去補正部１１２が現在処理している画像image1の任意画素の信号レベルを1-eとし、過去2枚分の画像image2,image3の画像image1と同じ任意画素の信号レベルをそれぞれ2-e,3-eとしている。

時間方向ノイズ除去補正部１１２は、図７のＳ７０１で処理を開始する。まず、時間方向ノイズ除去補正部１１２は、Ｓ７０２にて現在画像image1の任意画素の信号レベル1-eと過去の画像image2,image3の任意画素の信号レベル2-e,3-eを足し合わせ(SUM(1-e,2-e,3-e)) 割算(/3)することにより時間軸方向での任意画素の信号レベルeの平均値AVERAGE2を計算する。

Ｓ７０３では、時間方向ノイズ除去補正部１１２は、現在画像image1の任意画素の信号レベル1-eと、Ｓ７０２で算出した平均値AVERAGE2との差分DIFF2の算出を行う。

Ｓ７０４では、時間方向ノイズ除去補正部１１２は、Ｓ７０３で算出した差分DIFF2が閾値TH2より大きいか否かの判定を行い、もし大きい場合（Ｓ７０４でＹｅｓ）、現在画像image1の任意画素の信号レベル1-eはノイズと判断し、Ｓ７０５にて現在画像image1の任意画素の信号レベル1-eをＳ７０２で算出した平均値AVERAGE2に置き換えることでノイズの平滑化を行い、処理を終了する（Ｓ７０６）。一方、もし差分DIFF2が閾値TH2以下の場合（Ｓ７０４でＮｏ）、時間方向ノイズ除去補正部１１２は、Ｓ７０５の処理は実行せず、処理を終了する（Ｓ７０６）。時間方向ノイズ除去補正部１１２は、このような処理を映像信号の画像の各画素に対し実行する。

これにより、時間方向ノイズ除去補正部１１２は、映像信号のノイズの平滑化を行う。この際、Ｓ７０４で参照した閾値TH2は、距離算出部１０６で算出された距離d1を用いて、時間方向ノイズ除去補正強度算出部１１３で算出している。

図８に距離ｄ１に応じた閾値TH2の算出方法を示す。図４と同様にレンズ中心を原点（０，０）として原点からの距離を距離Ａ、距離Ｂ、距離Ｃ、距離Ｄおよび距離Ｅの５段階で区切る。そして、これらの距離を用いて各画素に対して時間方向ノイズ除去補正するか否かを判定するための閾値TH2を以下（１）〜（５）のように設定する。

（１）原点≦距離ｄ１＜距離Ａであれば、閾値TH2=th2_Aとする。
（２）距離Ａ≦距離ｄ１＜距離Ｂであれば、閾値TH2=th2_Bとする。
（３）距離Ｂ≦距離ｄ１＜距離Ｃであれば、閾値TH2=th2_Cとする。
（４）距離Ｃ≦距離ｄ１＜距離Ｄであれば、閾値TH2=th2_Dとする。
（５）距離Ｄ≦距離ｄ１＜距離Ｅであれば、閾値TH2=th2_Eとする。

ここで閾値TH2の大きさはth2_E≦th2_D≦th2_C≦th2_B≦th2_Aとし、距離ｄ１が大きくなりレンズ周辺に向かうに従って閾値TH2の値を小さくする。つまり、レンズ周辺に向かうに従って時間方向ノイズ除去補正の効果を高くする。ただし、前記した空間ノイズ除去補正の場合と同様に、原点≦距離ｄ１＜距離Ａは、レンズの中心付近であり、周辺光量落ち補正処理部１１５は周辺光量落ち補正でデジタルゲインを付加していない。よって、時間方向ノイズ除去補正強度算出部１１３はth2_Aを最も大きい値とする。つまり、時間方向ノイズ除去補正強度算出部１１３は、レンズ中心部に対し実質的に時間方向ノイズ除去補正を不要とみなして、時間方向ノイズ除去補正をオフとする。

時間方向ノイズ除去補正は、空間方向ノイズ除去補正と比べて解像感を低下させることなくＳ／Ｎ比を改善することができるので、レンズ周辺付近のＳ／Ｎ比改善に適している。また、本実施の形態の時間方向ノイズ除去補正部１１２は、時間方向ノイズ除去補正の効果を、レンズ周辺に向かうほど高め、レンズ中心付近ほど弱めている。さらに、時間方向ノイズ除去補正部１１２は、レンズ中心部（例えば、図８の距離Ａの領域）には、実質的に時間方向ノイズ除去補正を行わない。よって、時間方向ノイズ除去補正を行った際に発生するおそれがある画面上の残像感についてもレンズ周辺付近に限定することができる。また、人間の視覚特性として、画面の周辺の残像感は画面の中心に比べて気にならないので、本実施の形態の時間方向ノイズ除去補正部１１２によれば、画面上の残像感をさらに低減することになる。

以上により、本実施の形態のシステムは、周辺光量落ちを補正した後、ノイズ低減処理を実行した際に問題となっていたレンズ周辺部の解像感の低下を、極力抑えながらノイズ低減を実現できる。

なお、前記した実施の形態において、距離算出部１０６は、式（１）で、距離ｄ１を用いることとしたが、各画素に対する距離の相対値が分かればよいので、ｄ１^２を用いてもよい。

また、周辺光量落ち補正部１０７が付加する補正ゲインは映像信号に付加できるゲインであればデジタルゲイン以外でもよいものとする。

さらに、前記した実施の形態において、レンズ中心からの距離の区切り方は距離Ａ〜距離Ｅの５段階としたが、何段階に区切ってもよく、それに応じて、周辺光量落ち補正部１０７で付加するデジタルゲインＸも細かく設定できるものとする。この場合、空間ノイズ除去補正で用いる閾値TH1も、時間ノイズ除去補正で用いる閾値TH2も距離の範囲に応じて細かく設定できるものとする。

なお、図１では撮像素子として、ＣＣＤセンサ１０４を用いているが、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）等のＣＣＤセンサ以外の撮像素子であってもよい。

本実施の形態に係る画像処理ＬＳＩ１１７の機能は、前記したような処理を実行するハードウェアにより実現してもよいし、ＣＰＵ（Central Processing Unit）によるプログラム実行処理によって実現してもよい。

１０１ レンズ
１０２ アイリス
１０３ レンズユニット
１０４ ＣＣＤセンサ
１０５ ＡＦＥ回路
１０６ 距離算出部
１０７ 周辺光量落ち補正部
１０８ 周辺光量落ち補正強度算出部
１０９ 空間方向ノイズ除去補正部
１１０ 空間方向ノイズ除去補正強度算出部
１１１ 画像メモリ
１１２ 時間方向ノイズ除去補正部
１１３ 時間方向ノイズ除去補正強度算出部
１１４ ノイズ低減処理部
１１５ 周辺光量落ち補正処理部
１１６ 画像処理部
１１７ 画像処理ＬＳＩ（画像処理装置）
１１８ カメラ映像信号出力部
１１９ マイコン
１２１ レンズ用モータ
１２２ アイリス用モータ

Claims (2)

1. 映像信号の入力を受け付け、撮像レンズの周辺光量落ち特性に合わせて、前記入力された映像信号を構成する各画像に対し、前記撮像レンズの周辺部の光量落ち補正ゲインを付加する周辺光量落ち補正部と、
   前記映像信号を構成する各画像に対し、前記撮像レンズのレンズ中心位置からの距離に応じて前記画像のノイズの補正強度を変化させる空間フィルタを用いたノイズ除去部と、
   前記映像信号を構成する各画像を蓄積する画像メモリと、
   前記レンズ中心位置からの距離に応じて、前記入力された映像信号を構成する現在の画像に対し、前記画像メモリに蓄積された、前記現在の画像よりも過去の画像を参照して、前記現在の画像のノイズの補正強度を変化させる時間フィルタを用いたノイズ除去部とを有し、
   前記空間フィルタを用いたノイズ除去部は、
   前記各画像における前記光量落ち補正ゲインが付加された画像領域について、前記レンズ中心位置からの距離が長くなるにつれて、前記空間フィルタを用いたノイズ除去の補正強度を弱くし、
   前記時間フィルタを用いたノイズ除去部は、
   前記各画像における前記光量落ち補正ゲインが付加された画像領域について、前記レンズ中心位置からの距離が長くなるにつれて、前記時間フィルタを用いたノイズ除去の補正強度を強くすることを特徴とする画像処理装置。
2. 前記空間フィルタを用いたノイズ除去部は、
   前記各画像における前記光量落ち補正ゲインが付加されなかった画像領域について、前記空間フィルタを用いたノイズ除去の補正を行わず、
   前記時間フィルタを用いたノイズ除去部は、
   前記各画像における前記光量落ち補正ゲインが付加されなかった画像領域について、前記時間フィルタを用いたノイズ除去の補正を行わないことを特徴とする請求項１に記載の画像処理装置。