JP3934597B2 - 撮像システムおよび画像処理プログラム - Google Patents

Description

本発明は、撮像システムおよび画像処理プログラム、より詳しくは、撮像素子系に起因する色信号のランダムノイズ等の低減を図る撮像システムおよび画像処理プログラムに関する。

撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータから得られるデジタル化された信号中には、一般にノイズ成分が含まれており、このノイズ成分は、固定パターンノイズとランダムノイズとに大別することができる。

上記固定パターンノイズは、欠陥画素などに代表されるような、主に撮像素子に起因するノイズである。

一方、ランダムノイズは、撮像素子およびアナログ回路において発生するものであり、ホワイトノイズ特性に近い特性を有している。

後者のランダムノイズに関しては、例えば特開２００１−１５７０５７号公報において、静的に与えられる定数項ａ，ｂ，ｃと濃度値に変換した信号レベルＤとを用いて、ノイズ量Ｎを、Ｎ＝ａｂ^cDにより関数化し、この関数から信号レベルＤに対するノイズ量Ｎを推定して、推定したノイズ量Ｎに基づきフィルタリングの周波数特性を制御する技術が開示されていて、これにより、信号レベルに対して適応的なノイズ低減処理が行われるようになっている。

また、他の例として、特開２００１−１７５８４３号公報には、入力信号を輝度信号と色差信号とに分離して、これら輝度信号および色差信号に基づきエッジ強度を求め、エッジ部以外の領域において色差信号に平滑化処理を行う技術が記載されている。これにより、平坦部における色ノイズの低減処理が行われることになる。
特開２００１−１５７０５７号公報 特開２００１−１７５８４３号公報

しかしながら、輝度ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化するために、上記特開２００１−１５７０５７号公報に記載されたような静的な定数項を用いる技術では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣ってしまっていた。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングは平坦部分もエッジ部分も区別することなく同等に処理するために、信号レベルに基づきノイズ量が大であると推定された領域にあるエッジ部は劣化することになる。すなわち、原信号とノイズを区別した処理に対応することができず、原信号の保存性が良くないという課題がある。さらに、該公報に記載された技術は、各色信号間に発生する色ノイズに関して対応することができるものとはなっていない。

また、上記特開２００１−１７５８４３号公報に記載の技術は、エッジ部以外の平坦な領域で色差信号に平滑化処理を行うものとなっているが、この平滑化処理は固定的に行われている。しかし、色ノイズ量は信号レベルにより異なるために、平滑化処理を最適に制御することができるものとはなっていない。このために、色ノイズ成分が残存したり、原信号の劣化が発生したりする可能性がある。

本発明は上記事情に鑑みてなされたものであり、撮影状況に最適化して色ノイズを高精度に低減し高品位な画像を得ることができる撮像システムおよび画像処理プログラムを提供することを目的としている。

上記の目的を達成するために、第１の発明による撮像システムは、原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号中に含まれるノイズを低減する撮像システムであって、上記信号から輝度信号と色差信号とを算出し、算出した輝度信号に基づき平均輝度値を、算出した色差信号に基づき平均色差値を、所定単位領域毎に算出する算出手段と、上記所定単位領域毎に、上記平均輝度値に基づき上記色差信号に関する色ノイズ量を推定する色ノイズ推定手段と、上記所定単位領域毎に、上記色ノイズ量および上記平均色差値に基づいて上記色差信号中の色ノイズを低減する色ノイズ低減手段と、を具備したものである。

また、第２の発明による撮像システムは、Ｒ（赤），Ｇ（緑），Ｂ（青）でなる原色系のＢａｙｅｒ型色フィルタを前面に配置した単板固体撮像素子からの信号中に含まれるノイズを低減する撮像システムであって、上記信号から所定単位領域毎に平均輝度値としてＧ画素の平均値Ｇ_AVを算出するとともに各Ｒ画素毎に色差信号としてＲ−Ｇ_AVを各Ｂ画素毎に色差信号としてＢ−Ｇ_AVをそれぞれ算出しさらに算出した色差信号Ｒ−Ｇ_AVに基づいて平均色差値ＲＧ_AV値を算出したＢ−Ｇ_AVに基づいて平均色差値ＢＧ_AV値をそれぞれ算出する算出手段と、上記所定単位領域毎に、上記平均輝度値Ｇ _AV に基づき上記色差信号Ｒ−Ｇ _AV とＢ−Ｇ _AV に関する色ノイズ量を推定する色ノイズ推定手段と、上記所定単位領域毎に、上記色ノイズ量および上記平均色差値ＲＧ _AV とＢＧ _AV に基づいて上記色差信号Ｒ−Ｇ_AV中の色ノイズおよび上記色差信号Ｂ−Ｇ_AV中の色ノイズをそれぞれ低減する色ノイズ低減手段と、を具備したものである。

さらに、第３の発明による撮像システムは、Ｃ（シアン），Ｍ（マゼンタ），Ｙ（イエロー），Ｇ（緑）の色差線順次方式色フィルタを前面に配置した単板固体撮像素子からの信号中に含まれるノイズを低減する撮像システムであって、上記信号から輝度信号Ｌ＝Ｃ＋Ｍ＋Ｙ＋Ｇと色差信号Ｃｂ＝Ｃ＋Ｍ−Ｙ−Ｇと色差信号Ｃｒ＝Ｍ＋Ｙ−Ｃ−Ｇとを算出しさらに算出した輝度信号Ｌに基づき平均輝度値Ｌ_AV を、算出した色差信号Ｃｂに基づき平均色差値Ｃｂ_AV を、算出した色差信号Ｃｒに基づき平均色差値Ｃｒ_AV を、所定単位領域毎に算出する算出手段と、上記所定単位領域毎に、上記平均輝度値Ｌ _AV に基づき上記色差信号ＣｂとＣｒに関する色ノイズ量を推定する色ノイズ推定手段と、上記所定単位領域毎に、上記色ノイズ量および上記平均色差値Ｃｂ _AV とＣｒ _AV に基づいて上記色差信号Ｃｂおよび色差信号Ｃｒ中の色ノイズをそれぞれ低減する色ノイズ低減手段と、を具備したものである。

第４の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記所定単位領域が４×４画素単位の領域である。

第５の発明による撮像システムは、原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号中に含まれるノイズを低減する撮像システムであって、上記信号から輝度信号および色差信号を分離する分離手段と、分離した輝度信号に基づき所定単位領域毎に平均輝度値を算出する算出手段と、上記輝度信号に関する輝度ノイズ量を上記平均輝度値に基づき上記所定単位領域毎に推定する輝度ノイズ推定手段と、上記所定単位領域毎に上記輝度ノイズ量および上記平均輝度値に基づいて上記輝度信号中の輝度ノイズを低減する輝度ノイズ低減手段と、上記輝度ノイズ低減手段により輝度ノイズが低減された輝度信号に基づいて、上記所定単位領域毎に第２の平均輝度値を算出するとともに、上記分離手段により分離された色差信号に基づいて、上記所定単位領域毎に平均色差値を算出する第２の算出手段と、上記所定単位領域毎に、上記第２の平均輝度値に基づき上記色差信号に関する色ノイズ量を推定する色ノイズ推定手段と、上記所定単位領域毎に、上記色ノイズ量および上記平均色差値に基づいて上記色差信号中の色ノイズを低減する色ノイズ低減手段と、を具備したものである。

第６の発明による撮像システムは、上記第１から第４の発明による撮像システムにおいて、上記色ノイズ推定手段が、上記平均輝度値を用いると共に上記固体撮像素子の温度と上記信号に対するゲインとの少なくとも一方の情報に基づいてパラメータを求めるパラメータ算出手段と、上記パラメータに基づいて色ノイズ量を求める色ノイズ量算出手段と、を有して構成されたものである。
第７の発明による撮像システムは、上記第５の発明による撮像システムにおいて、上記色ノイズ推定手段が、上記第２の平均輝度値を用いると共に上記固体撮像素子の温度と上記信号に対するゲインとの少なくとも一方の情報に基づいてパラメータを求めるパラメータ算出手段と、上記パラメータに基づいて色ノイズ量を求める色ノイズ量算出手段と、を有して構成されたものである。

第８の発明による撮像システムは、上記第５の発明による撮像システムにおいて、上記輝度ノイズ推定手段が上記平均輝度値を用いると共に上記固体撮像素子の温度と上記信号に対するゲインとの少なくとも一方の情報に基づいてパラメータを求めるパラメータ算出手段と、上記パラメータに基づいて輝度ノイズ量を求める輝度ノイズ量算出手段と、を有して構成されたものである。

第９の発明による撮像システムは、上記第６、第７、または第８の発明による撮像システムにおいて、上記パラメータ算出手段が、上記固体撮像素子の温度を測定する温度センサを有して構成されたものである。

第１０の発明による撮像システムは、上記第６、第７、または第８の発明による撮像システムにおいて、上記固体撮像素子が、ＯＢ（Optical Black）領域を有して構成されたものであり、上記パラメータ算出手段は、上記固体撮像素子中のＯＢ（Optical Black）領域の信号の分散を求める分散算出手段と、上記分散に基づいて固体撮像素子の温度を推定する温度推定手段と、を有して構成されたものである。

第１１の発明による撮像システムは、上記第６、第７、または第８の発明による撮像システムにおいて、上記パラメータ算出手段が、ＩＳＯ感度と露出情報とホワイトバランス情報との内の少なくとも１つの情報に基づいて上記ゲインを求めるゲイン算出手段を有して構成されたものである。

第１２の発明による撮像システムは、上記第６または第７の発明による撮像システムにおいて、上記パラメータ算出手段が、パラメータとして、上記平均輝度値Ｌ、上記固体撮像素子の温度Ｔ、および上記信号に対するゲインＧを算出するように構成されたものであって、上記色ノイズ推定手段は、該パラメータ算出手段から得られないパラメータに関して標準のパラメータ値を付与する付与手段をさらに有して構成され、上記色ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から得られるパラメータを用いて色ノイズ量Ｎ_Cを算出するものであり、上記温度ＴおよびゲインＧをパラメータとする２つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ）に基づいて２つの係数Ａ，Ｂを求める係数算出手段と、上記２つの係数Ａ，Ｂを用いた関数式Ｎ_C＝ＡＬ＋Ｂに基づいて色ノイズ量Ｎ_Cを算出する関数演算手段と、を有して構成されたものである。

第１３の発明による撮像システムは、上記第６または第７の発明による撮像システムにおいて、上記色ノイズ推定手段が、上記パラメータ算出手段から得られないパラメータに関して標準のパラメータ値を付与する付与手段をさらに有して構成され、上記色ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から得られる平均輝度値と上記固体撮像素子の温度と上記信号に対するゲインとに基づき色ノイズ量を求めるルックアップテーブル手段を有して構成されたものである。

第１４の発明による撮像システムは、上記第８の発明による撮像システムにおいて、上記輝度ノイズ推定手段が、上記パラメータ算出手段から得られないパラメータに関して標準のパラメータ値を付与する付与手段をさらに有して構成され、上記輝度ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から得られる、上記平均輝度値Ｌと、上記固体撮像素子の温度Ｔと、上記信号に対するゲインＧと、をパラメータとして用いて輝度ノイズ量Ｎ_Lを算出するものであって、上記Ｔ，Ｇをパラメータとする３つの関数α（Ｔ，Ｇ），β（Ｔ，Ｇ），γ（Ｔ，Ｇ）から３つ係数Ａ，Ｂ，Γを各々求める係数算出手段と、上記３つの係数Ａ，Ｂ，Γを用いた第１の関数式Ｎ_L＝ＡＬ^B＋Γまたは第２の関数式Ｎ_L＝AＬ²＋BＬ＋Γの何れかに基づいて、輝度ノイズ量Ｎ_Lを求める関数演算手段と、を有して構成されたものである。

第１５の発明による撮像システムは、上記第８の発明による撮像システムにおいて、上記輝度ノイズ推定手段が、上記パラメータ算出手段から得られないパラメータに関して標準のパラメータ値を付与する付与手段をさらに有して構成され、上記輝度ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から得られる、上記平均輝度値と、上記固体撮像素子の温度と、上記信号に対するゲインと、に基づき輝度ノイズ量を求めるルックアップテーブル手段を有して構成されたものである。

第１６の発明による撮像システムは、上記第１から第５の発明による撮像システムにおいて、上記色ノイズ低減手段が、上記色ノイズ推定手段からの色ノイズ量に基づいて上記所定単位領域毎に微小振幅値を設定する設定手段と、上記色差信号に関して該微小振幅値以下の振幅成分を吸収するスムージング手段と、を有して構成されたものである。

第１７の発明による撮像システムは、上記第５の発明による撮像システムにおいて、上記輝度ノイズ低減手段が、上記輝度ノイズ推定手段からの輝度ノイズ量に基づいて上記所定単位領域毎に微小振幅値を設定する設定手段と、上記輝度信号に関して該微小振幅値以下の振幅成分を吸収するスムージング手段と、を有して構成されたものである。

第１８の発明による撮像システムは、上記第１から第５の発明による撮像システムにおいて、上記色ノイズ低減手段により色ノイズが低減された色差信号を、固体撮像素子からの信号と同一種類の信号へ逆変換する逆変換手段をさらに具備したものである。

第１９の発明による画像処理プログラムは、コンピュータに、原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号から輝度信号と色差信号とを算出し、算出した輝度信号に基づき平均輝度値を、算出した色差信号に基づき平均色差値を、所定単位領域毎に算出する算出手順と、上記所定単位領域毎に、上記平均輝度値に基づき上記色差信号に関する色ノイズ量を推定する色ノイズ推定手順と、上記所定単位領域毎に、上記色ノイズ量および上記平均色差値に基づいて上記色差信号中の色ノイズを低減する色ノイズ低減手順と、を実行させるためのプログラムである。

第２０の発明による画像処理プログラムは、コンピュータに、原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号から輝度信号および色差信号を分離する分離手順と、分離した輝度信号に基づき所定単位領域毎に平均輝度値を算出する算出手順と、上記輝度信号に関する輝度ノイズ量を上記平均輝度値に基づき上記所定単位領域毎に推定する輝度ノイズ推定手順と、上記所定単位領域毎に上記輝度ノイズ量および上記平均輝度値に基づいて上記輝度信号中の輝度ノイズを低減する輝度ノイズ低減手順と、上記輝度ノイズ低減手順により輝度ノイズが低減された輝度信号に基づいて、上記所定単位領域毎に第２の平均輝度値を算出するとともに、上記分離手順により分離された色差信号に基づいて、上記所定単位領域毎に平均色差値を算出する第２の算出手順と、上記所定単位領域毎に、上記第２の平均輝度値に基づき上記色差信号に関する色ノイズ量を推定する色ノイズ推定手順と、上記所定単位領域毎に、上記色ノイズ量および上記平均色差値に基づいて上記色差信号中の色ノイズを低減する色ノイズ低減手順と、を実行させるためのプログラムである。

第２１の発明による画像処理プログラムは、上記第１９の発明による画像処理プログラムにおいて、上記色ノイズ推定手順が、上記平均輝度値を用いると共に上記固体撮像素子の温度と上記信号に対するゲインとの少なくとも一方の情報に基づいてパラメータを求めるパラメータ算出手順と、上記パラメータに基づいて色ノイズ量を求める色ノイズ量算出手順と、を含む。
第２２の発明による画像処理プログラムは、上記第２０の発明による画像処理プログラムにおいて、上記色ノイズ推定手順が、上記第２の平均輝度値を用いると共に上記固体撮像素子の温度と上記信号に対するゲインとの少なくとも一方の情報に基づいてパラメータを求めるパラメータ算出手順と、上記パラメータに基づいて色ノイズ量を求める色ノイズ量算出手順と、を含む。

第２３の発明による画像処理プログラムは、上記第２１または第２２の発明による画像処理プログラムにおいて、上記パラメータ算出手順が、パラメータとして、上記平均輝度値Ｌ、上記固体撮像素子の温度Ｔ、および上記信号に対するゲインＧを算出するための手順であって、上記色ノイズ推定手順は、該パラメータ算出手順から得られないパラメータに関して標準のパラメータ値を付与する付与手順をさらに含み、上記色ノイズ量算出手順は、上記パラメータ算出手順または上記付与手順により得られるパラメータを用いて色ノイズ量Ｎ_Cを算出する手順であり、上記温度ＴおよびゲインＧをパラメータとする２つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ）に基づいて２つの係数Ａ，Ｂを求める係数算出手順と、上記２つの係数Ａ，Ｂを用いた関数式Ｎ_C＝ＡＬ＋Ｂに基づいて色ノイズ量Ｎ_Cを算出する関数演算手順と、を含む。

第２４の発明による画像処理プログラムは、上記第１９または第２０の発明による画像処理プログラムにおいて、上記色ノイズ低減手順が、上記色ノイズ推定手順からの色ノイズ量に基づいて上記所定単位領域毎に微小振幅値を設定する設定手順と、上記色差信号に関して該微小振幅値以下の振幅成分を吸収するスムージング手順と、を含む。

本発明の撮像システムおよび画像処理プログラムによれば、撮影状況に最適化して色ノイズを高精度に低減し高品位な画像を得ることができる。

以下、図面を参照して本発明の実施例を説明する。

図１から図９は本発明の実施例１を示したものであり、図１は撮像システムの構成を示すブロック図、図２は色ノイズ推定部の構成を示すブロック図、図３はＢａｙｅｒ型の色フィルタの配置を示す図、図４は撮像素子におけるＯＢ領域の配置例を示す図、図５はＯＢ領域の分散と撮像素子の温度との関係の一例を示す線図、図６は色ノイズ量の定式化を説明するための線図、図７は色ノイズ量の算出に用いるパラメータを説明するための線図、図８は色ノイズ低減部の構成を示すブロック図、図９はコンピュータにおいて画像処理プログラムにより行われる色ノイズ低減処理を示すフローチャートである。

この撮像システムは、図１に示すように、被写体像を結像するためのレンズ系１と、このレンズ系１内に配置されていて該レンズ系１における光束の通過範囲を規定するための絞り２と、上記レンズ系１による結像光束から不要な高周波成分を除去するためのローパスフィルタ３と、このローパスフィルタ３を介して結像される光学的な被写体像を光電変換して電気的な画像信号を出力するものであり例えば原色系の色フィルタが前面に配置された単板ＣＣＤ等でなる固体撮像素子（適宜、「撮像素子」と省略する。）たるＣＣＤ４と、このＣＣＤ４から出力される画像信号に相関二重サンプリングを行うＣＤＳ（Correlated Double Sampling）５と、このＣＤＳ５から出力される信号を増幅する増幅器６と、この増幅器６により増幅されたアナログの画像信号をデジタル信号へ変換するＡ／Ｄ変換器７と、このＡ／Ｄ変換器７から出力されたデジタルの画像データを一時的に記憶する画像用バッファ８と、この画像用バッファ８に記憶された画像データに基づき被写体に関する測光評価を行いその評価結果に基づき上記絞り２、ＣＣＤ４、増幅器６の制御を行う測光評価部９と、上記画像用バッファ８に記憶された画像データに基づき合焦点検出を行い検出結果に基づき後述するＡＦモータ１１を駆動する合焦点検出部１０と、この合焦点検出部１０により制御されて上記レンズ系１に含まれるフォーカスレンズ等の駆動を行うＡＦモータ１１と、上記画像用バッファ８に記憶された画像データに基づき上記増幅器６による各色毎の増幅率を異ならせるなどしてプリ撮像モード時のホワイトバランス調整を行うプリホワイトバランス（ＰｒｅＷＢ）部１２と、上記画像用バッファ８に記憶された画像データに基づき後で詳しく説明するように色ノイズ推定を行う色ノイズ推定手段たる色ノイズ推定部１４と、この色ノイズ推定部１４による推定結果を用いて上記画像用バッファ８から読み出した画像データの色ノイズを低減する色ノイズ低減手段たる色ノイズ低減部１３と、この色ノイズ低減部１３から出力される画像データに各種の信号処理を施す信号処理部１５と、この信号処理部１５からの画像データを例えばメモリカード等に記録するために出力する出力部１６と、電源スイッチ，シャッタボタン，各種の撮影モードなどを切り替えるためモードスイッチ等へのインターフェースを備えた外部Ｉ／Ｆ部１７と、上記ＣＤＳ５，増幅器６，Ａ／Ｄ変換器７，測光評価部９，合焦点検出部１０，プリホワイトバランス部１２，色ノイズ低減部１３，色ノイズ推定部１４，信号処理部１５，出力部１６，外部Ｉ／Ｆ部１７に双方向に接続されていてこれらを含むこの撮像システムを統合的に制御するマイクロコンピュータ等でなる制御手段であってパラメータ算出手段たる制御部１８と、を有して構成されている。

次に、図１に示したような撮像システムにおける信号の流れについて説明する。

この撮像システムは、外部Ｉ／Ｆ部１７を介してＩＳＯ感度などの撮影条件を設定することができるように構成されており、これらの設定がなされた後に、２段式の押しボタンスイッチでなるシャッタボタンを半押しすることにより、プリ撮像モードに入る。

上記レンズ系１，絞り２，ローパスフィルタ３を介してＣＣＤ４により撮影され出力された映像信号は、ＣＤＳ５において、公知の相関二重サンプリングが行われてアナログ信号として出力される。

なお、本実施例においては、ＣＣＤ４が、原色系の色フィルタを前面に有する単板ＣＣＤであるものとしており、該色フィルタとしては、図３に示すようなＢａｙｅｒ型の配置のものを例にとって説明する。

図３を参照して、Ｂａｙｅｒ型の色フィルタの構成について説明する。

Ｂａｙｅｒ型は、２×２画素の画素配列を基本単位としており、緑（Ｇ）の色フィルタが対角方向に２画素配置され、残りの対角方向の一方に赤（Ｒ）の色フィルタが１つ、他方に青（Ｂ）の色フィルタが１つ、それぞれ配置されたものとなっている。

上記ＣＤＳ５からのアナログ信号は、増幅器６により所定量だけ増幅されて、Ａ／Ｄ変換器７によりデジタル信号へ変換され、画像用バッファ８へ転送される。

画像用バッファ８内の映像信号は、その後に、測光評価部９と合焦点検出部１０とプリホワイトバランス部１２とへ転送される。

測光評価部９は、画像中の輝度レベルを求めて、設定されたＩＳＯ感度や手ぶれ限界のシャッタ速度などを考慮し、適正露光となるように絞り２による絞り値やＣＣＤ４の電子シャッタ速度や増幅器６の増幅率などを制御する。

また、合焦点検出部１０は、画像中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ１１を制御し合焦画像を得る。

さらに、プリホワイトバランス部１２は、映像信号中の所定輝度レベルの信号を色信号毎に積算することにより、簡易ホワイトバランス係数を算出して、上記増幅器６へ出力する。増幅器６は、このプリホワイトバランス部１２から転送された係数に基づいて、色信号毎に異なるゲインを乗算させることにより、ホワイトバランス調整を行う。

このようなプリ撮像モードを行うことにより本撮影の準備が整ったところで、次に、シャッタボタンが全押しにされたことを外部Ｉ／Ｆ部１７を介して検出すると、本撮影が行われる。

この本撮影は、測光評価部９により求められた露光条件と、合焦点検出部１０により求められた合焦条件と、プリホワイトバランス部１２により求められたホワイトバランス係数と、に基づいて行われ、これらの撮影時の条件は制御部１８へ転送される。

こうして本撮影が行われると、映像信号が、プリ撮像のときと同様にして、画像用バッファ８へ転送され記憶される。

この画像用バッファ８内の映像信号は、色ノイズ推定部１４へ転送されるが、該色ノイズ推定部１４へは、さらに、制御部１８を介して、測光評価部９により求められた露光条件、プリホワイトバランス部１２により求められたホワイトバランス係数、外部Ｉ／Ｆ部１７により設定されたＩＳＯ感度などの撮影条件も合わせて転送される。

色ノイズ推定部１４は、上記情報と映像信号とに基づき、所定サイズ毎に、例えば本実施例においては４×４画素毎に、色ノイズ量を算出し、算出した色ノイズ量を色ノイズ低減部１３へ転送する。この色ノイズ推定部１４における色ノイズ量の算出は、制御部１８の制御に基づいて、色ノイズ低減部１３の処理と同期して行われる。

色ノイズ低減部１３は、色ノイズ推定部１４により算出された色ノイズ量に基づいて、画像用バッファ８内の映像信号に対して色ノイズ低減処理を行い、処理後の映像信号を信号処理部１５へ転送する。

信号処理部１５は、制御部１８の制御に基づき、色ノイズ低減後の映像信号に対して、公知の強調処理や圧縮処理などを行い、処理後の映像信号を出力部１６へ転送する。

出力部１６は、受け取った映像信号を、メモリカードなどへ記録し保存する。

次に、図２を参照して色ノイズ推定部１４の構成の一例について説明する。

この色ノイズ推定部１４は、制御部１８の制御に基づき画像用バッファ８に記憶された映像信号から例えば図４に示したようにＣＣＤ４の画像領域の右側に設けられたＯＢ（オプティカルブラック：Optical Black）領域の信号を抽出するＯＢ領域抽出部２１と、このＯＢ領域抽出部２１により抽出されたＯＢ領域の信号を記憶する第１バッファ２２と、この第１バッファ２２に記憶されたＯＢ領域の信号を読み出して分散値を算出しさらに上記制御部１８から転送される露光条件等に関する情報を用いて上記増幅器６の増幅量に対する補正を該分散値に行う分散算出手段たる分散算出部２３と、予め計測された分散値と撮像素子の温度との関係が記録されている温度推定手段たる温度推定用ＲＯＭ２５と、上記分散算出部２３から出力された分散値に基づきこの温度推定用ＲＯＭ２５を参照することにより撮像素子である上記ＣＣＤ４の温度を求めるパラメータ算出手段であり温度推定手段たる温度推定部２４と、上記画像用バッファ８に記憶された映像信号から所定位置における所定サイズの局所領域を抽出する局所領域抽出部２６と、この局所領域抽出部２６により抽出された局所領域の信号を記憶する第２バッファ２７と、この第２バッファ２７に記憶された局所領域の信号を読み出して平均輝度値を算出するパラメータ算出手段たる平均輝度算出部２８と、上記制御部１８から転送される露光条件とＩＳＯ感度とホワイトバランス係数等との情報に基づいて上記増幅器６の増幅量を算出するパラメータ算出手段でありゲイン算出手段たるゲイン算出部２９と、何れかのパラメータが省略された場合に標準値を付与する付与手段たる標準値付与部３０と、色ノイズ量を推定する際に用いる後述する関数に係る色パラメータを記憶する係数算出手段たる色パラメータ用ＲＯＭ３２と、この色パラメータ用ＲＯＭ３２から読み出されるパラメータと上記温度推定部２４または上記標準値付与部３０から出力される撮像素子の温度と上記平均輝度算出部２８または上記標準値付与部３０から出力される平均輝度値と上記ゲイン算出部２９または上記標準値付与部３０から出力される増幅量との情報に基づき注目画素の色ノイズ量を所定の式により推定する色ノイズ量算出手段であり係数算出手段たる係数算出部３１と、この係数算出部３１から出力される係数を用いて後述するように定式化される関数を用い色ノイズ量を算出し上記色ノイズ低減部１３へ出力する色ノイズ量算出手段であり関数演算手段たる関数算出部３３と、を有して構成されている。

上記局所領域抽出部２６は、本実施例においては、後で説明する色ノイズ低減部１３の処理が４×４画素単位で行われるようになっているために、該４×４画素単位で画像全面を順次走査しながら抽出を行う。この局所領域抽出部２６による処理は、色ノイズ低減部１３の処理と同期して行われる。

また、上記制御部１８は、上記ＯＢ領域抽出部２１、分散算出部２３、温度推定部２４、局所領域抽出部２６、平均輝度算出部２８、ゲイン算出部２９、標準値付与部３０、係数算出部３１、関数算出部３３に対して双方向に接続されており、これらを制御するようになっている。

図５を参照して、上記温度推定部２４において推定されるＯＢ領域の分散と撮像素子の温度との関係について説明する。

図示のように、撮像素子の温度は、ＯＢ領域の分散が大きくなるに従って、カーブを描きながら単調増加して、上昇して行くことが分かる。

入射光のないＯＢ領域でのランダムノイズは、暗電流ノイズが支配的となっており、この暗電流ノイズは、撮像素子の温度に関係している。

そのために、ＯＢ領域のランダムノイズを分散値として算出して、この分散値と撮像素子の温度変化との関係を事前に計測して温度推定用ＲＯＭ２５に記憶させておく。これにより、温度推定部２４は、分散算出部２３により算出された分散値から、温度推定用ＲＯＭ２５に記憶された対応関係を用いて、撮像素子であるＣＣＤ４の温度を推定することが可能となる。

一方、上記平均輝度算出部２８による平均輝度の算出は、次のようにして行われる。

まず、上記局所領域抽出部２６が、上述したようなＢａｙｅｒ型の色フィルタを備えたＣＣＤ４の映像信号から４×４画素単位で局所領域の抽出を行うと、上記図３に示したような配置のブロックデータが得られる。

この４×４画素でなるブロックデータ中には、８画素分のＧ信号と、４画素分のＲ信号と、４画素分のＢ信号と、が含まれる。そこで、以下では、Ｇ画素をＧ_i（ｉ＝１〜８）、Ｒ画素をＲ_j（ｊ＝１〜４）、Ｂ画素をＢ_k（ｋ＝１〜４）として、それぞれに添え字を付けて示すことにする。このときの各添え字に対応する画素位置は、図３に示す通りである。

上記平均輝度算出部２８は、輝度信号に近似する信号としてＧ信号を用いて、平均輝度値を次の数式１に示すような平均値Ｇ_AVとして算出する。
［数１］

次に、図６を参照して、係数算出部３１が注目画素の色ノイズ量を推定する際に用いる色ノイズ量の定式化について説明する。

図６（Ａ）は、輝度レベルに対する２種類の色差信号（Ｒ−Ｇ），（Ｂ−Ｇ）に各関する色ノイズ量Ｎ_C(R-G)，Ｎ_C(B-G)をプロットしたものである。図示のように、各色ノイズ量は、輝度レベルに対して直線的に増加している。

このような色ノイズ量の変化を、輝度レベルをＬ、色ノイズ量をＮ_Cとして定式化すると、次の数式２に示すようになる。
［数２］
Ｎ_C＝ＡＬ＋Ｂ
ここに、Ａ，Ｂは定数項である。

しかしながら、色ノイズ量Ｎ_Cは、輝度レベルＬにのみ依存するのではなく、それ以外にも、撮像素子であるＣＣＤ４の温度や増幅器６のゲインによっても変化する。従って、これらの要因も考慮に入れたものが、図６（Ｂ）に示す例となっている。

図６（Ｂ）は、輝度レベル、温度、ゲインに対する色ノイズ量をプロットした線図である。図示のように、各々の曲線は数式２で示されるような形状をしているが、その係数は温度，ゲインにより異なる。従って、これらを考慮して、温度をＴ、ゲインをＧとして定式化を行うと、次の数式３に示すようになる。
［数３］
Ｎ_C＝ａ（Ｔ，Ｇ）Ｌ＋ｂ（Ｔ，Ｇ）
となる。ここに、ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ）は、温度ＴとゲインＧとをパラメータとする関数である。

図７（Ａ）は上記関数ａ（Ｔ，Ｇ）の、図７（Ｂ）は上記関数ｂ（Ｔ，Ｇ）の特性の概略の様子をそれぞれ示したものである。

これらの関数は、温度ＴとゲインＧとを独立変数とする２変数関数であるために、図６（Ａ），図６（Ｂ）は３次元座標としてプロットされており、このプロットされた空間における曲面となっている。ただし、ここでは具体的な曲面形状を図示する代わりに、曲線を用いて大まかな特性変化の様子を示している。

このような関数ａ，ｂに温度ＴとゲインＧとをパラメータとして入力することにより、各定数項Ａ，Ｂが出力される。そして、これらの関数の具体的な形状は、事前に、ＣＣＤ４や増幅器６を含む撮像素子系の特性を測定することにより、容易に取得することができる。

上述したような２つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ）は、２種類の色差信号（Ｒ−Ｇ），（Ｂ−Ｇ）毎に、個別に色パラメータ用ＲＯＭ３２に記録される。

係数算出部３１は、動的に取得された（または標準値付与部３０から取得された）温度Ｔ，ゲインＧを入力パラメータとして、色パラメータ用ＲＯＭ３２に記録されている２つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ）を用いて各係数Ａ，Ｂを算出する。

関数算出部３３は、この係数算出部３１により算出された各係数Ａ，Ｂを、上記数式３に適用することによって、２種類の色差信号（Ｒ−Ｇ），（Ｂ−Ｇ）に関する色ノイズ量Ｎ_C(R-G)，Ｎ_C(B-G)を算出するための関数形状を決定する。そして、該係数算出部３１を介して上記平均輝度算出部２８から出力される信号値レベルＬにより、各色差信号（Ｒ−Ｇ），（Ｂ−Ｇ）に関する色ノイズ量Ｎ_C(R-G)，Ｎ_C(B-G)を算出するようになっている。

このように、色ノイズ量の算出に用いられる輝度レベルＬは、上記数式１に示したような、上記平均輝度算出部２８により算出されたＧ信号の平均値Ｇ_AVとなっている。

なお、温度Ｔ，ゲインＧ等の各パラメータを、必ずしも撮影毎に求める必要はない。例えば、温度Ｔは、電源投入時から一定時間が経過すれば安定するために、安定した後に温度推定部２４において算出した温度情報を制御部１８が標準値付与部３０に記憶させておき、以後の算出過程を省略してこの標準値付与部３０から読み出した温度情報を用いるようにすることも可能である。こうして標準値付与部３０は、温度推定部２４、ゲイン算出部２９、あるいは必要に応じてさらに平均輝度算出部２８、制御部１８などからのパラメータが得られない場合に、標準的なパラメータを設定して出力するものとなっていて、これにより、確実に処理を行うことが可能となると共に、処理の高速化や省電力化などを図ることもできるようになっている。なお、標準値付与部３０は、それ以外に必要とされるパラメータについても、標準的な値を出力することができるようになっている。

上述したように関数算出部３３により算出された色ノイズ量は、上記色ノイズ低減部１３へ転送される。

次に、図８を参照して色ノイズ低減部１３の構成の一例について説明する。

この色ノイズ低減部１３は、上記画像用バッファ８から所定サイズの局所領域を抽出する局所領域抽出部４１と、この局所領域抽出部４１により抽出された局所領域の画像データを記憶するバッファ４２と、このバッファ４２に記憶された画像データから色差を算出する算出手段たる色差算出部４３と、この色差算出部４３により算出された色差に基づいて平均色差を算出する算出手段たる平均色差算出部４４と、この平均色差算出部４４により算出された平均色差と上記色ノイズ推定部１４により推定された色ノイズ量とに基づいて色差に関する許容範囲（微小振幅値）を設定する設定手段たる許容範囲設定部４５と、この許容範囲設定部４５により設定された許容範囲に基づいて上記色差算出部４３から出力される色差を補正するスムージング手段たる色差補正部４６と、この色差補正部４６により補正された色差を元のＲＧＢ信号等へ逆変換して上記信号処理部１５へ出力する逆変換手段たる逆変換部４７と、を有して構成されている。

また、上記制御部１８は、上記局所領域抽出部４１、色差算出部４３、平均色差算出部４４、許容範囲設定部４５、色差補正部４６、逆変換部４７に対して双方向に接続されており、これらを制御するようになっている。

上記局所領域抽出部４１は、制御部１８の制御に基づいて、画像用バッファ８から所定サイズ毎に、例えば本実施例においては４×４画素毎に、映像信号を抽出し、抽出した映像信号をバッファ４２へ転送する。

上記色差算出部４３は、制御部１８の制御に基づいて、バッファ４２に記憶されている映像信号を読み出し、２種類の色差信号（Ｒ_j−Ｇ_AV），（Ｂ_k−Ｇ_AV）（ｊ＝１〜４，ｋ＝１〜４）を算出する。上記図３に示したように、４×４画素でなる局所領域中には、Ｒ，Ｂが４画素ずつ存在しているために、ここでは色差信号も４種類ずつ算出されることになる。なお、Ｇ_AVは、上記数式１に示したように、４×４画素中のＧ信号の平均値を意味している。

この色差算出部４３により算出された色差信号は、平均色差算出部４４と色差補正部４６とへそれぞれ転送される。

上記平均色差算出部４４は、受け取った上記２種類の色差信号（Ｒ_j−Ｇ_AV），（Ｂ_k−Ｇ_AV）に基づいて、平均色差値ＲＧ_AV，ＢＧ_AVを次の数式４に示すようにそれぞれ算出する。
［数４］

こうして、平均色差算出部４４により算出された上記平均色差値ＲＧ_AV，ＢＧ_AVは、上記許容範囲設定部４５へ転送される。

許容範囲設定部４５は、色ノイズ推定部１４からの２種類の色差信号（Ｒ_j−Ｇ_AV），（Ｂ_k−Ｇ_AV）に関する色ノイズ量Ｎ_C(R-G)，Ｎ_C(B-G)と、平均色差算出部４４からの平均色差値ＲＧ_AV，ＢＧ_AVと、に基づいて、色ノイズ量に関する許容範囲（微小振幅値）として上限Ｕおよび下限Ｄを次の数式５に示すように設定する。
［数５］
Ｕ_(R-G)＝ＲＧ_AV＋Ｎ_C(R-G)／２
Ｄ_(R-G)＝ＲＧ_AV−Ｎ_C(R-G)／２
Ｕ_(B-G)＝ＢＧ_AV＋Ｎ_C(B-G)／２
Ｄ_(B-G)＝ＢＧ_AV−Ｎ_C(B-G)／２

こうして、許容範囲設定部４５により算出された上記許容範囲Ｕ，Ｄは、上記色差補正部４６へ転送される。

上記色差補正部４６は、制御部１８の制御に基づいて、色差算出部４３からの２種類の色差信号（Ｒ_j−Ｇ_AV），（Ｂ_k−Ｇ_AV）を、許容範囲設定部４５からの許容範囲Ｕ，Ｄに基づき（微小振幅値以下の振幅成分を吸収することにより）補正し、色ノイズが低減された色差信号（Ｒ_j−Ｇ_AV）’，（Ｂ_k−Ｇ_AV）’を算出する。

このとき、該色差補正部４６により行われる補正は、許容範囲の上限Ｕを上回る場合と、許容範囲内である場合と、許容範囲の下限Ｄを下回る場合と、の３通りに分かれる。

まず、色差信号（Ｒ_j−Ｇ_AV）に関しては、次の数式６に示すようになる。
［数６］
（Ｒ_j−Ｇ_AV）＞Ｕ_(R-G)のとき
（Ｒ_j−Ｇ_AV）’＝（Ｒ_j−Ｇ_AV）−Ｎ_C(R-G)／２
Ｕ_(R-G)≧（Ｒ_j−Ｇ_AV）≧Ｄ_(R-G)のとき
（Ｒ_j−Ｇ_AV）’＝ＲＧ_AV
Ｄ_(R-G)＞（Ｒ_j−Ｇ_AV）のとき
（Ｒ_j−Ｇ_AV）’＝（Ｒ_j−Ｇ_AV）＋Ｎ_C(R-G)／２

次に、色差信号（Ｂ_k−Ｇ_AV）に関しては、次の数式７に示すようになる。
［数７］
（Ｂ_k−Ｇ_AV）＞Ｕ_(B-G)のとき
（Ｂ_k−Ｇ_AV）’＝（Ｂ_k−Ｇ_AV）−Ｎ_C(B-G)／２
Ｕ_(B-G)≧（Ｂ_k−Ｇ_AV）≧Ｄ_(B-G)のとき
（Ｂ_k−Ｇ_AV）’＝ＢＧ_AV
Ｄ_(B-G)＞（Ｂ_k−Ｇ_AV）のとき
（Ｂ_k−Ｇ_AV）’＝（Ｂ_k−Ｇ_AV）＋Ｎ_C(B-G)／２

上述したように、４×４画素中に４種類ずつ存在する２種類の色差信号（Ｒ_j−Ｇ_AV），（Ｂ_k−Ｇ_AV）の全てに対して、これら数式６または数式７に基づく補正が行われる。

こうして、色差補正部４６により補正された後の色差信号は、逆変換部４７へ転送される。

逆変換部４７は、色差信号から本来の信号、本実施例においてはＲＧＢ信号への変換を行う。

このとき、輝度信号に相当するＧ信号は不変のまま保持したいために、色差信号の補正はＲ信号またはＢ信号のみで行われ、補正の結果、Ｒ’信号とＢ’信号とが得られるように変換される。この逆変換においても、２種類の色差信号（Ｒ_j−Ｇ_AV），（Ｂ_k−Ｇ_AV）毎の３通り（合計６通り）の算出に対応して、各３通り（合計６通り）の演算が行われる。

まず、色差信号（Ｒ_j−Ｇ_AV）に関しては、次の数式８に示すようになる。
［数８］
（Ｒ_j−Ｇ_AV）’＝Ｒ_j−Ｇ_AV−Ｎ_C(R-G)／２のとき
Ｒ_j’＝Ｒ_j−Ｎ_C(R-G)／２
（Ｒ_j−Ｇ_AV）’＝ＲＧ_AVのとき
Ｒ_j’＝ＲＧ_AV＋Ｇ_AV
（Ｒ_j−Ｇ_AV）’＝Ｒ_j−Ｇ_AV＋Ｎ_C(R-G)／２のとき
Ｒ_j’＝Ｒ_j＋Ｎ_C(R-G)／２

次に、色差信号（Ｂ_k−Ｇ_AV）に関しては、次の数式９に示すようになる。
［数９］
（Ｂ_k−Ｇ_AV）’＝Ｂ_k−Ｇ_AV−Ｎ_C(B-G)／２のとき
Ｂ_k’＝Ｂ_k−Ｎ_C(B-G)／２
（Ｂ_k−Ｇ_AV）’＝ＢＧ_AVのとき
Ｂ_k’＝ＢＧ_AV＋Ｇ_AV
（Ｂ_k−Ｇ_AV）’＝Ｂ_k−Ｇ_AV＋Ｎ_C(B-G)／２のとき
Ｂ_k’＝Ｂ_k＋Ｎ_C(B-G)／２

これらの数式８、数式９は、色ノイズを低減された色差信号（Ｒ_j−Ｇ_AV）’，（Ｂ_k−Ｇ_AV）’から本来のＲＧＢ信号への逆変換を意味している。このような逆変換が行われることにより、ノイズを低減されたＲ’信号およびＢ’信号と、本来のＧ信号と、が得られる。こうして得られたＲＧＢ信号（Ｒ’ＧＢ’信号）は、上記信号処理部１５へ転送される。

また、上述したような色ノイズ低減部１３の処理は、制御部１８の制御に基づいて、色ノイズ推定部１４における色ノイズ量の算出と同期して行われるようになっている。

なお、上述では４×４画素単位で色ノイズ量を推定しているが、このような構成に限定されるものではなく、例えば、８×８画素、あるいは１６×１６画素などの、より大きな領域を単位として、色ノイズ量を推定するように構成することも可能である。このような構成を採用する場合には、色ノイズの推定精度は低下するが、処理をより高速化することができる利点がある。

また、上述ではハードウェアにより処理を行うことを前提としていたが、これに限らず、ソフトウェアによって処理することも可能である。

例えば、ＣＣＤ４から出力される映像信号を未処理のままのＲａｗデータとしておき、このＲａｗデータに、上記制御部１８からの撮影時の温度、ゲイン等の情報をヘッダ情報として付加する。このヘッダ情報が付加されたＲａｗデータをコンピュータ等の処理装置に出力して、該処理装置において、ソフトウェアにより処理するようにしても良い。

図９を参照して、コンピュータにおいて画像処理プログラムにより色ノイズ低減処理を行う例について説明する。

処理を開始すると、まず、Ｒａｗデータでなる全色信号と、温度、ゲインなどの情報を含むヘッダ情報と、を読み込む（ステップＳ１）。

次に、Ｒａｗデータから所定サイズの局所領域、例えば４×４画素を単位とする局所領域を抽出する（ステップＳ２）。

そして、抽出した局所領域の信号を、各色フィルタ毎の色信号へ分離し、輝度信号と色差信号とを算出する（ステップＳ３）。

続いて、上記数式１に示したように平均輝度値を算出すると共に、上記数式４に示したように平均色差値を算出する（ステップＳ４）。

さらに、読み込んだヘッダ情報から、温度やゲインなどのパラメータを求める（ステップＳ５）。ここで、もし、必要なパラメータがヘッダ情報内に存在しない場合には、所定の標準値を付与する。

次に、上記数式３に示したような関数を読み込んで（ステップＳ６）、上記ステップＳ４で得られた平均輝度値と上記ステップＳ５で得られた温度やゲインなどのパラメータとを用いて、色ノイズ量を算出する（ステップＳ７）。

上記ステップＳ４で得られた平均色差値と上記ステップＳ７で得られた色ノイズ量とを用いて、数式５に示したような許容範囲としての上限および下限を設定する（ステップＳ８）。

上述したようなステップＳ４からステップＳ８の処理は、１つの局所領域に対して１回だけ行われる。

次に、上記ステップＳ３で得られた色差信号に対して、上記ステップＳ８で得られた許容範囲に基づき、上記数式６および数式７に示したような補正を行う（ステップＳ９）。

こうして補正された色差信号から、上記数式８および数式９に示したような原信号への逆変換を行う（ステップＳ１０）。

その後、局所領域内の全ての色差信号について処理が完了したか否かを判断し（ステップＳ１１）、まだ完了していない場合には上記ステップＳ９へ行って次の色差信号について上述したような処理を行う。

一方、このステップＳ１１において、全ての色差信号について処理が完了したと判断された場合には、さらに、全ての局所領域についての処理が完了したか否かを判断する（ステップＳ１２）。

ここで、全ての局所領域についての処理がまだ完了していない場合には、上記ステップＳ２へ行って、次の局所領域について上述したような処理を行う。

また、ステップＳ１２において、全ての局所領域についての処理が完了したと判断された場合には、公知の強調処理や圧縮処理などを行う（ステップＳ１３）。

そして、処理後の信号を出力してから（ステップＳ１４）、この一連の処理を終了する。

このような実施例１によれば、平均輝度値、撮影時の温度、ゲインなどの動的に変化するパラメータを用いて色ノイズ量を推定するようにしたために、高精度な色ノイズ低減処理を行うことが可能となる。そして、温度変化の検出を、ＯＢ領域の信号を利用して行っているために、撮像システムを低コストに実現することができる。また、上記パラメータが得られない場合には標準値を用いて色ノイズ量を推定するようにしたために、色ノイズの低減を安定して行うことができる。さらに、安定後の撮像素子の温度などの、一部のパラメータの算出を意図的に省略するようにしたために、撮像システムの低コスト化および省電力化を図ることが可能となる。そして、色ノイズ量に基づいて許容範囲を設定してから色ノイズ低減処理を行うようにしたために、原信号の保存性に優れた低減処理が可能となる。加えて、色ノイズ低減処理後の信号を本来の信号に逆変換しているために、従来の処理系との互換性が維持され、多様なシステムの組み合わせが可能となる。また、Ｂａｙｅｒ型の色フィルタ配置に合わせて輝度信号と色差信号とを求めているために、処理を高速に行うことが可能となる。

図１０から図１５は本発明の実施例２を示したものであり、図１０は撮像システムの構成を示すブロック図、図１１は輝度・色ノイズ推定部の構成の一例を示すブロック図、図１２は色差線順次方式の色フィルタの配置を示す図、図１３は輝度ノイズ低減部の構成を示すブロック図、図１４は輝度・色ノイズ推定部の構成の他の例を示すブロック図、図１５はコンピュータにおいて画像処理プログラムにより行われるノイズ低減処理を示すフローチャートである。

この実施例２において、上述の実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施例２の撮像システムは、図１０に示すように、上述した実施例１の構成に対して、上記ＣＣＤ４の近傍に配置されていて該ＣＣＤ４の温度をリアルタイムに計測して計測結果を上記制御部１８へ出力するためのパラメータ算出手段を構成する温度センサ５１と、上記画像用バッファ８に記憶された画像データに基づき色ノイズ量だけでなくさらに輝度ノイズ量も推定する色ノイズ推定手段であり輝度ノイズ推定手段たる輝度・色ノイズ推定部５３と、この輝度・色ノイズ推定部５３により推定された輝度ノイズ量に基づいて上記画像用バッファ８から読み出した画像データの輝度ノイズを低減して上記色ノイズ低減部１３へ出力する輝度ノイズ低減手段たる輝度ノイズ低減部５２と、が追加され、上記色ノイズ推定部１４が削除された構成になっている。

また、上記色ノイズ低減部１３は、上記色ノイズ推定部１４に代えて、輝度・色ノイズ推定部５３から推定された色ノイズ量を受け取るようになっている。さらに、上記輝度ノイズ低減部５２の出力は、上記輝度・色ノイズ推定部５３へも入力されるようになっている。

そして、上記制御部１８は、上記輝度ノイズ低減部５２、輝度・色ノイズ推定部５３に対しても双方向に接続されており、これらを制御するようになっている。

加えて、本実施例においては、ＣＣＤ４が、補色系の色フィルタを前面に有する単板ＣＣＤであるものとしており、該色フィルタとしては、図１２に示すような色差線順次方式の配置のものを例にとって説明する。

図１２を参照して、色差線順次方式の色フィルタの構成について説明する。

色差線順次方式の色フィルタは、２×２画素を基本単位としており、シアン（Ｃ），マゼンタ（Ｍ），イエロー（Ｙ），緑（Ｇ）が１画素ずつ配置されたものとなっている。ただし、ＭとＧの位置は、ライン毎に反転するようになっている。

このような色フィルタを備えたＣＣＤ４からの映像信号は、図１２（Ａ）に示すような奇数フィールドと、図１２（Ｂ）に示すような偶数フィールドと、に分離して出力される。

また、画像用バッファ８上に保存される信号は、ＣＣＤ４に構成された色フィルタに対応するＣＭＹＧの各信号ではなく、次の数式１０に従って変換された輝度信号Ｌおよび色差信号Ｃｂ，Ｃｒとなる。
［数１０］
Ｌ ＝Ｃ＋Ｍ＋Ｙ＋Ｇ
Ｃｂ＝Ｃ＋Ｍ−Ｙ−Ｇ
Ｃｒ＝Ｍ＋Ｙ−Ｃ−Ｇ

従って、上記輝度・色ノイズ推定部５３や輝度ノイズ低減部５２へ転送されるのは、画像用バッファ８内に記憶された輝度信号Ｌおよび色差信号Ｃｂ，Ｃｒである。

次に、図１０に示したような撮像システムにおいて、上記図１に示したような撮像システムと異なる信号の流れは、ほぼ次のようになっている。

上記輝度・色ノイズ推定部５３へは、制御部１８を介して、プリホワイトバランス部１２により求められたホワイトバランス係数、測光評価部９により求められた露光条件、外部Ｉ／Ｆ部１７により設定されたＩＳＯ感度、温度センサ５１からの撮像素子の温度、などの撮影条件が転送される。

輝度・色ノイズ推定部５３は、上記各情報と、輝度信号および色差信号と、に基づいて、所定サイズ毎に、本実施例では例えば４×４画素を単位として、後で詳しく説明するように、輝度ノイズ量および色ノイズ量を算出する。

輝度・色ノイズ推定部５３により算出された輝度ノイズ量は輝度ノイズ低減部５２へ、色ノイズ量は色ノイズ低減部１３へ、それぞれ転送される。

この輝度・色ノイズ推定部５３による輝度ノイズ量および色ノイズ量の算出は、制御部１８の制御に基づいて、上記輝度ノイズ低減部５２および色ノイズ低減部１３の処理と同期して行われるようになっている。

輝度ノイズ低減部５２は、輝度・色ノイズ推定部５３から転送された輝度ノイズ量に基づいて、画像用バッファ８から読み出した輝度信号に対して輝度ノイズ低減処理を行い、処理後の映像信号を該輝度・色ノイズ推定部５３と色ノイズ低減部１３とへ転送する。

色ノイズ低減部１３は、上記輝度ノイズ低減部５２により輝度ノイズが低減された輝度信号と、本来の色差信号と、を用いて、輝度・色ノイズ推定部５３から転送された色ノイズ量に基づいて、色差信号の色ノイズ低減処理を行い、処理後の映像信号を信号処理部１５へ転送する。

信号処理部１５は、制御部１８の制御に基づいて、輝度ノイズ低減後の輝度信号および色ノイズ低減後の色差信号に対して、偶数フィールドの信号および奇数フィールドの信号から１フレームの映像信号を生成し、強調処理や圧縮処理などを行って、上記出力部１６へ転送する。

次に、図１１を参照して、輝度・色ノイズ推定部５３の構成の一例について説明する。

この輝度・色ノイズ推定部５３は、上述した実施例１の図２に示したような色ノイズ推定部１４に、輝度ノイズ推定用の処理部を追加するとともに、温度推定用の処理部を省略したものとなっている。そして、該輝度・色ノイズ推定部５３は、まず輝度ノイズ量の推定を行ってその推定結果を上記輝度ノイズ低減部５２へ出力し、該輝度ノイズ低減部５２により輝度ノイズを低減された輝度信号を用いて次に色ノイズ量を推定し、その推定結果を上記色ノイズ低減部１３へ出力する動作を行うものとなっている。

すなわち、この輝度・色ノイズ推定部５３は、上記画像用バッファ８に記憶された映像信号または該画像用バッファ８からの色差信号および上記輝度ノイズ低減部５２からの補正された輝度信号に基づいて所定位置における所定サイズの局所領域を上記輝度ノイズ低減部５２の処理に同期して抽出する上記局所領域抽出部２６と、上記局所領域抽出部２６により抽出された局所領域の信号を記憶するバッファ６１と、このバッファ６１に記憶された局所領域の信号から輝度信号Ｌおよび色差信号Ｃｂ，Ｃｒを分離する分離手段たる信号分離部６２と、この信号分離部６２により分離された輝度信号から平均輝度値を算出する算出手段たる平均算出部６３と、制御部１８から転送される露光条件やホワイトバランス係数等に基づいて増幅器６の増幅量を算出する上記ゲイン算出部２９と、何れかのパラメータが省略された場合に標準値を付与する付与手段たる上記標準値付与部３０と、色ノイズ量を推定する際に用いる上記関数に係る色パラメータを記憶する係数算出手段たる上記色パラメータ用ＲＯＭ３２と、輝度ノイズ量を推定する際に用いる後述する関数に係る輝度パラメータを記憶する係数算出手段たる輝度パラメータ用ＲＯＭ６４と、これらの色パラメータ用ＲＯＭ３２と輝度パラメータ用ＲＯＭ６４とから読み出されるパラメータと上記ゲイン算出部２９または上記標準値付与部３０から出力される増幅量と上記制御部１８または上記標準値付与部３０から出力される撮像素子の温度と上記平均算出部６３から出力される平均輝度値の情報とに基づいて注目画素の色ノイズ量および輝度ノイズ量を所定の式により推定する色ノイズ量算出手段、輝度ノイズ量算出手段、係数算出手段を兼ねた上記係数算出部３１と、この係数算出部３１から出力される係数に基づき後述するように定式化される関数を用いて色ノイズ量および輝度ノイズ量を算出し上記色ノイズ低減部１３と上記輝度ノイズ低減部５２とへ出力する色ノイズ量算出手段、輝度ノイズ量算出手段、関数演算手段を兼ねた上記関数算出部３３と、を有して構成されている。

また、上記制御部１８は、上記局所領域抽出部２６、信号分離部６２、平均算出部６３、ゲイン算出部２９、標準値付与部３０、係数算出部３１、関数算出部３３に対して双方向に接続されており、これらを制御するようになっている。

局所領域抽出部２６は、画像用バッファ８から、所定サイズ、所定位置の信号を抽出してバッファ６１へ転送する。本実施例では、後で説明する輝度ノイズ低減部５２の処理が４×４画素を単位として行われるようになっているために、該局所領域抽出部２６は、該４×４画素単位の抽出を、画像の全面について順次走査しながら行う。この局所領域抽出部２６の処理は、制御部１８の制御に基づいて、輝度ノイズ低減部５２の処理と同期して行われる。

上記画像用バッファ８に記憶されている信号は、上述したように、偶数フィールドと奇数フィールドとに分けられる。そこで以下では、図１２（Ａ）に示すような奇数フィールドを例にとって説明するが、偶数フィールドの場合も同様である。

信号分離部６２は、制御部１８の制御に基づいて、上記バッファ６１に記憶されている輝度信号Ｌ_i（ｉ＝１〜６）および色差信号Ｃｂ_j，Ｃｒ_k（ｊ＝１〜３，ｋ＝１〜３）を分離する。

すなわち、図１２（Ａ）に示すような、バッファ６１に記憶されている４×４画素中の１行目で得られる輝度信号Ｌ_iおよび色差信号Ｃｒ_kは、以下の数式１１に示すように算出されたものである。
［数１１］
Ｌ₁ ＝Ｃ₁＋Ｍ₁＋Ｙ₁＋Ｇ₁
Ｌ₂ ＝Ｃ₂＋Ｍ₁＋Ｙ₁＋Ｇ₂
Ｌ₃ ＝Ｃ₂＋Ｍ₂＋Ｙ₂＋Ｇ₂
Ｃｒ₁＝Ｍ₁＋Ｙ₁−Ｃ₁−Ｇ₁
Ｃｒ₂＝Ｍ₁＋Ｙ₁−Ｃ₂−Ｇ₂
Ｃｒ₃＝Ｍ₂＋Ｙ₂−Ｃ₂−Ｇ₂

また、該バッファ６１に記憶されている４×４画素中の、３行目で得られる輝度信号Ｌ_iおよび色差信号Ｃｂ_jは、以下の数式１２に示すように算出されたものである。
［数１２］
Ｌ₄ ＝Ｃ₃＋Ｍ₃＋Ｙ₃＋Ｇ₃
Ｌ₅ ＝Ｃ₄＋Ｍ₄＋Ｙ₃＋Ｇ₃
Ｌ₆ ＝Ｃ₄＋Ｍ₄＋Ｙ₄＋Ｇ₄
Ｃｂ₁＝Ｃ₃＋Ｍ₃−Ｙ₃−Ｇ₃
Ｃｂ₂＝Ｃ₄＋Ｍ₄−Ｙ₃−Ｇ₃
Ｃｂ₃＝Ｃ₄＋Ｍ₄−Ｙ₄−Ｇ₄

平均算出部６３は、制御部１８の制御に基づいて、上記バッファ６１から輝度信号Ｌ_iを読み出し、平均輝度値Ｌ_AVを次の数式１３に示すように算出して、係数算出部３１へ転送する。
［数１３］

一方、ゲイン算出部２９は、制御部１８から転送される露光条件、ＩＳＯ感度、およびホワイトバランス係数等の情報に基づいて、増幅器６における増幅量を算出し、算出結果を係数算出部３１へ転送する。

係数算出部３１は、平均算出部６３からの平均輝度値Ｌ_AVと、ゲイン算出部２９からのゲインの情報と、上記制御部１８から転送される上記温度センサ５１によって測定された撮像素子の温度と、に基づいて、輝度ノイズ量を、次の数式１４または数式１５に示すような定式化に基づいて推定する。

すなわち、輝度レベルをＬ、輝度ノイズ量をＮ_Lとすると、
［数１４］
Ｎ_L＝ＡＬ^B＋Γ
または、
［数１５］
Ｎ_L＝ＡＬ²＋ＢＬ＋Γ
なお、これらの数式１４または数式１５におけるＡ，Ｂ，Γは、それぞれ定数項である。

以下では、数式１４による定式化を用いる例について説明するが、数式１５による定式化を用いた場合でも同様である。

しかしながら、輝度ノイズ量Ｎ_Lは、信号値レベルＬにのみ依存するのではなく、それ以外にも、撮像素子であるＣＣＤ４の温度や増幅器６のゲインによっても変化する。従って、これらの要因も考慮に入れて定式化を行うと、次の数式１６に示すようになる。
［数１６］
Ｎ_L＝α（Ｔ，Ｇ）Ｌ^{β（Ｔ，Ｇ）}＋γ（Ｔ，Ｇ）
ここに、温度をＴ、ゲインをＧとしており、α（Ｔ，Ｇ），β（Ｔ，Ｇ），γ（Ｔ，Ｇ）は、温度ＴとゲインＧとをパラメータとする関数である。これらの関数の具体的な形状は、事前に、ＣＣＤ４や増幅器６を含む撮像素子系の特性を測定することにより、容易に取得することができる。

上述したような３つの関数α（Ｔ，Ｇ），β（Ｔ，Ｇ），γ（Ｔ，Ｇ）は、上記輝度パラメータ用ＲＯＭ６４に記録される。

係数算出部３１は、温度ＴおよびゲインＧを入力パラメータとして、輝度パラメータ用ＲＯＭ６４に記録されている３つの関数α（Ｔ，Ｇ），β（Ｔ，Ｇ），γ（Ｔ，Ｇ）を用いて、各係数Ａ，Ｂ，Γを算出する。

関数算出部３３は、この係数算出部３１により算出された各係数Ａ，Ｂ，Γを、上記数式１６（または数式１４）に適用することによって、輝度ノイズ量Ｎ_Lを算出するための関数形状を決定する。そして、該係数算出部３１を介して上記平均算出部６３から出力される信号値レベルＬ（すなわち、上記数式１３に示したような平均輝度値Ｌ_AV）により、輝度ノイズ量Ｎ_Lを算出するようになっている。

なお、温度Ｔ，ゲインＧ等の各パラメータを、必ずしも撮影毎に求める必要はないのは、上述した実施例１で説明したような色ノイズ量を求める場合と同様である。

こうして関数算出部３３により算出された輝度ノイズ量Ｎ_Lは、輝度ノイズ低減部５２へ転送される。この輝度ノイズ低減部５２は、後述するように、転送された輝度ノイズ量Ｎ_Lに基づいて、輝度ノイズが低減された輝度信号Ｌ’_iを算出する。

次に、局所領域抽出部２６は、制御部１８の制御に基づいて、輝度ノイズ低減部５２からの輝度信号Ｌ’_iを、バッファ６１へ転送する。

このとき、色ノイズ低減部１３からの色ノイズが低減された色差信号はバッファ６１へ転送されることがないために、該バッファ６１上には、輝度ノイズ低減部５２によって輝度ノイズが低減された輝度信号Ｌ’_iと、本来の色差信号Ｃｂ_jおよびＣｒ_kと、が存在することになる。

信号分離部６２は、制御部１８の制御に基づいて、バッファ６１に記憶されている輝度信号Ｌ’_iと、色差信号Ｃｂ_jおよびＣｒ_kと、を分離して読み出す。

平均算出部６３は、制御部１８の制御に基づいて、上記バッファ６１から輝度信号Ｌ’_iを読み出し、平均輝度値Ｌ’_AVを次の数式１７に示すように算出して、係数算出部３１へ転送する。
［数１７］

係数算出部３１は、該平均算出部６３から転送された平均輝度値Ｌ’_AVと、上記ゲインと撮像素子の温度と、に基づいて、色ノイズ量Ｎ_C(Cb)，Ｎ_C(Cr)の推定を行う。ここに、ゲインと撮像素子の温度との情報は、上述したような輝度ノイズ量を推定する際に用いたものと同一であるために、これらを標準値付与部３０に記憶させておき、この色ノイズ量の推定を行う際に該標準値付与部３０から読み出すようにすれば良い。

また、色ノイズ量の推定に必要となる２つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ）は、上述した実施例１と同様に、２種類の色差信号Ｃｂ，Ｃｒ毎に、個別に色パラメータ用ＲＯＭ３２に記録されている。

係数算出部３１は、温度ＴおよびゲインＧを入力パラメータとして、色パラメータ用ＲＯＭ３２に記録されている２つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ）を用いて、各係数Ａ，Ｂを算出する。

関数算出部３３は、この係数算出部３１により算出された各係数Ａ，Ｂを、上記数式３（あるいは上記数式２）に適用することによって、２種類の色差信号Ｃｂ，Ｃｒに各関する色ノイズ量Ｎ_C(Cb)，Ｎ_C(Cr)を算出するための関数形状を決定する。そして、該係数算出部３１を介して上記平均輝度算出部２８から出力される信号値レベルＬ（すなわち、上記数式１７に示したような平均輝度値Ｌ’_AV）により、各色差信号Ｃｂ，Ｃｒに関する色ノイズ量Ｎ_C(Cb)，Ｎ_C(Cr)を算出するようになっている。

こうして、関数算出部３３により算出された色ノイズ量は、色ノイズ低減部１３へ転送される。

次に、図１３を参照して、輝度ノイズ低減部５２の構成の一例について説明する。

この輝度ノイズ低減部５２は、上記画像用バッファ８から所定サイズの局所領域を抽出する局所領域抽出部７１と、この局所領域抽出部７１により抽出された局所領域の画像データを記憶するバッファ７２と、このバッファ７２に記憶された映像信号から輝度信号と色差信号とを分離する分離手段たる信号分離部７３と、この信号分離部７３により分離された輝度信号に基づいて平均輝度値を算出する平均算出部７４と、この平均算出部７４により算出された平均輝度値と上記輝度・色ノイズ推定部５３により推定された輝度ノイズ量とに基づいて輝度に関する許容範囲（微小振幅値）を設定する設定手段たる許容範囲設定部７５と、この許容範囲設定部７５により設定された許容範囲に基づいて上記信号分離部７３から出力される輝度信号を補正して上記色ノイズ低減部１３および上記輝度・色ノイズ推定部５３へ出力するスムージング手段たる信号補正部７６と、を有して構成されている。

また、上記制御部１８は、上記局所領域抽出部７１，信号分離部７３，平均算出部７４，許容範囲設定部７５，信号補正部７６に対して双方向に接続されており、これらを制御するようになっている。

上記局所領域抽出部７１は、制御部１８の制御に基づいて、画像用バッファ８から所定サイズ毎に、例えば本実施例においては４×４画素毎に、映像信号を抽出し、抽出した映像信号をバッファ７２へ転送する。

画像用バッファ８に記憶されている映像信号は、上述したように、偶数フィールドと奇数フィールドとに分けられるために、以下では、図１２（Ａ）に示したような奇数フィールドを例にとって説明するが、偶数フィールドの場合も同様である。

上記信号分離部７３は、制御部１８の制御に基づいて、バッファ７２に記憶されている映像信号から、輝度信号Ｌ_i（ｉ＝１〜６）および色差信号Ｃｂ_j，Ｃｒ_k（ｊ＝１〜３，ｋ＝１〜３）を分離する。そして、分離した内の輝度信号Ｌ_iを、上記平均算出部７４と信号補正部７６とへそれぞれ転送する。なお、色差信号Ｃｂ_j，Ｃｒ_kについては、該信号補正部７６を経由して、そのまま色ノイズ低減部１３へ転送される。

平均算出部７４は、上記数式１３に基づいて平均輝度値Ｌ_AVを算出し、算出した平均輝度値Ｌ_AVを許容範囲設定部７５へ転送する。

許容範囲設定部７５は、制御部１８の制御に基づいて、輝度・色ノイズ推定部５３からの輝度信号に関する輝度ノイズ量Ｎ_Lと、平均算出部７４からの平均輝度値Ｌ_AVと、に基づいて、輝度ノイズ量に関する許容範囲（微小振幅値）として上限Ｕおよび下限Ｄを次の数式１８に示すように設定する。
［数１８］
Ｕ_L＝Ｌ_AV＋Ｎ_L／２，Ｄ_L＝Ｌ_AV−Ｎ_L／２

こうして、許容範囲設定部７５により算出された上記許容範囲Ｕ，Ｄは、上記信号補正部７６へ転送される。

信号補正部７６は、制御部１８の制御に基づいて、信号分離部７３からの輝度信号Ｌ_iを、許容範囲設定部７５からの許容範囲Ｕ，Ｄに基づき（微小振幅値以下の振幅成分を吸収することにより）補正し、輝度ノイズが低減された輝度信号Ｌ’_iを算出する。

このとき、該信号補正部７６により行われる補正は、許容範囲の上限Ｕを上回る場合と、許容範囲内である場合と、許容範囲の下限Ｄを下回る場合と、の３通りに分かれ、次の数式１９に示すようになる。
［数１９］
Ｌ_i＞Ｕ_Lのとき Ｌ’_i＝Ｌ_i−Ｎ_L／２
Ｕ_L≧Ｌ_i≧Ｄ_Lのとき Ｌ’_i＝Ｌ_AV
Ｄ_L＞Ｌ_iのとき Ｌ’_i＝Ｌ_i＋Ｎ_L／２

輝度信号Ｌ_iは、４×４画素中に６種類ずつ存在するが、この数式１９に基づく補正はこれらの輝度信号の全てに対して行われる。

こうして、信号補正部７６により補正が行われた後の輝度信号Ｌ’_iと、本来の色差信号Ｃｂ_j，Ｃｒ_kと、が上記色ノイズ低減部１３へ転送される。

色ノイズ低減部１３は、上述した実施例１と同様にして、上記色ノイズ量Ｎ_C(Cr)，Ｎ_C(Cb)に基づき、色ノイズの低減を行う。

すなわち、まず、色差信号Ｃｂ_jに関する平均色差値Ｃｂ_AVと、色差信号Ｃｒ_kに関する平均色差値Ｃｒ_AVと、を次の数式２０に示すように算出する。
［数２０］

次に、こうして算出された平均色差値Ｃｂ_AV，Ｃｒ_AVと、上記輝度・色ノイズ推定部５３から転送された色ノイズ量Ｎ_C(Cb)，Ｎ_C(Cr)と、に基づいて、色ノイズ量に関する許容範囲として上限Ｕおよび下限Ｄを次の数式２１に示すように設定する。
［数２１］
Ｕ_(Cb)＝Ｃｂ_AV＋Ｎ_C(Cb)／２
Ｄ_(Cb)＝Ｃｂ_AV−Ｎ_C(Cb)／２
Ｕ_(Cr)＝Ｃｒ_AV＋Ｎ_C(Cr)／２
Ｄ_(Cr)＝Ｃｒ_AV−Ｎ_C(Cr)／２

そして、これらの許容範囲に基づいて、色差信号Ｃｂ_j，Ｃｒ_kの補正を行い、色ノイズの低減された色差信号Ｃｂ_j’，Ｃｒ_k’を次の数式２２、数式２３に示すようにそれぞれ算出する。
［数２２］
Ｃｂ_j＞Ｕ_(Cb)のとき Ｃｂ_j’＝Ｃｂ_j−Ｎ_C(Cb)／２
Ｕ_(Cb)≧Ｃｂ_j≧Ｄ_(Cb)のとき Ｃｂ_j’＝Ｃｂ_AV
Ｄ_(Cb)＞Ｃｂ_jのとき Ｃｂ_j’＝Ｃｂ_j＋Ｎ_C(Cb)／２
［数２３］
Ｃｒ_k＞Ｕ_(Cr)のとき Ｃｒ_k’＝Ｃｒ_k−Ｎ_C(Cr)／２
Ｕ_(Cr)≧Ｃｒ_k≧Ｄ_(Cr)のとき Ｃｒ_k’＝Ｃｒ_AV
Ｄ_(Cr)＞Ｃｒ_kのとき Ｃｒ_k’＝Ｃｒ_k＋Ｎ_C(Cr)／２

こうして、輝度ノイズ低減部５２により輝度ノイズが低減された輝度信号Ｌ’_iと、色ノイズ低減部１３により色ノイズが低減された色差信号Ｃｂ_j’，Ｃｒ_k’とが、上記信号処理部１５へ転送される。

なお、上述では補色系の色差線順次方式の単板ＣＣＤを例にとって説明したが、これに限定されるものではないことは勿論であり、例えば、上記実施例１で説明したような原色Ｂａｙｅｒ型の単板ＣＣＤを用いても構わないし、その他の二板ＣＣＤや三板ＣＣＤを用いることも可能である。例えば、これらの内の原色Ｂａｙｅｒ型の撮像素子を用いた場合には、輝度信号としてＧ信号を用い、色差信号として（Ｒ−Ｇ_AV），（Ｂ−Ｇ_AV）を用いることになる。

また、上述した輝度・色ノイズ推定部５３は、輝度ノイズ量と色ノイズ量とを推定するために関数を用いて演算を行うものとなっていたが、これに限るものではなく、例えばルックアップテーブルを用いるように構成することも可能である。

このような輝度・色ノイズ推定部５３の構成例について、図１４を参照して説明する。

この図１４に示す輝度・色ノイズ推定部５３は、上記図１１に示したような輝度・色ノイズ推定部５３から、係数算出部３１と色パラメータ用ＲＯＭ３２と関数算出部３３と輝度パラメータ用ＲＯＭ６４とを取り除いて、輝度ノイズ用テーブル８１と色ノイズ用テーブル８２とを追加した構成となっていて、その他の部分は同様である。

すなわち、平均算出部６３の出力とゲイン算出部２９の出力と標準値付与部３０の出力とは、輝度ノイズ量算出手段でありルックアップテーブル手段たる輝度ノイズ用テーブル８１と、色ノイズ量算出手段でありルックアップテーブル手段たる色ノイズ用テーブル８２と、へそれぞれ入力されるようになっている。

また、輝度ノイズ用テーブル８１の出力は上記輝度ノイズ低減部５２へ、色ノイズ用テーブル８２の出力は上記色ノイズ低減部１３へ、それぞれ入力されるようになっている。

そして、制御部１８は、これら輝度ノイズ用テーブル８１と色ノイズ用テーブル８２とに対しても双方向に接続されており、これらを制御するようになっている。

次に、この図１４に示したような輝度・色ノイズ推定部５３の作用の内の、上記図１１に示したような輝度・色ノイズ推定部５３の作用と異なる部分は、おおよそ次のようになっている。

平均算出部６３は、制御部１８の制御に基づいて、上記数式１３に示したような平均輝度値Ｌ_AVを算出し、まず、上記輝度ノイズ用テーブル８１へ転送する。

同様に、ゲイン算出部２９からはゲイン情報が、制御部１８からは撮像素子の温度に関する情報が、輝度ノイズ用テーブル８１へそれぞれ転送される。

輝度ノイズ用テーブル８１は、上記数式１６に示したような輝度ノイズの定式化に基づいて、予め算出された輝度レベル，温度，ゲインの各パラメータに対する輝度ノイズ量を記録したテーブルである。

従って、転送された各データに基づき輝度ノイズ用テーブル８１を参照することにより、該輝度ノイズ用テーブル８１から輝度ノイズ量を直接求めることが可能となる。

こうして、輝度ノイズ用テーブル８１を参照することにより求められた輝度ノイズ量は、上記輝度ノイズ低減部５２へ転送される。

転送された輝度ノイズ量を用いて輝度ノイズ低減部５２の処理が行われると、その処理結果は、上述したように、上記局所領域抽出部２６へ転送されて、上述したような処理が行われる。

その結果、平均算出部６３は、制御部１８の制御に基づいて、数式１７に示したような輝度ノイズ低減後の平均輝度値Ｌ’_AVを算出し、色ノイズ用テーブル８２へ転送する。

同様に、ゲイン算出部２９（または標準値付与部３０）からはゲイン情報が、制御部１８（または標準値付与部３０）からは撮像素子の温度に関する情報が、色ノイズ用テーブル８２へそれぞれ転送される。

色ノイズ用テーブル８２は、上記数式３に示したような色ノイズの定式化に基づいて、予め算出された輝度レベル，温度，ゲインの各パラメータに対する色ノイズ量を記録したテーブルである。

従って、転送された各データに基づき色ノイズ用テーブル８２を参照することにより、該色ノイズ用テーブル８２から色ノイズ量を直接求めることが可能となる。

こうして、色ノイズ用テーブル８２を参照することにより求められた色ノイズ量は、上記色ノイズ低減部１３へ転送される。

このような輝度ノイズ用テーブル８１や色ノイズ用テーブル８２を用いる構成によれば、輝度ノイズや色ノイズを算出するための演算処理を省略することができるために、処理を高速化することが可能となる。

また、ハードウェアによる実行を前提としていた上述したような処理も、上記実施例１と同様に、コンピュータ等の処理装置においてソフトウェアにより処理することも可能である。

図１５を参照して、コンピュータにおいて画像処理プログラムによりノイズ低減処理を行う例について説明する。

処理を開始すると、まず、Ｒａｗデータでなる全色信号と、温度、ゲインなどの情報を含むヘッダ情報と、を読み込む（ステップＳ２１）。

次に、Ｒａｗデータから所定サイズの局所領域、例えば４×４画素を単位とする局所領域を抽出する（ステップＳ２２）。

そして、抽出した局所領域の信号を、輝度信号と色差信号とへ分離する（ステップＳ２３）。

続いて、上記数式１３に示したように平均輝度値を算出する（ステップＳ２４）。

さらに、読み込んだヘッダ情報から、温度やゲインなどのパラメータを求める（ステップＳ２５）。ここで、もし、必要なパラメータがヘッダ情報内に存在しない場合には、所定の標準値を付与する。

次に、輝度ノイズ量に関するテーブルを読み込んで、上記ステップＳ２４で得られた平均輝度値と上記ステップＳ２５で得られた温度やゲインなどのパラメータとを用いて、輝度ノイズ量を求める（ステップＳ２６）。

上述したようなステップＳ２３からステップＳ２６の処理は、１つの局所領域に対して１回だけ行われる。

上記ステップＳ２６において求められた輝度ノイズ量に基づき、上記数式１８に示したような演算を行うことにより、許容範囲としての上限および下限を設定し、ステップＳ２３により得られた輝度信号に対して上記数式１９に示すような補正を行う（ステップＳ２７）。

そして、局所領域内の全ての輝度信号について処理が完了したか否かを判断し（ステップＳ２８）、まだ完了していない場合は上記ステップＳ２７へ行って次の輝度信号について上述したような処理を行う。

一方、このステップＳ２８において、全ての輝度信号について処理が完了したと判断された場合には、輝度ノイズを補正された輝度信号と本来の色差信号とを分離する（ステップＳ２９）。

続いて、上記数式１７に示したように平均輝度値を算出すると共に、上記数式２０に示したように平均色差値を算出する（ステップＳ３０）。

さらに、読み込んだヘッダ情報から、温度やゲインなどのパラメータを求める（ステップＳ３１）。ここで、もし、必要なパラメータがヘッダ情報内に存在しない場合には、所定の標準値を付与するのは上述と同様である。

次に、色ノイズ量に関するテーブルを読み込んで、上記ステップＳ３０で得られた平均輝度値と上記ステップＳ３１で得られた温度やゲインなどのパラメータとを用いて、色ノイズ量を求める（ステップＳ３２）。

上記ステップＳ３０において求められた平均色差値と、上記ステップＳ３２において求められた色ノイズ量と、に基づいて、上記数式２１に示したような演算を行うことにより、許容範囲としての上限および下限を設定し、ステップＳ２９により得られた色差信号に対して上記数式２２および数式２３に示すような補正を行う（ステップＳ３３）。

そして、局所領域内の全ての色差信号について処理が完了したか否かを判断し（ステップＳ３４）、まだ完了していない場合は上記ステップＳ３３へ行って次の色差信号について上述したような処理を行う。

一方、このステップＳ３４において、全ての色差信号について処理が完了したと判断された場合には、全ての局所領域について処理が完了したか否かを判断する（ステップＳ３５）。ここで、完了していないと判断された場合には、上記ステップＳ２２へ行って、次の局所領域について上述したような処理を行う。

また、このステップＳ３５において、全ての局所領域について処理が完了したと判断された場合には、公知の強調処理や圧縮処理などを行う（ステップＳ３６）。

そして、処理後の信号を出力してから（ステップＳ３７）、この一連の処理を終了する。

このような実施例２によれば、平均輝度値、撮影時の温度、ゲインなどの動的に変化するパラメータを用いて輝度ノイズ量と色ノイズ量とを推定するようにしたために、高精度な輝度ノイズ低減処理および色ノイズ低減処理を行うことが可能となる。そして、温度変化の検出を、専用のセンサを利用して行っているために、ノイズ量を高精度に推定することが可能となる。また、上記パラメータが得られない場合には標準値を用いて輝度ノイズ量および色ノイズ量を推定するようにしたために、輝度ノイズの低減および色ノイズの低減を安定して行うことができる。さらに、安定後の撮像素子の温度などの、一部のパラメータの算出を意図的に省略するようにしたために、撮像システムの低コスト化および省電力化を図ることが可能となる。そして、輝度ノイズ量に基づいて許容範囲を設定してから輝度ノイズ低減処理を行うようにしたために、原信号の保存性に優れた低減処理が可能となる。加えて、色ノイズ量に基づいて許容範囲を設定してから色ノイズ低減処理を行うようにしたために、原信号の保存性に優れた低減処理が可能となる。また、色差線順次方式の色フィルタ配置にあわせて輝度信号と色差信号とを求めているために、処理を高速に行うことが可能となる。

なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、撮像素子系を有する撮像システムにおいて、該撮像素子系に起因する色信号のランダムノイズ等を低減する際に、好適に用いることができる。また、撮像素子系により撮像して取得された信号から、コンピュータにおいて、該撮像素子系に起因する色信号のランダムノイズ等を低減する際にも好適に用いることができる。

本発明の実施例１における撮像システムの構成を示すブロック図。 上記実施例１における色ノイズ推定部の構成を示すブロック図。 上記実施例１におけるＢａｙｅｒ型の色フィルタの配置を示す図。 上記実施例１の撮像素子におけるＯＢ領域の配置例を示す図。 上記実施例１において、ＯＢ領域の分散と撮像素子の温度との関係を示す線図。 上記実施例１における色ノイズ量の定式化を説明するための線図。 上記実施例１において、色ノイズ量の算出に用いるパラメータを説明するための線図。 上記実施例１における色ノイズ低減部の構成を示すブロック図。 上記実施例１のコンピュータにおいて画像処理プログラムにより行われる色ノイズ低減処理を示すフローチャート。 本発明の実施例２における撮像システムの構成を示すブロック図。 上記実施例２における輝度・色ノイズ推定部の構成の一例を示すブロック図。 上記実施例２における色差線順次方式の色フィルタの配置を示す図。 上記実施例２における輝度ノイズ低減部の構成を示すブロック図。 上記実施例２における輝度・色ノイズ推定部の構成の他の例を示すブロック図。 上記実施例２のコンピュータにおいて画像処理プログラムにより行われるノイズ低減処理を示すフローチャート。

符号の説明

１…レンズ系
２…絞り
３…ローパスフィルタ
４…ＣＣＤ（撮像素子）
５…ＣＤＳ
６…増幅器
７…Ａ／Ｄ変換器
８…画像用バッファ
９…測光評価部
１０…合焦点検出部
１１…ＡＦモータ
１２…プリホワイトバランス部
１３…色ノイズ低減部（色ノイズ低減手段）
１４…色ノイズ推定部（色ノイズ推定手段）
１５…信号処理部
１６…出力部
１７…外部Ｉ／Ｆ部
１８…制御部（パラメータ算出手段）
２１…ＯＢ領域抽出部
２２…第１バッファ
２３…分散算出部（分散算出手段）
２４…温度推定部（パラメータ算出手段、温度推定手段）
２５…温度推定用ＲＯＭ（温度推定手段）
２６…局所領域抽出部
２７…第２バッファ
２８…平均輝度算出部（パラメータ算出手段）
２９…ゲイン算出部（パラメータ算出手段、ゲイン算出手段）
３０…標準値付与部（付与手段）
３１…係数算出部（色ノイズ量算出手段、輝度ノイズ量算出手段、係数算出手段）
３２…色パラメータ用ＲＯＭ（係数算出手段）
３３…関数算出部（色ノイズ量算出手段、輝度ノイズ量算出手段、関数演算手段）
４１…局所領域抽出部
４２…バッファ
４３…色差算出部（算出手段）
４４…平均色差算出部（算出手段）
４５…許容範囲設定部（設定手段）
４６…色差補正部（スムージング手段）
４７…逆変換部（逆変換手段）
５１…温度センサ（パラメータ算出手段）
５２…輝度ノイズ低減部（輝度ノイズ低減手段）
５３…輝度・色ノイズ推定部（色ノイズ推定手段、輝度ノイズ推定手段）
６１…バッファ
６２…信号分離部（分離手段）
６３…平均算出部（算出手段）
６４…輝度パラメータ用ＲＯＭ（係数算出手段）
７１…局所領域抽出部
７２…バッファ
７３…信号分離部（分離手段）
７４…平均算出部
７５…許容範囲設定部（設定手段）
７６…信号補正部（スムージング手段）
８１…輝度ノイズ用テーブル（輝度ノイズ量算出手段、ルックアップテーブル手段）
８２…色ノイズ用テーブル（色ノイズ量算出手段、ルックアップテーブル手段）
代理人 弁理士 伊 藤 進

Claims (24)

1. 原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号中に含まれるノイズを低減する撮像システムであって、
   上記信号から輝度信号と色差信号とを算出し、算出した輝度信号に基づき平均輝度値を、算出した色差信号に基づき平均色差値を、所定単位領域毎に算出する算出手段と、
   上記所定単位領域毎に、上記平均輝度値に基づき上記色差信号に関する色ノイズ量を推定する色ノイズ推定手段と、
   上記所定単位領域毎に、上記色ノイズ量および上記平均色差値に基づいて上記色差信号中の色ノイズを低減する色ノイズ低減手段と、
   を具備したことを特徴とする撮像システム。
2. Ｒ（赤），Ｇ（緑），Ｂ（青）でなる原色系のＢａｙｅｒ型色フィルタを前面に配置した単板固体撮像素子からの信号中に含まれるノイズを低減する撮像システムであって、
   上記信号から所定単位領域毎に平均輝度値としてＧ画素の平均値Ｇ_AVを算出するとともに、各Ｒ画素毎に色差信号としてＲ−Ｇ_AVを、各Ｂ画素毎に色差信号としてＢ−Ｇ_AVをそれぞれ算出し、さらに算出した色差信号Ｒ−Ｇ_AVに基づいて平均色差値ＲＧ_AV値を、算出したＢ−Ｇ_AVに基づいて平均色差値ＢＧ_AV値を、それぞれ算出する算出手段と、
   上記所定単位領域毎に、上記平均輝度値Ｇ _AV に基づき上記色差信号Ｒ−Ｇ _AV とＢ−Ｇ _AV に関する色ノイズ量を推定する色ノイズ推定手段と、
   上記所定単位領域毎に、上記色ノイズ量および上記平均色差値ＲＧ _AV とＢＧ _AV に基づいて上記色差信号Ｒ−Ｇ_AV中の色ノイズおよび上記色差信号Ｂ−Ｇ_AV中の色ノイズをそれぞれ低減する色ノイズ低減手段と、
   を具備したことを特徴とする撮像システム。
3. Ｃ（シアン），Ｍ（マゼンタ），Ｙ（イエロー），Ｇ（緑）の色差線順次方式色フィルタを前面に配置した単板固体撮像素子からの信号中に含まれるノイズを低減する撮像システムであって、
   上記信号から輝度信号Ｌ＝Ｃ＋Ｍ＋Ｙ＋Ｇと色差信号Ｃｂ＝Ｃ＋Ｍ−Ｙ−Ｇと色差信号Ｃｒ＝Ｍ＋Ｙ−Ｃ−Ｇとを算出し、さらに算出した輝度信号Ｌに基づき平均輝度値Ｌ_AV を、算出した色差信号Ｃｂに基づき平均色差値Ｃｂ_AV を、算出した色差信号Ｃｒに基づき平均色差値Ｃｒ_AV を、所定単位領域毎に算出する算出手段と、
   上記所定単位領域毎に、上記平均輝度値Ｌ _AV に基づき上記色差信号ＣｂとＣｒに関する色ノイズ量を推定する色ノイズ推定手段と、
   上記所定単位領域毎に、上記色ノイズ量および上記平均色差値Ｃｂ _AV とＣｒ _AV に基づいて上記色差信号Ｃｂおよび色差信号Ｃｒ中の色ノイズをそれぞれ低減する色ノイズ低減手段と、
   を具備したことを特徴とする撮像システム。
4. 上記所定単位領域は、４×４画素単位の領域であることを特徴とする請求項１から請求項３の何れか一に記載の撮像システム。
5. 原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号中に含まれるノイズを低減する撮像システムであって、
   上記信号から輝度信号および色差信号を分離する分離手段と、
   分離した輝度信号に基づき所定単位領域毎に平均輝度値を算出する算出手段と、
   上記輝度信号に関する輝度ノイズ量を上記平均輝度値に基づき上記所定単位領域毎に推定する輝度ノイズ推定手段と、
   上記所定単位領域毎に上記輝度ノイズ量および上記平均輝度値に基づいて上記輝度信号中の輝度ノイズを低減する輝度ノイズ低減手段と、
   上記輝度ノイズ低減手段により輝度ノイズが低減された輝度信号に基づいて、上記所定単位領域毎に第２の平均輝度値を算出するとともに、上記分離手段により分離された色差信号に基づいて、上記所定単位領域毎に平均色差値を算出する第２の算出手段と、
   上記所定単位領域毎に、上記第２の平均輝度値に基づき上記色差信号に関する色ノイズ量を推定する色ノイズ推定手段と、
   上記所定単位領域毎に、上記色ノイズ量および上記平均色差値に基づいて上記色差信号中の色ノイズを低減する色ノイズ低減手段と、
   を具備したことを特徴とする撮像システム。
6. 上記色ノイズ推定手段は、
   上記平均輝度値を用いると共に、上記固体撮像素子の温度と上記信号に対するゲインとの少なくとも一方の情報に基づいてパラメータを求めるパラメータ算出手段と、
   上記パラメータに基づいて色ノイズ量を求める色ノイズ量算出手段と、
   を有して構成されたものであることを特徴とする請求項１から請求項４の何れか一に記載の撮像システム。
7. 上記色ノイズ推定手段は、
   上記第２の平均輝度値を用いると共に、上記固体撮像素子の温度と上記信号に対するゲインとの少なくとも一方の情報に基づいてパラメータを求めるパラメータ算出手段と、
   上記パラメータに基づいて色ノイズ量を求める色ノイズ量算出手段と、
   を有して構成されたものであることを特徴とする請求項５に記載の撮像システム。
8. 上記輝度ノイズ推定手段は、
   上記平均輝度値を用いると共に、上記固体撮像素子の温度と上記信号に対するゲインとの少なくとも一方の情報に基づいてパラメータを求めるパラメータ算出手段と、
   上記パラメータに基づいて輝度ノイズ量を求める輝度ノイズ量算出手段と、
   を有して構成されたものであることを特徴とする請求項５に記載の撮像システム。
9. 上記パラメータ算出手段は、上記固体撮像素子の温度を測定する温度センサを有して構成されたものであることを特徴とする請求項６、請求項７、または請求項８の何れか一に記載の撮像システム。
10. 上記固体撮像素子は、ＯＢ（Optical Black）領域を有して構成されたものであり、
    上記パラメータ算出手段は、上記固体撮像素子中のＯＢ（Optical Black）領域の信号の分散を求める分散算出手段と、上記分散に基づいて固体撮像素子の温度を推定する温度推定手段と、を有して構成されたものであることを特徴とする請求項６、請求項７、または請求項８の何れか一に記載の撮像システム。
11. 上記パラメータ算出手段は、ＩＳＯ感度と、露出情報と、ホワイトバランス情報と、の内の少なくとも１つの情報に基づいて上記ゲインを求めるゲイン算出手段を有して構成されたものであることを特徴とする請求項６、請求項７、または請求項８の何れか一に記載の撮像システム。
12. 上記パラメータ算出手段は、パラメータとして、上記平均輝度値Ｌ、上記固体撮像素子の温度Ｔ、および上記信号に対するゲインＧを算出するように構成されたものであって、
    上記色ノイズ推定手段は、該パラメータ算出手段から得られないパラメータに関して標準のパラメータ値を付与する付与手段をさらに有して構成され、
    上記色ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から得られるパラメータを用いて色ノイズ量Ｎ_Cを算出するものであり、上記温度ＴおよびゲインＧをパラメータとする２つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ）に基づいて２つの係数Ａ，Ｂを求める係数算出手段と、上記２つの係数Ａ，Ｂを用いた関数式Ｎ_C＝ＡＬ＋Ｂに基づいて色ノイズ量Ｎ_Cを算出する関数演算手段と、を有して構成されたものであることを特徴とする請求項６または請求項７に記載の撮像システム。
13. 上記色ノイズ推定手段は、上記パラメータ算出手段から得られないパラメータに関して標準のパラメータ値を付与する付与手段をさらに有して構成され、
    上記色ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から得られる平均輝度値と上記固体撮像素子の温度と上記信号に対するゲインとに基づき色ノイズ量を求めるルックアップテーブル手段を有して構成されたものであることを特徴とする請求項６または請求項７に記載の撮像システム。
14. 上記輝度ノイズ推定手段は、上記パラメータ算出手段から得られないパラメータに関して標準のパラメータ値を付与する付与手段をさらに有して構成され、
    上記輝度ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から得られる、上記平均輝度値Ｌと、上記固体撮像素子の温度Ｔと、上記信号に対するゲインＧと、をパラメータとして用いて輝度ノイズ量Ｎ_Lを算出するものであって、
    上記Ｔ，Ｇをパラメータとする３つの関数α（Ｔ，Ｇ），β（Ｔ，Ｇ），γ（Ｔ，Ｇ）から３つ係数Ａ，Ｂ，Γを各々求める係数算出手段と、
    上記３つの係数Ａ，Ｂ，Γを用いた第１の関数式Ｎ_L＝ＡＬ^B＋Γまたは第２の関数式Ｎ_L＝AＬ²＋BＬ＋Γの何れかに基づいて、輝度ノイズ量Ｎ_Lを求める関数演算手段と、
    を有して構成されたものであることを特徴とする請求項８に記載の撮像システム。
15. 上記輝度ノイズ推定手段は、上記パラメータ算出手段から得られないパラメータに関して標準のパラメータ値を付与する付与手段をさらに有して構成され、
    上記輝度ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から得られる、上記平均輝度値と、上記固体撮像素子の温度と、上記信号に対するゲインと、に基づき輝度ノイズ量を求めるルックアップテーブル手段を有して構成されたものであることを特徴とする請求項８に記載の撮像システム。
16. 上記色ノイズ低減手段は、
    上記色ノイズ推定手段からの色ノイズ量に基づいて上記所定単位領域毎に微小振幅値を設定する設定手段と、
    上記色差信号に関して該微小振幅値以下の振幅成分を吸収するスムージング手段と、
    を有して構成されたものであることを特徴とする請求項１から請求項５の何れか一に記載の撮像システム。
17. 上記輝度ノイズ低減手段は、
    上記輝度ノイズ推定手段からの輝度ノイズ量に基づいて上記所定単位領域毎に微小振幅値を設定する設定手段と、
    上記輝度信号に関して該微小振幅値以下の振幅成分を吸収するスムージング手段と、
    を有して構成されたものであることを特徴とする請求項５に記載の撮像システム。
18. 上記色ノイズ低減手段により色ノイズが低減された色差信号を、固体撮像素子からの信号と同一種類の信号へ逆変換する逆変換手段をさらに具備したことを特徴とする請求項１から請求項５の何れか一に記載の撮像システム。
19. コンピュータに、
    原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号から輝度信号と色差信号とを算出し、算出した輝度信号に基づき平均輝度値を、算出した色差信号に基づき平均色差値を、所定単位領域毎に算出する算出手順と、
    上記所定単位領域毎に、上記平均輝度値に基づき上記色差信号に関する色ノイズ量を推定する色ノイズ推定手順と、
    上記所定単位領域毎に、上記色ノイズ量および上記平均色差値に基づいて上記色差信号中の色ノイズを低減する色ノイズ低減手順と、
    を実行させるための画像処理プログラム。
20. コンピュータに、
    原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号から輝度信号および色差信号を分離する分離手順と、
    分離した輝度信号に基づき所定単位領域毎に平均輝度値を算出する算出手順と、
    上記輝度信号に関する輝度ノイズ量を上記平均輝度値に基づき上記所定単位領域毎に推定する輝度ノイズ推定手順と、
    上記所定単位領域毎に上記輝度ノイズ量および上記平均輝度値に基づいて上記輝度信号中の輝度ノイズを低減する輝度ノイズ低減手順と、
    上記輝度ノイズ低減手順により輝度ノイズが低減された輝度信号に基づいて、上記所定単位領域毎に第２の平均輝度値を算出するとともに、上記分離手順により分離された色差信号に基づいて、上記所定単位領域毎に平均色差値を算出する第２の算出手順と、
    上記所定単位領域毎に、上記第２の平均輝度値に基づき上記色差信号に関する色ノイズ量を推定する色ノイズ推定手順と、
    上記所定単位領域毎に、上記色ノイズ量および上記平均色差値に基づいて上記色差信号中の色ノイズを低減する色ノイズ低減手順と、
    を実行させるための画像処理プログラム。
21. 上記色ノイズ推定手順は、
    上記平均輝度値を用いると共に、上記固体撮像素子の温度と上記信号に対するゲインとの少なくとも一方の情報に基づいてパラメータを求めるパラメータ算出手順と、
    上記パラメータに基づいて色ノイズ量を求める色ノイズ量算出手順と、
    を含むことを特徴とする請求項１９に記載の画像処理プログラム。
22. 上記色ノイズ推定手順は、
    上記第２の平均輝度値を用いると共に、上記固体撮像素子の温度と上記信号に対するゲインとの少なくとも一方の情報に基づいてパラメータを求めるパラメータ算出手順と、
    上記パラメータに基づいて色ノイズ量を求める色ノイズ量算出手順と、
    を含むことを特徴とする請求項２０に記載の画像処理プログラム。
23. 上記パラメータ算出手順は、パラメータとして、上記平均輝度値Ｌ、上記固体撮像素子の温度Ｔ、および上記信号に対するゲインＧを算出するための手順であって、
    上記色ノイズ推定手順は、該パラメータ算出手順から得られないパラメータに関して標準のパラメータ値を付与する付与手順をさらに含み、
    上記色ノイズ量算出手順は、上記パラメータ算出手順または上記付与手順により得られるパラメータを用いて色ノイズ量Ｎ_Cを算出する手順であり、上記温度ＴおよびゲインＧをパラメータとする２つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ）に基づいて２つの係数Ａ，Ｂを求める係数算出手順と、上記２つの係数Ａ，Ｂを用いた関数式Ｎ_C＝ＡＬ＋Ｂに基づいて色ノイズ量Ｎ_Cを算出する関数演算手順と、を含むことを特徴とする請求項２１または請求項２２に記載の画像処理プログラム。
24. 上記色ノイズ低減手順は、
    上記色ノイズ推定手順からの色ノイズ量に基づいて上記所定単位領域毎に微小振幅値を設定する設定手順と、
    上記色差信号に関して該微小振幅値以下の振幅成分を吸収するスムージング手順と、
    を含むことを特徴とする請求項１９または請求項２０に記載の画像処理プログラム。

Images