JPWO2007049418A1 - 画像処理システム、画像処理プログラム - Google Patents

Abstract

映像信号を出力するＣＣＤ（１０２）と、映像信号からエッジ信号を抽出するエッジ抽出部（１０９）と、映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定部（１１０）と、エッジ信号をノイズ成分に起因するエッジ信号に基づいてコアリング処理し補正するエッジ補正部（１１１）と、補正されたエッジ信号に基づき映像信号に対して強調処理を行うエッジ強調部（１１２）と、を備えた画像処理システム。

Description

本発明は、撮像素子からの映像信号からエッジ信号を抽出する画像処理システム、画像処理プログラムに関する。

デジタルカメラやデジタルビデオカメラ等のデジタル撮像装置は、一般的に、撮像素子と、この撮像素子から出力されるアナログ信号に各種のアナログ処理を行うアナログ回路と、このアナログ回路の信号をデジタル信号に変換するＡ／Ｄコンバータと、を有して構成されている。

このようなデジタル撮像装置のＡ／Ｄコンバータから得られるデジタル信号中には、一般に、多様なノイズ成分が含まれている。このようなノイズ成分を含む映像信号からエッジ信号を抽出する場合には、コアリングと呼ばれる処理を行うことによりノイズ成分の影響を抑制することが従来より行われている。

こうした技術として、例えば特開平８−１０７５６５号公報には、Ｒ，Ｇ，Ｂの信号毎にエッジ成分を抽出し、所定の雑音識別基準値に基づくコアリング処理を行う技術が記載されている。これにより、熱雑音の影響を低減して、エッジ成分の抽出をより高精度に行うことが可能となる。

また、特開平９−１２１３６６号公報には、Ｒ，Ｇ，Ｂの信号間の相関性とエッジ信号の振幅とに基づいてノイズであるか否かを識別し、ノイズであると識別された場合にコアリング処理を行う技術が記載されている。これにより、各色信号間のノイズの影響を抑制して、エッジ成分の抽出をより高精度に行うことが可能となる。

さらに、特開２００５−１３０２９７号公報には、映像信号からノイズ成分を動的に推定して、コアリング処理を動的に制御する技術が記載されている。これにより、動的に変化するノイズ成分に追随した高精度なエッジ成分の抽出が可能となる。

そして、特開２００５−１７５７１８号公報には、輝度信号および色差信号に関するノイズ量を動的に推定して、高品位なノイズ低減処理を行う技術が記載されている。

上述したような特開平８−１０７５６５号公報に記載の技術は、雑音識別基準値が静的に与えられるものとなっている。しかしながら、撮像素子に起因するノイズは、映像信号のレベル，ゲイン，撮影時の撮像素子の温度などの要因により、動的に変化する。従って、該公報に記載の技術は、各要因の動的変化に対応した最適なノイズ推定を行うことができず、コアリング処理の精度が低下する場合があるという課題がある。また、該公報に記載の技術は、ノイズ成分によりエッジ信号を補正するものであるが、ノイズ成分とエッジ信号とは性質が異なるために、必ずしも高い精度で補正することができないという課題がある。

また、上記特開平９−１２１３６６号公報に記載の技術は、色信号間の相関性に基づいてノイズの識別を行うものであるために、色信号間の相関性が少ない被写体、例えば単一色に近い被写体などでは、コアリング処理の精度が低下し、ひいてはエッジ成分の抽出精度が低下するという課題がある。さらに、該公報に記載の技術は、ノイズ成分によりエッジ信号を補正するものであるために、上述した理由により、補正の精度が低下するという課題がある。

そして、上記特開２００５−１３０２９７号公報に記載の技術も、ノイズ成分によりエッジ信号を補正するものであるために、上述した理由により、補正の精度が低下するという課題がある。

ところで、上記特開２００５−１７５７１８号公報に記載の技術は、エッジ成分の抽出を高精度に行うことを目的としたものではないが、ノイズ低減処理とエッジ抽出処理とを独立して行うことが記載されている。従って、ノイズ低減処理とエッジ抽出処理とを相互にうまく活用することができないという課題がある。

本発明は上記事情に鑑みてなされたものであり、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能な画像処理システム、画像処理プログラムを提供することを目的としている。

また、本発明は、高品位な映像信号を得ることができる低コストな画像処理システム、画像処理プログラムを提供することを目的としている。

上記の目的を達成するために、第１の発明による画像処理システムは、撮像素子からの映像信号を処理する画像処理システムであって、上記映像信号からエッジ信号を抽出するエッジ抽出手段と、上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定手段と、上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正手段と、を具備したものである。

また、本発明による画像処理プログラムは、コンピュータに、撮像素子からの映像信号を処理させるための画像処理プログラムであって、コンピュータに、上記映像信号からエッジ信号を抽出するエッジ抽出ステップと、上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定ステップと、上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正ステップと、を実行させるためのプログラムである。

本発明の実施形態１における画像処理システムの構成を示すブロック図。 上記実施形態１において、エッジ抽出処理に用いる３×３画素でなる注目領域の構成を示す図。 上記実施形態１において、３×３画素の注目領域に適用し得る等方性エッジ抽出フィルタの構成を示す図。 上記実施形態１において、３×３画素の注目領域に適用し得る水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図。 上記実施形態１における無効エッジ推定部の構成を示すブロック図。 上記実施形態１において、信号レベルに対するノイズ量の関係を示す線図。 上記実施形態１において、ノイズ量に対する無効エッジ信号の関係を示す線図。 上記実施形態１におけるエッジモデルを示す線図。 上記実施形態１において、エッジモデルに基づく無効エッジ信号の算出方法を説明するための線図。 上記実施形態１におけるエッジ補正部の構成を示すブロック図。 上記実施形態１において、エッジ補正部におけるコアリング処理の応答を示す線図。 上記実施形態１における無効エッジ推定部の他の構成例を示すブロック図。 上記実施形態１における画像処理システムの他の構成例を示すブロック図。 上記実施形態１において、画像処理プログラムによる信号処理全体の流れを示すフローチャート。 図１４のステップＳ４における無効エッジ推定の処理の詳細を示すフローチャート。 本発明の実施形態２における画像処理システムの構成を示すブロック図。 上記実施形態２におけるノイズ処理部の構成を示すブロック図。 上記実施形態２における無効エッジ推定部の一構成例を示すブロック図。 上記実施形態２における無効エッジ推定部の他の構成例を示すブロック図。 上記実施形態２におけるエッジ補正部の構成を示すブロック図。 上記実施形態２において、エッジ補正部におけるコアリング処理の応答を示す線図。 上記実施形態２において、画像処理プログラムによる信号処理全体の流れを示すフローチャート。 図２２のステップＳ３０におけるノイズ処理の詳細を示すフローチャート。 図２２のステップＳ３１における無効エッジ推定の処理の詳細を示すフローチャート。 本発明の実施形態３における画像処理システムの構成を示すブロック図。 上記実施形態３において、ベイヤー（Ｂａｙｅｒ）型原色フィルタの構成を示す図。 上記実施形態３において、色差線順次型補色フィルタの構成を示す図。 上記実施形態３における無効エッジ推定部の一構成例を示すブロック図。 上記実施形態３における無効エッジ推定部の他の構成例を示すブロック図。 上記実施形態３におけるエッジ補正部の構成を示すブロック図。 上記実施形態３において、コアリング処理における応答の各例を示す線図。 上記実施形態３において、画像処理プログラムによる信号処理全体の流れを示すフローチャート。 図３２のステップＳ６２における無効エッジ推定の処理の詳細を示すフローチャート。 本発明の実施形態４における画像処理システムの構成を示すブロック図。 上記実施形態４において、画像処理プログラムによる信号処理全体の流れを示すフローチャート。 本発明の実施形態５における画像処理システムの構成を示すブロック図。 上記実施形態５において、ベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した撮像素子から得られる映像信号をＹ／Ｃ分離する方法の一例を示す図。 上記実施形態５において、注目画素の色成分に応じた水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１５は本発明の実施形態１を示したものであり、図１は画像処理システムの構成を示すブロック図、図２はエッジ抽出処理に用いる３×３画素でなる注目領域の構成を示す図、図３は３×３画素の注目領域に適用し得る等方性エッジ抽出フィルタの構成を示す図、図４は３×３画素の注目領域に適用し得る水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図、図５は無効エッジ推定部の構成を示すブロック図、図６は信号レベルに対するノイズ量の関係を示す線図、図７はノイズ量に対する無効エッジ信号の関係を示す線図、図８はエッジモデルを示す線図、図９はエッジモデルに基づく無効エッジ信号の算出方法を説明するための線図、図１０はエッジ補正部の構成を示すブロック図、図１１はエッジ補正部におけるコアリング処理の応答を示す線図、図１２は無効エッジ推定部の他の構成例を示すブロック図、図１３は画像処理システムの他の構成例を示すブロック図、図１４は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図１５は図１４のステップＳ４における無効エッジ推定の処理の詳細を示すフローチャートである。

まず、図１を参照して、この画像処理システムの構成について説明する。図１に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。

この画像処理システムは、レンズ系１００と、絞り１０１と、ＣＣＤ１０２と、温度センサ１１７と、増幅部１０３と、Ａ／Ｄ変換部１０４と、バッファ１０５と、測光評価部１０６と、合焦点検出部１０７と、ＡＦモータ１０８と、エッジ抽出部１０９と、無効エッジ推定部１１０と、エッジ補正部１１１と、エッジ強調部１１２と、信号処理部１１３と、出力部１１４と、制御部１１５と、外部Ｉ／Ｆ部１１６と、を含んでいる。

レンズ系１００は、被写体の光学像をＣＣＤ１０２の撮像面へ結像するためのものである。

絞り１０１は、レンズ系１００により結像される被写体光束の通過範囲を規定することにより、ＣＣＤ１０２の撮像面に結像される光学像の明るさを変更するためのものである。

ＣＣＤ１０２は、結像される光学像を光電変換して、アナログの映像信号として出力するための撮像素子である。なお、本実施形態においては、ＣＣＤ１０２として、白黒用単板ＣＣＤを想定している。また、撮像素子も、ＣＣＤに限るものではなく、ＣＭＯＳやその他の撮像素子を用いてももちろん構わない。

温度センサ１１７は、収集手段，ノイズ推定手段であって、このＣＣＤ１０２の温度を実質的に計測して、制御部１１５へ出力するものである。

増幅部１０３は、ＣＣＤ１０２から出力される映像信号を増幅するためのものである。この増幅部１０３による増幅量は、制御部１１５の制御に基づき、測光評価部１０６により設定されるようになっている。

Ａ／Ｄ変換部１０４は、制御部１１５の制御に基づき、ＣＣＤ１０２から出力され増幅部１０３により増幅されたアナログの映像信号を、デジタルの映像信号に変換するためのものである。

バッファ１０５は、Ａ／Ｄ変換部１０４から出力されたデジタルの映像信号を一時的に記憶するためのものである。

測光評価部１０６は、プリ撮影モード時に、制御部１１５の制御に基づき、バッファ１０５に記憶されている映像信号中の輝度レベルを求めて、設定されているＩＳＯ感度や手ぶれ限界のシャッタ速度などを考慮して、適正露光となるような絞り１０１の絞り値やＣＣＤ１０２の電子シャッタ速度や増幅部１０３の増幅率などを制御するものである。

合焦点検出部１０７は、プリ撮影モード時に、制御部１１５の制御に基づき、バッファ１０５に記憶されている映像信号中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ１０８を制御することにより、合焦信号を得るようにするものである。

ＡＦモータ１０８は、合焦点検出部１０７に制御されて、レンズ系１００に含まれるＡＦレンズを駆動するための駆動源である。

エッジ抽出部１０９は、本撮影時に、制御部１１５の制御に基づき、バッファ１０５に記憶されている映像信号から図２に示すような３×３画素サイズの注目領域を順次抽出して、例えば図３に示すようなエッジ抽出フィルタを用いて注目画素におけるエッジ信号Ｅを抽出するエッジ抽出手段である。

無効エッジ推定部１１０は、本撮影時に、制御部１１５の制御に基づき、バッファ１０５に記憶されている映像信号から、エッジ抽出部１０９と同一の３×３画素サイズの注目領域を順次抽出して、注目画素Ｐ₁₁におけるノイズ成分に起因する無効エッジ信号ＩＥを推定する無効エッジ推定手段である。

エッジ補正部１１１は、制御部１１５の制御に基づき、エッジ抽出部１０９からのエッジ信号Ｅに対して、無効エッジ推定部１１０からの無効エッジ信号ＩＥを用いて、コアリング処理を行うエッジ補正手段である。

エッジ強調部１１２は、制御部１１５の制御に基づき、エッジ抽出部１０９と同一の３×３画素サイズ内の注目画素Ｐ₁₁を順次抽出して、エッジ補正部１１１からのコアリング処理がなされたエッジ信号Ｅ’を用いてエッジ強調処理を行うエッジ強調手段である。

信号処理部１１３は、制御部１１５の制御に基づき、エッジ強調部１１２から出力されるエッジ強調後の映像信号に対して公知の圧縮処理などを行い、処理後の信号を出力部１１４へ転送するものである。

出力部１１４は、信号処理部１１３から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存するものである。

制御部１１５は、例えばマイクロコンピュータなどにより構成されていて、増幅部１０３、Ａ／Ｄ変換部１０４、測光評価部１０６、合焦点検出部１０７、エッジ抽出部１０９、無効エッジ推定部１１０、エッジ補正部１１１、エッジ強調部１１２、信号処理部１１３、出力部１１４、外部Ｉ／Ｆ部１１６と双方向に接続されており、これらを含むこのデジタルカメラ全体を制御するための制御手段である。この制御部１１５には、さらに、ＣＣＤ１０２の近傍に配置された温度センサ１１７からの信号が入力されるようになっている。そして、この制御部１１５は、収集手段，ノイズ推定手段，ゲイン算出手段を兼ねたものとなっている。

外部Ｉ／Ｆ部１１６は、画像処理システムが適用されたこのデジタルカメラに対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。ユーザは、この外部Ｉ／Ｆ部１１６を介して、２段式のシャッタボタンの１段目の押圧によるプリ撮影の開始入力、該シャッタボタンの２段目の押圧による本撮影の開始入力を行うことができるようになっている。さらに、ユーザは、この外部Ｉ／Ｆ部１１６を介して、ＩＳＯ感度の設定なども行うことができるようになっている。そして、この外部Ｉ／Ｆ部１１６は、入力された情報を、制御部１１５へ出力するようになっている。

次に、図１に示したようなデジタルカメラの作用を、映像信号の流れに沿って説明する。

ユーザは、撮影を行う前に、外部Ｉ／Ｆ部１１６を介してＩＳＯ感度などの撮影条件を予め設定する。

その後、ユーザが、外部Ｉ／Ｆ部１１６の２段式スイッチでなるシャッタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。

すると、レンズ系１００および絞り１０１を介して結像される被写体像が、ＣＣＤ１０２により光電変換され、アナログの映像信号として出力される。

このアナログの映像信号は、増幅部１０３によってＩＳＯ感度を考慮した増幅が行われた後に、Ａ／Ｄ変換部１０４によりデジタルの映像信号に変換されて、バッファ１０５に記憶される。

このバッファ１０５内に記憶された映像信号は、測光評価部１０６と、合焦点検出部１０７と、へそれぞれ転送される。

測光評価部１０６は、映像信号に基づき、上述したように絞り１０１の絞り値やＣＣＤ１０２の電子シャッタ速度や増幅部１０３の増幅率などを適正露光となるように制御する。

合焦点検出部１０７は、映像信号に基づき、上述したようにエッジ強度を検出し、このエッジ強度が最大となるようにＡＦモータ１０８を制御して、合焦信号を得る。

こうして、焦点調節や露出調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１１６の２段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。

すると、プリ撮影と同様にして、映像信号がバッファ１０５へ転送される。この本撮影は、測光評価部１０６によって求められた露光条件と、合焦点検出部１０７によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１５へ転送される。

本撮影によって得られたバッファ１０５内の映像信号は、エッジ抽出部１０９と無効エッジ推定部１１０とエッジ強調部１１２とへそれぞれ転送される。

エッジ抽出部１０９は、制御部１１５の制御に基づき、図２に示すような注目画素Ｐ₁₁を包含する３×３画素サイズの注目領域Ｐ_ij（ｉ＝０〜２，ｊ＝０〜２）を順次抽出して、図３に示すようなエッジ抽出フィルタを用いて注目画素Ｐ₁₁におけるエッジ信号Ｅを抽出する。この図３に示すエッジ抽出フィルタは、等方的なエッジ抽出フィルタの一例である。なお、エッジ抽出フィルタとしては、図３に示すような等方的なエッジ抽出フィルタに限定されるものではない。例えば、図４（Ａ）に示すような水平方向のエッジ抽出フィルタＥｈと、図４（Ｂ）に示すような垂直方向のエッジ抽出フィルタＥｖと、をそれぞれ個別に使用して、その後に次の数式１に示すように、エッジ信号Ｅを求めるように構成することも可能である。
［数１］

なお、これらのエッジ抽出フィルタに限らず、その他、公知のエッジ抽出法を用いるように構成することももちろん可能である。そして、エッジ抽出部１０９は、抽出したエッジ信号Ｅを、エッジ補正部１１１へ転送する。

無効エッジ推定部１１０は、制御部１１５の制御に基づき、エッジ抽出部１０９と同一の３×３画素サイズの注目領域Ｐ_ijを順次抽出して、注目画素Ｐ₁₁におけるノイズ成分に起因する無効エッジ信号ＩＥを推定する。そして、無効エッジ推定部１１０は、推定して得られたノイズ成分に起因する無効エッジ信号ＩＥを、エッジ補正部１１１へ転送する。

エッジ補正部１１１は、制御部１１５の制御に基づき、エッジ抽出部１０９からのエッジ信号Ｅに対して、無効エッジ推定部１１０からの無効エッジ信号ＩＥを用いて、コアリング処理を行う。エッジ補正部１１１は、コアリング処理を行ったエッジ信号Ｅ’を、エッジ強調部１１２へ転送する。

エッジ強調部１１２は、制御部１１５の制御に基づき、エッジ抽出部１０９と同一の３×３画素サイズ内の注目画素Ｐ₁₁を順次抽出して、エッジ補正部１１１からのコアリング処理がなされたエッジ信号Ｅ’を用いて、次の数式２に示すようなエッジ強調処理を行う。
［数２］
Ｐ₁₁’＝Ｐ₁₁＋ｇ・Ｅ’
なお、この数式２におけるｇは、所定のゲイン値を意味し、例えば０．５〜４．０程度の値をとるようになっている。そして、エッジ強調部１１２は、エッジ強調処理を行った映像信号を、信号処理部１１３へ転送する。

ここに、上述したエッジ抽出部１０９，無効エッジ推定部１１０，エッジ補正部１１１，エッジ強調部１１２の各処理は、制御部１１５の制御に基づいて、３×３画素サイズの注目領域Ｐ_ij単位で同期して行われるようになっている。そして、全ての映像信号を処理する（全ての画素を注目画素として処理する）ために、図２に示したような３×３画素サイズの注目領域は、隣接する注目領域に対して２行または２列ずつ重複して（つまり、１行または１列ずつずれるように）設定されるようになっている。

信号処理部１１３は、制御部１１５の制御に基づき、エッジ強調部１１２から出力されるエッジ強調処理後の映像信号に対して、上述したように、公知の圧縮処理などを行い、処理後の信号を出力部１１４へ転送する。

出力部１１４は、信号処理部１１３から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

次に、図５を参照して、無効エッジ推定部１１０の構成の一例について説明する。

この無効エッジ推定部１１０は、平均算出部２００と、収集手段でありゲイン算出手段たるゲイン算出部２０１と、付与手段たる標準値付与部２０２と、記録手段たるパラメータ用ＲＯＭ２０３と、パラメータ選択手段たるパラメータ選択部２０４と、補間手段たる補間部２０５と、補間手段たる補正部２０６と、を含んでいる。

ここに、バッファ１０５は、平均算出部２００へ接続されている。また、平均算出部２００は、パラメータ選択部２０４へ接続されている。ゲイン算出部２０１と標準値付与部２０２とパラメータ用ＲＯＭ２０３とは、パラメータ選択部２０４へそれぞれ接続されている。パラメータ選択部２０４は、補間部２０５と補正部２０６とへそれぞれ接続されている。補間部２０５は、補正部２０６を介してエッジ補正部１１１へ接続されている。

また、制御部１１５は、平均算出部２００，ゲイン算出部２０１，標準値付与部２０２，パラメータ選択部２０４，補間部２０５，補正部２０６と双方向に接続されていて、これらを制御するようになっている。

次に、このような無効エッジ推定部１１０の作用について説明する。

平均算出部２００は、制御部１１５の制御に基づき、バッファ１０５から図２に示すような注目領域Ｐ_ijの映像信号を読み出して、この注目領域Ｐ_ijの映像信号の平均値ＡＶを次の数式３に示すように算出する。
［数３］

そして、平均算出部２００は、算出した平均値ＡＶを、パラメータ選択部２０４へ転送する。

また、ゲイン算出部２０１は、制御部１１５から転送されるＩＳＯ感度と露光条件に関する情報との少なくとも一方に基づいて、増幅部１０３における増幅量を求め、求めた増幅量をパラメータ選択部２０４へ転送する。

一方、制御部１１５は、温度センサ１１７からＣＣＤ１０２の温度情報を取得して、取得した温度情報をパラメータ選択部２０４へ転送する。

パラメータ選択部２０４、補間部２０５、および補正部２０６は、平均算出部２００からの注目領域の平均値と、ゲイン算出部２０１からのゲインの情報と、制御部１１５からの温度情報と、に基づいて、ノイズ成分に起因する無効エッジ信号ＩＥを推定する。

ここに、無効エッジ信号ＩＥの推定について、図６〜図９を参照して説明する。

まず、図６は、信号レベルＬとノイズ量Ｎとの関係をプロットしたものである。ノイズ量Ｎは、図示のように、信号レベルＬが増加するとともに増加する傾向を示し、このときの増加は、信号レベルＬに対して２次曲線的な増加となる。そこで、この図６に示すような増加の様子を、特開２００５−１７５７１８号公報に開示されているように２次関数を用いてモデル化すると、次の数式４に示すようになる。
［数４］
Ｎ＝αＬ²＋βＬ＋γ
ここに、α，β，γは定数項である。

しかしながら、ノイズ量Ｎは、信号レベルＬの変化のみにより変化するのではなく、撮像素子の温度や映像信号に対するゲインによっても変化する。例えば、図６は、ある温度ｔにおいて、ゲインに関連する３種類のＩＳＯ感度１００（ゲイン×１），２００（ゲイン×２），４００（ゲイン×４）に対するノイズ量Ｎをプロットしたものである。

図６に示す個々の曲線は、数式４に示したような形状をしているが、その係数はゲインに関連するＩＳＯ感度に応じて異なっている。また、図示はしないが、ノイズ量Ｎは、撮像素子の温度によっても変化し、一般に、撮像素子の温度が高くなると増加する傾向を示す（なお、温度としては２０℃、５０℃、８０℃が例として図示されている）。

こうして、ゲインをｇ、温度をｔとして、ノイズモデルの定式化を上述したようなノイズ量Ｎのゲインｇや温度ｔへの依存性も考慮した形で行うと、次の数式５に示すようになる。
［数５］
Ｎ＝α_gtＬ²＋β_gtＬ＋γ_gt
ここに、α_gt，β_gt，γ_gtは、ゲインｇと温度ｔとに依存して定まる定数項である。

次に、図７は、平坦な領域の映像信号にノイズ量Ｎを付加して、これに図３または図４に示すようなエッジ抽出フィルタを適用して得られたノイズ成分に起因する無効エッジ信号ＩＥをプロットしたものである。

無効エッジ信号ＩＥは、図示のように、ノイズ量Ｎが増加するとともに増加する傾向を示し、このときの増加は、ノイズ量Ｎに対して３次曲線的な増加となる。そこで、この図７に示すような増加の様子を、３次関数を用いてモデル化すると、次の数式６に示すようになる。
［数６］
ＩＥ＝δＮ³＋εＮ²＋ζＮ＋η
ここに、δ，ε，ζ，ηは定数項であり、エッジ抽出フィルタが固定されれば、一意に定まる。

上述したような数式５と数式６とを組み合わせることにより、信号レベルＬと、ノイズ成分に起因する無効エッジ信号ＩＥと、の関係を、エッジモデルとして定式化することができる。

ただし、エッジモデルの関数を複数記録して、その都度演算により無効エッジ信号を算出することは処理的に負荷が大きい。このために、図８に示すようなエッジモデルの簡略化を行う。すなわち、図８に示すような簡略化されたモデルにおいては、最大の無効エッジ信号を与える関数を基準エッジモデルとして選択し、さらに、この基準エッジモデルを所定数の変曲点を有する折れ線で近似する。ここに、折れ線の変曲点は、信号レベルＬと無効エッジ信号ＩＥとから構成される座標データ（Ｌ_n，ＩＥ_n）により表す。ただし、ｎは変曲点の番号を示している。また、上記基準エッジモデルから他のエッジモデルを導出するための補正係数ｋ_gtを用意する。この補正係数ｋ_gtは、各エッジモデルと基準エッジモデルとを用いて、最小自乗法により算出される。こうして算出した補正係数ｋ_gtを基準エッジモデルに乗算することにより、他のエッジモデルを導出するようになっている。

図９を参照して、図８に示すような簡易化されたエッジモデルから無効エッジ信号を算出する方法について説明する。

例えば、与えられた信号レベルｌ、ゲインｇ、温度ｔに対応する無効エッジ信号ＩＥを求めることを想定する。まず、信号レベルｌが基準エッジモデルのどの区間に属するかを探索する。ここでは信号レベルｌが、（Ｌ_n，ＩＥ_n）と（Ｌ_n+1，ＩＥ_n+1）との間の区間に属するものとする。このとき、基準エッジモデルにおける基準無効エッジ信号ＩＥ_lを、次の数式７に示すような線形補間によって求める。
［数７］

次に、次の数式８に示すように、求めた基準無効エッジ信号ＩＥ_lに補正係数ｋ_gtを乗算することにより、無効エッジ信号ＩＥを求める。
［数８］
ＩＥ＝ｋ_gt・ＩＥ_l
図５に沿った説明に戻って、上述したような基準エッジモデルの変曲点の座標データ（Ｌ_n，ＩＥ_n）と補正係数ｋ_gtとは、パラメータ用ＲＯＭ２０３に記録されている。

パラメータ選択部２０４は、平均算出部２００からの注目領域の平均値ＡＶに基づき信号レベルｌを、ゲイン算出部２０１からのゲインの情報に基づきゲインｇを、制御部１１５からの温度情報に基づき温度ｔを、それぞれ設定する。

次に、パラメータ選択部２０４は、信号レベルｌが属する区間の座標データ（Ｌ_n，ＩＥ_n）および（Ｌ_n+1，ＩＥ_n+1）をパラメータ用ＲＯＭ２０３から探索し、これを補間部２０５へ転送する。さらに、パラメータ選択部２０４は、補正係数ｋ_gtをパラメータ用ＲＯＭ２０３から探索して、これを補正部２０６へ転送する。

補間部２０５は、制御部１１５の制御に基づき、パラメータ選択部２０４からの信号レベルｌと区間の座標データ（Ｌ_n，ＩＥ_n）および（Ｌ_n+1，ＩＥ_n+1）とを用いて数式７に基づき基準エッジモデルにおける基準無効エッジ信号ＩＥ_lを算出し、補正部２０６へ転送する。

補正部２０６は、制御部１１５の制御に基づき、パラメータ選択部２０４からの補正係数ｋ_gtと、補間部２０５からの基準無効エッジ信号ＩＥ_lと、を用いて数式８に基づき無効エッジ信号ＩＥを算出し、これを注目画素Ｐ₁₁の無効エッジ信号ＩＥとする。補正部２０６は、推定した無効エッジ信号ＩＥを、エッジ補正部１１１へ転送する。

なお、上述したような無効エッジ信号を算出する過程において、温度ｔやゲインｇなどの情報を必ずしも撮影毎に求める必要はない。つまり、任意の情報を標準値付与部２０２に記録しておき、算出過程を省略するように構成することも可能である。これによって、処理の高速化や省電力化などを図ることが可能となる。

次に、図１０を参照して、エッジ補正部１１１の構成の一例について説明する。

このエッジ補正部１１１は、切換部３００と、コアリング手段たる加算部３０１と、コアリング手段たる減算部３０２と、コアリング手段たる置換部３０３と、を含んでいる。

エッジ抽出部１０９は、切換部３００へ接続されている。切換部３００は、加算部３０１と減算部３０２と置換部３０３とへそれぞれ接続されている。加算部３０１と減算部３０２と置換部３０３とは、エッジ強調部１１２へそれぞれ接続されている。また、無効エッジ推定部１１０は、切換部３００と加算部３０１と減算部３０２とへそれぞれ接続されている。

制御部１１５は、切換部３００，加算部３０１，減算部３０２，置換部３０３と双方向に接続されていて、これらを制御するようになっている。

次に、このようなエッジ補正部１１１の作用について説明する。

切換部３００は、制御部１１５の制御に基づき、エッジ抽出部１０９から注目画素Ｐ₁₁に対するエッジ信号Ｅを、無効エッジ推定部１１０から注目画素Ｐ₁₁に対する無効エッジ信号ＩＥを、それぞれ読み込む。

次に、切換部３００は、−ＩＥ＞Ｅである場合にはエッジ信号Ｅを加算部３０１へ、Ｅ＞ＩＥである場合にはエッジ信号Ｅを減算部３０２へ、ＩＥ≧Ｅ≧−ＩＥである場合にはエッジ信号Ｅを置換部３０３へ、転送する。

加算部３０１は、制御部１１５の制御に基づき、切換部３００からエッジ信号Ｅが転送された場合に、無効エッジ推定部１１０から無効エッジ信号ＩＥを読み込み、エッジ信号Ｅに無効エッジ信号ＩＥを加算処理する補正を行い、補正後のエッジ信号Ｅ’をエッジ強調部１１２へ転送する。

また、減算部３０２は、制御部１１５の制御に基づき、切換部３００からエッジ信号Ｅが転送された場合に、無効エッジ推定部１１０から無効エッジ信号ＩＥを読み込み、エッジ信号Ｅから無効エッジ信号ＩＥを減算処理する補正を行い、補正後のエッジ信号Ｅ’をエッジ強調部１１２へ転送する。

そして、置換部３０３は、制御部１１５の制御に基づき、切換部３００からエッジ信号Ｅが転送された場合に、エッジ信号Ｅを０に置換処理する補正を行い、補正後のエッジ信号Ｅ’をエッジ強調部１１２へ転送する。

このような３通りの処理は、次の数式９により示される。
［数９］

図１１は、このような数式９の特性を図示したものであり、入力エッジ信号Ｅの絶対値が無効エッジ信号ＩＥ以下となる場合に、出力エッジ信号Ｅ’が０となるコアリング処理となっている。

なお、上述ではノイズ成分に起因するエッジ信号の推定に、撮像素子の温度，ＩＳＯ感度，露出情報などの関連情報を用いていたが、このような構成に限定される必要はない。例えば、図１２に示すように、信号レベルのみに基づいてノイズ成分に起因するエッジ信号を推定するように構成することも可能である。

図１２は、図５に示す構成からゲイン算出部２０１と標準値付与部２０２と補正部２０６とを省略して、平均算出部２００およびパラメータ用ＲＯＭ２０３を、注目画素抽出部４００および記録手段たるパラメータ用ＲＯＭ４０１により置換した構成となっている。この図１２に示す無効エッジ推定部１１０におけるその他の基本的な構成は図５に示したものと同様であるために、同一の構成には同一の名称と符号を付して適宜説明を省略し、主として異なる部分についてのみ説明する。

バッファ１０５は、注目画素抽出部４００へ接続されている。注目画素抽出部４００は、パラメータ選択部２０４へ接続されている。パラメータ用ＲＯＭ４０１は、パラメータ選択部２０４へ接続されている。パラメータ選択部２０４は、補間部２０５へ接続されている。補間部２０５は、エッジ補正部１１１へ接続されている。

また、制御部１１５は、注目画素抽出部４００へも双方向に接続されていて、これを制御するようになっている。

注目画素抽出部４００は、制御部１１５の制御に基づき、バッファ１０５から図２に示すような注目画素Ｐ₁₁を読み込んで、パラメータ選択部２０４へ転送する。

パラメータ選択部２０４および補間部２０５は、注目画素抽出部４００からの注目画素Ｐ₁₁の信号レベルに基づいて、ノイズ成分に起因する無効エッジ信号ＩＥを推定する。

すなわち、パラメータ用ＲＯＭ４０１には、図８に示すような所定温度、所定ゲイン値に対応する単一のエッジモデルの変曲点の座標データ（Ｌ_n，ＩＥ_n）のみが記録されている。なお、以下では、記録されているエッジモデルを基準エッジモデルとして扱う。

パラメータ選択部２０４は、注目画素Ｐ₁₁の信号レベルｌが属する区間の座標データ（Ｌ_n，ＩＥ_n）および（Ｌ_n+1，ＩＥ_n+1）をパラメータ用ＲＯＭ４０１から探索して、これを補間部２０５へ転送する。

補間部２０５は、制御部１１５の制御に基づき、パラメータ選択部２０４からの信号レベルｌと区間の座標データ（Ｌ_n，ＩＥ_n）および（Ｌ_n+1，ＩＥ_n+1）とを用いて、数式７に基づき基準エッジモデルにおける基準無効エッジ信号ＩＥ_lを算出する。補間部２０５は、算出した基準無効エッジ信号ＩＥ_lを、無効エッジ信号ＩＥとしてエッジ補正部１１１へ転送する。

この図１２に示したような構成を採用すれば、ノイズ成分に起因するエッジ信号の推定に要する構成を簡略化することができるために、画像処理システムの低コスト化を図ることが可能となる。

また、上述においては、画像処理システムとしてデジタルカメラを例に挙げていたために、図１に示したように、画像処理システムは、レンズ系１００，絞り１０１，ＣＣＤ１０２，温度センサ１１７，増幅部１０３，Ａ／Ｄ変換部１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８を含む撮像部が一体化して構成されていた。

しかし、画像処理システムとしては、このような構成に限定される必要はない。例えば、図１３に示すように、撮像部が別体であっても構わない。すなわち、図１３に示す画像処理システムは、別体の撮像部により撮像され、未処理のＲａｗデータの形態でメモリカード等の記録媒体に記録された映像信号を、該記録媒体から読み出して処理するものとなっている。ただし、このときには、映像信号に係る撮像条件などの付随情報が、ヘッダ部等として記録媒体に記録されているものとする。なお、別体の撮像部から画像処理システムへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

図１３に示す画像処理システムは、図１に示した画像処理システムから、レンズ系１００，絞り１０１，ＣＣＤ１０２，温度センサ１１７，増幅部１０３，Ａ／Ｄ変換部１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８を省略して、入力部５００，ヘッダ情報解析部５０１を追加した構成となっている。この図１３に示す画像処理システムにおけるその他の基本的な構成は、図１に示したものと同様であるために、同一の構成には同一の名称と符号を付して適宜説明を省略し、主として異なる部分についてのみ説明する。

入力部５００は、バッファ１０５とヘッダ情報解析部５０１とへそれぞれ接続されている。また、制御部１１５は、入力部５００およびヘッダ情報解析部５０１とも双方向に接続されていて、これらを制御するようになっている。

次に、この図１３に示す画像処理システムにおいて異なる作用は、以下のようになっている。

例えばマウスやキーボードなどの外部Ｉ／Ｆ部１１６を介して処理操作を開始すると、メモリカード等の記録媒体に保存された映像信号およびヘッダ情報が、入力部５００を介して読み込まれる。

入力部５００から読み込まれた情報の内の、映像信号はバッファ１０５へ、ヘッダ情報はヘッダ情報解析部５０１へ、それぞれ転送される。

ヘッダ情報解析部５０１は、入力部５００から転送されたヘッダ情報に基づき、撮影時の情報（すなわち、上述したような露光条件、ＩＳＯ感度、撮像素子の温度など）を抽出して制御部１１５へ転送する。

これ以後の処理は、図１に示したような画像処理システムと同様である。

さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１５からの撮影時の撮像素子の温度やゲインなど）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

図１４を参照して、画像処理プログラムによる処理のメインルーチンを説明する。

この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度やゲインなどのヘッダ情報を読み込む（ステップＳ１）。

次に、図２に示したような、注目画素を含む３×３画素サイズの注目領域を抽出する（ステップＳ２）。

そして、例えば図３に示したような等方的なエッジ抽出フィルタを用いて、注目画素におけるエッジ信号を抽出する（ステップＳ３）。

続いて、後で図１５を参照して説明するように注目画素におけるノイズ成分に起因する無効エッジ信号を推定する（ステップＳ４）。

その後、エッジ信号の絶対値が無効エッジ信号以下であるか否かを判定する（ステップＳ５）。

ここで、エッジ信号の絶対値が無効エッジ信号よりも大きい場合には、さらに、エッジ信号が無効エッジ信号よりも大きいか否かを判定する（ステップＳ６）。

このステップＳ６において、エッジ信号が無効エッジ信号以下である場合（−ＩＥ＞Ｅである場合）には、エッジ信号に無効エッジ信号を加算する（ステップＳ９）。

また、ステップＳ６において、エッジ信号が無効エッジ信号よりも大きい場合（Ｅ＞ＩＥである場合）には、エッジ信号から無効エッジ信号を減算する（ステップＳ８）。

一方、ステップＳ５において、エッジ信号の絶対値が無効エッジ信号以下である場合（ＩＥ≧Ｅ≧−ＩＥである場合）には、エッジ信号を０に置換する（ステップＳ７）。

ステップＳ７〜Ｓ９の何れかの処理が終了したら、数式２に示したように補正されたエッジ信号を用いて、映像信号にエッジ強調処理を行う（ステップＳ１０）。

次に、全注目領域についての処理が完了したか否かを判定し（ステップＳ１１）、完了していない場合には、上記ステップＳ２へ戻って次の注目領域について上述したような処理を繰り返して行う。

また、全注目領域についての処理が完了したと判定された場合には、公知の圧縮処理などの信号処理を行い（ステップＳ１２）、処理後の映像信号を出力して（ステップＳ１３）、この一連の処理を終了する。

次に、図１５を参照して、上記図１４のステップＳ４における無効エッジ推定の処理について説明する。

図１４のステップＳ４においてこの処理が開始されると、まず、注目領域の平均値を数式３に示したように算出する（ステップＳ２０）。

次に、読み込まれたヘッダ情報に基づいて、温度やゲインなどの関連する情報を設定する（ステップＳ２１）。ただし、ヘッダ情報内に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。

続いて、基準エッジモデルの座標データと、補正係数と、を読み込む（ステップＳ２２）。

そして、注目領域の平均値が属する区間の座標データと、対応する補正係数と、を選択する（ステップＳ２３）。

その後、数式７に示したような補間処理によって、基準無効エッジ信号を求める（ステップＳ２４）。

次に、数式８に示したような補正処理によって、無効エッジ信号を求める（ステップＳ２５）。

続いて、算出された無効エッジ信号を出力して（ステップＳ２６）、この処理から図１４に示した処理に復帰する。

このような実施形態１によれば、ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求め、求められない情報に関しては標準値を設定し、これらの情報と映像信号と基準エッジモデルとに基づいて補間処理を行うことによりノイズ成分に起因する無効エッジ信号を求め、エッジ信号を求めた無効エッジ信号によって補正処理する画像処理システムを構成することが可能となる。

このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。

また、撮影毎に異なる条件に動的に適応しているために、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。

さらに、必要となる情報が得られない場合でも、標準値を設定するようになっているために、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。

そして、ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。

このとき、簡略化されたモデルを採用すると、簡略化されたモデルに基づく補間処理は実装が容易であるために、低コストなシステムを構築することが可能となる。

［実施形態２］
図１６から図２４は本発明の実施形態２を示したものであり、図１６は画像処理システムの構成を示すブロック図、図１７はノイズ処理部の構成を示すブロック図、図１８は無効エッジ推定部の一構成例を示すブロック図、図１９は無効エッジ推定部の他の構成例を示すブロック図、図２０はエッジ補正部の構成を示すブロック図、図２１はエッジ補正部におけるコアリング処理の応答を示す線図、図２２は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図２３は図２２のステップＳ３０におけるノイズ処理の詳細を示すフローチャート、図２４は図２２のステップＳ３１における無効エッジ推定の処理の詳細を示すフローチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

まず、図１６を参照して、この画像処理システムの構成について説明する。図１６に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。

この図１６に示す画像処理システムは、上述した実施形態１の図１に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図１に示した無効エッジ推定部１１０およびエッジ補正部１１１を、無効エッジ推定手段たる無効エッジ推定部６０１およびエッジ補正手段たるエッジ補正部６０２に置換し、さらにノイズ処理手段たるノイズ処理部６００を追加した構成になっている。その他の基本的な構成は実施形態１と同様であって、同一の構成には同一の名称と符号を付している。

以下、主として異なる部分のみを説明する。

バッファ１０５は、測光評価部１０６と合焦点検出部１０７とノイズ処理部６００とエッジ抽出部１０９とへ接続されている。ノイズ処理部６００は、エッジ強調部１１２と無効エッジ推定部６０１とへそれぞれ接続されている。エッジ抽出部１０９と無効エッジ推定部６０１とは、エッジ補正部６０２へそれぞれ接続されている。エッジ補正部６０２は、エッジ強調部１１２へ接続されている。

また、制御部１１５は、ノイズ処理部６００，無効エッジ推定部６０１，エッジ補正部６０２と双方向に接続されていて、これらを制御するようになっている。

次に、この図１６に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態２の画像処理システムの作用は、基本的に上述した実施形態１と同様であるために、主として異なる部分についてのみ説明する。

ノイズ処理部６００は、制御部１１５の制御に基づき、図２に示したような注目画素Ｐ₁₁を包含する３×３画素サイズの注目領域Ｐ_ijを順次抽出する。そして、ノイズ処理部６００は、特開２００５−１７５７１８号公報に開示されているようにノイズのモデルに基づき注目画素Ｐ₁₁に関するノイズ量Ｎを推定し、平滑化処理を行う。ノイズ処理部６００は、推定したノイズ量Ｎを無効エッジ推定部６０１へ、平滑化処理を行った注目画素ＮＲ＿Ｐ₁₁をエッジ強調部１１２へ、それぞれ転送する。

無効エッジ推定部６０１は、制御部１１５の制御に基づき、ノイズ処理部６００から注目画素Ｐ₁₁に対するノイズ量Ｎを読み込み、注目画素Ｐ₁₁におけるノイズ成分に起因する無効エッジ信号ＩＥを推定する。無効エッジ推定部６０１は、推定したノイズ成分に起因する無効エッジ信号ＩＥを、エッジ補正部６０２へ転送する。

エッジ補正部６０２は、制御部１１５の制御に基づき、エッジ抽出部１０９からのエッジ信号Ｅに対して、無効エッジ推定部６０１からの無効エッジ信号ＩＥと、所定の関数と、を用いて変換処理を行う。エッジ補正部６０２は、変換処理を行ったエッジ信号Ｅ’を、エッジ強調部１１２へ転送する。

エッジ強調部１１２は、制御部１１５の制御に基づき、ノイズ処理部６００からの平滑化処理がなされた注目画素ＮＲ＿Ｐ₁₁に対して、エッジ補正部６０２からの変換処理エッジ信号Ｅ’を用いて、次の数式１０に示すようなエッジ強調処理を行う。
［数１０］
Ｐ₁₁’＝ＮＲ＿Ｐ₁₁＋ｇ・Ｅ’
なお、この数式１０におけるｇは、所定のゲイン値を意味し、例えば０．５〜４．０程度の値をとるようになっている。そして、エッジ強調部１１２は、エッジ強調処理を行った映像信号を、信号処理部１１３へ転送する。

ここに、上述したエッジ抽出部１０９，ノイズ処理部６００，無効エッジ推定部６０１，エッジ補正部６０２，エッジ強調部１１２の各処理は、制御部１１５の制御に基づいて、３×３画素サイズの注目領域Ｐ_ij単位で同期して行われるようになっている。

信号処理部１１３は、制御部１１５の制御に基づき、エッジ強調部１１２から出力されるエッジ強調処理後の映像信号に対して、公知の圧縮処理などを行い、処理後の信号を出力部１１４へ転送する。

出力部１１４は、信号処理部１１３から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

次に、図１７を参照して、ノイズ処理部６００の構成の一例について説明する。

このノイズ処理部６００は、平均算出部７００と、ノイズ推定手段たるゲイン算出部７０１と、ノイズ推定手段たる標準値付与部７０２と、ノイズ推定手段たるノイズテーブル部７０３と、選択部７０４と、ノイズ低減手段たる第１スムージング部７０５と、ノイズ低減手段たる第２スムージング部７０６と、を含んでいる。

バッファ１０５は、平均算出部７００と選択部７０４とへそれぞれ接続されている。平均算出部７００とゲイン算出部７０１と標準値付与部７０２とは、ノイズテーブル部７０３へそれぞれ接続されている。ノイズテーブル部７０３は、選択部７０４と第１スムージング部７０５と第２スムージング部７０６と無効エッジ推定部６０１とへそれぞれ接続されている。選択部７０４は、第１スムージング部７０５と第２スムージング部７０６とへそれぞれ接続されている。第１スムージング部７０５と第２スムージング部７０６とは、エッジ強調部１１２へそれぞれ接続されている。

制御部１１５は、平均算出部７００，ゲイン算出部７０１，標準値付与部７０２，ノイズテーブル部７０３，選択部７０４，第１スムージング部７０５，第２スムージング部７０６と双方向に接続されていて、これらを制御するようになっている。

次に、このようなノイズ処理部６００の作用について説明する。

平均算出部７００は、制御部１１５の制御に基づき、バッファ１０５から図２に示したような注目画素Ｐ₁₁を包含する３×３画素サイズの注目領域Ｐ_ijを順次抽出して、数式３に示したような平均値ＡＶを算出する。平均算出部７００は、算出した平均値ＡＶをノイズテーブル部７０３へ転送する。

ゲイン算出部７０１は、制御部１１５から転送されるＩＳＯ感度と露光条件に関する情報との少なくとも一方に基づき、増幅部１０３における増幅量を求めて、求めた増幅量をノイズテーブル部７０３へ転送する。

また、制御部１１５は、温度センサ１１７からＣＣＤ１０２の温度情報を取得して、取得した温度情報をノイズテーブル部７０３へ転送する。

ノイズテーブル部７０３は、平均算出部７００からの平均値と、ゲイン算出部７０１からのゲインの情報と、制御部１１５からの温度情報と、に基づいて、ノイズ量を推定する。このノイズテーブル部７０３は、温度，信号値レベル，ゲインと、ノイズ量と、の間の関係を記録したルックアップテーブルであり、例えば特開２００５−１７５７１８号公報に開示されている手法により構築されたものである。ノイズテーブル部７０３は、推定したノイズ量Ｎと平均算出部７００からの平均値ＡＶとを、選択部７０４と第１スムージング部７０５と第２スムージング部７０６とへそれぞれ転送する。また、ノイズテーブル部７０３は、推定したノイズ量Ｎを無効エッジ推定部６０１へも転送する。

選択部７０４は、制御部１１５の制御に基づき、ノイズテーブル部７０３からの平均値ＡＶおよびノイズ量Ｎを読み込む。その後、選択部７０４は、ノイズ量に関する許容範囲としての上限Ｎｏｉｓｅ＿Ｕｐおよび下限Ｎｏｉｓｅ＿Ｌｏｗを、次の数式１１に示すように設定する。
［数１１］

そして、選択部７０４は、制御部１１５の制御に基づき、バッファ１０５から注目画素Ｐ₁₁を読み込んで、上記許容範囲に属するか否かを判定する。この判定は、「ノイズ範囲に属している（Ｎｏｉｓｅ＿Ｕｐ≧Ｐ₁₁≧Ｎｏｉｓｅ＿Ｌｏｗ）」，「ノイズ範囲を上回っている（Ｐ₁₁＞Ｎｏｉｓｅ＿Ｕｐ）」，「ノイズ範囲を下回っている（Ｎｏｉｓｅ＿Ｌｏｗ＞Ｐ₁₁）」の３通りである。

選択部７０４は、「ノイズ範囲に属している」と判定した場合には第１スムージング部７０５へ、それ以外の場合には第２スムージング部７０６へ、注目画素Ｐ₁₁を転送する。

第１スムージング部７０５は、平滑化処理がなされた注目画素ＮＲ＿Ｐ₁₁として、ノイズテーブル部７０３からの平均値ＡＶを次の数式１２に示すようにそのまま用いて、出力する。
［数１２］

一方、第２スムージング部７０６は、平滑化処理がなされた注目画素ＮＲ＿Ｐ₁₁として、選択部７０４からの注目画素Ｐ₁₁にノイズテーブル部７０３からの平均値ＡＶとノイズ量Ｎとを用いて補正する処理を行う。まず、第２スムージング部７０６は、「ノイズ範囲を上回っている」場合には、次の数式１３に示すように補正する◎。

［数１３］

また、第２スムージング部７０６は、「ノイズ範囲を下回っている」場合には、次の数式１４に示すように補正する。
［数１４］

このようにして、第１スムージング部７０５または第２スムージング部７０６よる平滑化処理がなされた注目画素ＮＲ＿Ｐ₁₁は、エッジ強調部１１２へ転送される。

次に、図１８を参照して、無効エッジ推定部６０１の構成の一例について説明する。

この無効エッジ推定部６０１は、パラメータ選択手段たるパラメータ選択部８００と、記録手段たるパラメータ用ＲＯＭ８０１と、補間手段たる補間部８０２と、を含んでいる。

ノイズ処理部６００およびパラメータ用ＲＯＭ８０１は、パラメータ選択部８００へそれぞれ接続されている。パラメータ選択部８００は補間部８０２へ接続されている。補間部８０２は、エッジ補正部６０２へ接続されている。

また、制御部１１５は、パラメータ選択部８００，補間部８０２と双方向に接続されていて、これらを制御するようになっている。

このような無効エッジ推定部６０１の作用について説明する。

パラメータ選択部８００および補間部８０２は、ノイズ処理部６００からの注目画素Ｐ₁₁に関するノイズ量Ｎに基づいて、ノイズ成分に起因する無効エッジ信号ＩＥを推定する。以下では、本発明の実施形態１に係る図７を参照して、無効エッジ信号ＩＥを推定する方法について説明する。

図７に示したように、ノイズ量Ｎに対する無効エッジ信号ＩＥの関係は、３次関数を用いたエッジモデルとしてモデル化される。さらに、この３次関数を所定数の変曲点を有する折れ線で近似するものとする。ここに、折れ線の変曲点は、ノイズ量Ｎと無効エッジ信号ＩＥとから構成される座標データ（Ｎ_n，ＩＥ_n）により表す。ただし、ｎは変曲点の番号を示している。

そして、与えられたノイズ量Ｎに対応する無効エッジ信号ＩＥを求めるには、まず、ノイズ量Ｎがエッジモデルのどの区間に属するかを探索する。ここでは、ノイズ量Ｎが（Ｎ_n，ＩＥ_n）と（Ｎ_n+1，ＩＥ_n+1）との間の区間に属するものとする。このとき、エッジモデルにおける無効エッジ信号ＩＥを、次の数式１５に示すような線形補間によって求める。
［数１５］

図１８に沿った説明に戻って、上述したようなエッジモデルの変曲点の座標データ（Ｎ_n，ＩＥ_n）は、パラメータ用ＲＯＭ８０１に記録されている。

パラメータ選択部８００は、制御部１１５の制御に基づき、ノイズ処理部６００からの注目画素Ｐ₁₁に関するノイズ量Ｎを読み込む。次に、パラメータ選択部８００は、ノイズ量Ｎが属する区間の座標データ（Ｎ_n，ＩＥ_n）および（Ｎ_n+1，ＩＥ_n+1）をパラメータ用ＲＯＭ８０１から探索して、これを補間部８０２へ転送する。

補間部８０２は、制御部１１５の制御に基づき、パラメータ選択部８００からのノイズ量Ｎと区間の座標データ（Ｎ_n，ＩＥ_n）および（Ｎ_n+1，ＩＥ_n+1）とを用いて、数式１５に基づき無効エッジ信号ＩＥを算出し、算出した無効エッジ信号ＩＥをエッジ補正部６０２へ転送する。なお、上述においてはモデルに基づく補間演算によりノイズ成分に起因するエッジ信号を推定していたが、このような構成に限定される必要はない。例えば、図１９に示すように、テーブルを用いてノイズ成分に起因するエッジ信号を推定するように構成することも可能である。

ここで、図１９を参照して、無効エッジ推定部６０１の構成の他の例について説明する。

この無効エッジ推定部６０１は、記録手段たる無効エッジテーブル部８０３を含んでいる。

ノイズ処理部６００は、無効エッジテーブル部８０３へ接続されている。無効エッジテーブル部８０３は、エッジ補正部６０２へ接続されている。

また、制御部１１５は、無効エッジテーブル部８０３と双方向に接続されていて、これを制御するようになっている。

ここに、無効エッジテーブル部８０３は、図７に示したような、ノイズ量Ｎに対する無効エッジ信号ＩＥの関係を記録したテーブルである。

無効エッジテーブル部８０３は、制御部１１５の制御に基づき、ノイズ処理部６００から注目画素Ｐ₁₁に関するノイズ量Ｎを読み込んで、対応する無効エッジ信号ＩＥをエッジ補正部６０２へ転送する。

図２０を参照して、エッジ補正部６０２の構成の一例について説明する。

このエッジ補正部６０２は、切換部９００と、定数算出手段たる定数算出部９０１と、関数変換手段たる変換部９０２と、を含んでいる。

エッジ抽出部１０９は、切換部９００へ接続されている。切換部９００は、変換部９０２とエッジ強調部１１２とへそれぞれ接続されている。変換部９０２は、エッジ強調部１１２へ接続されている。無効エッジ推定部６０１は、切換部９００と定数算出部９０１とへそれぞれ接続されている。定数算出部９０１は、変換部９０２へ接続されている。

また、制御部１１５は、切換部９００，定数算出部９０１，変換部９０２と双方向に接続されていて、これらを制御するようになっている。

次に、このようなエッジ補正部６０２の作用について説明する。

定数算出部９０１は、制御部１１５の制御に基づき、無効エッジ推定部６０１から注目画素Ｐ₁₁に対する無効エッジ信号ＩＥを読み込む。そして、定数算出部９０１は、図２１に示すような応答特性を有する関数の定数項を算出する。ここに、図２１は、エッジ信号Ｅを入力して、変換後のエッジ信号Ｅ’を出力する関数の形状を示しており、この関数は、２つの１次関数と、１つの３次関数と、を組み合わせて構成されている。
［数１６］

定数算出部９０１は、数式１６に示すような関数の定数項、実質的には３次関数の３次項の係数である２／（３・ＩＥ²）の一項のみを算出して、変換部９０２へ転送する。

切換部９００は、制御部１１５の制御に基づき、エッジ抽出部１０９から注目画素Ｐ₁₁に対するエッジ信号Ｅを、無効エッジ推定部６０１から注目画素Ｐ₁₁に対する無効エッジ信号ＩＥを、それぞれ読み込む。そして、切換部９００は、エッジ信号Ｅと無効エッジ信号ＩＥとを比較して、ＩＥ≧Ｅ≧−ＩＥである場合には変換部９０２へ、それ以外の場合にはエッジ強調部１１２へ、エッジ信号Ｅを転送する。

変換部９０２は、制御部１１５の制御に基づき、切換部９００からエッジ信号Ｅが転送された場合に、定数算出部９０１からの定数項を用いて数式１６中の３次関数によりエッジ信号Ｅを変換し、変換後のエッジ信号Ｅ’をエッジ強調部１１２へ転送する。

なお、上述においては、撮像部が一体化された画像処理システムを例に挙げたが、このような構成に限定されるものではなく、上述した実施形態１と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。

また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１５からの撮影時の撮像素子の温度やゲインなど）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

図２２を参照して、画像処理プログラムによる処理のメインルーチンを説明する。なお、この図２２に示す処理の内の、上述した実施形態１の図１４に示した処理とほぼ同様な処理については、同一の符号を付している。

この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度やゲインなどのヘッダ情報を読み込む（ステップＳ１）。

次に、図２に示したような、注目画素を含む３×３画素サイズの注目領域を抽出する（ステップＳ２）。

そして、例えば図３に示したような等方的なエッジ抽出フィルタを用いて、注目画素におけるエッジ信号を抽出する（ステップＳ３）。

その一方で、後で図２３を参照して説明するように、注目画素に対するノイズ処理を行う（ステップＳ３０）。

ステップＳ３の処理とステップＳ３０の処理とが終了したら、後で図２４を参照して説明するように、注目画素におけるノイズ成分に起因する無効エッジ信号を推定する（ステップＳ３１）。

続いて、エッジ信号の絶対値が無効エッジ信号以下であるか否かを判定する（ステップＳ５）。

ここで、エッジ信号が無効エッジ信号以下である場合には、数式１６に示すような３次関数を用いてエッジ信号を変換する（ステップＳ３２）。

ステップＳ３０の処理が終わった後であって、このステップＳ３２の処理を行った場合には、変換されたエッジ信号を用いて、ノイズ処理がなされた映像信号に数式１０に示したようにエッジ強調処理を行う。また、ステップＳ３０の処理が終わった後であって、ステップＳ５においてエッジ信号の絶対値が無効エッジ信号よりも大きいと判定された場合には、そのままのエッジ信号を変換されたエッジ信号として用いて、ノイズ処理がなされた映像信号に数式１０に示したようにエッジ強調処理を行う（ステップＳ１０）。

次に、全注目領域についての処理が完了したか否かを判定し（ステップＳ１１）、完了していない場合には、上記ステップＳ２へ戻って次の注目領域について上述したような処理を繰り返して行う。

また、全注目領域についての処理が完了したと判定された場合には、公知の圧縮処理などの信号処理を行い（ステップＳ１２）、処理後の映像信号を出力して（ステップＳ１３）、この一連の処理を終了する。

続いて、図２３を参照して、上記図２２のステップＳ３０におけるノイズ処理について説明する。

図２２のステップＳ３０においてこの処理が開始されると、まず、読み込まれたヘッダ情報に基づいて、温度やゲインなどの関連する情報を設定する（ステップＳ４０）。ただし、ヘッダ情報内に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。

続いて、ノイズテーブルを読み込み（ステップＳ４１）、読み込んだノイズテーブルを用いて、注目画素に対するノイズ量を求める（ステップＳ４２）。

そして、数式１１に示したような許容範囲に基づいて、ノイズ量が許容範囲内に属するか否かを判定する（ステップＳ４３）。

ここで、ノイズ量が許容範囲内に属すると判定された場合には、数式１２に示したような平滑化処理を行う（ステップＳ４４）。

また、ノイズ量が許容範囲内に属しないと判定された場合には、数式１３または数式１４に示したような平滑化処理を行う（ステップＳ４５）。

ステップＳ４４またはステップＳ４５の処理が終了したら、ノイズ処理がなされた映像信号を出力して（ステップＳ４６）、この処理から図２２に示した処理に復帰する。

次に、図２４を参照して、上記図２２のステップＳ３１における無効エッジ推定の処理について説明する。

この処理を開始すると、まず、注目画素のノイズ量を読み込むとともに（ステップＳ５０）、エッジモデルの座標データを読み込む（ステップＳ５１）。

次に、注目領域のノイズ量が属する区間の座標データを選択する（ステップＳ５２）。

続いて、数式１５に示したような補間処理によって、基準無効エッジ信号を求める（ステップＳ５３）。

その後、算出された無効エッジ信号を出力して（ステップＳ５４）、この処理から図２２に示した処理に復帰する。

このような実施形態２によれば、ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づきノイズ成分に起因するエッジ信号を動的に推定し、原信号からのエッジ信号をノイズ成分に起因するエッジ信号に基づいて補正処理する画像処理システムを構成することが可能となる。

このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。

また、ノイズ低減処理によりノイズの影響を抑制するとともに、微細な信号を保存した高品位なエッジ成分を得ることができる。

さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小することができ、低コスト化を図ることが可能となる。

そして、ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、高精度なエッジ信号の推定を、低コスト化を図りながら行うことが可能となる。

一方、ノイズ成分に起因するエッジ信号の算出にテーブルを用いる場合には、高精度なエッジ信号の推定を高速に行うことが可能となる。

また、エッジ信号の変換を、複数の関数を組み合わせて得られる連続的な単調増加関数を用いて行っているために、エッジ信号の連続性を確保することができて、高品位なエッジ信号を得ることができる。

［実施形態３］
図２５から図３３は本発明の実施形態３を示したものであり、図２５は画像処理システムの構成を示すブロック図、図２６はベイヤー（Ｂａｙｅｒ）型原色フィルタの構成を示す図、図２７は色差線順次型補色フィルタの構成を示す図、図２８は無効エッジ推定部の一構成例を示すブロック図、図２９は無効エッジ推定部の他の構成例を示すブロック図、図３０はエッジ補正部の構成を示すブロック図、図３１はコアリング処理における応答の各例を示す線図、図３２は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図３３は図３２のステップＳ６２における無効エッジ推定の処理の詳細を示すフローチャートである。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

まず、図２５を参照して、この画像処理システムの構成について説明する。図２５に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。

この図２５に示す画像処理システムは、上述した実施形態１の図１に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図１に示したＣＣＤ１０２と無効エッジ推定部１１０とエッジ補正部１１１とを、カラーＣＣＤ１０００と無効エッジ推定手段たる無効エッジ推定部１００５とエッジ補正手段たるエッジ補正部１００６とに置換し、さらに、プレホワイトバランス部１００１と補間部１００２とＹ／Ｃ分離手段たるＹ／Ｃ分離部１００３とバッファ１００４とＹ／Ｃ合成部１００７とを追加した構成になっている。その他の基本的な構成は実施形態１と同様であって、同一の構成には同一の名称と符号を付している。

以下、主として異なる部分のみを説明する。

レンズ系１００，絞り１０１，カラーＣＣＤ１０００を介して撮影された映像信号は、増幅部１０３へ転送されるようになっている。

バッファ１０５は、プレホワイトバランス部１００１と補間部１００２と測光評価部１０６と合焦点検出部１０７とへそれぞれ接続されている。プレホワイトバランス部１００１は、増幅部１０３へ接続されている。補間部１００２は、Ｙ／Ｃ分離部１００３へ接続されている。Ｙ／Ｃ分離部１００３は、バッファ１００４へ接続されている。バッファ１００４は、エッジ抽出部１０９とエッジ強調部１１２と無効エッジ推定部１００５とへそれぞれ接続されている。エッジ抽出部１０９と無効エッジ推定部１００５とは、エッジ補正部１００６へそれぞれ接続されている。エッジ補正部１００６は、エッジ強調部１１２へ接続されている。エッジ強調部１１２は、Ｙ／Ｃ合成部１００７へ接続されている。Ｙ／Ｃ合成部１００７は、信号処理部１１３へ接続されている。

また、カラーＣＣＤ１０００の近傍に配置された温度センサ１１７からの信号は、制御部１１５へ接続されている。

そして、制御部１１５は、プレホワイトバランス部１００１，補間部１００２，Ｙ／Ｃ分離部１００３，無効エッジ推定部１００５，エッジ補正部１００６，Ｙ／Ｃ合成部１００７と双方向に接続されていて、これらを制御するようになっている。

次に、この図２５に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態３の画像処理システムの作用は、基本的に上述した実施形態１と同様であるために、主として異なる部分についてのみ説明する。

ユーザが、外部Ｉ／Ｆ部１１６の２段式スイッチでなるシャッタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。

すると、レンズ系１００および絞り１０１を介して結像される被写体像が、カラーＣＣＤ１０００により光電変換され、アナログの映像信号として出力される。

このアナログの映像信号は、増幅部１０３によってＩＳＯ感度やホワイトバランスを考慮した増幅が行われた後に、Ａ／Ｄ変換部１０４によりデジタルの映像信号に変換されて、バッファ１０５に記憶される。

なお、本実施形態においては、カラーＣＣＤ１０００として、図２６に示すようなベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した単板撮像素子を想定している。また、撮像素子としては、ＣＣＤに限るものではなく、ＣＭＯＳやその他の撮像素子を用いても構わないことは、上述した実施形態１と同様である。

ここで、図２６を参照して、ベイヤー（Ｂａｙｅｒ）型の色フィルタの構成について説明する。

図２６に示すようなベイヤー（Ｂａｙｅｒ）型の原色フィルタは、２×２画素を基本単位として、この基本単位内の対角する画素位置に赤（Ｒ），青（Ｂ）フィルタが１つずつ、残りの対角する画素位置に緑（Ｇ）フィルタがそれぞれ、配置されたものとなっている。

続いて、バッファ１０５内の映像信号は、測光評価部１０６と、合焦点検出部１０７と、プレホワイトバランス部１００１と、へそれぞれ転送される。

これらの内のプレホワイトバランス部１００１は、バッファ１０５に記憶されている映像信号の内の所定レベルの範囲内の信号を色信号毎に積算する（つまり、累計的に加算する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部１００１は、算出した係数を増幅部１０３へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。

こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１１６の２段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。

すると、プリ撮影と同様にして、映像信号がバッファ１０５へ転送される。この本撮影は、プレホワイトバランス部１００１によって求められた簡易ホワイトバランス係数と、測光評価部１０６によって求められた露光条件と、合焦点検出部１０７によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１５へ転送される。

本撮影によって得られたバッファ１０５内の映像信号は、まず、補間部１００２へ転送される。

この補間部１００２は、制御部１１５の制御に基づき、公知の補間処理によりＲ，Ｇ，Ｂの三板からなる映像信号を生成して、Ｙ／Ｃ分離部１００３へ転送する。

Ｙ／Ｃ分離部１００３は、制御部１１５の制御に基づき、Ｒ，Ｇ，Ｂ信号を次の数式１７に示すように輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへ分離する。
［数１７］
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
Ｙ／Ｃ分離部１００３により算出された輝度信号および色差信号は、バッファ１００４へ転送されて保存される。

エッジ抽出部１０９は、制御部１１５の制御に基づき、バッファ１００４内の輝度信号Ｙから、図２に示したような注目画素Ｐ₁₁を包含する３×３画素サイズの注目領域Ｐ_ijを順次抽出して、図３に示したようなエッジ抽出フィルタを用いて、注目画素Ｐ₁₁におけるエッジ信号Ｅを抽出する。エッジ抽出部１０９は、抽出したエッジ信号Ｅを、エッジ補正部１００６へ転送する。

無効エッジ推定部１００５は、制御部１１５の制御に基づき、バッファ１００４内の輝度信号Ｙから、上述したエッジ抽出部１０９と同一の３×３画素サイズの注目領域Ｐ_ijを順次抽出し、注目画素Ｐ₁₁におけるノイズ成分に起因する無効エッジ信号ＩＥを推定する。無効エッジ推定部１００５は、推定したノイズ成分に起因する無効エッジ信号ＩＥを、エッジ補正部１００６へ転送する。

エッジ補正部１００６は、制御部１１５の制御に基づき、エッジ抽出部１０９からのエッジ信号Ｅに対して、無効エッジ推定部１００５からの無効エッジ信号ＩＥを用いてコアリング処理を行う。エッジ補正部１００６は、コアリング処理を行ったエッジ信号Ｅ’を、エッジ強調部１１２へ転送する。

エッジ強調部１１２は、制御部１１５の制御に基づき、バッファ１００４内の輝度信号Ｙからエッジ抽出部１０９と同一の注目画素Ｐ₁₁に対応する輝度信号Ｙを順次抽出して、エッジ補正部１１１からのコアリング処理がなされたエッジ信号Ｅ’を用いて、次の数式１８に示すようなエッジ強調処理を行う。
［数１８］
Ｙ’＝Ｙ＋ｇ・Ｅ’
なお、この数式１８におけるｇは、所定のゲイン値を意味し、例えば０．５〜４．０程度の値をとるようになっている。

また、エッジ強調部１１２は、バッファ１００４内の色差信号Ｃｂ，Ｃｒからエッジ抽出部１０９と同一の注目画素Ｐ₁₁に対応する色差信号Ｃｂ，Ｃｒを抽出する。そして、エッジ強調部１１２は、抽出した色差信号Ｃｂ，Ｃｒとエッジ強調処理後の輝度信号Ｙ’とを、Ｙ／Ｃ合成部１００７へ転送する。

Ｙ／Ｃ合成部１００７は、制御部１１５の制御に基づき、エッジ強調処理後の輝度信号Ｙ’と色差信号Ｃｂ，Ｃｒとから、次の数式１９に示すようにＲＧＢの三信号（Ｒ’，Ｇ’，Ｂ’）を合成する。
［数１９］
Ｒ’＝Ｙ’ ＋１．４０２００Ｃｒ
Ｇ’＝Ｙ’−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ’＝Ｙ’＋１．７７２００Ｃｂ
Ｙ／Ｃ合成部１００７は、合成したＲ’，Ｇ’，Ｂ’信号を、信号処理部１１３へ転送する。

なお、上述したようなエッジ抽出部１０９，無効エッジ推定部１００５，エッジ補正部１００６，エッジ強調部１１２，Ｙ／Ｃ合成部１００７の各処理は、制御部１１５の制御に基づき、３×３画素サイズの注目領域Ｐ_ij単位で同期して行われるようになっている。

信号処理部１１３は、制御部１１５の制御に基づき、エッジ強調部１１２から出力されるエッジ強調処理後の映像信号に対して、公知の彩度強調処理や圧縮処理などを行い、処理後の信号を出力部１１４へ転送する。

出力部１１４は、信号処理部１１３から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

次に、図２８を参照して、無効エッジ推定部１００５の構成の一例について説明する。

この無効エッジ推定部１００５は、上述した実施形態１の図５に示した無効エッジ推定部１１０と基本的に同様であり、テーブル変換手段たる無効エッジテーブル部１１００を追加するとともに、パラメータ用ＲＯＭ２０３，パラメータ選択部２０４，補間部２０５，補正部２０６を省略したものとなっている。その他の構成は同様であるために、同一の名称と符号を付して、以下では、主として異なる部分についてのみ説明する。

平均算出部２００とゲイン算出部２０１と標準値付与部２０２とは、無効エッジテーブル部１１００へそれぞれ接続されている。無効エッジテーブル部１１００は、エッジ補正部１００６へ接続されている。

制御部１１５は、無効エッジテーブル部１１００と双方向に接続されていて、これを制御するようになっている。

次に、このような無効エッジ推定部１００５の作用について説明する。

平均算出部２００は、制御部１１５の制御に基づき、バッファ１０５内の輝度信号Ｙから図２に示したような注目領域Ｐ_ijの平均値ＡＶを算出して、無効エッジテーブル部１１００へ転送する。

ゲイン算出部２０１は、制御部１１５から転送されるＩＳＯ感度と露光条件に関する情報とホワイトバランス係数との内の少なくとも１つに基づき、増幅部１０３における増幅量を求めて、求めた増幅量を無効エッジテーブル部１１００へ転送する。

また、制御部１１５は、温度センサ１１７からカラーＣＣＤ１０００の温度情報を取得して、取得した温度情報を無効エッジテーブル部１１００へ転送する。

無効エッジテーブル部１１００は、平均算出部２００からの注目領域の平均値と、ゲイン算出部２０１からのゲインの情報と、制御部１１５からの温度情報と、に基づいて、ノイズ成分に起因する無効エッジ信号ＩＥを出力する。

ここに、無効エッジテーブル部１１００は、信号値レベル，ゲイン，温度と、ノイズ成分に起因する無効エッジ信号と、の間の関係を記録したルックアップテーブルであり、上述した実施形態１の数式５および数式６に基づいて構築されている。無効エッジテーブル部１１００は、求めた無効エッジ信号ＩＥをエッジ補正部１００６へ転送する。

なお、上述したような無効エッジ信号を算出する過程において、温度ｔやゲインｇなどの情報を必ずしも撮影毎に求める必要はない。つまり、任意の情報を標準値付与部２０２に記録しておき、算出過程を省略するように構成することも可能である。これによって、処理の高速化や省電力化などを図ることが可能となる。

また、上述では、ノイズ成分に起因するエッジ信号を推定するために、撮像素子の温度，ＩＳＯ感度，露出情報，ホワイトバランス情報などの関連情報を用いていたが、このような構成に限定されるものでもない。例えば、図２９に示すように、輝度信号のレベルのみに基づいて、ノイズ成分に起因するエッジ信号を推定するように構成することも可能である。

ここで、図２９を参照して、無効エッジ推定部１００５の構成の他の例について説明する。

この図２９に示す無効エッジ推定部１００５は、図２８に示すような構成から、ゲイン算出部２０１と標準値付与部２０２とを省略して、無効エッジテーブル部１１００をテーブル変換手段たる無効エッジテーブル部１１０１により置換した構成となっている。この図２９に示す無効エッジ推定部１００５におけるその他の基本的な構成は、図２８に示したものと同様であるために、同一の構成には同一の名称と符号を付して、以下では、主として異なる部分についてのみ説明する。

平均算出部２００は、無効エッジテーブル部１１０１へ接続されている。無効エッジテーブル部１１０１は、エッジ補正部１００６へ接続されている。

制御部１１５は、無効エッジテーブル部１１０１と双方向に接続されていて、これを制御するようになっている。

次に、このような無効エッジ推定部１００５の作用について説明する。

平均算出部２００は、制御部１１５の制御に基づき、バッファ１０５内の輝度信号Ｙから、図２に示したような注目領域Ｐ_ijの平均値ＡＶを算出して、無効エッジテーブル部１１０１へ転送する。

無効エッジテーブル部１１０１は、平均算出部２００からの注目領域Ｐ_ijの平均値ＡＶに基づき、ノイズ成分に起因する無効エッジ信号ＩＥを出力する。ここに、無効エッジテーブル部１１０１は、所定のゲイン，所定の温度における信号値レベルと、ノイズ成分に起因する無効エッジ信号と、の間の関係を記録したルックアップテーブルであり、上述した実施形態１の数式５および数式６に基づいて構築されている。無効エッジテーブル部１１０１は、求めた無効エッジ信号ＩＥを、エッジ補正部１００６へ転送する。

続いて、図３０を参照して、エッジ補正部１００６の構成の一例について説明する。

このエッジ補正部１００６は、テーブル補正手段たるエッジ補正テーブル部１２００を含んでいる。

エッジ抽出部１０９と無効エッジ推定部１００５とは、エッジ補正テーブル部１２００へそれぞれ接続されている。エッジ補正テーブル部１２００は、エッジ強調部１１２へ接続されている。

また、制御部１１５は、エッジ補正テーブル部１２００と双方向に接続されていて、これを制御するようになっている。

次に、このようなエッジ補正部１００６の作用について説明する。

エッジ補正テーブル部１２００は、制御部１１５の制御に基づき、エッジ抽出部１０９から注目画素Ｐ₁₁に対するエッジ信号Ｅを、無効エッジ推定部１００５から注目画素Ｐ₁₁に対する無効エッジ信号ＩＥを、それぞれ読み込む。

ここに、エッジ補正テーブル部１２００は、複数種類、ここでは例えば図３１に示すような３種類、の代表的な無効エッジ信号ＩＥ_k（ｋ＝１〜３）の大きさに対応する変換の関係を記録するテーブルである。

そして、エッジ補正テーブル部１２００は、無効エッジ推定部１００５からの無効エッジ信号ＩＥに基づいて、記録されている代表的な無効エッジ信号ＩＥ_kに最も近い変換の関係を選択し、選択した関係に基づき、エッジ抽出部１０９からのエッジ信号Ｅから補正後のエッジ信号Ｅ’を求めて出力する。その後、エッジ補正テーブル部１２００は、補正後のエッジ信号Ｅ’を、エッジ強調部１１２へ転送する。

なお、上述においては、撮像部が一体化された画像処理システムを例に挙げたが、このような構成に限定されるものではなく、上述した実施形態１と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。

また、上述では、カラー撮像素子としてベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した単板ＣＣＤを想定していたが、このような構成の撮像素子に限定されるものではない。例えば、色差線順次型補色フィルタを前面に配置した単板撮像素子や、二板あるいは三板撮像素子を適用することも可能である。例えば、図２７は、色差線順次型の補色フィルタの構成を示している。

この色差線順次方式の補色フィルタは、２×２画素を基本単位として、シアン（Ｃｙ）およびイエロー（Ｙｅ）が２×２画素の同一ラインに、マゼンタ（Ｍｇ）および緑（Ｇ）が２×２画素の他の同一ラインに、それぞれ配置されたものとなっている。ただし、マゼンタ（Ｍｇ），緑（Ｇ）の位置は、ライン毎に反転するように構成されている。

このような色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる場合には、Ｙ／Ｃ分離部１００３における輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへ分離は、次の数式２０に示すように行われる。
［数２０］
Ｙ ＝Ｃｙ＋Ｙｅ＋Ｇ＋Ｍｇ
Ｃｂ＝（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）
Ｃｒ＝（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ）
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、カラーＣＣＤ１０００からの映像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１５からの撮影時の撮像素子の温度やゲインやホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

図３２を参照して、画像処理プログラムによる処理のメインルーチンを説明する。なお、この図３２に示す処理の内の、上述した実施形態１の図１４に示した処理とほぼ同様な処理については、同一の符号を付している。

この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度やゲインやホワイトバランス係数などのヘッダ情報を読み込む（ステップＳ１）。

次に、公知の補間処理を行って、三板の映像信号を生成する（ステップＳ６０）。

続いて、数式１７に示したように、輝度信号および色差信号を抽出する（ステップＳ６１）。

そして、図２に示したような注目画素を含む３×３画素サイズの注目領域を、輝度信号および色差信号毎に抽出する（ステップＳ２）。

その後、例えば図３に示したような等方的なエッジ抽出フィルタを用いて、注目画素における輝度信号のエッジ信号を抽出する（ステップＳ３）。

さらに、後で図３３を参照して説明するように、注目画素におけるノイズ成分に起因する無効エッジ信号を推定する（ステップＳ６２）。

次に、図３１に示したような複数種類の変換の関係からなるテーブルを読み込んで、補正されたエッジ信号を出力する（ステップＳ６３）。

続いて、補正されたエッジ信号を用いて、数式１８に示したように、輝度信号にエッジ強調処理を行う（ステップＳ１０）。

そして、全注目領域についての処理が完了したか否かを判定し（ステップＳ１１）。完了していない場合には、上記ステップＳ２へ戻って次の注目領域について上述したような処理を繰り返して行う。

また、全注目領域についての処理が完了したと判定された場合には、数式１９に示したように、Ｒ’，Ｇ’，Ｂ’の三信号を合成する（ステップＳ６４）。

その後、公知の彩度強調処理や圧縮処理などの信号処理を行い（ステップＳ１２）、処理後の映像信号を出力して（ステップＳ１３）、この一連の処理を終了する。

次に、図３３を参照して、上記図３２のステップＳ６２における無効エッジ推定の処理について説明する。

図３３のステップＳ６２においてこの処理が開始されると、まず、注目領域の輝度信号の平均値を算出する（ステップＳ７０）。

次に、読み込まれたヘッダ情報に基づいて、温度やゲインなどの関連する情報を設定する（ステップＳ７１）。ただし、ヘッダ情報内に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。

続いて、無効エッジテーブルを用いて無効エッジ信号を求める（ステップＳ７２）。

その後、算出された無効エッジ信号を出力して（ステップＳ７３）、この処理から図３２に示した処理に復帰する。

このような実施形態３によれば、カラー撮像素子からの映像信号から輝度信号を分離して、ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求め、求められない情報に関しては標準値を設定し、これらの情報と輝度信号とに基づきノイズ成分に起因する無効エッジ信号を求め、エッジ信号を求めた無効エッジ信号によって補正処理する画像処理システムを構成することが可能となる。

このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。

また、カラー撮像素子からの信号に対応しているために、多様な撮像系に利用することができる。

さらに、撮影毎に異なる条件に動的に適応しているために、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。

そして、必要となる情報が得られない場合でも、標準値を設定するようになっているために、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。

また、ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。

［実施形態４］
図３４および図３５は本発明の実施形態４を示したものであり、図３４は画像処理システムの構成を示すブロック図、図３５は画像処理プログラムによる信号処理全体の流れを示すフローチャートである。

この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

まず、図３４を参照して、この画像処理システムの構成について説明する。図３４に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。

この図３４に示す画像処理システムは、上述した実施形態２の図１６に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図１６に示したＣＣＤ１０２をカラーＣＣＤ１３００に置換し、プレホワイトバランス部１３０１と補間部１３０２とＹ／Ｃ分離手段たるＹ／Ｃ分離部１３０３とバッファ１３０４とＹ／Ｃ合成部１３０５とを追加した構成になっている。その他の基本的な構成は実施形態２と同様であって、同一の構成には同一の名称と符号を付している。

以下、主として異なる部分のみを説明する。

レンズ系１００，絞り１０１，カラーＣＣＤ１３００を介して撮影された映像信号は、増幅部１０３へ転送されるようになっている。

バッファ１０５は、プレホワイトバランス部１３０１と補間部１３０２と測光評価部１０６と合焦点検出部１０７とへそれぞれ接続されている。プレホワイトバランス部１３０１は、増幅部１０３へ接続されている。補間部１３０２は、Ｙ／Ｃ分離部１００３へ接続されている。Ｙ／Ｃ分離部１３０３は、バッファ１３０４へ接続されている。バッファ１３０４は、エッジ抽出部１０９とノイズ処理部６００とへそれぞれ接続されている。エッジ強調部１１２は、Ｙ／Ｃ合成部１３０５へ接続されている。Ｙ／Ｃ合成部１３０５は、信号処理部１１３へ接続されている。

また、カラーＣＣＤ１３００の近傍に配置された温度センサ１１７からの信号は、制御部１１５へ接続されている。

そして、制御部１１５は、プレホワイトバランス部１３０１，補間部１３０２，Ｙ／Ｃ分離部１３０３，Ｙ／Ｃ合成部１３０５と双方向に接続されていて、これらを制御するようになっている。

次に、この図３４に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態４の画像処理システムの作用は、基本的に上述した実施形態２と同様であるために、主として異なる部分についてのみ説明する。

ユーザが、外部Ｉ／Ｆ部１１６の２段式スイッチでなるシャッタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。

すると、レンズ系１００および絞り１０１を介して結像される被写体像が、カラーＣＣＤ１３００により光電変換され、アナログの映像信号として出力される。

このアナログの映像信号は、増幅部１０３によってＩＳＯ感度やホワイトバランスを考慮した増幅が行われた後に、Ａ／Ｄ変換部１０４によりデジタルの映像信号に変換されて、バッファ１０５に記憶される。

なお、本実施形態においては、カラーＣＣＤ１３００として、ベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した単板撮像素子を想定している。また、撮像素子としては、ＣＣＤに限るものではなく、ＣＭＯＳやその他の撮像素子を用いても構わないことは、上述した各実施形態と同様である。

続いて、バッファ１０５内の映像信号は、測光評価部１０６と、合焦点検出部１０７と、プレホワイトバランス部１３０１と、へそれぞれ転送される。

これらの内のプレホワイトバランス部１３０１は、バッファ１０５に記憶されている映像信号の内の所定レベルの範囲内の信号を色信号毎に積算する（つまり、累計的に加算する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部１３０１は、算出した係数を増幅部１０３へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。

こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１１６の２段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。

すると、プリ撮像と同様にして、映像信号がバッファ１０５へ転送される。この本撮影は、プレホワイトバランス部１３０１によって求められた簡易ホワイトバランス係数と、測光評価部１０６によって求められた露光条件と、合焦点検出部１０７によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１５へ転送される。

本撮影によって得られたバッファ１０５内の映像信号は、まず、補間部１３０２へ転送される。

この補間部１３０２は、制御部１１５の制御に基づき、公知の補間処理によりＲ，Ｇ，Ｂの三板からなる映像信号を生成して、Ｙ／Ｃ分離部１３０３へ転送する。

Ｙ／Ｃ分離部１３０３は、制御部１１５の制御に基づき、Ｒ，Ｇ，Ｂ信号を数式１７に示したように輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへ分離する。

Ｙ／Ｃ分離部１３０３により算出された輝度信号および色差信号は、バッファ１３０４へ転送されて保存される。

ノイズ処理部６００は、制御部１１５の制御に基づき、図２に示したような注目画素Ｐ₁₁を包含する３×３画素サイズの注目領域Ｐ_ijを輝度信号および色差信号毎に個別に順次抽出する。そして、ノイズ処理部６００は、特開２００５−１７５７１８号公報に開示されているようにノイズのモデルに基づき注目画素Ｐ₁₁に関するノイズ量を推定し、平滑化処理を行う。なお、以後は、推定された輝度信号のノイズ量をＮＹ、平滑化がなされた輝度信号をＮＲ＿Ｙ、平滑化がなされた色差信号をＮＲ＿Ｃｂ，ＮＲ＿Ｃｒによりそれぞれ表すことにする。ノイズ処理部６００は、推定した輝度信号に関するノイズ量ＮＹを無効エッジ推定部６０１へ、平滑化処理を行った輝度信号ＮＲ＿Ｙおよび色差信号ＮＲ＿Ｃｂ，ＮＲ＿Ｃｒをエッジ強調部１１２へ、それぞれ転送する。

エッジ抽出部１０９は、制御部１１５の制御に基づき、バッファ１３０４内の輝度信号Ｙから、図２に示したような注目画素Ｐ₁₁を包含する３×３画素サイズの注目領域Ｐ_ijを順次抽出して、図３に示したようなエッジ抽出フィルタを用いて、注目画素Ｐ₁₁におけるエッジ信号Ｅを抽出する。エッジ抽出部１０９は、抽出したエッジ信号Ｅを、エッジ補正部６０２へ転送する。

無効エッジ推定部６０１は、制御部１１５の制御に基づき、ノイズ処理部６００から輝度信号に関するノイズ量ＮＹを読み込み、注目画素Ｐ₁₁におけるノイズ成分に起因する無効エッジ信号ＩＥを推定する。無効エッジ推定部６０１は、推定したノイズ成分に起因する無効エッジ信号ＩＥを、エッジ補正部６０２へ転送する。

エッジ補正部６０２は、制御部１１５の制御に基づき、エッジ抽出部１０９からのエッジ信号Ｅに対して、無効エッジ推定部６０１からの無効エッジ信号ＩＥと、所定の関数（例えば、数式１６に示すような３次関数）と、を用いて変換処理を行う。エッジ補正部６０２は、変換処理を行ったエッジ信号Ｅ’を、エッジ強調部１１２へ転送する。

エッジ強調部１１２は、制御部１１５の制御に基づき、ノイズ処理部６００からの平滑化処理がなされた輝度信号ＮＲ＿Ｙに対して、エッジ補正部６０２からの変換処理がなされたエッジ信号Ｅ’を用いて次の数式２１に示すようなエッジ強調処理を行う。
［数２１］
ＮＲ＿Ｙ’＝ＮＲ＿Ｙ＋ｇ・Ｅ’
なお、この数式２１におけるｇは、所定のゲイン値を意味し、例えば０．５〜４．０程度の値をとるようになっている。

そして、エッジ強調部１１２は、エッジ強調処理を行った輝度信号ＮＲ＿Ｙ’を、平滑化処理がなされた色差信号ＮＲ＿Ｃｂ，ＮＲ＿Ｃｒとともに、Ｙ／Ｃ合成部１００７へ転送する。

Ｙ／Ｃ合成部１００７は、制御部１１５の制御に基づき、平滑化処理およびエッジ強調処理後の輝度信号Ｙ’と、平滑化処理後の色差信号ＮＲ＿Ｃｂ，ＮＲ＿Ｃｒとから、次の数式２２に示すようにＲＧＢの三信号（Ｒ’，Ｇ’，Ｂ’）を合成する。
［数２２］
Ｒ’＝ＮＲ＿Ｙ’ ＋１．４０２００ＮＲ＿Ｃｒ
Ｇ’＝ＮＲ＿Ｙ’−０．３４４１４ＮＲ＿Ｃｂ−０．７１４１４ＮＲ＿Ｃｒ
Ｂ’＝ＮＲ＿Ｙ’＋ １．７７２０ＮＲ＿Ｃｂ
Ｙ／Ｃ合成部１００７は、合成したＲ’，Ｇ’，Ｂ’信号を、信号処理部１１３へ転送する。

なお、上述したようなノイズ処理部６００，エッジ抽出部１０９，無効エッジ推定部６０１，エッジ補正部６０２，エッジ強調部１１２，Ｙ／Ｃ合成部１３０５の各処理は、制御部１１５の制御に基づき、３×３画素サイズの注目領域Ｐ_ij単位で同期して行われるようになっている。

信号処理部１１３は、制御部１１５の制御に基づき、エッジ強調部１１２から出力されるエッジ強調処理後の映像信号に対して、公知の彩度強調処理や圧縮処理などを行い、処理後の信号を出力部１１４へ転送する。

出力部１１４は、信号処理部１１３から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

なお、上述においては、撮像部が一体化された画像処理システムを例に挙げたが、このような構成に限定されるものではなく、上述した実施形態１と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。

また、上述では、カラー撮像素子としてベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した単板ＣＣＤを想定していたが、このような構成の撮像素子に限定されるものではない。例えば、色差線順次型補色フィルタを前面に配置した単板撮像素子や、二板あるいは三板撮像素子を適用することも可能である。

さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、カラーＣＣＤ１３００からの映像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１５からの撮影時の撮像素子の温度やゲインやホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

図３５を参照して、画像処理プログラムによる処理のメインルーチンを説明する。なお、この図３５に示す処理の内の、上述した実施形態２の図２２に示した処理とほぼ同様な処理については、同一の符号を付している。

この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度やゲインやホワイトバランス係数などのヘッダ情報を読み込む（ステップＳ１）。

次に、公知の補間処理を行って、三板の映像信号を生成する（ステップＳ８０）。

続いて、数式１７に示したように、輝度信号および色差信号を抽出する（ステップＳ８１）。

そして、図２に示したような注目画素を含む３×３画素サイズの注目領域を、輝度信号および色差信号毎に抽出する（ステップＳ２）。

その後、例えば図３に示したような等方的なエッジ抽出フィルタを用いて、注目画素における輝度信号のエッジ信号を抽出する（ステップＳ３）。

さらに、図２３に示したように、注目画素に対するノイズ処理を輝度信号および色差信号毎に行う（ステップＳ３０）。

また、図２４に示したように、注目画素における輝度信号のノイズ成分に起因する無効エッジ信号を推定する（ステップＳ３１）。

続いて、エッジ信号の絶対値が無効エッジ信号以下であるか否かを判定する（ステップＳ５）。

ここで、エッジ信号が無効エッジ信号以下である場合には、数式１６に示すような３次関数を用いてエッジ信号を変換する（ステップＳ３２）。

ステップＳ３０の処理が終わった後であって、このステップＳ３２の処理を行った場合には、変換されたエッジ信号を用いて、ノイズ処理がなされた輝度信号に数式２１に示したようにエッジ強調処理を行う。また、ステップＳ３０の処理が終わった後であって、ステップＳ５においてエッジ信号の絶対値が無効エッジ信号よりも大きいと判定された場合には、そのままのエッジ信号を変換されたエッジ信号として用いて、ノイズ処理がなされた輝度信号に数式２１に示したようにエッジ強調処理を行う（ステップＳ１０）。

次に、全注目領域についての処理が完了したか否かを判定し（ステップＳ１１）、完了していない場合には、上記ステップＳ２へ戻って次の注目領域について上述したような処理を繰り返して行う。

また、全注目領域についての処理が完了したと判定された場合には、数式２２に示したように、Ｒ’，Ｇ’，Ｂ’の三信号を合成する（ステップＳ８２）。

その後、公知の彩度強調処理や圧縮処理などの信号処理を行い（ステップＳ１２）、処理後の映像信号を出力して（ステップＳ１３）、この一連の処理を終了する。

このような実施形態４によれば、カラー撮像素子からの映像信号から輝度信号を分離して、ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づきノイズ成分に起因する無効エッジ信号を動的に推定し、エッジ信号を推定した無効エッジ信号により補正処理する画像処理システムを構成することが可能となる。

このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。

また、ノイズ低減処理によりノイズの影響を抑制するとともに、微細な信号を保存した高品位なエッジ成分を得ることができる。

さらに、カラー撮像素子からの信号に対応しているために、多様な撮像系に利用することができる。

そして、補間処理を行った後にノイズ処理およびエッジ抽出処理を行っているために、多様な撮像系に対して適用することができ、汎用性の高い画像処理システムとなる。

［実施形態５］
図３６から図３８は本発明の実施形態５を示したものであり、図３６は画像処理システムの構成を示すブロック図、図３７はベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した撮像素子から得られる映像信号をＹ／Ｃ分離する方法の一例を示す図、図３８は注目画素の色成分に応じた水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図である。

この実施形態５において、上述の実施形態１〜４と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

まず、図３６を参照して、この画像処理システムの構成について説明する。図３６に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。

この図３６に示す画像処理システムは、上述した実施形態２の図１６に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図１６に示したＣＣＤ１０２をカラーＣＣＤ１４００に置換し、プレホワイトバランス部１４０１とＹ／Ｃ分離手段たるＹ／Ｃ分離部１４０２とバッファ１４０３と補間部１４０４とを追加した構成になっている。その他の基本的な構成は実施形態２と同様であって、同一の構成には同一の名称と符号を付している。

以下、主として異なる部分のみを説明する。

レンズ系１００，絞り１０１，カラーＣＣＤ１４００を介して撮影された映像信号は、増幅部１０３へ転送されるようになっている。

バッファ１０５は、プレホワイトバランス部１４０１とＹ／Ｃ分離部１４０２と測光評価部１０６と合焦点検出部１０７とへそれぞれ接続されている。プレホワイトバランス部１４０１は、増幅部１０３へ接続されている。Ｙ／Ｃ分離部１４０２は、バッファ１４０３へ接続されている。バッファ１４０３は、エッジ抽出部１０９とノイズ処理部６００とへそれぞれ接続されている。ノイズ処理部６００は、無効エッジ推定部６０１と補間部１４０４とへそれぞれ接続されている。補間部１４０４は、エッジ強調部１１２へ接続されている。

また、カラーＣＣＤ１４００の近傍に配置された温度センサ１１７からの信号は、制御部１１５へ接続されている。

そして、制御部１１５は、プレホワイトバランス部１４０１，Ｙ／Ｃ分離部１４０２，補間部１４０４と双方向に接続されていて、これらを制御するようになっている。

次に、この図３６に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態５の画像処理システムの作用は、基本的に上述した実施形態２と同様であるために、主として異なる部分についてのみ説明する。

ユーザが、外部Ｉ／Ｆ部１１６の２段式スイッチでなるシャッタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。

すると、レンズ系１００および絞り１０１を介して結像される被写体像が、カラーＣＣＤ１４００により光電変換され、アナログの映像信号として出力される。

このアナログの映像信号は、増幅部１０３によってＩＳＯ感度やホワイトバランスを考慮した増幅が行われた後に、Ａ／Ｄ変換部１０４によりデジタルの映像信号に変換されて、バッファ１０５に記憶される。

なお、本実施形態においては、カラーＣＣＤ１４００として、図３７（Ａ）に示すようなベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した単板ＣＣＤを想定している。また、撮像素子としては、ＣＣＤに限るものではなく、ＣＭＯＳやその他の撮像素子を用いても構わないことは、上述した各実施形態と同様である。

続いて、バッファ１０５内の映像信号は、測光評価部１０６と、合焦点検出部１０７と、プレホワイトバランス部１４０１と、へそれぞれ転送される。

これらの内のプレホワイトバランス部１４０１は、バッファ１０５に記憶されている映像信号の内の所定レベルの範囲内の信号を色信号毎に積算する（つまり、累計的に加算する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部１４０１は、算出した係数を増幅部１０３へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。

こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１１６の２段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。

すると、プリ撮像と同様にして、映像信号がバッファ１０５へ転送される。この本撮影は、プレホワイトバランス部１４０１によって求められた簡易ホワイトバランス係数と、測光評価部１０６によって求められた露光条件と、合焦点検出部１０７によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１５へ転送される。

本撮影によって得られたバッファ１０５内の単板状態の映像信号は、Ｙ／Ｃ分離部１４０２へ転送されて、このＹ／Ｃ分離部１４０２により輝度信号Ｙと色差信号Ｃｂ，Ｃｒとへ分離される。なお、本実施形態においては、輝度信号Ｙとして単板状態のＧ信号を、色差信号Ｃｂ，Ｃｒとして単板状態のＲ，Ｂ信号を、それぞれ用いるものとする。

こうしてＹ／Ｃ分離部１４０２により分離された輝度信号および色差信号は、バッファ１４０３へ転送されて保存される。

ノイズ処理部６００は、制御部１１５の制御に基づき、図３７（Ｂ），図３７（Ｅ），図３７（Ｈ），図３７（Ｋ）に示すような５×５画素サイズの輝度信号の注目領域と、図３７（Ｃ），図３７（Ｄ）、図３７（Ｆ），図３７（Ｇ）、図３７（Ｉ），図３７（Ｊ）、図３７（Ｌ），図３７（Ｍ）に示すような５×５画素サイズの色差信号の注目領域と、を個別に順次抽出する。

従って、ノイズ処理部６００により抽出される注目領域の輝度信号Ｙと色差信号Ｃｂ，Ｃｒとは、注目画素の種類に応じて、４つのパターン、すなわち、図３７（Ｂ），図３７（Ｃ），図３７（Ｄ）に示すようなパターンと、図３７（Ｅ），図３７（Ｆ），図３７（Ｇ）に示すようなパターンと、図３７（Ｈ），図３７（Ｉ），図３７（Ｊ）に示すようなパターンと、図３７（Ｋ），図３７（Ｌ），図３７（Ｍ）に示すようなパターンと、が生じることになる。

そして、ノイズ処理部６００は、特開２００５−１７５７１８号公報に開示されているようにノイズのモデルに基づき注目画素に関するノイズ量を推定し、平滑化処理を行う。なお、以後は、推定された輝度信号のノイズ量をＮＹ、平滑化がなされた輝度信号をＮＲ＿Ｙ、平滑化がなされた色差信号をＮＲ＿Ｃｂ，ＮＲ＿Ｃｒによりそれぞれ表すことにする。ノイズ処理部６００は、推定した輝度信号に関するノイズ量ＮＹを無効エッジ推定部６０１へ、平滑化処理を行った輝度信号ＮＲ＿Ｙおよび色差信号ＮＲ＿Ｃｂ，ＮＲ＿Ｃｒを補間部１４０４へ、それぞれ転送する。

エッジ抽出部１０９は、制御部１１５の制御に基づき、バッファ１４０３内の輝度信号Ｙから、図３７（Ｂ），図３７（Ｅ），図３７（Ｈ），図３７（Ｋ）に示すような５×５画素サイズの注目領域を順次抽出して、図３８（Ａ）〜図３８（Ｄ）に示すようなエッジ抽出フィルタを用いて、注目画素におけるエッジ信号Ｅを抽出する。ここに、図３８（Ａ）は注目画素がＲまたはＢであるときの水平方向のエッジ抽出フィルタＥｈ、図３８（Ｂ）は注目画素がＧであるときの水平方向のエッジ抽出フィルタＥｈ、図３８（Ｃ）は注目画素がＲまたはＢであるときの垂直方向のエッジ抽出フィルタＥｖ、図３８（Ｄ）は注目画素がＧであるときの垂直方向のエッジ抽出フィルタＥｖ、をそれぞれ示している。

エッジ抽出部１０９は、図３８（Ａ）または図３８（Ｂ）に示したようなエッジ抽出フィルタＥｈを用いて水平方向のエッジを抽出し、図３８（Ｃ）または図３８（Ｄ）に示したようなエッジ抽出フィルタＥｖを用いて垂直方向のエッジを抽出した後に、数式１に示したようにエッジ信号Ｅを求める。エッジ抽出部１０９は、こうして抽出したエッジ信号Ｅを、エッジ補正部６０２へ転送する。

無効エッジ推定部６０１は、制御部１１５の制御に基づき、ノイズ処理部６００から輝度信号に関するノイズ量ＮＹを読み込み、注目画素におけるノイズ成分に起因する無効エッジ信号ＩＥを推定する。無効エッジ推定部６０１は、推定したノイズ成分に起因する無効エッジ信号ＩＥを、エッジ補正部６０２へ転送する。

エッジ補正部６０２は、制御部１１５の制御に基づき、エッジ抽出部１０９からのエッジ信号Ｅに対して、無効エッジ推定部６０１からの無効エッジ信号ＩＥと、所定の関数（例えば、数式１６に示すような３次関数）と、を用いて変換処理を行う。エッジ補正部６０２は、変換処理を行ったエッジ信号Ｅ’を、エッジ強調部１１２へ転送する。

補間部１４０４は、制御部１１５の制御に基づき、ノイズ処理部６００からノイズ処理がなされた輝度ＮＲ＿Ｙおよび色差信号ＮＲ＿Ｃｂ，ＮＲ＿Ｃｒを読み込み、公知の補間処理を行って、三板からなる輝度信号および色差信号を生成する。そして、補間部１４０４は、生成した三板からなる輝度信号および色差信号を、エッジ強調部１１２へ転送する。

エッジ強調部１１２は、制御部１１５の制御に基づき、補間部１４０４からの補間処理がなされた輝度信号ＮＲ＿Ｙに対して、エッジ補正部６０２からの変換処理がなされたエッジ信号Ｅ’を用いて、数式２１に示したようなエッジ強調処理を行う。そして、エッジ強調部１１２は、エッジ強調処理を行った輝度信号ＮＲ＿Ｙ’を、補間処理がなされた色差信号ＮＲ＿Ｃｂ，ＮＲ＿Ｃｒとともに、信号処理部１１３へ転送する。なお、本実施形態においては、上述したように、輝度信号ＹとしてＧ信号を、色差信号Ｃｂ，ＣｒとしてＲ，Ｂ信号をそれぞれ用いているために、Ｙ／Ｃ合成処理を行うは必要なく、そのまま信号処理部１１３により処理することができる。

なお、上述したようなノイズ処理部６００，エッジ抽出部１０９，無効エッジ推定部６０１，エッジ補正部６０２，補間部１４０４，エッジ強調部１１２の各処理は、制御部１１５の制御に基づき、５×５画素サイズの注目領域単位で同期して行われるようになっている。

信号処理部１１３は、制御部１１５の制御に基づき、エッジ強調部１１２から出力されるエッジ強調処理後の映像信号に対して、公知の彩度強調処理や圧縮処理などを行い、処理後の信号を出力部１１４へ転送する。

出力部１１４は、信号処理部１１３から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

なお、上述においては、撮像部が一体化された画像処理システムを例に挙げたが、このような構成に限定されるものではなく、上述した実施形態１と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。

また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、カラーＣＣＤ１４００からの映像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１５からの撮影時の撮像素子の温度やゲインやホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

このような実施形態５によれば、カラー撮像素子からの映像信号から輝度信号を分離して、ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づきノイズ成分に起因する無効エッジ信号を動的に推定し、エッジ信号を推定した無効エッジ信号により補正処理する画像処理システムを構成することが可能となる。

このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。

また、ノイズ低減処理によりノイズの影響を抑制するとともに、微細な信号を保存した高品位なエッジ成分を得ることができる。

さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小して低コスト化を図ることが可能となる。

そして、カラー撮像素子からの信号に対応しているために、多様な撮像系に利用することができる。

加えて、補間前の単板状態の映像信号に対してノイズ処理およびエッジ抽出処理を行っているために、より高品位な映像信号を得ることが可能となる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

［付記］
以上詳述したような本発明の上記実施形態によれば、以下のごとき構成を得ることができる。

［付記１］
撮像素子からの映像信号を処理する画像処理システムであって、
上記映像信号からエッジ信号を抽出するエッジ抽出手段と、
上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定手段と、
上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正手段と、
を具備したことを特徴とする画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１、実施形態２、実施形態３、実施形態４、および実施形態５が対応する。エッジ抽出手段は図１、図１３、図１６、図２５、図３４、または図３６に示したエッジ抽出部１０９が、無効エッジ推定手段は図１，図５，図１２，図１３に示した無効エッジ推定部１１０あるいは図１６，図１８，図１９または図３４，図３６に示したような無効エッジ推定部６０１あるいは図２５，図２８，図２９に示したような無効エッジ推定部１００５が、エッジ補正手段は図１，図１０，図１３に示したエッジ補正部１１１あるいは図１６，図２０または図３４，図３６に示したようなエッジ補正部６０２あるいは図２５，図３０に示したようなエッジ補正部１００６が、それぞれ該当する。

この発明の好ましい適用例は、エッジ抽出部１０９によってエッジ信号を抽出し、無効エッジ推定部１１０、無効エッジ推定部６０１、あるいは無効エッジ推定部１００５によってノイズ成分に起因するエッジ信号を推定し、エッジ補正部１１１、エッジ補正部６０２、あるいはエッジ補正部１００６によって上記ノイズ成分に起因するエッジ信号に基づきエッジ信号を補正する画像処理システムである。

（作用）
ノイズ成分に起因するエッジ信号を動的に推定し、原信号からのエッジ信号をノイズ成分に起因するエッジ信号に基づいて補正する。

（効果）
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。

［付記２］
上記映像信号から輝度信号を分離するＹ／Ｃ分離手段をさらに具備し、
上記エッジ抽出手段は、上記輝度信号からエッジ信号を抽出するものであり、
上記無効エッジ推定手段は、上記輝度信号に基づいてノイズ成分に起因するエッジ信号を推定するものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態３が対応する。Ｙ／Ｃ分離手段は図２５に示したＹ／Ｃ分離部１００３が、エッジ抽出手段は図２５に示したエッジ抽出部１０９が、無効エッジ推定手段は図２５，図２８，図２９に示したような無効エッジ推定部１００５が、それぞれ該当する。

この発明の好ましい適用例は、Ｙ／Ｃ分離部１００３によって映像信号から輝度信号を分離し、エッジ抽出部１０９によって輝度信号からエッジ信号を抽出し、無効エッジ推定部１００５によって輝度信号のノイズ成分に起因するエッジ信号を推定する画像処理システムである。

（作用）
撮像素子からの映像信号から輝度信号を分離し、ノイズ成分に起因するエッジ信号を動的に推定し、輝度信号からのエッジ信号をノイズ成分に起因するエッジ信号に基づいて補正する。

（効果）
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、カラー撮像素子からの信号にも対応可能であるために、多様な撮像系に利用することができる。

［付記３］
上記映像信号に対してノイズ低減処理を行うノイズ処理手段をさらに具備し、
上記無効エッジ推定手段は、上記ノイズ処理手段からの所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。ノイズ処理手段は図１６，図１７に示したノイズ処理部６００が、無効エッジ推定手段は図１６，図１８，図１９に示したような無効エッジ推定部６０１が、それぞれ該当する。

この発明の好ましい適用例は、ノイズ処理部６００によって映像信号のノイズ成分を推定することによりノイズ低減処理を行い、無効エッジ推定部６０１によって推定されたノイズ成分に基づきノイズ成分に起因するエッジ信号を推定する画像処理システムである。

（作用）
ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づいてノイズ成分に起因するエッジ信号を動的に推定する。

（効果）
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、ノイズ低減処理によりノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分を得ることができる。さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小して低コスト化を図ることが可能となる。

［付記４］
上記映像信号に対してノイズ低減処理を行うノイズ処理手段と、
上記映像信号から輝度信号を分離するＹ／Ｃ分離手段と、
をさらに具備し、
上記エッジ抽出手段は、上記輝度信号からエッジ信号を抽出するものであり、
上記無効エッジ推定手段は、上記ノイズ処理手段からの所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態４および実施形態５が対応する。ノイズ処理手段は図３４，図３６に示したノイズ処理部６００が、Ｙ／Ｃ分離手段は図３４に示したＹ／Ｃ分離部１３０３および図３６に示したＹ／Ｃ分離部１４０２が、エッジ抽出手段は図３４，図３６に示したエッジ抽出部１０９が、無効エッジ推定手段は図３４，図３６に示した無効エッジ推定部６０１が、それぞれ該当する。

この発明の好ましい適用例は、ノイズ処理部６００によって映像信号のノイズ成分を推定することによりノイズ低減処理を行い、Ｙ／Ｃ分離部１３０３またはＹ／Ｃ分離部１４０２によって映像信号から輝度信号を分離し、エッジ抽出部１０９によってノイズ低減処理がなされていない原信号からエッジ信号を抽出し、無効エッジ推定部６０１によって推定されたノイズ成分に基づきノイズ成分に起因するエッジ信号を推定する画像処理システムである。

（作用）
ノイズ成分を推定することによりノイズ低減処理を行い、撮像素子からの映像信号から輝度信号を分離し、推定されたノイズ成分に基づいてノイズ成分に起因するエッジ信号を動的に推定する。

（効果）
性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、ノイズ低減処理によりノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分を得ることができる。さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小して低コスト化を図ることが可能となる。また、カラー撮像素子からの信号にも対応可能であるために、多様な撮像系に利用することができる。

［付記５］
上記補正されたエッジ信号に基づき、上記映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態３が対応する。エッジ強調手段は、図１，図１３，図２５に示したエッジ強調部１１２が該当する。

この発明の好ましい適用例は、エッジ強調部１１２によって撮像素子からの映像信号に対してエッジ強調処理を行う画像処理システムである。

（作用）
ノイズ成分に起因するエッジ信号に基づいて補正されたエッジ信号を用いて、映像信号にエッジ強調を行う。

（効果）
多様なノイズが混在する映像信号に対しても高精度なエッジ強調処理を安定して行うことが可能となり、高品位な絵作り処理を実現することができる。

［付記６］
上記補正されたエッジ信号に基づき、上記ノイズ低減処理がなされた映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする付記３または付記４に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２および実施形態４および実施形態５が対応する。エッジ強調手段は、図１６，図３４，図３６に示したエッジ強調部１１２が該当する。

この発明の好ましい適用例は、エッジ強調部１１２によってノイズ低減処理がなされた映像信号に対してエッジ強調処理を行う画像処理システムである。

（作用）
ノイズ成分に起因するエッジ信号に基づいて補正されたエッジ信号を用いて、ノイズ低減処理がなされた映像信号にエッジ強調を行う。

（効果）
多様なノイズが混在する映像信号に対しても高精度なエッジ強調処理を安定して行うことが可能となり、高品位な絵作り処理を実現することができる。また、ノイズの影響を抑制した高品位な映像信号を生成することができる。

［付記７］
上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記映像信号に基づいて上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１が対応する。記録手段は図１２に示したパラメータ用ＲＯＭ４０１が、パラメータ選択手段は図１２に示したパラメータ選択部２０４が、補間手段は図１２に示した補間部２０５が、それぞれ該当する。

この発明の好ましい適用例は、パラメータ用ＲＯＭ４０１に、予め測定しておいたノイズ成分に起因するエッジ信号を推定するために使用される基準エッジモデルの係数を記録し、パラメータ選択部２０４によって基準エッジモデルの係数を選択し、補間部２０５によって映像信号と基準エッジモデルとに基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。

（作用）
映像信号と基準エッジモデルとに基づいて補間処理を行うことにより、ノイズ成分に起因するエッジ信号を求める。

（効果）
ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、システムを低コストに構成することが可能となる。

［付記８］
上記無効エッジ推定手段は、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態３が対応する。テーブル変換手段は、図２９に示したような無効エッジテーブル部１１０１が該当する。

この発明の好ましい適用例は、無効エッジテーブル部１１０１によって映像信号に基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。

（作用）
映像信号と変換テーブルとを用いて、ノイズ成分に起因するエッジ信号を求める。

（効果）
ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。

［付記９］
上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記映像信号と、に基づいて、上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１が対応する。記録手段は図５に示したパラメータ用ＲＯＭ２０３が、収集手段は図１に示した温度センサ１１７，制御部１１５および図５に示したゲイン算出部２０１が、付与手段は図５に示した標準値付与部２０２が、パラメータ選択手段は図５に示したパラメータ選択部２０４が、補間手段は図５に示した補間部２０５，補正部２０６が、それぞれ該当する。

この発明の好ましい適用例は、温度センサ１１７，制御部１１５およびゲイン算出部２０１によってノイズ成分に起因するエッジ信号の推定に用いる情報を収集し、標準値付与部２０２によって温度センサ１１７，制御部１１５およびゲイン算出部２０１からの情報が得られない場合に標準値を設定し、パラメータ用ＲＯＭ２０３に予め測定しておいたノイズ成分に起因するエッジ信号を推定するために使用される基準エッジモデルの係数と補正係数とを記録し、パラメータ選択部２０４によって基準エッジモデルの係数と補正係数とを選択し、補間部２０５，補正部２０６によって映像信号と基準エッジモデルとに基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。

（作用）
ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報と映像信号と基準エッジモデルとに基づいて補間処理を行うことによりノイズ成分に起因するエッジ信号を求める。

（効果）
撮影毎に異なる条件に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でも、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。さらに、ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、低コストなシステムを構成することが可能となる。

［付記１０］
上記無効エッジ推定手段は、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換手段と、
を有するものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態３が対応する。収集手段は図２５に示した温度センサ１１７，制御部１１５および図２８に示したようなゲイン算出部２０１が、付与手段は図２８に示したような標準値付与部２０２が、テーブル変換手段は図２８に示したような無効エッジテーブル部１１００が、それぞれ該当する。

この発明の好ましい適用例は、温度センサ１１７，制御部１１５およびゲイン算出部２０１によってノイズ成分に起因するエッジ信号の推定に用いる情報を収集し、標準値付与部２０２によって温度センサ１１７，制御部１１５およびゲイン算出部２０１からの情報が得られない場合に標準値を設定し、無効エッジテーブル部１１００によって映像信号に基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。

（作用）
ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報と映像信号と変換テーブルとを用いてノイズ成分に起因するエッジ信号を求める。

（効果）
撮影毎に異なる条件に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でも、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。さらに、ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。

［付記１１］
上記ノイズ処理手段は、
上記映像信号からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減手段と、
を有するものであることを特徴とする付記３または付記４に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。ノイズ推定手段は図１６に示した温度センサ１１７，制御部１１５および図１７に示したゲイン算出部７０１，標準値付与部７０２，ノイズテーブル部７０３が、ノイズ低減手段は図１７に示した第１スムージング部７０５，第２スムージング部７０６が、それぞれ該当する。

この発明の好ましい適用例は、温度センサ１１７，制御部１１５およびゲイン算出部７０１によってノイズ量推定に用いる情報を収集し、標準値付与部７０２によって温度センサ１１７，制御部１１５およびゲイン算出部７０１からの情報が得られない場合に標準値を設定し、ノイズテーブル部７０３によってノイズ量を推定し、第１スムージング部７０５によってノイズ範囲に属すると判定された映像信号に平滑化を行い、第２スムージング部７０６によってノイズ範囲に属さないと判定された映像信号に補正を行う画像処理システムである。

（作用）
ノイズ量に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報からテーブルを用いてノイズ量を推定し、ノイズ範囲に属すると判定された映像信号には平滑化処理を、ノイズ範囲に属さないと判定された映像信号には補正処理を、それぞれ行う。

（効果）
撮影毎に異なる条件に動的に適応して、ノイズ量の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でもノイズ量の推定が可能となり、安定したノイズ低減効果を得ることができる。さらに、ノイズ量の算出にテーブルを用いているために、処理を高速に行うことが可能となる。また、平滑化処理と補正処理とを組み合わせて使用しているために、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な信号を得ることができる。

［付記１２］
上記無効エッジ推定手段は、
基準エッジモデルに関するパラメータ群を記録する記録手段と、
上記ノイズ処理手段からのノイズ量に基づいて上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記ノイズ処理手段からのノイズ量と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
を有するものであることを特徴とする付記１１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。記録手段は図１８に示したようなパラメータ用ＲＯＭ８０１が、パラメータ選択手段は図１８に示したようなパラメータ選択部８００が、補間手段は図１８に示したような補間部８０２が、それぞれ該当する。

この発明の好ましい適用例は、パラメータ用ＲＯＭ８０１に予め測定しておいたノイズ成分に起因するエッジ信号を推定するために使用される基準エッジモデルの係数を記録し、パラメータ選択部８００によって基準エッジモデルの係数を選択し、補間部８０２によってノイズ量と基準エッジモデルとに基づいてノイズ成分に起因するエッジ信号を求める画像処理システムである。

（作用）
ノイズ量と基準エッジモデルとに基づいて補間処理を行うことによりノイズ成分に起因するエッジ信号を求める。

（効果）
ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、低コストなシステムを構成することが可能となる。

［付記１３］
上記無効エッジ推定手段は、上記ノイズ処理手段からのノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする付記１１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。記録手段は、図１９に示したような無効エッジテーブル部８０３が該当する。

この発明の好ましい適用例は、無効エッジテーブル部８０３によってノイズ量からノイズ成分に起因するエッジ信号を求める画像処理システムである。

（作用）
ノイズ量と変換テーブルとを用いて、ノイズ成分に起因するエッジ信号を求める。

（効果）
ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。

［付記１４］
上記収集手段は、上記撮像素子の温度値を測定する温度センサを有するものであることを特徴とする付記９または付記１０に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態３が対応する。温度センサは、図１，図２５に示した温度センサ１１７が該当する。

この発明の好ましい適用例は、温度センサ１１７からＣＣＤ１０２またはカラーＣＣＤ１０００の温度をリアルタイムで測定する画像処理システムである。

（作用）
撮影時の撮像素子の温度を計測して、ノイズ成分に起因するエッジ信号を推定するための情報とする。

（効果）
撮影時の温度変化に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。

［付記１５］
上記収集手段は、ＩＳＯ感度と露出情報とホワイトバランス情報との内の少なくとも１つの情報に基づいて上記ゲイン値を求めるゲイン算出手段を有するものであることを特徴とする付記９または付記１０に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態３が対応する。ゲイン算出手段は、図５，図２８に示したようなゲイン算出部２０１，制御部１１５が該当する。

この発明の好ましい適用例は、制御部１１５によってＩＳＯ感度，露出情報，ホワイトバランス情報などを転送し、ゲイン算出部２０１によって撮影時のトータルのゲイン量を求める画像処理システムである。

（作用）
ＩＳＯ感度，露出情報，ホワイトバランス情報から撮影時のゲイン量を求めて、ノイズ成分に起因するエッジ信号を推定するための情報とする。

（効果）
撮影時のゲイン変化に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。

［付記１６］
上記エッジ補正手段は、上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号に対してコアリング処理を行うコアリング手段を有するものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１が対応する。コアリング手段は、図１０に示したような加算部３０１，減算部３０２，置換部３０３が該当する。

この発明の好ましい適用例は、加算部３０１，減算部３０２，置換部３０３によって推定されたノイズ成分に起因するエッジ信号に基づき、エッジ信号にコアリング処理を行う画像処理システムである。

（作用）
ノイズ成分に起因するエッジ信号に基づいて、エッジ信号にコアリング処理を行う。

（効果）
性質が同一であるエッジ信号に基づいてエッジ信号をコアリング処理するために、多様なノイズが混在する映像信号に対してもエッジ成分を安定して高精度に得ることができる。

［付記１７］
上記エッジ補正手段は、
上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号の補正に用いる関数の定数項を算出する定数算出手段と、
上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換手段と、
を有するものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。定数算出手段は図２０に示したような定数算出部９０１が、関数変換手段は図２０に示したような変換部９０２が、それぞれ該当する。

この発明の好ましい適用例は、定数算出部９０１によってノイズ成分に起因するエッジ信号に基づきエッジ信号の補正に用いる関数の定数項を算出し、変換部９０２によって定数項を設定した関数に基づきエッジ信号を変換する画像処理システムである。

（作用）
ノイズ成分に起因するエッジ信号に基づいてエッジ信号の補正に用いる関数の定数項を算出し、定数項を設定した関数に基づいてエッジ信号を変換する。

（効果）
ノイズ成分に起因するエッジ信号に適用的に追随して最適な変換処理を実施するために、多様なノイズが混在する映像信号に対してもエッジ成分を安定して高精度に得ることができる。

［付記１８］
上記関数変換手段は、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには１次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには３次関数を、用いるものであることを特徴とする付記１７に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。

この発明の好ましい適用例は、図２１に示したような１次関数および３次関数を組み合わせて、エッジ信号の変換を行う画像処理システムである。

（作用）
１次関数および３次関数を組み合わせて、エッジ信号の変換を行う。

（効果）
１次関数および３次関数を組み合わせることにより、定数項の算出が単純となり、処理の高速化と低コスト化とを図ることが可能となる。また、補正後のエッジ信号の連続性を確保することができるために、高品位なエッジ信号を得ることができる。

［付記１９］
上記エッジ補正手段は、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正手段を有するものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態３が対応する。テーブル補正手段は、図３０に示したエッジ補正テーブル部１２００が該当する。

この発明の好ましい適用例は、エッジ補正テーブル部１２００によってノイズ成分に起因するエッジ信号に基づきエッジ信号を補正する画像処理システムである。

（作用）
ノイズ成分に起因するエッジ信号と変換テーブルとを用いて、エッジ信号を補正する。

（効果）
エッジ信号の補正に変換テーブルを用いているために、高精度なエッジ信号の補正を高速に行うことが可能となる。

［付記２０］
上記撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子、であることを特徴とする付記２または付記４に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態３および実施形態５が対応する。

この発明の好ましい適用例は、図２６，図３７（Ａ）に示したようなベイヤー（Ｂａｙｅｒ）型原色フィルタ、または図２７に示したような色差線順次型補色フィルタを単板撮像素子の前面に配置した画像処理システムである。

（作用）
ベイヤー（Ｂａｙｅｒ）型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる。

（効果）
従来の撮影部との親和性が高いために、多くの画像処理システムへ適用することが可能となる。

［付記２１］
コンピュータに、撮像素子からの映像信号を処理させるための画像処理プログラムであって、
コンピュータに、
上記映像信号からエッジ信号を抽出するエッジ抽出ステップと、
上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定ステップと、
上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正ステップと、
を実行させるための画像処理プログラム。

（対応する発明の実施形態と効果）
付記１とほぼ同様である。ただし、各ステップは、図１４，図１５、または図２２，図２３，図２４、または図３２，図３３、または図３５に示したステップが対応する。

［付記２２］
上記映像信号から輝度信号を分離するＹ／Ｃ分離ステップをさらに含み、
上記エッジ抽出ステップは、上記輝度信号からエッジ信号を抽出するステップであり、
上記無効エッジ推定ステップは、上記輝度信号に基づいてノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記２１に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記２とほぼ同様である。ただし、各ステップは、図３２，図３３に示したステップが対応する。

［付記２３］
上記映像信号に対してノイズ低減処理を行うノイズ処理ステップをさらに含み、
上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記２１に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記３とほぼ同様である。ただし、各ステップは、図２２，図２３，図２４に示したステップが対応する。

［付記２４］
上記映像信号に対してノイズ低減処理を行うノイズ処理ステップと、
上記映像信号から輝度信号を分離するＹ／Ｃ分離ステップと、
をさらに含み、
上記エッジ抽出ステップは、上記輝度信号からエッジ信号を抽出するステップであり、
上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記２１に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記４とほぼ同様である。ただし、各ステップは、図３５に示したステップが対応する。

［付記２５］
上記無効エッジ推定ステップは、
上記映像信号に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする付記２１に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記７とほぼ同様である。ただし、各ステップは、図１４，図１５、または図２２，図２３，図２４、または図３２，図３３、または図３５に示したステップが対応する。

［付記２６］
上記無効エッジ推定ステップは、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする付記２１に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記８とほぼ同様である。ただし、各ステップは、図３２，図３３に示したステップが対応する。

［付記２７］
上記無効エッジ推定ステップは、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集ステップと、
上記収集ステップにより得ることができない情報に関して標準値を付与する付与ステップと、
上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする付記２１に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記９とほぼ同様である。ただし、各ステップは、図１４，図１５、または図２２，図２３，図２４、または図３２，図３３、または図３５に示したステップが対応する。

［付記２８］
上記無効エッジ推定ステップは、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集ステップと、
上記収集ステップにより得ることができない情報に関して標準値を付与する付与ステップと、
上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換ステップと、
を含むステップであることを特徴とする付記２１に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記１０とほぼ同様である。ただし、各ステップは、図３２，図３３に示したステップが対応する。

［付記２９］
上記ノイズ処理ステップは、
上記映像信号からノイズ量を推定するノイズ推定ステップと、
上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減ステップと、
を含むステップであることを特徴とする付記２３または付記２４に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記１１とほぼ同様である。ただし、各ステップは、図２２，図２３，図２４に示したステップが対応する。

［付記３０］
上記無効エッジ推定ステップは、
上記ノイズ処理ステップにより得られたノイズ量に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
上記ノイズ処理ステップにより得られたノイズ量と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
を含むステップであることを特徴とする付記２９に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記１２とほぼ同様である。ただし、各ステップは、図２２，図２３，図２４に示したステップが対応する。

［付記３１］
上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られたノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする付記２９に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記１３とほぼ同様である。ただし、各ステップは、図２２，図２３，図２４に示したステップが対応する。

［付記３２］
上記エッジ補正ステップは、上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号に対してコアリング処理を行うコアリングステップを含むステップであることを特徴とする付記２１に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記１６とほぼ同様である。ただし、各ステップは、図１４，図１５、または図２２，図２３，図２４、または図３２，図３３、または図３５に示したステップが対応する。

［付記３３］
上記エッジ補正ステップは、
上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号の補正に用いる関数の定数項を算出する定数算出ステップと、
上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換ステップと、
を含むステップであることを特徴とする付記２１に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記１７とほぼ同様である。ただし、各ステップは、図２２，図２３，図２４に示したステップが対応する。

［付記３４］
上記関数変換ステップは、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには１次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには３次関数を、用いるステップであることを特徴とする付記３３に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記１８とほぼ同様である。ただし、各ステップは、図２２，図２３，図２４に示したステップが対応する。

［付記３５］
上記エッジ補正ステップは、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正ステップを含むステップであることを特徴とする付記２１に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記１９とほぼ同様である。ただし、各ステップは、図３２，図３３に示したステップが対応する。

本出願は、２００５年１０月２６日に日本国に出願された特願２００５−３１１７０４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (35)

1. 撮像素子からの映像信号を処理する画像処理システムであって、
   上記映像信号からエッジ信号を抽出するエッジ抽出手段と、
   上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定手段と、
   上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正手段と、
   を具備したことを特徴とする画像処理システム。
2. 上記映像信号から輝度信号を分離するＹ／Ｃ分離手段をさらに具備し、
   上記エッジ抽出手段は、上記輝度信号からエッジ信号を抽出するものであり、
   上記無効エッジ推定手段は、上記輝度信号に基づいてノイズ成分に起因するエッジ信号を推定するものであることを特徴とする請求項１に記載の画像処理システム。
3. 上記映像信号に対してノイズ低減処理を行うノイズ処理手段をさらに具備し、
   上記無効エッジ推定手段は、上記ノイズ処理手段からの所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする請求項１に記載の画像処理システム。
4. 上記映像信号に対してノイズ低減処理を行うノイズ処理手段と、
   上記映像信号から輝度信号を分離するＹ／Ｃ分離手段と、
   をさらに具備し、
   上記エッジ抽出手段は、上記輝度信号からエッジ信号を抽出するものであり、
   上記無効エッジ推定手段は、上記ノイズ処理手段からの所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする請求項１に記載の画像処理システム。
5. 上記補正されたエッジ信号に基づき、上記映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする請求項１に記載の画像処理システム。
6. 上記補正されたエッジ信号に基づき、上記ノイズ低減処理がなされた映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする請求項３または請求項４に記載の画像処理システム。
7. 上記無効エッジ推定手段は、
   基準エッジモデルに関するパラメータ群を記録する記録手段と、
   上記映像信号に基づいて上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
   上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
   を有するものであることを特徴とする請求項１に記載の画像処理システム。
8. 上記無効エッジ推定手段は、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする請求項１に記載の画像処理システム。
9. 上記無効エッジ推定手段は、
   基準エッジモデルに関するパラメータ群を記録する記録手段と、
   上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、
   上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
   上記収集手段または上記付与手段からの情報と、上記映像信号と、に基づいて、上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
   上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
   を有するものであることを特徴とする請求項１に記載の画像処理システム。
10. 上記無効エッジ推定手段は、
    上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、
    上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
    上記収集手段または上記付与手段からの情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換手段と、
    を有するものであることを特徴とする請求項１に記載の画像処理システム。
11. 上記ノイズ処理手段は、
    上記映像信号からノイズ量を推定するノイズ推定手段と、
    上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減手段と、
    を有するものであることを特徴とする請求項３または請求項４に記載の画像処理システム。
12. 上記無効エッジ推定手段は、
    基準エッジモデルに関するパラメータ群を記録する記録手段と、
    上記ノイズ処理手段からのノイズ量に基づいて上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
    上記ノイズ処理手段からのノイズ量と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、
    を有するものであることを特徴とする請求項１１に記載の画像処理システム。
13. 上記無効エッジ推定手段は、上記ノイズ処理手段からのノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする請求項１１に記載の画像処理システム。
14. 上記収集手段は、上記撮像素子の温度値を測定する温度センサを有するものであることを特徴とする請求項９または請求項１０に記載の画像処理システム。
15. 上記収集手段は、ＩＳＯ感度と露出情報とホワイトバランス情報との内の少なくとも１つの情報に基づいて上記ゲイン値を求めるゲイン算出手段を有するものであることを特徴とする請求項９または請求項１０に記載の画像処理システム。
16. 上記エッジ補正手段は、上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号に対してコアリング処理を行うコアリング手段を有するものであることを特徴とする請求項１に記載の画像処理システム。
17. 上記エッジ補正手段は、
    上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号の補正に用いる関数の定数項を算出する定数算出手段と、
    上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換手段と、
    を有するものであることを特徴とする請求項１に記載の画像処理システム。
18. 上記関数変換手段は、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには１次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには３次関数を、用いるものであることを特徴とする請求項１７に記載の画像処理システム。
19. 上記エッジ補正手段は、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正手段を有するものであることを特徴とする請求項１に記載の画像処理システム。
20. 上記撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子、であることを特徴とする請求項２または請求項４に記載の画像処理システム。
21. コンピュータに、撮像素子からの映像信号を処理させるための画像処理プログラムであって、
    コンピュータに、
    上記映像信号からエッジ信号を抽出するエッジ抽出ステップと、
    上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定ステップと、
    上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエッジ補正ステップと、
    を実行させるための画像処理プログラム。
22. 上記映像信号から輝度信号を分離するＹ／Ｃ分離ステップをさらに含み、
    上記エッジ抽出ステップは、上記輝度信号からエッジ信号を抽出するステップであり、
    上記無効エッジ推定ステップは、上記輝度信号に基づいてノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする請求項２１に記載の画像処理プログラム。
23. 上記映像信号に対してノイズ低減処理を行うノイズ処理ステップをさらに含み、
    上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする請求項２１に記載の画像処理プログラム。
24. 上記映像信号に対してノイズ低減処理を行うノイズ処理ステップと、
    上記映像信号から輝度信号を分離するＹ／Ｃ分離ステップと、
    をさらに含み、
    上記エッジ抽出ステップは、上記輝度信号からエッジ信号を抽出するステップであり、
    上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする請求項２１に記載の画像処理プログラム。
25. 上記無効エッジ推定ステップは、
    上記映像信号に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
    上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
    を含むステップであることを特徴とする請求項２１に記載の画像処理プログラム。
26. 上記無効エッジ推定ステップは、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする請求項２１に記載の画像処理プログラム。
27. 上記無効エッジ推定ステップは、
    上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集ステップと、
    上記収集ステップにより得ることができない情報に関して標準値を付与する付与ステップと、
    上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
    上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
    を含むステップであることを特徴とする請求項２１に記載の画像処理プログラム。
28. 上記無効エッジ推定ステップは、
    上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集ステップと、
    上記収集ステップにより得ることができない情報に関して標準値を付与する付与ステップと、
    上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換ステップと、
    を含むステップであることを特徴とする請求項２１に記載の画像処理プログラム。
29. 上記ノイズ処理ステップは、
    上記映像信号からノイズ量を推定するノイズ推定ステップと、
    上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減ステップと、
    を含むステップであることを特徴とする請求項２３または請求項２４に記載の画像処理プログラム。
30. 上記無効エッジ推定ステップは、
    上記ノイズ処理ステップにより得られたノイズ量に基づいて、基準エッジモデルに関するパラメータ群から必要となるパラメータを選択するパラメータ選択ステップと、
    上記ノイズ処理ステップにより得られたノイズ量と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、
    を含むステップであることを特徴とする請求項２９に記載の画像処理プログラム。
31. 上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られたノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする請求項２９に記載の画像処理プログラム。
32. 上記エッジ補正ステップは、上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号に対してコアリング処理を行うコアリングステップを含むステップであることを特徴とする請求項２１に記載の画像処理プログラム。
33. 上記エッジ補正ステップは、
    上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号の補正に用いる関数の定数項を算出する定数算出ステップと、
    上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換ステップと、
    を含むステップであることを特徴とする請求項２１に記載の画像処理プログラム。
34. 上記関数変換ステップは、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには１次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには３次関数を、用いるステップであることを特徴とする請求項３３に記載の画像処理プログラム。
35. 上記エッジ補正ステップは、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正ステップを含むステップであることを特徴とする請求項２１に記載の画像処理プログラム。

Images