WO2007049418A1

WO2007049418A1 - 画像処理システム、画像処理プログラム

Info

Publication number: WO2007049418A1
Application number: PCT/JP2006/318967
Authority: WO
Inventors: Takao Tsuruoka
Original assignee: Olympus Corporation
Priority date: 2005-10-26
Filing date: 2006-09-25
Publication date: 2007-05-03
Also published as: CN101278552A; EP1947840A4; US20080204577A1; US8035705B2; EP1947840A1; JPWO2007049418A1

Abstract

　映像信号を出力するＣＣＤ（１０２）と、映像信号からエッジ信号を抽出するエッジ抽出部（１０９）と、映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定部（１１０）と、エッジ信号をノイズ成分に起因するエッジ信号に基づいてコアリング処理し補正するエッジ補正部（１１１）と、補正されたエッジ信号に基づき映像信号に対して強調処理を行うエッジ強調部（１１２）と、を備えた画像処理システム。

Description

明細書

画像処理システム、画像処理プログラム

技術分野

[0001] 本発明は、撮像素子からの映像信号カゝらエッジ信号を抽出する画像処理システム

、画像処理プログラムに関する。

背景技術

[0002] デジタルカメラやデジタルビデオカメラ等のデジタル撮像装置は、一般的に、撮像素子と、この撮像素子から出力されるアナログ信号に各種のアナログ処理を行うアナログ回路と、このアナログ回路の信号をデジタル信号に変換する AZDコンバータと、を有して構成されている。

[0003] このようなデジタル撮像装置の AZDコンバータ力得られるデジタル信号中には、一般に、多様なノイズ成分が含まれている。このようなノイズ成分を含む映像信号からエッジ信号を抽出する場合には、コアリングと呼ばれる処理を行うことによりノイズ成分の影響を抑制することが従来より行われて、る。

[0004] こうした技術として、例えば特開平 8— 107565号公報には、 R, G, Bの信号毎にエッジ成分を抽出し、所定の雑音識別基準値に基づくコアリング処理を行う技術が記載されている。これにより、熱雑音の影響を低減して、エッジ成分の抽出をより高精度に行うことが可能となる。

[0005] また、特開平 9— 121366号公報には、 R, G, Bの信号間の相関性とエッジ信号の振幅とに基づ、てノイズであるカゝ否かを識別し、ノイズであると識別された場合にコアリング処理を行う技術が記載されている。これにより、各色信号間のノイズの影響を抑制して、エッジ成分の抽出をより高精度に行うことが可能となる。

[0006] さらに、特開 2005— 130297号公報には、映像信号力らノイズ成分を動的に推定して、コアリング処理を動的に制御する技術が記載されている。これにより、動的に変化するノイズ成分に追随した高精度なエッジ成分の抽出が可能となる。

[0007] そして、特開 2005— 175718号公報には、輝度信号および色差信号に関するノィズ量を動的に推定して、高品位なノイズ低減処理を行う技術が記載されてヽる。 [0008] 上述したような特開平 8— 107565号公報に記載の技術は、雑音識別基準値が静的に与えられるものとなっている。し力しながら、撮像素子に起因するノイズは、映像信号のレベル，ゲイン，撮影時の撮像素子の温度などの要因により、動的に変化する。従って、該公報に記載の技術は、各要因の動的変化に対応した最適なノイズ推定を行うことができず、コアリング処理の精度が低下する場合があると、う課題がある。また、該公報に記載の技術は、ノイズ成分によりエッジ信号を補正するものであるが、ノイズ成分とエッジ信号とは性質が異なるために、必ずしも高い精度で補正することができな!/、と!/、う課題がある。

[0009] また、上記特開平 9 121366号公報に記載の技術は、色信号間の相関性に基づいてノイズの識別を行うものであるために、色信号間の相関性が少ない被写体、例えば単一色に近い被写体などでは、コアリング処理の精度が低下し、ひいてはエッジ成分の抽出精度が低下するという課題がある。さらに、該公報に記載の技術は、ノィズ成分によりエッジ信号を補正するものであるために、上述した理由により、補正の精度が低下するという課題がある。

[0010] そして、上記特開 2005— 130297号公報に記載の技術も、ノイズ成分によりエッジ信号を補正するものであるために、上述した理由により、補正の精度が低下するという課題がある。

[0011] ところで、上記特開 2005— 175718号公報に記載の技術は、エッジ成分の抽出を高精度に行うことを目的としたものではないが、ノイズ低減処理とエッジ抽出処理とを独立して行うことが記載されている。従って、ノイズ低減処理とエッジ抽出処理とを相互にうまく活用することができな、と、う課題がある。

[0012] 本発明は上記事情に鑑みてなされたものであり、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能な画像処理システム

、画像処理プログラムを提供することを目的としている。

[0013] また、本発明は、高品位な映像信号を得ることができる低コストな画像処理システム

、画像処理プログラムを提供することを目的としている。

発明の開示

課題を解決するための手段 [0014] 上記の目的を達成するために、第 1の発明による画像処理システムは、撮像素子からの映像信号を処理する画像処理システムであって、上記映像信号からエッジ信号を抽出するエッジ抽出手段と、上記映像信号に基づいてノイズ成分に起因するエツジ信号を推定する無効エッジ推定手段と、上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づ、て補正するエッジ補正手段と、を具備したものである。

[0015] また、本発明による画像処理プログラムは、コンピュータに、撮像素子からの映像信号を処理させるための画像処理プログラムであって、コンピュータに、上記映像信号力もエッジ信号を抽出するエッジ抽出ステップと、上記映像信号に基づヽてノイズ成分に起因するエッジ信号を推定する無効エッジ推定ステップと、上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づ、て補正するエッジ補正ステップと、を実行させるためのプログラムである。

図面の簡単な説明

[0016] [図 1]本発明の実施形態 1における画像処理システムの構成を示すブロック図。

[図 2]上記実施形態 1にお、て、エッジ抽出処理に用いる 3 X 3画素でなる注目領域の構成を示す図。

[図 3]上記実施形態 1にお、て、 3 X 3画素の注目領域に適用し得る等方性エッジ抽出フィルタの構成を示す図。

[図 4]上記実施形態 1にお、て、 3 X 3画素の注目領域に適用し得る水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図。

[図 5]上記実施形態 1における無効エッジ推定部の構成を示すブロック図。

[図 6]上記実施形態 1におヽて、信号レベルに対するノイズ量の関係を示す線図。

[図 7]上記実施形態 1におヽて、ノイズ量に対する無効エッジ信号の関係を示す線図

[図 8]上記実施形態 1におけるエッジモデルを示す線図。

[図 9]上記実施形態 1にお、て、エッジモデルに基づく無効エッジ信号の算出方法を説明するための線図。

[図 10]上記実施形態 1におけるエッジ補正部の構成を示すブロック図。

[図 11]上記実施形態 1において、エッジ補正部におけるコアリング処理の応答を示す線図。

[図 12]上記実施形態 1における無効エッジ推定部の他の構成例を示すブロック図。

[図 13]上記実施形態 1における画像処理システムの他の構成例を示すブロック図。

[図 14]上記実施形態 1にお、て、画像処理プログラムによる信号処理全体の流れを示すフローチャート。

[図 15]図 14のステップ S4における無効エッジ推定の処理の詳細を示すフローチヤ一ト。

[図 16]本発明の実施形態 2における画像処理システムの構成を示すブロック図。

[図 17]上記実施形態 2におけるノイズ処理部の構成を示すブロック図。

[図 18]上記実施形態 2における無効エッジ推定部の一構成例を示すブロック図。

[図 19]上記実施形態 2における無効エッジ推定部の他の構成例を示すブロック図。

[図 20]上記実施形態 2におけるエッジ補正部の構成を示すブロック図。

[図 21]上記実施形態 2において、エッジ補正部におけるコアリング処理の応答を示す線図。

[図 22]上記実施形態 2にお、て、画像処理プログラムによる信号処理全体の流れを示すフローチャート。

[図 23]図 22のステップ S30におけるノイズ処理の詳細を示すフローチャート。

[図 24]図 22のステップ S31における無効エッジ推定の処理の詳細を示すフローチヤート。

[図 25]本発明の実施形態 3における画像処理システムの構成を示すブロック図。

[図 26]上記実施形態 3において、べィヤー（Bayer)型原色フィルタの構成を示す図圆 27]上記実施形態 3において、色差線順次型補色フィルタの構成を示す図。

[図 28]上記実施形態 3における無効エッジ推定部の一構成例を示すブロック図。

[図 29]上記実施形態 3における無効エッジ推定部の他の構成例を示すブロック図。

[図 30]上記実施形態 3におけるエッジ補正部の構成を示すブロック図。

[図 31]上記実施形態 3において、コアリング処理における応答の各例を示す線図。

[図 32]上記実施形態 3にお、て、画像処理プログラムによる信号処理全体の流れを示すフローチャート。

[図 33]図 32のステップ S62における無効エッジ推定の処理の詳細を示すフローチヤート。

[図 34]本発明の実施形態 4における画像処理システムの構成を示すブロック図。

[図 35]上記実施形態 4にお、て、画像処理プログラムによる信号処理全体の流れを示すフローチャート。

[図 36]本発明の実施形態 5における画像処理システムの構成を示すブロック図。

[図 37]上記実施形態 5において、べィヤー（Bayer)型原色フィルタを前面に配置した撮像素子カゝら得られる映像信号を YZC分離する方法の一例を示す図。

[図 38]上記実施形態 5において、注目画素の色成分に応じた水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図。

発明を実施するための最良の形態

[0017] 以下、図面を参照して本発明の実施の形態を説明する。

[0018] [実施形態 1]

図 1から図 15は本発明の実施形態 1を示したものであり、図 1は画像処理システムの構成を示すブロック図、図 2はエッジ抽出処理に用いる 3 X 3画素でなる注目領域の構成を示す図、図 3は 3 X 3画素の注目領域に適用し得る等方性エッジ抽出フィルタの構成を示す図、図 4は 3 X 3画素の注目領域に適用し得る水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図、図 5は無効エッジ推定部の構成を示すブロック図、図 6は信号レベルに対するノイズ量の関係を示す線図、図 7はノイズ量に対する無効エッジ信号の関係を示す線図、図 8はエッジモデルを示す線図、図 9はエッジモデルに基づく無効エッジ信号の算出方法を説明するための線図、図 10 はエッジ補正部の構成を示すブロック図、図 11はエッジ補正部におけるコアリング処理の応答を示す線図、図 12は無効エッジ推定部の他の構成例を示すブロック図、図 13は画像処理システムの他の構成例を示すブロック図、図 14は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図 15は図 14のステップ S4における無効エッジ推定の処理の詳細を示すフローチャートである。

[0019] まず、図 1を参照して、この画像処理システムの構成について説明する。図 1に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となつている。

[0020] この画像処理システムは、レンズ系 100と、絞り 101と、 CCD102と、温度センサ 11 7と、増幅部 103と、 AZD変換部 104と、バッファ 105と、測光評価部 106と、合焦点検出部 107と、 AFモータ 108と、エッジ抽出部 109と、無効エッジ推定部 110と、ェッジ補正部 111と、エッジ強調部 112と、信号処理部 113と、出力部 114と、制御部 1 15と、外部 IZF部 116と、を含んでいる。

[0021] レンズ系 100は、被写体の光学像を CCD102の撮像面へ結像するためのものである。

[0022] 絞り 101は、レンズ系 100により結像される被写体光束の通過範囲を規定することにより、 CCD102の撮像面に結像される光学像の明るさを変更するためのものである

[0023] CCD102は、結像される光学像を光電変換して、アナログの映像信号として出力するための撮像素子である。なお、本実施形態においては、 CCD102として、白黒用単板 CCDを想定している。また、撮像素子も、 CCDに限るものではなぐ CMOS やその他の撮像素子を用いてももちろん構わな、。

[0024] 温度センサ 117は、収集手段，ノイズ推定手段であって、この CCD102の温度を実質的に計測して、制御部 115へ出力するものである。

[0025] 増幅部 103は、 CCD102から出力される映像信号を増幅するためのものである。この増幅部 103による増幅量は、制御部 115の制御に基づき、測光評価部 106により設定されるようになっている。

[0026] AZD変換部 104は、制御部 115の制御に基づき、 CCD102から出力され増幅部

103により増幅されたアナログの映像信号を、デジタルの映像信号に変換するためのものである。

[0027] バッファ 105は、 AZD変換部 104から出力されたデジタルの映像信号を一時的に記憶するためのものである。

[0028] 測光評価部 106は、プリ撮影モード時に、制御部 115の制御に基づき、バッファ 10

5に記憶されている映像信号中の輝度レベルを求めて、設定されている ISO感度や手ぶれ限界のシャツタ速度などを考慮して、適正露光となるような絞り 101の絞り値や CCD102の電子シャツタ速度や増幅部 103の増幅率などを制御するものである。

[0029] 合焦点検出部 107は、プリ撮影モード時に、制御部 115の制御に基づき、バッファ 105に記憶されている映像信号中のエッジ強度を検出して、このエッジ強度が最大となるように AFモータ 108を制御することにより、合焦信号を得るようにするものである

[0030] AFモータ 108は、合焦点検出部 107に制御されて、レンズ系 100に含まれる AFレンズを駆動するための駆動源である。

[0031] エッジ抽出部 109は、本撮影時に、制御部 115の制御に基づき、バッファ 105に記憶されている映像信号から図 2に示すような 3 X 3画素サイズの注目領域を順次抽出して、例えば図 3に示すようなエッジ抽出フィルタを用いて注目画素におけるエッジ信号 Eを抽出するエッジ抽出手段である。

[0032] 無効エッジ推定部 110は、本撮影時に、制御部 115の制御に基づき、バッファ 105 に記憶されている映像信号から、エッジ抽出部 109と同一の 3 X 3画素サイズの注目領域を順次抽出して、注目画素 P におけるノイズ成分に起因する無効エッジ信号 IE

11

を推定する無効エッジ推定手段である。

[0033] エッジ補正部 111は、制御部 115の制御に基づき、エッジ抽出部 109からのエッジ信号 Eに対して、無効エッジ推定部 110からの無効エッジ信号 IEを用いて、コアリング処理を行うエッジ補正手段である。

[0034] エッジ強調部 112は、制御部 115の制御に基づき、エッジ抽出部 109と同一の 3 X

3画素サイズ内の注目画素 P を順次抽出して、エッジ補正部 111からのコアリング処

11

理がなされたエッジ信号 E'を用いてエッジ強調処理を行うエッジ強調手段である。

[0035] 信号処理部 113は、制御部 115の制御に基づき、エッジ強調部 112から出力されるエッジ強調後の映像信号に対して公知の圧縮処理などを行、、処理後の信号を出力部 114へ転送するものである。

[0036] 出力部 114は、信号処理部 113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存するものである。

[0037] 制御部 115は、例えばマイクロコンピュータなどにより構成されていて、増幅部 103 、 AZD変換部 104、測光評価部 106、合焦点検出部 107、エッジ抽出部 109、無効エッジ推定部 110、エッジ補正部 111、エッジ強調部 112、信号処理部 113、出力部 114、外部 IZF部 116と双方向に接続されており、これらを含むこのデジタルカメラ全体を制御するための制御手段である。この制御部 115には、さらに、 CCD102の近傍に配置された温度センサ 117からの信号が入力されるようになって、る。そして、この制御部 115は、収集手段，ノイズ推定手段，ゲイン算出手段を兼ねたものとなつている。

[0038] 外部 IZF部 116は、画像処理システムが適用されたこのデジタルカメラに対するュ一ザからの入力等を行うためのインターフェースであり、電源のオン Zオフを行うための電源スィッチ、撮影操作を開始するためのシャツタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。ユーザは、この外部 IZF部 116を介して、 2段式のシャツタボタンの 1段目の押圧によるプリ撮影の開始入力、該シャツタボタンの 2段目の押圧による本撮影の開始入力を行うことができるようになつている。さらに、ユーザは、この外部 I/F部 116を介して、 ISO 感度の設定なども行うことができるようになつている。そして、この外部 IZF部 116は、入力された情報を、制御部 115へ出力するようになって、る。

[0039] 次に、図 1に示したようなデジタルカメラの作用を、映像信号の流れに沿って説明する。

[0040] ユーザは、撮影を行う前に、外部 IZF部 116を介して ISO感度などの撮影条件を予め設定する。

[0041] その後、ユーザが、外部 IZF部 116の 2段式スィッチでなるシャツタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。

[0042] すると、レンズ系 100および絞り 101を介して結像される被写体像力 CCD102により光電変換され、アナログの映像信号として出力される。

[0043] このアナログの映像信号は、増幅部 103によって ISO感度を考慮した増幅が行われた後に、 AZD変換部 104によりデジタルの映像信号に変換されて、ノッファ 105 に gc feされる。

[0044] このバッファ 105内に記憶された映像信号は、測光評価部 106と、合焦点検出部 1 07と、へそれぞれ転送される。

[0045] 測光評価部 106は、映像信号に基づき、上述したように絞り 101の絞り値や CCD1 02の電子シャツタ速度や増幅部 103の増幅率などを適正露光となるように制御する

[0046] 合焦点検出部 107は、映像信号に基づき、上述したようにエッジ強度を検出し、このエッジ強度が最大となるように AFモータ 108を制御して、合焦信号を得る。

[0047] こうして、焦点調節や露出調節などが行われたところで、ユーザが、外部 IZF部 11 6の 2段式スィッチでなるシャツタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。

[0048] すると、プリ撮影と同様にして、映像信号力 Sバッファ 105へ転送される。この本撮影は、測光評価部 106によって求められた露光条件と、合焦点検出部 107によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部 11 5へ転送される。

[0049] 本撮影によって得られたバッファ 105内の映像信号は、エッジ抽出部 109と無効ェッジ推定部 110とエッジ強調部 112とへそれぞれ転送される。

[0050] エッジ抽出部 109は、制御部 115の制御に基づき、図 2に示すような注目画素 P を

11 包含する 3 X 3画素サイズの注目領域 P (i=0〜2, j = 0〜2)を順次抽出して、図 3 に示すようなエッジ抽出フィルタを用いて注目画素 P

11におけるエッジ信号 Eを抽出する。この図 3に示すエッジ抽出フィルタは、等方的なエッジ抽出フィルタの一例である。なお、エッジ抽出フィルタとしては、図 3に示すような等方的なエッジ抽出フィルタに限定されるものではない。例えば、図 4 (A)に示すような水平方向のエッジ抽出フィルタ Ehと、図 4 (B)に示すような垂直方向のエッジ抽出フィルタ Evと、をそれぞれ個別に使用して、その後に次の数式 1に示すように、エッジ信号 Εを求めるように構成することも可能である。

[数 1]

E = - El + E_v ² なお、これらのエッジ抽出フィルタに限らず、その他、公知のエッジ抽出法を用いるように構成することももちろん可能である。そして、エッジ抽出部 109は、抽出したエツジ信号 Eを、エッジ補正部 111へ転送する。

[0051] 無効エッジ推定部 110は、制御部 115の制御に基づき、エッジ抽出部 109と同一の 3 X 3画素サイズの注目領域 Pを順次抽出して、注目画素 P におけるノイズ成分 ϋ 11

に起因する無効エッジ信号 IEを推定する。そして、無効エッジ推定部 110は、推定して得られたノイズ成分に起因する無効エッジ信号 IEを、エッジ補正部 111へ転送する。

[0052] エッジ補正部 111は、制御部 115の制御に基づき、エッジ抽出部 109からのエッジ信号 Eに対して、無効エッジ推定部 110からの無効エッジ信号 IEを用いて、コアリング処理を行う。エッジ補正部 111は、コアリング処理を行ったエッジ信号 E，を、エッジ強調部 112へ転送する。

[0053] エッジ強調部 112は、制御部 115の制御に基づき、エッジ抽出部 109と同一の 3 X

11

理がなされたエッジ信号 E'を用いて、次の数式 2に示すようなエッジ強調処理を行う [数 2]

P ' =P +g-E'

11 11

なお、この数式 2における gは、所定のゲイン値を意味し、例えば 0. 5〜4. 0程度の値をとるようになっている。そして、エッジ強調部 112は、エッジ強調処理を行った映像信号を、信号処理部 113へ転送する。

[0054] ここに、上述したエッジ抽出部 109,無効エッジ推定部 110,エッジ補正部 111,ェッジ強調部 112の各処理は、制御部 115の制御に基づいて、 3 X 3画素サイズの注目領域 P単位で同期して行われるようになつている。そして、全ての映像信号を処理する（全ての画素を注目画素として処理する）ために、図 2に示したような 3 X 3画素サィズの注目領域は、隣接する注目領域に対して 2行または 2列ずつ重複して (つまり、 1行または 1列ずつずれるように）設定されるようになって!/、る。

[0055] 信号処理部 113は、制御部 115の制御に基づき、エッジ強調部 112から出力されるエッジ強調処理後の映像信号に対して、上述したように、公知の圧縮処理などを行い、処理後の信号を出力部 114へ転送する。

[0056] 出力部 114は、信号処理部 113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

[0057] 次に、図 5を参照して、無効エッジ推定部 110の構成の一例について説明する。

[0058] この無効エッジ推定部 110は、平均算出部 200と、収集手段でありゲイン算出手段たるゲイン算出部 201と、付与手段たる標準値付与部 202と、記録手段たるパラメ一タ用 ROM203と、パラメータ選択手段たるパラメータ選択部 204と、補間手段たる補間部 205と、補間手段たる補正部 206と、を含んでいる。

[0059] ここに、バッファ 105は、平均算出部 200へ接続されている。また、平均算出部 200 は、パラメータ選択部 204へ接続されている。ゲイン算出部 201と標準値付与部 202 とパラメータ用 ROM203とは、ノラメータ選択部 204へそれぞれ接続されている。パラメータ選択部 204は、補間部 205と補正部 206とへそれぞれ接続されている。補間部 205は、補正部 206を介してエッジ補正部 111へ接続されて!、る。

[0060] また、制御部 115は、平均算出部 200,ゲイン算出部 201,標準値付与部 202,パラメータ選択部 204,補間部 205,補正部 206と双方向に接続されていて、これらを制御するようになっている。

[0061] 次に、このような無効エッジ推定部 110の作用について説明する。

[0062] 平均算出部 200は、制御部 115の制御に基づき、バッファ 105から図 2に示すような注目領域 Pの映像信号を読み出して、この注目領域 Pの映像信号の平均値 AV を次の数式 3に示すように算出する。

[数 3]

;=0,2 ;=0,2

そして、平均算出部 200は、算出した平均値 AVを、パラメータ選択部 204へ転送する。

[0063] また、ゲイン算出部 201は、制御部 115から転送される ISO感度と露光条件に関する情報との少なくとも一方に基づいて、増幅部 103における増幅量を求め、求めた増幅量をパラメータ選択部 204へ転送する。 [0064] 一方、制御部 115は、温度センサ 117から CCD102の温度情報を取得して、取得した温度情報をパラメータ選択部 204へ転送する。

[0065] パラメータ選択部 204、補間部 205、および補正部 206は、平均算出部 200からの注目領域の平均値と、ゲイン算出部 201からのゲインの情報と、制御部 115からの温度情報と、に基づいて、ノイズ成分に起因する無効エッジ信号 IEを推定する。

[0066] ここに、無効エッジ信号 IEの推定について、図 6〜図 9を参照して説明する。

[0067] まず、図 6は、信号レベル Lとノイズ量 Nとの関係をプロットしたものである。ノイズ量 Nは、図示のように、信号レベル Lが増加するとともに増加する傾向を示し、このときの増加は、信号レベル Lに対して 2次曲線的な増加となる。そこで、この図 6に示すような増加の様子を、特開 2005— 175718号公報に開示されているように 2次関数を用、てモデル化すると、次の数式 4に示すようになる。

画

ここに、 a , β , γは定数項である。

[0068] しかしながら、ノイズ量 Νは、信号レベル Lの変化のみにより変化するのではなぐ撮像素子の温度や映像信号に対するゲインによっても変化する。例えば、図 6は、ある温度 tにおいて、ゲインに関連する 3種類の ISO感度 100 (ゲイン X I) , 200 (ゲイン X 2) , 400 (ゲイン X 4)に対するノイズ量 Nをプロットしたものである。

[0069] 図 6に示す個々の曲線は、数式 4に示したような形状をしている力その係数はゲインに関連する ISO感度に応じて異なっている。また、図示はしないが、ノイズ量 Nは、撮像素子の温度によっても変化し、一般に、撮像素子の温度が高くなると増加する傾向を示す（なお、温度としては 20°C、 50°C、 80°Cが例として図示されている）。

[0070] こうして、ゲインを g、温度を tとして、ノイズモデルの定式ィ匕を上述したようなノイズ量 Nのゲイン gや温度 tへの依存性も考慮した形で行うと、次の数式 5に示すようになる。

[数 5]

N = a L² + β L + y

gt gt gt

ここに、 a , j8 , γ は、ゲイン gと温度 tとに依存して定まる定数項である。

gt gt gt

[0071] 次に、図 7は、平坦な領域の映像信号にノイズ量 Nを付カ卩して、これに図 3または図 4に示すようなエッジ抽出フィルタを適用して得られたノイズ成分に起因する無効エツジ信号 IEをプロットしたものである。

[0072] 無効エッジ信号 IEは、図示のように、ノイズ量 Nが増加するとともに増加する傾向を示し、このときの増加は、ノイズ量 Nに対して 3次曲線的な増加となる。そこで、この図 7に示すような増加の様子を、 3次関数を用いてモデルィ匕すると、次の数式 6に示すようになる。

[数 6]

ΙΕ= δ Ν³+ ε Ν²+ ζ Ν+ 7?

ここに、 δ , ε , ζ , ηは定数項であり、エッジ抽出フィルタが固定されれば、一意【こ疋 'ま。

[0073] 上述したような数式 5と数式 6とを組み合わせることにより、信号レベル Lと、ノイズ成分に起因する無効エッジ信号 IEと、の関係を、エッジモデルとして定式ィ匕することができる。

[0074] ただし、エッジモデルの関数を複数記録して、その都度演算により無効エッジ信号を算出することは処理的に負荷が大きい。このために、図 8に示すようなエッジモデルの簡略ィ匕を行う。すなわち、図 8に示すような簡略ィ匕されたモデルにおいては、最大の無効エッジ信号を与える関数を基準エッジモデルとして選択し、さらに、この基準エッジモデルを所定数の変曲点を有する折れ線で近似する。ここに、折れ線の変曲点は、信号レベル Lと無効エッジ信号 IEとから構成される座標データ (L , IE )により表す。ただし、 nは変曲点の番号を示している。また、上記基準エッジモデル力も他のエッジモデルを導出するための補正係数 kを用意する。この補正係数 kは、各ェ

gt gt ッジモデルと基準エッジモデルとを用いて、最小自乗法により算出される。こうして算出した補正係数 kを基準エッジモデルに乗算することにより、他のエッジモデルを導

gt

出するようになっている。

[0075] 図 9を参照して、図 8に示すような簡易化されたエッジモデル力無効エッジ信号を算出する方法について説明する。

[0076] 例えば、与えられた信号レベル 1、ゲイン g、温度 tに対応する無効エッジ信号 IEを求めることを想定する。まず、信号レベル 1が基準エッジモデルのどの区間に属するかを探索する。ここでは信号レベル 1力（L , IE )と (L , IE )との間の区間に属す n n n+1 n+1

るものとする。このとき、基準エッジモデルにおける基準無効エッジ信号 IEを、次の数

1 式 7に示すような線形補間によって求める。

[数 7]

If - IF , 、

ム fl+i― L_n 次に、次の数式 8に示すように、求めた基準無効エッジ信号 IEに補正係数 kを乗

1 gt 算することにより、無効エッジ信号 IEを求める。

[数 8]

IE = k -IE

gt 1

図 5に沿った説明に戻って、上述したような基準エッジモデルの変曲点の座標データ（L , IE )と補正係数 kとは、パラメータ用 ROM203に記録されている。

n n gt

[0077] ノラメータ選択部 204は、平均算出部 200からの注目領域の平均値 AVに基づき信号レベル 1を、ゲイン算出部 201からのゲインの情報に基づきゲイン gを、制御部 11 5からの温度情報に基づき温度 tを、それぞれ設定する。

[0078] 次に、パラメータ選択部 204は、信号レベル 1が属する区間の座標データ (L , IE ) および (L , IE )をパラメータ用 ROM203から探索し、これを補間部 205へ転送 n+1 n+1

する。さら〖こ、パラメータ選択部 204は、補正係数 kをパラメータ用 ROM203から探 gt

索して、これを補正部 206へ転送する。

[0079] 補間部 205は、制御部 115の制御に基づき、パラメータ選択部 204からの信号レべル 1と区間の座標データ (L , IE )および (L , IE )とを用いて数式 7に基づき基準 n n n+1 n+1

エッジモデルにおける基準無効エッジ信号 IEを算出し、補正部 206へ転送する。

1

[0080] 補正部 206は、制御部 115の制御に基づき、パラメータ選択部 204からの補正係数 kと、補間部 205からの基準無効エッジ信号 IEと、を用いて数式 8に基づき無効 gt 1

エッジ信号 IEを算出し、これを注目画素 P の無効エッジ信号 IEとする。補正部 206

11

は、推定した無効エッジ信号 IEを、エッジ補正部 111へ転送する。

[0081] なお、上述したような無効エッジ信号を算出する過程において、温度 tやゲイン gなどの情報を必ずしも撮影毎に求める必要はない。つまり、任意の情報を標準値付与部 202に記録しておき、算出過程を省略するように構成することも可能である。これによって、処理の高速ィ匕ゃ省電力化などを図ることが可能となる。

[0082] 次に、図 10を参照して、エッジ補正部 111の構成の一例について説明する。

[0083] このエッジ補正部 111は、切換部 300と、コアリング手段たる加算部 301と、コアリング手段たる減算部 302と、コアリング手段たる置換部 303と、を含んでいる。

[0084] エッジ抽出部 109は、切換部 300へ接続されている。切換部 300は、加算部 301と減算部 302と置換部 303とへそれぞれ接続されている。加算部 301と減算部 302と置換部 303とは、エッジ強調部 112へそれぞれ接続されている。また、無効エッジ推定部 110は、切換部 300と加算部 301と減算部 302とへそれぞれ接続されている。

[0085] 制御部 115は、切換部 300,加算部 301,減算部 302,置換部 303と双方向に接続されていて、これらを制御するようになっている。

[0086] 次に、このようなエッジ補正部 111の作用について説明する。

[0087] 切換部 300は、制御部 115の制御に基づき、エッジ抽出部 109から注目画素 P に

11 対するエッジ信号 Eを、無効エッジ推定部 110から注目画素 P に対する無効エッジ

11

信号 IEを、それぞれ読み込む。

[0088] 次に、切換部 300は、— IE >Eである場合にはエッジ信号 Eを加算部 301へ、 Ε>1

Eである場合にはエッジ信号 Eを減算部 302へ、 IE≥E≥—IEである場合にはエッジ信号 Eを置換部 303へ、転送する。

[0089] 加算部 301は、制御部 115の制御に基づき、切換部 300からエッジ信号 Eが転送された場合に、無効エッジ推定部 110から無効エッジ信号 IEを読み込み、エッジ信号

Eに無効エッジ信号 IEを加算処理する補正を行い、補正後のエッジ信号 E，をエッジ強調部 112へ転送する。

[0090] また、減算部 302は、制御部 115の制御に基づき、切換部 300からエッジ信号 Eが転送された場合に、無効エッジ推定部 110から無効エッジ信号 IEを読み込み、エツジ信号 Eカゝら無効エッジ信号 IEを減算処理する補正を行い、補正後のエッジ信号 E，をエッジ強調部 112へ転送する。

[0091] そして、置換部 303は、制御部 115の制御に基づき、切換部 300からエッジ信号 E が転送された場合に、エッジ信号 Eを 0に置換処理する補正を行い、補正後のエッジ信号 E，をエッジ強調部 112へ転送する。

[0092] このような 3通りの処理は、次の数式 9により示される _c

[数 9]

E + 1E {-IE > E)

E - IE (E > IE)

0 (IE≥E≥ -IE) 図 11は、このような数式 9の特性を図示したものであり、入力エッジ信号 Eの絶対値が無効エッジ信号 IE以下となる場合に、出力エッジ信号 E'が 0となるコアリング処理となっている。

[0093] なお、上述ではノイズ成分に起因するエッジ信号の推定に、撮像素子の温度， ISO 感度，露出情報などの関連情報を用いていたが、このような構成に限定される必要はない。例えば、図 12に示すように、信号レベルのみに基づいてノイズ成分に起因するエッジ信号を推定するように構成することも可能である。

[0094] 図 12は、図 5に示す構成力もゲイン算出部 201と標準値付与部 202と補正部 206 とを省略して、平均算出部 200およびパラメータ用 ROM203を、注目画素抽出部 40 0および記録手段たるパラメータ用 ROM401により置換した構成となっている。この図 12に示す無効エッジ推定部 110におけるその他の基本的な構成は図 5に示したものと同様であるために、同一の構成には同一の名称と符号を付して適宜説明を省略し、主として異なる部分についてのみ説明する。

[0095] ノッファ 105は、注目画素抽出部 400へ接続されている。注目画素抽出部 400は、パラメータ選択部 204へ接続されている。パラメータ用 ROM401は、パラメータ選択部 204へ接続されている。パラメータ選択部 204は、補間部 205へ接続されている。補間部 205は、エッジ補正部 111へ接続されて!、る。

[0096] また、制御部 115は、注目画素抽出部 400へも双方向に接続されていて、これを制御するようになっている。

[0097] 注目画素抽出部 400は、制御部 115の制御に基づき、バッファ 105から図 2に示すような注目画素 P を読み込んで、パラメータ選択部 204へ転送する。

11

[0098] ノメータ選択部 204および補間部 205は、注目画素抽出部 400からの注目画素 P の信号レベルに基づいて、ノイズ成分に起因する無効エッジ信号 IEを推定する。

11

[0099] すなわち、パラメータ用 ROM401には、図 8に示すような所定温度、所定ゲイン値に対応する単一のエッジモデルの変曲点の座標データ (L , IE )のみが記録されている。なお、以下では、記録されているエッジモデルを基準エッジモデルとして扱う。

[0100] ノラメータ選択部 204は、注目画素 P の信号レベル 1が属する区間の座標データ（

11

L , IE )および (L , IE )をパラメータ用 ROM401から探索して、これを補間部 20 n n n+1 n+1

5へ転送 *5る。

[0101] 補間部 205は、制御部 115の制御に基づき、パラメータ選択部 204からの信号レべル 1と区間の座標データ (L , IE )および (L , IE )とを用いて、数式 7に基づき基 n n n+1 n+1

準エッジモデルにおける基準無効エッジ信号 IEを算出する。補間部 205は、算出し

1

た基準無効エッジ信号 IEを、無効エッジ信号 IEとしてエッジ補正部 111へ転送する

1

[0102] この図 12に示したような構成を採用すれば、ノイズ成分に起因するエッジ信号の推定に要する構成を簡略ィ匕することができるために、画像処理システムの低コスト化を図ることが可能となる。

[0103] また、上述にぉ、ては、画像処理システムとしてデジタルカメラを例に挙げて、たために、図 1に示したように、画像処理システムは、レンズ系 100,絞り 101, CCD102 ,温度センサ 117,増幅部 103, AZD変換部 104,測光評価部 106,合焦点検出部 107, AFモータ 108を含む撮像部が一体ィ匕して構成されていた。

[0104] しかし、画像処理システムとしては、このような構成に限定される必要はない。例えば、図 13に示すように、撮像部が別体であっても構わない。すなわち、図 13に示す画像処理システムは、別体の撮像部により撮像され、未処理の Rawデータの形態でメモリカード等の記録媒体に記録された映像信号を、該記録媒体力読み出して処理するものとなっている。ただし、このときには、映像信号に係る撮像条件などの付随情報が、ヘッダ部等として記録媒体に記録されているものとする。なお、別体の撮像部から画像処理システムへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わな!/ヽ。

[0105] 図 13に示す画像処理システムは、図 1に示した画像処理システムから、レンズ系 10 0,絞り 101, CCD102,温度センサ 117,増幅部 103, AZD変換部 104,測光評価部 106,合焦点検出部 107, AFモータ 108を省略して、入力部 500,ヘッダ情報解析部 501を追カ卩した構成となっている。この図 13に示す画像処理システムにおけるその他の基本的な構成は、図 1に示したものと同様であるために、同一の構成には同一の名称と符号を付して適宜説明を省略し、主として異なる部分についてのみ説明する。

[0106] 入力部 500は、バッファ 105とヘッダ情報解析部 501とへそれぞれ接続されている。また、制御部 115は、入力部 500およびヘッダ情報解析部 501とも双方向に接続されていて、これらを制御するようになっている。

[0107] 次に、この図 13に示す画像処理システムにおいて異なる作用は、以下のようになつている。

[0108] 例えばマウスやキーボードなどの外部 IZF部 116を介して処理操作を開始すると、メモリカード等の記録媒体に保存された映像信号およびヘッダ情報が、入力部 500 を介して読み込まれる。

[0109] 入力部 500から読み込まれた情報の内の、映像信号はバッファ 105へ、ヘッダ情報はヘッダ情報解析部 501へ、それぞれ転送される。

[0110] ヘッダ情報解析部 501は、入力部 500から転送されたヘッダ情報に基づき、撮影時の情報 (すなわち、上述したような露光条件、 ISO感度、撮像素子の温度など）を抽出して制御部 115へ転送する。

[0111] これ以後の処理は、図 1に示したような画像処理システムと同様である。

[0112] さらに、上述ではハードウェアによる処理を前提としていた力このような構成に限定されるものでもない。例えば、 CCD102からの映像信号を未処理のままの Rawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部 115からの撮影時の撮像素子の温度やゲインなど）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部力もコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わなヽ。 [0113] 図 14を参照して、画像処理プログラムによる処理のメインルーチンを説明する。

[0114] この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度ゃゲインなどのヘッダ情報を読み込む (ステップ S 1)。

[0115] 次に、図 2に示したような、注目画素を含む 3 X 3画素サイズの注目領域を抽出する

(ステップ S 2)。

[0116] そして、例えば図 3に示したような等方的なエッジ抽出フィルタを用いて、注目画素におけるエッジ信号を抽出する (ステップ S3)。

[0117] 続いて、後で図 15を参照して説明するように注目画素におけるノイズ成分に起因する無効エッジ信号を推定する (ステップ S4)。

[0118] その後、エッジ信号の絶対値が無効エッジ信号以下である力否かを判定する (ステップ S5)。

[0119] ここで、エッジ信号の絶対値が無効エッジ信号よりも大きい場合には、さらに、エツジ信号が無効エッジ信号よりも大き!/、か否かを判定する (ステップ S6)。

[0120] このステップ S6において、エッジ信号が無効エッジ信号以下である場合（—IE >E である場合）には、エッジ信号に無効エッジ信号を加算する (ステップ S9)。

[0121] また、ステップ S6において、エッジ信号が無効エッジ信号よりも大きい場合 (E>IE である場合）には、エッジ信号カゝら無効エッジ信号を減算する (ステップ S8)。

[0122] 一方、ステップ S5において、エッジ信号の絶対値が無効エッジ信号以下である場合 (IE≥E≥—IEである場合）には、エッジ信号を 0に置換する (ステップ S7)。

[0123] ステップ S7〜S9の何れかの処理が終了したら、数式 2に示したように補正されたェッジ信号を用いて、映像信号にエッジ強調処理を行う（ステップ S 10)。

[0124] 次に、全注目領域についての処理が完了した力否かを判定し (ステップ S11)、完了して、な、場合には、上記ステップ S 2へ戻って次の注目領域にっ、て上述したような処理を繰り返して行う。

[0125] また、全注目領域についての処理が完了したと判定された場合には、公知の圧縮処理などの信号処理を行!、 (ステップ S12)、処理後の映像信号を出力して (ステップ

S13)、この一連の処理を終了する。

[0126] 次に、図 15を参照して、上記図 14のステップ S4における無効エッジ推定の処理について説明する。

[0127] 図 14のステップ S4においてこの処理が開始されると、まず、注目領域の平均値を数式 3に示したように算出する (ステップ S 20)。

[0128] 次に、読み込まれたヘッダ情報に基づ、て、温度やゲインなどの関連する情報を設定する (ステップ S21)。ただし、ヘッダ情報内に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。

[0129] 続、て、基準エッジモデルの座標データと、補正係数と、を読み込む (ステップ S22

) o

[0130] そして、注目領域の平均値が属する区間の座標データと、対応する補正係数と、を選択する (ステップ S 23)。

[0131] その後、数式 7に示したような補間処理によって、基準無効エッジ信号を求める (ステツプ S 24)。

[0132] 次に、数式 8に示したような補正処理によって、無効エッジ信号を求める (ステップ S 25)。

[0133] 続いて、算出された無効エッジ信号を出力して (ステップ S26)、この処理から図 14 に示した処理に復帰する。

[0134] このような実施形態 1によれば、ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求め、求められない情報に関しては標準値を設定し、これらの情報と映像信号と基準エッジモデルとに基づいて補間処理を行うことによりノイズ成分に起因する無効エッジ信号を求め、エッジ信号を求めた無効エッジ信号によつて補正処理する画像処理システムを構成することが可能となる。

[0135] このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエツジ成分の抽出を安定して行うことが可能となる。

[0136] また、撮影毎に異なる条件に動的に適応しているために、ノイズ成分に起因するェッジ信号の推定を高精度に行うことが可能となる。

[0137] さらに、必要となる情報が得られない場合でも、標準値を設定するようになっているために、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。

[0138] そして、ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、ェッジ信号の推定を高精度に行うことが可能となる。

[0139] このとき、簡略化されたモデルを採用すると、簡略化されたモデルに基づく補間処理は実装が容易であるために、低コストなシステムを構築することが可能となる。

[0140] [実施形態 2]

図 16から図 24は本発明の実施形態 2を示したものであり、図 16は画像処理システムの構成を示すブロック図、図 17はノイズ処理部の構成を示すブロック図、図 18は無効エッジ推定部の一構成例を示すブロック図、図 19は無効エッジ推定部の他の構成例を示すブロック図、図 20はエッジ補正部の構成を示すブロック図、図 21はエツジ補正部におけるコアリング処理の応答を示す線図、図 22は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図 23は図 22のステップ S30におけるノイズ処理の詳細を示すフローチャート、図 24は図 22のステップ S31における無効エッジ推定の処理の詳細を示すフローチャートである。

[0141] この実施形態 2において、上述の実施形態 1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0142] まず、図 16を参照して、この画像処理システムの構成について説明する。図 16に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。

[0143] この図 16に示す画像処理システムは、上述した実施形態 1の図 1に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図 1に示した無効エッジ推定部 110およびエッジ補正部 111を、無効エッジ推定手段たる無効エッジ推定部 601およびエッジ補正手段たるエッジ補正部 602に置換し、さらにノイズ処理手段たるノイズ処理部 600を追加した構成になってヽる。その他の基本的な構成は実施形態 1と同様であって、同一の構成には同一の名称と符号を付している。

[0144] 以下、主として異なる部分のみを説明する。

[0145] バッファ 105は、測光評価部 106と合焦点検出部 107とノイズ処理部 600とエッジ抽出部 109とへ接続されている。ノイズ処理部 600は、エッジ強調部 112と無効エツジ推定部 601とへそれぞれ接続されている。エッジ抽出部 109と無効エッジ推定部 6 01とは、エッジ補正部 602へそれぞれ接続されている。エッジ補正部 602は、エッジ強調部 112へ接続されてヽる。

[0146] また、制御部 115は、ノイズ処理部 600,無効エッジ推定部 601,エッジ補正部 60 2と双方向に接続されて、て、これらを制御するようになって!/、る。

[0147] 次に、この図 16に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態 2の画像処理システムの作用は、基本的に上述した実施形態 1と同様であるために、主として異なる部分についてのみ説明する。

[0148] ノイズ処理部 600は、制御部 115の制御に基づき、図 2に示したような注目画素 P

11 を包含する 3 X 3画素サイズの注目領域 Pを順次抽出する。そして、ノイズ処理部 60 0は、特開 2005— 175718号公報に開示されているようにノイズのモデルに基づき注目画素 P に関するノイズ量 Nを推定し、平滑化処理を行う。ノイズ処理部 600は、

11

推定したノイズ量 Nを無効エッジ推定部 601へ、平滑化処理を行った注目画素 NR P 112へ、

一 11をエッジ強調部それぞれ転送する。

[0149] 無効エッジ推定部 601は、制御部 115の制御に基づき、ノイズ処理部 600から注目画素 P に対するノイズ量 Nを読み込み、注目画素 P におけるノイズ成分に起因する

11 11

無効エッジ信号 IEを推定する。無効エッジ推定部 601は、推定したノイズ成分に起因する無効エッジ信号 IEを、エッジ補正部 602へ転送する。

[0150] エッジ補正部 602は、制御部 115の制御に基づき、エッジ抽出部 109からのエッジ信号 Eに対して、無効エッジ推定部 601からの無効エッジ信号 IEと、所定の関数と、を用いて変換処理を行う。エッジ補正部 602は、変換処理を行ったエッジ信号 E，を、エッジ強調部 112へ転送する。

[0151] エッジ強調部 112は、制御部 115の制御に基づき、ノイズ処理部 600からの平滑ィ匕処理がなされた注目画素 NR P に対して、エッジ補正部 602からの変換処理エツ一 11

ジ信号 E'を用いて、次の数式 10に示すようなエッジ強調処理を行う。

[数 10]

P ， =NR P +g'E，なお、この数式 10における gは、所定のゲイン値を意味し、例えば 0. 5〜4. 0程度の値をとるようになっている。そして、エッジ強調部 112は、エッジ強調処理を行った映像信号を、信号処理部 113へ転送する。

[0152] ここに、上述したエッジ抽出部 109,ノイズ処理部 600,無効エッジ推定部 601 ,ェッジ補正部 602,エッジ強調部 112の各処理は、制御部 115の制御に基づいて、 3 X 3画素サイズの注目領域 P単位で同期して行われるようになって!/、る。

[0153] 信号処理部 113は、制御部 115の制御に基づき、エッジ強調部 112から出力されるエッジ強調処理後の映像信号に対して、公知の圧縮処理などを行い、処理後の信号を出力部 114へ転送する。

[0154] 出力部 114は、信号処理部 113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

[0155] 次に、図 17を参照して、ノイズ処理部 600の構成の一例について説明する。

[0156] このノイズ処理部 600は、平均算出部 700と、ノイズ推定手段たるゲイン算出部 70 1と、ノイズ推定手段たる標準値付与部 702と、ノイズ推定手段たるノイズテーブル部 703と、選択部 704と、ノイズ低減手段たる第 1スムージング部 705と、ノイズ低減手段たる第 2スムージング部 706と、を含んでいる。

[0157] ノッファ 105は、平均算出部 700と選択部 704とへそれぞれ接続されている。平均算出部 700とゲイン算出部 701と標準値付与部 702とは、ノイズテーブル部 703へそれぞれ接続されている。ノイズテーブル部 703は、選択部 704と第 1スムージング部 7 05と第 2スムージング部 706と無効エッジ推定部 601とへそれぞれ接続されている。選択部 704は、第 1スムージング部 705と第 2スムージング部 706とへそれぞれ接続されている。第 1スムージング部 705と第 2スムージング部 706とは、エッジ強調部 11 2へそれぞれ接続されてヽる。

[0158] 制御部 115は、平均算出部 700,ゲイン算出部 701,標準値付与部 702,ノイズテ一ブル部 703,選択部 704,第 1スムージング部 705,第 2スムージング部 706と双方向に接続されて、て、これらを制御するようになって、る。

[0159] 次に、このようなノイズ処理部 600の作用について説明する。

[0160] 平均算出部 700は、制御部 115の制御に基づき、バッファ 105から図 2に示したような注目画素 P を包含する 3 X 3画素サイズの注目領域 Pを順次抽出して、数式 3に 11 ϋ

示したような平均値 AVを算出する。平均算出部 700は、算出した平均値 AVをノイズテーブル部 703へ転送する。

[0161] ゲイン算出部 701は、制御部 115から転送される ISO感度と露光条件に関する情報との少なくとも一方に基づき、増幅部 103における増幅量を求めて、求めた増幅量をノイズテーブル部 703へ転送する。

[0162] また、制御部 115は、温度センサ 117から CCD102の温度情報を取得して、取得した温度情報をノイズテーブル部 703へ転送する。

[0163] ノイズテーブル部 703は、平均算出部 700からの平均値と、ゲイン算出部 701からのゲインの情報と、制御部 115からの温度情報と、に基づいて、ノイズ量を推定する。このノイズテーブル部 703は、温度，信号値レベル，ゲインと、ノイズ量と、の間の関係を記録したルックアップテーブルであり、例えば特開 2005— 175718号公報に開示されている手法により構築されたものである。ノイズテーブル部 703は、推定したノィズ量 Nと平均算出部 700からの平均値 AVとを、選択部 704と第 1スムージング部 7 05と第 2スムージング部 706とへそれぞれ転送する。また、ノイズテーブル部 703は、推定したノイズ量 Nを無効エッジ推定部 601へも転送する。

[0164] 選択部 704は、制御部 115の制御に基づき、ノイズテーブル部 703からの平均値 A Vおよびノイズ量 Nを読み込む。その後、選択部 704は、ノイズ量に関する許容範囲としての上限 Noise— Upおよび下限 Noise— Lowを、次の数式 11に示すように設定する。

[数 11]

N

Noise_Up = AV +―

N

Noise Low = AV そして、選択部 704は、制御部 115の制御に基づき、ノッファ 105から注目画素 P

11 を読み込んで、上記許容範囲に属する力否かを判定する。この判定は、「ノイズ範囲に属している（Noise Up≥P ≥ Noise Low) J , 「ノイズ範囲を上回っている（P >Noise_Up) j , 「ノイズ範囲を下回っている（Noise— Low>P ；)」の 3通りである

― ― 11

[0165] 選択部 704は、「ノイズ範囲に属している」と判定した場合には第 1スムージング部 7 05へ、それ以外の場合には第 2スムージング部 706へ、注目画素 P を転送する。

11

[0166] 第 1スムージング部 705は、平滑化処理がなされた注目画素 NR P として、ノイズ

― 11

テーブル部 703からの平均値 AVを次の数式 12に示すようにそのまま用いて、出力する。

[数 12]

NR _P_U = A V 一方、第 2スムージング部 706は、平滑化処理がなされた注目画素 NR—P として一 11

、選択部 704からの注目画素 P にノイズテーブル部 703からの平均値 AVとノイズ量

11

Nとを用いて補正する処理を行う。まず、第 2スムージング部 706は、「ノイズ範囲を上回って、る」場合には、次の数式 13に示すように補正する◎。

[0167] [数 13]

N

NR_P_n = Pn - - また、第 2スムージング部 706は、「ノイズ範囲を下回っている」場合には、次の数式 14に示すように補正する。

[数 14] 通— W このようにして、第 1スムージング部 705または第 2スムージング部 706よる平滑化処理がなされた注目画素 NR— P は、エッジ強調部 112へ転送される。

一 11

[0168] 次に、図 18を参照して、無効エッジ推定部 601の構成の一例について説明する。

[0169] この無効エッジ推定部 601は、ノメータ選択手段たるパラメータ選択部 800と、記録手段たるパラメータ用 ROM801と、補間手段たる補間部 802と、を含んでいる。

[0170] ノイズ処理部 600およびパラメータ用 ROM801は、パラメータ選択部 800へそれぞれ接続されている。パラメータ選択部 800は補間部 802へ接続されている。補間部 8

02は、エッジ補正部 602へ接続されている。

[0171] また、制御部 115は、パラメータ選択部 800,補間部 802と双方向に接続されていて、これらを制御するようになっている。

[0172] このような無効エッジ推定部 601の作用について説明する。

[0173] パラメータ選択部 800および補間部 802は、ノイズ処理部 600からの注目画素 P

11 に関するノイズ量 Nに基づヽて、ノイズ成分に起因する無効エッジ信号 IEを推定する。以下では、本発明の実施形態 1に係る図 7を参照して、無効エッジ信号 IEを推定する方法について説明する。

[0174] 図 7に示したように、ノイズ量 Nに対する無効エッジ信号 IEの関係は、 3次関数を用いたエッジモデルとしてモデルィ匕される。さらに、この 3次関数を所定数の変曲点を有する折れ線で近似するものとする。ここに、折れ線の変曲点は、ノイズ量 Nと無効ェッジ信号 IEとから構成される座標データ (N , IE )により表す。ただし、 nは変曲点の番号を示している。

[0175] そして、与えられたノイズ量 Nに対応する無効エッジ信号 IEを求めるには、まず、ノィズ量 Nがエッジモデルのどの区間に属するかを探索する。ここでは、ノイズ量 ?^が（ N , IE )と（N , IE )との間の区間に属するものとする。このとき、エッジモデルに n n n+1 n+1

おける無効エッジ信号 IEを、次の数式 15に示すような線形補間によって求める。

[数 15]

_ΙΕ = ^ΙΕ^ ~ ^ΙΕ" (Ν - Ν )+ΪΕ_η

+_Ϊ - Ν_η "ノ " 図 18に沿った説明に戻って、上述したようなエッジモデルの変曲点の座標データ（ N , IE )は、パラメータ用 ROM801に記録されている。

[0176] パラメータ選択部 800は、制御部 115の制御に基づき、ノイズ処理部 600からの注目画素 p に関するノイズ量 Nを読み込む。次に、パラメータ選択部 800は、ノイズ量

11

Nが属する区間の座標データ（N， IE )および (N ， IE )をパラメータ用 ROM80 n n n+1 n+1

1から探索して、これを補間部 802へ転送する。 [0177] 補間部 802は、制御部 115の制御に基づき、パラメータ選択部 800からのノイズ量 Nと区間の座標データ (N , IE )および (N , IE )とを用いて、数式 15に基づき無 n n n+1 n+1

効エッジ信号 IEを算出し、算出した無効エッジ信号 IEをエッジ補正部 602へ転送する。なお、上述においてはモデルに基づく補間演算によりノイズ成分に起因するエツジ信号を推定していた力このような構成に限定される必要はない。例えば、図 19に示すように、テーブルを用いてノイズ成分に起因するエッジ信号を推定するように構成することも可能である。

[0178] ここで、図 19を参照して、無効エッジ推定部 601の構成の他の例について説明する。

[0179] この無効エッジ推定部 601は、記録手段たる無効エッジテーブル部 803を含んでいる。

[0180] ノイズ処理部 600は、無効エッジテーブル部 803へ接続されている。無効エッジテ一ブル部 803は、エッジ補正部 602へ接続されてヽる。

[0181] また、制御部 115は、無効エッジテーブル部 803と双方向に接続されていて、これを制御するようになって、る。

[0182] ここに、無効エッジテーブル部 803は、図 7に示したような、ノイズ量 Nに対する無効エッジ信号 IEの関係を記録したテーブルである。

[0183] 無効エッジテーブル部 803は、制御部 115の制御に基づき、ノイズ処理部 600から注目画素 P に関するノイズ量 Nを読み込んで、対応する無効エッジ信号 IEをエッジ

11

補正部 602へ転送する。

[0184] 図 20を参照して、エッジ補正部 602の構成の一例について説明する。

[0185] このエッジ補正部 602は、切換部 900と、定数算出手段たる定数算出部 901と、関数変換手段たる変換部 902と、を含んでいる。

[0186] エッジ抽出部 109は、切換部 900へ接続されている。切換部 900は、変換部 902とエッジ強調部 112とへそれぞれ接続されて、る。変換部 902は、エッジ強調部 112 へ接続されている。無効エッジ推定部 601は、切換部 900と定数算出部 901とへそれぞれ接続されている。定数算出部 901は、変換部 902へ接続されている。

[0187] また、制御部 115は、切換部 900,定数算出部 901,変換部 902と双方向に接続されていて、これらを制御するようになっている。

[0188] 次に、このようなエッジ補正部 602の作用について説明する。

[0189] 定数算出部 901は、制御部 115の制御に基づき、無効エッジ推定部 601から注目画素 P に対する無効エッジ信号 IEを読み込む。そして、定数算出部 901は、図 21

11

に示すような応答特性を有する関数の定数項を算出する。ここ〖こ、図 21は、エッジ信号 Eを入力して、変換後のエッジ信号 E'を出力する関数の形状を示しており、この関数は、 2つの 1次関数と、 1つの 3次関数と、を組み合わせて構成されている。

[数 16]

(E >IE)

(IE≥E≥-IE)

3IE 1^E +

E (- IE > E) 定数算出部 901は、数式 16に示すような関数の定数項、実質的には 3次関数の 3 次項の係数である 2Z (3 ·ΙΕ²)の一項のみを算出して、変換部 902へ転送する。

[0190] 切換部 900は、制御部 115の制御に基づき、エッジ抽出部 109から注目画素 Ρ に

11 対するエッジ信号 Εを、無効エッジ推定部 601から注目画素 Ρ に対する無効エッジ

11

信号 IEを、それぞれ読み込む。そして、切換部 900は、エッジ信号 Eと無効エッジ信号 IEとを比較して、 IE≥E≥— IEである場合には変換部 902へ、それ以外の場合にはエッジ強調部 112へ、エッジ信号 Eを転送する。

[0191] 変換部 902は、制御部 115の制御に基づき、切換部 900からエッジ信号 Eが転送された場合に、定数算出部 901からの定数項を用いて数式 16中の 3次関数によりエツジ信号 Eを変換し、変換後のエッジ信号 E，をエッジ強調部 112へ転送する。

[0192] なお、上述にぉ、ては、撮像部が一体ィ匕された画像処理システムを例に挙げたが、このような構成に限定されるものではなぐ上述した実施形態 1と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。

[0193] また、上述ではハードウェアによる処理を前提としていた力このような構成に限定されるものではない。例えば、 CCD102からの映像信号を未処理のままの Rawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報 (例えば、制御部 115からの撮影時の撮像素子の温度やゲインなど）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わなヽ。

[0194] 図 22を参照して、画像処理プログラムによる処理のメインルーチンを説明する。なお、この図 22に示す処理の内の、上述した実施形態 1の図 14に示した処理とほぼ同様な処理については、同一の符号を付している。

[0195] この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度ゃゲインなどのヘッダ情報を読み込む (ステップ S 1)。

[0196] 次に、図 2に示したような、注目画素を含む 3 X 3画素サイズの注目領域を抽出する

(ステップ S 2)。

[0197] そして、例えば図 3に示したような等方的なエッジ抽出フィルタを用いて、注目画素におけるエッジ信号を抽出する (ステップ S3)。

[0198] その一方で、後で図 23を参照して説明するように、注目画素に対するノイズ処理を行う（ステップ S 30)。

[0199] ステップ S3の処理とステップ S30の処理とが終了したら、後で図 24を参照して説明するように、注目画素におけるノイズ成分に起因する無効エッジ信号を推定する (ステツプ S31)。

[0200] 続、て、エッジ信号の絶対値が無効エッジ信号以下である力否かを判定する (ステップ S5)。

[0201] ここで、エッジ信号が無効エッジ信号以下である場合には、数式 16に示すような 3 次関数を用いてエッジ信号を変換する (ステップ S32)。

[0202] ステップ S30の処理が終わった後であって、このステップ S32の処理を行った場合には、変換されたエッジ信号を用いて、ノイズ処理がなされた映像信号に数式 10に示したようにエッジ強調処理を行う。また、ステップ S30の処理が終わった後であって、ステップ S5にお、てエッジ信号の絶対値が無効エッジ信号よりも大き!/、と判定された場合には、そのままのエッジ信号を変換されたエッジ信号として用いて、ノイズ処理がなされた映像信号に数式 10に示したようにエッジ強調処理を行う（ステップ S10)。

[0203] 次に、全注目領域についての処理が完了した力否かを判定し (ステップ S11)、完了して、な、場合には、上記ステップ S 2へ戻って次の注目領域にっ、て上述したような処理を繰り返して行う。

[0204] また、全注目領域についての処理が完了したと判定された場合には、公知の圧縮処理などの信号処理を行!、 (ステップ S12)、処理後の映像信号を出力して (ステップ

S13)、この一連の処理を終了する。

[0205] 続いて、図 23を参照して、上記図 22のステップ S30におけるノイズ処理について説明する。

[0206] 図 22のステップ S30においてこの処理が開始されると、まず、読み込まれたヘッダ情報に基づいて、温度やゲインなどの関連する情報を設定する (ステップ S40)。ただし、ヘッダ情報内に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。

[0207] 続、て、ノイズテーブルを読み込み (ステップ S41)、読み込んだノイズテーブルを用いて、注目画素に対するノイズ量を求める（ステップ S42)。

[0208] そして、数式 11に示したような許容範囲に基づいて、ノイズ量が許容範囲内に属するか否かを判定する（ステップ S43)。

[0209] ここで、ノイズ量が許容範囲内に属すると判定された場合には、数式 12に示したような平滑化処理を行う（ステップ S44)。

[0210] また、ノイズ量が許容範囲内に属しないと判定された場合には、数式 13または数式

14に示したような平滑化処理を行う（ステップ S45)。

[0211] ステップ S44またはステップ S45の処理が終了したら、ノイズ処理がなされた映像信号を出力して (ステップ S46)、この処理から図 22に示した処理に復帰する。

[0212] 次に、図 24を参照して、上記図 22のステップ S31における無効エッジ推定の処理について説明する。

[0213] この処理を開始すると、まず、注目画素のノイズ量を読み込むとともに (ステップ S5

0)、エッジモデルの座標データを読み込む (ステップ S 51)。

[0214] 次に、注目領域のノイズ量が属する区間の座標データを選択する (ステップ S52)。 [0215] 続いて、数式 15に示したような補間処理によって、基準無効エッジ信号を求める（ステップ S 53)。

[0216] その後、算出された無効エッジ信号を出力して (ステップ S54)、この処理から図 22 に示した処理に復帰する。

[0217] このような実施形態 2によれば、ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づきノイズ成分に起因するエッジ信号を動的に推定し

、原信号力のエッジ信号をノイズ成分に起因するエッジ信号に基づ、て補正処理する画像処理システムを構成することが可能となる。

[0218] このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエツジ成分の抽出を安定して行うことが可能となる。

[0219] また、ノイズ低減処理によりノイズの影響を抑制するとともに、微細な信号を保存した高品位なエッジ成分を得ることができる。

[0220] さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小することができ、低コストィ匕を図ることが可能となる。

[0221] そして、ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、高精度なエッジ信号の推定を、低コストィ匕を図りながら行うことが可能となる。

[0222] 一方、ノイズ成分に起因するエッジ信号の算出にテーブルを用いる場合には、高精度なエッジ信号の推定を高速に行うことが可能となる。

[0223] また、エッジ信号の変換を、複数の関数を組み合わせて得られる連続的な単調増加関数を用いて行っているために、エッジ信号の連続性を確保することができて、高品位なエッジ信号を得ることができる。

[0224] [実施形態 3]

図 25から図 33は本発明の実施形態 3を示したものであり、図 25は画像処理システムの構成を示すブロック図、図 26はべィヤー（Bayer)型原色フィルタの構成を示す図、図 27は色差線順次型補色フィルタの構成を示す図、図 28は無効エッジ推定部の一構成例を示すブロック図、図 29は無効エッジ推定部の他の構成例を示すブロック図、図 30はエッジ補正部の構成を示すブロック図、図 31はコアリング処理における応答の各例を示す線図、図 32は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図 33は図 32のステップ S62における無効エッジ推定の処理の詳細を示すフローチャートである。

[0225] この実施形態 3において、上述の実施形態 1, 2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0226] まず、図 25を参照して、この画像処理システムの構成について説明する。図 25に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。

[0227] この図 25に示す画像処理システムは、上述した実施形態 1の図 1に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図 1に示した CCD102と無効エッジ推定部 110とエッジ補正部 111とを、カラー CCD1 000と無効エッジ推定手段たる無効エッジ推定部 1005とエッジ補正手段たるエッジ補正部 1006とに置換し、さらに、プレホワイトバランス部 1001と補間部 1002と YZC 分離手段たる YZC分離部 1003とバッファ 1004と YZC合成部 1007とを追加した構成になっている。その他の基本的な構成は実施形態 1と同様であって、同一の構成には同一の名称と符号を付して、る。

[0228] 以下、主として異なる部分のみを説明する。

[0229] レンズ系 100,絞り 101,カラー CCD1000を介して撮影された映像信号は、増幅部 103へ転送されるようになってヽる。

[0230] ノッファ 105は、プレホワイトバランス部 1001と補間部 1002と測光評価部 106と合焦点検出部 107とへそれぞれ接続されている。プレホワイトバランス部 1001は、増幅部 103へ接続されている。補間部 1002は、 YZC分離部 1003へ接続されている。 Y ZC分離部 1003は、バッファ 1004へ接続されている。バッファ 1004は、エッジ抽出部 109とエッジ強調部 112と無効エッジ推定部 1005とへそれぞれ接続されている。エッジ抽出部 109と無効エッジ推定部 1005とは、エッジ補正部 1006へそれぞれ接続されている。エッジ補正部 1006は、エッジ強調部 112へ接続されている。エッジ強調部 112は、 YZC合成部 1007へ接続されている。 YZC合成部 1007は、信号処理部 113へ接続されている。 [0231] また、カラー CCDIOOOの近傍に配置された温度センサ 117からの信号は、制御部 115へ接続されている。

[0232] そして、制御部 115は、プレホワイトバランス部 1001,補間部 1002, YZC分離部

1003,無効エッジ推定部 1005,エッジ補正部 1006, YZC合成部 1007と双方向に接続されて、て、これらを制御するようになって、る。

[0233] 次に、この図 25に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態 3の画像処理システムの作用は、基本的に上述した実施形態 1と同様であるために、主として異なる部分についてのみ説明する。

[0234] ユーザが、外部 IZF部 116の 2段式スィッチでなるシャツタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。

[0235] すると、レンズ系 100および絞り 101を介して結像される被写体像力カラー CCD1

000により光電変換され、アナログの映像信号として出力される。

[0236] このアナログの映像信号は、増幅部 103によって ISO感度やホワイトバランスを考慮した増幅が行われた後に、 AZD変換部 104によりデジタルの映像信号に変換されて、バッファ 105に記憶される。

[0237] なお、本実施形態においては、カラー CCD1000として、図 26に示すようなべィャ一（Bayer)型原色フィルタを前面に配置した単板撮像素子を想定している。また、撮像素子としては、 CCDに限るものではなぐ CMOSやその他の撮像素子を用いても構わないことは、上述した実施形態 1と同様である。

[0238] ここで、図 26を参照して、べィヤー（Bayer)型の色フィルタの構成につ!、て説明する。

[0239] 図 26に示すようなべィヤー（Bayer)型の原色フィルタは、 2 X 2画素を基本単位として、この基本単位内の対角する画素位置に赤 (R) ,青（B)フィルタが 1つずつ、残りの対角する画素位置に緑 (G)フィルタがそれぞれ、配置されたものとなっている。

[0240] 続いて、バッファ 105内の映像信号は、測光評価部 106と、合焦点検出部 107と、プレホワイトバランス部 1001と、へそれぞれ転送される。

[0241] これらの内のプレホワイトバランス部 1001は、バッファ 105に記憶されている映像信号の内の所定レベルの範囲内の信号を色信号毎に積算する（つまり、累計的に加算する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部 1001 は、算出した係数を増幅部 103へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。

[0242] こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部 IZF部 116の 2段式スィッチでなるシャツタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。

[0243] すると、プリ撮影と同様にして、映像信号力 Sバッファ 105へ転送される。この本撮影は、プレホワイトバランス部 1001によって求められた簡易ホワイトバランス係数と、測光評価部 106によって求められた露光条件と、合焦点検出部 107によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部 115へ転送される。

[0244] 本撮影によって得られたバッファ 105内の映像信号は、まず、補間部 1002へ転送される。

[0245] この補間部 1002は、制御部 115の制御に基づき、公知の補間処理により R, G, B の三板力もなる映像信号を生成して、 YZC分離部 1003へ転送する。

[0246] YZC分離部 1003は、制御部 115の制御に基づき、 R, G, B信号を次の数式 17 に示すように輝度信号 Yおよび色差信号 Cb, Crへ分離する。

[数 17]

Y = 0. 29900R+0. 58700G + 0. 11400B

Cb=— 0. 16874R-0. 33126G + 0. 50000B

Cr= 0. 50000R-0. 41869G— 0. 08131B

YZC分離部 1003により算出された輝度信号および色差信号は、バッファ 1004へ転送されて保存される。

[0247] エッジ抽出部 109は、制御部 115の制御に基づき、バッファ 1004内の輝度信号 Y から、図 2に示したような注目画素 P を包含する 3 X 3画素サイズの注目領域 Pを順

11 ϋ 次抽出して、図 3に示したようなエッジ抽出フィルタを用いて、注目画素 Ρ における

11 エッジ信号 Εを抽出する。エッジ抽出部 109は、抽出したエッジ信号 Εを、エッジ補正部 1006へ転送する。 [0248] 無効エッジ推定部 1005は、制御部 115の制御に基づき、バッファ 1004内の輝度信号 Yから、上述したエッジ抽出部 109と同一の 3 X 3画素サイズの注目領域 Pを順次抽出し、注目画素 P におけるノイズ成分に起因する無効エッジ信号 IEを推定する

11

。無効エッジ推定部 1005は、推定したノイズ成分に起因する無効エッジ信号 IEを、エッジ補正部 1006へ転送する。

[0249] エッジ補正部 1006は、制御部 115の制御に基づき、エッジ抽出部 109からのエツジ信号 Eに対して、無効エッジ推定部 1005からの無効エッジ信号 IEを用いてコアリング処理を行う。エッジ補正部 1006は、コアリング処理を行ったエッジ信号 E，を、ェッジ強調部 112へ転送する。

[0250] エッジ強調部 112は、制御部 115の制御に基づき、バッファ 1004内の輝度信号 Y 力もエッジ抽出部 109と同一の注目画素 P に対応する輝度信号 Yを順次抽出して、

11

エッジ補正部 111からのコアリング処理がなされたエッジ信号 E，を用いて、次の数式 18に示すようなエッジ強調処理を行う。

[数 18]

Y' =Y+g -E'

なお、この数式 18における gは、所定のゲイン値を意味し、例えば 0. 5〜4. 0程度の値をとるようになっている。

[0251] また、エッジ強調部 112は、バッファ 1004内の色差信号 Cb, Crからエッジ抽出部 1 09と同一の注目画素 P に対応する色差信号 Cb, Crを抽出する。そして、エッジ強

11

調部 112は、抽出した色差信号 Cb, Crとエッジ強調処理後の輝度信号 Y'とを、 Ύ/ C合成部 1007へ転送する。

[0252] YZC合成部 1007は、制御部 115の制御に基づき、エッジ強調処理後の輝度信号 Y'と色差信号 Cb, とから、次の数式 19に示すように RGBの三信号 (R'， G' , Β' )を合成する。

[数 19]

R' =Y' + 1. 40200Cr

G' =Y' -0. 34414Cb -0. 71414Cr

B' =Y' + 1. 77200Cb YZC合成部 1007は、合成した R'， G'， B'信号を、信号処理部 113へ転送する。

[0253] なお、上述したようなエッジ抽出部 109,無効エッジ推定部 1005,エッジ補正部 10

06,エッジ強調部 112, YZC合成部 1007の各処理は、制御部 115の制御に基づき、 3 X 3画素サイズの注目領域 P単位で同期して行われるようになつている。

[0254] 信号処理部 113は、制御部 115の制御に基づき、エッジ強調部 112から出力されるエッジ強調処理後の映像信号に対して、公知の彩度強調処理や圧縮処理などを行い、処理後の信号を出力部 114へ転送する。

[0255] 出力部 114は、信号処理部 113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

[0256] 次に、図 28を参照して、無効エッジ推定部 1005の構成の一例について説明する。

[0257] この無効エッジ推定部 1005は、上述した実施形態 1の図 5に示した無効エッジ推定部 110と基本的に同様であり、テーブル変換手段たる無効エッジテーブル部 110

0を追加するとともに、パラメータ用 ROM203,パラメータ選択部 204,補間部 205, 補正部 206を省略したものとなっている。その他の構成は同様であるために、同一の名称と符号を付して、以下では、主として異なる部分についてのみ説明する。

[0258] 平均算出部 200とゲイン算出部 201と標準値付与部 202とは、無効エッジテープル部 1100へそれぞれ接続されている。無効エッジテーブル部 1100は、エッジ補正部 1006へ接続されている。

[0259] 制御部 115は、無効エッジテーブル部 1100と双方向に接続されていて、これを制御するようになっている。

[0260] 次に、このような無効エッジ推定部 1005の作用について説明する。

[0261] 平均算出部 200は、制御部 115の制御に基づき、バッファ 105内の輝度信号 Yから図 2に示したような注目領域 Pの平均値 AVを算出して、無効エッジテーブル部 11

00へ転送する。

[0262] ゲイン算出部 201は、制御部 115から転送される ISO感度と露光条件に関する情報とホワイトバランス係数との内の少なくとも 1つに基づき、増幅部 103における増幅量を求めて、求めた増幅量を無効エッジテーブル部 1100へ転送する。

[0263] また、制御部 115は、温度センサ 117からカラー CCD1000の温度情報を取得して、取得した温度情報を無効エッジテーブル部 1100へ転送する。

[0264] 無効エッジテーブル部 1100は、平均算出部 200からの注目領域の平均値と、ゲイン算出部 201からのゲインの情報と、制御部 115からの温度情報と、に基づいて、ノィズ成分に起因する無効エッジ信号 IEを出力する。

[0265] ここに、無効エッジテーブル部 1100は、信号値レベル，ゲイン，温度と、ノイズ成分に起因する無効エッジ信号と、の間の関係を記録したルックアップテーブルであり、上述した実施形態 1の数式 5および数式 6に基づいて構築されている。無効エッジテ一ブル部 1100は、求めた無効エッジ信号 IEをエッジ補正部 1006へ転送する。

[0266] なお、上述したような無効エッジ信号を算出する過程にぉ、て、温度 tやゲイン gなどの情報を必ずしも撮影毎に求める必要はない。つまり、任意の情報を標準値付与部 202に記録しておき、算出過程を省略するように構成することも可能である。これによって、処理の高速ィ匕ゃ省電力化などを図ることが可能となる。

[0267] また、上述では、ノイズ成分に起因するエッジ信号を推定するために、撮像素子の温度， ISO感度，露出情報，ホワイトバランス情報などの関連情報を用いていたが、このような構成に限定されるものでもない。例えば、図 29に示すように、輝度信号のレベルのみに基づいて、ノイズ成分に起因するエッジ信号を推定するように構成することも可能である。

[0268] ここで、図 29を参照して、無効エッジ推定部 1005の構成の他の例について説明する。

[0269] この図 29に示す無効エッジ推定部 1005は、図 28に示すような構成から、ゲイン算出部 201と標準値付与部 202とを省略して、無効エッジテーブル部 1100をテーブル変換手段たる無効エッジテーブル部 1101により置換した構成となって、る。この図 2 9に示す無効エッジ推定部 1005におけるその他の基本的な構成は、図 28に示したものと同様であるために、同一の構成には同一の名称と符号を付して、以下では、主として異なる部分につ!、てのみ説明する。

[0270] 平均算出部 200は、無効エッジテーブル部 1101へ接続されている。無効エッジテ一ブル部 1101は、エッジ補正部 1006へ接続されて、る。

[0271] 制御部 115は、無効エッジテーブル部 1101と双方向に接続されていて、これを制御するようになっている。

[0272] 次に、このような無効エッジ推定部 1005の作用について説明する。

[0273] 平均算出部 200は、制御部 115の制御に基づき、バッファ 105内の輝度信号 Yから、図 2に示したような注目領域 Pの平均値 AVを算出して、無効エッジテーブル部 1

101へ転送する。

[0274] 無効エッジテーブル部 1101は、平均算出部 200からの注目領域 Pの平均値 AV に基づき、ノイズ成分に起因する無効エッジ信号 IEを出力する。ここに、無効エッジテーブル部 1101は、所定のゲイン，所定の温度における信号値レベルと、ノイズ成分に起因する無効エッジ信号と、の間の関係を記録したルックアップテーブルであり、上述した実施形態 1の数式 5および数式 6に基づいて構築されている。無効エッジテーブル部 1101は、求めた無効エッジ信号 IEを、エッジ補正部 1006へ転送する。

[0275] 続いて、図 30を参照して、エッジ補正部 1006の構成の一例について説明する。

[0276] このエッジ補正部 1006は、テーブル補正手段たるエッジ補正テーブル部 1200を含んでいる。

[0277] エッジ抽出部 109と無効エッジ推定部 1005とは、エッジ補正テーブル部 1200へそれぞれ接続されて、る。エッジ補正テーブル部 1200は、エッジ強調部 112へ接続されている。

[0278] また、制御部 115は、エッジ補正テーブル部 1200と双方向に接続されていて、これを制御するようになって！/ヽる。

[0279] 次に、このようなエッジ補正部 1006の作用について説明する。

[0280] エッジ補正テーブル部 1200は、制御部 115の制御に基づき、エッジ抽出部 109から注目画素 P に対するエッジ信号 Eを、無効エッジ推定部 1005から注目画素 P に

11 11 対する無効エッジ信号 IEを、それぞれ読み込む。

[0281] ここに、エッジ補正テーブル部 1200は、複数種類、ここでは例えば図 31に示すような 3種類、の代表的な無効エッジ信号 IE (k= l〜3)の大きさに対応する変換の関 k

係を記録するテーブルである。

[0282] そして、エッジ補正テーブル部 1200は、無効エッジ推定部 1005からの無効エッジ信号 IEに基づいて、記録されている代表的な無効エッジ信号 IEに最も近い変換の関係を選択し、選択した関係に基づき、エッジ抽出部 109からのエッジ信号 E力補正後のエッジ信号 E，を求めて出力する。その後、エッジ補正テーブル部 1200は、補正後のエッジ信号 E，を、エッジ強調部 112へ転送する。

[0283] なお、上述にぉヽては、撮像部が一体化された画像処理システムを例に挙げたが、このような構成に限定されるものではなぐ上述した実施形態 1と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。

[0284] また、上述では、カラー撮像素子としてべィヤー（Bayer)型原色フィルタを前面に配置した単板 CCDを想定していた力このような構成の撮像素子に限定されるものではない。例えば、色差線順次型補色フィルタを前面に配置した単板撮像素子や、二板あるいは三板撮像素子を適用することも可能である。例えば、図 27は、色差線順次型の補色フィルタの構成を示して、る。

[0285] この色差線順次方式の補色フィルタは、 2 X 2画素を基本単位として、シアン (Cy) およびイェロー (γ_θ)が 2 X 2画素の同一ラインに、マゼンタ（Mg)および緑 (G)が 2 X 2画素の他の同一ラインに、それぞれ配置されたものとなっている。ただし、マゼンタ（Mg) ,緑 (G)の位置は、ライン毎に反転するように構成されている。

[0286] このような色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる場合には、 YZC分離部 1003における輝度信号 Yおよび色差信号 Cb, Crへ分離は、次の数式 20に示すように行われる。

[数 20]

Y =Cy+Ye + G + Mg

Cb= (Cy+Mg) (Ye + G)

Cr= (Ye + Mg) (Cy+G)

さらに、上述ではハードウェアによる処理を前提としていた力このような構成に限定されるものではない。例えば、カラー CCD1000からの映像信号を未処理のままの Rawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報 (例えば、制御部 115からの撮影時の撮像素子の温度やゲインやホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトゥヱァである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンビユータに読み取らせ、処理することも可能である。なお、撮像部力もコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

[0287] 図 32を参照して、画像処理プログラムによる処理のメインルーチンを説明する。なお、この図 32に示す処理の内の、上述した実施形態 1の図 14に示した処理とほぼ同様な処理については、同一の符号を付している。

[0288] この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度ゃゲインやホワイトバランス係数などのヘッダ情報を読み込む (ステップ S 1)。

[0289] 次に、公知の補間処理を行って、三板の映像信号を生成する (ステップ S60)。

[0290] 続いて、数式 17に示したように、輝度信号および色差信号を抽出する (ステップ S6

D o

[0291] そして、図 2に示したような注目画素を含む 3 X 3画素サイズの注目領域を、輝度信号および色差信号毎に抽出する (ステップ S2)。

[0292] その後、例えば図 3に示したような等方的なエッジ抽出フィルタを用いて、注目画素における輝度信号のエッジ信号を抽出する (ステップ S3)。

[0293] さらに、後で図 33を参照して説明するように、注目画素におけるノイズ成分に起因する無効エッジ信号を推定する (ステップ S62)。

[0294] 次に、図 31に示したような複数種類の変換の関係力もなるテーブルを読み込んで

、補正されたエッジ信号を出力する (ステップ S63)。

[0295] 続いて、補正されたエッジ信号を用いて、数式 18に示したように、輝度信号にエツジ強調処理を行う（ステップ S 10)。

[0296] そして、全注目領域についての処理が完了したか否かを判定し (ステップ Sl l)。完了して、な、場合には、上記ステップ S 2へ戻って次の注目領域にっ、て上述したような処理を繰り返して行う。

[0297] また、全注目領域についての処理が完了したと判定された場合には、数式 19に示したように、 R，， G，， B，の三信号を合成する（ステップ S64)。

[0298] その後、公知の彩度強調処理や圧縮処理などの信号処理を行い (ステップ S 12)、処理後の映像信号を出力して (ステップ S13)、この一連の処理を終了する。 [0299] 次に、図 33を参照して、上記図 32のステップ S62における無効エッジ推定の処理について説明する。

[0300] 図 33のステップ S62においてこの処理が開始されると、まず、注目領域の輝度信号の平均値を算出する (ステップ S70)。

[0301] 次に、読み込まれたヘッダ情報に基づ、て、温度やゲインなどの関連する情報を設定する (ステップ S71)。ただし、ヘッダ情報内に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。

[0302] 続、て、無効エッジテーブルを用いて無効エッジ信号を求める (ステップ S72)。

[0303] その後、算出された無効エッジ信号を出力して (ステップ S73)、この処理から図 32 に示した処理に復帰する。

[0304] このような実施形態 3によれば、カラー撮像素子からの映像信号から輝度信号を分離して、ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求め、求められない情報に関しては標準値を設定し、これらの情報と輝度信号とに基づきノイズ成分に起因する無効エッジ信号を求め、エッジ信号を求めた無効エッジ信号によって補正処理する画像処理システムを構成することが可能となる。

[0305] このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエツジ成分の抽出を安定して行うことが可能となる。

[0306] また、カラー撮像素子力もの信号に対応しているために、多様な撮像系に利用することができる。

[0307] さらに、撮影毎に異なる条件に動的に適応しているために、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。

[0308] そして、必要となる情報が得られな、場合でも、標準値を設定するようになって!/、るために、ノイズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。

[0309] また、ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために

、高精度なエッジ信号の推定を高速に行うことが可能となる。

[0310] [実施形態 4] 図 34および図 35は本発明の実施形態 4を示したものであり、図 34は画像処理システムの構成を示すブロック図、図 35は画像処理プログラムによる信号処理全体の流れを示すフローチャートである。

[0311] この実施形態 4において、上述の実施形態 1〜3と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0312] まず、図 34を参照して、この画像処理システムの構成について説明する。図 34に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。

[0313] この図 34に示す画像処理システムは、上述した実施形態 2の図 16に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図 16に示した CCD102をカラー CCD1300に置換し、プレホワイトバランス部 1301と補間部 1302と YZC分離手段たる YZC分離部 1303とバッファ 1304と YZC合成部 1305とを追加した構成になっている。その他の基本的な構成は実施形態 2と同様であって、同一の構成には同一の名称と符号を付している。

[0314] 以下、主として異なる部分のみを説明する。

[0315] レンズ系 100,絞り 101,カラー CCD1300を介して撮影された映像信号は、増幅部 103へ転送されるようになってヽる。

[0316] ノッファ 105は、プレホワイトバランス部 1301と補間部 1302と測光評価部 106と合焦点検出部 107とへそれぞれ接続されている。プレホワイトバランス部 1301は、増幅部 103へ接続されている。補間部 1302は、 YZC分離部 1003へ接続されている。 Y ZC分離部 1303は、バッファ 1304へ接続されている。ノッファ 1304は、エッジ抽出部 109とノイズ処理部 600とへそれぞれ接続されている。エッジ強調部 112は、 Ύ/ C合成部 1305へ接続されている。 YZC合成部 1305は、信号処理部 113へ接続されている。

[0317] また、カラー CCD1300の近傍に配置された温度センサ 117からの信号は、制御部 115へ接続されている。

[0318] そして、制御部 115は、プレホワイトバランス部 1301,補間部 1302, YZC分離部 1303, YZC合成部 1305と双方向に接続されていて、これらを制御するようになつている。

[0319] 次に、この図 34に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態 4の画像処理システムの作用は、基本的に上述した実施形態 2と同様であるために、主として異なる部分についてのみ説明する。

[0320] ユーザが、外部 IZF部 116の 2段式スィッチでなるシャツタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。

[0321] すると、レンズ系 100および絞り 101を介して結像される被写体像力カラー CCD1 300により光電変換され、アナログの映像信号として出力される。

[0322] このアナログの映像信号は、増幅部 103によって ISO感度やホワイトバランスを考慮した増幅が行われた後に、 AZD変換部 104によりデジタルの映像信号に変換されて、バッファ 105に記憶される。

[0323] なお、本実施形態においては、カラー CCD1300として、べィヤー（Bayer)型原色フィルタを前面に配置した単板撮像素子を想定している。また、撮像素子としては、 C CDに限るものではなぐ CMOSやその他の撮像素子を用いても構わないことは、上述した各実施形態と同様である。

[0324] 続いて、バッファ 105内の映像信号は、測光評価部 106と、合焦点検出部 107と、プレホワイトバランス部 1301と、へそれぞれ転送される。

[0325] これらの内のプレホワイトバランス部 1301は、バッファ 105に記憶されている映像信号の内の所定レベルの範囲内の信号を色信号毎に積算する（つまり、累計的に加算する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部 1301 は、算出した係数を増幅部 103へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。

[0326] こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部 IZF部 116の 2段式スィッチでなるシャツタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。

[0327] すると、プリ撮像と同様にして、映像信号力 Sバッファ 105へ転送される。この本撮影は、プレホワイトバランス部 1301によって求められた簡易ホワイトバランス係数と、測光評価部 106によって求められた露光条件と、合焦点検出部 107によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部 115へ転送される。

[0328] 本撮影によって得られたバッファ 105内の映像信号は、まず、補間部 1302へ転送される。

[0329] この補間部 1302は、制御部 115の制御に基づき、公知の補間処理により R, G, B の三板力もなる映像信号を生成して、 YZC分離部 1303へ転送する。

[0330] YZC分離部 1303は、制御部 115の制御に基づき、 R, G, B信号を数式 17に示したように輝度信号 Yおよび色差信号 Cb, Crへ分離する。

[0331] YZC分離部 1303により算出された輝度信号および色差信号は、バッファ 1304へ転送されて保存される。

[0332] ノイズ処理部 600は、制御部 115の制御に基づき、図 2に示したような注目画素 P

11 を包含する 3 X 3画素サイズの注目領域 Pを輝度信号および色差信号毎に個別に順次抽出する。そして、ノイズ処理部 600は、特開 2005— 175718号公報に開示されて、るようにノイズのモデルに基づき注目画素 P

11に関するノイズ量を推定し、平滑化処理を行う。なお、以後は、推定された輝度信号のノイズ量を NY、平滑化がなされた輝度信号を NR— Y、平滑ィ匕がなされた色差信号を NR— Cb, NR— Crによりそれぞれ表すことにする。ノイズ処理部 600は、推定した輝度信号に関するノイズ量 N

Yを無効エッジ推定部 601へ、平滑ィ匕処理を行った輝度信号 NR—Yおよび色差信号 NR— Cb, NR—Crをェッジ強調部112へ、それぞれ転送する。

[0333] エッジ抽出部 109は、制御部 115の制御に基づき、バッファ 1304内の輝度信号 Y から、図 2に示したような注目画素 P を包含する 3 X 3画素サイズの注目領域 Pを順

11 エッジ信号 Εを抽出する。エッジ抽出部 109は、抽出したエッジ信号 Εを、エッジ補正部 602へ転送する。

[0334] 無効エッジ推定部 601は、制御部 115の制御に基づき、ノイズ処理部 600から輝度信号に関するノイズ量 ΝΥを読み込み、注目画素 Ρ におけるノイズ成分に起因する

11

無効エッジ信号 IEを推定する。無効エッジ推定部 601は、推定したノイズ成分に起因する無効エッジ信号 IEを、エッジ補正部 602へ転送する。 [0335] エッジ補正部 602は、制御部 115の制御に基づき、エッジ抽出部 109からのエッジ信号 Eに対して、無効エッジ推定部 601からの無効エッジ信号 IEと、所定の関数 (例えば、数式 16に示すような 3次関数）と、を用いて変換処理を行う。エッジ補正部 602 は、変換処理を行ったエッジ信号 E'を、エッジ強調部 112へ転送する。

[0336] エッジ強調部 112は、制御部 115の制御に基づき、ノイズ処理部 600からの平滑ィ匕処理がなされた輝度信号 NR—Yに対して、エッジ補正部 602からの変換処理がなされたエッジ信号 E'を用いて次の数式 21に示すようなエッジ強調処理を行う。

[数 21]

NR— Y， =NR_Y+g-E'

なお、この数式 21における gは、所定のゲイン値を意味し、例えば 0. 5〜4. 0程度の値をとるようになっている。

[0337] そして、エッジ強調部 112は、エッジ強調処理を行った輝度信号 NR—Y'を、平滑化処理がなされた色差信号 NR— Cb, NR— Crとともに、 YZC合成部 1007へ転送する。

[0338] YZC合成部 1007は、制御部 115の制御に基づき、平滑化処理およびエッジ強調処理後の輝度信号 Y，と、平滑化処理後の色差信号 NR— Cb, NR— Crとから、次の数式 22に示すように RGBの三信号 (R'， G' , Β' )を合成する。

[数 22]

R' =NR Y + 1. 40200NR— Cr

G，=NR — Y'— 0. 34414NR Cb— 0. 71414NR— Cr

B' =NR Y' + 1. 7720NR Cb

YZC合成部 1007は、合成した R'， G' , B'信号を、信号処理部 113へ転送する。

[0339] なお、上述したようなノイズ処理部 600,エッジ抽出部 109,無効エッジ推定部 601 ,エッジ補正部 602,エッジ強調部 112, YZC合成部 1305の各処理は、制御部 11 5の制御に基づき、 3 X 3画素サイズの注目領域 P単位で同期して行われるようになつている。

[0340] 信号処理部 113は、制御部 115の制御に基づき、エッジ強調部 112から出力されるエッジ強調処理後の映像信号に対して、公知の彩度強調処理や圧縮処理などを行い、処理後の信号を出力部 114へ転送する。

[0341] 出力部 114は、信号処理部 113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

[0342] なお、上述におヽては、撮像部が一体化された画像処理システムを例に挙げたが、このような構成に限定されるものではなぐ上述した実施形態 1と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。

[0343] また、上述では、カラー撮像素子としてべィヤー（Bayer)型原色フィルタを前面に配置した単板 CCDを想定していた力このような構成の撮像素子に限定されるものではない。例えば、色差線順次型補色フィルタを前面に配置した単板撮像素子や、二板あるいは三板撮像素子を適用することも可能である。

[0344] さらに、上述ではハードウェアによる処理を前提としていた力このような構成に限定されるものではない。例えば、カラー CCD1300からの映像信号を未処理のままの Rawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報 (例えば、制御部 115からの撮影時の撮像素子の温度やゲインやホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトゥヱァである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンビユータに読み取らせ、処理することも可能である。なお、撮像部力もコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

[0345] 図 35を参照して、画像処理プログラムによる処理のメインルーチンを説明する。なお、この図 35に示す処理の内の、上述した実施形態 2の図 22に示した処理とほぼ同様な処理については、同一の符号を付している。

[0346] この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度ゃゲインやホワイトバランス係数などのヘッダ情報を読み込む (ステップ S 1)。

[0347] 次に、公知の補間処理を行って、三板の映像信号を生成する (ステップ S80)。

[0348] 続いて、数式 17に示したように、輝度信号および色差信号を抽出する (ステップ S8

D o

[0349] そして、図 2に示したような注目画素を含む 3 X 3画素サイズの注目領域を、輝度信号および色差信号毎に抽出する (ステップ S2)。

[0350] その後、例えば図 3に示したような等方的なエッジ抽出フィルタを用いて、注目画素における輝度信号のエッジ信号を抽出する (ステップ S3)。

[0351] さらに、図 23に示したように、注目画素に対するノイズ処理を輝度信号および色差信号毎に行う（ステップ S30)。

[0352] また、図 24に示したように、注目画素における輝度信号のノイズ成分に起因する無効エッジ信号を推定する (ステップ S31)。

[0353] 続、て、エッジ信号の絶対値が無効エッジ信号以下である力否かを判定する (ステップ S5)。

[0354] ここで、エッジ信号が無効エッジ信号以下である場合には、数式 16に示すような 3 次関数を用いてエッジ信号を変換する (ステップ S32)。

[0355] ステップ S30の処理が終わった後であって、このステップ S32の処理を行った場合には、変換されたエッジ信号を用いて、ノイズ処理がなされた輝度信号に数式 21〖こ示したようにエッジ強調処理を行う。また、ステップ S30の処理が終わった後であって、ステップ S5にお、てエッジ信号の絶対値が無効エッジ信号よりも大き!/、と判定された場合には、そのままのエッジ信号を変換されたエッジ信号として用いて、ノイズ処理がなされた輝度信号に数式 21に示したようにエッジ強調処理を行う（ステップ S10)。

[0356] 次に、全注目領域についての処理が完了した力否かを判定し (ステップ S11)、完了して、な、場合には、上記ステップ S 2へ戻って次の注目領域にっ、て上述したような処理を繰り返して行う。

[0357] また、全注目領域についての処理が完了したと判定された場合には、数式 22に示したように、 R'， G' , B'の三信号を合成する（ステップ S82)。

[0358] その後、公知の彩度強調処理や圧縮処理などの信号処理を行い (ステップ S 12)、処理後の映像信号を出力して (ステップ S13)、この一連の処理を終了する。

[0359] このような実施形態 4によれば、カラー撮像素子からの映像信号から輝度信号を分離して、ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づきノイズ成分に起因する無効エッジ信号を動的に推定し、エッジ信号を推定した無効エッジ信号により補正処理する画像処理システムを構成することが可能となる。

[0360] このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエツジ成分の抽出を安定して行うことが可能となる。

[0361] また、ノイズ低減処理によりノイズの影響を抑制するとともに、微細な信号を保存した高品位なエッジ成分を得ることができる。

[0362] さらに、カラー撮像素子力もの信号に対応しているために、多様な撮像系に利用することがでさる。

[0363] そして、補間処理を行った後にノイズ処理およびエッジ抽出処理を行って、るために、多様な撮像系に対して適用することができ、汎用性の高い画像処理システムとなる。

[0364] [実施形態 5]

図 36から図 38は本発明の実施形態 5を示したものであり、図 36は画像処理システムの構成を示すブロック図、図 37はべィヤー（Bayer)型原色フィルタを前面に配置した撮像素子カゝら得られる映像信号を YZC分離する方法の一例を示す図、図 38は注目画素の色成分に応じた水平エッジ抽出フィルタおよび垂直エッジ抽出フィルタの構成を示す図である。

[0365] この実施形態 5において、上述の実施形態 1〜4と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0366] まず、図 36を参照して、この画像処理システムの構成について説明する。図 36に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。

[0367] この図 36に示す画像処理システムは、上述した実施形態 2の図 16に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図 16に示した CCD102をカラー CCD1400に置換し、プレホワイトバランス部 1401と YZC分離手段たる YZC分離部 1402とバッファ 1403と補間部 1404とを追加した構成になっている。その他の基本的な構成は実施形態 2と同様であって、同一の構成には同一の名称と符号を付して、る。 [0368] 以下、主として異なる部分のみを説明する。

[0369] レンズ系 100,絞り 101,カラー CCD1400を介して撮影された映像信号は、増幅部 103へ転送されるようになってヽる。

[0370] バッファ 105は、プレホワイトバランス部 1401と YZC分離部 1402と測光評価部 10 6と合焦点検出部 107とへそれぞれ接続されている。プレホワイトバランス部 1401は、増幅部 103へ接続されている。 YZC分離部 1402は、ノッファ 1403へ接続されている。ノッファ 1403は、エッジ抽出部 109とノイズ処理部 600とへそれぞれ接続されている。ノイズ処理部 600は、無効エッジ推定部 601と補間部 1404とへそれぞれ接続されている。補間部 1404は、エッジ強調部 112へ接続されている。

[0371] また、カラー CCD1400の近傍に配置された温度センサ 117からの信号は、制御部 115へ接続されている。

[0372] そして、制御部 115は、プレホワイトバランス部 1401, YZC分離部 1402,補間部

1404と双方向に接続されて、て、これらを制御するようになって!/、る。

[0373] 次に、この図 36に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態 5の画像処理システムの作用は、基本的に上述した実施形態 2と同様であるために、主として異なる部分についてのみ説明する。

[0374] ユーザが、外部 IZF部 116の 2段式スィッチでなるシャツタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。

[0375] すると、レンズ系 100および絞り 101を介して結像される被写体像力カラー CCD1

400により光電変換され、アナログの映像信号として出力される。

[0376] このアナログの映像信号は、増幅部 103によって ISO感度やホワイトバランスを考慮した増幅が行われた後に、 AZD変換部 104によりデジタルの映像信号に変換されて、バッファ 105に記憶される。

[0377] なお、本実施形態においては、カラー CCD1400として、図 37 (A)に示すようなベィヤー（Bayer)型原色フィルタを前面に配置した単板 CCDを想定している。また、撮像素子としては、 CCDに限るものではなぐ CMOSやその他の撮像素子を用いても構わないことは、上述した各実施形態と同様である。

[0378] 続いて、バッファ 105内の映像信号は、測光評価部 106と、合焦点検出部 107と、プレホワイトバランス部 1401と、へそれぞれ転送される。

[0379] これらの内のプレホワイトバランス部 1401は、バッファ 105に記憶されている映像信号の内の所定レベルの範囲内の信号を色信号毎に積算する（つまり、累計的に加算する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部 1401 は、算出した係数を増幅部 103へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。

[0380] こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部 IZF部 116の 2段式スィッチでなるシャツタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。

[0381] すると、プリ撮像と同様にして、映像信号力 Sバッファ 105へ転送される。この本撮影は、プレホワイトバランス部 1401によって求められた簡易ホワイトバランス係数と、測光評価部 106によって求められた露光条件と、合焦点検出部 107によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部 115へ転送される。

[0382] 本撮影によって得られたバッファ 105内の単板状態の映像信号は、 YZC分離部 1 402へ転送されて、この YZC分離部 1402により輝度信号 Yと色差信号 Cb, とへ分離される。なお、本実施形態においては、輝度信号 Yとして単板状態の G信号を、色差信号 Cb, Crとして単板状態の R, B信号を、それぞれ用いるものとする。

[0383] こうして YZC分離部 1402により分離された輝度信号および色差信号は、バッファ 1403へ転送されて保存される。

[0384] ノイズ処理部 600は、制御部 115の制御に基づき、図 37(B),図 37(E),図 37(H ),図 37 (K)に示すような 5X5画素サイズの輝度信号の注目領域と、図 37(C),図 3 7(D)ゝ図 37(F),図 37(G)、図 37(1),図 37(J)、図 37(L),図 37 (M)に示すような 5 X 5画素サイズの色差信号の注目領域と、を個別に順次抽出する。

[0385] 従って、ノイズ処理部 600により抽出される注目領域の輝度信号 Yと色差信号 Cb, Crとは、注目画素の種類に応じて、 4つのパターン、すなわち、図 37(B),図 37(C) ,図 37(D)に示すようなパターンと、図 37(E),図 37(F),図 37(G)に示すようなパターンと、図 37(H),図 37(1),図 37 (J)に示すようなパターンと、図 37(K),図 37( L) ,図 37 (M)に示すようなパターンと、力 S生じることになる。

[0386] そして、ノイズ処理部 600は、特開 2005— 175718号公報に開示されているようにノイズのモデルに基づき注目画素に関するノイズ量を推定し、平滑化処理を行う。なお、以後は、推定された輝度信号のノイズ量を NY、平滑化がなされた輝度信号を N R— Y、平滑ィ匕がなされた色差信号を NR— Cb, NR— Crによりそれぞれ表すことにする。ノイズ処理部 600は、推定した輝度信号に関するノイズ量 NYを無効エッジ推定部 601へ、平滑ィ匕処理を行った輝度信号 NR— Yおよび色差信号 NR— Cb, NR _Crを補間部 1404へ、それぞれ転送する。

[0387] エッジ抽出部 109は、制御部 115の制御に基づき、バッファ 1403内の輝度信号 Y 力も、図 37 (B) ,図 37 (E) ,図 37 (H) ,図 37 (K)に示すような 5 X 5画素サイズの注目領域を順次抽出して、図 38 (A)〜図 38 (D)に示すようなエッジ抽出フィルタを用いて、注目画素におけるエッジ信号 Eを抽出する。ここに、図 38 (A)は注目画素が R または Bであるときの水平方向のエッジ抽出フィルタ Eh、図 38 (B)は注目画素が Gであるときの水平方向のエッジ抽出フィルタ Eh、図 38 (C)は注目画素が Rまたは Bであるときの垂直方向のエッジ抽出フィルタ Ev、図 38 (D)は注目画素が Gであるときの垂直方向のエッジ抽出フィルタ Εν、をそれぞれ示して!/ヽる。

[0388] エッジ抽出部 109は、図 38 (A)または図 38 (B)に示したようなエッジ抽出フィルタ Ε hを用いて水平方向のエッジを抽出し、図 38 (C)または図 38 (D)に示したようなエツジ抽出フィルタ Evを用 V、て垂直方向のエッジを抽出した後に、数式 1に示したようにエッジ信号 Εを求める。エッジ抽出部 109は、こうして抽出したエッジ信号 Εを、エッジ補正部 602へ転送する。

[0389] 無効エッジ推定部 601は、制御部 115の制御に基づき、ノイズ処理部 600から輝度信号に関するノイズ量 ΝΥを読み込み、注目画素におけるノイズ成分に起因する無効エッジ信号 IEを推定する。無効エッジ推定部 601は、推定したノイズ成分に起因する無効エッジ信号 IEを、エッジ補正部 602へ転送する。

[0390] エッジ補正部 602は、制御部 115の制御に基づき、エッジ抽出部 109からのエッジ信号 Eに対して、無効エッジ推定部 601からの無効エッジ信号 IEと、所定の関数 (例えば、数式 16に示すような 3次関数）と、を用いて変換処理を行う。エッジ補正部 602 は、変換処理を行ったエッジ信号 E'を、エッジ強調部 112へ転送する。

[0391] 補間部 1404は、制御部 115の制御に基づき、ノイズ処理部 600からノイズ処理がなされた輝度 NR— Yおよび色差信号 NR— Cb, NR— Crを読み込み、公知の補間処理を行って、三板力なる輝度信号および色差信号を生成する。そして、補間部 1 404は、生成した三板力なる輝度信号および色差信号を、エッジ強調部 112へ転送する。

[0392] エッジ強調部 112は、制御部 115の制御に基づき、補間部 1404からの補間処理がなされた輝度信号 NR—Yに対して、エッジ補正部 602からの変換処理がなされたエッジ信号 E，を用いて、数式 21に示したようなエッジ強調処理を行う。そして、エッジ強調部 112は、エッジ強調処理を行った輝度信号 NR—Y'を、補間処理がなされた色差信号 NR— Cb, NR— Crとともに、信号処理部 113へ転送する。なお、本実施形態においては、上述したように、輝度信号 Yとして G信号を、色差信号 Cb, Crとして R , B信号をそれぞれ用いているために、 YZC合成処理を行うは必要なぐそのまま信号処理部 113により処理することができる。

[0393] なお、上述したようなノイズ処理部 600,エッジ抽出部 109,無効エッジ推定部 601 ,エッジ補正部 602,補間部 1404,エッジ強調部 112の各処理は、制御部 115の制御に基づき、 5 X 5画素サイズの注目領域単位で同期して行われるようになって!/、る

[0394] 信号処理部 113は、制御部 115の制御に基づき、エッジ強調部 112から出力されるエッジ強調処理後の映像信号に対して、公知の彩度強調処理や圧縮処理などを行い、処理後の信号を出力部 114へ転送する。

[0395] 出力部 114は、信号処理部 113から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

[0396] なお、上述におヽては、撮像部が一体化された画像処理システムを例に挙げたが

、このような構成に限定されるものではなぐ上述した実施形態 1と同様に、撮像部とは分離した構成の画像処理システムであっても構わない。

[0397] また、上述ではハードウェアによる処理を前提としていた力このような構成に限定されるものではない。例えば、カラー CCD1400からの映像信号を未処理のままの R _awデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報 (例えば、制御部 115からの撮影時の撮像素子の温度やゲインやホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンビュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

[0398] このような実施形態 5によれば、カラー撮像素子からの映像信号から輝度信号を分離して、ノイズ成分を推定することによりノイズ低減処理を行い、推定されたノイズ成分に基づきノイズ成分に起因する無効エッジ信号を動的に推定し、エッジ信号を推定した無効エッジ信号により補正処理する画像処理システムを構成することが可能となる。

[0399] このような画像処理システムは、性質が同一であるエッジ信号によりエッジ信号を補正するものであるために、多様なノイズが混在する映像信号に対しても高精度なエツジ成分の抽出を安定して行うことが可能となる。

[0400] また、ノイズ低減処理によりノイズの影響を抑制するとともに、微細な信号を保存した高品位なエッジ成分を得ることができる。

[0401] さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小して低コストィ匕を図ることが可能となる。

[0402] そして、カラー撮像素子からの信号に対応して、るために、多様な撮像系に利用することがでさる。

[0403] 力！]えて、補間前の単板状態の映像信号に対してノイズ処理およびエッジ抽出処理を行っているために、より高品位な映像信号を得ることが可能となる。

[0404] なお、本発明は上述した実施形態に限定されるものではなぐ発明の主旨を逸脱しな、範囲内にお、て種々の変形や応用が可能であることは勿論である。

[0405] [付記]

以上詳述したような本発明の上記実施形態によれば、以下のごとき構成を得ることができる。 [0406] [付記 1]

撮像素子力ゝらの映像信号を処理する画像処理システムであって、

上記映像信号カゝらエッジ信号を抽出するエッジ抽出手段と、

上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定手段と、

上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエツジ補正手段と、

を具備したことを特徴とする画像処理システム。

[0407] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 1、実施形態 2、実施形態 3、実施形態 4、および実施形態 5が対応する。エッジ抽出手段は図 1、図 13、図 16、図 25、図 34、または図 36に示したエッジ抽出部 109が、無効エッジ推定手段は図 1,図 5,図 12,図 13に示した無効エッジ推定部 110あるいは図 16,図 18,図 19または図 34,図 36に示したような無効エッジ推定部 601あるいは図 25,図 28,図 29に示したような無効エッジ推定部 10 05が、エッジ補正手段は図 1,図 10,図 13に示したエッジ補正部 111あるいは図 16 ,図 20また ίま図 34,図 36【こ示したようなエッジネ甫正咅 602ある!/ヽ ίま図 25,図 30【こ示したようなエッジ補正部 1006が、それぞれ該当する。

[0408] この発明の好ましい適用例は、エッジ抽出部 109によってエッジ信号を抽出し、無効エッジ推定部 110、無効エッジ推定部 601、あるいは無効エッジ推定部 1005によつてノイズ成分に起因するエッジ信号を推定し、エッジ補正部 111、エッジ補正部 60 2、あるいはエッジ補正部 1006によって上記ノイズ成分に起因するエッジ信号に基づきエッジ信号を補正する画像処理システムである。

[0409] (作用）

ノイズ成分に起因するエッジ信号を動的に推定し、原信号力のエッジ信号をノィズ成分に起因するエッジ信号に基づいて補正する。

[0410] (効果）

性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。

[0411] [付記 2]

上記映像信号から輝度信号を分離する YZC分離手段をさらに具備し、上記エッジ抽出手段は、上記輝度信号力もエッジ信号を抽出するものであり、上記無効エッジ推定手段は、上記輝度信号に基づ、てノイズ成分に起因するエツジ信号を推定するものであることを特徴とする付記 1に記載の画像処理システム。

[0412] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 3が対応する。 YZC分離手段は図 25に示した YZC分離部 1003が、エッジ抽出手段は図 25に示したエッジ抽出部 109が、無効エッジ推定手段は図 25,図 28,図 29に示したような無効エッジ推定部 1005が、それぞれ該当する。

[0413] この発明の好ましい適用例は、 YZC分離部 1003によって映像信号から輝度信号を分離し、エッジ抽出部 109によって輝度信号力もエッジ信号を抽出し、無効エッジ推定部 1005によって輝度信号のノイズ成分に起因するエッジ信号を推定する画像処理システムである。

[0414] (作用）

撮像素子力ゝらの映像信号から輝度信号を分離し、ノイズ成分に起因するエッジ信号を動的に推定し、輝度信号力ゝらのエッジ信号をノイズ成分に起因するエッジ信号に基づいて補正する。

[0415] (効果）

性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、カラー撮像素子からの信号にも対応可能であるために、多様な撮像系に禾 IJ用することがでさる。

[0416] [付記 3]

上記映像信号に対してノイズ低減処理を行うノイズ処理手段をさらに具備し、上記無効エッジ推定手段は、上記ノイズ処理手段力の所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする付記 1に記載の画像処理システム。

[0417] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 2が対応する。ノイズ処理手段は図 16,図 17に示したノィズ処理部 600が、無効エッジ推定手段は図 16,図 18,図 19に示したような無効エツジ推定部 601が、それぞれ該当する。

[0418] この発明の好ましい適用例は、ノイズ処理部 600によって映像信号のノイズ成分を推定することによりノイズ低減処理を行い、無効エッジ推定部 601によって推定されたノイズ成分に基づきノイズ成分に起因するエッジ信号を推定する画像処理システムである。

[0419] (作用）

ノイズ成分を推定することによりノイズ低減処理を行ヽ、推定されたノイズ成分に基づいてノイズ成分に起因するエッジ信号を動的に推定する。

[0420] (効果）

性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、ノイズ低減処理によりノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分を得ることができる。さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小して低コストィ匕を図ることが可能となる。

[0421] [付記 4]

上記映像信号に対してノイズ低減処理を行うノイズ処理手段と、

上記映像信号から輝度信号を分離する YZC分離手段と、

をさらに具備し、

上記エッジ抽出手段は、上記輝度信号力もエッジ信号を抽出するものであり、上記無効エッジ推定手段は、上記ノイズ処理手段力の所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする付記 1に記載の画像処理システム。

[0422] (対応する発明の実施形態と好ましい適用例）この付記には、実施形態 4および実施形態 5が対応する。ノイズ処理手段は図 34, 図 36に示したノイズ処理部 600が、 YZC分離手段は図 34に示した YZC分離部 13 03および図 36に示した YZC分離部 1402が、エッジ抽出手段は図 34,図 36に示したエッジ抽出部 109が、無効エッジ推定手段は図 34,図 36に示した無効エッジ推定部 601が、それぞれ該当する。

[0423] この発明の好ましい適用例は、ノイズ処理部 600によって映像信号のノイズ成分を推定することによりノイズ低減処理を行い、 YZC分離部 1303または YZC分離部 1 402によって映像信号力も輝度信号を分離し、エッジ抽出部 109によってノイズ低減処理がなされて、な、原信号カゝらエッジ信号を抽出し、無効エッジ推定部 601によつて推定されたノイズ成分に基づきノイズ成分に起因するエッジ信号を推定する画像処理システムである。

[0424] (作用）

ノイズ成分を推定することによりノイズ低減処理を行ヽ、撮像素子からの映像信号から輝度信号を分離し、推定されたノイズ成分に基づ!ヽてノイズ成分に起因するエツジ信号を動的に推定する。

[0425] (効果）

性質が同一であるエッジ信号によりエッジ信号を補正するために、多様なノイズが混在する映像信号に対しても高精度なエッジ成分の抽出を安定して行うことが可能となる。また、ノイズ低減処理によりノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分を得ることができる。さらに、ノイズ低減処理とエッジ信号の補正処理とを組み合わせて使用しているために、システムの規模を縮小して低コストィ匕を図ることが可能となる。また、カラー撮像素子からの信号にも対応可能であるために、多様な撮像系に利用することができる。

[0426] [付記 5]

上記補正されたエッジ信号に基づき、上記映像信号に対して強調処理を行うエツジ強調手段をさらに具備したことを特徴とする付記 1に記載の画像処理システム。

[0427] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 1および実施形態 3が対応する。エッジ強調手段は、図 1, 図 13 ,図 25に示したエッジ強調部 112が該当する。

[0428] この発明の好ましい適用例は、エッジ強調部 112によって撮像素子からの映像信号に対してエッジ強調処理を行う画像処理システムである。

[0429] (作用）

ノイズ成分に起因するエッジ信号に基づ、て補正されたエッジ信号を用いて、映像信号にエッジ強調を行う。

[0430] (効果）

多様なノイズが混在する映像信号に対しても高精度なエッジ強調処理を安定して行うことが可能となり、高品位な絵作り処理を実現することができる。

[0431] [付記 6]

上記補正されたエッジ信号に基づき、上記ノイズ低減処理がなされた映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする付記 3または付記 4に記載の画像処理システム。

[0432] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 2および実施形態 4および実施形態 5が対応する。エッジ強調手段は、図 16,図 34,図 36に示したエッジ強調部 112が該当する。

[0433] この発明の好ましい適用例は、エッジ強調部 112によってノイズ低減処理がなされた映像信号に対してエッジ強調処理を行う画像処理システムである。

[0434] (作用）

ノイズ成分に起因するエッジ信号に基づ、て補正されたエッジ信号を用いて、ノィズ低減処理がなされた映像信号にエッジ強調を行う。

[0435] (効果）

多様なノイズが混在する映像信号に対しても高精度なエッジ強調処理を安定して行うことが可能となり、高品位な絵作り処理を実現することができる。また、ノイズの影響を抑制した高品位な映像信号を生成することができる。

[0436] [付記 7]

上記無効エッジ推定手段は、

基準エッジモデルに関するパラメータ群を記録する記録手段と、上記映像信号に基づいて上記パラメータ群力も必要となるパラメータを選択するパラメータ選択手段と、

上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、

を有するものであることを特徴とする付記 1に記載の画像処理システム。

[0437] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 1が対応する。記録手段は図 12に示したパラメータ用 RO M401が、パラメータ選択手段は図 12に示したパラメータ選択部 204が、補間手段は図 12に示した補間部 205が、それぞれ該当する。

[0438] この発明の好ましい適用例は、パラメータ用 ROM401に、予め測定しておいたノィズ成分に起因するエッジ信号を推定するために使用される基準エッジモデルの係数を記録し、パラメータ選択部 204によって基準エッジモデルの係数を選択し、補間部 205によって映像信号と基準エッジモデルとに基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。

[0439] (作用）

映像信号と基準エッジモデルとに基づいて補間処理を行うことにより、ノイズ成分に起因するエッジ信号を求める。

[0440] (効果）

ノイズ成分に起因するエッジ信号の算出にモデルを用いて、るために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、システムを低コストに構成することが可能となる。

[0441] [付記 8]

上記無効エッジ推定手段は、上記映像信号を入力としてノイズ成分に起因するエツジ信号を出力するテーブル変換手段を有するものであることを特徴とする付記 1に記載の画像処理システム。

[0442] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 3が対応する。テーブル変換手段は、図 29に示したような無効エッジテーブル部 1101が該当する。 [0443] この発明の好ましい適用例は、無効エッジテーブル部 1101によって映像信号に基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。

[0444] (作用）

映像信号と変換テーブルとを用いて、ノイズ成分に起因するエッジ信号を求める。

[0445] (効果）

ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いて、るために、高精度なエッジ信号の推定を高速に行うことが可能となる。

[0446] [付記 9]

上記無効エッジ推定手段は、

基準エッジモデルに関するパラメータ群を記録する記録手段と、

上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、

上記収集手段により得ることができない情報に関して標準値を付与する付与手段と上記収集手段または上記付与手段からの情報と、上記映像信号と、に基づいて、上記パラメータ群力必要となるパラメータを選択するパラメータ選択手段と、上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、

[0447] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 1が対応する。記録手段は図 5に示したパラメータ用 ROM 203が、収集手段は図 1に示した温度センサ 117,制御部 115および図 5に示したゲイン算出部 201が、付与手段は図 5に示した標準値付与部 202が、パラメータ選択手段は図 5に示したパラメータ選択部 204が、補間手段は図 5に示した補間部 205, 補正部 206が、それぞれ該当する。

[0448] この発明の好ましい適用例は、温度センサ 117,制御部 115およびゲイン算出部 2 01によってノイズ成分に起因するエッジ信号の推定に用いる情報を収集し、標準値付与部 202によって温度センサ 117,制御部 115およびゲイン算出部 201からの情報が得られない場合に標準値を設定し、パラメータ用 ROM203に予め測定しておいたノイズ成分に起因するエッジ信号を推定するために使用される基準エッジモデルの係数と補正係数とを記録し、パラメータ選択部 204によって基準エッジモデルの係数と補正係数とを選択し、補間部 205,補正部 206によって映像信号と基準エッジモデルとに基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。

[0449] (作用）

ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報と映像信号と基準エッジモデルとに基づいて補間処理を行うことによりノイズ成分に起因するエッジ信号を求める。

[0450] (効果）

撮影毎に異なる条件に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でも、ノィズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。さらに、ノイズ成分に起因するエッジ信号の算出にモデルを用いているために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、低コストなシステムを構成することが可能となる。

[0451] [付記 10]

上記無効エッジ推定手段は、

上記収集手段により得ることができない情報に関して標準値を付与する付与手段と上記収集手段または上記付与手段からの情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換手段と、

[0452] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 3が対応する。収集手段は図 25に示した温度センサ 117 ,制御部 115および図 28に示したようなゲイン算出部 201が、付与手段は図 28に示したような標準値付与部 202が、テーブル変換手段は図 28に示したような無効エツジテーブル部 1100が、それぞれ該当する。

[0453] この発明の好ましい適用例は、温度センサ 117,制御部 115およびゲイン算出部 2 01によってノイズ成分に起因するエッジ信号の推定に用いる情報を収集し、標準値付与部 202によって温度センサ 117,制御部 115およびゲイン算出部 201からの情報が得られなヽ場合に標準値を設定し、無効エッジテーブル部 1100によって映像信号に基づきノイズ成分に起因するエッジ信号を求める画像処理システムである。

[0454] (作用）

ノイズ成分に起因するエッジ信号に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報と映像信号と変換テーブルとを用いてノイズ成分に起因するエッジ信号を求める。

[0455] (効果）

撮影毎に異なる条件に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でも、ノィズ成分に起因するエッジ信号の推定が可能となり、安定した処理結果を得ることができる。さらに、ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いているために、高精度なエッジ信号の推定を高速に行うことが可能となる。

[0456] [付記 11]

上記ノイズ処理手段は、

上記映像信号からノイズ量を推定するノイズ推定手段と、

上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減手段と、を有するものであることを特徴とする付記 3または付記 4に記載の画像処理システム

[0457] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 2が対応する。ノイズ推定手段は図 16に示した温度センサ 117,制御部 115および図 17に示したゲイン算出部 701,標準値付与部 702,ノィズテーブル部 703が、ノイズ低減手段は図 17に示した第 1スムージング部 705,第 2 スムージング部 706が、それぞれ該当する。

[0458] この発明の好ましい適用例は、温度センサ 117,制御部 115およびゲイン算出部 7 01によってノイズ量推定に用いる情報を収集し、標準値付与部 702によって温度センサ 117,制御部 115およびゲイン算出部 701からの情報が得られない場合に標準値を設定し、ノイズテーブル部 703によってノイズ量を推定し、第 1スムージング部 70 5によってノイズ範囲に属すると判定された映像信号に平滑ィ匕を行ヽ、第 2スムージング部 706によってノイズ範囲に属さないと判定された映像信号に補正を行う画像処理システムである。

[0459] (作用）

ノイズ量に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、これらの情報カゝらテーブルを用いてノイズ量を推定し、ノイズ範囲に属すると判定された映像信号には平滑ィ匕処理を、ノイズ範囲に属さないと判定された映像信号には補正処理を、それぞれ行う。

[0460] (効果）

撮影毎に異なる条件に動的に適応して、ノイズ量の推定を高精度に行うことが可能となる。また、必要となる情報が得られない場合でもノイズ量の推定が可能となり、安定したノイズ低減効果を得ることができる。さらに、ノイズ量の算出にテーブルを用いているために、処理を高速に行うことが可能となる。また、平滑化処理と補正処理とを組み合わせて使用しているために、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な信号を得ることができる。

[0461] [付記 12]

上記無効エッジ推定手段は、

上記ノイズ処理手段力ものノイズ量に基づいて上記パラメータ群力も必要となるパラメータを選択するパラメータ選択手段と、

上記ノイズ処理手段力のノイズ量と上記選択されたパラメータとに基づ、て、補間演算によりノイズ成分に起因するエッジ信号を求める補間手段と、

を有するものであることを特徴とする付記 11に記載の画像処理システム。 [0462] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 2が対応する。記録手段は図 18に示したようなパラメータ用 ROM801が、パラメータ選択手段は図 18に示したようなパラメータ選択部 800が、補間手段は図 18に示したような補間部 802が、それぞれ該当する。

[0463] この発明の好ましい適用例は、パラメータ用 ROM801に予め測定しておいたノイズ成分に起因するエッジ信号を推定するために使用される基準エッジモデルの係数を記録し、ノメータ選択部 800によって基準エッジモデルの係数を選択し、補間部 8 02によってノイズ量と基準エッジモデルとに基づいてノイズ成分に起因するエッジ信号を求める画像処理システムである。

[0464] (作用）

ノイズ量と基準エッジモデルとに基づいて補間処理を行うことによりノイズ成分に起因するエッジ信号を求める。

[0465] (効果）

ノイズ成分に起因するエッジ信号の算出にモデルを用いて、るために、エッジ信号の推定を高精度に行うことが可能となる。また、補間処理は実装が容易であるために、低コストなシステムを構成することが可能となる。

[0466] [付記 13]

上記無効エッジ推定手段は、上記ノイズ処理手段からのノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする付記 11に記載の画像処理システム。

[0467] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 2が対応する。記録手段は、図 19に示したような無効エツジテーブル部 803が該当する。

[0468] この発明の好ましい適用例は、無効エッジテーブル部 803によってノイズ量力ノィズ成分に起因するエッジ信号を求める画像処理システムである。

[0469] (作用）

ノイズ量と変換テーブルとを用いて、ノイズ成分に起因するエッジ信号を求める。

[0470] (効果）ノイズ成分に起因するエッジ信号の算出に変換テーブルを用いて、るために、高精度なエッジ信号の推定を高速に行うことが可能となる。

[0471] [付記 14]

上記収集手段は、上記撮像素子の温度値を測定する温度センサを有するものであることを特徴とする付記 9または付記 10に記載の画像処理システム。

[0472] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 1および実施形態 3が対応する。温度センサは、図 1,図 2 5に示した温度センサ 117が該当する。

[0473] この発明の好ましい適用例は、温度センサ 117から CCD102またはカラー CCD10

00の温度をリアルタイムで測定する画像処理システムである。

[0474] (作用）

撮影時の撮像素子の温度を計測して、ノイズ成分に起因するエッジ信号を推定するための情報とする。

[0475] (効果）

撮影時の温度変化に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。

[0476] [付記 15]

上記収集手段は、 ISO感度と露出情報とホワイトバランス情報との内の少なくとも 1 つの情報に基づいて上記ゲイン値を求めるゲイン算出手段を有するものであることを特徴とする付記 9または付記 10に記載の画像処理システム。

[0477] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 1および実施形態 3が対応する。ゲイン算出手段は、図 5, 図 28に示したようなゲイン算出部 201 ,制御部 115が該当する。

[0478] この発明の好ましい適用例は、制御部 115によって ISO感度，露出情報，ホワイトノランス情報などを転送し、ゲイン算出部 201によって撮影時のトータルのゲイン量を求める画像処理システムである。

[0479] (作用）

ISO感度，露出情報，ホワイトバランス情報力も撮影時のゲイン量を求めて、ノイズ成分に起因するエッジ信号を推定するための情報とする。

[0480] (効果）

撮影時のゲイン変化に動的に適応して、ノイズ成分に起因するエッジ信号の推定を高精度に行うことが可能となる。

[0481] [付記 16]

上記エッジ補正手段は、上記ノイズ成分に起因するエッジ信号に基づ、て上記ェッジ信号に対してコアリング処理を行うコアリング手段を有するものであることを特徴とする付記 1に記載の画像処理システム。

[0482] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 1が対応する。コアリング手段は、図 10に示したような加算部 301,減算部 302,置換部 303が該当する。

[0483] この発明の好ましい適用例は、加算部 301,減算部 302,置換部 303によって推定されたノイズ成分に起因するエッジ信号に基づき、エッジ信号にコアリング処理を行う画像処理システムである。

[0484] (作用）

ノイズ成分に起因するエッジ信号に基づ、て、エッジ信号にコアリング処理を行う。

[0485] (効果）

性質が同一であるエッジ信号に基づいてエッジ信号をコアリング処理するために、多様なノイズが混在する映像信号に対してもエッジ成分を安定して高精度に得ることができる。

[0486] [付記 17]

上記エッジ補正手段は、

上記ノイズ成分に起因するエッジ信号に基づ、て上記エッジ信号の補正に用いる関数の定数項を算出する定数算出手段と、

上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換手段とを有するものであることを特徴とする付記 1に記載の画像処理システム。

[0487] (対応する発明の実施形態と好ましい適用例）この付記には、実施形態 2が対応する。定数算出手段は図 20に示したような定数算出部 901が、関数変換手段は図 20に示したような変換部 902が、それぞれ該当する。

[0488] この発明の好ましい適用例は、定数算出部 901によってノイズ成分に起因するエツジ信号に基づきエッジ信号の補正に用いる関数の定数項を算出し、変換部 902によつて定数項を設定した関数に基づきエッジ信号を変換する画像処理システムである

[0489] (作用）

ノイズ成分に起因するエッジ信号に基づいてエッジ信号の補正に用いる関数の定数項を算出し、定数項を設定した関数に基づいてエッジ信号を変換する。

[0490] (効果）

ノイズ成分に起因するエッジ信号に適用的に追随して最適な変換処理を実施するために、多様なノイズが混在する映像信号に対してもエッジ成分を安定して高精度に得ることができる。

[0491] [付記 18]

上記関数変換手段は、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには 1次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには 3次関数を、用いるものであることを特徴とする付記 17に記載の画像処理システム。

[0492] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 2が対応する。

[0493] この発明の好ましい適用例は、図 21に示したような 1次関数および 3次関数を組み合わせて、エッジ信号の変換を行う画像処理システムである。

[0494] (作用）

1次関数および 3次関数を組み合わせて、エッジ信号の変換を行う。

[0495] (効果）

1次関数および 3次関数を組み合わせることにより、定数項の算出が単純となり、処理の高速化と低コスト化とを図ることが可能となる。また、補正後のエッジ信号の連続性を確保することができるために、高品位なエッジ信号を得ることができる。

[0496] [付記 19]

上記エッジ補正手段は、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正手段を有するものであることを特徴とする付記 1に記載の画像処理システム。

[0497] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 3が対応する。テーブル補正手段は、図 30に示したエッジ補正テーブル部 1200が該当する。

[0498] この発明の好ましい適用例は、エッジ補正テーブル部 1200によってノイズ成分に起因するエッジ信号に基づきエッジ信号を補正する画像処理システムである。

[0499] (作用）

ノイズ成分に起因するエッジ信号と変換テーブルとを用いて、エッジ信号を補正する。

[0500] (効果）

エッジ信号の補正に変換テーブルを用いて、るために、高精度なエッジ信号の補正を高速に行うことが可能となる。

[0501] [付記 20]

上記撮像素子は、 R (赤）， G (緑) , B (青)べィヤー型原色フィルタを前面に配置した単板撮像素子、または Cy (シアン） , Mg (マゼンタ） , Ye (イェロー）， G (緑)色差線順次型補色フィルタを前面に配置した単板撮像素子、であることを特徴とする付記 2 または付記 4に記載の画像処理システム。

[0502] (対応する発明の実施形態と好ましい適用例）

この付記には、実施形態 3および実施形態 5が対応する。

[0503] この発明の好ましい適用例は、図 26,図 37 (A)に示したようなべィヤー（Bayer)型原色フィルタ、または図 27に示したような色差線順次型補色フィルタを単板撮像素子の前面に配置した画像処理システムである。

[0504] (作用）

べィヤー（Bayer)型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる。

[0505] (効果）

従来の撮影部との親和性が高いために、多くの画像処理システムへ適用することが可能となる。

[0506] [付記 21]

コンピュータに、撮像素子からの映像信号を処理させるための画像処理プログラムであって、

コンピュータに、

上記映像信号力エッジ信号を抽出するエッジ抽出ステップと、

上記映像信号に基づいてノイズ成分に起因するエッジ信号を推定する無効エッジ推定ステップと、

上記エッジ信号を上記ノイズ成分に起因するエッジ信号に基づいて補正するエツジ補正ステップと、

を実行させるための画像処理プログラム。

[0507] (対応する発明の実施形態と効果）

付記 1とほぼ同様である。ただし、各ステップは、図 14,図 15、または図 22,図 23, 図 24、または図 32,図 33、または図 35に示したステップが対応する。

[0508] [付記 22]

上記映像信号から輝度信号を分離する YZC分離ステップをさらに含み、上記エッジ抽出ステップは、上記輝度信号力もエッジ信号を抽出するステップであり、

上記無効エッジ推定ステップは、上記輝度信号に基づ、てノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記 21に記載の画像処理プログラム。

[0509] (対応する発明の実施形態と効果）

付記 2とほぼ同様である。ただし、各ステップは、図 32,図 33に示したステップが対応する。

[0510] [付記 23] 上記映像信号に対してノイズ低減処理を行うノイズ処理ステップをさらに含み、上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づ、て、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記 21に記載の画像処理プログラム。

[0511] (対応する発明の実施形態と効果）

付記 3とほぼ同様である。ただし、各ステップは、図 22,図 23,図 24に示したステツプが対応する。

[0512] [付記 24]

上記映像信号に対してノイズ低減処理を行うノイズ処理ステップと、

上記映像信号から輝度信号を分離する YZC分離ステップと、

をさらに含み、

上記エッジ抽出ステップは、上記輝度信号力もエッジ信号を抽出するステップであり、

上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づ、て、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする付記 21に記載の画像処理プログラム。

[0513] (対応する発明の実施形態と効果）

付記 4とほぼ同様である。ただし、各ステップは、図 35に示したステップが対応する

[0514] [付記 25]

上記無効エッジ推定ステップは、

上記映像信号に基づ、て、基準エッジモデルに関するパラメータ群力必要となるノラメータを選択するパラメータ選択ステップと、

上記映像信号と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、

を含むステップであることを特徴とする付記 21に記載の画像処理プログラム。

[0515] (対応する発明の実施形態と効果）

付記 7とほぼ同様である。ただし、各ステップは、図 14,図 15、または図 22,図 23, 図 24、または図 32,図 33、または図 35に示したステップが対応する。

[0516] [付記 26]

上記無効エッジ推定ステップは、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする付記 21に記載の画像処理プログラム。

[0517] (対応する発明の実施形態と効果）

付記 8とほぼ同様である。ただし、各ステップは、図 32,図 33に示したステップが対応する。

[0518] [付記 27]

上記無効エッジ推定ステップは、

上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集ステップと、

上記収集ステップにより得ることができない情報に関して標準値を付与する付与ステツプと、

上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、に基づ!/、て、基準エッジモデルに関するパラメータ群力も必要となるパラメータを選択するパラメータ選択ステップと、

[0519] (対応する発明の実施形態と効果）

付記 9とほぼ同様である。ただし、各ステップは、図 14,図 15、または図 22,図 23, 図 24、または図 32,図 33、または図 35に示したステップが対応する。

[0520] [付記 28]

上記無効エッジ推定ステップは、

上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、を入力として、ノイズ成分に起因するヱッジ信号を出力するテーブル変換ステップと、を含むステップであることを特徴とする付記 21に記載の画像処理プログラム。

[0521] (対応する発明の実施形態と効果）

付記 10とほぼ同様である。ただし、各ステップは、図 32,図 33に示したステップが対応する。

[0522] [付記 29]

上記ノイズ処理ステップは、

上記映像信号カゝらノイズ量を推定するノイズ推定ステップと、

上記ノイズ量に基づいて上記映像信号に平滑ィ匕を行うノイズ低減ステップと、を含むステップであることを特徴とする付記 23または付記 24に記載の画像処理プログラム。

[0523] (対応する発明の実施形態と効果）

付記 11とほぼ同様である。ただし、各ステップは、図 22，図 23,図 24に示したステップが対応する。

[0524] [付記 30]

上記無効エッジ推定ステップは、

上記ノイズ処理ステップにより得られたノイズ量に基づ V、て、基準エッジモデルに関するパラメータ群力必要となるパラメータを選択するパラメータ選択ステップと、上記ノイズ処理ステップにより得られたノイズ量と上記選択されたパラメータとに基づいて、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、を含むステップであることを特徴とする付記 29に記載の画像処理プログラム。

[0525] (対応する発明の実施形態と効果）

付記 12とほぼ同様である。ただし、各ステップは、図 22，図 23,図 24に示したステップが対応する。

[0526] [付記 31]

上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られたノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする付記 29に記載の画像処理プログラム。

[0527] (対応する発明の実施形態と効果）

付記 13とほぼ同様である。ただし、各ステップは、図 22,図 23,図 24に示したステップが対応する。

[0528] [付記 32]

上記エッジ補正ステップは、上記ノイズ成分に起因するエッジ信号に基づ、て上記エッジ信号に対してコアリング処理を行うコアリングステップを含むステップであることを特徴とする付記 21に記載の画像処理プログラム。

[0529] (対応する発明の実施形態と効果）

付記 16とほぼ同様である。ただし、各ステップは、図 14,図 15、または図 22,図 23 ,図 24、または図 32,図 33、または図 35に示したステップが対応する。

[0530] [付記 33]

上記エッジ補正ステップは、

上記ノイズ成分に起因するエッジ信号に基づ、て上記エッジ信号の補正に用いる関数の定数項を算出する定数算出ステップと、

上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換ステツプと、

[0531] (対応する発明の実施形態と効果）

付記 17とほぼ同様である。ただし、各ステップは、図 22,図 23,図 24に示したステップが対応する。

[0532] [付記 34]

上記関数変換ステップは、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには 1次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには 3次関数を、用いるステップであることを特徴とする付記 33に記載の画像処理プログラム。

[0533] (対応する発明の実施形態と効果）付記 18とほぼ同様である。ただし、各ステップは、図 22,図 23,図 24に示したステップが対応する。

[0534] [付記 35]

上記エッジ補正ステップは、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正ステップを含むステツプであることを特徴とする付記 21に記載の画像処理プログラム。

[0535] (対応する発明の実施形態と効果）

付記 19とほぼ同様である。ただし、各ステップは、図 32,図 33に示したステップが対応する。

[0536] 本出願は、 2005年 10月 26日に日本国に出願された特願 2005— 311704号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims

請求の範囲

[1] 撮像素子力ゝらの映像信号を処理する画像処理システムであって、

を具備したことを特徴とする画像処理システム。

[2] 上記映像信号から輝度信号を分離する YZC分離手段をさらに具備し、

上記エッジ抽出手段は、上記輝度信号力もエッジ信号を抽出するものであり、上記無効エッジ推定手段は、上記輝度信号に基づ、てノイズ成分に起因するエツジ信号を推定するものであることを特徴とする請求項 1に記載の画像処理システム。

[3] 上記映像信号に対してノイズ低減処理を行うノイズ処理手段をさらに具備し、上記無効エッジ推定手段は、上記ノイズ処理手段力の所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする請求項 1に記載の画像処理システム。

[4] 上記映像信号に対してノイズ低減処理を行うノイズ処理手段と、

上記映像信号から輝度信号を分離する YZC分離手段と、

をさらに具備し、

上記エッジ抽出手段は、上記輝度信号力もエッジ信号を抽出するものであり、上記無効エッジ推定手段は、上記ノイズ処理手段力の所定の情報に基づいて、ノイズ成分に起因するエッジ信号を推定するものであることを特徴とする請求項 1に記載の画像処理システム。

[5] 上記補正されたエッジ信号に基づき、上記映像信号に対して強調処理を行うエツジ強調手段をさらに具備したことを特徴とする請求項 1に記載の画像処理システム。

[6] 上記補正されたエッジ信号に基づき、上記ノイズ低減処理がなされた映像信号に対して強調処理を行うエッジ強調手段をさらに具備したことを特徴とする請求項 3または請求項 4に記載の画像処理システム。

[7] 上記無効エッジ推定手段は、

上記映像信号に基づいて上記パラメータ群力も必要となるパラメータを選択するパラメータ選択手段と、

を有するものであることを特徴とする請求項 1に記載の画像処理システム。

[8] 上記無効エッジ推定手段は、上記映像信号を入力としてノイズ成分に起因するエツジ信号を出力するテーブル変換手段を有するものであることを特徴とする請求項 1に記載の画像処理システム。

[9] 上記無効エッジ推定手段は、

[10] 上記無効エッジ推定手段は、

上記収集手段により得ることができない情報に関して標準値を付与する付与手段と上記収集手段または上記付与手段からの情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換手段と、を有するものであることを特徴とする請求項 1に記載の画像処理システム。

[11] 上記ノイズ処理手段は、

上記映像信号からノイズ量を推定するノイズ推定手段と、

上記ノイズ量に基づいて上記映像信号に平滑化を行うノイズ低減手段と、を有するものであることを特徴とする請求項 3または請求項 4に記載の画像処理システム。

[12] 上記無効エッジ推定手段は、

を有するものであることを特徴とする請求項 11に記載の画像処理システム。

[13] 上記無効エッジ推定手段は、上記ノイズ処理手段からのノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換手段を有するものであることを特徴とする請求項 11に記載の画像処理システム。

[14] 上記収集手段は、上記撮像素子の温度値を測定する温度センサを有するものであることを特徴とする請求項 9または請求項 10に記載の画像処理システム。

[15] 上記収集手段は、 ISO感度と露出情報とホワイトバランス情報との内の少なくとも 1 つの情報に基づいて上記ゲイン値を求めるゲイン算出手段を有するものであることを特徴とする請求項 9または請求項 10に記載の画像処理システム。

[16] 上記エッジ補正手段は、上記ノイズ成分に起因するエッジ信号に基づいて上記ェッジ信号に対してコアリング処理を行うコアリング手段を有するものであることを特徴とする請求項 1に記載の画像処理システム。

[17] 上記エッジ補正手段は、

上記定数項を設定した関数に基づいて上記エッジ信号を変換する関数変換手段とを有するものであることを特徴とする請求項 1に記載の画像処理システム。

[18] 上記関数変換手段は、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには 1次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには 3次関数を、用いるものであることを特徴とする請求項 17に記載の画像処理システム。

[19] 上記エッジ補正手段は、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正手段を有するものであることを特徴とする請求項 1に記載の画像処理システム。

[20] 上記撮像素子は、 R (赤）， G (緑) , B (青)べィヤー型原色フィルタを前面に配置した単板撮像素子、または Cy (シアン） , Mg (マゼンタ） , Ye (イェロー）， G (緑)色差線順次型補色フィルタを前面に配置した単板撮像素子、であることを特徴とする請求項

2または請求項 4に記載の画像処理システム。

[21] コンピュータに、撮像素子からの映像信号を処理させるための画像処理プログラムであって、

コンピュータに、

を実行させるための画像処理プログラム。

[22] 上記映像信号から輝度信号を分離する YZC分離ステップをさらに含み、

上記無効エッジ推定ステップは、上記輝度信号に基づ、てノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする請求項 21に記載の画像処理プログラム。

[23] 上記映像信号に対してノイズ低減処理を行うノイズ処理ステップをさらに含み、上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づ、て、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする請求項 21に記載の画像処理プログラム。

[24] 上記映像信号に対してノイズ低減処理を行うノイズ処理ステップと、

上記映像信号から輝度信号を分離する YZC分離ステップと、

をさらに含み、

上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られた所定の情報に基づ、て、ノイズ成分に起因するエッジ信号を推定するステップであることを特徴とする請求項 21に記載の画像処理プログラム。

[25] 上記無効エッジ推定ステップは、

を含むステップであることを特徴とする請求項 21に記載の画像処理プログラム。

[26] 上記無効エッジ推定ステップは、上記映像信号を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする請求項 21に記載の画像処理プログラム。

[27] 上記無効エッジ推定ステップは、

[28] 上記無効エッジ推定ステップは、

上記収集ステップまたは上記付与ステップにより得られた情報と、上記映像信号と、を入力として、ノイズ成分に起因するエッジ信号を出力するテーブル変換ステップと、を含むステップであることを特徴とする請求項 21に記載の画像処理プログラム。

[29] 上記ノイズ処理ステップは、

上記ノイズ量に基づいて上記映像信号に平滑ィ匕を行うノイズ低減ステップと、を含むステップであることを特徴とする請求項 23または請求項 24に記載の画像処理プログラム。

[30] 上記無効エッジ推定ステップは、

上記ノイズ処理ステップにより得られたノイズ量に基づヽて、基準エッジモデルに関するパラメータ群力必要となるパラメータを選択するパラメータ選択ステップと、上記ノイズ処理ステップにより得られたノイズ量と上記選択されたパラメータとに基づ、て、補間演算によりノイズ成分に起因するエッジ信号を求める補間ステップと、を含むステップであることを特徴とする請求項 29に記載の画像処理プログラム。

[31] 上記無効エッジ推定ステップは、上記ノイズ処理ステップにより得られたノイズ量を入力としてノイズ成分に起因するエッジ信号を出力するテーブル変換ステップを含むステップであることを特徴とする請求項 29に記載の画像処理プログラム。

[32] 上記エッジ補正ステップは、上記ノイズ成分に起因するエッジ信号に基づいて上記エッジ信号に対してコアリング処理を行うコアリングステップを含むステップであることを特徴とする請求項 21に記載の画像処理プログラム。

[33] 上記エッジ補正ステップは、

[34] 上記関数変換ステップは、上記関数として、上記エッジ信号の絶対値が上記ノイズ成分に起因するエッジ信号よりも大きいときには 1次関数を、該エッジ信号の絶対値が該ノイズ成分に起因するエッジ信号以下であるときには 3次関数を、用いるステップであることを特徴とする請求項 33に記載の画像処理プログラム。

[35] 上記エッジ補正ステップは、上記エッジ信号と上記ノイズ成分に起因するエッジ信号とを入力として、補正されたエッジ信号を出力するテーブル補正ステップを含むステツプであることを特徴とする請求項 21に記載の画像処理プログラム。