WO2005041560A1

WO2005041560A1 - 信号処理システム、信号処理方法、信号処理プログラム

Info

Publication number: WO2005041560A1
Application number: PCT/JP2004/015080
Authority: WO
Inventors: Masao Sambongi
Original assignee: Olympus Corporation
Priority date: 2003-10-24
Filing date: 2004-10-13
Publication date: 2005-05-06
Also published as: CN1871847A; US20050157189A1; JP2005130297A; EP1677516A1; CN1871847B; EP1677516A4

Abstract

　ＣＣＤ（２）により撮像され前処理部（３）によりデジタル化された映像信号から、ノイズ量または撮影シーンを特徴量として推定する推定部（５）と、映像信号に係る画像のエッジ成分を抽出するエッジ抽出部（６）と、特徴量とエッジ成分とに基づいて該エッジ成分を補正するための補正係数を算出する補正係数算出部（７）と、エッジ成分と補正係数とに基づいて映像信号に対するエッジ強調処理を行うエッジ強調部（８）と、を備えた信号処理システム。

Description

明細書

信号処理システム、信号処理方法、信号処理プログラム

技術分野

[0001] 本発明は、デジタル化された映像信号を信号処理するための信号処理システム、信号処理方法、信号処理プログラムに関する。

背景技術

[0002] 従来より、画像の輪郭などを際立たせるエッジ強調処理が行われており、このエッジ強調処理としては、例えば、供給された映像信号に対して微分演算を施すことによる手段が用いられている。

[0003] しかし、多くの場合、映像信号にはノイズ成分が含まれて、るために、上述したような微分演算を用いたエッジ強調処理を行うと、ノイズ成分も強調されてしまうという課題が発生していた。

[0004] このような課題に対応する技術として、例えば特開昭 58— 222383号公報には、ェッジ抽出を行う前に平滑ィ匕演算を行うことによって入力画像に含まれるノイズを除去し、その後にエッジ強調処理を行う例が記載されて、る。

[0005] 一方、上述したような微分演算によってエッジ強調処理を行う手段は、入力画像に含まれる被写体がどのような対象の被写体であるかを認識するものではないために、該被写体に応じた効果的なエッジ強調を行うことができるものとはなっていな力つた。

[0006] これに対して、例えば特開平 9— 270005号公報には、入力画像の明るさに応じて領域を分割し、その領域のエッジを適切に強調する処理が記載されており、明るさによる被写体の分類は行われて、た。

[0007] し力しながら、上記特開昭 58— 222383号公報に記載されたようなエッジ抽出の前に平滑化演算を行う手段では、本来エッジである部分も平滑ィ匕されてぼやけてしまうために、エッジ強調を十分に効果的に行うことができるとはいえな力つた。

[0008] また、上記特開平 9— 270005号公報に記載されたような明るさに応じて領域を分割する手段では、例えば人の肌、空、植物といった特定色に対応する被写体を認識することができな、ために、エッジ強調を被写体に応じて適切に行うには不十分であつた o

[0009] 本発明は上記事情に鑑みてなされたものであり、エッジ強調処理を、適切かつ効果的に行うことができる信号処理システム、信号処理方法、信号処理プログラムを提供することを目的としている。

発明の開示

課題を解決するための手段

[0010] 上記の目的を達成するために、第 1の発明による信号処理システムは、デジタルィ匕された映像信号に対して信号処理を行う信号処理システムであって、上記映像信号に係る画像の特徴量を該映像信号に基づき推定する推定手段と、上記映像信号に係る画像のエッジ成分を該映像信号カゝら抽出するエッジ抽出手段と、上記特徴量に基づいて上記エッジ成分に対する補正係数を算出する補正係数算出手段と、上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うエッジ強調手段と、を具備したものである。

[0011] また、第 2の発明による信号処理システムは、上記第 1の発明による信号処理システムにお 1、て、上記特徴量に基づ、て上記エッジ抽出手段と上記エッジ強調手段との少なくとも一方を制御するエッジ制御手段をさらに具備したものである。

[0012] さらに、第 3の発明による信号処理システムは、上記第 2の発明による信号処理システムにおいて、上記推定手段が、上記特徴量としてノイズ量を推定するノイズ推定手段を有して構成されたものであり、上記エッジ制御手段は、該ノイズ量に基づいて上記エッジ抽出手段の動作を停止させるように制御するものである。

[0013] 第 4の発明による信号処理システムは、上記第 2の発明による信号処理システムにおいて、上記エッジ抽出手段が、所定サイズの画素配列に対応して係数を配列してなるフィルタを用いて上記映像信号力エッジ成分を抽出するものであり、上記エツジ制御手段は、上記フィルタのサイズと係数との少なくとも一方を切り換えさせるように該エッジ抽出手段を制御するものである。

[0014] 第 5の発明による信号処理システムは、上記第 1の発明による信号処理システムにおいて、上記推定手段が、上記映像信号中の特徴量に基づいて該映像信号に係る画像を複数の領域に分割する画像分割手段を有して構成されたものであり、上記補正係数算出手段は、上記画像分割手段により分割された領域毎に補正係数を算出するものであり、上記エッジ強調手段は、該画像分割手段により分割された領域毎に映像信号に対するエッジ強調処理を行うものである。

[0015] 第 6の発明による信号処理システムは、上記第 5の発明による信号処理システムにおいて、上記画像分割手段が、上記特徴量として各画素の色を用い該色に基づいて上記映像信号に係る画像を複数の領域に分割するものである。

[0016] 第 7の発明による信号処理システムは、上記第 1の発明による信号処理システムにおいて、上記推定手段が、上記特徴量としてノイズ量を推定するノイズ推定手段を有して構成されたものであり、上記補正係数算出手段は、該ノイズ量に基づいて上記ェッジ成分に対する補正係数を算出するものである。

[0017] 第 8の発明による信号処理システムは、上記第 7の発明による信号処理システムにおいて、上記ノイズ推定手段が、上記映像信号カゝら所定サイズの領域を抽出する画像領域抽出手段と、上記領域内の平均輝度値を算出する平均輝度算出手段と、上記映像信号に係る画像に対する増幅率を算出する増幅率算出手段と、上記平均輝度値と上記増幅率とに基づいてノイズ量を算出するノイズ算出手段と、を有して構成されたものである。

[0018] 第 9の発明による信号処理システムは、上記第 8の発明による信号処理システムにおいて、上記ノイズ算出手段が、上記平均輝度値と上記増幅率とに係る所定の関数式に基づいてノイズ量を算出するものである。

[0019] 第 10の発明による信号処理システムは、上記第 8の発明による信号処理システムにおいて、上記ノイズ算出手段が、上記平均輝度値と上記増幅率とに係る所定のテ一ブルに基づ、てノイズ量を算出するものである。

[0020] 第 11の発明による信号処理システムは、上記第 7の発明による信号処理システムにおいて、上記エッジ強調手段が、入力エッジ成分を 0に置換して出力エッジ成分とするコアリング処理を行うものであり、上記補正係数算出手段は、該エッジ強調手段により行われるコアリング処理の調整範囲を上記ノイズ量に基づいて設定するためのコアリング調整手段を有して構成されたものである。

[0021] 第 12の発明による信号処理システムは、上記第 9の発明による信号処理システムにおいて、上記増幅率算出手段が、上記映像信号に係る画像に対する増幅率が得られない場合に所定の標準値となる増幅率を付与する標準値付与手段を有して構成されたものである。

[0022] 第 13の発明による信号処理システムは、上記第 1の発明による信号処理システムにおいて、上記推定手段が、上記特徴量として上記映像信号に係る画像の撮影シーンを推定する撮影シーン推定手段を有して構成されたものであり、上記補正係数算出手段は、該撮影シーンに基づいて上記エッジ成分に対する補正係数を算出するものである。

[0023] 第 14の発明による信号処理システムは、上記第 13の発明による信号処理システムにおいて、上記撮影シーン推定手段が、上記映像信号により得られた画像内に存在する特定色と、該特定色が存在する範囲と、に基づいて撮影シーンを推定するものである。

[0024] 第 15の発明による信号処理システムは、上記第 13の発明による信号処理システムにおいて、上記エッジ強調手段が、入力エッジ成分を 0に置換して出力エッジ成分とするコアリング処理を行うものであり、上記補正係数算出手段は、該エッジ強調手段により行われるコアリング処理の調整範囲を上記撮影シーンに基づいて設定するためのコアリング調整手段を有して構成されたものである。

[0025] 第 16の発明による信号処理方法は、デジタル化された映像信号に対する信号処理方法であって、上記映像信号に係る画像の特徴量を該映像信号に基づき推定する処理と、上記映像信号に係る画像のエッジ成分を該映像信号から抽出する処理と、を任意の順序で、または並列的に、行うステップと、上記特徴量に基づいて上記ェッジ成分に対する補正係数を算出するステップと、上記エッジ成分と上記補正係数とに基づ!/、て上記映像信号に対するエッジ強調処理を行うステップと、を有する方法である。

[0026] 第 17の発明による信号処理方法は、上記第 16の発明による信号処理方法において、上記特徴量がノイズ量である。

[0027] 第 18の発明による信号処理方法は、上記第 16の発明による信号処理方法において、上記特徴量が、撮影シーンに係る特徴量である。 [0028] 第 19の発明による信号処理方法は、上記第 16の発明による信号処理方法において、上記映像信号中の特徴量に基づ！ヽて該映像信号に係る画像を複数の領域に分割するステップをさらに有し、上記補正係数を算出するステップは上記分割された領域毎に補正係数を算出するステップであり、上記エッジ強調処理を行うステップは上記分割された領域毎に該エッジ強調処理を行うステップである。

[0029] 第 20の発明による信号処理プログラムは、コンピュータを、デジタル化された映像信号に係る画像の特徴量を該映像信号に基づき推定する推定手段、上記映像信号に係る画像のエッジ成分を該映像信号カゝら抽出するエッジ抽出手段、上記特徴量に基づいて上記エッジ成分に対する補正係数を算出する補正係数算出手段、上記ェッジ成分と上記補正係数とに基づ!/ヽて上記映像信号に対するエッジ強調処理を行うエッジ強調手段、として機能させるためのプログラムである。

図面の簡単な説明

[0030] [図 1]本発明の実施例 1における信号処理システムの構成を示すブロック図。

[図 2]上記実施例 1における推定部の第 1の構成例を示すブロック図。

[図 3]上記実施例 1における推定部の第 2の構成例を示すブロック図。

[図 4]上記実施例 1において、画像の領域分割パターンを説明するための図。

[図 5]上記実施例 1におけるエッジ抽出部の構成例を示すブロック図。

[図 6]上記実施例 1における補正係数算出部の構成例を示すブロック図。

[図 7]上記実施例 1にお、て、パラメータ用 ROMに記録されて、る輝度値とノイズ量との関係に係る関数の形状を示す線図。

[図 8]上記実施例 1において、コアリング調整を説明するための線図。

[図 9]上記実施例 1にお、て、ノイズ推定に基づき行われるソフトウェア的な信号処理の例を示すフローチャート。

[図 10]上記実施例 1において、シーン推定に基づき行われるソフトウェア的な信号処理の例を示すフローチャート。

[図 11]本発明の実施例 2における信号処理システムの構成を示すブロック図。

[図 12]上記実施例 2におけるエッジ抽出部の構成例を示すブロック図。

[図 13]本発明の実施例 3における信号処理システムの構成を示すブロック図。 [図 14]上記実施例 3における画像分割部の構成例を示すブロック図。

[図 15]上記実施例 3において、信号処理プログラムによりソフトウェア的に行われる処理の例を示すフローチャート。

発明を実施するための最良の形態

[0031] 以下、図面を参照して本発明の実施例を説明する。

実施例 1

[0032] 図 1から図 10は本発明の実施例 1を示したものであり、図 1は信号処理システムの構成を示すブロック図である。

[0033] この信号処理システムは、図 1に示すように、被写体像を結像するための撮影光学系 1と、この撮影光学系 1により結像される光学的な被写体像を光電変換して電気的な映像信号を出力する撮像素子たる CCD2と、この CCD2から出力されるアナログの映像信号をゲイン増幅し AZD変換を行ってデジタル映像信号に変換すると共に A F制御や AE制御等の処理も行う前処理部 3と、この前処理部 3から出力されるデジタル映像信号を一時的に記憶するバッファ 4と、上記バッファ 4から読み出した映像信号に基づき後述するようなノイズ推定やシーン推定等の処理を行う推定手段たる推定部 5と、上記バッファ 4から所定サイズの領域の映像信号を読み出して該領域のェッジ成分を抽出するエッジ抽出手段たるエッジ抽出部 6と、上記推定部 5による推定結果および上記エッジ抽出部 6により抽出されたエッジ成分に基づいてエッジ成分に対する補正係数を算出する補正係数算出手段たる補正係数算出部 7と、上記バッファ 4から所定サイズの領域の映像信号を抽出して上記エッジ抽出部 6からのエッジ成分と上記補正係数算出部 7からの補正係数とに基づいてエッジ強調処理を行うエツジ強調手段たるエッジ強調部 8と、このエッジ強調部 8により処理された映像信号を例えばメモリカードなどへ記録して保存するために出力する出力部 9と、電源スィッチ、シャツタボタン、撮影時の各種モードを切り換えるためのインタフェース等を含む外部 IZF部 11と、上記前処理部 3,推定部 5,エッジ抽出部 6,補正係数算出部 7,エッジ強調部 8,出力部 9、外部 IZF部 11と双方向に接続されていてこれらを含むこの信号処理システム全体を統合的に制御するマイクロコンピュータ等でなる制御部 10と、を有して構成されている。 [0034] 次に、図 1に示したような信号処理システムにおける信号の流れについて説明する

[0035] この撮像システムは、上記外部 IZF部 11を介して ISO感度などの撮影条件を設定することができるように構成されており、これらの設定がなされた後に、該外部 IZF部 11のシャツタボタンを押すことにより、上記 CCD2による映像信号の取り込みが開始される。

[0036] 上記撮影光学系 1を介して CCD2により撮影され出力された映像信号は、上記前処理部 3によってゲイン増幅や AZD変換がなされた後に、上記バッファ 4へ転送されて記憶される。

[0037] 推定部 5は、上記制御部 10の制御に基づいて、上記バッファ 4から映像信号を読み出し、後述するようなノイズ推定やシーン推定等の処理を行うことによって特徴量を算出して、算出した特徴量を補正係数算出部 7へ転送する。

[0038] 一方、エッジ抽出部 6は、上記制御部 10の制御に基づいて、上記バッファ 4に記憶されている映像信号の内の所定サイズの領域を抽出して読み出し、この領域のエツジ成分を抽出する。そして、エッジ抽出部 6は、抽出したエッジ成分を、補正係数算出部 7とエッジ強調部 8とへ転送する。

[0039] 補正係数算出部 7は、上記制御部 10の制御に基づいて、上記推定部 5からの推定量と上記エッジ抽出部 6からのエッジ成分とを用いてエッジ成分に対する補正係数を算出し、エッジ強調部 8へ転送する。

[0040] エッジ強調部 8は、上記制御部 10の制御に基づいて、上記バッファ 4に記憶されている映像信号の内の所定サイズの領域を抽出して読み出し、上記エッジ抽出部 6からのエッジ成分と上記補正係数算出部 7からの補正係数とに基づき、エッジ強調処理を行う。このエッジ強調処理は、 RGB信号の内の G信号に対して行っても良いし、あるいは該 RGB信号から輝度信号を算出して、算出した輝度信号に対して行っても構わない。

[0041] 上述したような、推定部 5、エッジ抽出部 6、補正係数算出部 7、エッジ強調部 8における各処理は、本実施例では所定サイズの領域を単位として、上記制御部 10の制御に基づ、て同期して行われるようになって!/、る。 [0042] このようにしてエッジ強調処理が行われた映像信号は、所定サイズの領域を単位として出力部 9へ順次転送され、該出力部 9により、メモリカードなどへ順次記録されて保存される。

[0043] 図 2は、推定部 5の第 1の構成例を示すブロック図である。

[0044] この図 2は、ノイズ推定の機能を有するノイズ推定手段たる推定部 5の構成例を示している。

[0045] この推定部 5は、上記バッファ 4に記憶されている映像信号力所定サイズの局所領域を抽出して読み出す画像領域抽出手段たる局所領域抽出部 21と、この局所領域抽出部 21により読み出された局所領域の映像信号を一時的に記憶するバッファ 2 2と、このバッファ 22に記憶された局所領域の輝度の平均値を算出する平均輝度算出手段たる平均輝度算出部 23と、上記外部 IZF部 11を介して設定された ISO感度に基づいて上記前処理部 3により行われたゲインの増幅率を算出する増幅率算出手段たるゲイン算出部 24と、上記 ISO感度の情報が得られな力つた場合の標準値となる増幅率を付与する標準値付与手段たる標準値付与部 25と、増幅率とノイズ量算出に用いる関数情報との関係が記憶されているノイズ算出手段を構成するパラメータ用 ROM27と、上記ゲイン算出部 24または上記標準値付与部 25から転送された増幅率に基づいて上記パラメータ用 ROM27から関数情報を求め、求めた関数情報に基づく関数に上記平均輝度算出部 23から転送された平均輝度を代入してノイズ量を算出し、算出したノイズ量を上記補正係数算出部 7へ転送するノイズ算出手段たるノィズ算出部 26と、を有して構成されている。

[0046] 上記制御部 10は、上記局所領域抽出部 21、平均輝度算出部 23、ゲイン算出部 2 4、標準値付与部 25、ノイズ算出部 26と双方向に接続されていて、これらを制御するようになっている。

[0047] 次に、このような推定部 5における処理の流れについて説明する。

[0048] まず、上記前処理部 3は、上記外部 IZF部 11を介して設定された ISO感度に基づ

V、て、上記 CCD2から転送される映像信号のゲインを増幅する。

[0049] 上記ゲイン算出部 24は、上記制御部 10の制御に基づいて、該前処理部 3によりなされたゲインの増幅率を求め、これをノイズ算出部 26へ転送する。 [0050] 本実施例の信号処理システムにおいては、 ISO感度として例えば 100, 200, 400 の三段階を設定することが可能であると想定しており、これらの ISO感度に各対応する増幅率がそれぞれ 1, 2, 4倍として設定される。なお、 ISO感度の情報が得られな力つた場合には、制御部 10は、標準値付与部 25を制御することにより、該標準値付与部 25から所定の増幅率、例えば ISO感度 100に対応する増幅率である 1倍の増幅率を上記ノイズ算出部 26へ転送させる。

[0051] 上記ノイズ算出部 26は、上記制御部 10の制御に基づいて、ゲイン算出部 24または標準値付与部 25からの増幅率に対応する、ノイズ量算出に用いる関数情報を、パラメータ用 ROM27から求める。

[0052] このノイズ量算出に用いる関数について、図 7を参照して説明する。図 7は、パラメータ用 ROM27に記録されている輝度値とノイズ量との関係に係る関数の形状を示す線図である。

[0053] ノイズ量 Nは、この図 7に示すように、ほぼ輝度値 Yのべき乗の関数形状で増加するようになつている。これをモデルィ匕したもの力数式 1に示す関数である。

[数 1]

Ν = αΥ^β + γ ここに、 a , β , γは定数である。

[0054] ノイズは、映像信号と共に、前処理部 3のゲイン処理により増幅もしくは減少されるために、該ノイズの量は、該前処理部 3のゲイン処理における増幅率に依存して増減することになる。図 7は、 ISO感度 100, 200, 400 (つまり、増幅率 1, 2, 4)をノラメータとして、輝度値 Yに対するノイズ量 Nの変化の様子を示したものであり、各パラメータに係る 3つの関数に各対応して 3本の曲線が描画されている。

[0055] このような増幅率による相違を考慮して数式 1を拡張すると、次の数式 2に示すような関数が得られる。

[数 2]

Ν = α_ίΥ^βί +χ_ί ここに、 iは増幅率を示すパラメータであり、本実施例では i=l , 2, 4となる。

[0056] 上記パラメータ用 ROM27は、この数式 2における定数項 a i , j8 i , γ ί (すなわち

、増幅率 iに各対応する定数項 ex , β , γ )を記録するものとなって、る。

[0057] 上記ノイズ算出部 26は、上記ゲイン算出部 24または標準値付与部 25から増幅率を取得すると、取得した増幅率 iに対応する上記定数項 α ί , β ί , γ ίを、上記パラメータ用 ROM27から読み出す。このとき、増幅率は 1枚の画像に係る映像信号において共通であるために、該定数項 α ί , β ί , γ ίを読み出す処理は、各局所領域について行うのではなぐ 1枚の画像に係る映像信号に関して一回のみ行われる。

[0058] 次に、上記局所領域抽出部 21は、上記制御部 10の制御に基づいて、上記バッファ 4に記憶されている映像信号から、所定サイズの領域、例えば 5 X 5画素単位の領域を抽出し、バッファ 22へ転送する。

[0059] 上記平均輝度算出部 23は、上記制御部 10の制御に基づいて、該バッファ 22に記憶されている領域内の各画素に関し、次の数式 3によって、画素単位で輝度信号 Υ を求める。

[数 3]

Y= 0. 299R+ 0. 587G + 0. 114B

[0060] さらに上記平均輝度算出部 23は、画素単位で算出した輝度信号の、局所領域内における平均値を算出し、これをノイズ算出部 26へ転送する。

[0061] ノイズ算出部 26は、上記平均輝度算出部 23から転送された平均輝度を、上記数式 2の輝度値 Υとして代入することにより、ノイズ量を算出して、算出したノイズ量を上記補正係数算出部 7へ転送する。このノイズ算出部 26により算出されたノイズ量は、上記局所領域抽出部 21により抽出された局所領域における中心画素のノイズ量であるとして扱われる。

[0062] 上記局所領域抽出部 21は、上記制御部 10の制御に基づいて、所定サイズの局所領域を、水平方向または垂直方向に 1画素単位で移動しながら、全映像信号からノィズ量の算出を行う。

[0063] 次に、図 3は、推定部 5の第 2の構成例を示すブロック図である。

[0064] この図 3は、シーン推定の機能を有する撮影シーン推定手段たる推定部 5の構成例を示している。

[0065] この推定部 5は、上記前処理部 3で設定された AF情報を上記制御部 10を介して取得し合焦位置に応じた分類を行う合焦位置推定部 31と、上記バッファ 4に記憶されている映像信号を複数の領域に分割し各領域の平均色を所定の色空間で算出する被写体色分布推定部 32と、上記前処理部 3で設定された AE情報を上記制御部 10 を介して取得するとともに上記バッファ 4に記憶されている映像信号を用いて画面全体の平均輝度レベルを算出しこれらを所定の条件と比較することにより夜景撮影であるか否かを推定する夜景推定部 33と、上記合焦位置推定部 31からの情報と上記被写体色分布推定部 32からの情報と上記夜景推定部 33からの情報とに基づいて撮影シーンを推定して推定結果を上記補正係数算出部 7へ転送する全体推定部 34と、を有して構成されている。

[0066] 上記制御部 10は、上記合焦位置推定部 31、被写体色分布推定部 32、夜景推定部 33、全体推定部 34と双方向に接続されていて、これらを制御するようになっている

[0067] 次に、このような推定部 5における処理の流れについて説明する。

[0068] 上記合焦位置推定部 31は、上記前処理部 3で設定された AF情報を上記制御部 1 0から取得して、例えば 5m—∞ (風景撮影）、 lm— 5m (人物撮影）、 lm以下 (マクロ撮影)などに分類する。この合焦位置推定部 31による分類結果は、上記全体推定部 34へ転送される。

[0069] 上記被写体色分布推定部 32は、上記制御部 10の制御に基づいて、バッファ 4からの映像信号を、例えば図 4に示すような 13個の領域 al— al3に分割する。図 4は画像の領域分割パターンを説明するための図である。

[0070] すなわち、この図 4に示す例においては、該被写体色分布推定部 32は、映像信号に係る領域を、最中央部と、この最中央部を取り巻く内周部と、この内周部を取り巻く外周部と、に分類し、さらにそれぞれを以下のような領域に分割する。

[0071] すなわち、最中央部は、真ん中の領域 alと、その左隣の領域 a2と、右隣の領域 a3 と、に分割される。

[0072] また、内周部は、上記領域 alの上の領域 a4および下の領域 a5と、該領域 a4の左の領域 a6および右の領域 a7と、該領域 a5の左の領域 a8および右の領域 a9と、に分割される。

[0073] さらに、外周部は、左上の領域 alOと、右上の領域 al lと、左下の領域 al2と、右下の領域 al3と、に分割される。

[0074] そして、被写体色分布推定部 32は、 RGB信号を、所定の色空間の信号、例えば、

L* a* b*色空間の信号へ変換する。この L* a* b*色空間への変換は、以下に示すように、 XYZ信号への変換を介して行われるようになって、る。

[0075] すなわち、被写体色分布推定部 32は、 RGB信号を、次の数式 4に示すように、まず XYZ信号へ変換する。

画

X=0. 607R+ 0. 174G + 0. 200B

Y=0. 299R+ 0. 587G + 0. 114B

Z = 0. OOOR+O. 0661G+ 1. 116B

[0076] 次に、被写体色分布推定部 32は、この XYZ信号を、次の数式 5に示すように、 L* a* b*信号へ変換する。

[数 5]

ここに関数 fは、次の数式 6に示すように定義される関数である,

[数 6] ( ^X > 0.008856のとき x ≤ 0.008856のとき

次に、被写体色分布推定部 32は、 L* a* b*色空間の信号値による平均色を上記各領域 al— al3においてそれぞれ算出し、これらの算出結果を上記全体推定部 34 へ転送する。

[0077] 一方、上記夜景推定部 33は、上記前処理部 3で設定された AE情報を制御部 10 力取得して、該制御部 10の制御に基づいて、所定のシャツタ速度よりも長時間の露光であって、かつ画面全体の平均輝度レベルが所定の閾値以下である場合に、夜景撮影であると推定する。この夜景推定部 33による推定結果は、上記全体推定部 34へ転送される。

[0078] 上記全体推定部 34は、撮影シーン推定手段を構成するものであり、上記制御部 1 0の制御に基づいて、合焦位置推定部 31、被写体色分布推定部 32、夜景推定部 3 3からの各情報に基づき、撮影シーンを推定する。

[0079] すなわち、全体推定部 34は、夜景推定部 33からの情報が夜景撮影である場合には、そのまま夜景撮影であると推定して、その結果を補正係数算出部 7へ転送する。

[0080] 一方、夜景撮影でな!ヽと推定される場合は、全体推定部 34は、上記合焦位置推定部 31からの分類結果と、上記被写体色分布推定部 32からの各領域 al— al3の平均色の情報と、を用いて、撮影シーンを推定する。

[0081] 全体推定部 34は、上記合焦位置推定部 31からの AF情報が 5m—∞の分類となる場合には、風景撮影であると推定する。このときさらに、領域 alOと領域 al lとの少なくとも一方の平均色が空色である場合には、上部に空がある風景撮影であると推定する。一方、 AF情報が 5m—∞の分類であっても、領域 alOと領域 al lとの平均色が何れも空色以外である場合には、上部に空がない風景撮影または上部に空が少ない風景撮影であると推定する。この場合には、植物や建造物等の、テクスチャ構造を有する被写体が主要被写体になると考えられる。 [0082] 次に、全体推定部 34は、上記合焦位置推定部 31からの AF情報が lm— 5mの分類となる場合には、領域 a4の平均色が肌色で、かつ領域 a6の平均色および領域 a7 の平均色が肌色以外であるときに、一人の人物撮影であると推定する。一方、 AF情報が lm— 5mの分類であって、かつ、領域 a4 ,領域 a6 ,領域 a7の平均色が全て肌色であるときには、複数人の人物撮影であると推定する。また、 AF情報が lm— 5m の分類であって、かつ、領域 a4 ,領域 a6 ,領域 a7の平均色が全て肌色以外であるときには、その他の撮影であると推定する。

[0083] 最後に、全体推定部 34は、上記合焦位置推定部 31からの AF情報が lm以下の分類となる場合には、マクロ撮影であると推定する。このときさらに、領域 a2と領域 a3との輝度差がある閾値以上である場合には、複数の物体のマクロ撮影であると推定する。これとは逆に、領域 a2と領域 a3との輝度差が上記閾値未満である場合には、単一の物体のマクロ撮影であると推定する。

[0084] このようにして全体推定部 34により推定された結果は、上記補正係数算出部 7へ転送される。

[0085] 図 5は、エッジ抽出部 6の構成例を示すブロック図である。

[0086] このエッジ抽出部 6は、上記バッファ 4に記憶されている映像信号を画素単位で読み出して輝度信号を算出する輝度信号算出部 41と、この輝度信号算出部 41により画素単位で算出された輝度信号を全映像信号について記憶するためのノッファ 42 と、フィルタ処理を行うためのマトリクスとして構成されたフィルタ係数を記憶するフィルタ用 ROM44と、上記バッファ 42に記憶された輝度信号を所定サイズの領域毎に読み出してこのフィルタ用 ROM44から読み出したマトリクスでなるフィルタ係数を用いてエッジ成分を算出し上記補正係数算出部 7およびエッジ強調部 8へ転送するフィルタ処理部 43と、を有して構成されている。

[0087] 上記制御部 10は、上記輝度信号算出部 41、フィルタ処理部 43と双方向に接続されていて、これらを制御するようになっている。

[0088] 次に、このようなエッジ抽出部 6における処理の流れについて説明する。

[0089] 上記輝度信号算出部 41は、上記制御部 10の制御に基づいて、バッファ 4に記憶されている映像信号を画素単位で読み出し、上記数式 3によって輝度信号を算出する [0090] バッファ 42は、上記輝度信号算出部 41により画素単位で算出された輝度信号を順次記憶して、最終的に、全映像信号に係る輝度信号を記憶する。

[0091] こうして全映像信号力も輝度信号が算出されたら、フィルタ処理部 43は、制御部 10 の制御に基づいて、フィルタ用 ROM44からフィルタ処理を行うためのマトリクスとして構成されたフィルタ係数を読み出す。

[0092] 次に、フィルタ処理部 43は、上記制御部 10の制御に基づいて、バッファ 42に記憶されている輝度信号を、所定サイズの領域、例えば 5 X 5画素単位の領域毎に読み込んで、マトリクスでなる上記フィルタ係数を用いてエッジ成分を求める。そして、フィルタ処理部 43は、求めたエッジ成分を、上記補正係数算出部 7とエッジ強調部 8とへそれぞれ転送する。

[0093] 該フィルタ処理部 43は、上記制御部 10の制御に基づいて、所定サイズの領域を水平方向または垂直方向に 1画素単位で移動しながら、^度信号力上述したようにしてエッジ成分を算出する。

[0094] 図 6は、補正係数算出部 7の構成例を示すブロック図である。

[0095] この補正係数算出部 7は、上記推定部 5から画素単位で転送される推定量に基づいてコアリングを行うための閾値となるコアリング範囲 Thを設定するコアリング調整手段たるコアリング調整部 51と、後述する図 8に示すような入力エッジ成分と出力エッジ成分とを関係付ける関数またはテーブルが記憶されている補正係数用 ROM53と、この補正係数用 ROM53から読み込んだ関数またはテーブルに上記コアリング調整部 51からのコアリング範囲 Thをバイアス成分として加算することにより上記エッジ抽出部 6からのエッジ成分に対する補正係数を算出して上記エッジ強調部 8へ転送する補正係数計算部 52と、を有して構成されている。

[0096] 上記制御部 10は、上記コアリング調整部 51、補正係数計算部 52と双方向に接続されていて、これらを制御するようになっている。

[0097] 上記コアリング調整部 51は、上述したように、上記制御部 10の制御に基づいて、推定部 5から画素単位で転送される推定量に基づき、コアリングを行うための範囲 Thを設定する。 [0098] 図 8は、コアリング調整を説明するための線図である。

[0099] コアリングは、入力エッジ成分を 0に置換して出力エッジ成分とする処理であり、コアリングを行うための範囲は、自由に設定することが可能である。すなわち、上記エッジ強調部 8は、この図 8に示すように、入力エッジ成分がコアリング調整範囲（閾値) Th 以下である場合には、出力エッジ成分を 0にするコアリング処理を行うが、このときのコアリング調整範囲 Thをコアリング調整部 51において可変に設定することができるようになつている。

[0100] 例えば、上記推定部 5が上記図 2に示したようなノイズ推定を行うものである場合には、該コアリング調整部 51は、推定されたノイズ量に、所定のマージンを含ませるような係数 (例えば 1. 1)を乗算して、これをコアリング調整範囲 Thとして設定する。

[0101] 一方、上記推定部 5が上記図 3に示したようなシーン推定を行うものである場合には、コアリング調整部 51は、推定された撮影シーンに応じてコアリング調整範囲 Thを変化させる。

[0102] 具体的には、コアリング調整部 51は、ノイズ量が比較的多いと考えられる撮影シーンの画像に対してはコアリング調整範囲を大きな値である ThLに設定し、ノイズ量が比較的少ないと考えられる撮影シーンの画像に対してはコアリング調整範囲を小さな値である ThSに設定し、その他の撮影シーンの画像に対してはコアリング調整範囲を標準的な値である ThSと ThLとの中間の値に設定する処理を行う。

[0103] すなわち、上記図 3に示したような推定部 5により、例えば、上部に空がある風景撮影であると推定された場合には、空は平坦であってノイズ成分が主観的に気になる領域であるために、コアリング調整部 51は、コアリング調整範囲 Thとして大きな値である ThLを旨定する。

[0104] また、上記推定部 5により、上部に空がない風景撮影または上部に空が少ない風景撮影であると推定された場合には、植物や建造物等のテクスチャ構造をもつものが主要被写体になると考えられるために、コアリング調整部 51は、コアリング調整範囲 T hとして ThSと ThLの中間の値を指定する。

[0105] さらに、上記推定部 5により、一人の人物撮影であると推定された場合には、顔の面積が比較的大きくなつて平坦な箇所が増える一方で髪の微細構造を考慮する必要もあるために、コアリング調整部 51は、コアリング調整範囲 Thとして ThSと ThLの中間の値を指定する。

[0106] そして、上記推定部 5により、複数人の人物撮影であると推定された場合には、顔の面積が比較的小さくかつ髪の微細構造を識別し難くなるために、コアリング調整部 51は、コアリング調整範囲 Thとして大きな値である ThLを指定する。

[0107] また、上記推定部 5により、その他の撮影であると推定された場合には、撮影された被写体が不明であるために、汎用性を考慮して、コアリング調整部 51は、コアリング調整範囲 Thとして ThSと ThLの中間の値を指定する。

[0108] さらに、上記推定部 5により、複数の物体のマクロ撮影であると推定された場合には、主要被写体に微細構造があると考えられるために、コアリング調整部 51は、コアリング調整範囲 Thとして小さな値である ThSを指定する。

[0109] そして、上記推定部 5により、単一の物体のマクロ撮影であると推定された場合には、微細構造の有無を判断するのが困難となるために、汎用性を考慮して、コアリング調整部 51は、コアリング調整範囲 Thとして ThSと ThLの中間の値を指定する。

[0110] このようにして、推定部 5の推定結果に応じてコアリング調整部 51により指定されたコアリング範囲 Thは、補正係数計算部 52へ転送される。

[0111] 補正係数計算部 52は、上記制御部 10の制御に基づいて、上記補正係数用 ROM 53から上記図 8に示したようなエッジを補正するための関数またはテーブルを読み込んで、読み込んだ関数またはテーブルに、上記コアリング調整部 51からのコアリング範囲 Thをバイアス成分として加算した値を、エッジ抽出部 6からのエッジ成分に対する補正係数として、エッジ強調部 8へ転送する。エッジ強調部 8は、上記エッジ抽出部 6からのエッジ成分と、この補正係数計算部 52からの補正係数と、に基づいて、コアリングを含むエッジ強調処理を行うことになる。

[0112] 上述したような補正係数計算部 52による補正係数の算出は、上記制御部 10の制御に基づいて、画素単位で順次行われる。

[0113] これにより、推定部 5がノイズ推定を行うものである場合には、推定されたノイズ量以下のエッジ成分は 0に置換されて、ノイズの目立たないエッジ強調処理を行うことが可能となる。また、推定部 5がシーン推定を行うものである場合には、撮影シーンに応じたエッジ強調処理を行うことが可能となり、高品位な画像を得ることができる。

[0114] なお、上述ではハードウェアによる処理を前提としていた力これに限定されるものではない。例えば、上記 CCD2から得られる映像信号を未処理のままの Rawデータとしておき、この Rawデータに、 ISO感度情報や画像サイズなどの情報をヘッダ情報として付加する。そして、このヘッダ情報が付加された Rawデータをコンピュータ等の処理装置に出力して、該処理装置においてソフトウエアにより処理するようにしても良い。

[0115] 図 9および図 10を参照して、コンピュータにおいて信号処理プログラムにより行われる処理の例について説明する。

[0116] 図 9は、ノイズ推定に基づき行われるソフトウェア的な信号処理の例を示すフローチヤートである。

[0117] 処理を開始すると、上述したように ISO感度や画像サイズ等の情報が含まれるへッダ情報を読み込んで (ステップ S1)、さらに Rawデータでなる画像を読み込む (ステツプ S2)。

[0118] 次に、読み込んだ Rawデータから、注目画素を中心とした所定サイズのブロック領域、例えば 7 X 7画素でなるブロック領域、を読み込む (ステップ S3)。

[0119] 続いて、読み込んだブロック領域のデータに基づいて、注目画素を単位としてノィズ推定を行う一方で (ステップ S4)、この処理と平行して、注目画素を単位としてエツジ抽出処理を行う（ステップ S6)。なお、ここでは並列的に処理を行っている力任意の順序で順番に行うようにしても構わな、。

[0120] そして、上記ステップ S4で得られた結果および上記ステップ S6で得られた結果に基づいて、エッジ成分に対する補正係数を算出する (ステップ S5)。

[0121] このステップ S5により得られた補正係数と、上記ステップ S6で得られたエッジ成分と、に基づ、て、注目画素を単位としてエッジ強調処理を行う（ステップ S7)。

[0122] その後、画像内の全ての画素について処理が終了したか否かを判断し (ステップ S

8)、終了するまでは上記ステップ S3に戻って上述したような処理を繰り返して行う。

[0123] こうして、上記ステップ S8において、全ての画素において処理が終了したと判断された場合には、この一連の処理を終了する。 [0124] 図 10は、シーン推定に基づき行われるソフトウェア的な信号処理の例を示すフローチャートである。この図 10において、上記図 9に示した処理と同様である部分には同一の符号を付して説明を省略する。

[0125] 上記ステップ S2の処理を行った後に、上記ステップ S3およびステップ S6の処理を行う一方で、これらと平行して、読み込まれた Rawデータに基づいて画像全体のシーン推定を行う（ステップ S9)。なお、ここでは並列的に処理を行っている力任意の順序で順番に行うようにしても構わな、。

[0126] そして、このステップ S9により推定された撮影シーンと、上記ステップ S6により抽出された注目画素単位のエッジ成分と、に基づいて、エッジ成分に対する補正係数を算出する (ステップ S5A)。

[0127] その後の処理は、上記図 9に示したものと同様である。

[0128] なお、上記 CCD2としては、原色系または補色系の、単板 CCD、二板 CCD、三板 CCD等の何れを用いることも可能である。例えば単板 CCDを用いる場合には、上記前処理部 3にお、て、単板信号を三板化する補間処理を行うことになる。

[0129] さらに、上述では、パラメータ用 ROM27を参照してノイズ算出部 26により行うノイズ量の算出が、関数ィ匕した手段により行われることを前提としていたが、これに限るものではなぐ例えば、ノイズ量をテーブルとして記録する構成を採用することも可能である。この場合には、ノイズ量の算出を高精度かつ高速に行うことが可能となる。

[0130] このような実施例 1によれば、推定されたノイズ量や推定された撮影シーンに応じて、エッジ強調に対する補正係数を変化させるようにしているために、該撮影シーンに応じた最適なエッジ強調処理を行うことができ、高品位な画像を得ることが可能となる

[0131] また、推定されたノイズ量や推定された撮影シーンに応じて、エッジ強調処理に関するコアリング処理を適応的に補正し行うようにして!/、るために、ノイズに起因するァ一ティファクトやノイズ自体の強調を低減することが可能となり、高品位な画像を得ることができる。

[0132] さらに、ノイズ量の推定を、輝度値および増幅率に対応して画素単位で行うようにして、るために、ノイズ量を高精度に推定することが可能となる。 [0133] そして、ノイズ量に関する情報を関数ィ匕して保存して、るために、関数情報を保存するための ROMの容量が少なくて済み、低コストィ匕を図ることができる。また、ノイズ量に関する情報をテーブルィ匕して保存する場合には、ノイズ量の算出を高精度かつ高速に実行することができる。

[0134] カロえて、ノイズ量を算出するために必要となる増幅率が得られない場合でも、標準値を付与するようにしているために、ノイズ量の推定が可能となって、安定した動作を保証することができる。

[0135] また、画像内に存在する特定色と、この特定色が存在する範囲と、に基づいて撮影シーンを推定しているために、画面全体に対する撮影シーンの推定を、高速かつ低コストに行うことができる。

実施例 2

[0136] 図 11、図 12は本発明の実施例 2を示したものであり、図 11は信号処理システムの構成を示すブロック図、図 12はエッジ抽出部の構成例を示すブロック図である。

[0137] この実施例 2において、上述の実施例 1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0138] この実施例 2の信号処理システムは、図 11に示すように、上記図 1に示した実施例

1の信号処理システムに対して、エッジ制御手段たるエッジ制御部 12を付加したものとなっている。

[0139] このエッジ制御部 12は、上記制御部 10の制御に基づいて、上記エッジ抽出部 6およびエッジ強調部 8の動作を制御するためのものであり、該エッジ抽出部 6およびエツジ強調部 8と双方向に接続されていると共に、上記制御部 10と双方向に接続されている。

[0140] 次に、図 11に示したような信号処理システムにおける信号の流れについて説明する。

[0141] エッジ抽出部 6は、上記制御部 10の制御に基づいて、上記バッファ 4に記憶されている映像信号の内の所定サイズの領域を抽出して読み出し、この領域のエッジ成分を抽出する。

[0142] 上記制御部 10は、上記推定部 5による推定結果を参照するようになっており、該推定結果に応じて、上記エッジ制御部 12を介して、該ェッジ抽出部 6の動作を停止させることもできるようになつている。このエッジ抽出部 6の動作を停止させた場合には、所定領域の中心画素に対するエッジ強調処理は行われな、。

[0143] 具体的には、推定部 5がノイズ推定を行うものである場合には、推定されたノイズ量が所定の閾値を超えたときにエッジ抽出部 6の動作を停止させるように制御する例が挙げられる。また、推定部 5がシーン推定を行うものである場合には、夜景撮影と推定されたときにエッジ抽出部 6の動作を停止させる例が挙げられる。

[0144] 次に、図 12を参照して、エッジ抽出部 6の構成例について説明する。

[0145] このエッジ抽出部 6は、上記図 5に示したエッジ抽出部 6とほぼ同様に構成されている力フィルタ処理部 43aが上記エッジ制御部 12と双方向に接続されて制御されるようになって!/、る点が異なって!/、る。

[0146] 制御部 10は、上記推定部 5による推定結果を取得して、該推定結果に応じて上記エッジ制御部 12を制御することにより、フィルタ処理部 43aがフィルタ用 ROM44から読み込むフィルタのマトリクスサイズ、またはマトリクスを構成する係数、またはその両方、を切り換えさせることができるようになつている。すなわち、フィルタ用 ROM44には、フィルタ用の係数を行列として配列したものが記憶されており、マトリクスサイズを切り換える例としては 5 X 5のマトリクスから 3 X 3のマトリクスへ切り換えることが挙げられ、係数を切り換える例としてはラプラシアンから Sobelへ切り換えることなどが挙げられる。

[0147] 上記推定部 5がノイズ推定を行うものである場合には推定されたノイズ量に応じて、また、該推定部 5がシーン推定を行うものである場合には推定された撮影シーンに応じて、フィルタ処理部 43aは、フィルタ用 ROM44から読み込む情報の切り換えを適応的に行う。

[0148] なお、ここでもハードウェアによる処理を前提としていた力これに限らず、ソフトゥェァによって処理するようにしても良、ことは、上述した実施例 1と同様である。

[0149] このような実施例 2によれば、上述した実施例 1とほぼ同様の効果を奏するとともに、エッジ抽出処理を必要に応じて停止させることができるようにしたために、ノイズ成分が多い領域や、所定の撮影シーンなどに対して、エッジ抽出処理を適宜省略することが可能となり、処理速度を高速化することができる。

[0150] また、ノイズ推定やシーン推定に基づきエッジ抽出に用いるフィルタのマトリクスサイズと係数との少なくとも一方を適応的に切り換える場合には、ノイズ成分を抽出しないエッジ抽出や、撮影シーンに応じたエッジ抽出を行うことが可能となり、高品位な画像を得ることができる。

[0151] そして、マトリクスサイズを適応的に切り換えることにより、不要に大きなマトリクスサイズでのフィルタ処理を回避することができるために、処理を高速化することが可能となる。

実施例 3

[0152] 図 13から図 15は本発明の実施例 3を示したものであり、図 13は信号処理システムの構成を示すブロック図、図 14は画像分割部の構成例を示すブロック図、図 15は信号処理プログラムによりソフトウェア的に行われる処理の例を示すフローチャートである。

[0153] この実施例 3において、上述の実施例 1, 2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0154] この信号処理システムは、上記図 1に示した信号処理システムの推定部 5に代えて、画像分割手段たる画像分割部 13を設けたものとなって、る。

[0155] この画像分割部 13は、上記バッファ 4に記憶されている映像信号を所定サイズの領域に分割して、ラベル付けを行い、その結果を補正係数算出部 7へ転送するものである。また、該画像分割部 13は、上記制御部 10と双方向に接続されて制御されるようになつている。

[0156] 次に、図 13に示したような信号処理システムにおける信号の流れについて説明する。

[0157] 画像分割部 13は、上記バッファ 4に記憶されている映像信号を所定サイズの領域に分割し、ラベル付けを行って、その結果を補正係数算出部 7へ転送する。

[0158] 補正係数算出部 7は、上記制御部 10の制御に基づいて、画像分割部 13からの領域情報と、上記エッジ抽出部 6からのエッジ成分と、を用いて、エッジ成分に対する補正係数を算出する。この補正係数算出部 7により算出された補正係数は、エッジ強調部 8へ転送される。

[0159] 続いて、図 14を参照して、画像分割部 13の構成例について説明する。

[0160] この画像分割部 13は、上記バッファ 4に記憶されている映像信号を画素単位で読み出して色信号を算出する色信号算出部 61と、この色信号算出部 61により算出された色信号を記憶するバッファ 62と、このバッファ 62に記憶されている色信号を読み出して所定の閾値と比較する等により色に応じた領域に分割してラベル付けする特定色検出部 63と、上記バッファ 62に記憶されている色信号の内の例えば輝度信号に相当するような信号を読み出して所定の閾値と比較する等により暗部領域とそれ以外の領域に分割してラベル付けする暗部検出部 64と、上記特定色検出部 63からの情報と上記暗部検出部 64からの情報とに基づいて領域の推定を行い総合的なラベルを付与して上記補正係数算出部 7へ転送する領域推定部 65と、を有して構成されている。

[0161] 上記制御部 10は、上記色信号算出部 61、特定色検出部 63、暗部検出部 64、領域推定部 65と双方向に接続されて、て、これらを制御するようになって!/、る。

[0162] 次に、このような画像分割部 13における処理の流れについて説明する。

[0163] 上記色信号算出部 61は、上記制御部 10の制御に基づいて、バッファ 4に記憶されている映像信号を画素単位で読み出し、色信号を算出して、バッファ 62へ転送する。ここに色信号とは、例えば上記数式 4一数式 6を参照して説明したような L* a* b* 信号などを指している。

[0164] 上記特定色検出部 63は、上記制御部 10の制御に基づいて、バッファ 62に記憶されている L* a* b*信号の内の a* b*信号を読み出して、所定の閾値と比較する処理を行うことにより、映像信号に係る画像を、肌色領域、植物色領域、空色領域、その他の領域に分割する。そして、該特定色検出部 63は、例えば、肌色領域に 1、植物色領域に 2、空色領域に 3、その他の領域に 0の各ラベルを画素単位で付与して、領域推定部 65へ転送する。

[0165] 上記暗部検出部 64は、上記制御部 10の制御に基づいて、バッファ 62に記憶されている L* a* b*信号の内の L*信号を読み出して、所定の閾値と比較する処理を行うことにより、映像信号に係る画像を、暗部領域、その他の領域に分割する。そして、該暗部検出部 64は、例えば、暗部領域に 4、その他の領域に 0の各ラベルを画素単位で付与して、領域推定部 65へ転送する。

[0166] 上記領域推定部 65は、上記制御部 10の制御に基づいて、特定色検出部 63からのラベルと、暗部検出部 64からのラベルと、を加算する処理を行う。具体的には、領域推定部 65は、肌色領域に 1、植物色領域に 2、空色領域に 3、暗部領域に 4、肌色領域かつ暗部領域に 5、植物色領域かつ暗部領域に 6、空色領域かつ暗部領域に 7

、その他の領域に 0の各ラベルを、総合的なラベルとしてそれぞれ付与して、補正係数算出部 7へ転送する。

[0167] 上記補正係数算出部 7は、これらのラベル情報に基づいて、ラベル 1 (肌色領域)、ラベル 4 (暗部領域)、またはラベル 6 (植物色領域かつ暗部領域)の各領域に対しては、コアリング調整範囲 Thを ThSと ThLの中間の値に指定する。

[0168] また、補正係数算出部 7は、ラベル 2 (植物色領域)またはラベル 0 (その他の領域）の各領域に対しては、コアリング調整範囲を ThSに指定する。

[0169] そして、補正係数算出部 7は、ラベル 3 (空色領域)、ラベル 5 (肌色領域かつ暗部領域)、またはラベル 7 (空色領域かつ暗部領域)の各領域に対しては、コアリング調整範囲 Thを ThLに指定する。

[0170] なお、上述ではハードウェアによる処理を前提としていた力これに限らず、ソフトゥエアによって処理するようにしても良いことは、上述した実施例 1, 2と同様である。

[0171] 図 15を参照して、コンピュータにおいて信号処理プログラムによりソフトウェア的に行われる処理の例について説明する。この図 15において、上述した実施例 1の図 9 に示した処理と同様である部分には同一の符号を付して説明を省略する。

[0172] 上記ステップ S2の処理を行った後に、上記ステップ S3およびステップ S6の処理を行う一方で、これらと平行して、読み込まれた Rawデータに基づいて、特定色毎に画像を分割してラベル付けを行う（ステップ S 11)。なお、ここでは並列的に処理を行つて!、るが、任意の順序で順番に行うようにしても構わな、。

[0173] そして、このステップ S 11により分割された画像と、上記ステップ S6により抽出された注目画素単位のエッジ成分と、に基づいて、エッジ成分に対する補正係数を算出する（ステップ S5B)。 [0174] その後の処理は、上記図 9に示したものと同様である。

[0175] なお、この図 15においては、ステップ S5Bにおいて、補正係数の算出を注目画素単位で行って、るが、分割されラベル付けされた領域毎に行うようにしても構わな、。同様に、ステップ S7におけるエッジ強調処理を、分割されラベル付けされた領域毎に行っても良い。

[0176] このような実施例 3によれば、上述した実施例 1, 2とほぼ同様の効果を奏するとともに、画像中に含まれる特定色毎に適応的なエッジ強調処理を行うようにしたために、高品位な画像を得ることができる。そして、画像の分割を、色情報と暗部である力否かの情報とに基づ、て行って、るために、領域の分割を高速に行うことができる。

[0177] なお、本発明は上述した実施例に限定されるものではなぐ発明の主旨を逸脱しな V、範囲内にお、て種々の変形や応用が可能であることは勿論である。

Claims

請求の範囲

[1] デジタルィヒされた映像信号に対して信号処理を行う信号処理システムであって、上記映像信号に係る画像の特徴量を該映像信号に基づき推定する推定手段と、上記映像信号に係る画像のエッジ成分を該映像信号カゝら抽出するエッジ抽出手段と、

上記特徴量に基づいて上記エッジ成分に対する補正係数を算出する補正係数算出手段と、

上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うエッジ強調手段と、

を具備したことを特徴とする信号処理システム。

[2] 上記特徴量に基づいて上記エッジ抽出手段と上記エッジ強調手段との少なくとも一方を制御するエッジ制御手段をさらに具備したことを特徴とする請求項 1に記載の信号処理システム。

[3] 上記推定手段は、上記特徴量としてノイズ量を推定するノイズ推定手段を有して構成されたものであり、

上記エッジ制御手段は、該ノイズ量に基づ、て上記エッジ抽出手段の動作を停止させるように制御するものであることを特徴とする請求項 2に記載の信号処理システム

[4] 上記エッジ抽出手段は、所定サイズの画素配列に対応して係数を配列してなるフィルタを用いて、上記映像信号カゝらエッジ成分を抽出するものであり、

上記エッジ制御手段は、上記フィルタのサイズと係数との少なくとも一方を切り換えさせるように該エッジ抽出手段を制御するものであることを特徴とする請求項 2に記載の信号処理システム。

[5] 上記推定手段は、上記映像信号中の特徴量に基づいて、該映像信号に係る画像を複数の領域に分割する画像分割手段を有して構成されたものであり、

上記補正係数算出手段は、上記画像分割手段により分割された領域毎に補正係数を算出するものであり、

上記エッジ強調手段は、該画像分割手段により分割された領域毎に映像信号に対するエッジ強調処理を行うものであることを特徴とする請求項 1に記載の信号処理システム。

[6] 上記画像分割手段は、上記特徴量として各画素の色を用い、該色に基づ!、て上記映像信号に係る画像を複数の領域に分割するものであることを特徴とする請求項 5 に記載の信号処理システム。

[7] 上記推定手段は、上記特徴量としてノイズ量を推定するノイズ推定手段を有して構成されたものであり、

上記補正係数算出手段は、該ノイズ量に基づいて上記エッジ成分に対する補正係数を算出するものであることを特徴とする請求項 1に記載の信号処理システム。

[8] 上記ノイズ推定手段は、

上記映像信号カゝら所定サイズの領域を抽出する画像領域抽出手段と、上記領域内の平均輝度値を算出する平均輝度算出手段と、

上記映像信号に係る画像に対する増幅率を算出する増幅率算出手段と、上記平均輝度値と上記増幅率とに基づいてノイズ量を算出するノイズ算出手段と、を有して構成されたものであることを特徴とする請求項 7に記載の信号処理システム。

[9] 上記ノイズ算出手段は、上記平均輝度値と上記増幅率とに係る所定の関数式に基づ、てノイズ量を算出するものであることを特徴とする請求項 8に記載の信号処理システム。

[10] 上記ノイズ算出手段は、上記平均輝度値と上記増幅率とに係る所定のテーブルに基づ、てノイズ量を算出するものであることを特徴とする請求項 8に記載の信号処理システム。

[11] 上記エッジ強調手段は、入力エッジ成分を 0に置換して出力エッジ成分とするコアリング処理を行うものであり、

上記補正係数算出手段は、該エッジ強調手段により行われるコアリング処理の調整範囲を、上記ノイズ量に基づいて設定するための、コアリング調整手段を有して構成されたものであることを特徴とする請求項 7に記載の信号処理システム。

[12] 上記増幅率算出手段は、上記映像信号に係る画像に対する増幅率が得られない場合に、所定の標準値となる増幅率を付与する標準値付与手段を有して構成されたものであることを特徴とする請求項 9に記載の信号処理システム。

[13] 上記推定手段は、上記特徴量として上記映像信号に係る画像の撮影シーンを推定する撮影シーン推定手段を有して構成されたものであり、

上記補正係数算出手段は、該撮影シーンに基づいて上記エッジ成分に対する補正係数を算出するものであることを特徴とする請求項 1に記載の信号処理システム。

[14] 上記撮影シーン推定手段は、上記映像信号により得られた画像内に存在する特定色と、該特定色が存在する範囲と、に基づいて撮影シーンを推定するものであることを特徴とする請求項 13に記載の信号処理システム。

[15] 上記エッジ強調手段は、入力エッジ成分を 0に置換して出力エッジ成分とするコアリング処理を行うものであり、

上記補正係数算出手段は、該エッジ強調手段により行われるコアリング処理の調整範囲を、上記撮影シーンに基づいて設定するための、コアリング調整手段を有して構成されたものであることを特徴とする請求項 13に記載の信号処理システム。

[16] デジタル化された映像信号に対する信号処理方法であって、

上記映像信号に係る画像の特徴量を該映像信号に基づき推定する処理と、上記映像信号に係る画像のエッジ成分を該映像信号から抽出する処理と、を任意の順序で、または並列的に、行うステップと、

上記特徴量に基づいて上記エッジ成分に対する補正係数を算出するステップと、上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うステップと、

を有することを特徴とする信号処理方法。

[17] 上記特徴量は、ノイズ量であることを特徴とする請求項 16に記載の信号処理方法。

[18] 上記特徴量は、撮影シーンに係る特徴量であることを特徴とする請求項 16に記載の信号処理方法。

[19] 上記映像信号中の特徴量に基づいて、該映像信号に係る画像を複数の領域に分割するステップをさらに有し、

上記補正係数を算出するステップは、上記分割された領域毎に補正係数を算出するステップであり、

上記エッジ強調処理を行うステップは、上記分割された領域毎に該エッジ強調処理を行うステップであることを特徴とする請求項 16に記載の信号処理方法。

コンピュータを、

デジタル化された映像信号に係る画像の特徴量を該映像信号に基づき推定する推定手段、

上記映像信号に係る画像のエッジ成分を該映像信号カゝら抽出するエッジ抽出手段上記特徴量に基づいて上記エッジ成分に対する補正係数を算出する補正係数算出手段、

上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うエッジ強調手段、

として機能させるための信号処理プログラム。