WO2006004151A1

WO2006004151A1 - 信号処理システム及び信号処理プログラム

Info

Publication number: WO2006004151A1
Application number: PCT/JP2005/012478
Authority: WO
Inventors: Takao Tsuruoka
Original assignee: Olympus Corporation
Priority date: 2004-07-07
Filing date: 2005-07-06
Publication date: 2006-01-12
Also published as: EP1764738A1; US20070132864A1; JP2006023959A

Abstract

　色フィルタを前面に配置した撮像素子103からの信号に対しノイズ低減処理を行う信号処理システムであって、抽出部112にてノイズ低減処理を行う注目領域及び注目領域近傍にある少なくとも１つ以上の近傍領域から成る局所領域を抽出し、Y/C分離部113にて信号を輝度信号および色差信号に分離し、選択部114にて注目領域に類似する近傍領域を選択し、ノイズ推定部115にて注目領域及び選択された近傍領域からノイズ量を推定し、ノイズ低減部116にて注目領域のノイズを低減する。

Description

明細書

信号処理システム及び信号処理プログラム

技術分野

[0001] 本発明は、撮像素子系に起因する色信号および輝度信号のランダムノイズの低減処理に係わり、ノイズの発生量を動的に推定することで撮影条件に影響されずにノィズ成分のみを高精度に低減する信号処理システム及び信号処理プログラムに関する背景技術

[0002] 撮像素子とそれに付随するアナログ回路および A/Dコンバータ力得られるデジタル化された信号中に含まれるノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。ランダムノイズに関しては、例えば特開 2 001— 157057号公報に示されるように、輝度ノイズ量を信号レベルに対して関数ィ匕し、この関数カゝら信号レベルに対する輝度ノイズ量を推定し、輝度ノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。これにより、信号レべルに対して適用的なノイズ低減処理が行われることになる。

[0003] また、特開 2001— 175843号公報では、入力信号を輝度と色差信号に分離し、輝度信号および色差信号からエッジ強度を求め、エッジ部以外の領域にお!、て色差信号に平滑化処理を行う手法が開示されている。これにより、平坦部における色ノイズの低減処理が行われることになる。

[0004] 特開 2001— 157057号公報では、輝度ノイズ量を N、濃度値に変換した信号レべルを Dとした場合に N = ab^eDで関数ィ匕していた。ここで、 a, b, cは定数項であり、静的に与えられる。しカゝしながら、輝度ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化する。すなわち、撮影時のノイズ量に合わせた関数ィ匕に対応することができず、ノイズ量の推定精度が劣るという課題がある。また、ノイズ量からフィルタリングの周波数特性を制御する力このフィルタリングは平坦部分もエッジ部分も区別することなく同等に処理する。このため、信号レベル力ノイズ量が大と推定された領域にあるエッジ部は劣化することになる。すなわち、原信号とノイズを区別した処理に対応することができず、原信号の保存性が悪いという課題がある。さらに、各色信号間に発生する色ノイズに関しては対応できない課題がある。

[0005] また、特開 2001— 175843号公報では、エッジ部以外の平坦な領域で色差信号に平滑ィ匕処理を行っている力上記平滑化処理は固定的に行われている。しかしながら、色ノイズ量は信号レベルにより異なるため、平滑化処理を最適に制御することはできない。このため、色ノイズ成分の残存や原信号の劣化などが発生することになる。

[0006] 本発明は上記問題点に着目し、信号レベルのみならず撮影時の温度，ゲインなどの動的に変化する要因に対応した色信号および輝度信号のノイズ量のモデルィ匕を行!ヽ、これにより撮影状況に最適化されたノイズ低減処理を可能とする信号処理システム及び信号処理プログラムを提供することを目的とする。また、ノイズ低減処理を、輝度ノイズと色ノイズに対して独立に行うことで、両者のノイズを高精度に低減し、高品位な信号を生成する信号処理システム及び信号処理プログラムを提供することを目的とする。

発明の開示

課題を解決するための手段

[0007] 以下に、本発明による信号処理システムについて、その構成、対応する実施例、適用例、作用及び効果を述べる。

[0008] 本発明による信号処理システムは、色フィルタを前面に配置した撮像素子からの信号に対しノイズ低減処理を行う信号処理システムにお、て、上記信号カゝらノイズ低減処理を行う注目領域および注目領域近傍にある少なくとも 1つ以上の近傍領域から成る局所領域を抽出する抽出手段と、上記注目領域および上記近傍領域ごとに輝度信号および色差信号を算出する分離手段と、上記注目領域と類似する上記近傍領域を選択する選択手段と、上記注目領域および上記選択手段で選択された近傍領域カゝらノイズ量を推定するノイズ推定手段と、上記ノイズ量に基づき上記注目領域のノイズを低減するノイズ低減手段と、を有する。 [0009] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。抽出手段は図 1,図 8,図 10に示される抽出部 112が、分離手段は図 1,図 8,図 10に示される Y/C分離部 113が、選択手段は図 1,図 3,図 8,図 10,図 12,図 13に示される選択部 114が、ノイズ推定手段は図 1,図 5,図 8,図 1 0,図 14に示されるノイズ推定部 115が、ノイズ低減手段は図 1,図 7,図 8,図 10に示されるノイズ低減部 116が該当する。

[0010] この発明の好ましい適用例は、抽出部 112にてノイズ低減処理を行う注目領域および注目領域近傍にある少なくとも 1つ以上の近傍領域から成る局所領域を抽出し、 Y /C分離部 113にて信号を輝度信号および色差信号に分離し、選択部 114にて注目領域に類似する近傍領域を選択し、ノイズ推定部 115にて注目領域および選択された近傍領域からノイズ量を推定し、ノイズ低減部 116にて注目領域のノイズを低減する信号処理システムである。

[0011] この発明によれば、ノイズ低減処理を行う注目領域と類似する近傍領域を選択し、注目領域および選択された近傍領域ごとにノイズ量を推定し、推定されたノイズ量に応じたノイズ低減処理を行うので、高精度なノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。

[0012] 本発明において、上記撮像素子は、 R (赤）， G (緑)， B (青)べィヤー（以下、 Bayer と記す)型原色フィルタを前面に配置した単板撮像素子、または Cy (シアン）， Mg (マゼンタ） , Ye (イェロー）， G (緑)色差線順次型補色フィルタを前面に配置した単板撮像素子である。

[0013] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。

[0014] この発明の好ましい適用例は、図 2Aに示される Bayer型原色フィルタ、または図 11

Aに示される色差線順次型補色フィルタを撮像素子前面に配置した信号処理システムである。

[0015] この発明によれば、 Bayer型または色差線順次型の色フィルタ配置にあわせてノィズ低減処理を行うため、高速な処理が可能となる。

[0016] 本発明におヽて、上記注目領域および近傍領域は、上記輝度信号および上記色差信号を算出するに必要となる色フィルタの組を少なくとも 1組以上含む領域、である。

[0017] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。

[0018] この発明の好ましい適用例は、図 2A,図 2C,図 2Dおよび図 11Aに示される注目領域および近傍領域を用いた信号処理システムである。

[0019] この発明によれば、ノイズ低減処理を行う注目領域とノイズ量を推定する近傍領域の各々で輝度信号と色差信号を算出可能とするので、より広い範囲を用いてのノイズ量推定が可能となり、推定の精度を向上することができる。

[0020] 本発明にお、て、上記選択手段は、上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、上記輝度信号および上記色相信号の少なくとも 1つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、上記類似度に基づき上記近傍領域を選択する近傍領域選択手段と、を有する。

[0021] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。色相算出手段は図 3,図 12,図 13に示される色相算出部 203が、類似度判断手段は図 3,図 12,図 13に示される類似度判断部 206が、近傍領域選択手段は図 3,図 12,図 13に示される近傍領域選択部 207が該当する。

[0022] この発明の好ましい適用例は、色相算出部 203にて注目領域および近傍領域の色相信号を算出、類似度判断部 206にて輝度信号および色相信号の少なくとも 1つに基づき注目領域と近傍領域の類似度を判断し、近傍領域選択部 207にて注目領域に類似する近傍領域を抽出する信号処理システムである。

[0023] この発明によれば、輝度信号および色相信号の少なくとも 1つに基づき注目領域に類似する近傍領域を抽出するので、均質な領域力ゝらのノイズ量推定が可能となり、推定の精度が向上する。また、輝度信号および色相信号の算出は容易であり、高速かつ低コストなシステムが提供可能となる。

[0024] 本発明にお、て、上記選択手段は、上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、上記注目領域および上記近傍領域ごとにエッジ信号を算出するエッジ算出手段と、上記輝度信号および上記色相信号および上記エッジ信号の少なくとも 1つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、上記類似度に基づき上記近傍領域を選択する近傍領域選択手段と、を有する。

[0025] この発明に対応する実施例は、図 10〜図 15に示される実施例 2が対応する。色相算出手段は図 12に示される色相算出部 203が、エッジ算出手段は図 12に示されるェッジ算出部 600が、類似度判断手段は図 12に示される類似度判断部 206が、近傍領域選択手段は図 12に示される近傍領域選択部 207が該当する。

[0026] この発明の好まし、適用例は、色相算出部 203にて注目領域および近傍領域の色相信号を算出し、エッジ算出部 600にてエッジ信号を算出し、類似度判断部 206にて輝度信号および色相信号およびエッジ信号の少なくとも 1つに基づき注目領域と近傍領域の類似度を判断し、近傍領域選択部 207にて注目領域に類似する近傍領域を抽出する信号処理システムである。

[0027] この発明によれば、輝度信号および色相信号およびエッジ信号の少なくとも 1つに基づき注目領域に類似する近傍領域を抽出するので、均質な領域からのノイズ量推定が可能となり、推定の精度が向上する。また、輝度信号および色相信号およびエツジ信号の算出は容易であり、高速かつ低コストなシステムが提供可能となる。

[0028] 本発明にお、て、上記選択手段は、上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、上記注目領域および上記近傍領域ごとに周波数信号を算出する周波数算出手段と、上記輝度信号および上記色相信号および上記周波数信号の少なくとも 1つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、上記類似度に基づき上記近傍領域を選択する近傍領域選択手段と、を有する。

[0029] この発明に対応する実施例は、図 10〜図 15に示される実施例 2が対応する。色相算出手段は図 13に示される色相算出部 203が、周波数算出手段は図 13に示される D CT変換部 700が、類似度判断手段は図 13に示される類似度判断部 206が、近傍領域選択手段は図 13に示される近傍領域選択部 207が該当する。

[0030] この発明の好まし、適用例は、色相算出部 203にて注目領域および近傍領域の色相信号を算出し、 DCT変換部 700にて周波数信号を算出し、類似度判断部 206にて輝度信号および色相信号および周波数信号の少なくとも 1つに基づき注目領域と近傍領域の類似度を判断し、近傍領域選択部 207にて注目領域に類似する近傍領域を抽出する信号処理システムである。

[0031] この発明によれば、輝度信号および色相信号および周波数信号の少なくとも 1つに基づき注目領域に類似する近傍領域を抽出するので、均質な領域からのノイズ量推定が可能となり、推定の精度が向上する。また、周波数信号に基づく選択は、類似性の検証をより高精度化できる。

[0032] 本発明におヽて、上記選択手段は、上記ノイズ推定手段と上記ノイズ低減手段で使用する上記近傍領域を異なるよう制御する制御手段を有する。

[0033] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。制御手段は図 1,図 8,図 10に示される制御部 119が該当する。

[0034] この発明の好ましい適用例は、抽出部 112および選択部 114にて得られた注目領域および近傍領域に関して、制御部 119にてノイズ推定部 115とノイズ低減部 116にて使用される近傍領域が異なるよう制御する信号処理システムである。

[0035] この発明によれば、ノイズ推定手段で使用する近傍領域は少なぐノイズ低減手段で使用する近傍領域は多くなるよう制御するので、ノイズ推定処理では狭、領域から推定を行うことで精度を高め、ノイズ低減処理では広ヽ領域から低減することで効果を向上させる。各々の処理に適した領域サイズの設定が可能となり、より高品位な信号が得られる。

[0036] 本発明にお、て、上記選択手段は、上記注目領域および上記近傍領域の信号から所定の微小変動を除去するための除去手段を有する。

[0037] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。除去手段は図 3,図 12,図 13に示される微小変動除去部 200が該当する。

[0038] この発明の好ましい適用例は、微小変動除去部 200にて注目領域および近傍領域の微小変動を除去する信号処理システムである。

[0039] この発明によれば、信号の微小変動を除去した後に、色相信号を求めるので、色相信号の安定性が向上し、より高精度な近傍領域の抽出が可能となる。

[0040] 本発明にお、て、上記選択手段は、上記類似度に基づき上記近傍領域に対する重み係数を算出する係数算出手段を有する。

[0041] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。係数算出手段は図 3,図 12,図 13に示される係数算出部 208が該当する。

[0042] この発明の好ましい適用例は、係数算出部 208にて注目領域および近傍領域の類似度に基づき重み係数を算出する信号処理システムである。

[0043] この発明によれば、近傍領域の類似度に基づき重み係数を算出するので、注目領域との類似性をより多段階に活用でき、高精度なノイズ量の推定が可能となる。

[0044] 本発明にお、て、上記ノイズ推定手段は、上記注目領域および上記選択手段で選択された近傍領域から色ノイズ量を推定する色ノイズ推定手段または上記注目領域および上記選択手段で選択された近傍領域カゝら輝度ノイズ量を推定する輝度ノイズ推定手段の少なくとも一つを有する。

[0045] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。色ノイズ推定手段は図 1,図 5,図 8,図 10,図 14に示されるノイズ推定部 115が、輝度ノイズ推定手段は図 1,図 5,図 8,図 10,図 14に示されるノイズ推定部 115が該当する。

[0046] この発明の好ましい適用例は、ノイズ推定部 115にて色ノイズ量または輝度ノイズ量の少なくとも 1つを推定する信号処理システムである。

[0047] この発明によれば、色ノイズ量と輝度ノイズ量を独立に推定することで、各々の推定精度を向上できる。

[0048] 本発明にお、て、上記色ノイズ推定手段は、上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、上記収集手段で得られな V、情報に関して標準値を付与する付与手段と、上記注目領域および上記選択手段で選択された近傍領域から平均色差値を算出する平均色差算出手段と、上記収集手段または上記付与手段からの情報および上記平均色差値に基づき色ノイズ量を求める色ノイズ量算出手段と、を有する。 [0049] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。収集手段は図 1,図 10に示される温度センサー 121, 制御部 119および図 5,図 14に示されるゲイン算出部 302が、付与手段は図 5,図 14に示される標準値付与部 303が、平均色差算出手段は図 5,図 14に示される平均算出部 301が、色ノイズ量算出手段は図 5に示されるパラメータ用 ROM304,パラメータ選択部 305,補間部 306,補正部 307および図 14に示されるルックアップテーブル部 800 が該当する。

[0050] この発明の好ましい適用例は、温度センサー 121,制御部 119およびゲイン算出部 3 02にてノイズ量推定に用いる情報を収集し、標準値付与部 303にて温度センサー 121 ,制御部 119およびゲイン算出部 302からの情報が得られない場合に標準値を設定し、平均算出部 301にて注目領域および近傍領域から平均色差値を算出し、パラメ一タ用 ROM304,パラメータ選択部 305,補間部 306,補正部 307またはルックアップテーブル部 800にて色ノイズ量を求める信号処理システムである。

[0051] この発明によれば、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定し、これらの情報力色ノイズ量を算出するので、撮影ごとに異なる条件に動的に適応し、高精度な色ノイズ量の推定が可能となる。また、必要となる情報が得られない場合でも色ノイズ量の推定が可能となり、安定したノイズ低減効果が得られる。

[0052] 本発明におヽて、上記輝度ノイズ推定手段は、上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、上記収集手段で得られな、情報に関して標準値を付与する付与手段と、上記注目領域および上記選択手段で選択された近傍領域から平均輝度値を算出する平均輝度算出手段と、上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき輝度ノイズ量を求める輝度ノイズ量算出手段と、を有する。

[0053] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。収集手段は図 1,図 10に示される温度センサー 121, 制御部 119および図 5,図 14に示されるゲイン算出部 302が、付与手段は図 5,図 14に示される標準値付与部 303が、平均輝度算出手段は図 5,図 14に示される平均算出部 301が、輝度ノイズ量算出手段は図 5に示されるパラメータ用 ROM304,パラメータ選択部 305,補間部 306,補正部 307および図 14に示されるルックアップテーブル部 80 0が該当する。

[0054] この発明の好ましい適用例は、温度センサー 121,制御部 119およびゲイン算出部 3 02にてノイズ量推定に用いる情報を収集し、標準値付与部 303にて温度センサー 121 ,制御部 119およびゲイン算出部 302からの情報が得られない場合に標準値を設定し、平均算出部 301にて注目領域および近傍領域から平均輝度値を算出し、パラメ一タ用 ROM304,パラメータ選択部 305,補間部 306,補正部 307またはルックアップテーブル部 800にて輝度ノイズ量を求める信号処理システムである。

[0055] この発明によれば、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定し、これらの情報から輝度ノイズ量を算出するので、撮影ごとに異なる条件に動的に適応し、高精度な輝度ノイズ量の推定が可能となる。また、必要となる情報が得られない場合でも輝度ノイズ量の推定が可能となり、安定したノイズ低減効果が得られる。

[0056] 本発明にお、て、上記収集手段は、上記記撮像素子の温度値を測定する温度センサーを有する。

[0057] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。温度センサーは図 1,図 10に示される温度センサー 12 1が該当する。

[0058] この発明の好ましい適用例は、温度センサー 121から CCD103の温度をリアルタイムで測定する信号処理システムである。

[0059] この発明によれば、撮影時の撮像素子の温度を計測して、ノイズ量推定の情報とするので、撮影時の温度変化に動的に適応し、高精度なノイズ量の推定が可能となる。

[0060] 本発明にお、て、上記収集手段は、 ISO感度，露出情報，ホワイトバランス情報の少なくとも 1つ以上の情報に基づき上記ゲイン値を求めるゲイン算出手段を有する。

[0061] この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。ゲイン算出手段は図 5,図 14に示されるゲイン算出部 3

02,制御部 119が該当する。 [0062] この発明の好ましい適用例は、制御部 119にて ISO感度，露出情報，ホワイトバランス情報などを転送し、ゲイン算出部 302にて撮影時のトータルのゲイン量を求める信号処理システムである。

[0063] この発明によれば、 ISO感度，露出情報，ホワイトバランス情報力撮影時のゲイン量を求め、ノイズ量推定の情報とするので、撮影時のゲイン変化に動的に適応し、高精度なノイズ量の推定が可能となる。

[0064] 本発明において、上記色ノイズ量算出手段は、所定の色相に対応する基準色ノィズモデルおよび補正係数カゝらなるパラメータ群を少なくとも 1組以上記録する記録手段と、上記収集手段または上記付与手段からの情報および上記平均色差値に基づき上記パラメータ群力必要となるパラメータを選択するパラメータ選択手段と、上記平均色差値および上記パラメータ選択手段により選択されたパラメータ群中の基準色ノイズモデルに基づき補間演算により基準色ノイズ量を求める補間手段と、上記基準色ノイズ量を上記パラメータ選択手段により選択されたパラメータ群中の補正係数に基づき補正することで色ノイズ量を求める補正手段と、を有する。

[0065] この発明に対応する実施例は、図 1〜図 9に示される実施例 1が対応する。記録手段は図 5に示されるパラメータ用 ROM304が、パラメータ選択手段は図 5に示されるパラメータ選択部 305が、補間手段は図 5に示される補間部 306が、補正手段は図 5に示される補正部 307が該当する。

[0066] この発明の好ましい適用例は、パラメータ用 ROM304に予め測定しておいたノイズ量推定のための使用される基準色ノイズモデルの係数と補正係数を記録し、パラメ一タ選択部 305にて基準色ノイズモデルの係数と補正係数を選択し、補間部 306にて基準色ノイズモデルに基づき基準色ノイズ量を補間処理にて算出し、補正部 307にて補正係数に基づき補正することで色ノイズ量を求める信号処理システムである。

[0067] この発明によれば、基準色ノイズモデルに基づき補間および補正処理を行うことで色ノイズ量を求めるので、高精度なノイズ量の推定が可能となる。また、補間および補正処理は実装が容易であり、低コストなシステムが提供可能となる。

[0068] 本発明にお、て、上記基準色ノイズモデルは、色差値に対する色ノイズ量カゝら成る複数の座標点データから構成される。 [0069] この発明に対応する実施例は、図 1〜図 9に示される実施例 1が対応する。

[0070] この発明の好ましい適用例は、図 6Bに示される複数の座標点データからなる基準色ノイズモデルを用いる信号処理システムである。

[0071] この発明によれば、基準色ノイズモデルを複数の座標点データで構成するので、モデルに必要となるメモリ量が少なぐ低コストィ匕が可能となる。

[0072] 本発明において、上記色ノイズ量算出手段は、上記収集手段または上記付与手段力の情報および上記平均色差値を入力とし色ノイズ量を求めるルックアップテープル手段を有する。

[0073] この発明に対応する実施例は、図 10〜図 15に示される実施例 2が対応する。ルックアップテーブル手段は図 14に示されるルックアップテーブル部 800が該当する。

[0074] この発明の好ましい適用例は、ルックアップテーブル部 800にて色ノイズ量を求める信号処理システムである。

[0075] この発明によれば、ルックアップテーブル力色ノイズ量を算出するので、高速な処理が可能となる。

[0076] 本発明にお、て、上記輝度ノイズ量算出手段は、基準輝度ノイズモデルおよび補正係数からなるパラメータ群を記録する記録手段と、上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、上記平均輝度値および上記パラメータ選択手段により選択されたパラメータ群中の基準輝度ノイズモデルに基づき補間演算により基準輝度ノイズ量を求める補間手段と、上記基準輝度ノイズ量を上記パラメ一タ選択手段により選択された上記パラメータ群中の補正係数に基づき補正することで輝度ノイズ量を求める補正手段と、を有する。

[0077] この発明に対応する実施例は、図 1〜図 9に示される実施例 1が対応する。記録手段は図 5に示されるパラメータ用 ROM304が、パラメータ選択手段は図 5に示されるパラメータ選択部 305が、補間手段は図 5に示される補間部 306が、補正手段は図 5に示される補正部 307が該当する。

[0078] この発明の好ましい適用例は、パラメータ用 ROM304に予め測定しておいたノイズ量推定のための使用される基準輝度ノイズモデルの係数と補正係数を記録し、パラメータ選択部 305にて基準輝度ノイズモデルの係数と補正係数を選択し、補間部 306にて基準輝度ノイズモデルに基づき基準輝度ノイズ量を補間処理にて算出し、補正部 307にて補正係数に基づき補正することで輝度ノイズ量を求める信号処理システムである。

[0079] この発明によれば、基準輝度ノイズモデルに基づき補間および補正処理を行うことで輝度ノイズ量を求めるので、高精度なノイズ量の推定が可能となる。また、補間および補正処理は実装が容易であり、低コストなシステムが提供可能となる。

[0080] 本発明におヽて、上記基準輝度ノイズモデルは、輝度値に対する輝度ノイズ量から成る複数の座標点データから構成される。

[0081] この発明に対応する実施例は、図 1〜図 9に示される実施例 1が対応する。

[0082] この発明の好ましい適用例は、図 6Bに示される複数の座標点データからなる基準輝度ノイズモデルを用いる信号処理システムである。

[0083] この発明によれば、基準輝度ノイズモデルを複数の座標点データで構成するので、モデルに必要となるメモリ量が少なぐ低コストィ匕が可能となる。

[0084] 本発明において、上記輝度ノイズ量算出手段は、上記収集手段または上記付与手段からの情報および上記平均輝度値を入力とし輝度ノイズ量を求めるルックアップテ一ブル手段を有する。

[0085] この発明に対応する実施例は、図 10〜図 15に示される実施例 2が対応する。ルックアップテーブル手段は図 14に示されるルックアップテーブル部 800が該当する。

[0086] この発明の好ましい適用例は、ルックアップテーブル部 800にて輝度ノイズ量を求める信号処理システムである。

[0087] この発明によれば、ルックアップテーブルから輝度ノイズ量を算出するので、高速な処理が可能となる。

[0088] 本発明にお、て、上記ノイズ低減手段は、上記ノイズ量に基づき上記注目領域から色ノイズを低減する色ノイズ低減手段または上記ノイズ量に基づき上記注目領域から輝度ノイズを低減する輝度ノイズ低減手段の少なくとも一つを有する。

この発明に対応する実施例は、図 1〜図 9に示される実施例 1および図 10〜図 15に示される実施例 2が対応する。色ノイズ低減手段は図 1,図 7,図 8,図 10に示されるノィズ低減部 116が、輝度ノイズ低減手段は図 1,図 7,図 8,図 10に示されるノイズ低減部 116が該当する。

[0089] この発明の好ましい適用例は、ノイズ低減部 116にて色ノイズまたは輝度ノイズの少なくとも 1つを低減する信号処理システムである。

[0090] この発明によれば、色ノイズ量と輝度ノイズ量を独立に低減することで、各々の低減精度を向上できる。

[0091] 本発明にお、て、上記色ノイズ低減手段は、上記ノイズ推定手段力ゝらのノイズ量に基づき上記注目領域にノイズ範囲を設定する設定手段と、上記注目領域の色差信号に関してノイズ範囲に属する場合に平滑ィ匕を行う第 1のスムージング手段と、上記注目領域の色差信号に関してノイズ範囲に属さない場合に補正を行う第 2のスムージング手段と、を有する。

[0092] この発明に対応する実施例は、図 1〜図 9に示される実施例 1が対応する。設定手段は図 7に示される範囲設定部 400が、第 1のスムージング手段は図 7に示される第 1 スムージング部 402が、第 2のスムージング手段は図 7に示される第 2スムージング部 4 03が該当する。

[0093] この発明の好ましい適用例は、第 1スムージング部 402にてノイズ範囲に属すると判断された注目領域の色差信号に平滑化を行！ヽ、第 2スムージング部 403にてノイズ範囲に属さないと判断された注目領域の色差信号に補正を行う信号処理システムである。

[0094] この発明によれば、ノイズ範囲に属すると判断された注目領域の色差信号には平滑化処理を、属さないと判断された注目領域の色差信号には補正処理を行うので、色ノイズ低減処理に伴う不連続性の発生を防止し、高品位な信号が得られる。

[0095] 本発明におヽて、上記輝度ノイズ低減手段は、上記ノイズ推定手段からの輝度ノィズ量に基づき上記注目領域にノイズ範囲を設定する設定手段と、上記注目領域の輝度信号に関してノイズ範囲に属する場合に平滑ィ匕を行う第 1のスムージング手段と、上記注目領域の輝度信号に関してノイズ範囲に属さな、場合に補正を行う第 2のスムージング手段と、を有する。

[0096] この発明に対応する実施例は、図 1〜図 9に示される実施例 1が対応する。設定手段は図 7に示される範囲設定部 400が、第 1のスムージング手段は図 7に示される第 1 スムージング部 402が、第 2のスムージング手段は図 7に示される第 2スムージング部 4 03が該当する。

[0097] この発明の好ましい適用例は、第 1スムージング部 402にてノイズ範囲に属すると判断された注目領域の輝度信号に平滑化を行ヽ、第 2スムージング部 403にてノイズ範囲に属さないと判断された注目領域の輝度信号に補正を行う信号処理システムである。

[0098] この発明によれば、ノイズ範囲に属すると判断された注目領域の輝度信号には平滑化処理を、属さな、と判断された注目領域の輝度信号には補正処理を行うので、輝度ノイズ低減処理に伴う不連続性の発生を防止し、高品位な信号が得られる。

[0099] 本発明による信号処理プログラムは、上記の発明による信号処理システムそれぞれに対応しており、コンピュータに処理を実行させて同様な作用'効果を得ることができる。

図面の簡単な説明

[0100] [図 1]本発明の実施例 1の信号処理システムの構成図。

[図 2A]Bayer型色フィルタにおける局所領域に関する説明図。

[図 2B]Bayer型色フィルタにおける局所領域に関する説明図。

[図 2C]Bayer型色フィルタにおける局所領域に関する説明図。

[図 2D]Bayer型色フィルタにおける局所領域に関する説明図。

[図 3]図 1の選択部の構成図。

[図 4A]スぺ外ル勾配に基づく色相分類に関する説明図。

[図 4B]スぺ外ル勾配に基づく色相分類に関する説明図。

[図 4C]スペクトル勾配に基づく色相分類に関する説明図。

[図 4D]スペクトル勾配に基づく色相分類に関する説明図。

[図 5]図 1のノイズ推定部の構成図。

[図 6A]ノイズ量の推定に関する説明図。

[図 6B]ノイズ量の推定に関する説明図。

[図 6C]ノイズ量の推定に関する説明図。 [図 6D]ノイズ量の推定に関する説明図。

[図 7]図 1のノイズ低減部の構成図。

[図 8]本発明の実施例 1の別形態の信号処理システムの構成図。

[図 9]実施例 1におけるノイズ低減処理のフローチャート。

[図 10]本発明の実施例 2の信号処理システムの構成図。

[図 11A]色差線順次型色フィルタにおける局所領域に関する説明図。

[図 11B]色差線順次型色フィルタにおける局所領域に関する説明図。

[図 11C]色差線順次型色フィルタにおける局所領域に関する説明図。

[図 12]図 10の選択部の構成図。

[図 13]実施例 2の別構成の選択部の構成図。

[図 14]図 10のノイズ推定部の構成図。

[図 15]本発明の実施例 2のノイズ低減処理のフローチャート。

発明を実施するための最良の形態

[0101] 発明の実施例について図面を参照して説明する。

[0102] (実施例 1)

図 1は本発明の実施例 1の信号処理システムの構成図を示し、図 2 A〜図 2Dは Bay er型色フィルタにおける局所領域に関する説明図、図 3は図 1の選択部の構成図、図 4A〜図 4Dはスペクトル勾配に基づく色相分類に関する説明図、図 5は図 1のノイズ推定部の構成図、図 6A〜図 6Dはノイズ量の推定に関する説明図、図 7は図 1のノィズ低減部の構成図、図 8は実施例 1の別形態の構成図、図 9は実施例 1におけるノィズ低減処理のフローチャートを示して、る。

[0103] [構成]

図 1は、本発明の実施例 1の構成図である。レンズ系 100,絞り 101, ローパスフィルタ 102,単板式 CCD103を介して撮影された映像は、相関二重サンプリング回路 (以下、 CDSと略記、 CDSは Correlated Double Samplingの略) 104にてサンプリングされ、利得制御増幅器 (以下、 Gainと略記） 105にて増幅され、アナログ/デジタル変 (以下、 A/Dと略記） 106にてデジタル信号へ変換される。 A/D106からの信号は、ノッファ 107を介して抽出部 112へ転送される。ノッファ 107は、プリホワイトバランス（以下、 Pre WBと略記)部 108,測光評価部 109,合焦点検出部 110へも接続されている。

[0104] PreWB部 108は Gainl05へ、測光評価部 109は絞り 101, CCD103, Gainl05へ、合焦点検出部 110は AFモータ 111へ接続されている。抽出部 112からの信号は、 Y/C分離部 113および選択部 114へ接続されている。 Y/C分離部 113は選択部 114へ、選択部 1 14はノイズ推定部 115およびノイズ低減部 116へ接続されてヽる。ノイズ低減部 116は、信号処理部 117を経由してメモリーカードなどの出力部 118に接続されている。

[0105] マイクロコンピュータなどの制御部 119は、 CDS104, Gainl05, A/D106, PreWB部 10 8,測光評価部 109,合焦点検出部 110,抽出部 112, Y/C分離部 113,選択部 114,ノィズ推定部 115,ノイズ低減部 116,信号処理部 117,出力部 118と双方向に接続されている。また、電源スィッチ，シャッターボタン，撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部 I/F部 120も制御部 119に双方向に接続されている。さらに、 CCD103の近傍に配置された温度センサー 121からの信号は制御部 11 9へ接続されている。

[0106] [作用]

図 1において、信号の流れを説明する。外部 I/F部 120を介して ISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系 100,絞り 101,ローパスフィルタ 102, CCD103を介して撮影された映像信号は、 CDS104にて公知の相関二重サンプリングによりアナログ信号として読み出される。なお、本実施例において CCD103は Bayer型原色フィルタを前面に有する単板 CCD を想定する。

[0107] 図 2Aは、 Bayer型の色フィルタの構成を示す。 Bayer型は 2 X 2画素を基本単位とし、赤 (R),青 (B)が 1画素ずつ、緑 (G)が 2画素配置される。上記アナログ信号は GainlO 5にて所定量増幅され、 A/D106にてデジタル信号へ変換されてバッファ 107へ転送される。なお、本実施例において A/D106は 12bit階調でデジタル信号へ変換するものと想定する。バッファ 107内の映像信号は、 PreWB部 108,測光評価部 109および合焦点検出部 110へ転送される。

[0108] PreWB部 108では、映像信号中の所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を Gainl05へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。測光評価部 109では、設定された ISO感度，手ぶれ限界のシャッター速度などを加味し、信号中の輝度レベルを求めて適正露光となるよう絞り 101や CCD103の電子シャッター速度や Gainl 05の増幅率などを制御する。また、合焦点検出部 110では信号中のエッジ強度を検出し、これが最大となるように AFモータ 111を制御することで合焦信号を得る。

[0109] 次に、外部 I/F部 120を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ 107へ転送される。本撮影は、 PreWB部 1 08にて求められたホワイトバランス係数、測光評価部 109にて求められた露光条件、合焦点検出部 110にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部 119へ転送される。バッファ 107内の映像信号は抽出部 112へ転送される。抽出部 112は、制御部 119の制御に基づき図 2Aに示されるような注目領域およぶ近傍領域力もなる局所領域を順次抽出し、 Y/C分離部 113および選択部 114へ転送する。 Y/C分離部 113は、制御部 119の制御に基づき注目領域およぶ近傍領域力も輝度信号 Yおよび色差信号 Cb, Crを領域単位に算出する。なお、本実施例では RGB 原色系の色フィルタを想定しており、輝度信号および色差信号を (1)式に基づき算出する。

[0110] [式 1]

Y = G_AV

Cb = B_AV - o_AV ( j )

Cr = R_AV― G_AV なお、（1)式における R , G , B は注目領域および近傍領域内における R, G, Bの

AV AV AV

平均値を意味する。算出された輝度信号および色差信号は選択部 114へ転送される。選択部 114は、制御部 119の制御に基づき抽出部 112からの局所領域および Y/C分離部 113からの輝度信号，色差信号を用いて注目領域と類似する近傍領域を選択する。上記注目領域と選択された近傍領域および対応する輝度信号と色差信号は、ノィズ推定部 115およびノイズ低減部 116へ転送される。また、選択された近傍領域に関する重み係数も算出され、ノイズ推定部 115へ転送される。

[0111] ノイズ推定部 115は、制御部 119の制御に基づき抽出部 112からの注目領域，選択された近傍領域，輝度信号，色差信号，重み係数およびその他の撮影時の情報に基づきノイズ量を推定し、これをノイズ低減部 116へ転送する。ノイズ低減部 116は、制御部 119の制御に基づき抽出部 112からの注目領域，輝度信号，色差信号、ノイズ推定部 115からのノイズ量に基づき注目領域のノイズ低減処理を行!、、処理後の注目領域を信号処理部 117へ転送する。

[0112] 上記抽出部 112, Y/C分離部 113,選択部 114,ノイズ推定部 115,ノイズ低減部 116 における処理は、制御部 119の制御に基づき局所領域単位で同期して行われる。信号処理部 117は、制御部 119の制御に基づきノイズ低減後の映像信号に対して、公知の強調処理や圧縮処理などを行い、出力部 118へ転送する。出力部 118は、メモリーカードなどへ信号を記録保存する。

[0113] 図 2A〜図 2Dは、 Bayer型色フィルタにおける局所領域に関する説明図である。図 2Aは 6 X 6画素の局所領域の構成、図 2Bは輝度 Z色差信号への分離、図 2Cは 6 X 6画素の別形態の局所領域、図 2Dは 10 X 10画素の別形態の局所領域、をそれぞれ示している。

[0114] 図 2Aは、本実施例における局所領域の構成を示す。本実施例において、注目領域は 2 X 2画素を、近傍領域は 2 X 2画素で注目領域を包含するように配置された 8つを、局所領域は 6 X 6画素サイズを想定する。この場合、抽出部 112は注目領域が全信号をカバーするよう、局所領域を 2行 2列オーバーラップしながら抽出する。

[0115] 図 2Bは、注目領域および近傍領域単位で (1)式に基づき算出される輝度信号および色差信号を示す。以下、注目領域の輝度信号および色差信号を Y , Cb , Cr

0 0 0で、近傍領域の輝度信号および色差信号を Yi, Cbi, Cri (i=l〜8)で表す。 Y/C分離部 11 3にて行われる処理は単板状態で行われ、注目領域および局所領域に対して一組の輝度信号および色差信号が算出される。注目領域が図 2Aに示されるように R , G ,

22 32

G , B 画素で構成されるとすると、輝度信号 Yおよび色差信号 Cb , Crは (2)式で算

23 33 0 0 0 出される。

[0116] [式 2] Yo =(G₃₂ ⁺G₂₃)/2

Cb₀ =B₃₃-(G₃₂+G₂₃)/2 ₍₂₎ Cr₀ =R₂₂-(G₃₂+G₂₃)/2 その他、近傍領域も同様にして算出される。なお、局所領域の構成としては、上記例に限定される必要はない。例えば図 2Cは、 6X6画素サイズの局所領域の別構成を示すもので、近傍領域が 1行 1列オーバーラップするよう配置されている。また、図 2D は 10 X 10画素サイズの局所領域の別構成を示すもので、近傍領域は 2 X 2画素が 4 つ、 3X3画素が 4つ力成り、局所領域内に疎に配置されている。上記のように、注目領域および近傍領域は輝度信号および色差信号を算出するに要する R, G, Bの組が 1組以上あれば任意の形態で構成することができる。

[0117] 図 3は選択部 114の構成の一例を示すもので、微小変動除去部 200,ノッファ 1201 ,勾配算出部 202,色相算出部 203,色相クラス用 ROM204,バッファ 2205,類似度判断部 206,近傍領域選択部 207,係数算出部 208からなる。抽出部 112は、微小変動除去部 200,バッファ 1201,勾配算出部 202を介して色相算出部 203へ接続している。色相クラス用 ROM204は、色相算出部 203へ接続している。 Y/C分離部 113は、ノッファ 2205を介して類似度判断部 206および近傍領域選択部 207へ接続して、る。色相算出部 203は類似度判断部 206へ、類似度判断部 206は近傍領域選択部 207および係数算出部 208へ接続している。近傍領域選択部 207は、ノイズ推定部 115およびノィズ低減部 116へ接続している。係数算出部 208は、ノイズ推定部 115へ接続している。

[0118] 制御部 119は、微小変動除去部 200,勾配算出部 202,色相算出部 203,類似度判断部 206,近傍領域選択部 207,係数算出部 208と双方向に接続されている。

[0119] 抽出部 112からの局所領域は、制御部 119の制御に基づき微小変動除去部 200へ転送され、所定の微小変動成分が除去される。これは、映像信号の下位 bitを除去することでなされる。例えば本実施例にぉ、て A/D106は 12bit階調でデジタルィ匕することを想定している力下位 4bitをシフト処理することで微小変動成分を除去し、 8bitの信号に変換してバッファ 1201へ転送する。

[0120] 勾配算出部 202,色相算出部 203,色相クラス用 ROM204は、制御部 119の制御に基づきバッファ 1201の局所領域に対して、注目領域および近傍領域単位で RGBのスベクトル勾配を求め、これを類似度判断部 206へ転送する。

[0121] 図 4A〜図 4Dは、スペクトル勾配に基づく色相分類に関する説明図である。図 4A は入力画像、図 4Bはスペクトル勾配に基づく色相分類、図 4Cは CCD出力信号、図 4Dは色相分類の結果、をそれぞれ示している。

[0122] 図 4Aは、入力画像の一例を示すもので、上部の A領域が白で下部の B領域が赤とする。図 4Bは、 A領域と B領域において、 R, G, B3つのスペクトルに対する信号値 (I) をプロットした図である。 A領域は白であり、 R, G, B3つの波長に対するスペクトル強度の勾配は I A=I (A)= I (A)とほぼ等しぐこれをクラス 0とする。 B領域は赤であり、信

R G B

号値の勾配 I (B)>I (B)=I (B)と R信号の強度が大きぐ G, Bはほぼ等しく R信号の強度

R G B

より小さい。これをクラス 4とする。 R, G, B3つの信号の勾配の組み合わせは 13通り存在し、これを表 1に示す。即ち、表 1はスペクトル勾配に基づく 13の色相クラスを示している。

[0123] [表 1]

図 4Cは、図 4Aの入力画像を図 2Aに示す Bayer型単板 CCDで撮像し、上記した注目領域および近傍領域を設定したときの画像を示す。注目領域および近傍領域単位でスペクトルの勾配を求める力各領域には G信号が 2つ存在する。これは、平均値を求めて G信号とすることで処理する。図 4Dは、注目領域および近傍領域単位で上記のように 0〜12までのクラスが割り当てられた状態を示すもので、このクラス分けされた画像が類似度判断部 206へ出力される。

[0124] 勾配算出部 202は、注目領域および近傍領域単位で RGB信号の大小関係を求め、これを色相算出部 203へ転送する。色相算出部 203は、勾配算出部 202からの RGB信号の大小関係と色相クラス用 ROM204からの色相クラスに関する情報に基づき 13の色相クラスを求め、これを類似度判断部 206へ転送する。なお、色相クラス用 ROM204 には表 1に示されるスペクトル勾配と 13の色相クラスに関する情報が記録されている。

[0125] 一方、 Y/C分離部 113からの輝度信号および色差信号はバッファ 2205へ保存される。類似度判断部 206は、制御部 119の制御に基づきノッファ 2205から注目領域および近傍領域の輝度信号を読み込む。類似度判断部 206は、色相算出部 203からの上記色相クラスと輝度信号に基づき注目領域と近傍領域の類似度を判断する。これは、「注目領域と同一の色相クラス」かつ「注目領域の輝度信号 Y ±20%の範囲に近傍

0

領域の輝度信号 Yiが属する」条件を満たす近傍領域を類似度が高ヽと判断し、上記判断結果を近傍領域選択部 207,係数算出部 208へ転送する。

[0126] 以下、類似度が高!ヽと判断された近傍領域の輝度信号および色差信号を Yi' , Cbi

' , Cri' (i' =l〜8のいずれか)で表す。近傍領域選択部 207は、制御部 119の制御に基づき類似度判断部 206から類似度が高ヽと判断された近傍領域の輝度信号 Yi'と色差信号 CW'， Cri'をバッファ 2205から読み出し、ノイズ推定部 115へ転送する。また、注目領域の輝度信号 Yと色差信号 Cb , Crをバッファ 2205カゝら読み出し、ノイズ推

0 0 0

定部 115およびノイズ低減部 116へ転送する。一方、係数算出部 208は類似度が高いと判断された近傍領域に関して、重み係数 Wi'を算出する。これは、（3)式に基づき算出される。

[0127] [式 3]

算出された重み係数 Wi'は、ノイズ推定部 115へ転送される。

図 5はノイズ推定部 115の構成の一例を示すもので、バッファ 300,平均算出部 301, ゲイン算出部 302,標準値付与部 303,パラメータ用 ROM304,パラメータ選択部 305, 補間部 306,補正部 307からなる。選択部 114は、ッファ 300および平均算出部 301 接続している。バッファ 300は平均算出部 301 平均算出部 301はパラメータ選択部 305 接続している。

[0129] ゲイン算出部 302,標準値付与部 303,パラメータ用 ROM304は、パラメータ選択部 3 05 接続している。パラメータ選択部 305は、補間部 306および補正部 307 接続している。補間部 306は補正部 307 補正部 307はノイズ低減部 116 接続している。制御部 119は、平均算出部 301,ゲイン算出部 302,標準値付与部 303,パラメータ選択部 305,補間部 306,補正部 307 双方向に接続されている。

[0130] 選択部 114からの注目領域および類似度が高!ヽと判断された近傍領域の輝度信号および色差信号はバッファ 300 保存される。また、類似度が高いと判断された近傍領域に関する重み係数は平均算出部 301 転送される。平均算出部 301は、制御部 119の制御に基づきバッファ 300から輝度信号および色差信号を読み込み、重み係数を用いて局所領域に対する輝度信号および色差信号の平均値 AV , AVcb, AVer

Y

を算出する。

[0131] [式 4]

上記輝度信号および色差信号の平均値はパラメータ選択部 305 転送される。ゲイン算出部 302は、制御部 119から転送される ISO感度および露光条件およびホワイトバランス係数に関する情報に基づき Gainl05における増幅量を求め、パラメータ選択部 305へ転送する。また、制御部 119は温度センサー 121から CCD103の温度情報を得て、これをパラメータ選択部 305へ転送する。パラメータ選択部 305は、平均算出部 30 1からの輝度信号および色差信号の平均値，ゲイン算出部 302からのゲインの情報，制御部 119からの温度情報に基づきノイズ量を推定する。 [0132] 図 6A〜図 6Dは、ノイズ量の推定に関する説明図である。図 6Aは信号レベルに対するノイズ量の関係、図 6Bはノイズモデルの簡略化、図 6Cは簡略ィ匕されたノイズモデルからのノイズ量の算出法、図 6Dは色ノイズモデル用の 6つの色相、をそれぞれ示している。

[0133] 図 6Aは、輝度信号または色差信号の平均値を信号レベル Lとした場合のノイズ量 Ns (s=Y, Cb, Cr)をプロットしたもので、信号レベルに対して 2次曲線的に増加している。これを 2次関数でモデルィ匕すると (5)式が得られる。

[0134] [式 5]

N_s = a_sL² + _sL + y_{s ( 5}) ここで、 a s, j8 s, は定数項である。しかしながら、ノイズ量は信号レベルだけではなぐ素子の温度やゲインによっても変化する。図 6Aは、一例としてゲインに関連する 3種類の ISO感度 100, 200, 400に対するノイズ量をプロットしている。換言すれば、ゲインの 1, 2, 4倍に対するノイズ量を示している。また、温度 tについては、 3種類の環境温度 20, 50, 80°Cにおける平均値のノイズ量を示している。個々の曲線は (5)式に示される形態をしているが、その係数はゲインに関連する ISO感度により異なる。温度を t、ゲインを gとし、上記を考慮した形でモデルの定式化を行うと、

6]

N_s = a_sgtL² + p_¾tL + Y_sgt (6) となる。ここで、 a sgt, iS sgt, y sgtは定数項である。ただし、（6)式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図 6Bに示すようなモデルの簡略ィ匕を行う。図 6Bにおいては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベル Lとノイズ量 Nカゝらなる座標データ (Ln, Nn)で表す。ここで、 nは変曲点の数を示す。また、上記基準ノイズモデルカゝら他のノイズモデルを導出するための補正係数 ksgtも用意される。補正係数 ksgtは、各ノイズモデルと基準ノィズモデル間から最小自乗法により算出される。基準ノイズモデルカゝら他のノイズモデルを導出するには、上記補正係数 ksgtを乗算することで行われる。図 6Cは、図 6Bに示す簡易化されたノイズモデルカゝらノイズ量を算出する方法を示す。例えば、与えられた信号レベル 1、信号が s、ゲインが g、温度力 ¾に対応するノイズ量 Nsを求めることを想定する。まず、信号レベル 1が基準ノイズモデルのどの区間に属するかを探索する。ここでは、（Ln, Nn)と (Ln+1, Nn+1)間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量 Nを線形補間にて求める。

1

[0135] [式 7]

次に補正係数 ksgtを乗算することで、ノイズ量 Nsを求める。

[0136] [式 8]

N_s ^{= k}s N' ( 8 ) 上記基準ノイズモデルは、輝度信号に関する基準輝度ノイズモデルと色差信号に関する基準色ノイズモデルに分けられる力基本的には同一の構成となる。なお、輝度信号 Yに関しての基準輝度ノイズモデルと補正係数の組は一つしか存在しないが、色差信号 Cb, Crに関しては色相方向により色ノイズ量が異なる。本実施例においては、図 6Dに示されるように R (赤）， G (緑)， B (青）， Cy (シアン）， Mg (マゼンタ）， Ye (イェロー）の 6つの色相ごとに基準色ノイズモデルと補正係数の組を用意する。すなわち、色差信号 Cb, Crは 2種類ではなぐ Cb_H, Cr_H (H=R, G, B, Cy, Mg, Ye)の 1 2種類の基準色ノイズモデルと補正係数の組を用意する。上記輝度および色差信号に関する基準ノイズモデルの変曲点の座標データ (Ln, Nn)および補正係数 ksgtはノラメータ用 ROM304に記録される。パラメータ選択部 305は、平均算出部 301からの輝度信号および色差信号の平均値 AV , AVcb, AVerから信号レベル 1を、ゲイン算

Y

出部 302からのゲインの情報力もゲイン gを、制御部 119からの温度情報力も温度 tを設定する。さらに、色差信号の平均値 AVcb, AVerから (9)式に基づき色相信号 Hを求め、上記 G, B, Cy, Mg, Yeの 6つの色相中力色相信号 Hと最も近い色相を選択し Cb_H, Cr_I" [を設定する。

[0137] [式 9]

次に、信号レベル 1が属する区間の座標データ (Ln, Nn)と (Ln+1, Nn+1)をパラメータ用 ROM304から探索し、これを補間部 306へ転送する。さらに、補正係数 ksgtをパラメータ用 ROM304から探索し、これを補正部 307へ転送する。補間部 306は、制御部 119 の制御に基づきパラメータ選択部 305からの信号レベル 1および区間の座標データ (L n, Nn)と (Ln+1, Nn+1)から (7)式に基づき基準ノイズモデルにおける基準ノイズ量 N

1 を算出し、補正部 307へ転送する。補正部 307は、制御部 119の制御に基づきパラメータ選択部 305からの補正係数 ksgtおよび補間部 306からの基準ノイズ量 N力 (8)式に基づきノイズ量 Nsを算出し、輝度信号および色差信号の平均値 AV , AVcb, AVer

Y

と共にノイズ低減部 116へ転送する。なお、温度 t,ゲイン gなどの情報は撮影ごとに求める必要はない。任意の情報を標準値付与部 303に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。また、基準色ノイズモデルとして図 6Dに示めされる 6方向の色相を用いた力これに限定される必要はない。例えば、記憶色として重要な肌色などを用いるなど、自由な構成が可能である。

図 7はノイズ低減部 116の構成の一例を示すもので、範囲設定部 400,切り換え部 40 1,第 1スムージング部 402,第 2スムージング部 403からなる。ノイズ推定部 115は範囲設定部 400へ、範囲設定部 400は切り換え部 401,第 1スムージング部 402,第 2スムージング部 403へ接続している。選択部 114は切り換え部 401へ、切り換え部 401は第 1スムージング部 402および第 2スムージング部 403へ接続して!/、る。第 1スムージング部 4 02および第 2スムージング部 403は、信号処理部 117へ接続している。制御部 119は、範囲設定部 400,切り換え部 401,第 1スムージング部 402,第 2スムージング部 403と双方向に接続している。ノイズ推定部 115は、輝度信号および色差信号の平均値 AV , AVcb, AVerおよびノイズ量 Nsを範囲設定部 400へ転送する。範囲設定部 400は、

Y

制御部 119の制御に基づきに輝度信号および色差信号のノイズ量に関する許容範囲として上限 Usおよび下限 Dsを (10)式のように設定する。 [0139] [式 10]

U_Y =AV_Y +N_Y/2， D_Y = AV_Y -N_Y/2

U_Cr =AV_{Cr +}N_Cr/2, D_Cr =AV_Cf -N_Cr/2 上記許容範囲 Us, Dsは、切り換え部 401へ転送される。また、範囲設定部 400は輝度信号および色差信号の平均値 AV , AVcb, AVerおよびノイズ量 Nsを第 1スムージン

Y

グ部 402および第 2スムージング部 403へ転送する。切り換え部 401は、制御部 119の制御に基づき選択部 114からの注目領域の輝度信号 Yおよび色差信号 Cb , Crを読

0 0 0 み込み、上記許容範囲に属するカゝ否かの判断を行う。判断は、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りである。切り換え部 401は、「ノイズ範囲に属している」場合は第 1スムージング部 402へ、それ以外は第 2スムージング部 403へ注目領域の輝度信号 Yおよび色差信号 Cb , Crを転

0 0 0 送する。第 1スムージング部 402は、切り換え部 401からの注目領域の輝度信号 Yおよ

0 び色差信号 Cb , Crに範囲設定部 400からの輝度信号および色差信号の平均値 AV

0 0

, AVcb, AVerを代入する処理を行う。

Y

[0140] [式 11]

Y₀ = AV_y

C ₀ = AV_{Cb ( n )} ₀ = AV_Cr 注目領域が図 2Aに示されるように R , G , G , B 画素で構成されるとすると、（11)

22 32 23 33

式での処理は (2)式に基づき (12)式で示されるように変換できる。

[0141] [式 12]

G₃₂ = AV_Y

G₂， = AV_Y

' (12) B₂₂ = AV_a + AV_Y

R 2 一 A Cr + A y

(12)式での処理は、輝度信号 Yおよび色差信号 Cb , Crで処理されていた注目領域

0 0 0

が本来の RGBの信号へ戻されることも意味して、る。（12)式での RGBの信号は信号処理部 117へ転送される。第 2スムージング部 403は、切り換え部 401からの注目領域の輝度信号 Yおよび色差信号 Cb , Crに範囲設定部 400からの輝度信号の平均値 AV

0 0 0

とノイズ量 Nsを用いて補正する処理を行う。まず、「ノイズ範囲を上回っている」場合

Y

は (13)式のように補正する。

[0142] [式 13]

Y₀ =Y₀ -N_Y/2

Cb₀ =Cb₀ -N_o/2 (13) Cr₀ =Cr₀ - N_Cr/2 注目領域が図 2Aに示されるように R , G , G , B 画素で構成されるとすると、（13)

22 32 23 33

式での処理は (14)式で示される。

[0143] [式 14]

G₃₂ - AV_V - Ν_γ/2

G₂₃ = AV_Y -N_y/2

B₃₃ =B₃₃ +AV_Y -N_Cb/2 (14) R₂₂ = R₂₂ +AV_Y -N_Cf/2 また、「ノイズ範囲を下回って！/、る」場合は (15)式のように補正する。

[0144] [式 15]

^Υ。 ^{= γ}。 ^{+ Νγ /2}

Cb₀ = Cb₀ + N_Cb/2 ^{U J} Cr₀ =Cr₀ + N_Cr/2 注目領域が図 2Aに示されるように R , G , G , B 画素で構成されるとすると、（15)

22 32 23 33

式での処理は (16)式で示される。

[0145] [式 16]

G_n = AV_Y +N_Y/2

R₂₂ =R₂₂+AV_Y-N_Cr/2

(14)式または (16)式での処理は、輝度信号 Yおよび色差信号 Cb , Crで処理されて V、た注目領域が本来の RGBの信号へ戻されることも意味して、る。（14)式または (16) 式の RGBの信号は信号処理部 117へ転送される。

[0146] 上記構成により、信号レベル，撮影時の温度，ゲインなどの動的に変化する条件に対応したノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。上記情報が得られな、場合でも標準値を用いることでノイズ量の推定を行うため安定したノイズ低減効果が得られる。

[0147] さらに、一部のパラメータ算出を意図的に省略することで低コスト，省電力化を可能とする信号処理システムが提供できる。また、ノイズ低減処理を行う注目領域と類似する近傍領域を色相や輝度情報に基づき選択後、これをあわせて処理を行うため、より広い範囲を用いてのノイズ量推定が可能となり、推定の精度を向上することができる。

[0148] さらに、色ノイズ量と輝度ノイズ量を独立に推定することで、各々の推定精度を向上できる。ノイズ量の算出にモデルを用いているため、高精度なノイズ量の推定が可能となる。また、基準モデルに基づく補間および補正処理は実装が容易であり、低コストなシステムが提供可能となる。

[0149] さらに、モデルに必要となるメモリ量は少なぐ低コストィ匕が可能となる。また、ノイズ低減処理はノイズ量から許容範囲を設定するため、原信号の保存性に優れ不連続性の発生を防止した低減処理が可能となる。さらに、ノイズ低減処理後の信号を本来の信号として出力するため、従来の処理系との互換性が維持され、多様なシステムの組み合わせが可能となる。

[0150] また、 Bayer型の色フィルタ配置にあわせて輝度信号と色差信号を求めるため、高速な処理が可能となる。なお、上記実施例では選択された近傍領域すベてを用いてノイズ量の推定およびノイズ低減処理を行ってヽたが、このような構成に限定される必要はない。例えば、ノイズ量の推定においては注目領域の斜め方向の近傍領域は除外し、比較的狭い領域で推定を行うことで精度を高め、ノイズ低減処理においては選択された近傍領域すベてを用いる比較的広、領域で行うなど平滑ィヒの能力を高めるなど自由な構成が可能である。

[0151] また、上記実施例ではレンズ系 100,絞り 101,ローパスフィルタ 102, CCD103, CDS 104, Gainl05, A/D106, PreWB部 108,測光評価部 109,合焦点検出部 110, AFモータ 111,温度センサー 121からなる撮像部と一体ィ匕した構成になっていた力このような構成に限定される必要はない。例えば、図 8に示されるように、別体の撮像部で撮像された映像信号を未処理の生データ形態で、さらに撮像条件などの付随情報をヘッダ部に記録したメモリカードなどの記録媒体力処理をすることも可能である。

[0152] 図 8は、図 1に示す構成からレンズ系 100,絞り 101,ローパスフィルタ 102, CCD103 , CDS104, Gainl05, A/D106, PreWB部 108,測光評価部 109,合焦点検出部 110, A Fモータ 111,温度センサー 121を省略し、入力部 500,ヘッダ情報解析部 501を追カロした形態となっている。基本構成は図 1と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。入力部 500は、バッファ 107 およびヘッダ情報解析部 501へ接続している。制御部 119は、入力部 500,ヘッダ情報解析部 501と双方向に接続している。マウス，キーボードなどの外部 I/F部 120を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびヘッダ情報が入力部 500から読み込まれる。入力部 500からの信号はバッファ 107へ、ヘッダ情報はヘッダ情報解析部 501へ転送される。ヘッダ情報解析部 501は、ヘッダ情報力も撮影時の情報を抽出して制御部 119へ転送する。以後の処理は、図 1と同等である。

[0153] さらに、上記実施例ではハードウェアによる処理を前提としていた力このような構成に限定される必要はない。例えば、 CCD103からの信号を未処理のままの生データとして、制御部 119からの撮影時の温度，ゲインなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

[0154] 図 9は、ノイズ低減処理のソフトウェア処理に関するフローを示す。ステップ S1にて、信号と温度，ゲインなどのヘッダ情報を読み込む。ステップ S2にて、図 2Aに示されるような注目領域および近傍領域から構成される局所領域を抽出する。ステップ S3にて、（1)式に示されるように輝度信号および色差信号に分離する。ステップ S4にて、局所領域内の注目領域および近傍領域を表 1に示されるような色相クラスに分類する。ステップ S5にて、ステップ S4からの色相クラス情報およびステップ S3からの輝度情報に基づき、各近傍領域と注目領域との類似度を判断する。ステップ S6にて、（3)式に示される重み係数を算出する。ステップ S7にて、ステップ S5からの類似度に基づき注目領域および類似度が高!ヽと判断された近傍領域の輝度信号および色差信号をステツプ S3から選択する。ステップ S8にて、（4)式に示される輝度信号および色差信号の平均値を算出する。ステップ S9にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。ステップ S10にて、基準ノイズモデルの座標データおよび補正係数を読み込む。ステップ S11にて、（7)式に示される補間処理にて基準ノイズ量を求める。ステップ S12にて、（8)式に示される補正処理にてノイズ量を求める。

[0155] ステップ S13にて、注目領域の輝度信号および色差信号が (10)式に示される許容範囲内に属する力否かを判断し、属する場合はステップ S 14へ、属さない場合はステップ S15へ分岐する。ステップ S14にて、（12)式に示される処理を行う。ステップ S15にて、（14)式，（16)式に示される処理を行う。ステップ S16にて、全局所領域が完了したかを判断し、完了していない場合はステップ S2へ、完了した場合はステップ S 17へ分岐する。ステップ S 17にて、公知の強調処理や圧縮処理などが行われる。ステップ S1 8にて、処理後の信号が出力され終了する。

[0156] (実施例 2)

図 10は本発明の実施例 2の信号視よりシステムの構成図を示し、図 11A〜図 11Cは色差線順次型色フィルタにおける局所領域に関する説明図、図 12は図 10の選択部の構成図、図 13は別構成の選択部の構成図、図 14は図 10のノイズ推定部の構成図、図 15は実施例 2のノイズ低減処理のフローチャートを示している。

[0157] [構成]

図 10は、本発明の実施例 2の構成図である。本実施例は、本発明の実施例 1における抽出部 112から選択部 114への接続が削除された構成になつてヽる。基本構成は実施例 1と同等であり、同一の構成には同一の名称と番号を割り当てている。

[0158] [作用]

基本的に実施例 1と同等であり、異なる部分のみ説明する。図 10において、信号の流れを説明する。レンズ系 100,絞り 101, ローパスフィルタ 102, CCD103を介して撮影された映像信号は、バッファ 107へ転送される。 [0159] なお、本実施例において CCD103は色差線順次型補色フィルタを前面に有する単板 CCDを想定する。図 11Aは色差線順次型の色フィルタの構成を示す。図 11Aは 8 X 8画素の局所領域の構成、図 11Bは輝度 Z色差信号への分離、図 11Cはエッジ成分の抽出、をそれぞれ示している。

[0160] 色差線順次方式は 2 X 2画素を基本単位とし、シアン (Cy),マゼンタ (Mg),イェロー（ Ye),緑 (G)が 1画素ずつ配置される。ただし、 Mgと Gの位置はラインごとに反転している。バッファ 107内の映像信号は抽出部 112へ転送される。抽出部 112は、制御部 119 の制御に基づき図 11 Aに示されるような 4 X 4画素の注目領域および 4 X 4画素の近傍領域力もなる 8 X 8画素の局所領域を順次抽出し、 Y/C分離部 113および選択部 114 へ転送する。この場合、抽出部 112は注目領域が全信号をカバーするよう、局所領域を 2行 2列オーバーラップしながら抽出する。 Y/C分離部 113は、制御部 119の制御に基づき注目領域およぶ近傍領域から輝度信号 Yおよび色差信号 Cb, Crを (17)式に基づき 2 X 2画素単位に算出する

17]

Y = Cy + Ye + G + Mg

Cb = (Cy + Mg)-(Ye + GJ ( 17) Cr = (Ye + Mg)- (Cy + G) すなわち、輝度信号および色差信号は、 4 X 4画素の注目領域および近傍領域に関して 9点ずつ算出されることになる。図 11Bは、注目領域および近傍領域単位で (17) 式に基づき算出される輝度信号および色差信号を示す。算出された輝度信号および色差信号は選択部 114へ転送される。選択部 114は、制御部 119の制御に基づき Y /C分離部 113からの輝度信号および色差信号を用い、注目領域と類似する近傍領域を選択する。上記注目領域と選択された近傍領域および対応する輝度信号と色差信号は、ノイズ推定部 115およびノイズ低減部 116へ転送される。また、選択された近傍領域に関する重み係数も算出され、ノイズ推定部 115へ転送される。

[0161] ノイズ推定部 115は、制御部 119の制御に基づき抽出部 112からの注目領域，選択された近傍領域，輝度信号，色差信号，重み係数およびその他の撮影時の情報に基づきノイズ量を推定し、これをノイズ低減部 116へ転送する。ノイズ低減部 116は、制御部 119の制御に基づき抽出部 112からの注目領域，輝度信号，色差信号、ノイズ推定部 115からのノイズ量に基づき注目領域のノイズ低減処理を行!、、処理後の注目領域を信号処理部 117へ転送する。

[0162] 上記抽出部 112, Y/C分離部 113,選択部 114,ノイズ推定部 115,ノイズ低減部 116 における処理は、制御部 119の制御に基づき局所領域単位で同期して行われる。信号処理部 117は、制御部 119の制御に基づきノイズ低減後の映像信号に対して、公知の強調処理や圧縮処理などを行い、出力部 118へ転送する。出力部 118は、メモリーカードなどへ信号を記録保存する。

[0163] 図 12は図 10の選択部 114の構成の一例を示すもので、本発明の実施例 1の図 3〖こ示される選択部 114にエッジ算出部 600が追加され、勾配算出部 202および色相クラス用 ROM204が削除された形態になつて、る。基本構成は図 3に示す選択部 114と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。 Y/C分離部 113は、微小変動除去部 200へ接続している。微小変動除去部 200は、バッファ 1201を介して色相算出部 203へ接続している。バッファ 2205はエッジ算出部 600へ、エッジ算出部 600は類似度判断部 206へ接続している。制御部 1 19は、エッジ算出部 600と双方向に接続されている。 Y/C分離部 113からの注目領域および近傍領域の輝度信号と色差信号は、微小変動除去部 200およびバッファ 2205 へ転送される。微小変動除去部 200は、色差信号の下位ビットをシフト処理することで微小変動成分を除去し、バッファ 1201へ転送する。色相算出部 203は、制御部 119の制御に基づきバッファ 1201の注目領域および近傍領域の色差信号から (9)式に基づき色相信号 Hを求める。注目領域および近傍領域からは、図 11Bに示されるように 9点ずつの色相信号が得られるが、これを平均化することで各領域の色相信号とする。算出された色相信号は、類似度判断部 206へ転送される。一方、エッジ算出部 600は制御部 119の制御に基づきバッファ 2205から注目領域および近傍領域の輝度信号を読み込む。各領域の輝度信号に対して (18)式に示される 3 X 3のラプラシアンオペレータを適用することでエッジ強度値 Eを算出する。

[0164] [式 18] 1 - 1 - 1

1 8 - 1 ( 18) 1 - 1 - 1 本実施例では、注目領域および近傍領域は図 11Bに示されるように 9点ずつの輝度信号を有するため、エッジ強度値は図 11Cに示されるよう各領域に対して 1点ずつ算出されることになる。算出されたエッジ強度値は類似度判断部 206へ転送される。類似度判断部 206は、制御部 119の制御に基づきノッファ 2205から注目領域および近傍領域の輝度信号を読み込む。類似度判断部 206は、色相算出部 203からの上記色相信号とエッジ算出部 600からの上記エッジ強度値と輝度信号に基づき注目領域と近傍領域の類似度を判断する。これは、「注目領域の色相信号 H ±25%の範囲に近

0

傍領域の色相信号 Hiが属する」かつ「注目領域のエッジ強度値 E ±20%の範囲に近

0

傍領域のエッジ強度値 Eiが属する」かつ「注目領域の輝度信号 Y ±20%の範囲に近

0

傍領域の輝度信号 Yiが属する」条件を満たす近傍領域を類似度が高ヽと判断し、上記判断結果を近傍領域選択部 207,係数算出部 208へ転送する。以後の処理は、図 3に示す本発明の実施例 1と同様である。

[0165] なお、上記実施例では注目領域と近傍領域の類似度の判断に、輝度，色相，エツジ強度を用いたが、このような構成に限定される必要はない。例えば、図 13に示されるように、周波数情報を用いることも可能である。図 13は、図 12におけるエッジ算出部 600を DCT変換部 700へ置換したもので、基本構成は図 12に示す選択部 114と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。ノッファ 2205は DCT変換部 700へ、 DCT変換部 700は類似度判断部 206へ接続している。制御部 119は、 DCT変換部 700と双方向に接続されている。 DCT変換部 700は、制御部 119の制御に基づきノッファ 2205から注目領域および近傍領域の輝度信号を読み込む。各領域の輝度信号に対して公知の DCT変換を行う。変換後の周波数信号は、類似度判断部 206へ転送される。類似度判断部 206では、類似度判断部 206は、色相算出部 203からの上記色相信号と DCT変換部 700からの上記周波数信号と輝度信号に基づき注目領域と近傍領域の類似度を判断する。

[0166] 図 14は図 10のノイズ推定部 115の構成の一例を示すもので、本発明の実施例 1の図 5に示されるノイズ推定部 115にルックアップテーブル部 800が追加され、パラメータ用 ROM304,パラメータ選択部 305,補間部 306,補正部 307が省略された形態になつている。基本構成は図 5に示すノイズ推定部 115と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。平均算出部 301, ゲイン算出部 302,標準値付与部 303は、ルックアップテーブル部 800へ接続している。ルックアップテーブル部 800は、ノイズ低減部 116へ接続している。制御部 119は、ルックアップテーブル部 800へ双方向に接続されている。平均算出部 301は、制御部 11 9の制御に基づきバッファ 300から輝度信号および色差信号を読み込み、重み係数を用いて局所領域に対する輝度信号および色差信号の平均値 AV , AVcb, AVerを算

Y

出する。上記輝度信号および色差信号の平均値はルックアップテーブル部 800へ転送される。ゲイン算出部 302は、制御部 119から転送される ISO感度および露光条件およびホワイトバランス係数に関する情報に基づき Gainl05における増幅量を求め、ルックアップテーブル部 800へ転送する。また、制御部 119は温度センサー 121から C CD103の温度情報を得て、これをルックアップテーブル部 800へ転送する。

[0167] ルックアップテーブル部 800は、平均算出部 301からの輝度信号および色差信号の平均値，ゲイン算出部 302からのゲインの情報，制御部 119からの温度情報に基づきノイズ量を推定する。ルックアップテーブル部 800は、温度，信号値レベル，ゲイン，シャッター速度とノイズ量間の関係を記録したルックアップテーブルで、実施例 1と同等の手法により構築される。ルックアップテーブル部 800で得られたノイズ量はノイズ低減部 116へ転送される。また、標準値付与部 303は実施例 1と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。

[0168] 上記構成により、信号レベル，撮影時の温度，ゲインなどの動的に変化する条件に対応したノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。上記情報が得られな、場合でも標準値を用いることでノイズ量の推定を行うため安定したノイズ低減効果が得られる。さら〖こ、一部のパラメータ算出を意図的に省略することで低コスト，省電力化を可能とする信号処理システムが提供できる。また、ノイズ低減処理を行う注目領域と類似する近傍領域を色相，輝度，エッジ ,周波数情報に基づき選択後、これをあわせて処理を行うため、より広い範囲を用いてのノイズ量推定が可能となり、推定の精度を向上することができる。

[0169] さらに、色ノイズ量と輝度ノイズ量を独立に推定することで、各々の推定精度を向上できる。ノイズ量の算出にルックアップテーブルを用いているため、高速なノイズ量の推定が可能となる。また、ノイズ低減処理はノイズ量カゝら許容範囲を設定するため、原信号の保存性に優れ不連続性の発生を防止した低減処理が可能となる。

[0170] さらに、ノイズ低減処理後の信号を本来の信号として出力するため、従来の処理系との互換性が維持され、多様なシステムの組み合わせが可能となる。また、色差線順次方式の色フィルタ配置にあわせて輝度信号と色差信号を求めるため、高速な処理が可能となる。なお、上記実施例では補色系の色差線順次方式の単板 CCDを例に説明したがこれに限定される必要はない。例えば、実施例 1で示した原色 Bayer型にも同様に適応可能である。また、二板，三板 CCDにも適用可能である。

[0171] さらに、上記実施例ではハードウェアによる処理を前提としていた力このような構成に限定される必要はない。例えば、 CCD103からの信号を未処理のままの生データとして、制御部 119からの撮影時の温度，ゲイン，シャッター速度などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

[0172] 図 15は、ノイズ低減処理のソフトウェア処理に関するフローを示す。なお、図 9に示す本発明の実施例 1におけるノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ番号を割り当てている。ステップ S1にて、信号と温度，ゲインなどのヘッダ情報を読み込む。ステップ S2にて、図 11Aに示されるような注目領域および近傍領域から構成される局所領域を抽出する。ステップ S3にて、（17)式に示されるように輝度信号および色差信号に分離する。ステップ S4にて、局所領域内の注目領域および近傍領域から (9)式に基づき色相信号を算出する。ステップ S20にて、（18)式に示されるラプラシアンオペレータを適用することでエッジ強度値を算出する。ステップ S5にて、ステップ S4からの色相情報およびステップ S3からの輝度情報およびステツプ S20からのエッジ情報に基づき、各近傍領域と注目領域との類似度を判断する。ステツプ S6にて、（3)式に示される重み係数を算出する。ステップ S7にて、ステップ S5からの類似度に基づき注目領域および類似度が高!ヽと判断された近傍領域の輝度信号および色差信号をステップ S3から選択する。ステップ S8にて、（4)式に示される輝度信号および色差信号の平均値を算出する。ステップ S9にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。ステップ S21にて、ルックアップテープルを用いてノイズ量を算出する。

[0173] ステップ S13にて、注目領域の輝度信号および色差信号が (10)式に示される許容範囲内に属する力否かを判断し、属する場合はステップ S 14へ、属さない場合はステップ S15へ分岐する。ステップ S14にて、（11)式に示される処理を行う。ステップ S15にて、（13)式，（15)式に示される処理を行う。ステップ S16にて、全局所領域が完了したかを判断し、完了していない場合はステップ S2へ、完了した場合はステップ S 17へ分岐する。ステップ S 17にて、公知の強調処理や圧縮処理などが行われる。ステップ S1 8にて、処理後の信号が出力され終了する。

[0174] 以上述べたように、本発明によれば、信号レベルのみならず撮影時の温度，ゲインなどの動的に変化する要因に対応した色信号および輝度信号のノイズ量のモデル化を行い、これにより撮影状況に最適化されたノイズ低減処理が可能となる。また、ノィズ低減処理を、輝度ノイズと色ノイズに対して独立に行うことで、両者のノイズを高精度に低減し、高品位な信号を生成することができる。

産業上の利用可能性

[0175] 本発明は、撮像装置や画像読取装置など、撮像素子系に起因する色信号および輝度信号のランダムノイズの低減を高精度に行うことが必要な装置に広く利用することが可能である。

Claims

請求の範囲

[1] 色フィルタを前面に配置した撮像素子力ゝらの信号に対しノイズ低減処理を行う信号処理システムにおいて、

上記信号からノイズ低減処理を行う注目領域および注目領域近傍にある少なくとも

1つ以上の近傍領域から成る局所領域を抽出する抽出手段と、

上記注目領域および上記近傍領域ごとに輝度信号および色差信号を算出する分離手段と、

上記注目領域と類似する上記近傍領域を選択する選択手段と、

上記注目領域および上記選択手段で選択された近傍領域からノイズ量を推定するノイズ推定手段と、

上記ノイズ量に基づき上記注目領域のノイズを低減するノイズ低減手段と、を有することを特徴とする信号処理システム。

[2] 請求項 1における撮像素子は、

R (赤）， G (緑) , B (青)べィヤー型原色フィルタを前面に配置した単板撮像素子、または Cy (シアン） , Mg (マゼンタ） , Ye (イェロー）， G (緑)色差線順次型補色フィルタを前面に配置した単板撮像素子であることを特徴とする信号処理システム。

[3] 請求項 1における注目領域および近傍領域は、

上記輝度信号および上記色差信号を算出するに必要となる色フィルタの組を少なくとも 1組以上含む領域、であることを特徴とする信号処理システム。

[4] 請求項 1における選択手段は、

上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、上記輝度信号および上記色相信号の少なくとも 1つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、

上記類似度に基づき上記近傍領域を選択する近傍領域選択手段と、を更に有することを特徴とする信号処理システム。

[5] 請求項 1における選択手段は、

上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、上記注目領域および上記近傍領域ごとにエッジ信号を算出するエッジ算出手段と上記輝度信号および上記色相信号および上記エッジ信号の少なくとも 1つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、

[6] 請求項 1における選択手段は、

上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、上記注目領域および上記近傍領域ごとに周波数信号を算出する周波数算出手段と

上記輝度信号および上記色相信号および上記周波数信号の少なくとも 1つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、

[7] 請求項 1における選択手段は、

上記ノイズ推定手段と上記ノイズ低減手段で使用する上記近傍領域を異なるよう制御する制御手段を更に有することを特徴とする信号処理システム。

[8] 請求項 4, 5又は 6における選択手段は、

上記注目領域および上記近傍領域の信号から所定の微小変動を除去するための除去手段を更に有することを特徴とする信号処理システム。

[9] 請求項 4, 5又は 6における選択手段は、

上記類似度に基づき上記近傍領域に対する重み係数を算出する係数算出手段を更に有することを特徴とする信号処理システム。

[10] 請求項 1におけるノイズ推定手段は、

上記注目領域および上記選択手段で選択された近傍領域から色ノイズ量を推定する色ノイズ推定手段または上記注目領域および上記選択手段で選択された近傍領域から輝度ノイズ量を推定する輝度ノイズ推定手段の少なくとも一つを有することを特徴とする信号処理システム。

[11] 請求項 10における色ノイズ推定手段は、

上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、

上記収集手段で得られない情報に関して標準値を付与する付与手段と、上記注目領域および上記選択手段で選択された近傍領域から平均色差値を算出する平均色差算出手段と、

上記収集手段または上記付与手段からの情報および上記平均色差値に基づき色ノイズ量を求める色ノイズ量算出手段と、

を更に有することを特徴とする信号処理システム。

[12] 請求項 10における輝度ノイズ推定手段は、

上記収集手段で得られない情報に関して標準値を付与する付与手段と、上記注目領域および上記選択手段で選択された近傍領域から平均輝度値を算出する平均輝度算出手段と、

上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき輝度ノイズ量を求める輝度ノイズ量算出手段と、

を更に有することを特徴とする信号処理システム。

[13] 請求項 11又は 12における収集手段は、

上記記撮像素子の温度値を測定する温度センサーを更に有することを特徴とする信号処理システム。

[14] 請求項 11又は 12における収集手段は、

ISO感度，露出情報，ホワイトバランス情報の少なくとも 1つ以上の情報に基づき上記ゲイン値を求めるゲイン算出手段を更に有することを特徴とする信号処理システム

[15] 請求項 11における色ノイズ量算出手段は、

所定の色相に対応する基準色ノイズモデルおよび補正係数カゝらなるパラメータ群を少なくとも 1組以上記録する記録手段と、

上記収集手段または上記付与手段からの情報および上記平均色差値に基づき上記パラメータ群力必要となるパラメータを選択するパラメータ選択手段と、上記平均色差値および上記パラメータ選択手段により選択されたパラメータ群中の基準色ノイズモデルに基づき補間演算により基準色ノイズ量を求める補間手段と、上記基準色ノイズ量を上記パラメータ選択手段により選択されたパラメータ群中の補正係数に基づき補正することで色ノイズ量を求める補正手段と、

を更に有することを特徴とする信号処理システム。

[16] 請求項 15における基準色ノイズモデルは、

色差値に対する色ノイズ量から成る複数の座標点データから構成されることを特徴とする信号処理システム。

[17] 請求項 11における色ノイズ量算出手段は、

上記収集手段または上記付与手段からの情報および上記平均色差値を入力とし色ノイズ量を求めるルックアップテーブル手段を更に有することを特徴とする信号処理システム。

[18] 請求項 12における輝度ノイズ量算出手段は、

基準輝度ノイズモデルおよび補正係数カゝらなるパラメータ群を記録する記録手段と

上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき上記パラメータ群力必要となるパラメータを選択するパラメータ選択手段と、

上記平均輝度値および上記パラメータ選択手段により選択されたパラメータ群中の基準輝度ノイズモデルに基づき補間演算により基準輝度ノイズ量を求める補間手段と、

上記基準輝度ノイズ量を上記パラメータ選択手段により選択された上記パラメータ群中の補正係数に基づき補正することで輝度ノイズ量を求める補正手段と、を更に有することを特徴とする信号処理システム。

[19] 請求項 18における基準輝度ノイズモデルは、

輝度値に対する輝度ノイズ量から成る複数の座標点データから構成されることを特徴とする信号処理システム。

[20] 請求項 12における輝度ノイズ量算出手段は、

上記収集手段または上記付与手段からの情報および上記平均輝度値を入力とし輝度ノイズ量を求めるルックアップテーブル手段を更に有することを特徴とする信号処理システム。

[21] 請求項 1におけるノイズ低減手段は、

上記ノイズ量に基づき上記注目領域から色ノイズを低減する色ノイズ低減手段または上記ノイズ量に基づき上記注目領域から輝度ノイズを低減する輝度ノイズ低減手段の少なくとも一つを有することを特徴とする信号処理システム。

[22] 請求項 21における色ノイズ低減手段は、

上記ノイズ推定手段からのノイズ量に基づき上記注目領域にノイズ範囲を設定する設定手段と、

上記注目領域の色差信号に関してノイズ範囲に属する場合に平滑ィ匕を行う第 1のスムージング手段と、

上記注目領域の色差信号に関してノイズ範囲に属さない場合に補正を行う第 2のスムージング手段と、

を更に有することを特徴とする信号処理システム。

[23] 請求項 21における輝度ノイズ低減手段は、

上記ノイズ推定手段からの輝度ノイズ量に基づき上記注目領域にノイズ範囲を設定する設定手段と、

上記注目領域の輝度信号に関してノイズ範囲に属する場合に平滑ィ匕を行う第 1のスムージング手段と、

上記注目領域の輝度信号に関してノイズ範囲に属さない場合に補正を行う第 2のスムージング手段と、

を更に有することを特徴とする信号処理システム。

[24] コンピュータに、

色フィルタを前面に配置した撮像素子力ゝらの信号カゝらノイズ低減処理を行う注目領域および注目領域近傍にある少なくとも 1つ以上の近傍領域から成る局所領域を抽出する処理と、

上記注目領域および上記近傍領域ごとに輝度信号および色差信号を算出する処理と、上記注目領域と類似する上記近傍領域を選択する処理と、

上記注目領域および上記選択された近傍領域からノイズ量を推定する処理と、該ノイズ量に基づき上記注目領域のノイズを低減する処理と、

を実行させることを特徴とする信号処理プログラム。

[25] 請求項 24における選択する処理は、

上記注目領域および上記近傍領域ごとに色相信号を算出する処理と、上記輝度信号および上記色相信号の少なくとも 1つに基づき上記注目領域と上記近傍領域の類似度を判断する処理と、

上記類似度に基づき上記近傍領域を選択する処理と、

を有することを特徴とする信号処理プログラム。

[26] 請求項 24における選択する処理は、

上記注目領域および上記近傍領域ごとに色相信号を算出する処理と、上記注目領域および上記近傍領域ごとにエッジ信号を算出する処理と上記輝度信号および上記色相信号および上記エッジ信号の少なくとも 1つに基づき上記注目領域と上記近傍領域の類似度を判断する処理と、

上記類似度に基づき上記近傍領域を選択する処理と、

を有することを特徴とする信号処理プログラム。

[27] 請求項 24における選択する処理は、

上記注目領域および上記近傍領域ごとに色相信号を算出する処理と、上記注目領域および上記近傍領域ごとに周波数信号を算出する処理と上記輝度信号および上記色相信号および上記周波数信号の少なくとも 1つに基づき上記注目領域と上記近傍領域の類似度を判断する処理と、

上記類似度に基づき上記近傍領域を選択する処理と、

を有することを特徴とする信号処理プログラム。

[28] 請求項 24における選択する処理は、

上記ノイズ量を推定する処理と上記ノイズを低減する処理で使用する上記近傍領域を異なるよう制御する処理を有することを特徴とする信号処理プログラム。

[29] 請求項 24におけるノイズ量を推定する処理は、上記注目領域および上記選択する処理で選択された近傍領域から色ノイズ量を推定する処理または上記注目領域および上記選択する処理で選択された近傍領域から輝度ノイズ量を推定する処理の少なくとも一つを有することを特徴とする信号処理プログラム。

[30] 請求項 29における色ノイズ量を推定する処理は、

上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する処理と、

上記収集する処理で得られない情報に関して標準値を付与する処理と、上記注目領域および上記選択する処理で選択された近傍領域から平均色差値を算出する処理と、

上記収集する処理または上記付与する処理からの情報および上記平均色差値に基づき色ノイズ量を求める処理と、

を有することを特徴とする信号処理プログラム。

[31] 請求項 29における輝度ノイズ量を推定する処理は、

上記収集する処理で得られない情報に関して標準値を付与する処理と、上記注目領域および上記選択する処理で選択された近傍領域から平均輝度値を算出する処理と、

上記収集する処理または上記付与する処理からの情報および上記平均輝度値に基づき輝度ノイズ量を求める処理と、

を有することを特徴とする信号処理プログラム。

[32] 請求項 30における色ノイズ量を求める処理は、

所定の色相に対応する基準色ノイズモデルおよび補正係数カゝらなるパラメータ群を少なくとも 1組以上記録する処理と、

上記収集する処理または上記付与する処理からの情報および上記平均色差値に基づき上記パラメータ群力必要となるパラメータを選択する処理と、

上記平均色差値および上記パラメータを選択する処理により選択されたパラメータ群中の基準色ノイズモデルに基づき補間演算により基準色ノイズ量を求める処理と、上記基準色ノイズ量を上記パラメータを選択する処理により選択されたパラメータ群中の補正係数に基づき補正することで色ノイズ量を求める処理と、

を有することを特徴とする信号処理プログラム。

[33] 請求項 30における色ノイズ量を求める処理は、

上記収集する処理または上記付与する処理からの情報および上記平均色差値を入力とし色ノイズ量を求める処理を有することを特徴とする信号処理プログラム。

[34] 請求項 31における輝度ノイズ量を求める処理は、

基準輝度ノイズモデルおよび補正係数カゝらなるパラメータ群を記録する処理と、上記収集する処理または上記付与する処理からの情報および上記平均輝度値に基づき上記パラメータ群力必要となるパラメータを選択する処理と、

上記平均輝度値および上記パラメータを選択する処理により選択されたパラメータ群中の基準輝度ノイズモデルに基づき補間演算により基準輝度ノイズ量を求める処理と、

上記基準輝度ノイズ量を上記パラメータを選択する処理により選択された上記パラメータ群中の補正係数に基づき補正することで輝度ノイズ量を求める処理と、を有することを特徴とする信号処理プログラム。

[35] 請求項 31における輝度ノイズ量を求める処理は、

上記収集する処理または上記付与する処理からの情報および上記平均輝度値を入力とし輝度ノイズ量を求める処理を有することを特徴とする信号処理プログラム。

[36] 請求項 24におけるノイズを低減する処理は、

上記ノイズ量に基づき上記注目領域から色ノイズを低減する処理または上記ノイズ量に基づき上記注目領域から輝度ノイズを低減する処理の少なくとも一つを有することを特徴とする信号処理プログラム。

[37] 請求項 36における色ノイズを低減する処理は、

上記ノイズ量を推定する処理からのノイズ量に基づき上記注目領域にノイズ範囲を設定する設定手段と、

上記注目領域の色差信号に関してノイズ範囲に属する場合に平滑ィ匕を行う第 1の処理と、

上記注目領域の色差信号に関してノイズ範囲に属さない場合に補正を行う第 2の処理と、

を有することを特徴とする信号処理プログラム。

請求項 36における輝度ノイズを低減する処理は、

上記ノイズ量を推定する処理からの輝度ノイズ量に基づき上記注目領域にノイズ範囲を設定する処理と、

上記注目領域の輝度信号に関してノイズ範囲に属する場合に平滑ィ匕を行う第 1の処理と、

上記注目領域の輝度信号に関してノイズ範囲に属さない場合に補正を行う第 2の処理と、

を有することを特徴とする信号処理プログラム。