JP4192493B2

JP4192493B2 - 画像ノイズ検出方法及びそれを用いた画像処理装置

Info

Publication number: JP4192493B2
Application number: JP2002137779A
Authority: JP
Inventors: 峰樹曽我; 啓一山田; 充彦太田
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2002-05-13
Filing date: 2002-05-13
Publication date: 2008-12-10
Anticipated expiration: 2022-05-13
Also published as: JP2003331283A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号に含まれるノイズを検出するノイズ検出方法、及びそれを用いた画像処理装置に関する。特に、画像信号に複数の局所領域を設け、その非飽和の局所領域の輝度のばらつきに基づいてノイズレベルを検出するノイズ検出方法、及びそれを用いた画像処理装置に関する。
【０００２】
【従来の技術】
従来より画像信号中のノイズの測定方法及びその装置の１例として、特開平６−５１００９号公報に開示のノイズ測定方法及びその装置がある。これは、画像中に複数のブロックを設け（図９（ａ））、各ブロックのアクティビティー値Ａを計算して、そのアクティビティー値Ａに基づいて、ノイズレベルを設定する方法である。このアクティビティー値Ａはブロック中での輝度のばらつきの大きさを表す量であり、例えば統計処理における分散値である。そして、図９（ｂ）に示すように、全てのブロックについてアクティビティー値Ａの頻度分布をとり、頻度小の方からK ％（K ＝１〜１０）の点のアクティビティー値Ｎを求め、それをノイズ値Ｎとして出力する方法である。
更には、図１０に示すようにアクティビティ値計算回路１によって周期的に計算されたアクティビティー値Ａと累算回路２に記憶されているノイズ値Ｎとを比較回路３によって比較し、Ａ＜Ｎなら第１の補正値をノイズ値Ｎに加算し、Ａ＞Ｎなら第１の補正値よりも１０〜１００倍大きい第２の補正値をノイズ値Ｎから減算することにより、このノイズ値Ｎをブロック毎に更新し、この更新を繰り返してノイズ値Ｎを所望の値に収束させることにより、頻度分布を求めることなくノイズ値Ｎを求めることを特徴としている。
【０００３】
又、他に特開平７−３０７８６号公報に開示の画像信号中の雑音成分を測定する方法、及びその方法を遂行するための回路がある。これは、原画像信号を遅延回路で遅延させ、両者の差分をとって差分絶対値信号を形成し、信号の経時的なゆらぎによるノイズを明確にする方法である。具体的には、それらの差分絶対値信号にブロックであるサーチ窓を設定し、そのサーチ窓内での最大ピーク値を検出し、更に複数のサーチ窓内でのピーク値の最小値を求めて、それをノイズレベルとすることを特徴としている。
【０００４】
又、他に特開平８−２０１４６４号公報に開示のテレビジョン信号のＳ／Ｎ値検出方法がある。この方法は、入力映像信号を画面上で複数のブロックに分割し、各ブロックにおいて画素毎に時間平均された信号及び空間平均された信号との差分を求めている。そして、ブロック内での差分値の分布とノイズ値の統計的な分布とを比較し有意度を判定し、有意度有りと判定されたブロックの差分値の全画面内での発生頻度を求める。この発生頻度の分布から映像信号のＳ／Ｎ値を検出することを特徴としている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の特開平６−５１００９号公報に開示のノイズ測定方法及びその装置は、画面内のすべてのブロックのアクティビティー値Ａに基づいて、そのK ％点をノイズ値Ｎとして採用している。このため、推定されるノイズ値が原画像（ノイズフリー）の特性に大きく依存するという問題がある。即ち、原画像に占める飽和する部分の面積の割合が大きい場合、アクティビティ値の小さいブロックの数が多くなり、結果としてＫ％点であるノイズ値も小さくなる。逆に原画像に占める飽和する部分の面積の割合が小さい場合、アクティビティ値の大きいブロックの数が多くなり、結果としてＫ％点であるノイズ値は大きくなる。また、原画像が画面全体に高周波成分を多く含む場合、アクティビティー値の大きいブロックの数が多くなり、結果としてK ％点であるノイズ値も大きくなる。逆に、原画像が画面全体に低周波成分を多く含む場合は、アクティビティー値Ｎの小さいブロックの数が多くなり、結果としてK ％点であるノイズ値は小さくなる。
【０００６】
又、推定されたノイズ値と新たなブロックのアクティビティー値との比較結果に基づいて、推定されたノイズ値Ｎに第１の補正値を加算、又は第２の補正値を減算するステップを繰り返すことにより、ノイズ値を適切な値に収束させるているが、この方法では、ノイズ値の大きさに対する第１及び第2 の補正値の大きさにより収束結果が変化することになる。即ち、ノイズ値Ｎに対し、第１及び第２の補正値が大きい場合、比較的少数回の比較によりノイズ値Ｎは収束するが、収束結果のばらつきが大きくなる。一方、ノイズ値Ｎに対し、第１及び第２の補正値が小さい場合、収束結果のばらつきは小さくなるが、収束に必要な比較回数が多くなる。即ち、画面内のすべてのブロックに対して比較を行ってもノイズ値Ｎが収束しない場合がある。従って、第１及び第２の補正値の大きさを適切に定め、正しくノイズ値を収束させるためには、予めノイズ値Ｎのおよその値が既知である必要があるという問題もある。
【０００７】
又、特開平７−３０７８６号公報に開示の画像信号中の雑音成分を測定する方法、及びその方法を遂行するための回路では、原画像信号とその遅延信号との差分絶対値信号のサーチ窓内での最大値は、サーチ窓内に動きがない場合は入力画像中のノイズ成分のピーク値を表し、サーチ窓内に動きがある場合は動きの成分とノイズの成分の重塁された値のピーク値を表している。即ち、複数のサーチ窓において、各サーチ窓内の最大値の最小値を検出することにより、動きの成分を含まないノイズの成分のみのピーク値を検出するものである。したがって、複数のサーチ窓のいずれかにおいては、画像の動きが無いことを仮定した方法である。しかし、例えば車載カメラのように動いているカメラで撮像した画像の場合、画面内すべてにおいて動きが生じているため、検出されるピーク値はすべてのサーチ窓内において動きの成分を含んだ値となる。即ち、動いているカメラで撮像した画像のノイズを測定する場合に、実際のノイズの成分よりも大きな値を検出するという問題がある。
【０００８】
又、特開平８−２０１４６４号公報に開示のテレビジョン信号のＳ／Ｎ値検出方法では、入力映像信号中の各ブロックにおいて画素毎に時間平均された信号及び空間平均された信号との差分を求め、その差分値の分布とノイズ値の既知の統計的な分布とを比較することで有意度を判定している。即ち、入力画像信号とその時間平均された信号との差分値の分布から、ブロック内での画像の動きの有無を判定し、又入力画像信号とその空間平均された信号との差分値の分布から、ブロック内での画像の変化成分（エッジ）の有無を判定している。この方法では、各ブロック内においてノイズの統計的分布との比較による有意度の判定を行う為、計算コストが大きくなるという問題がある。
【０００９】
本発明は上記課題を解決するため成されたものであり、その目的は画像に設定された非飽和局所領域の輝度のばらつき係数を検出し、検出された複数のばらつき係数に基づいて適切に画像のノイズを検出することである。
そして、画像の動きの成分、画面内の飽和する部分の面積、及び画面内に存在する高周波成分に依存せず、ノイズの概算値が未知である場合でも正しくノイズの大きさを検出することである。又、それを利用した画像処理装置を提供することである。
更には、入力画像に含まれるノイズの大きさに基づいてダイナミックレンジ圧縮機能をオンオフさせるか圧縮量の大小を変化させ、常に、視認性に優れた画像とする方法を提供することである。又、それを用いた画像処理装置を提供することである。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の画像ノイズ検出方法は、入力画像信号に対し、画面内の全領域にほぼ一様に分布する多数の局所領域を設置し、その各局所領域内の輝度の飽和の有無を判定し、複数の非飽和局所領域において輝度のばらつき係数をそれぞれ検出し、複数のばらつき係数に基づいてノイズレベルを検出することを特徴とする。
【００１１】
又、請求項２に記載の画像ノイズ検出方法は請求項１に記載の画像ノイズ検出方法であって、ノイズレベルはばらつき係数の最小値に基づいて決定する、又は最小クラスのばらつき係数に基づいて決定することを特徴とする。
又、請求項３に記載の画像ノイズ検出方法は請求項１又は請求項２に記載の画像ノイズ検出方法であって、ノイズレベルは複数時刻で検出された複数の最小のばらつき係数の時間平均関連値、又は複数の最小クラスのばらつき係数の時間平均関連値に基づいて決定することを特徴とする。
【００１２】
又、請求項４に記載の画像ノイズ検出方法は請求項１乃至請求項３の何れか１項に記載の画像ノイズ検出方法であって、ばらつき係数は非飽和局所領域内における輝度の分散値であることを特徴とする。
又、請求項５に記載の画像ノイズ検出方法は請求項１乃至請求項３の何れか１項に記載の画像ノイズ検出方法であって、ばらつき係数は非飽和局所領域内における平均輝度と各輝度との差分絶対値の平均値であることを特徴とする。
又、請求項６に記載の画像ノイズ検出方法は請求項１乃至請求項３の何れか１項に記載の画像ノイズ検出方法であって、ばらつき係数は非飽和局所領域内における画素値の最大値と最小値との差値であることを特徴とする。
【００１３】
又、請求項７に記載の画像処理装置は入力画像の視認性を向上させる画像処理装置であって、入力画像信号に対し画面内の全領域にほぼ一様に分布する多数の局所領域を設置する局所領域設定手段と、その局所領域内の輝度の飽和の有無を判定する飽和判定手段と、複数の非飽和局所領域において、輝度のばらつきを検出するばらつき係数検出手段と、その複数のばらつき係数に基づいてノイズレベルを特定するノイズレベル特定手段とからなるノイズ測定手段を備えたことを特徴とする。
【００１４】
又、請求項８に記載の画像処理装置は請求項７に記載の画像処理装置であって、ノイズレベル特定手段はノイズレベルを最小のばらつき係数に基づいて特定する、又は最小クラスのばらつき係数に基づいて特定することを特徴とする。
又、請求項９に記載の画像処理装置は請求項７に記載の画像処理装置であって、ノイズレベル特定手段は複数時刻で検出された複数の最小のばらつき係数の時間平均関連値を、又は最小クラスのばらつき係数の時間平均関連値を算出する時間平均手段を有することを特徴とする。
【００１５】
又、請求項１０に記載の画像処理装置は請求項７乃至請求項９の何れか１項に記載の画像処理装置であって、ばらつき係数は局所領域内における輝度の分散値であることを特徴とする。
又、請求項１１に記載の画像処理装置は請求項７乃至請求項９の何れか１項に記載の画像処理装置であって、ばらつき係数は局所領域内における平均輝度と各輝度との差分絶対値の平均値であることを特徴とする。
【００１６】
又、請求項１２に記載の画像処理装置は請求項７乃至請求項９の何れか１項に記載の画像処理装置であって、ばらつき係数は局所領域内における輝度の最大値と最小値との差値であることを特徴とする。
【００１７】
又、請求項１３に記載の画像処理装置は請求項７乃至請求項１２の何れか１項に記載の画像処理装置であって、入力画像の低空間周波数成分を抑制することによりダイナミックレンジを圧縮するダイナミックレンジ圧縮手段と、ノイズ測定手段により測定されたノイズの大きさにより、ダイナミックレンジ圧縮手段を制御する制御手段とを備えたことを特徴とする。
【００１８】
【作用及び発明の効果】
請求項１に記載の画像ノイズ検出方法は、先ず、入力画像信号に対し画面内の全領域にほぼ一様に分布するように多数の局所領域を設定する。局所領域とは、図３に示すように撮像装置から出力されるノイズを含んだ画像信号に設定された区間Ａ〜Ｅ等である。尚、図３には、１次元の局所領域の例を示したが、局所領域は２次元であってもよい。そして、その各局所領域内の輝度の飽和の有無を判定する。何故なら、局所領域において輝度が飽和していると、たとえノイズが存在してもその飽和値に埋没してしまい正しくノイズ検出ができないからである（図４）。従来のように、飽和領域を考慮せず、複数の局所領域のばらつきの係数のｋ％点（ｋ＝１〜１０）、又は最小値に基づいてノイズの大きさを求めると、真のノイズの大きさよりも小さな値が検出される危険性がある。
【００１９】
よって、本発明の方法は、飽和していないと判定された複数の局所領域（以降、非飽和局所領域）に対して、輝度のばらつき係数を検出する。ばらつき係数とは、例えば統計上の分散である。ばらつき係数と画像信号中のノイズの大きさとには、図４に示すような関連性がある。即ち、飽和局所領域Ｃを除く他の領域において、特に例えば局所領域Ａのようにエッジや濃度勾配等が存在しない場合は、主にノイズ信号のみとなりばらつき係数Ｎ_Aは小さくなる。一方、他の局所領域において画像の輝度が変化している場合、即ち局所領域Ｂ、Ｄ、Ｅのようにエッジが存在する場合や濃度勾配が存在する場合、検出されるばらつき係数Ｎ_B、Ｎ_D、Ｎ_Eは大きくなる。即ち、ばらつき係数とノイズレベルは相関がある。よって、非飽和局所領域に対してばらつき係数を求め、それをその画像のノイズレベルの指標とする。
【００２０】
本発明の方法によれば、従来のように飽和信号の影響を受けないので、正確にノイズレベルを検出することができる。又、従来のように、ノイズの大きさに依存した閾値や補正値を用いない為、ノイズの大きさの概算値が未知であっても正しくノイズの大きさを求めることができる。
尚、本発明の方法は、画面内の複数の非飽和局所領域の少なくとも１ケ所以上がエッジや濃度勾配を含まない一様な領域であるという仮定に基づいている。屋外シーンを撮影した画像では、局所領域の大きさを適切に定めることにより、この仮定がほぼ成立する。例えば、建物の壁面、空、路面等がエッジや濃度勾配を含まない一様な非飽和局所領域に相当する。
【００２１】
又、本発明の方法は静止画のみならず動画にも適用可能である。即ち、車載カメラ画像等の動きのあるカメラ信号に対しても有効である。車載カメラの画像は、画面全体に動きがあるが、１画面内の１次元又は２次元の一部分を局所領域として定めることにより、局所領域内には動きに起因した輝度変化は生じない。したがって、画面全体に動きがあっても、正しくノイズの大きさを検出することができる。
【００２２】
又、請求項２に記載の画像ノイズ検出方法は請求項１に記載の画像ノイズ検出方法であって、ノイズレベルはばらつき係数の最小値に基づいて決定する。又は、最小クラスのばらつき係数に基づいて決定する。局所領域内において、ノイズ以外の成分による輝度変化がある場合、検出されるばらつき係数はそれがない場合より大きくなる。従って、複数の非飽和局所領域のばらつき係数を算出した場合、最小のばらつき係数、又は最小クラスのばらつき係数は正確なノイズレベルを示す指標となる。最小のばらつき係数、又は最小クラスのばらつき係数は容易に求めることができる。即ち、ノイズレベルを容易に正しく求めることができる。
【００２３】
又、請求項３に記載の画像ノイズ検出方法は請求項１又は請求項２に記載の画像ノイズ検出方法であって、ノイズレベルは複数時刻で検出された複数の最小のばらつき係数の時間平均関連値、又は複数の最小クラスのばらつき係数の時間平均関連値に基づいて決定する。ここで時間平均関連値とは、所定時間内のばらつき係数の平均値、又は荷重平均値、所定時間内のばらつき係数の総和、又は荷重和等を意味する。何れでも良い。最小のばらつき係数、又は最小クラスのばらつき係数を時間平均関連値で表現するので、検出するノイズレベルの短時間変動が緩和される。よって、安定したノイズレベルの検出結果を得ることができる。
【００２４】
又、請求項４に記載の画像ノイズ検出方法は請求項１乃至請求項３の何れか１項に記載の画像ノイズ検出方法であって、ばらつき係数を非飽和局所領域内における輝度の分散値としている。ばらつきは統計上の概念であり、それは統計上の分散で最も的確に表すことができる。よって、ばらつき係数を分散値とすれば、的確にノイズレベルを検出することができる。
【００２５】
又、請求項５に記載の画像ノイズ検出方法は請求項１乃至請求項３の何れか１項に記載の画像ノイズ検出方法であって、ばらつき係数を非飽和局所領域内における平均輝度と各輝度との差分絶対値の平均値としている。
このようにすれば、分散値のように２乗演算をしなくとも、絶対値演算と加算平均演算のみで、容易にばらつき係数を検出することができる。
【００２６】
又、請求項６に記載の画像ノイズ検出方法は請求項１乃至請求項３の何れか１項に記載の画像ノイズ検出方法であって、ばらつき係数を非飽和局所領域内における輝度の最大値と最小値との差値としている。分散値をばらつき係数とした場合、検出されるノイズレベルがノイズの平均値となるのに対し、最大値と最小値との差値をばらつき係数とした場合、検出されるノイズレベルはノイズのピーク値となる。即ち、ノイズの大きさを表現する１つの方法となる。よって、非飽和局所領域内における輝度の最大値と最小値との差値をばらつき係数とすれば、演算は比較演算のみとなる。よって、更に簡略化してばらつき係数を検出することができる。
【００２７】
又、請求項７に記載の画像処理装置は、通常の画像処理装置に入力画像信号のノイズを測定するノイズ測定手段を備えている。そして、そのノイズ測定手段は、局所領域設定手段、飽和判定手段、ばらつき係数検出手段、ノイズレベル特定手段から構成されている。先ず、ノイズ測定手段の局所領域設定手段が、入力画像信号に対し画面内の全領域にほぼ一様に分布するよう多数の局所領域を設定する。局所領域とは、図３に示すようにカメラから出力されるノイズを含んだ画像信号に設定された区間Ａ〜Ｅ等である。そして、飽和判定手段がその各局所領域内の輝度の飽和の有無を判定する。何故なら、局所領域において輝度が飽和していると、たとえノイズが存在してもその飽和値に埋没してしまい正しくノイズ検出ができないからである（図４）。即ち、従来のように飽和領域を考慮せず、複数の局所領域のばらつきの係数のｋ％点（ｋ＝１〜１０）、又は最小値に基づいてノイズの大きさを求めると、真のノイズの大きさよりも小さな値が検出される可能性がある。
【００２８】
よって、本発明の画像処理装置では、非飽和局所領域に対してばらつき係数検出手段を作用させ、輝度のばらつき係数を検出する。ばらつき係数とは、例えば統計上の分散である。ばらつき係数と画像信号中のノイズの大きさとには、図４に示したような関連性がある。即ち、例えば局所領域Ａのように単調な背景に主にノイズ信号がある場合は、ばらつき係数は小さくなる。逆に、原画像の輝度が変化している場合、即ち局所領域Ｂ、Ｄ、Ｅのようにエッジが存在する場合や濃度勾配が存在する場合、検出されるばらつき係数は大きくなる。即ち、ばらつき係数とノイズレベルは相関がある。従って、ばらつき係数検出手段によって非飽和局所領域に対してばらつき係数を算出する。そして、ノイズレベル特定手段がその算出された複数のばらつき係数からノイズレベルを特定する。例えば、ばらつき係数の最小値をノイズレベルの指標として特定する。
【００２９】
本発明の画像処理装置によれば、画像信号のノイズ検出において、飽和した局所領域を除外している。よって、従来のように飽和信号の影響を受けないので、正確にノイズレベルを検出して画像処理することができる。又、従来のように、ノイズの大きさに依存した閾値や補正値を用いない為、ノイズの大きさの概算値が未知であっても正しくノイズの大きさを求めて、それを用いて画像処理することができる。
【００３０】
又、請求項８に記載の画像処理装置は請求項７に記載の画像処理装置であって、ノイズレベル特定手段はノイズレベルを最小のばらつき係数に基づいて特定する、又は最小クラスのばらつき係数に基づいて特定する。
局所領域内においてノイズ以外の成分による輝度変化がある場合、検出されるばらつき係数はそれがない場合よりも大きくなる。従って、複数の非飽和局所領域のばらつき係数を算出した場合、最小のばらつき係数、又は最小クラスのばらつき係数が正確なノイズの大きさを示すものとなる。よって、ノイズレベル特定手段は、そのばらつき係数の最小値、又は最小クラスのばらつき係数に基づいてノイズレベルを決定する。これにより、画像に含まれるノイズの大きさは容易に正しく検出される。よって、ノイズを考慮した正確な画像処理を行うことができる。
【００３１】
又、請求項９に記載の画像処理装置は請求項７に記載の画像処理装置であって、ノイズレベル特定手段は複数時刻で検出された複数の最小のばらつき係数の時間平均関連値を算出する、又は複数時刻で検出された複数の最小クラスのばらつき係数の時間平均関連値を算出する時間平均手段を有している。ここで、時間平均関連値とは、所定時間内に得られたばらつき係数の平均値、又は荷重平均値、所定時間内でのばらつき係数の総和、又は荷重和等の意味である。何れでも良い。時間平均手段が、複数時刻で検出された複数の最小のばらつき係数、又は最小クラスのばらつき係数の時間平均関連値を算出するので、ノイズレベルの短時間変動を緩和することができる。よって、安定したノイズ処理を行うことができ、その結果、安定した画像処理結果を得ることができる。
【００３２】
又、請求項１０に記載の画像処理装置は請求項７乃至請求項９の何れか１項に記載の画像処理装置であって、ばらつき係数は非飽和局所領域内における輝度の分散値である。ばらつきは統計上の概念であり、それは分散で最も的確に表すことができる。よって、ばらつき係数を分散値とすれば、的確にノイズレベルを検出することができる。よって、的確にノイズレベルを検出して画像処理する装置となる。
【００３３】
又、請求項１１に記載の画像処理装置は請求項７乃至請求項９の何れか１項に記載の画像処理装置であって、ばらつき係数を非飽和局所領域内における平均輝度と各輝度との差分絶対値の平均値としている。このようにすれば、絶対値演算と加算平均演算のみで容易にばらつき係数を検出することができる為、装置構成を簡略化できる。
【００３４】
又、請求項１２に記載の画像処理装置は請求項７乃至請求項９の何れか１項に記載の画像処理装置であって、ばらつき係数を非飽和局所領域内における輝度の最大値と最小値との差値としている。非飽和局所領域内において、ノイズ以外の成分による輝度変化がない場合、輝度の最大値と最小値の差値はノイズのピーク値を表す。よって、上記のような場合には、ばらつき係数はノイズの大きさを表す一つの指標とすることができる。このようにすれば、演算は比較演算のみとなり、更に演算が簡略化される。
【００３６】
又、請求項１３に記載の画像処理装置は請求項７乃至請求項１２の何れか１項に記載の画像処理装置であって、入力画像の低空間周波数成分を抑制することによりダイナミックレンジを圧縮するダイナミックレンジ圧縮手段と、ノイズ測定手段により測定されたノイズの大きさにより、ダイナミックレンジ圧縮手段を制御する制御手段とを備えている。
画像処理には、低空間周波数成分を抑制することにより、輝度のダイナミックレンジを圧縮する方法がある。夜間に撮影された画像は、ＡＧＣによる増幅率が大きいため、ノイズレベルが大きくなる。このような、ノイズレベルの大きな画像に対してダイナミックレンジ圧縮処理をするとノイズが強調されるという問題がある。このような場合は、画像信号のノイズレベルを請求項７乃至請求項１２の何れか１項に記載の画像処理装置のノイズ測定手段によって、そのノイズレベルを効率よく適切に測定する。そして、その結果を制御手段に送出する。制御手段は、例えば測定結果によって、出力画像をダイナミックレンジ圧縮手段からの画像信号から原画像信号に切り換える。又は、制御手段はその結果によってダイナミックレンジ圧縮手段の低空間周波数成分の抑制量を小さくする。これにより、画像ノイズを強調しないようにする。このようにすれば、夜間画像のようなノイズレベルの大きな画像信号に対してもノイズを強調することなく、より適切に画像処理を行うことができる。
【００３７】
【発明の実施の形態】
以下、本発明の具体的な実施例について図を用いて説明する。尚、本発明は以下の実施例に限定されるものではない。
（第１実施例）
図１に本発明の画像ノイズ検出方法を利用した画像処理装置を示す。図は、システム構成図である。本実施例の画像処理装置は、撮像装置９０、ノイズ測定装置１００、フレームメモリ１１０、ＣＰＵ１２０、ＲＯＭ１３０、ＲＡＭ１４０、Ｉ／Ｏインターフェース１５０から構成される。本実施例は、撮像装置９０後段に、正確にノイズレベルを検出するノイズ測定装置１００を設けたことが特徴である。
【００３８】
このノイズ測定装置１００の詳細を図２に示す。図は、ブロック図である。ノイズ測定装置１００は、デコーダ１１、局所領域設定手段であるカウンタ１２、ばらつき係数検出手段を構成する乗算器１３、加算器１4 、レジスタ１5 、レジスタ１6 、乗算器１7 、加算器１8 、レジスタ１9 、レジスタ２０、乗算器２１、減算器２２、ノイズレベル特定手段を構成するレジスタ２３、比較器２４、レジスタ２５、飽和判定手段である加算器１８、レジスタ１９、レジスタ２０、比較器２６から構成される。尚、以降、細線で示した信号線は１ビットの制御信号線路を意味し、太線で示した信号線はバス信号線路を意味するものとする。
【００３９】
上記構成において、入力画像信号Ｃはアナログ信号でデコーダ１１に入力される。デコーダ１１は入力されたアナログ画像信号をデコードし、画面左上から右下までの画素毎の輝度値Ｙ_iを順次デジタル値で出力し、又、各ラインの開始を示すパルスＨs 、及び各フレームの開始を示すパルスＶｓを出力する。
そして、画素毎の輝度値Ｙ_iは、カウンタ１２、乗算器１３、加算器１８に入力される。ここで、カウンタ１２は後述するように、例えば縦１画素横Ｗ画素の局所領域を設定する役割を果たしている。即ち、Ｗ画素のカウント毎に、リセット信号Ｐ_R、及びロード信号Ｐ_L1を出力し、後述の累積データ（ΣＹ_i ²、ΣＹ_i、ｉ＝１〜Ｗ）を更新する。この局所領域は、画像信号上では図５のように示される。即ち、撮像装置９０から出力されるノイズを含んだ画像信号に互いに重なり合わずに、且つ密に設定された区間Ａ〜Ｇ等が局所領域となる。
【００４０】
図２において、乗算器１３に入力された輝度値Ｙ_iは乗算器１３により２乗され、加算器１４において前回の値（レジスタ１5 に記憶された値）と加算され再びレジスタ１5 に記憶される。このレジスタ１5 の出力データはカウンタ１２からパルスＰ_L1が入力されたときにレジスタ１６に記憶され、レジスタ１5 のデータはパルスＰ_Rが入力された時に零にリセットされる。従って、レジスタ１6 には局所領域内の輝度Ｙ_iの2 乗和（＝ΣＹ_i ²、ｉ＝１〜Ｗ）が記憶される。加算器１8 、レジスタ１9 、レジスタ２０の動作も同様であり、レジスタ２０には局所領域内の輝度Ｙ_iの和（ΣＹ_i、ｉ＝１〜Ｗ）が記憶される。
【００４１】
そして、減算器２２において乗算器１７でＷ倍された輝度Ｙ_iの２乗和（ＷΣＹ_i ²）から、乗算器２１で輝度Ｙ_iの和の２乗された値（ΣＹ_i）²が減算されて出力される。この出力は、局所領域内の輝度の分散値のＷ²倍であり、即ちばらつき係数となる。尚、カウンタ１２は、パルスＨｓが入力された時はパルスＰ_Rのみを出力する。これは、局所領域内を探索中に画像端に達したときにレジスタ１５及びレジスタ１９の値をロードせずにリセットすることにより探索中の局所領域を無効にするためである。
【００４２】
そして、ノイズレベル特定手段であるレジスタ２３、比較器２４、レジスタ２５によりノイズレベルを特定する。ここでは、ばらつき係数の最小値をノイズレベルの指標として検出する（図３）。又、同時に現在の局所領域が非飽和局所領域か否か判定する。これは局所領域の輝度が飽和していると、図４に示すようにノイズがその飽和レベルに埋もれ、ばらつき係数が正しくノイズの大きさを表す指標とならないからである。即ち、飽和判定しない場合は、図４において局所領域Ｃのばらつき係数Ｎｃが最小となるが、飽和判定すれば局所領域Ａのばらつき係数Ｎ_Aが最小値となる。飽和の判定は、以下のように行う。図２において、比較器２６によってレジスタ２０の出力（ΣＹ_i、ｉ＝１〜Ｗ）と所定の閾値Ｔとを比較し、前者が小さい場合に（非飽和）パルスＰ_Hを出力する。レジスタ２０の出力は局所領域内の輝度の和であり、閾値Ｔは輝度の飽和レベルにＷを乗じた値、若しくはそれよりも若干小さい値とする。つまり、比較器２６によって局所領域の輝度の飽和の有無を判定する。
【００４３】
一方、最小のばらつき係数は、レジスタ２３、比較器２４、及びＡＮＤ器１０によって特定される。先ず、Ｖｓの入力（１フレームの終了）により、レジスタ２３の記憶値を初期値にリセットする。この初期値は、ばらつき係数よりも十分大きな値としておく。次に、ばらつき係数の最小値候補を減算器２２から出力し、比較器２４によってレジスタ２３に記憶された値と比較する。そして、前者が小さい場合にパルスＰ_L2’を出力する。このパルスＰ_L2’は、上述した（非飽和）パルスＰ_HとＡＮＤ器１０で、論理積が取られ、両者が’Ｈ’の時のみロードパルスＰ_L2がレジスタ２３に出力される。即ち、局所領域が非飽和であって、且つ、現在の領域が最小である場合に、レジスタ２３に記憶される。これを、全ての局所領域について演算する。
【００４４】
最後に、次フレーム開始の信号Ｖｓによって、最小値をレジスタ２５に記憶する。これにより、ノイズレベルの指標である最小のばらつき係数がＮ値として出力される。尚、ＣＰＵ１２０は、このばらつき係数Ｎを内部バスで検出し、その値に応じてＲＯＭ１３０に書かれた様々なプログラムを実行する。例えば、ノイズの大きさに応じて微分画像の２値化レベルを決定したり、平滑化フィルタの大きさを決定したりする。このばらつき係数Ｎは、様々な画像処理に使用することができる。
【００４５】
（第２実施例）
第１実施例は、ばらつき係数を分散値から算出し、局所領域内の輝度の和により、飽和の有無を判定する例であった。このばらつき係数は、他のパラメータから算出してもよく、飽和の判定を他の方法で行っても良い。本実施例は、局所領域における最大輝度と最小輝度の差値からノイズレベルを特定し、局所領域内の最小輝度から飽和の有無を判定する例である。図６に第２実施例のノイズ測定装置２００を示す。図は、回路図である。このノイズ測定装置２００は、第１実施例のノイズ測定装置１００（図２）におけるばらつき係数検出手段及び飽和判定手段の構成部分を以下のように置換えたものである。
【００４６】
本実施例のばらつき係数検出手段は、レジスタ２７、比較器２８、レジスタ２９、レジスタ３０、比較器３１、レジスタ３２、減算器２２から構成される。飽和判定手段は、レジスタ３０、比較器３１、レジスタ３２、比較器２６から構成される。本実施例のばらつき係数は、以下のように求められる。先ず、比較器２８によって、輝度Ｙ_i（ｉ＝１〜Ｗ）とレジスタ２７に記憶された値とを比較し、前者が大きい場合にパルスＰ_L3をレジスタ２７に出力する。これにより、レジスタ２７はパルスが入力されたとき輝度Ｙ_iを記憶する。即ち、レジスタ２７には局所領域内を探索中の暫定の最大輝度Ｙ_maxが記憶される。尚、レジスタ２７はパルスＰ_Rが入力されたとき、記憶する値を初期値にリセットする。このとき初期値は輝度Ｙに対し十分小さな値に設定する。
【００４７】
又、レジスタ２９はパルスＰ_L1が入力されたときレジスタ２７に記憶された値を記憶する。したがって、レジスタ２９に記憶される値は局所領域内の最大値である。同様にして、レジスタ３０、比較器３１、レジスタ３２により局所領域内の輝度の最小値を検出する。こうして検出された局所領域内の輝度の最大値と最小値は、減算器２２により減算されてばらつき係数として出力される。本実施例の飽和判定手段はレジスタ３０、比較器３１、レジスタ３２により検出された局所領域内の輝度の最小値を、比較器２６により閾値Ｔと比較することにより飽和の有無を判定する。
本実施例におけるばらつき係数検出手段及び飽和判定手段は、加算器、乗算器等の演算器が不要である。レジスタ、比較器のみで構成できるため、装置構成を簡略化することが可能となる。
【００４８】
（第３実施例）
図７に第３の実施例の画像処理装置を示す。本実施例の画像処理装置は、撮像装置９０、ノイズ測定装置１００、ダイナミックレンジ圧縮手段であるダイナミックレンジ圧縮器５０、ダイナミックレンジ圧縮器５０の制御手段である制御装置６０、フレームメモリ１１０、ＣＰＵ１２０、ＲＯＭ１３０、ＲＡＭ１４０、Ｉ／Ｏインターフェース１５０から構成される。尚、制御装置６０は後述するように時間平均手段も有している。本実施例は、撮像装置９０後段に、ノイズ測定装置１００とダイナミックレンジ圧縮器５０、及びそれを制御する制御装置６０を設けたことが特徴である。ダイナミックレンジ圧縮機能を有する画像処理装置においては、夜間の画像のようにノイズレベルの大きな画像に適用した場合にノイズ成分が強調されるという問題がある。第３実施例は、画像信号のノイズレベルをノイズ測定装置１００によって測定し、その検出信号によってダイナミックレンジ圧縮器５０を制御して（原画像に切り換えて）ノイズを発生させない構成である。又、ばらつき係数を時間平均関連値で算出して、安定してノイズ値を検出する１例である。
【００４９】
図８にノイズ測定装置１００、ダイナミックレンジ圧縮器５０と制御装置６０の回路図を示す。図８において、ノイズ測定装置１００とダイナミックレンジ圧縮器５０、デコーダ３３以外が制御装置６０である。制御装置６０は、カウンタ３5 、加算器３６、レジスタ３7 、レジスタ３8 、比較器３9 、セレクタ４０、４１から構成される。
上記構成において、先ず、入力画像信号Ｃはアナログ信号でデコーダ３３に入力される。デコーダ３３は入力されたアナログ画像信号をデコードし、画面左上から右下までの画素毎の輝度値Ｙ、色差Ｕ、Ｖを順次デジタル値で出力する。更に、各ラインの開始を示すパルスＨｓ、及び各フレームの開始を示すパルスＶｓを出力する。デコーダ３３でデコードされた輝度値Ｙ' 、色差Ｕ' 、Ｖ' はダイナミックレンジ圧縮器５０において、ダイナミックレンジの圧縮された輝度値Ｙ、色差Ｕ、Ｖに変換される。ダイナミックレンジ圧縮器５０としては、例えば本願出願人による特願２００１−２６５８９５号に記載の方法を用いることができる。
【００５０】
又、デコーダ３３でデコードされた輝度値Ｙがノイズ測定装置１００に入力され、第１実施例同様にばらつき係数Ｎが検出される。カウンタ３5 は、１フレームを表すパルスＶｓをカウントし、カウント値がＭになったときにパルスＰ_L5を出力し、カウント値をゼロにリセットする。
加算器３６にはばらつき係数Ｎが入力され、暫定的な加算結果がレジスタ３７に、Ｍフレーム分の加算結果がレジスタ３８に記憶される。即ち、このＭフレーム間にノイズが時間変動しても、全てが加算されるので短時間当たりの変動が緩和される。このＭフレーム間は、所定時間であり、その間のばらつき係数Ｎの総和は時間平均関連値である。この意味において、カウンタ３５、加算器３６、レジスタ３７、３８は時間平均手段である。
時間平均関連値である上記総和を所定時間で除算すれば時間平均値となるが、特に除算しなくてもよい。本実施例では、その総和をそのまま用いる。このような時間平均関連値を用いることにより、時間の変化に対して安定してノイズレベルを検出することができる。尚、本来の意味での時間平均を算出する場合は、レジスタ３８の後段に除算器を設け、所定時間で除算すればよい。
【００５１】
次に、レジスタ３8 の出力（ノイズ加算値Ｎｓ）は比較器３9 に送られる。比較器３９はノイズ加算値Ｎｓと閾値Ｔ１、又は閾値Ｔ２とを比較し、ノイズ加算値Ｎｓが小さい場合に出力をハイレベルとし、セレクタ４１の端子１を選択する。即ち、ダイナミックレンジ圧縮器５０からの信号を選択する。逆に、ノイズ加算値Ｎｓが大きい場合には出力をローレベルとし、セレクタ４１の端子２を選択する。即ち、原画像の信号をそのまま選択する。このように、原画像信号に含まれるノイズの大きさを検出し、ノイズレベルが大である時にはダイナミックレンジを圧縮しないようにする。即ち、夜間のシーン等のノイズの大きい入力画像に対してはダイナミックレンジ圧縮機能をオフにし、結果的にノイズが強調された視認性の悪い画像を出力するのを防止することができる。
【００５２】
尚、セレクタ４０では、比較器３９の出力レベルがハイレベルであるとき閾値Ｔ１が選択され、ローレベルであるとき閾値Ｔ２が選択される。即ち、閾値Ｔ１とＴ２は、ダイナミックレンジ圧縮機能のオンからオフ及びオフからオンへの切換を決定するための閾値であり、閾値Ｔ１は閾値Ｔ２よりも小さな値に設定する。このように、閾値に幅（Ｔ１−Ｔ２）を持たせることにより、加算ノイズ値が閾値付近のときに原画像とダイナミックレンジ圧縮画像が頻繁に切り変わることを防止する。
【００５３】
（変形例）
第１実施例では、1 フレーム毎にばらつき係数の最小値を検出する例を示したが、1 フレーム毎でない場合もノイズを検出することはできる。例えば、デコーダ１１により出力されるパルスＶｓを、Ｍフレーム毎のフレームの開始を示すパルスとすることにより、Ｍフレーム毎にノイズを検出することも可能である。更に、パルスＶ_Sを複数ライン毎にラインの開始を示すパルスとすることにより、1 フレーム内の複数ライン毎にノイズを求めることも可能である。
【００５４】
又、第１実施例では、ハードウエア構成で自動的に１フレーム毎にばらつき係数の最小値を求めたが、時間が許されるならコンピュータ装置で特定してもよい。即ち、図１に示したようにばらつき係数Ｎを局所領域毎にＣＰＵ側で読み取り、それに基づいてＣＰＵが最小値、又は所定の誤差範囲にある最小クラスのばらつき係数を求めてもよい。又、その最小のばらつき係数、最小クラスのばらつき係数に所定の補正係数を演算してもよい。より柔軟にノイズレベルを決定することができる。
【００５５】
又、第２実施例では局所領域における最大輝度と最小輝度の差値からばらつき係数を特定していたが、他の方法でばらつき係数を特定してもよい。例えば、局所領域内における平均輝度と各輝度との差分絶対値の平均値をばらつき係数としてもよい。これは、図６の輝度Ｙ_iとパルスＰ_L1、パルスＰ_R、パルスＰ_Hを直接、ＣＰＵで読み取るようにし、パルスＰ_L1とパルスＰ_Hで限定される非飽和局所領域区間で輝度Ｙ_iを読んでそれに基づいて平均値輝度、各輝度との差分を求めることで実現できる。
【００５６】
又、第１実施例では、局所領域内の輝度の和により飽和の有無を判定する例を示し、第２実施例では、局所領域内の輝度の最小値により飽和の有無を判定する例を示したが、他の方法で飽和の判定を行ってもよい。例えば、局所領域内で飽和した画素の数をカウントし、その数に基づいて飽和の有無を判定することも可能である。
【図面の簡単な説明】
【図１】本発明の第１実施例に係る画像処理装置のシステム構成図。
【図２】本発明の第１実施例に係るノイズ測定装置の構成ブロック図。
【図３】本発明の第１実施例に係る局所領域説明図。
【図４】本発明の第１実施例に係る飽和判定説明図。
【図５】本発明の第１実施例に係る密に設定した局所領域説明図。
【図６】本発明の第２実施例に係るノイズ測定装置の構成ブロック図。
【図７】本発明の第３実施例に係る画像処理装置のシステム構成図。
【図８】本発明の第３実施例係るダイナミックレンジ圧縮装置の制御回路図。
【図９】従来例に係る画像ノイズ測定方法説明図。
【図１０】従来例に係る画像ノイズ測定回路図。
【符号の説明】
１０…ＡＮＤ器
１１…デコーダ
１２…カウンタ
１３、１７、２１…乗算器
１４、１８…加算器
１５、１６、１９…レジスタ
２０、２３、２５…レジスタ
２２…減算器
２４、２６、２８、３１…比較器
２７、３０…レジスタ
５０…ダイナミックレンジ圧縮器
６０…制御装置
９０…撮像装置
１００…ノイズ測定装置
２００…ノイズ測定装置

Claims

入力画像信号に対し、画面内の全領域にほぼ一様に分布する多数の局所領域を設置し、
前記各局所領域内の輝度の飽和の有無を判定し、
複数の非飽和局所領域において、輝度のばらつき係数をそれぞれ検出し、
複数の前記ばらつき係数に基づいてノイズレベルを検出することを特徴とする画像ノイズ検出方法。
前記ノイズレベルは、前記ばらつき係数の最小値に基づいて決定する、又は最小クラスの前記ばらつき係数に基づいて決定することを特徴とする請求項１に記載の画像ノイズ検出方法。
前記ノイズレベルは、複数時刻で検出された複数の最小のばらつき係数の時間平均関連値、又は複数の最小クラスの前記ばらつき係数の時間平均関連値に基づいて決定することを特徴とする請求項１又は請求項２に記載の画像ノイズ検出方法。
前記ばらつき係数は、前記非飽和局所領域内における輝度の分散値であることを特徴とする請求項１乃至請求項３の何れか１項に記載の画像ノイズ検出方法。
前記ばらつき係数は、前記非飽和局所領域内における平均輝度と各輝度との差分絶対値の平均値であることを特徴とする請求項１乃至請求項３の何れか１項に記載の画像ノイズ検出方法。
前記ばらつき係数は、前記非飽和局所領域内における輝度の最大値と最小値との差値であることを特徴とする請求項１乃至請求項３の何れか１項に記載の画像ノイズ検出方法。
入力画像の視認性を向上させる画像処理装置であって、入力画像信号に対し、画面内の全領域にほぼ一様に分布する多数の局所領域を設置する局所領域設定手段と、
前記局所領域内の輝度の飽和の有無を判定する飽和判定手段と、
複数の非飽和局所領域において、輝度のばらつきを検出するばらつき係数検出手段と、
複数の前記ばらつき係数に基づいてノイズレベルを特定するノイズレベル特定手段とからなるノイズ測定手段を備えたことを特徴とする画像処理装置。
前記ノイズレベル特定手段は、前記ノイズレベルを最小の前記ばらつき係数に基づいて特定する、又は最小クラスの前記ばらつき係数に基づいて特定することを特徴とする請求項７に記載の画像処理装置。
前記ノイズレベル特定手段は、複数時刻で検出された複数の最小の前記ばらつき係数の時間平均関連値を、又は最小クラスの前記ばらつき係数の時間平均関連値を算出する時間平均手段を有することを特徴とする請求項７に記載の画像処理装置。
前記ばらつき係数は、前記非飽和局所領域内における前記輝度の分散値であることを特徴とする請求項７乃至請求項９の何れか１項に記載の画像処理装置。
前記ばらつき係数は、前記非飽和局所領域内における平均輝度と各輝度との差分絶対値の平均値であることを特徴とする請求項７乃至請求項９の何れか１項に記載の画像処理装置。
前記ばらつき係数は、前記非飽和局所領域内における輝度の最大値と最小値との差値であることを特徴とする請求項７乃至請求項９の何れか１項に記載の画像処理装置。
入力画像の低空間周波数成分を抑制することによりダイナミックレンジを圧縮するダイナミックレンジ圧縮手段と、
前記ノイズ測定手段により測定されたノイズの大きさにより、前記ダイナミックレンジ圧縮手段を制御する制御手段とを更に備えたことを特徴とする請求項７乃至請求項１２の何れか１項に記載の画像処理装置。