JPWO2008105268A1

JPWO2008105268A1 - 画像処理方法

Info

Publication number: JPWO2008105268A1
Application number: JP2009501189A
Authority: JP
Inventors: 石賀　健一; 健一石賀
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-02-28
Filing date: 2008-02-19
Publication date: 2010-06-03
Anticipated expiration: 2028-02-19
Also published as: WO2008105268A1; US20100008574A1; JP4858610B2; US8249341B2

Abstract

原画像に含まれるノイズ成分を除去する画像処理方法は、作業用色空間で原画像に含まれるノイズ成分を抽出し、抽出されたノイズ成分に基づいて、ノイズ除去画像を作成し、ノイズ除去画像を作業用色空間から作業用色空間と異なる階調特性を持つ出力色空間に変換し、抽出されたノイズ成分と、作業用色空間の階調特性と出力色空間の階調特性の違いとに基づいて、ノイズ除去画像を作成する。

Description

本発明は、画像に含まれるノイズを除去する画像処理方法に関する。

従来、ノイズ除去処理は最終出力空間で平滑化することによって行われてきた。しかし、この最終出力色空間では、一般にノイズのゆらぎ幅が明るさレベルに依存して変化し、様々な明るさレベルの信号が寄り集まって表現される画像信号の中から明るさレベルの影響を排してノイズ成分を取り出すのは、ノイズ信号が明るさに対して混在した強度分布の状態にあるため、非常な困難を来す要因となっていた。そのため、例えば明るさレベルに応じてノイズ除去フィルタの係数やフィルタリング範囲を変えるなど、非常に処理が複雑化する努力がなされてきた（特許文献１）。その他に、明るさレベルに応じてノイズ除去の度合いを変える工夫などもなされてきた（特許文献２、３、４、５）。

これらの問題を解決し、ノイズ除去とその弊害の抑制をより高度に実現する方法として、ノイズ除去に適した画像処理空間に一旦射影して、その空間でノイズ除去する方法が提案されてきた。例えば、特許文献６ではノイズ抽出に適した均等ノイズ空間を、特許文献７ではそれを更に発展させてノイズ除去と弊害対策の両立性の高い均等色・均等ノイズ空間を提案している。なお、この問題を直接解決するわけではないが、ノイズ除去のための画像処理空間として、人間の知覚特性に合わせた均等色空間を提案する文献もある（特許文献８、非特許文献１）。

特許第3809818号公報米国特許第5,051,842明細書米国特許第6,754,398明細書特許第3723043号公報特許第2650759号公報国際公開第2006/006373号パンフレット国際公開第2006/064913号パンフレット特開平11-187420号公報 C. Tomasi et al., "Bilateral Filtering for Gray and Color Images," Proceedings of the 1998 IEEE international Conference on Computer Vision, Bombay, India.

一般に、ノイズ除去は、輝度成分では平滑化度と鮮鋭感はトレードオフの関係、色差成分では色斑ノイズ抑制度と高色再現性はトレードオフの関係にある。すなわち、如何に高性能なノイズ除去フィルタを用いてもエッジ構造とノイズ成分を完全に分離することは難しく、ノイズ除去の弊害が生じる。上述の何れの従来技術も実施例に示されたノイズ除去処理に伴って、エッジ構造のコントラスト低下、色構造部の彩度低下・色抜け問題、及び、階調表現可能域が原信号の平滑化に伴って有効ダイナミックレンジ幅が平均値信号に向かって狭帯域化することによる色かぶり問題を誘発する。色かぶりは中間調でも常時生じるが、特に暗い所では黒レベルが白く浮いたり緑被り現象としてよく目立つ。

更に、均等ノイズ化されていない出力色空間や作業用色空間でノイズ抽出処理を行なう場合には、ノイズ除去フィルタで抽出したノイズ成分のエッジとノイズの分離精度が悪いため、なおさらにコントラスト低下等の問題を抱えるという状況にあった。

尚、特許文献５では、コントラストの高い領域では全体的にノイズ除去の強度を下げてこのような弊害をなくす試みがなされているが、今度は逆にコントラストの高い領域で十分なノイズ除去ができないという問題を生じていた。

本発明の第１の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、作業用色空間で原画像に含まれるノイズ成分を抽出し、抽出されたノイズ成分に基づいて、ノイズ除去画像を作成し、ノイズ除去画像を作業用色空間から作業用色空間と異なる階調特性を持つ出力色空間に変換し、抽出されたノイズ成分と、作業用色空間の階調特性と出力色空間の階調特性の違いとに基づいて、ノイズ除去画像を作成する画像処理方法。
本発明の第２の態様によると、第１の態様の画像処理方法において、作業用色空間の階調特性と出力色空間の階調特性の違いの度合いは、作業用色空間における明るさレベルに応じて変化するのが好ましい。
本発明の第３の態様によると、第１の態様の画像処理方法において、出力色空間と作業用色空間に於ける各々の画像の階調特性に基づいて、明るさレベルに対するコントラスト比関数を設定し、設定したコントラスト比関数に基づいて、ノイズ除去画像を作成するのが好ましい。
本発明の第４の態様によると、第１の態様の画像処理方法において、抽出されたノイズ成分と、作業用色空間の階調特性の変化の度合いと出力色空間の階調特性の変化の度合いの違いとに基づいて、ノイズ除去画像を作成するのが好ましい。
本発明の第５の態様によると、第１〜４のいずれかの態様の画像処理方法において、作業用色空間の階調特性と出力色空間の階調特性の違いに基づいて、抽出されたノイズ成分を原画像から減算するときの減算割合を制御するのが好ましい。
本発明の第６の態様によると、第１〜４のいずれかの態様の画像処理方法において、作業用色空間は、均等ノイズ空間、均等色空間、あるいはその両方を実現する均等色・均等ノイズ空間の少なくとも何れか１つの色空間であるのが好ましい。
本発明の第７の態様によると、第１〜２のいずれかの態様の画像処理方法において、出力色空間で持つ画像の階調特性と作業用色空間で持つ画像の階調特性の微分比率に基づいて、ノイズ除去画像を作成するのが好ましい。
本発明の第８の態様によると、第１〜４のいずれかの態様の画像処理方法において、出力色空間への階調変換によってノイズ成分が増幅される階調領域のノイズ除去度合を予め大きくし、減幅される階調領域のノイズ除去度合を予め小さくするのが好ましい。
本発明の第９の態様によると、第１〜４のいずれかの態様の画像処理方法において、原画像の撮像感度に応じて異なる階調特性の作業用色空間に変換するのが好ましい。
本発明の第１０の態様によると、第１〜４のいずれかの態様の画像処理方法において、出力色空間の階調特性は、標準RGB色空間の階調特性を備えるのが好ましい。
本発明の第１１の態様によると、第１〜４のいずれかの態様の画像処理方法において、原画像に含まれるノイズ成分を除去する処理以外に階調補正処理を行なって、入力色空間で所持する画像の階調特性と出力色空間で所持する画像の階調特性が異なっている場合、階調補正後の出力色空間で持つ画像の階調特性と作業用色空間で持つ画像の階調特性の違いに基づいてノイズ除去画像を作成するのが好ましい。
本発明の第１２の態様によると、第１〜４のいずれかの態様の画像処理方法において、原画像を輝度成分と色差成分で表される作業用色空間に変換し、各々の色成分に対してノイズ除去画像を作成するのが好ましい。
本発明の第１３の態様によると、第１〜４のいずれかの態様の画像処理方法において、原画像を輝度成分と色差成分で表される作業用色空間に変換し、その中の少なくとも１つの色成分に対してノイズ除去画像を作成するのが好ましい。
本発明の第１４の態様によると、第３の態様の画像処理方法において、コントラスト比関数と画像の場所毎の明るさレベルに基づいて、ノイズ除去画像を作成するのが好ましい。
本発明の第１５の態様によると、第３の態様の画像処理方法において、コントラスト比関数と画像の場所毎のエッジ強度に基づいて、ノイズ除去画像を作成するのが好ましい。
本発明の第１６の態様によると、第３の態様の画像処理方法において、原画像を輝度成分と色差成分で表される作業用色空間に変換し、輝度成分のノイズ除去画像を作成する場合、作業用色空間における明るさレベルの露出基準点に於ける微分比率で規格化されたコントラスト比関数を設定するのが好ましい。
本発明の第１７の態様によると、第３の態様の画像処理方法において、原画像を輝度成分と色差成分で表される作業用色空間に変換し、色差成分のノイズ除去画像を作成する場合、作業用色空間における明るさレベルの飽和基準点に於ける微分比率で規格化されたコントラスト比関数を設定するのが好ましい。
本発明の第１８の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、原画像を所定の階調特性を持つ作業用色空間に変換し、作業用色空間で原画像のノイズ除去を行なって、ノイズ除去画像を作成し、ノイズ除去画像を作業用色空間から作業用色空間と異なる階調特性を持つ出力色空間に変換し、原画像の平滑化強度を、作業用色空間の階調特性と出力色空間の階調特性の違いに基づいて設定し、ノイズ除去画像を作成する。
本発明の第１９の態様によると、第１８の態様の画像処理方法において、出力色空間に変換後のノイズ除去画像の平滑化強度が、原画像の画像信号の各階調に対して均質化されるように、作業用色空間における平滑化強度を設定するのが好ましい。
本発明の第２０の態様によると、第１８の態様の画像処理方法において、原画像の明るさレベルに応じて、作業用色空間と出力色空間の階調特性の違いに基づくコントラスト比を平滑化強度へ反映させるのが好ましい。
本発明の第２１の態様によると、第１８の態様の画像処理方法において、平滑化強度は、所定の平滑化処理によって平滑化された平滑化画像と原画像の混合比率を変える、あるいは、原画像と該平滑化画像との差分で抽出されたノイズ成分を原画像から減算するときの減算比率を変えることによって制御するのが好ましい。
本発明の第２２の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、原画像に対してエッジ検出を行い、検出されたエッジ強度が相対的に強い領域において、明るさに応じて平滑化強度の異なるノイズ除去処理を行なう。
本発明の第２３の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、原画像に含まれるエッジ成分を抽出し、抽出されたエッジ成分の強度が大きくなるに従って、明るさに対する平滑化強度の強弱の度合いを増大させた平滑化強度を設定し、平滑化強度に基づいて、ノイズ除去画像を作成する。
本発明の第２４の態様によると、第２３の態様の画像処理方法において、ノイズ除去画像を作成するとき、エッジ強度が相対的に強い領域において、所定の階調特性に対して、原画像の明るさに対する階調特性のコントラストの強い部分では平滑化強度を強め、コントラストの弱い部分では平滑化強度を弱めるのが好ましい。
本発明の第２５の態様によると、第２３の態様の画像処理方法において、平滑化強度は、エッジ成分の強度が小さくなるに従って、明るさに対する平滑化強度の変化の度合いをなくして一定に近づくように設定するのが好ましい。
本発明の第２６の態様によると、第２２から２５のいずれかの態様の画像処理方法において、エッジ強度は、とりうる階調幅に対する絶対エッジ強度レベルで表された所定値に対して大小関係を比較することにより測定するのが好ましい。
本発明の第２７の態様によると、第２３の態様の画像処理方法において、所定の階調特性を持つ作業用色空間でノイズ除去を行ない、階調特性とは異なる階調特性を持つ出力色空間の画像に変換してノイズ除去画像を作成し、作業用色空間と出力色空間の階調特性の違いに基づいて、平滑化強度を設定するのが好ましい。
本発明の第２８の態様によると、第２７の態様の画像処理方法において、階調特性の違いに基づいて設定する平滑化強度を、エッジ成分の強度に対して単調増加する関数を通して明るさに対する平滑化強度を設定するのが好ましい。
本発明の第２９の態様によると、第２３の態様の画像処理方法は、画像の明るさレベルに応じた平滑化強度を、中間輝度に対して高輝度側で弱く設定するのが好ましい。
本発明の第３０の態様によると、第２９の態様の画像処理方法は、画像の明るさレベルに応じた平滑化強度を、中間輝度に対して低輝度側で弱く設定するのが好ましい。
本発明の第３１の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、原画像に対して、所定の階調特性を持つ作業用色空間でノイズ除去を行なってノイズ除去画像を作成し、ノイズ除去画像を階調特性とは異なる階調特性を持つ出力色空間の画像に変換して出力ノイズ除去画像を作成し、さらに、原画像に対してエッジ成分を検出し、検出されたエッジ近傍領域の画像信号の平滑化強度を、作業用色空間と出力色空間の階調特性の違いに基づいて設定し、設定した平滑化強度に基づき、ノイズ除去画像を作成する。
本発明の第３２の態様によると、第３１の態様の画像処理方法において、出力色空間に変換後の出力ノイズ除去画像の平滑化強度が、検出されたエッジ近傍領域の画像信号の各階調に対して均質化されるように、作業用色空間における平滑化強度を設定するのが好ましい。
本発明の第３３の態様によると、第３１の態様の画像処理方法において、検出されたエッジ成分の強度に応じて、作業用色空間と出力色空間の階調特性の違いに基づくコントラストを、平滑化強度へ反映させる度合いを変えるのが好ましい。
本発明の第３４の態様によると、第３３の態様の画像処理方法において、エッジ強度は、とりうる階調幅に対する絶対エッジ強度レベルで表された所定値に対して大小関係を比較することにより測定するのが好ましい。
本発明の第３５の態様によると、第２３または３１の態様の画像処理方法において、平滑化強度は、所定の平滑化処理によって平滑化された平滑化画像と原画像の混合比率を変える、あるいは、原画像と該平滑化画像との差分で抽出されたノイズ成分を原画像から減算するときの減算比率を変えることによって制御するのが好ましい。
本発明の第３６の態様によると、第２３または３１の態様の画像処理方法において、原画像は、輝度成分と色差成分に分離された各々の色成分の画像であるのが好ましい。
本発明の第３７の態様によると、第２７、３１のいずれかの態様の画像処理方法において、作業用色空間は、均等ノイズ空間、均等色空間、あるいはその両方を実現する均等色・均等ノイズ空間の少なくとも何れか１つの色空間であるのが好ましい。
本発明の第３８の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、原画像を所定の階調特性を持つ作業用色空間に変換し、作業用色空間で原画像に含まれるノイズ成分を抽出し、抽出されたノイズ成分に基づいて、ノイズ除去画像を作成し、ノイズ除去画像を作業用色空間から作業用色空間と異なる階調特性を持つ出力色空間に変換し、原画像の局所的な領域ごとに、作業用色空間の階調特性と出力色空間の階調特性の違いを判断し、原画像の局所的な領域ごとに判断した作業用色空間の階調特性と出力色空間の階調特性の違いと、抽出されたノイズ成分とに基づいてノイズ除去画像を作成する。
本発明の第３９の態様によると、画像処理プログラムは、第１から３８のいずれかの態様の画像処理方法をコンピュータまたは画像処理装置に実行させる。
本発明の第４０の態様によると、画像処理装置は、第３９の態様の画像処理プログラムを搭載する。
本発明の第４１の態様によると、電子カメラは、第３９の態様の画像処理プログラムを搭載する。

本発明によれば、原画像が初めから持つコントラスト、彩度、透明感等を保持しつつ、質感再現性の高い高精細なノイズ除去効果を得ることができる。

本発明の実施の形態である画像処理装置を示す図である。パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。第１の実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。（ａ）は出力色空間と作業用色空間におけるガンマ特性を示す図であり、（ｂ）は（ａ）で示される出力色空間のガンマ特性と作業用色空間におけるガンマ特性の微分比を示すグラフである。第２の実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。第４の実施の形態のノイズ除去処理の流れ図を示す図である。デジタルカメラ１００の構成を示す図である。パーソナルコンピュータの構成を示す図である。

一般の階調補正技術には、１）入力画像の輝度分布に応じて画像全体のガンマ階調特性を変えるガンマ的コントラスト強調手法（ヒストグラム均等化法とも呼ばれる）と、２）局所的な明るさ分布に応じて局所的にガンマ階調特性を変えるレチネックス的コントラスト強調手法がある。これらに類似した効果を新たにノイズ除去技術の枠組み内で実現する手法を組み上げ、新たに質感再現性の高いノイズ除去技術を提供する手法を以下の実施形態で具体的に提案する。すなわち、コントラスト補正技術のノイズ除去版に相当する技術を提供する。

ただし、コントラストを作為的に強調するというよりもむしろ、原画像が元から持つコントラストをノイズ除去による平滑化で失われるのを防止する技術に相当する。ノイズ除去技術に新たな質感再現性を追い求めるには、ノイズ除去技術が十分高度化してノイズとエッジの分離精度が高まっていることが望まれる。その分離精度を上げる工夫が近年発達してきた多重解像度技術を利用した場合をまず説明し、今日も多く用いられている実空間のままのノイズ除去処理の場合の対応例を次に説明する。また、作業用色空間としてはその分離精度の高い色空間を利用する。

−第１の実施の形態−
第１の実施の形態では、ガンマ的コントラスト補正のノイズ除去版を多重解像度技術を用いて行なう場合の例を示す。

図１は、本発明の実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１により実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。

パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。図８は、パーソナルコンピュータ１の構成を示す図である。パーソナルコンピュータ１は、ＣＰＵ１１、メモリ１２、およびその周辺回路１３などから構成され、ＣＰＵがインストールされたプログラムを実行する。

プログラムがインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。

以下、パーソナルコンピュータ１が実行する画像処理について説明する。図２は、パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。ステップＳ１では、画像データを入力する。ステップＳ２では、均等色・均等ノイズ空間に変換する。ステップＳ３では、ノイズ除去処理をする。ステップＳ４では、色空間を逆変換する。ステップＳ５では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。

１．色空間変換
ステップＳ１で画像データ（以下、単に画像と言う）を入力すると、ステップＳ２において、入力画像をまず色空間変換し、ノイズ除去処理を行なうのに適した画像処理空間へ投影し直す。この画像処理空間として、例えば、国際公開第2006/064913号パンフレット（本願と同一発明者、従来技術に記載の特許文献７）に記載の均等色・均等ノイズ空間を用いる。こうすることによって、ノイズ除去処理における画像構造のエッジとノイズの分離精度を上げる効果が得られる。通常、入力画像はsRGBといった標準色空間で表されていることが多い。従って、ここでは色補正処理やガンマ補正処理がなされたsRGB画像を例に説明する。

１−１．逆ガンマ補正
sRGB規定のガンマ特性、ないしは各カメラメーカーが固有の絵作りに使用したガンマ特性の階調変換処理を外し、元の線形階調に戻す。次式は、sRGB画像を、逆ガンマ補正し元の線形階調に戻す式を示している。メーカー固有のガンマ特性が不明の場合は、γ^-1としてsRGB規定のガンマ特性の逆変換で代用してもよい。

１−２．RGB色空間からXYZ色空間への変換
次に、線形階調に戻されたRGB色空間をXYZ色空間へ変換する。これはRGB原刺激の分光特性で決まる3x3行列変換により実施する。例えば、線形階調に変換したsRGB入力画像に対しては、以下のような規格通りの変換を行う。

１−３．XYZ色空間から均等色・均等ノイズ色空間（L^a^b^）への変換
次に、次式により、XYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ変換する。ここで定義するL^a^b^空間は、従来のいわゆる均等色空間L*a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にL^a^b^と名付けたものである。

ここで、通常、均等色・均等ノイズ化する階調特性として

を用いる。ただし、0≦t≦1。しかし、CIE規定のL*a*b*が持つ1/3乗ガンマ特性に対して正のオフセット値を加えて均等ノイズ化した下記のような変形式を用いてもよい。

上記X0,Y0,Z0は照明光によって定まる値であり、例えば、標準光D65下で2度視野の場合、X0=95.045、Y0=100.00、Z0=108.892のような値をとる。εの値は、センサーによっても異なるが、低感度設定のときはほぼ0に近い値を、高感度設定のときは0.05程度の値をとる。

２．画像の多重解像度表現
次に、ステップＳ３のノイズ除去処理について説明する。図３は、本実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。すなわち、上記のように均等色・均等ノイズ色空間に変換した輝度成分L^、色差成分a^、b^の各々の原画像を多重解像度表現して、それぞれ独立にノイズ除去を行なう。原画像を順次ウェーブレット変換のAnalysis過程によって低解像度画像に分解していき、サブバンド画像が生成されるAnalysis過程をまとめて次式のように表す。

ただし、S(x,y)はL^, a^, b^の各面に対してサブバンド画像Vij(x,y)を生成する。

なお、ウェーブレット変換とは、画像（画像データ）を周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。ハイパス成分からなるデータを高周波サブバンドと言い、ローパス成分からなるデータを低周波サブバンドと言い、LLを低周波サブバンド、LH, HL, HHを高周波サブバンドと言う。また、低周波サブバンドを低周波画像、高周波サブバンドを高周波画像と言ってもよい。さらに、各サブバンドを周波数帯域制限画像と言ってもよい。低周波サブバンドは、原画像の周波数帯域を低周波側に帯域制限した画像であり、高周波サブバンドは、原画像の周波数帯域を高周波側に帯域制限した画像である。

通常の多重解像度変換は、低周波サブバンドLL成分を順次分解した高周波サブバンドを残していくだけであるが、本実施の形態ではノイズ成分のサブバンド周波数帯域間での抽出漏れがないように、低周波側サブバンドLLと高周波サブバンドLH, HL, HHの両方を残していく多重解像度表現を用いている。

ウェーブレット変換としては、例えば以下のような5/3フィルタを用いる。
＜ウェーブレット変換：Analysis/Decompositionプロセス＞
ハイパス成分：d[n]=x[2n+1]-(x[2n+2]+x[2n])/2
ローパス成分：s[n]=x[2n]+(d[n]+d[n-1])/4
上記定義の1次元ウェーブレット変換を、横方向と縦方向に独立に2次元分離型フィルタ処理を行うことによって、ウェーブレット分解する。係数sをL面に集め、係数dをH面に集める。
＜逆ウェーブレット変換：Synthesis/Reconstructionプロセス＞
x[2n]=s[n]-(d[n]+d[n-1])/4
x[2n+1]=d[n]+(x[2n+2]+x[2n])/2

ただし、図３に示すように、ウェーブレット変換時のxの値には画像を表す信号を入力し、生成されたウェーブレット変換係数s,dに含まれるノイズ成分を抽出し、抽出されたノイズ成分を逆ウェーブレット変換時のs,dに代入してノイズ画像xを生成してゆく用い方をする。

上記多重解像度表現は5段のウェーブレット変換を用いているが、入力する原画像のサイズに応じて増減させてよい。また、多重解像度表現法として、上述のような直交ウェーブレット変換に限らず、ラプラシアン・ピラミッド表現やステアラーブル・ピラミッド表現等を用いてもよい。

３．仮想ノイズ除去によるノイズ抽出処理
３−１．ノイズ除去フィルタによるノイズ抽出処理
３−１−１．ノイズ除去処理
まず、各解像度において仮想的なノイズ除去を行う。仮想的なノイズ除去とは、原画像から最終的にノイズ除去を行う前に行う仮の（一時的と言ってもよい）ノイズ除去である。各解像度の各サブバンドにおいて、任意のノイズ除去フィルタを用いてよいが、ここでは一般に知られる高性能なバイラテラル・フィルタを改良した、例えば、国際公開第2006/068025号パンフレット（本願と同一発明者）に記載の改良Bilateral Filter（次式）を用いる。ノイズ除去フィルタは一般に、期待されるノイズゆらぎ幅σthと比較することによってエッジとノイズを区別するので、あらゆる階調でノイズが均等されている均等ノイズ空間で汎用ノイズ除去フィルタを用いることは、その分離性能を飛躍的に向上させることに貢献する。ここに示す改良Bilateral Filter以外に、σフィルタやεフィルタを用いた場合でも全く同様のことがいえる。

なお、画像信号V(x,y)は、図２のステップＳ２の非線形階調変換を通じて、明るさに対してノイズを均等化する空間に移行しているので、明るさによらないノイズ指標値と比較するように設定すればよく、そのとき最もこのノイズ除去フィルタは高性能に簡略に動作させることができる。なお、数式内では(ベクトル(上矢印)x)が示されているが、２次元画像では(x,y)と等価である。従って、記載可能な文字の関係で、本文中では(x,y)と記載する。

ここで、簡略のためサブバンド特定記号i,jは省略している。閾値σthは各サブバンド毎に期待されるノイズゆらぎ幅（ノイズゆらぎ指標値）に合わせて設定し、エッジとノイズを区別しながらノイズ成分を抽出する。σthの値はISO感度が高くなるに従い大きな値を設定する。例えば、ISO6400で256階調に対して10程度の値を設定したりする。したがって、均等ノイズ化された全階調域で+-10程度のノイズゆらぎがあり、最も明るい飽和レベルでもS/Nは256/10である。

閾値rthの値は、ノイズ除去フィルタの範囲が解像度階層間で重なり合うように0.5〜3.0画素程度にとればよく、積分範囲もrthの2倍ないしは3倍程度にとれば十分係数値は小さな値に落ちている。一般に、他のノイズ除去フィルタであっても多重解像度表現されたサブバンド画像では3x3〜9x9程度の範囲の画素信号を参照するようなフィルタで十分なノイズ除去効果が得られる。

なお、この改良型Bilateral Filterは、通常のBilateral Filterと違って加重係数がphotometric項とgeometric項に分離できない非分離加重型Bilateral Filterを用いている。言い換えれば、２つの引数の積で表される値を１つの指数とする１つの指数関数で表される加重係数のフィルタを使用している。

３−１−２．ノイズ抽出処理
各サブバンドにおいて、次式のようなノイズ抽出処理を行う。

３−２．逐次ノイズ抽出
ノイズ成分を各サブバンド面のノイズ除去フィルタリングだけで漏れなく抽出するのは難しい。そこで、本実施の形態では、多重解像度分解による周波数帯域間で間隙を生じないように、他の解像度で抽出したノイズを参照しながら逐次的にノイズを抽出する。

逐次的なノイズ除去の方法としてはAnalysis時とSynthesis時に行なう2通りの方法があるが、第１の実施形態では、完全なノイズ成分の抽出のための仮想的なノイズ統合を行い、各階層で生成される統合ノイズ成分をLLサブバンド面から減算して、LL面からノイズ成分を抽出しやすい状態にした後、上記ノイズ除去フィルタリングを行なう。すなわち、本実施の形態では、逐次的なノイズ除去をSynthesis時に行う方法を採用する。

例えば、実空間面の画像信号S0(LL0)を2回ウェーブレット変換して生成した1/4解像度の画像信号S2(LL2,LH2,HL2,HH2)での処理を例に説明する。まず、1/4解像度の下の階層である1/8解像度の階層で統合された統合ノイズ成分(N2)を、サブバンドLL2から減算して、LL2からノイズ成分を抽出しやすい状態LL2'にする(処理(2-0))。その後、各サブバンド(LL2',HL2,LH2,HH2)に対して上記ノイズ除去フィルタリングを行なう(処理(2-1))。

そして、ノイズ除去フィルタリングを行う前の画像信号S2'(サブバンドLL2',HL2,LH2,HH2)からノイズ除去フィルタリングを行った画像信号S2"(サブバンドLL2",HL2',LH2',HH2')を減算してノイズ成分n2を抽出する(処理(2-2))。その後、抽出したノイズ成分n2のLL面のノイズ成分と下層で統合されてきたノイズ成分(N2)とを加算し(処理(2-3))、加算したLL面のノイズ成分と抽出した他のLH,HL,HH面のノイズ成分を使用してウェーブレット逆変換によりノイズ統合を行い統合されたノイズ成分(N1)を生成する(処理(2-4))。このような処理を、各階層において行い、仮想的ノイズ統合を行う。すなわち、仮想的ノイズ統合は次式で表される。

ここで注意すべき点は、従来の高周波サブバンドのみから成る多重解像度分解とは違って、低周波サブバンドも各階層面で残してノイズを抽出・統合しているので、上記式の意味は逆ウェーブレット変換によって統合されてきた下層解像度の統合ノイズ成分とノイズ除去フィルタによって抽出されたノイズ成分をLLバンドで2層化しているので、この2つのノイズ成分を加算して一層化してから順次逆ウェーブレット変換に続けるということを表している。

図３より明らかであるが、図３で行なっている処理をより具体的に書けば、

を行なった後に、３−１−１及び３−１−２の処理を行なう処理を繰り返すことを意味している。M=5のときは何もノイズ抽出行われていないノイズ成分を統合してくるので、N5(x,y)=0となる。

４．実ノイズ統合
各サブバンドで漏れなく抽出されたノイズ成分を今度は、実画像へのダメージが最も少なくノイズ除去効果の高い周波数バンド間ウェイトをつけて統合する(処理(1-5)(2-5)(3-5)(4-5))。ホワイトノイズが仮定される場合は、解像度階層間では全て1:1の重みで、主に低周波サブバンドLLと高周波サブバンドHH, HL, LHの間で重みづけを行なう。

これは、原画像の性質に応じて最適な重みが異なる。輝度面の場合は、高周波情報が多いので高周波サブバンドに大きい重みを、色差面の場合は、低周波情報が多いので低周波サブバンドにやや大きめの重みをつける。すなわち、ノイズ除去と画像構造保存の両立性の高い周波数空間へ原画像の性質に合わせて、ノイズ抽出の周波数投影空間を変えていることに等しい。なお、1/32解像度の階層におけるNw5（図３）は何もノイズ抽出行われていないノイズ成分を統合してくるので、Nw5(x,y)=0となる。

上記式はLL成分に関しては下層解像度から統合されてきたノイズ成分とノイズ除去フィルタによって抽出されたノイズ成分の2層のノイズ成分を加算して1層化してから逆ウェーブレット変換を行なうことを意味している。

５．仮想ノイズ除去輝度面の生成
次の「６．実際のノイズ除去処理」で用いるノイズのない参照輝度面を得るために、実ノイズ統合されたノイズ成分を100%用いて、一時的な仮想ノイズ除去輝度面を生成する。この処理は、図３には示されていないが、図３を参照して説明すると、処理(0-6)を行わないで処理(0-7)を行って仮想ノイズ除去輝度面を生成することを指す。このようにして求めた仮想ノイズ除去輝度面を、以下で説明する処理(0-6)で使用する。

ただし、場合によってはこの処理を飛ばして、ノイズ除去されていない原画像の輝度面L^(x,y)で代用してもよい。

６．実際のノイズ除去処理
統合されたノイズ成分Nw0を、以下に示す処理(処理(0-6))を行った後、実際に原画像S0から減算処理することによって、実際のノイズ除去を執行する(処理(0-7))。

ところで、上記実統合ノイズ成分Nw0は、ノイズ除去フィルタと相性のよい画像処理色空間への投影、ノイズ除去フィルタの高性能化、最適なノイズ抽出周波数空間への投影といった様々なエッジとノイズの分離精度を向上する努力がなされて抽出されてきている。しかし、それでもなお質感再現に寄与する重要なエッジ成分が含まれてしまっているのが事実である。

そこで、本実施の形態では、そのエッジ成分を減算することによるコントラスト低下のダメージを事前に予測して、それを最小限に食い止める方策をとる。すなわち、画像処理用の作業用色空間とノイズ除去後に変換する出力色空間の階調特性は異なっており、その階調変換を通じて誘発される、ノイズ除去でエッジ・コントラストが低下した部分が更に低下する危険性や、残存したノイズ成分が増幅される危険性を排除する。

そのためには、エッジ・コントラストが低下しすぎそうな部分のノイズ除去率を画素単位できめ細かく制御しながら下げておき、ノイズ増幅してしまいそうな部分のノイズ除去率を同様に画素単位できめ細かく上げておくことが考えられる。言い換えれば、最終的に用いるノイズ成分にノイズ漏れや不純物混じりを起こす可能性を見越して、階調変換によるノイズ除去効果の増減幅に合わせて、事前にノイズ除去率を通じてノイズの消滅・残存度合いを制御する。これにより、コントラスト低下防止策をとり、かつノイズ被り残りの排除による曇り防止策をとる。

ノイズ除去効果の増減幅は、作業用色空間と出力色空間の階調特性差によって決まり、視覚的なノイズ増幅とエッジぼけに伴うコントラスト・ロスは階調特性の微分比率で効いてくると考えられる。したがって、ここで新たにコントラスト補正を考慮したノイズ除去率関数λ(x,y)を導入してノイズ除去を行なう。これを式で表すと、以下の通りである。

輝度成分の場合

色差成分の場合

ただし、以下の式の通り、λ(x,y)が1.0を超える場合は、1.0にクリッピングしている。

ここで、γは出力色空間の階調特性を表す。入力色空間と同じ色空間に変換する場合は「１．色空間変換」で説明したγと同じ特性である。しかし、出力色空間で持つ画像の階調特性が入力色空間で持つ画像の階調特性と異なっていても、出力色空間での階調特性に合わせて同じ原理でコントラスト比関数を導入できるので、ノイズ除去後に画像に対して階調補正を加える場合も含めて上記コントラスト比関数を計算する。なお、コントラスト比関数はコントラスト関数と言ってもよい。

コントラスト比関数は、上記ノイズ除去率関数λ(x,y)式の右辺のλ₀に続く（）内の部分である。dγは出力色空間の階調特性の微分を示し、dL^は作業用色空間の階調特性の微分を示す。従って、dγ/dL^は出力色空間と作業用色空間の階調特性の微分比を示している。L~^(x,y)は、作業用色空間であるL^a^b^空間の輝度成分L^であり、前述の「５．仮想ノイズ除去輝度面の生成」で処理された仮想ノイズ除去後の輝度成分L^である。上記式のコントラスト比関数の分母に相当する部分は、後述する規格化処理を示している。

従って、ノイズ除去率関数λ(x,y)は、各画素の輝度値をパラメータとする出力色空間と作業用色空間の階調特性の微分比関数により求められる値に、定数λ₀を掛けたものとなる。言い換えると、ノイズ除去率関数λ(x,y)は、出力色空間と作業用色空間の階調特性の微分比、すなわち出力色空間と作業用色空間の階調特性の変化の度合いの違いに応じて変化し、さらに各画素の明るさに応じて変化する。

図４（ａ）は、出力色空間と作業用色空間におけるガンマ特性の例を示す図である。図４（ａ）では、例えば、出力色空間のガンマ特性として標準コントラストのガンマ曲線Ａの場合と高コントラストのガンマ曲線Ｂの場合とが示され、作業用色空間におけるガンマ特性Ｃが示されている。図４（ｂ）は、図４（ａ）で示される出力色空間のガンマ特性と作業用色空間におけるガンマ特性の微分比を示すグラフである。

例えば、図４（ａ）のように出力色空間で最終的に、標準コントラストのガンマ曲線、および、高コントラストのガンマ曲線が用意されている場合、何れが使われるかに合わせてノイズ除去率のコントラスト比関数に使用する微分比として図４（ｂ）に示すような値を使用する。また、作業用色空間の階調特性は、入力画像のセンサー及びISO感度に応じて変わるので、コントラスト比関数は出力階調特性と入力センサーのノイズ特性の２つの情報に合わせて最適化が図られる。

ただし、図４（ａ）、図４（ｂ）は何れも横軸を線形階調Yにとった形式で表しているので、実際にコントラスト比関数を算出する場合は

の再スケーリングを必要とする。右辺の第１項が出力色空間のガンマ特性の微分であり、第２項は作業用色空間のガンマ特性の微分の逆数である。なお、第２項は「１．色空間変換」の定義で規定される。図４（ａ）と比較して分かりやすくするため、右辺の第１項および第２項の合算を線形階調の輝度Yに対してスケーリングし直したものが図４（ｂ）のグラフとなる。実際に上記式（数１７）に相当する図を得るには、横軸をL^に再スケールすればよい。ただし、図４（ｂ）は輝度成分の規格化を行ったコントラスト比関数である。ここで用いているYは式（数３）のL^に対するY/Y₀と同じ意味で用いている。

λ₀の値は、通常このようなコントラスト関数を導入しなければ、中間調での色斑ノイズ除去効果を得るため色差面処理ではほぼ1.0に近い値をとる必要があった。一方の輝度面処理ではシャープネスの好みに合わせて何割かのノイズを残すのが好ましいのが普通である。例えば、0.6程度とする。しかし、このようなコントラスト関数を導入することによって、色差面のλ₀の値も輝度面のλ₀の値と同程度にまで低く設定しても全く問題がないことが実験的に確認されるに至った。従って、中間調での色斑ノイズ対策を講じつつもハイライト部のカラフルネス暗部の色コントラストをより一層保持することができるようになる。なお、λ₀の値はユーザによって任意に設定可能としてもよい。

上述したコントラスト比関数は、λが一定であった場合のノイズ除去効果と画像全体としては変わらないように設定する必要がある。そこで規格化因子を導入しており、輝度成分では露出基準点でノイズ除去率の規格化を行なう。上記ノイズ除去率関数λ(x,y)の式のコントラスト比関数の分母に相当する部分である。通常は出力階調特性が256階調出力に対してちょうど半分の128程度になる明るさレベルで規格化を行なう。すると図４（ｂ）のように作業用階調よりも出力階調で圧縮されるハイライト領域は、エッジ損傷によるコントラスト低下を防ぐためノイズ除去率を下げることになり（図４（ｂ）の右側部分）、低輝度から中間調の階調コントラストを立ててノイズ増幅される恐れのあるところはノイズ除去率を上げておくことになる（図４（ｂ）の左側部分）。ただし、出力階調の特性によってはハイライト部と同様にコントラスト低下による暗部構造の黒つぶれを防止するため、最暗部でノイズ除去率を下げる必要性が出てくる場合もある。これらはγの特性式から自動的に判断され、最適化される（図４（ｂ）の左側の０近辺）。なお、出力階調の特性によっては、図４（ｂ）のような山型ではなく単調減少曲線となることもある。

ただし、基準ノイズ除去率λ₀を掛けた後にもノイズ除去率1.0を超える階調域は、出力階調でのコントラストを上げすぎのため、完全相殺するところまでは対応できないことを意味している。こうして輝度成分は、ハイライト部のエッジ・コントラスト保持とやや明るさのある暗部の完全ノイズかぶり取れが実現でき、画像構造内のハイライト部と低輝度部とが接するところでは大きなコントラスト生成効果による立体感のあるノイズ除去効果を生み出す。通常のノイズ除去では暗部で緑かぶりしていた現象を防ぐことができる。

一方、色差成分は輝度成分より一般的に強い目のノイズ除去を必要とするため、輝度成分のようにダイナミックにノイズ除去率を操作しない方が好ましく、ノイズ除去効果を落とさずにコントラスト保持できる部分のノイズ除去を緩める形をとる。具体的には出力ガンマ特性がニー(knee)特性になる領域の飽和基準点で規格化を行なう。飽和基準点として例えば出力階調特性が256階調に対して180〜220程度になる点を選択する。色差成分のコントラスト比関数は図４（ｂ）と相似形で、dγ/dL^=1.0との交点の位置を明るい方に移すだけで自明なので省略する。

するとハイライト部の色差面ノイズ除去率を弱めることになり、ハイライト部は一般に色差面では高彩度部に対応するので、高彩度部の色抜けを防止し、色再現性の高い色斑ノイズ除去効果を生む。また、輝度成分の暗部ノイズ除去効果と相まって、暗部の緑かぶり色斑かぶりが完全に消えて、原画像よりも曇りの抜けた透明感を生み出す。

こうして、ノイズ除去率の輝度と色差間のバランスを崩さなくても済むようになるため、輝度面内で単独に生じる鮮鋭感と粒状感との間の量子力学的不確定性原理に基づくトレードオフと、色差面内で単独に生じる色再現性と色斑ノイズ抑制度との間の量子力学的不確定性原理に基づくトレードオフのそれぞれを、ノイズ除去フィルタと多重解像度処理の中のアルゴリズムの観点から最適化するにとどまらず、輝度・色差成分の間に生じる粒状感抑制とカラフルネス保持との間の別の観点からの量子力学的不確定性原理に基づくトレードオフ問題を高度に最適化できる。ここで粒状感抑制と呼んでいるのは、輝度面に比べ色差面のノイズ除去量を強くしすぎると色斑ノイズは抑えられるものの、今度は逆に抑制したはずの輝度の粒状感が輝度・色差間のバランスの崩れが要因となって目立ってくることを指している。その崩れが最も少なく、両者の不確定性を最小限に抑えられるのが、λ₀の値を輝度面と色差面で同じ値に採ったときである。

９．出力色空間への変換
次に、図２のステップＳ４において、ノイズ除去された画像について画像処理空間から出力色空間へ変換する。出力色空間は、例えばsRGBといった標準RGB色空間とする。ただし、sRGB以外の標準色空間であってもよい。例えば、AdobeRGB、NTSCRGB、AppleRGBなどでもよい。

出力色空間が入力色空間と同じでよい場合は、「１．色空間変換」の逆変換処理を行なう。また、異なっている場合は各入力及び出力の標準色空間の規定に従って変換すればよい。例えば、入力がAdobeRGBで出力がsRGBのような場合が考えられる。また、それだけに留まらず、出力画像に対してノイズ除去の他に階調補正が加えられていてもよい。例えば、画像に掛けるガンマ曲線の特性を変える。具体例として、入力画像の階調特性が図４（ａ）のＡで、出力画像の階調特性が図４（ａ）のＢのような場合が考えられる。そのときは事前にノイズ除去処理側にその特性情報を伝えて、コントラスト比関数を事前に計算できるようにしておく。そのような条件が整っているのであれば、局所的にガンマ特性の異なるレチネックス処理による階調補正が加えられてもよい。

第１の実施形態は、画像全体を明るさレベルを通してノイズ除去によるコントラスト低下を防いでいることから、ノイズ除去の枠組み内で提供するグローバル・コントラスト保持処理、あるいはグローバル・コントラスト・エンハンスメント処理とも呼べる。

−第２の実施の形態−
第２の実施の形態では、レチネックス的コントラスト補正のノイズ除去版を多重解像度技術を用いて行なう場合の例を示す。第２の実施形態は、画像の局所的な、ただし多重解像度を用いて大局的にも見ているエッジ構造を通してノイズ除去によるコントラスト低下を防いでいることから、ノイズ除去の枠組み内で提供するローカル・コントラスト保持処理、あるいはローカル・コントラスト・エンハンスメント処理とも呼べる。

第２の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理のフローチャートも、流れとしては図２と同様であるので、その説明を省略する。図５は、本実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。以下、第１の実施の形態の処理と異なる点を中心に説明をする。

１．色空間変換
第１の実施の形態と同様である。

２．画像の多重解像度表現
第１の実施の形態と同様である。

３．仮想ノイズ除去によるノイズ抽出
第１の実施の形態と同様である。すなわち、図５において、統合されたノイズ成分Nw0を求めるところまでは第１の実施の形態と同様である。

４．エッジ抽出
1/4解像度の階層での処理を例に挙げて説明する。仮想ノイズ除去された各サブバンド面(LL2",HL2',LH2',HH2')からエッジ成分e2を次式により抽出する(処理(2-5))。元のサブバンド面ではなく、仮想ノイズ除去面からエッジ検出するのは、エッジ成分にノイズの影響を受けさせないようにするためである。なお、次式は各サブバンドに対する一般式でもある。

ここで、エッジ検出フィルタとしてはラプラシアン・フィルタを用いる。ラプラシアン・フィルタとしては通常の3x3で定義される中心が8で周辺が-1の係数からなる最も単純なフィルタを用いてもよいが、仮想ノイズ除去後にもなお残存するエッジを正確に抽出するため、ノイズ除去フィルタのフィルタリング範囲と連動させるのがよい。

例えば、ノイズ除去フィルタの平滑化対象範囲が9x9程度の場合、ラプラシアン・フィルタも9x9程度に設定する。すなわち、ラプラシアンは、（原画像）−（ガウスボカシ画像）で定義すればよいので、フィルタ例として以下のようなものがある。ただし、tは転置行列を表し、一次元分離型フィルタの積で構成している。

５．エッジ統合
第１の実施の形態の「４．実ノイズ統合」と同様に、ウェーブレット逆変換によりエッジ成分を統合する(処理(1-10)(2-10)(3-10)(4-10)(5-10))。次式は、エッジ統合を示す式である。

ここで、エッジ統合に用いるサブバンド間ウェイトkeijの値は、任意に最適な値を設定すればよいが、ノイズ統合に用いたサブバンド間ウェイトknijの値と揃えるのも１つの考え方である(処理(1-9)(2-9)(3-9)(4-9)(5-9))。

６．実ノイズ統合
第１の実施の形態の「４．実ノイズ統合」と同様である。

７．仮想ノイズ除去輝度面の生成
第１の実施の形態の「５．仮想ノイズ除去輝度面の生成」と同様である。

８．実際のノイズ除去処理
第２の実施の形態の実際のノイズ除去処理は、以下に示す式の通りとなる。

輝度成分の場合

色差成分の場合

ただし、

第１の実施形態のグローバル・コントラスト保持の考え方は、同じ原理に基づいて局所的なエッジ情報を参照しながら、そのエッジ近辺のローカル・コントラスト保持の考え方に発展させることができる。すなわち、画像全体での平均的なノイズ除去率を保持してコントラスト保護するのではなく、局所的な画像範囲での平均的なノイズ除去率を保持して局所的にコントラスト保護を行なう。これはすなわち、階調補正技術におけるレチネックス処理と呼ばれるものに相当する効果をノイズ除去技術の枠組み内で提供することになる。局所的な画像範囲とは、エッジ抽出処理のための参照範囲である。ただし、本実施の形態では多重解像度統合エッジを見ているので画像全体のエッジ分布を大局的に見たエッジ周りの局所的コントラスト保護となる。

上記式はエッジ強度が強いほど、ノイズ除去率にコントラスト比関数の度合いを強めた補正を行なうことを意味している。すなわち、コントラスト比関数を考慮するかどうかをエッジの強度で調整している。この調整は、上記式の(1-exp())のところで行われている。エッジ強度が強ければexp()項の値は1より小さくなり、コントラスト比関数dγ/dL^(L~^(x,y))がより大きく考慮され、エッジ強度が小さくなればexp()項の値は1に近づき、コントラスト比関数dγ/dL^(L~^(x,y))がより考慮されなくなる。このことは、エッジ強度が相対的に強い領域において、明るさに応じてノイズ除去率の異なるノイズ除去処理を行なっていることを意味する。なお、コントラスト比関数は、第１の実施の形態のコントラスト比関数と同様である。

エッジ強度の比較対象となるσ_gethの値は、ノイズ除去フィルタに用いたノイズゆらぎ指標値σ_thの値に連動させるのではなく、ここでは絶対強度の視点から値を設定するのがよい。通常、ノイズゆらぎ指標値に対する視点からはσ_geth =3σ_th〜5σ_th以上に設定する必要があるが、実験的にはこれでは不十分であることが分かっている。すなわち、σ_thはノイズゆらぎ幅の1σの値に設定するので、その3〜5倍というと統計的にほぼ100％の確率でノイズではなくエッジであることが確かな強度を持つエッジ領域であるということは少なくとも確保されていなければならない。しかし、それ以上に、画像全体で見た大きなコントラストを持つエッジ領域周りのコントラストを保護する必要がある。これは絶対エッジ強度で決まり、0〜256階調の場合、そのエッジ成分E_Wは-256から+256の値を取るので、例えばσ_geth=128や256のように設定するのがよい。すなわち、このように局所的にも大局的にも画像の中で重要な役割を果たすエッジ領域の周りで重点的に明るさに応じたノイズ除去率の制御を行うことを意味する。従って、ノイズ周りのコントラストを増幅させることなく、エッジ周りのコントラストだけを保持することができる。

また、エッジ成分の強度が大きくなるに従って、明るさに対するノイズ除去の強弱の度合いを増大させている。すなわち、エッジ強度が相対的に強い領域において、所定の基準となる階調特性に対して原画像の明るさに対する階調特性のコントラストの強い部分ではノイズ除去の度合いを強め、コントラストの弱い部分ではノイズ除去の度合いを弱めている。また、エッジ成分の強度が小さくなるに従って、明るさに対するノイズ除去の変化の度合いをなくして一定に近づくようにしている。

また、上記式は、階調特性の違いに基づいて設定する明るさに応じたコントラスト比関数の適用の強弱を、エッジ成分の強度に対して単調増加する関数を通して行っている。

参照エッジ情報として、ここでは多重解像度で検出したエッジ成分の統合情報を用いているので、局所的でもあり、大局的にもエッジ構造を正確に拾っているといえる。このエッジ近辺が抽出ノイズ成分の誤りを最も受けやすく、集中的にコントラスト比関数によってエッジ・コントラストを防御する役割を果たす。また、抽出ノイズ成分に誤りがなく正確になったとしても、ノイズ除去率でノイズ消滅・残存度合いを制御したコントラスト補正技術としても使い続けることができる。この点は第１の実施形態についても同じことがいえる。

こうして、第１の実施形態と同様に、局所的な視点で原画像が持つエッジ損傷によるコントラスト低下を防ぎ、かつ効果的なノイズ除去を実現するので、輝度成分はコントラストの高い立体感を生み、色差成分はコントラストの高いカラフルさを生み、更には画像全体としては黒の締まりがよく、暗部で色かぶりもなくなった、抜けのよい透明感を生み出す効果がある。

なお、第２の実施の形態ではエッジ周り近傍でのノイズ除去度合の保存性しか考えずにコントラスト関数をλの中に入れている。従って、画像全体の保存性を考えた第１の実施の形態ではλ₀（輝度）＝λ₀（色差）とすることができたが、第２の実施の形態では、色斑ノイズ除去効果を得るためには、コントラスト関数を導入する前と同様にλ₀（輝度）＜λ₀（色差）のように設定する必要がある。

９．出力色空間への変換
第１の実施の形態と同様である。

−第３の実施の形態−
第３の実施の形態では、第１の実施の形態のガンマ的コントラスト補正のノイズ除去版（グローバル・コントラスト保持）と第２の実施の形態のレチネックス的コントラスト補正のノイズ除去版（ローカル・コントラスト保持）を両方合わせて用いる例を示す。第１、第２の実施の形態と同様に多重解像度技術を用いる。

第３の実施の形態に関しては、第１、第２の実施の形態では原画像のコントラストをそれぞれが得意とする分野で可能な限り失わないように保持する例であったのに対して、この場合は合成して用いることによって相互にコントラスト比関数適用対象として選びえなかった画素を相互に補い合う役割を果たす。ただし、使い方によってはコントラスト保持からコントラスト強調の作為性に発展させる可能性も残している。

第３の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理のフローチャートも、流れとしては図２と同様であるので、その説明を省略する。以下、第１の実施の形態の処理と異なる点を中心に説明をする。

「１．色空間変換」〜「７．仮想ノイズ除去輝度面の生成」は、第２の実施の形態と同様である。

８．実際のノイズ除去処理
第３の実施の形態は、第２の実施の形態に対して、ノイズ除去率関数を以下のように与える点が異なるだけである。

輝度成分の場合

色差成分の場合

各調整パラメータは輝度と色差でそれぞれ別々に最適設定するものとする。σ_gethの値は、第２の実施の形態と同様に各色面のノイズゆらぎ指標値σ_thの３〜５倍以上の最低条件を満たす絶対エッジ強度に設定すればよい。ここでは、グローバル・コントラスト保護項の方には均一ノイズ除去率との間に調整パラメータα_globalを導入した。しかし、グローバルコントラスト保護とローカルコントラスト保護が相互に補い合うという意味で通常はα_global=1でよい。なお、第１の実施形態に於いても同様に変更してもよい。

また、λ₀の値は第１の実施の形態と第２の実施の形態が相補的に作用する。このことから、輝度・色差間の不確定性要因を最大限に抑えることができる第１の実施の形態が有効になって、第１の実施の形態と同様にλ₀（輝度）＝λ₀（色差）として色差面のカラフルネスと輝度面のザラツキ抑制を両立することができる。また、第２の実施の形態の要因が作用して、色コントラストの保護や深みのある色調再現が向上する。

９．出力色空間への変換
第１の実施の形態と同様である。

第３の実施の形態では、第１の実施の形態と第２の実施の形態でコントラスト比関数の適用の対象としなかった部分を対象とすることができるようになり、第１の実施の形態と第２の実施の形態の欠点が相互に補われ、かぶりや曇りをなくしてより透明感を出すような効果を奏する。

−第４の実施の形態−
今日用いられているノイズ除去処理としては、第１〜第３の実施の形態に示したように多重解像度技術を用いる以外に、実空間面のまま巨大なサイズのノイズ除去フィルタを掛けることもしばしばであるので、この場合の対応例を示しておく。第４の実施形態では、第３の実施の形態の実空間対応版を示す。第１と第２の実施の形態の実空間対応版は本実施形態から容易に変更しうるので、説明は省略する。

第４の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理のフローチャートも、流れとしては図２と同様であるので、その説明を省略する。以下、第１の実施の形態の処理と異なる点を中心に説明をする。図６は、第４の実施の形態のノイズ除去処理の流れ図を示す図である。

１．色空間変換
第１の実施の形態と同様である。

２．仮想ノイズ除去によるノイズ抽出
実空間面はS(x,y)で表されているので、第１の実施の形態のサブバンド面V(x,y)に対する処理をVからSに置き換えるだけでよい。ただし、積分範囲は大きくとる必要が出てくる。

２−１．ノイズ除去処理
ノイズ除去フィルタとして、σフィルタやεフィルタ等、平滑化面S'を作るノイズ除去処理の方法は何を用いても構わないが、第１の実施の形態と同じく改良型バイラテラル・フィルタの例を示しておく(処理(0-1))。

本当にきれいなノイズ除去効果を得るにはrthの値を50程度にとってフィルタリング範囲を101x101画素程度にするのがよいが、ここでは説明の簡略化のためrth=12にとって25x25の範囲で積分を行なうものとする。ただし、σフィルタやεフィルタの場合は、空間的な因子には無頓着なのでrthに相当するパラメータは存在せず、単に積分範囲を設定するだけである。

２−２．ノイズ抽出処理
次式のノイズ抽出処理を行う(処理(0-2))。

３．エッジ抽出
仮想ノイズ除去された実空間面からエッジ成分Eを抽出する(処理(0-8))。

ここで、エッジ検出フィルタとしてはラプラシアン・フィルタを用いる。第２の実施の形態と同じ9x9のラプラシアン・フィルタでもよいが、平滑化フィルタを25x25に設定したので、こちらも25x25程度に設定するのが望ましい。25x25のラプラシアンは、9x9のガウシアン・フィルタを3回掛けた平滑化画像と原画像の差分をとれば作成できる。すなわち、

４．仮想ノイズ除去輝度面の生成
次の「５．実際のノイズ除去処理」で用いるノイズのない参照輝度面を得るために、抽出されたノイズ成分を100%用いて、一時的な仮想ノイズ除去輝度面を生成する。この処理は、図６には示されていないが、図６を参照して説明すると、処理(0-6)を行わないで処理(0-7)を行って仮想ノイズ除去輝度面を生成することを指す。このようにして求めた仮想ノイズ除去輝度面を、以下で説明する処理(0-6)で使用する。

５．実際のノイズ除去処理
抽出されたノイズ成分Nを、以下に示す処理(処理(0-6))を行った後、実際に原画像Sから減算処理することによって、実際のノイズ除去を執行する(処理(0-7))。本実施の形態のノイズ除去率は、以下の通り第３の実施の形態と同様である。ただし、ノイズ除去率を第１の実施の形態あるいは第２の実施の形態と同様としてもよい。

輝度成分の場合

色差成分の場合

ただし、

７．出力色空間への変換
第１の実施の形態と同様である。

このように実空間面でのノイズ除去処理においても、画像処理用の作業色空間内で、ノイズ除去率にコントラスト比関数を導入するだけで容易に実現できる。

コントラスト比関数の計算は、ソフトウェアで行なってもほとんど問題のならない時間で済むし、予め分かっているのでハードウェアで実現する場合はルックアップ・テーブルに用意しておけばよい。

（変形例）
なお、上記実施の形態での説明の画像処理空間は最良の色空間として均等色・均等ノイズ空間を用いたが、一般的な均等色空間の場合も同様にコントラスト比関数を定義して、本発明を利用することができる。例えば、CIE定義のL*a*b*空間やL*u*v*、あるいはCIECAM02でもよく、それぞれで定義される作業用色空間の階調特性と出力色空間の階調特性からコントラスト比関数を求めればよい。

また、多重解像度技術として最も優れた低周波と高周波の両サブバンドを使う例を示したが、従来からの如何なる技術にも当てはまる。実空間処理の場合も同様である。

ガンマ版もレチネックス版もそのノイズ除去フィルタによってエッジのコントラストを失うことに対する防御機構は、均等ノイズ化されていない均等色空間で同様の定義で用いた場合であっても有効に作用する。むしろ、ノイズ抽出がうまくいかずノイズ成分の中により多くのエッジ成分を含んでいる場合には、そのエッジをノイズ除去率制御を通じて保護する観点から、ノイズ抽出精度に対して大きな改善率が期待できるともいえる。しかし、画質改善の最高到達点は均等ノイズ化された空間でノイズ除去した場合のほうが高いことはいうまでもない。

図４（ａ）、図４（ｂ）では出力色空間における階調特性がノーマルコントラスト・モードとハイコントラストモードのときのコントラスト比関数dγ/dL^を与えるdγ/dYの関数曲線の例を示した。その他のよく用いる場合の例は以下に具体式で示しておく。ただし、Yは図４（ａ）、図４（ｂ）の記号と同じく、線形階調の明るさレベルを表し、基準レベルは0〜1.0の間に規格化されているものとする。また、式はおよその算出過程に必要な手順を示すために与えているので、厳密ではない部分もある。ここで、もう一度コントラスト比関数の導出式を示しておくと、

（１−１）出力色空間がsRGB色空間でsRGB規定の階調特性のとき
γ(Y) = 12.92*Y 0 =< Y =< 0.0031308
γ(Y) = 1.055*Y^(1/2.4) - 0.055 0.0031308 =< x =< 1
（１−２）出力色空間がsRGB色空間でsRGB規定の階調特性のとき
γ(Y) = Y^(1/2.19921875) 0 =< Y =< 1
第１項のdγ/dYは上記式より算出される。

（２−１）入力画像がISO6400のとき

（２−２）入力画像がISO50のとき

第２項のdY/dL^は上記式より算出される。

（３）ノイズ除去率を制御するコントラスト比関数は上記条件の各々の組み合わせによって

から算出される。したがって、コントラスト比関数は出力色空間の階調特性によっても変わり、入力画像のISO感度によっても変わるという性質を持つ。

また、補足として、作業用色空間として最新の均等色空間であるCIECAM02を用いた場合は、上記定義をそのまま流用し、L^をCIECAM02空間での明るさを表す記号と捉えて、

ただし、明るさレベルYは視環境の明るさパラメータF_Lに比例し、Y∝F_Lなので1.0を超えるような範囲の明るさも生じる。

なお、CIECAM02の場合も定義どおりの周辺視環境に応じた均等色化することのみにとどまらず、外部環境パラメータとして撮像感度に応じて画像データを均等ノイズ化するような変形を考えるならば、均等色・均等ノイズ空間L^a^b^の中で導入した撮像感度に応じたオフセット信号εを線形階調の明るさYに対して加えて、

のような置き換えで定義してもよい。
このように定義された作業用階調特性から第２項のdY/dL^が算出され得る。

上記実施の形態では、輝度成分および色差成分に対してノイズ除去処理を行う例を説明したが、いずれか一方のみに対して行うようにしてもよい。

以上のようにして、上記第１〜第４の実施の形態では、原画像が初めから持つコントラスト、彩度、透明感等を保持しつつ、質感再現性の高い高精細なノイズ除去効果を得ることができる。

画像処理空間に投影することによって抽出ノイズ成分の精度が格段に上がってきたことから、一律にノイズ除去せずとも、ノイズ除去率を通じて画像内でそのバランスを変える操作が可能となり、その結果、画像全体としてはノイズ感の抑制度は一律の時と同程度のまま、新たにノイズの消滅・残存度合から生まれるコントラスト強調効果を得ることができる。そのバランスの変え方としては、明るさ依存で画像全体からコントラストを残す方法（第１の実施の形態）と、エッジ構造依存で局所的なコントラストを残す方法（第２の実施の形態）の2通りの方法があり、何れも質感再現性の高いノイズ除去効果を得ることができる。

また、そのコントラスト比関数を出力色空間の階調特性と作業用色空間の階調特性から最適に決めることから、ノイズの増幅の恐れがなく原画像に元から存在するコントラストを最大限保持する形で、ノイズ除去を行なうことができる。すなわち、階調特性の微分比率でコントラスト比関数を定めてノイズ除去率を制御することにより、ノイズ除去で失われる可能性のあるコントラストを逆に維持するという形で、一般の階調補正技術に近いようなコントラスト強調効果がノイズ除去技術の中で実現できる。

特に輝度成分では、明るい部分と暗い部分との間のコントラスト差による立体感や鮮鋭感を生み、色差成分では高彩度部のカラフルさを保ち、全体として陰影のある画像部分では色乗りのよい高コントラストのノイズ除去結果を生む。また、原画像が元から持つコントラストを失わずに最大限に維持しつつ、ノイズ成分だけ消し去るので、ノイズ被りがなくなって元の原画像よりも透き通った透明感のある質感再現を提供できる。更に、ダイナミックレンジの広い画像では、より顕著な効果を生みやすい。

更に、一旦抽出を終えたノイズ成分に対して、ノイズ除去率を単に場所毎に関数化するだけで済むので、容易にその効果を実現することができる。

また、ノイズ除去後に任意の階調補正が行なわれても、それらに合わせて柔軟に対応できるという利点も持つ。

従来技術の特許文献５と違って、コントラストの高いエッジ領域でも、エッジのコントラストを失わずに良好なノイズ除去をも同時に実現できるという、ノイズ除去とエッジ構造保存の両立を図ることができる効果がある。従って、コントラストの高いエッジ領域でも透明感を生み出すノイズ除去効果が得られる。

なお、上記実施の形態では、原画像（作業用色空間の原画像）に対する平滑化処理を経て抽出されたノイズ成分に、さらにノイズ除去率関数λ(x,y)を導入してノイズを適正化し、適正化されたノイズを原画像から減算するようにしている。このことは、原画像に対する平滑化強度を適切に設定し処理をしていることになる。すなわち、作業用色空間の階調特性と出力色空間の階調特性の違いに基づいて原画像に対する平滑化強度を適切に設定し、ノイズ除去画像を作成している。

一般に、ノイズ除去率を制御してノイズ除去画像を得ることと、平滑化画像と原画像の混合比率を制御してノイズ除去画像を得ることは数学的に等価である。従って、平滑化強度は、所定の平滑化処理によって平滑化された平滑化画像と原画像の混合比率を変える、あるいは、原画像と該平滑化画像との差分で抽出されたノイズ成分を原画像から減算するときの減算比率を変えることによって制御されていることになる。

また、作業用色空間の階調特性と出力色空間の階調特性の違いに基づいて原画像に対する平滑化強度を適切に設定しているので、出力色空間に変換後のノイズ除去画像の平滑化強度が、原画像の画像信号の各種の階調に対して均質化されるようになる。

原画像の明るさレベルに応じて、作業用色空間と出力色空間の階調特性の違いに基づくコントラスト比が変化するコントラスト比関数を使用しているので、このことは、原画像の明るさレベルに応じて、作業用色空間と出力色空間の階調特性の違いに基づくコントラスト比を平滑化強度へ反映させる度合いを変えていることを意味する。

第２の実施の形態においては、検出されたエッジ強度が相対的に強い、あるいは絶対的に強い領域において、明るさに応じて平滑化強度の異なるノイズ除去処理を行なっている。このような平滑化強度を使用すると、第２の実施の形態の処理について、以下のことが言える。

抽出されたエッジ成分の強度が大きくなるに従って、明るさに対する平滑化強度の強弱の度合いを増大させた平滑化強度を設定して、ノイズ除去画像を作成している。エッジ強度が相対的に強い領域において、所定の階調特性に対して、原画像の明るさに対する階調特性のコントラストの強い部分では平滑化強度を強め、コントラストの弱い部分では平滑化強度を弱める処理を行っている。

作業用色空間と出力色空間の階調特性の違いに基づいた平滑化強度を、エッジ成分の強度が小さくなるに従って、明るさに対する平滑化強度の変化の度合いをなくして一定に近づくように設定している。

階調特性の違いに基づいて設定する明るさに応じたコントラスト比関数を、エッジ成分の強度に対して単調増加する関数を通して、明るさに対する平滑化強度の強弱の度合いを増減させた平滑化強度を設定している。

画像の明るさレベルに応じた平滑化強度を、一般に中間輝度に対して高輝度側で弱く設定し、出力階調特性と作業用階調特性の組み合わせ方によっては中間輝度に対して低輝度側で弱く設定することもある。これはすべての実施の形態について当てはまる。検出されたエッジ近傍領域の画像信号の平滑化強度を、作業用色空間と出力色空間の階調特性の違いに基づいて設定し、設定した平滑化強度に基づき、ノイズ除去画像を作成している。

出力色空間に変換後のノイズ除去画像の平滑化強度が、検出されたエッジ近傍領域の画像信号の各階調に対して均質化されるように、作業用色空間における平滑化強度を設定している。検出されたエッジ成分の強度に応じて、作業用色空間と前記出力色空間の階調特性の違いに基づくコントラストを平滑化強度へ反映させる度合いを変えている。

ところで、第２〜第４の実施の形態のエッジ検出は、ガンマ補正のかかった作業用色空間で抽出しているので、微分フィルタの形で表されている。前述の数１９の式を書き直せば、ガンマ補正後の画像信号V_g(x,y)に対し次式の加減算処理を行っている。

ガンマ補正は、線形階調データに対して近似的に対数変換を行なう役割も果たすので

の関係から、ガンマ空間におけるエッジ検出処理は、線形空間においてある画素と近傍画素の平均値との比をとっている演算ともみなせる。すなわち、以下の式のようになる。

これは、レチネックス理論における局所平均との比によるコントラスト補正とつながっており、第２の実施の形態では多重解像度で扱っているので、いわゆるマルチスケールレチネックス処理のノイズ除去版とも言える。同様に、第４の実施の形態では、シングルスケールレチネックス処理のノイズ除去版とも言える。

なお、上記実施の形態や変形例では、パーソナルコンピュータ１で実現される画像処理装置の例で説明をした。しかし、上記で説明したパーソナルコンピュータ１によるノイズ除去処理を、デジタルカメラ（電子カメラ）内で行うようにしてもよい。図７は、このデジタルカメラ１００の構成を示す図である。デジタルカメラ１００は、撮影レンズ１０２、ＣＣＤなどからなる撮像素子１０３、ＣＰＵおよび周辺回路からなる制御装置１０４、メモリ１０５などから構成される。

撮像素子１０３は、被写体１０１を撮影レンズ１０２を介して撮影（撮像）し、撮影した画像データを制御装置１０４へ出力する。ここでの処理が、第１の実施の形態で説明した図２のステップＳ１の画像データ入力に相当する。制御装置１０４は、撮像素子１０３で撮影された画像データに対して、上記で説明した各実施の形態や変形例のノイズ除去処理を行い、適切にノイズ除去された画像データを適宜メモリ１０５に格納する。制御装置１０４はＲＯＭ（不図示）などに格納された所定のプログラムを実行することにより、上記説明したノイズ除去処理を行う。

このようにして、デジタルカメラ１００内部でも、質感再現性の高いノイズ除去が可能となり、適切にノイズ除去された画像データをメモリ１０５に格納し、また、着脱可能なメモリカードなどの記録媒体に記録することができる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００７年第０４９１１４号（２００７年２月２８日出願）
日本国特許出願２００７年第０４９１１５号（２００７年２月２８日出願）

Claims

原画像に含まれるノイズ成分を除去する画像処理方法であって、
作業用色空間で原画像に含まれるノイズ成分を抽出し、
前記抽出されたノイズ成分に基づいて、ノイズ除去画像を作成し、
前記ノイズ除去画像を前記作業用色空間から前記作業用色空間と異なる階調特性を持つ出力色空間に変換し、
前記抽出されたノイズ成分と、前記作業用色空間の階調特性と前記出力色空間の階調特性の違いとに基づいて、前記ノイズ除去画像を作成する画像処理方法。
請求項１に記載の画像処理方法において、
前記作業用色空間の階調特性と前記出力色空間の階調特性の違いの度合いは、前記作業用色空間における明るさレベルに応じて変化する画像処理方法。
請求項１に記載の画像処理方法において、
前記出力色空間と前記作業用色空間に於ける各々の画像の階調特性に基づいて、明るさレベルに対するコントラスト比関数を設定し、
前記設定したコントラスト比関数に基づいて、前記ノイズ除去画像を作成する画像処理方法。
請求項１に記載の画像処理方法において、
前記抽出されたノイズ成分と、前記作業用色空間の階調特性の変化の度合いと前記出力色空間の階調特性の変化の度合いの違いとに基づいて、前記ノイズ除去画像を作成する画像処理方法。
請求項１〜４のいずれかに記載の画像処理方法において、
前記作業用色空間の階調特性と前記出力色空間の階調特性の違いに基づいて、前記抽出されたノイズ成分を原画像から減算するときの減算割合を制御する画像処理方法。
請求項１〜４のいずれかに記載の画像処理方法において、
前記作業用色空間は、均等ノイズ空間、均等色空間、あるいはその両方を実現する均等色・均等ノイズ空間の少なくとも何れか１つの色空間である画像処理方法。
請求項１〜２のいずれかに記載の画像処理方法において、
前記出力色空間で持つ画像の階調特性と前記作業用色空間で持つ画像の階調特性の微分比率に基づいて、前記ノイズ除去画像を作成する画像処理方法。
請求項１〜４のいずれかに記載の画像処理方法において、
前記出力色空間への階調変換によってノイズ成分が増幅される階調領域のノイズ除去度合を予め大きくし、減幅される階調領域のノイズ除去度合を予め小さくする画像処理方法。
請求項１〜４のいずれかに記載の画像処理方法において、
前記原画像の撮像感度に応じて異なる階調特性の作業用色空間に変換する画像処理方法。
請求項１〜４のいずれかに記載の画像処理方法において、
前記出力色空間の階調特性は、標準RGB色空間の階調特性を備える画像処理方法。
請求項１〜４のいずれかに記載の画像処理方法において、
前記原画像に含まれるノイズ成分を除去する処理以外に階調補正処理を行なって、入力色空間で所持する画像の階調特性と出力色空間で所持する画像の階調特性が異なっている場合、階調補正後の出力色空間で持つ画像の階調特性と前記作業用色空間で持つ画像の階調特性の違いに基づいて前記ノイズ除去画像を作成する画像処理方法。
請求項１〜４のいずれかに記載の画像処理方法において、
前記原画像を輝度成分と色差成分で表される前記作業用色空間に変換し、各々の色成分に対して前記ノイズ除去画像を作成する画像処理方法。
請求項１〜４のいずれかに記載の画像処理方法において、
前記原画像を輝度成分と色差成分で表される前記作業用色空間に変換し、その中の少なくとも１つの色成分に対して前記ノイズ除去画像を作成する画像処理方法。
請求項３に記載の画像処理方法において、
前記コントラスト比関数と画像の場所毎の明るさレベルに基づいて、前記ノイズ除去画像を作成する画像処理方法。
請求項３に記載の画像処理方法において、
前記コントラスト比関数と画像の場所毎のエッジ強度に基づいて、前記ノイズ除去画像を作成する画像処理方法。
請求項３に記載の画像処理方法において、
前記原画像を輝度成分と色差成分で表される前記作業用色空間に変換し、
前記輝度成分のノイズ除去画像を作成する場合、前記作業用色空間における明るさレベルの露出基準点に於ける微分比率で規格化されたコントラスト比関数を設定する画像処理方法。
請求項３に記載の画像処理方法において、
前記原画像を輝度成分と色差成分で表される前記作業用色空間に変換し、
前記色差成分のノイズ除去画像を作成する場合、前記作業用色空間における明るさレベルの飽和基準点に於ける微分比率で規格化されたコントラスト比関数を設定する画像処理方法。
原画像に含まれるノイズ成分を除去する画像処理方法であって、
原画像を所定の階調特性を持つ作業用色空間に変換し、
前記作業用色空間で原画像のノイズ除去を行なって、ノイズ除去画像を作成し、
前記ノイズ除去画像を前記作業用色空間から前記作業用色空間と異なる階調特性を持つ出力色空間に変換し、
前記原画像の平滑化強度を、前記作業用色空間の階調特性と前記出力色空間の階調特性の違いに基づいて設定し、前記ノイズ除去画像を作成する画像処理方法。
請求項１８に記載の画像処理方法において、
前記出力色空間に変換後のノイズ除去画像の平滑化強度が、前記原画像の画像信号の各階調に対して均質化されるように、前記作業用色空間における平滑化強度を設定する画像処理方法。
請求項１８に記載の画像処理方法において、
前記原画像の明るさレベルに応じて、前記作業用色空間と前記出力色空間の階調特性の違いに基づくコントラスト比を前記平滑化強度へ反映させる画像処理方法。
請求項１８に記載の画像処理方法において、
前記平滑化強度は、所定の平滑化処理によって平滑化された平滑化画像と原画像の混合比率を変える、あるいは、原画像と該平滑化画像との差分で抽出されたノイズ成分を原画像から減算するときの減算比率を変えることによって制御する画像処理方法。
原画像に含まれるノイズ成分を除去する画像処理方法であって、
原画像に対してエッジ検出を行い、
前記検出されたエッジ強度が相対的に強い領域において、明るさに応じて平滑化強度の異なるノイズ除去処理を行なう画像処理方法。
原画像に含まれるノイズ成分を除去する画像処理方法であって、
原画像に含まれるエッジ成分を抽出し、
前記抽出されたエッジ成分の強度が大きくなるに従って、明るさに対する平滑化強度の強弱の度合いを増大させた平滑化強度を設定し、
前記平滑化強度に基づいて、ノイズ除去画像を作成する画像処理方法。
請求項２３に記載の画像処理方法において、
前記ノイズ除去画像を作成するとき、前記エッジ強度が相対的に強い領域において、所定の階調特性に対して、前記原画像の明るさに対する階調特性のコントラストの強い部分では平滑化強度を強め、コントラストの弱い部分では平滑化強度を弱める画像処理方法。
請求項２３に記載の画像処理方法において、
前記平滑化強度は、エッジ成分の強度が小さくなるに従って、明るさに対する平滑化強度の変化の度合いをなくして一定に近づくように設定する画像処理方法。
請求項２２から２５のいずれかに記載の画像処理方法において、
前記エッジ強度は、とりうる階調幅に対する絶対エッジ強度レベルで表された所定値に対して大小関係を比較することにより測定する画像処理方法。
請求項２３に記載の画像処理方法において、
所定の階調特性を持つ作業用色空間でノイズ除去を行ない、前記階調特性とは異なる階調特性を持つ出力色空間の画像に変換して前記ノイズ除去画像を作成し、
前記作業用色空間と前記出力色空間の階調特性の違いに基づいて、前記平滑化強度を設定する画像処理方法。
請求項２７に記載の画像処理方法において、
前記階調特性の違いに基づいて設定する平滑化強度を、前記エッジ成分の強度に対して単調増加する関数を通して前記明るさに対する平滑化強度を設定する画像処理方法。
請求項２３に記載の画像処理方法は、
前記画像の明るさレベルに応じた平滑化強度を、中間輝度に対して高輝度側で弱く設定する画像処理方法。
請求項２９に記載の画像処理方法は、
前記画像の明るさレベルに応じた平滑化強度を、中間輝度に対して低輝度側で弱く設定する画像処理方法。
原画像に含まれるノイズ成分を除去する画像処理方法であって、
原画像に対して、所定の階調特性を持つ作業用色空間でノイズ除去を行なってノイズ除去画像を作成し、
前記ノイズ除去画像を前記階調特性とは異なる階調特性を持つ出力色空間の画像に変換して出力ノイズ除去画像を作成し、
さらに、前記原画像に対してエッジ成分を検出し、
前記検出されたエッジ近傍領域の画像信号の平滑化強度を、前記作業用色空間と前記出力色空間の階調特性の違いに基づいて設定し、
前記設定した平滑化強度に基づき、前記ノイズ除去画像を作成する画像処理方法。
請求項３１に記載の画像処理方法において、
前記出力色空間に変換後の出力ノイズ除去画像の平滑化強度が、前記検出されたエッジ近傍領域の画像信号の各階調に対して均質化されるように、前記作業用色空間における平滑化強度を設定する画像処理方法。
請求項３１に記載の画像処理方法において、
前記検出されたエッジ成分の強度に応じて、前記作業用色空間と前記出力色空間の階調特性の違いに基づくコントラストを、前記平滑化強度へ反映させる度合いを変える画像処理方法。
請求項３３に記載の画像処理方法において、
前記エッジ強度は、とりうる階調幅に対する絶対エッジ強度レベルで表された所定値に対して大小関係を比較することにより測定する画像処理方法。
請求項２３または３１に記載の画像処理方法において、
前記平滑化強度は、所定の平滑化処理によって平滑化された平滑化画像と原画像の混合比率を変える、あるいは、原画像と該平滑化画像との差分で抽出されたノイズ成分を原画像から減算するときの減算比率を変えることによって制御する画像処理方法。
請求項２３または３１に記載の画像処理方法において、
前記原画像は、輝度成分と色差成分に分離された各々の色成分の画像である画像処理方法。
請求項２７、３１のいずれかに記載の画像処理方法において、
前記作業用色空間は、均等ノイズ空間、均等色空間、あるいはその両方を実現する均等色・均等ノイズ空間の少なくとも何れか１つの色空間である画像処理方法。
原画像に含まれるノイズ成分を除去する画像処理方法であって、
原画像を所定の階調特性を持つ作業用色空間に変換し、
前記作業用色空間で原画像に含まれるノイズ成分を抽出し、
前記抽出されたノイズ成分に基づいて、ノイズ除去画像を作成し、
前記ノイズ除去画像を前記作業用色空間から前記作業用色空間と異なる階調特性を持つ出力色空間に変換し、
前記原画像の局所的な領域ごとに、前記作業用色空間の階調特性と前記出力色空間の階調特性の違いを判断し、
前記原画像の局所的な領域ごとに判断した前記作業用色空間の階調特性と前記出力色空間の階調特性の違いと、前記抽出されたノイズ成分とに基づいて前記ノイズ除去画像を作成する画像処理方法。
請求項１から３８のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラム。
請求項３９に記載の画像処理プログラムを搭載する画像処理装置。
請求項３９に記載の画像処理プログラムを搭載する電子カメラ。