JP5023702B2 - 画像処理方法、画像処理プログラム、記録媒体及び画像処理装置 - Google Patents

Description

本発明は、画像データのノイズ除去を行う画像処理方法、画像処理プログラム、記録媒体及び画像処理装置に関する。

適応的ガウスぼかしの引数として空間的な距離及び画素値間差分の両方を考慮した適応的フィルタが提案されている（非特許文献１）。このフィルタは、2つの引数をとることからBilateral Filterと呼ばれている。また、特許文献１にも、同様なフィルタが開示されている。このような従来のBilateral Filterでは、画素値差分のみを引数とした加重係数と距離のみを引数とした加重係数の積で表される。

米国特許出願公開第２００４／１６４３号明細書 C. Tomasi et al., "Bilateral Filtering for Gray and Color Images," Proceedings of the 1998 IEEE international Conference onf Computer Vision, Bombay, India.

しかし、従来のBilateral Filterでは、2つの引数に対してそれぞれ加重係数を分離した形でしか扱っていないために、エッジ部や色境界部で突出点状のノイズ、偽色が残るという問題があった。

請求項１の発明は、複数の画素からなる画像データに対して、各画素位置で着目画素を含む所定範囲内の画素の画素値を用いてフィルタリングを行う画像処理方法であって、前記所定範囲内の各々の画素に対し、前記着目画素からの空間的な距離で定義される第１の引数と前記着目画素との信号強度の差で定義される第２の引数の２つの引数を定め、前記所定範囲内の各々の画素に対して掛かるフィルタリングの加重係数を、前記第１の引数と前記第２の引数の積で表される１つのまとまった引数に基づいて求め、前記求めた加重係数によるフィルタ係数を使用して、フィルタリングを行うことを特徴とする。
請求項７の発明は、複数の画素からなる画像データに対して、各画素位置で着目画素を含む所定範囲内の画素の画素値を用いてフィルタリングを行う画像処理手順をコンピュータに実行させるための画像処理プログラムであって、前記所定範囲内の各々の画素に対し、前記着目画素からの空間的な距離で定義される第１の引数と前記着目画素との信号強度の差で定義される第２の引数の２つの引数を定める手順と、前記所定範囲内の各々の画素に対して掛かるフィルタリングの加重係数を、前記第１の引数と前記第２の引数の積で表される１つのまとまった引数に基づいて求める手順と、前記求めた加重係数によるフィルタ係数を使用して、フィルタリングを行う手順とをコンピュータに実行させるための画像処理プログラムである。
請求項８の発明は、複数の画素からなる画像データに対して、各画素位置で着目画素を含む所定範囲内の画素の画素値を用いてフィルタリングを行う画像処理手順をコンピュータに実行させるための画像処理プログラムを記録した記録媒体であって、前記所定範囲内の各々の画素に対し、前記着目画素からの空間的な距離で定義される第１の引数と前記着目画素との信号強度の差で定義される第２の引数の２つの引数を定める手順と、前記所定範囲内の各々の画素に対して掛かるフィルタリングの加重係数を、前記第１の引数と前記第２の引数の積で表される１つのまとまった引数に基づいて求める手順と、前記求めた加重係数によるフィルタ係数を使用して、フィルタリングを行う手順とをコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明は、以上説明したように構成しているので、次のような効果を奏する。例えば、2つの引数が独立に加重係数を生成せずに、相互に引数同士で影響を及ぼしあって加重係数を生成するため、的確なフィルタリング要否判断が可能となり、また、突出点状のノイズが残らない高精細なノイズ除去を行うことができる。

本発明の一実施の形態である画像処理装置を示す図である。 第１の実施の形態の画像処理の流れを示す図である。 従来のBilateral Filterにおける、画素値差分と、距離と、加重係数の関係を示す図である。 第１の実施の形態のBilateral Filterにおける、画素値差分と、距離と、加重係数の関係を示す図である。 第２の実施の形態の画像処理の流れを示す図である。 ５段のウェーブレット変換によるサブバンド分割の様子を示す図である。

（第１の実施の形態）
図１は、本発明の一実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１で実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。

パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。パーソナルコンピュータ１は、ＣＰＵ（不図示）およびその周辺回路（不図示）から構成され、ＣＰＵがインストールされたプログラムを実行する。

プログラムがインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。

まず、本実施の形態の画像処理について説明する前に、従来技術の問題点をさらに詳細に説明する。従来のBilateral Filterは以下のような式で表すことができる。

すなわち、フィルタの加重係数wが、次式に示すように、画素値差分(V'-V)のみを引数としたphotometric項の加重係数w_photo[V'-V]と距離(r'-r)のみを引数としたgeometric項の加重係数w_geometric[r'-r]の積で表される。なお、引数は、変数あるいはパラメータと言ってもよい。
w[V'-V][r'-r']=w_photometric[V'-V]*w_geometric[r'-r] ...(2)

式(1)を一般式で書くと、次のようになる。

上記式で示したように、従来のBilateral Filterでは、2つの引数に対してそれぞれ加重係数を分離した形でしか扱っていない。そのために、前述したように、エッジ部や色境界部で突出点状のノイズ、偽色が残るという問題が生じていた。すなわち、一方の引数の要因のみに左右されやすいためにうまくノイズ除去ができない状況が発生していた。

例えば、色境界部では画素値差分|V'-V|が急激に大きくなると考えられるが、これによってw_photometric[V'-V]は急激に小さい値となってしまう。このため、いくらw_geometric[r'-r]が1に近い値を取っていても無視されてしまい、本来色境界部上に載っているノイズを除去したくても除去できなくなる状況が発生していた。

本実施の形態の画像処理方法は、このような問題を解決しつつ、距離と画素値差分の両方の要素を考慮することにより画像構造保存性の高い適応的ノイズ除去フィルタを実現する。すなわち、エッジや色境界などの画像構造を保存しつつノイズ除去を適切に行う。このようなノイズ除去技術を、一般にEdge-preserving smoothingと呼ばれている。

図２は、パーソナルコンピュータ１が処理する第１の実施の形態の画像処理の流れを示す図である。ステップＳ１では、線形RGB画像データを入力する。ステップＳ２では、均等ノイズ色空間Y^Cb^Cr^に変換する。ステップＳ３では、Y^面において、２引数積Bilateral Filter処理をする。ステップＳ４では、Cr^面において、２引数積Bilateral Filter処理をする。ステップＳ３では、Cb^面において、２引数積Bilateral Filter処理をする。ステップＳ６では、色空間を逆変換する。ステップＳ７では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。

１）画像データ入力
ステップＳ１で入力される線形RGB画像データは、線形階調で表されたRGB表色系データである。RGB表色系データは、例えばベイア配列の色フィルタを備えたCCDなどの撮像素子で撮像され、各種の補間処理がなされ、画素ごとにR成分,G成分,B成分の色情報を有するデータである。線形階調のデータとは、光強度に線形な階調のデータであり、受光量に比例した色情報の値を持つデータである。ガンマ補正が掛かっているようなデータは事前に線形階調へ戻しておくものとする。このような画像データは、デジタルカメラ２やその他の撮像装置で撮像される。

２）色空間変換
ステップＳ２では、入力された線形RGB画像データを、ノイズが階調に対して均等化される均等ノイズ空間に変換する。これにより、ノイズ除去の行いやすい状態にする。ショットノイズとセンサー・回路系の暗時ノイズを含むノイズを均等化するには、次式により、R,G,B線形階調にオフセット信号を加えて平方根階調特性に変換すればよい。オフセット信号はεとする。

εの値は、センサーによっても異なるが、ISO100程度のときはほぼ0に近い値を、ISO6400程度のときは0.05程度の値をとる。なお、ショットノイズと暗時ノイズを含む場合において、平方根階調変換する前に暗時ノイズ量に応じたオフセット信号を加えることにより均等ノイズ空間が実現できることが特願2004-200890号（本願発明者と同一発明者による出願）において示されている。

更に、このR',G',B'から、次式により、輝度・色差信号Y^,Cb^,Cr^を生成する。
Y^=(R'+2G'+B')/4 ...(7)
Cr^=R'-G' ...(8)
Cb^=B'-G' ...(9)

輝度・色差信号Y^,Cb^,Cr^も、元のR',G',B'のノイズが階調に対して均等化されているので、同様に階調に対して均等なノイズ特性を持つ。

３）ノイズ除去処理
ステップＳ３、Ｓ４、Ｓ５において、均等ノイズ空間で表された輝度信号Y^および色差信号Cb^,Cr^に対して、次式で示されるノイズ除去フィルタを掛ける。

なお、数式内の矢印つきr（ベクトルr）および矢印つきr'（ベクトルr'）は、ベクトルを示し、２次元座標位置を示す。ただし、画像データが３次元的に存在する場合は３次元のベクトルとしても考えることができる。

ノイズ除去フィルタとして、従来のような加重係数がphotometric項とgeometric項に分離できる分離加重型Bilateral Filterではなく、加重係数がphotometric項とgeometric項に分離できない非分離加重型Bilateral Filterを用いる。すなわち、従来のBilateral Filterでは、２つの引数をそれぞれ指数とする２つの指数関数の積で表される加重係数のフィルタを使用していた。しかし、本実施の形態のフィルタでは、２つの引数の積で表される値を１つの指数とする１つの指数関数であらされる加重係数のフィルタを使用している。積分範囲はrthの2倍程度にとると、演算規模を抑えながら十分ガウシアンの裾部分も考慮した演算を行うことができる。

このフィルタリング処理をY^面、Cr^面、Cb^毎に単独で行う。なお、輝度信号のY^面に対しては、処理は省いてもよい。ノイズ成分は短周期から長周期まであらゆる周波数成分を含む。長周期の色斑ノイズにまで対応するには、rth=20程度、すなわちフィルタリングサイズとしては80x80画素程度にとる必要がある。このように広範囲にフィルタリングしても、画素値差分と空間的距離の両因子を考慮しているので、画像構造の破壊なくノイズ除去が可能である。

更に、このように画素値差分と距離の2つの引数同士で積をとってから加重係数を算出している。従って、色境界部等の信号面内の急勾配部で偽色等の突出点状ノイズがあっても、従来の分離型加重フィルタならphotometirc項の加重係数の落ち込みに支配されてノイズ除去が行われなくなっていたのに対し、本方式の非分離型加重フィルタなら空間距離の引数が画素値差分の引数に有効に作用して、最終的に有限の加重係数を生み出して実効あるノイズ除去が可能となる。

また、長周期に渡る色斑ノイズに対しても従来の分離型加重フィルタは距離が離れるとフィルタリング強度が急速にが弱まって偽色が残りやすかったのに比べ、本方式の非分離型加重フィルタなら長距離間でもノイズゆらぎ程度に収まる画素間ではフィルタリング強度が維持されるので、きれいなノイズ除去が可能となる。

ここにσthの値は、一様面を撮影して、前述の均等ノイズ空間で計測した標準偏差の√2倍にとるとよい。均等ノイズ空間では、明るさに依らず標準偏差が一定値をとる。従って、この標準偏差を使用して入力された画像データのノイズ特性を１つの代表値としてプロファイル化することができる。すなわち、一様面の画像データの均等ノイズ空間で計測した標準偏差を、入力される画像が有するノイズ特性の代表値として評価するために使用することができる。上述のフィルタは、この代表値を使用して処理が行われる。均等ノイズ空間は、上述のフィルタを使用するのに非常に都合が良い。センサーによっても値が異なるが、256階調に対してISO100程度ではσth=1程度、ISO6400程度ではσth=10〜15程度の値をとる。

このノイズ除去フィルタは、輝度成分に対して利用する場合は、輝度成分が非常に繊細に扱う必要がある色信号であることを考えれば2次元フィルタのまま使うのがよい。すなわち、式(10)のフィルタリング範囲を2次元とする。しかし、フィルタリング範囲が非常に広いので処理時間がかかってしまう。そこで、色差成分に対しては近似的にx方向とy方向の1次元処理を2回掛け合わせた2段階の処理に分離して高速化を図っても、画質面での影響はないことを実験的に確認しており、実質問題ない。すなわち、まず、フィルタリング範囲をx方向に１次元状にとり、すべての着目画素についてフィルタリングを行う。次に、x方向の１次元のフィルタリングを行った後のデータに対して、フィルタリング範囲をx方向と直交するy方向に１次元状にとり、すべての着目画素についてy方向のフィルタリングを行う。式で表すと、次式のようになる。

４）逆色空間変換
ステップＳ６では、Y^Cb^Cr^をR',G',B'に戻し、更に元の線形階調のR,G,Bに戻す。逆変換は、上記で説明した式を逆にたどるような処理をすればよい。

５）画像出力
ステップＳ７では、ノイズ除去された画像データを出力する。

このようにして、線形階調のRGB色空間の画像データが、いったん、均等ノイズ空間の画像データへ変換され、ノイズ除去のフィルタリングが行なわれる。その後、ノイズ除去が行われた画像データを逆変換し、元の線形階調のRGB色空間の画像データに戻し出力する。

図３、図４を使用して、本実施の形態の画像処理方法の効果についてさらに説明する。図３は、従来のBilateral Filterにおける、画素値差分|V(r')-V(r)|と、距離|r'-r|と、加重係数weightの関係を示す図である。図４は、本実施の形態のBilateral Filterにおける、画素値差分|V(r')-V(r)|と、距離|r'-r|と、加重係数weightの関係を示す図である。

前述したように、従来のBilateral Filterでは、２つの引数画素値差分|V(r')-V(r)|と距離|r'-r|をそれぞれ指数とする２つの指数関数の積で表される加重係数のフィルタを使用した。しかし、本実施の形態のフィルタでは、２つの引数画素値差分|V(r')-V(r)|と距離|r'-r|の積で表される値を指数とする１つの指数関数であらされる加重係数のフィルタを使用した。すなわち、２つの引数画素値差分|V(r')-V(r)|と距離|r'-r|は、一体になって、１つのガウス分布を表す指数関数の式の引数を構成する。

色境界部では画素値差分|V'-V|が急激に大きくなると考えられる。従来のBilateral Filterでは、図３から分かるように、画素値差分|V'-V|が急激に大きくなると、いくら距離|r'-r|が近くて小さい値を取っていても加重係数は小さくなり無視されてしまう。その結果、本来色境界部上に載っているノイズを除去したくても除去できなくなる状況が発生していた。また、距離|r'-r|が大きくなると、画素値差分|V'-V|が小さくても加重係数は小さくなり無視されてしまう。その結果、長周期の色斑ノイズなどが除去しにくいという状況が発生していた。

一方、本実施の形態のBilateral Filterでは、図４から分かるように、画素値差分|V'-V|が大きくなっても、距離|r'-r|が近くて小さい値を取っている場合は加重係数は１に近い値をとり無視されない。また、距離|r'-r|が大きくなっても、画素値差分|V'-V|が小さければ加重係数は１に近い値をとり無視されない。その結果、色境界部等の信号面内の急勾配部で偽色等の突出点状ノイズや、長周期に渡る色斑ノイズなどが適切に除去される。

なお、図３、図４において、画素値差分|V(r')-V(r)|の引数をAn、距離|r'-r|の引数をBnとし、加重係数をw(An,Bn)として表し、引数Anの異なる値をA1,A2、引数Bnの異なる値をB1,B2とすると、図３においては、次式が成立する。すなわち、引数A1とA2による加重係数の間では、A1における断面とA2における断面で引数Bによる加重係数の変化率が同一ということを意味している。
w(A1,B1)/w(A1,B2) ＝ w(A2,B1)/w(A2,B2) ...(13)

一方、図４においては、次式が成立する。すなわち、引数A1とA2による加重係数の間では、A1における断面とA2における断面で引数Bによる加重係数の変化率が異なることを意味している。
w(A1,B1)/w(A1,B2) ≠ w(A2,B1)/w(A2,B2) ...(14)

また、0≦A1＜A2、0≦B1＜B2のとき、次式が成立する。すなわち、Aの値が大きくなるほど引数Bによる加重係数の変化率が大きくなることを意味している。
w(A1,B1)/w(A1,B2) ＜ w(A2,B1)/w(A2,B2) ...(15)

また、図３においては、画素値差分|V(r')-V(r)|が大きくなると、距離|r'-r|が０近辺であっても、加重係数wは指数関数的に小さくなる。また、距離|r'-r|が大きくなると、画素値差分|V(r')-V(r)|が０近辺であっても、加重係数wは指数関数的に小さくなる。

一方、図４においては、画素値差分|V(r')-V(r)|が０あるいは０近辺であると、距離|r'-r|が大きくなっても、加重係数wは１あるいは１に近い値を示し、フィルタリングの演算の対象となる。また、距離|r'-r|が０あるいは０近辺であると、画素値差分|V(r')-V(r)|が大きくなっても、加重係数wは１あるいは１に近い値を示し、フィルタリングの演算の対象となる。

（第２の実施の形態）
輝度成分のノイズ除去は一般に、ザラザラ感抑制に対し解像性の低下という共役な関係にある現象を伴う。また、第１の実施の形態のBilateral Filterやその他一般的なノイズ除去フィルタを実空間で行うと、さらに輝度の階調性を失う嫌いがある。前述の非特許文献１にも実空間でのBilateral Filterの多重回利用に関連して同様な指摘がある。

そこで、輝度成分をもう少し慎重に扱って階調性を失わないようにするため、敢えてハイパス成分を作り出してそれに対してノイズ除去処理を行うのがよい。それにはウェーブレット変換を用いると都合がよく、更に処理の大規模な高速化も望める。ウェーブレット変換による多重解像度を利用したノイズ除去法の例として、文献：S. Ranganath, "Image Filtering Using Multiresolution Representations," IEEE Pattern Analysis and Machine Intelligence Vol.13, No.5, May 1991, pp.426-440、あるいは、米国特許第5,708,693号明細書に開示がある。

第２の実施の形態では、輝度面Y^に対しウェーブレット変換をかけた後、第１の実施の形態の非分離加重型Bilateral Filterをかける。色差面Cb^,Cr^には第１の実施の形態と同様にフィルタ処理をする。

第２の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。図５は、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理の流れを示す図である。

１）画像データ入力、色空間変換
ステップＳ１１では、線形RGB画像データを入力する。ステップＳ１２では、均等ノイズ色空間Y^Cb^Cr^に変換する。ステップＳ１１およびＳ１２は、第１の実施の形態のステップＳ１とＳ２と同様である。

２）ウェーブレット変換
ステップＳ１３では、輝度信号に対してウェーブレット変換を行う。ウェーブレット変換とは、画像データを周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。本実施の形態では、5/3フィルタを用いて5段のウェーブレット変換をする。5/3フィルタは、ローパス成分をタップ数５（１次元５画素）のフィルタで生成し、ハイパス成分をタップ数３（１次元３画素）のフィルタで生成する。

ハイパス成分およびローパス成分の生成式は、次式で示される。ここで、nは画素位置を示し、x[]はウェーブレット変換を行う対象画像の画素値を示す。例えば、横方向に100画素ある場合は、nは0〜49である。下記式によりハイパス成分あるいはローパス成分を抽出すると、それぞれ、現在の画素数100の半分の50画素分のハイパス成分およびローパス成分のデータが抽出される。これを、横方向および縦方向に処理を行う。
ハイパス成分：d[n]=x[2n+1]-(x[2n+2]+x[2n])/2 ...(16)
ローパス成分：s[n]=x[2n]+(d[n]+d[n-1])/4 ...(17)

以上の式を使用して、次のように、順次５段のウェーブレット変換をする。
第１段ウェーブレット変換：LL0(実空間) → LL1, LH1, HL1, HH1
第２段ウェーブレット変換：LL1 → LL2, LH2, HL2, HH2
第３段ウェーブレット変換：LL2 → LL3, LH3, HL3, HH3
第４段ウェーブレット変換：LL3 → LL4, LH4, HL4, HH4
第５段ウェーブレット変換：LL4 → LL5, LH5, HL5, HH5

図６は、５段のウェーブレット変換によるサブバンド分割の様子を示す図である。例えば、第１段のウェーブレット変換では、実空間の画像データに対し、まず横方向にすべての行についてハイパス成分およびローパス成分のデータを抽出する。その結果、横方向に半分の画素数のハイパス成分およびローパス成分のデータが抽出される。それを、例えば実空間の画像データがあったメモリ領域右側にハイパス成分、左側にローパス成分を格納する。

次に、メモリ領域右側に格納されたハイパス成分および左側に格納されたローパス成分のデータに対して、それぞれ縦方向にすべての列について、同様の上記式により、ハイパス成分およびローパス成分のデータを抽出する。その結果、メモリ領域右側のハイパス成分および左側のローパス成分のそれぞれから、さらにハイパス成分およびローパス成分のデータが抽出される。それらを、それぞれのデータがあったメモリ領域下側にハイパス成分、上側にローパス成分を格納する。

その結果、横方向にハイパス成分として抽出されたデータから縦方向にハイパス成分として抽出されたデータをHHと表し、横方向にハイパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータをHLと表し、横方向にローパス成分として抽出されたデータから縦方向にハイパス成分として抽出されたデータをLHと表し、横方向にローパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータをLLと表す。

次に、第２段のウェーブレット変換では、第１段のウェーブレット変換で横方向にローパス成分として抽出されたデータから縦方向にローパス成分として抽出されたデータLLに対し、同様にハイパス成分及びローパス成分の抽出を行う。これを５段繰り返した結果が、図６の図である。

３）ノイズ除去処理
次に、ノイズ除去処理、すなわちフィルタリング処理をする。ステップＳ１５では、LL5成分のローパス側サブバンドの退避させておく。ステップＳ１４では、LL5成分を除く全てのハイパス成分｛(LH1, HL1, HH1),(LH2, HL2, HH2),(LH3, HL3, HH3),(LH4, HL4, HH4),(LH5, HL5, HH5)｝に対して、第１の実施の形態で定義された非分離加重型Bilateral Filterを掛ける。このとき多重解像度利用によって実効フィルタリングサイズを簡単に稼ぐことができるので、各々のサブバンドに対する処理はrth=1.0〜2.0(5x5画素ぐらい)程度にとるとよい。これにより、処理の高速化が図れる。

ステップＳ１６では、色差成分のCr^,Cb＾に対して、第１の実施の形態で定義された非分離加重型Bilateral Filterを掛ける。

４）逆ウェーブレット変換
ステップＳ１７では、ステップＳ１４、Ｓ１５においてフィルタが掛けられたデータに対して、次のように逆ウェーブレット変換をかける。
第１段逆ウェーブレット変換：LL5, LH5, HL5, HH5 → LL4
第２段逆ウェーブレット変換：LL4, LH4, HL4, HH4 → LL3
第３段逆ウェーブレット変換：LL3, LH3, HL3, HH3 → LL2
第４段逆ウェーブレット変換：LL2, LH2, HL2, HH2 → LL1
第５段逆ウェーブレット変換：LL1, LH1, HL1, HH1 → LL0(実空間)

５）逆色空間変換
ステップＳ１８では、第１の実施の形態と同様に、Y^Cb^Cr^をR',G',B'に戻し、更に元の線形階調のR,G,Bに戻す。

６）画像出力
ステップＳ１９では、ノイズ除去された画像データを出力する。

このようにして、線形階調のRGB色空間の画像データが、いったん、均等ノイズ空間の画像データへ変換され、輝度信号にはウェーブレット変換をかけた後のハイパス成分に対してノイズ除去のフィルタリングが行なわれる。その後、輝度信号については逆ウェーブレット変換をかけ、ノイズ除去が行われた画像データを逆色空間変換し、元の線形階調のRGB色空間の画像データに戻し出力する。

ここで、本実施の形態の効果について説明する。従来のBilateral Filterが抱える急傾斜部でノイズ除去効果が悪い点を改善するため、世の中ではTrilateral Filterのようなものが考えられている。例えば、文献：Prasun Choudhury et al., "The Trilateral Filter for High Contrast Images and Meshes," Eurographics Symposium on Rendering 2003, pp.1-11。

しかし、何もガウシアンを傾斜させるような第３番目の積分因子を導入する面倒で余計な処理をしなくても、本実施の形態のように、輝度成分で示したようにハイパス成分をとることにより傾斜成分を取り除くことができる。また、なによりも本発明の本質である引数積で定義された新しいBilateral Filter自身がそのような急傾斜部でもノイズ除去性能を発揮するので、より単純な処理で同様な効果を狙うことができる。

（変形例）
第１の実施の形態および第２の実施の形態で用いた色空間Y^Cb^Cr^は均等ノイズ空間であるが、均等色性の考慮にやや不備がある。従って、ここに均等ノイズ・擬似均等色空間を実現する例を示す。これにより第１の実施の形態および第２の実施の形態の均等ノイズ空間より色再現性を高めることができ、且つ従来の均等ノイズ空間と同様なノイズ除去性能の高い色空間を提供できる。

まず最初に、線形階調RGB表色系を、均等色空間を定義するとき通例用いられるXYZ表色系へ変換する。入力撮像素子に用いられているカラーフィルタの分光感度分布特性によってこの変換式はそれぞれ異なってくる。ここで、原刺激を単一スペクトルのR(700.0nm), G(546.1nm), B(435.8nm)としたCIE RGB表色系からCIE XYZ表色系への変換式の例を示すと、次の変換式の通りである。
X=2.7689R+1.7517G+1.1320B ...(18)
Y=1.0000R+4.5907G+0.0601B ...(19)
Z= +0.0565G+5.5943B ...(20)

もう一つ別の例を挙げておく。最終的にsRGB色空間で表現されたカラー画像を扱う場合、線形階調に戻されたRGB値からXYZ値への変換は以下の式を利用する。
X=0.4124R+0.3576G+0.1805B ...(21)
Y=0.2126R+0.7152G+0.0722B ...(22)
Z=0.0193R+0.1192G+0.9505B ...(23)

次に、線形階調のXYZ空間から均等ノイズ性を維持しつつ擬似的に均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ次式により変換する。
L^=100*f(Y/Y0) ...(24)
a^=500*[f(X/X0)-f(Y/Y0)] ...(25)
b^=200*[f(Y/Y0)-f(Z/Z0)] ...(26)

ここに、X0,Y0,Z0は照明光によって定まる値であり、例えば、標準光D65下で2度視野の場合、X0=95.045、Y0=100.00、Z0=108.892のような値をとる。また、非線形階調変換関数f()は以下の式(27)で定義する。ただし、変数tはｔ=(Y/Y0),t=(X/X0),t=(Z/Z0)であり、0≦(Y/Y0)≦1,0≦(X/X0)≦1,0≦(Z/Z0)≦1となるようにXYZ値の階調数の最大値で規格化された値をとる。

なお、原点と飽和点を規格化する必要がある場合は、以下の式を用いる。

εの値は、第１の実施の形態と同様な値を取ればよい。このように、均等ノイズ・擬似均等色空間で第１の実施の形態と同様なフィルタを使用するので、色再現性を高めながら適切なノイズの除去を行うことができる。

なお、上記実施の形態では、パーソナルコンピュータ１で処理を行う例を示したが、必ずしもこの内容に限定する必要はない。カメラなどの撮像装置の中で処理を行う場合であってもよい。また、他の装置であってもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００４年第３６７２６３号（２００４年１２月２０日出願）

Claims (9)

1. 複数の画素からなる画像データに対して、各画素位置で着目画素を含む所定範囲内の画素の画素値を用いてフィルタリングを行う画像処理方法であって、
   前記所定範囲内の各々の画素に対し、前記着目画素からの空間的な距離で定義される第１の引数と前記着目画素との信号強度の差で定義される第２の引数の２つの引数を定め、
   前記所定範囲内の各々の画素に対して掛かるフィルタリングの加重係数を、前記第１の引数と前記第２の引数の積で表される１つのまとまった引数に基づいて求め、
   前記求めた加重係数によるフィルタ係数を使用して、フィルタリングを行うことを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記第１の引数と前記第２の引数は、一体になって、１つのガウス分布を表す指数関数の式の引数を構成することを特徴とする画像処理方法。
3. 請求項１または２に記載の画像処理方法において、
   前記画像データが色差成分のとき、前記所定範囲を１次元状にとり、すべての着目画素について前記一次元の方向の第１のフィルタリングを行い、
   前記第１のフィルタリングを行った後に、前記所定範囲を前記方向と直交する方向に１次元状にとり、すべての着目画素について前記方向と直交する方向の第２のフィルタリングを行うことを特徴とする画像処理方法。
4. 請求項１または２に記載の画像処理方法において、
   前記画像データが輝度成分のとき、前記所定範囲を２次元状にとり、すべての着目画素について前記フィルタリングを行うことを特徴とする画像処理方法。
5. 請求項１または２に記載の画像処理方法において、
   前記画像データが輝度成分のとき、前記フィルタリングを輝度成分のハイパス成分に対して行うことを特徴とする画像処理方法。
6. 請求項１から５のいずれかに記載の画像処理方法において、
   前記フィルタリングを、前記画像データについてウェーブレット変換を行なった後のウェーブレット変換係数に対して行うことを特徴とする画像処理方法。
7. 複数の画素からなる画像データに対して、各画素位置で着目画素を含む所定範囲内の画素の画素値を用いてフィルタリングを行う画像処理手順をコンピュータに実行させるための画像処理プログラムであって、
   前記所定範囲内の各々の画素に対し、前記着目画素からの空間的な距離で定義される第１の引数と前記着目画素との信号強度の差で定義される第２の引数の２つの引数を定める手順と、
   前記所定範囲内の各々の画素に対して掛かるフィルタリングの加重係数を、前記第１の引数と前記第２の引数の積で表される１つのまとまった引数に基づいて求める手順と、
   前記求めた加重係数によるフィルタ係数を使用して、フィルタリングを行う手順とをコンピュータに実行させるための画像処理プログラム。
8. 複数の画素からなる画像データに対して、各画素位置で着目画素を含む所定範囲内の画素の画素値を用いてフィルタリングを行う画像処理手順をコンピュータに実行させるための画像処理プログラムを記録した記録媒体であって、
   前記所定範囲内の各々の画素に対し、前記着目画素からの空間的な距離で定義される第１の引数と前記着目画素との信号強度の差で定義される第２の引数の２つの引数を定める手順と、
   前記所定範囲内の各々の画素に対して掛かるフィルタリングの加重係数を、前記第１の引数と前記第２の引数の積で表される１つのまとまった引数に基づいて求める手順と、
   前記求めた加重係数によるフィルタ係数を使用して、フィルタリングを行う手順とをコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
9. 請求項１から６のいずれかに記載の画像処理方法を実行する制御装置を有する画像処理装置。

Images