WO2008084585A1

WO2008084585A1 - 画像処理装置および撮像装置

Info

Publication number: WO2008084585A1
Application number: PCT/JP2007/070770
Authority: WO
Inventors: Takahiro Saito; Yuki Ishii; Nobuyuki Watanabe
Original assignee: Kanagawa University; Olympus Corporation
Priority date: 2007-01-10
Filing date: 2007-10-18
Publication date: 2008-07-17
Also published as: US20120293714A1; JP4523008B2; US8538186B2; JP2008172431A; US20090324066A1; US8189940B2

Abstract

原画像信号Iを、骨格成分である第１成分Uと、原画像信号Iに対する第１成分Uの残差から得られる第２成分Vと、を含む複数の成分に分離し（Ｓ１１）、第１成分Uの信号レベルに基づきノイズ低減処理パラメータT1、T2を設定し（Ｓ１２）、ノイズ低減処理パラメータT1、T2を用いて第２成分Vのノイズを低減する（Ｓ１３）。

Description

明細書画舰職置およ U¾i ^置娜扮野

本発明は、画像信号に含まれるノイズの纖、特に信号レベルに依存するノイズの«に関する。背景嫌

J P2001-157057 Aでは、ノイズ量 Nと濃度値に変換した信号レベル Dの隱、を、 N=ab^cDにより関数化している。 a、 b、 cは項であり、鎖に与えられる。しかしながら、鍵ノイズ量は、 ¾時の? ½、露光時間、ゲインなどの要因により動的に変化するため、簡な項を用いるこの去では、 ¾ ^時のノィズ量に合^:た関数化に対応することができず、ノィズ量の推定精度が劣つていた。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングは画像上の平坦部、ェッジ部を κ¾ϋすることなく同等にするため、信号レベルからノイズ量が大と推定された領域にあるエッジ部力 s劣化してしまレヽ、原信号の保存性が低かった。さらに、各色信号間に発生する色ノイズに関しては対応できない。

また、 JP2001— 175843 Αでは、入力信号を) ¾ 信号と色 ¾ί言号とに分離し、これらの信号に基づきエッジ弓娘を求め、エッジ部!^の平坦 ¾ 域で色言号に骨ィ理を行っており、この骨化処理は信号レベルに力かわらず固定的に行われる。しかしながら、色ノイズ量は信号レベルにより異なるため、骨化麵を纖に制御することができず、色ノィズ成分の残存や原信号の劣化など力発生してしまう可能性がある。

そこで、 J P2006— 023959 Aでは、ノイズモデ'ノレに基づくノイズコアリング鍾において、色相の類献を求め、領域に分割し、領¾¾にノイズモデルを適用する去を提案している。さらに、 JP2006— 101006 Aでは、ノィズモデルに基づくノイズコアリング処理にぉ、て、 &レベルを推定するために注目画素とその周辺の平均値を用いてノイズモデルに基づくコアリングの閾値を求め、さらに、閾値内に属する画素の類 ¾に応じて、再度画像のセグメンテーションを行レ、、領鄉 IJにノィズモデルを適用するを提案している。発明の開示

しかしながら、従来の平均値を求める: であると、特にノイズのエネノレギ一が大きレ、画像にぉレ、ては、そのノィズ量除レ、た値を平均値フィルタで除くために大きなカーネノレのフィノレタが必要となる。この^^、副ィ乍用として、エッジ部近辺におレ、て、近傍の画素レベルの影響によって正しレ^ i定値が得られず、ノイズモデルを正しく適用することができなレヽがある。また、ノイズモデルの類 ί に応じたセグメンテーションにおいても、画像の構造要素を考慮していないので、エッジ部付近での挙動力溯待通りの効果を示さなレ、^^がある。

本発明は、このような従来 St于の技 ¾¾ ^^を鑑みてなされたもので、信号レべルに依存するノイズ成分をより効果的に纖し、高画質なノイズを行えるようにすることを目的とする。

本発明によれば、画舰 β置において、願像信号を、骨格成分である第 1成分と、

を含む複数の成分に » る成分分離手段と、歸己第 1成分の信号レベルを取得する信号レベル取段と、編己第 1成分の信号レベルに基づきノィズ« ^理パラメ一タを設定するパラメータ設定手段と、 ffilSノィズ理パラメータを用レヽて嫌己第 2成分のノイズを ί»τるノイズ手段と、を備える。

第 1成分の信号レベルに基づきノィズパラメ→を設定し、これを用レ、て第 2成分のノィズを ifi^Tるようにすれば、第 2成分のノィズを効果的にることができ、高画質なノイズ理を撒することができる。骨格成分は第 1 成分として分離されてレ、るので、ノィズにより骨格成分が劣ィ匕することもない。

また、本発明の別の崎によれば、複数の械分を含む顾像信号をとした画像処«置において、 S^®像信号に対して、注目画素とその近傍の^ §域での信号レベルを得る信号レベル取 ^段と、 tilt己信号レベルに基づきノィズノラメータを設定するノラメータ設定手段と、 ΙΐίΙΕノィズ、理ノラメータを用レ、て tiHB画像信号のノィズを低減するノィズ低減手段と、 IB^画像信号に対して、注目画素を含貝域での械分間の相隱数を演算する相難数演算手段と、嫌目隱数に応じて tiif己ノィズ理パラメータを補正するパラメータ補正手段と、を備免る。械分間の相関に応じてノィズ理パラメータを補正するようにしたことにより、画像信号に含まれる麵成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノィズによって後者の成分が劣化するのを抑えることができる。図面の簡単な説明

図 1は、第 1の¾»態に係る置のシステム構成図である。

図 2は、デジタノ W言号処理後の信号レベル一ノイズ分散モデルである。

図 3は、第 1の態における、成分分 »から成部までの処理に対応するフローチャートである。

図 4は、 A/D変換直後の信号レベルとノィズの分散の関係を示した特図である。

図 5は、デジタノ W言号処理部の入出力特性を示す特図である。

図 6は、軟判定閾理を説明するための図である。

図 7は、ノイズによりノイズが赚される ίを示した図である。図 8は、第 2の実 »態に係る撮 «置のシステム構成図である。

図 9は、第 2の実»態における、成分分離部から成理部までの処理に対応するフローチヤ一トである。

図 1 0は、第 3の実¾ ^態に係る撮^ ¾置のシステム構成図である。

図 1 1は、第 3の魏形態における、成分分离鄉から成分合成処理部までの鍵に対応するフローチヤ一トである。図 1 2は、第 4の実態に係る置のシステム構成図である。

図 1 3は、デジタノ W言号処理前の信号レベル一ノィズ分散モデノレである。

図 1 4は、第 5の実¾ ^態に係る置のシステム構成図である。

図 1 5は、色成分間に相関のない 1次元の画像信号の例を示した図である。

図 1 6は、色成分間に相関のある 1次元の画像信号の例を示した図である。

図 1 7は、第 6の^^態に係る |»¾置のシステム構成図である。

図 1 8は、第 7の態に係る樹«置のシステム構成図である。

図 1 9は、触分間に相関のない 1次元の画像信号の例を示した図である。

図 2 0は、 "^分間に相関のある 1次元の画像信号の例を示した図である。

図 2 1は、第 7の ¾ ^^態における、成分分から成^^ M部までのに対応するフローチヤ一トである。

図 2 2は、第 8の ¾ ^態に係る撮 «置のシステム構成図である。発明を実施するための最良の形態

以下、樹寸図面を参照しながら本発明の雄形態について説明する。

<第 1の¾»維〉

図 1は本発明の第 1の実«態に係る撮^ ¾置のシステム構成図である。図 1において、 Λはデータ信号翁、は制摘 If言号錄を表しており、各々の処理部は、システムコントローラー 1000で淛御される。

原画像は、レンズ 1001を通して CCD、 CMOS等の固体 ¾素子 1002で電気信号に変換され、馳信号処理部 1003において CDS (Correlated Double Sampling)/^] サンプリング、アナログゲインの讓等カ行われる。その後、 A/D変換部 1004でデジタノ M言号に変換され、デジタノ W言号鍵部 1005で所定の翻の画像信号源画像信号 I) に変換される。第 1の態においては、固^ »素子 1002 はモノク口用素子、像信号 Iはモノク口信号である。

成分分 » 3001では、麵像信号 Iを第 1成分 Uと第 2成分 Vに分る。第 1成分 Uは、平載分（かに変化する成分）とエッジ成分を含む顾像信号 I の骨格成分（謝可^)画像構造）であり、第 2成分 Vは、テクスチャの様な細力い構 it ^分とノイズを含む、顾像信号 Iに ¾"Τる第 1成分 Uの分である。原画像信号 Iがモノクロ信号であるので、顾像信号 I力分離される各成分 U、 V はいずれも) ¾g成分となる。

なお、ここでは、説明を簡単にするために、願像信号 Iを 2成分に分る場合にっレ、て説明するが、 3成分以上に分离 f ることも可能である。また、成分爐の^去にロ算型分離と乗算型分離があり、その詳細にっレ、ては後财る。

ノイズ ί®^®パラメータ設¾¾ 3004では、図 2に示す信号レベル一ノイズ分散モデノレまたはその近似データを参照して第 1成分 Uの信号レベルに対応するノィズの分散 σ (ノイズ ¾ を取得する。第 1成分 Uは顾像信号 Iの骨格成分であるので、第 1成分 Uの信号レベルから得られるノィズの分散 σは、顾像信号 Iに含まれていたノイズの分散 σにほぼ等しレヽ。そして、ノイズの分散 σに応じたノイズパラメータ Tl、 Τ2を設定し、ノイズ理部 3002に{ する。ノイズ理パラメータ Tl、 Τ2は、例えば、次式 (1) ：

Tl= ka T2= -ka

… ）により、それぞれノイズの分散 σに比例する値に設定される。 kは係数で、例えば 1/2である。信号レベル一ノィズ獵モデルの詳細にっレ、ては後る。

ノイズ理部 3002 では、第 2成分 V に対してノイズ理パラメータ Tl、 Τ2 を用いた軟判定閾 {麵理（コアリング処 S) を行う。第 2成分 Vは像信号 Iに含まれていたノイズと同等のノイズを含むので、この処理によれば、第 2 成分 Vに含まれるノイズを効果的に iS^Tることができる。そして、得られた値を補正第 2成分 Vとして成理部 3005にする。軟判定閾の詳細については後财る。

成理部 3005では、第 1成分 Uと補正第 2成分 Vを所定の比率、例えば 1 : 1 の比率で合成し、顾像信号 I に対してノイズが纖された合戯分 I，を得る。合戯分 Γは、 LCD等の表示素子 2001に繊されるとともに、回路 2002 を介して、フラッシュメモリ等で構成される記憶メディア 2003にされる。図 3は、成分分 « 3001力ら成^ ^纏 3005までの麵に対応するフローチヤ一トである。図中参考のため顾像信号 Iを 3成分に分る齢の麵を破線で表してレ、るが、ここでは 2成分に分 g るにつレ、て説明する。

ステップ S 1 1では、 j ®像信号 Iを第 1成分 uと第 2成分 Vに分离 rrる。

ステップ S 1 2では、第 1成分 Uの信号レベルに基づき、図 2に示した信号レべル一ノイズ分散モデルまたはその近似データを参照してノイズの分散 σを取得する。そして、ノイズ理パラメータ Tl、 Τ2 をノイズの分散 σに応じて設定する。

ステップ S 1 3では、第 2成分 Vに対してノイズ ί«0«パラメータ Tl、 Τ2を用いた軟判定閾 ίί^¾を行い、第 2成分 Vに含まれているノイズを ί職し、補正第 2成分 Vを得る。

ステップ S 1 4では、第 1成分 Uと補正第 2成分 V，を合成し、願像信号 Iに対してノイズが赚された合分 Γを得る。

続いて、成分分 3001において行う i i像信号 Iの成分^隹の詳細について説明する。麵像信号 Iから第 1成分 Uを抽出するとき、その蘇として、平職分（ ^かに変化する成分）やエッジ成分を含む顾像信号 Iの骨格成分が鹏されるような処理を用いる。成分分離の去には、上記の通り、カロ算型分離と乗算型分離があり、以下各手法について順に説明する。

加算型分離

カロ算型分離では、顾像信号 Iが次式 (2)で示すように、第 1成分 Uと第 2成分 Vの和として表される。

I = U + V

… ）ここでは、まず、有界変動関数とノルムを用いた分离 i^f去を説明する。

分離を行うために、以下の文献に開示される A¾C変分モデル (Aujol-Aubert- Blanc— Feraud~Chambolle mode上) ¾ ffiレヽる。

文献： Jean-Francois Aujol, uy Gilboa, Tony Chan & Stanley Osher, Structure— Texture Image Decomposition ~ Modeling, Algorithms, and Parameter Selection, International Journal of Computer Vision, Volume 67， Issue 1 (April 2006) Pages : 111 - 136 Year of Publication: 2006

ft ^早として求められる第 1成分 Uの性質としては、不によって区分された複数の "滑らかな輝度変ィ匕の小部貝から構成された有界変動関数空間 BV (Bounded Variation Function Space)としてモデル化され、第 1成分 Uのェネルギ一は次式 (3)の TV (Total Variation)ノルム J (U)で定義される。

- (3) 一方、式 (2)中の第 2成分 Vの関間は関輕間 Gとモデル化される。振動関經間 Gは、謹母関数 _gl、 g₂によって次式 (4)のように表現された関数の空間であり、そのエネルギーは次式 (5)の Gノノレム// V // _Gとして定義される。ー(4)

\n_G =mf l(s g2f\\_L v = d_xg_{l +}d_xg₂]

gl.g2 ^L∞

- (5) J^iii像信号 I の分離問題は、エネルギー汎関数を最匕する次式 (6)の変分問題として化される。この変分問題は、 Charabolleの Projection法によって角军くことができる。

inf \^J(u -^-\\i-u-vi₂)

… ）これにより i^ f像信号 I力ら離される第 2成分 Vはノィズの影響を受ける力第 1成分 Uはノィズの影響をほとんど受けず、ェッジを鈍らせることなく骨格成分 (謝可画像構造）力 S抽出される。

その他の加算型分の例としては、線形フィルタによる ί職分離、メジアンフィルタ、モホロジフィルタ等による適応的平滑化を行うようにしてもよレ、。以下、有界¾1)関数によらない加算型分離の ½feの例を示す。

例 1 ：第 1成分 Uを顾像信号 Iにる直底展開の低次の成分とし、第 2成分 Vを願像信号 Iに ¾"Τる第 1成分 Uの纖とする去

例 2：第 1成分 Uを顾像信号 Iにメジアンフィルタ麵した結果とし、第 2 成分 Vを顾像信号 Iに ¾ ~る第 1成分 uの纖とする^ f去

例 3：第 1成分 Uを願像信号 Iに雜モホ口ジフィルタを掛けた結果とし、第 2成分 Vを顾像信号 Iに ¾~Τる第 1成分 Uの藤とする去

例 4：第 1成分 Uを顾像信号 Iに縮小処理を施し、さらに拡大処理を施した結果とし、第 2成分 Vを原画像信号 Iにる第 1成分 Uの歹錢とする ^去例 5：第 1成分 Uを顾像信号 Iに Bilateral Filterを施した結果とし、第 2成分 Vを顾像信号 Iにる第 1成分 Uの藤とする^ ¾

乗算型分離

続いて乗算型分離の雄にっレ、て説明する。乗算型分離では、顾像信号 Iが第 1成分 Uと第 2成分 Vの積によって表されるが、顾像信号 Iを対数変換して対数原画像信号 f とすると、 7夂式 (7)のように加算型分離問題に変換することができる。 I = U * V

f = u + v;

f = log/, u = logU, v = logV

…ひ）ここでは、前述と同様に有界麵関数とノルムを用いた去を説明する。乗算型 ^隹問題は対数領域において加算型分離と同様に A¾C変分モデルを用いて解くことができる。以下では、乗算型分離を «として、対数領域における A¾C変デルについて簡単に述べる。

式 (7)中の対数第 1成分 uの関数空間は、前述の加算型分離モデルの第 1成分 U と同様に不界によって区分された複数の "滑ら力な ¾ 変化の小部貝 ' から構成された有界変動関数空間 BV (Bounded Variation Function Space)としてモデル化され、対 1成分 u のエネルギーは次式 (8)の TV (Total Variation)ノルム J(u)で定義される。 J(u) = J |Vw|^ dy

…⑧ 一方、式ひ)中の対蘭 2成分 vの関輕間は、 mm Gとモデル化される。羅関間 Gは、繊母関数 _gl、 g₂によって式 (9)のように表現された関数の空間であり、そのエネルギーは式 (10)の Gノノレム// V //_Gとして定義される。

^V(x,y) = ^dx8l(x,y) + ^dxS2(_x,y), g_V 82 ^{e L}D

…⑨

IHI_G = inf )² + (S2 f Iし； = d_xgl + d_xg₂ } · ' · (10) したがって、対像信号 fの分離問題は、エネルギー汎関数を最匕する次式 (11)の変分問題として^;化される。

- (11) これにより顾像信号 Iカゝら分離される第 2成分 Vはノィズの影響を受けている 1 第 1成分 Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（謝可^画像構造）力抽出される。

続いて、ノイズ iJS»L パラメータ設¾3 3004で参照する信号レベル一ノイズ分散モデルにっレ、て説明する。

顾像信号 Iに含まれるノイズをガウスノイズとすると、ノイズの分散 σ (ノィズ S) は、 A/D変換直後の信号レベル Loに対して 2次曲線的に増加する。これを特開 2005-175718公報に開示されているように信号レベル一ノィズモデルを 2次関数で表すと、次式 (12)力 S得られる。

σ = aL² ₀ + pL。 + /

- - - (12) ここで、ひ、 β、 γは項である。しかしながら、ノイズの分散 σは信号レべノレだけではなく、素子の ¾やゲインによっても変化する。図 4は、一例として、ある温度 tにおけるゲインに関連する 3種頃の ISO感度（ゲイン） 100、 200、 400 にるノイズの分散 σをプロットしている。個々の曲線は式 (12)に示される形態をしているが、そ (^数はゲインに関連する ISO感度により異なる。？U¾を t、ゲインを _gとし、上記を考慮した形で信号レベル一ノイズ分散モデルの^;化を行うと、

〜(13) となる。ここで、ひ、 y^ ^ ゲイン g に応じて決まる定数項である。フル力ラ一の:^、このノィズモデルは各舰立に適用することができる。しかしながら、第 1の¾»鄉では、デジタノ M言号麵部 1005 の後段で成分分離、ノイズ iW理を行うので、上記モデルをそのまま用いることはできなレヽ。そこで、上記信号レベル一ノイズ分散モデノレの特性に加え、デジタル信号処理部 1005 の特性を考慮し、デジタル信号処理後の信号レベルについて信号レベル一ノィズ分散モデルを得る。

例えば、デジタノ W言号処理部 1005力 12bitの入力信号を 8bit出力信号に! ¾ ¾ 変換する Knee処理又は _Ί変換である場合、デジタノ W言号処理部 1005は図 5の様な入出力信性を有している。図中、 L (12)は A/D変換直後の信号レベル、 L(8)はデジタノ W言号処理後の信号レベルを表す。

したがって、式 (12)あるいは (13)の A/D変換直後の信号レベル一ノィズ分散の特性と、図 5の様なデジタノ言号処理部 1005 の特性を考慮すると、デジタノ W言号処理後の信号レベル Y (8)とノイズの分散 σは、図 2に示した単峰の曲線の関係（信号レベル一ノイズ分散モデル）となる。

ノイズ iWQ;理パラメータ設 3004では、図 2に示した信号レベル一ノイズ ^[モデルを参照してノイズの分散 σを取得し、これに応じたノイズ理パラメータ Tl、 Τ2を設定している。なお、簡匕のために、図 2に代えて、図 2を折れ線で近似したデータを参照するようにしても.よレ、。

続いて、ノイズ理パラメータ Tl、 Τ2を用いた軟判定閾理について説明する。

願像信号 I力ら分離された第 2成分 Vは上記の通りノイズを含むので、ノイズ i^ m 3002では、以下に説明する軟判定閾ィ麵理（コアリング処により第 2成分 Vに含まれるノィズを ί©^τる。

軟判定閾値処理は、基準値を Β、上限閾値を C1=B+T1 (Τ1>0)、下限閾値を C2=B+T2 (T2く 0)とし、鍵前の信 "^直 Aと処理後の信^ f直 Dの関係が次式 (14)で表される信号処理である。

B + T1 ぐ (DM^- ΰ = A - Tl

B + T2 < A < B + T1の D = Β

Α ぐ B + Τ2の^^ D = Α - T2

ー(14) 図 6は軟判定閾値処理が行われる様子を示している。図 6 (a)に示す 1 7火元の信 ^直 Aに対して軟判定閾ィ集理を行うと、図 6 (b)に示す信 ^直 D力 S得られる。このとき基 Bには信^直 Aの移動平均を用いている。

第 1の¾&¾¾態では、原画像信号 Iから分離された第 2成分 Vに対して上言夂判定閾 fi^理を行う。第 2成分 Vは、 J^lli像信号 I力骨格成分である第 1成分を除いたものであるので、直 Bは 0と考えて良レ、。

図 7は、上言誠分分離、ノイズ «2;理により麵像信号 Iのノイズが嫌される 1»を示している。

図 7 (a)は、 17火元で表した ig®像信号 Iを示しており、ノイズを含んでいる。図 7 (b)は、成分分 3001によって顾像信号 Iから分離された第 1成分 Uを示している。第 1成分 Uは平職分とエッジ成分を含 tf 格成分であり、ノイズを殆ど含んでいない。

図 7 (c) は、成分分 3001によって得られた第 2成分 Vを示している。第 2 成分 Vは顾像信号 Iにる第 1成分 Uの歹^)¾分であり、 S像信号 Iに含まれてレヽたノイズと同等のノィズを含んでレ、る。

図 7 (d)は、第 2成分 Vに対して軟判定閾を行った結果である。補正第 2 成分 V，は第 2成分 Vに比べてノイズが赚されている。信号レベル一ノイズ獵モデルを参照してノイズの分散 σを取得するためには、通常、ノイズの無い原信号を推定する必要があるが、第 1の¾»態では、これに代えて骨格成分である第 1 成分 Uの信号レベルを用いてノイズの分散 σを取得するようにしている。なお、ここでは、簡単のために、図 2に示した信号レベル一ノイズ分散モデルを折れ線で近似したデータを参照してノィズの纖 σを取得した。

図 7 (e)は、成成処理部 3005で図 7 (b)の第 1成分 Uと図 7 (d)の補正第 2成分 Vとを 1 : 1 で合成した結果である。図 7の (a)と（e)を比較するとわかるように、合舰分 Γは顾像信号 Iに対してエッジ成分を保存しつつ、ノイズが纖されている。なお、合成時の混合比は任意に設定することができる。

続レ、て第 1の態の作用効果にっレ、て説明する。

原画像信号 I に含まれる信号レベル依存のノイズを信号レベルから推定する場合、ノイズのなレ、顾像信号 Iを推定する必要があるが、骨格成分である第 1成分 Uの信号レベルを用レ、れば像信号 Iに含まれるノィズを精度良く推定することができる。その一方で、像信号 Iにる第 1成分 Uの分である第 2成分 Vには、顾像信号 Iに含まれていたノイズと同等のノイズが分離される。したがって、第 1成分 Uの信号レベルに基づき、第 2成分 Vのノイズをるためのノイズパラメータ Tl、 Τ2を設定し、これを用いて第 2成分 Vのノィズを ί»Τるようにすれば、第 2成分 Vのノイズを効果的に ί することができ、高画質なノイズ理を徵することができる。エッジ成分は骨格成分である第 1成分に含まれるので、ノィズ処理によってエツジが劣化することはない。

なお、ノイズの; としては、信号レベル依存の信号処理であれば何れの;^去でもよく、例えば、上記の通り、ノイズ ί©¾^理パラメータ Tl、 Τ2 に応じた閾値と第 2成分 Vを比較して第 2成分 Vを補正する軟判定閾を利用することができる。

また、成分分離の雜は、上記した加算型分離、乗算型分離の何れを用いても良く、また、 2成分への分離のみならず、 3成分以上に分 gt るようにしても構わなレ、。また第 2〜第 N成分に "るノイズ «^理は、上言嫩判定閾 ί集理に限定されず、信号レべノレに基づきノイズを ί»Τる処理であれば、 f可れの; W去でもよレヽ。

<第 2の態 >

第 2の実 »態以降の態はフルカラーに対応した実沲形態である。第 1の mmと共通の構成にっレヽては同じ参照符号を付して説明を省略する。図 8は第 2の実施形態に係る撮像装置のシステム構成図であり、固体撮像素子 1012 は色フィルタアレイを前面に配置したフルカラー用素子である。固^ t 像素子 1012は、 W¾、複のいずれでも良い。

^^分分 « 3008では第 1成分 Uを各 ^^分（R成分、 G成分、 B成分）に分離し、各分の信号レベルを取得する。

ノイズ iSMMノラメータ設 3004では、各 ^^分の信号レベルに基づき、図 2に示した信号レベル一ノィズ分散モデルあるいはその近似データを参照し、ノィズの分散 σを J¾飾に取得する。そして、各械分のノイズ理パラメ一タ Tl、 Τ2 を、対応する ^^分のノイズの分散 σに応じた値、例えば、ノイズの分散 σに比例した値に設定する。

触分分 » 3009では、成分分 «33001で得られた第 2成分 Vを各^^分に分 ¾H "る。

ノイズ «»!部 3002では、第 2成分 Vの各械分に対して、第 1の魏形態で説明した軟判定閾を ^に独立に行レ \ 各 ^分に含まれるノィズを ig«~る。

図 9は成分分离鄉3001力成^成処理部 3005までの処理のを示したフロ一チヤ一トである。参考のため 3成分に分離する場合の処理を■で表している力ここでは 2成分に分离 f る齢にっレ、て説明する。

ステップ S 2 1では、像信号 Iを第 1成分 Uと第 2成分 Vに分る。ステップ S 2 2では、第 1成分 Uを各 ^^分に分離し、各 ^^分の信号レベルを得る。ステップ S 2 3では、各色成分の信号レべノレに基づき、図 2に示した信号レベル —ノィズ分散モデ、ノレあるレヽはその近似データを参照してノィズの分散ひを^^ に取得する。そして各触分のノィズの分散 σに応じて第 2成分 Vの各 ^^分に対するノィズ« ^理パラメータ Tl、 Τ2を設定する。

ステップ S 2 4では、第 2成分 Vを各分に分离 tfる。

ステップ S 2 5では、第 2成分 Vの各^^分に対して、対応する分のノイズ « ^理パラメータ Tl、 Τ2 を用いた軟判定閾を^^^に独立に行い、軟判定閾 ί讓理後の値を補正第 2成分 Vとする。

ステップ S 2 6では、第 1成分 U と補正第 2成分 Vとを合成し、像信号 I に対してノイズが謹された合舰分 Γを得る。

この第 2の¾»維によれば、顾像信号 I力 S複数の^^分を含む:^であっても、第 1の¾»態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ理を行うことができる。

なお、成分分離の雜〖 H算型分離、乗算型分離の何れを用いても良い。また、第 2成分 Vのノイ

信号レベル依存の信号であれば、何れの;^去も適用できる。

<第 3の魏形態 >

図 1 0は第 3の^ β離に係る置のシステム構成図である。先の態と共通の構成にっレヽては同じ参照符号を付して説明を省略する。

第 3の雄形態では色成分分離部 3008に代えて Y/C分離部 3018を備える。 Y/C 分 « 3018では、第 1成分 Uを艇成分 Yと色誠分 Cb、 Crに分離し、成分 Yの信号レベルを取得する。第 1成分 Uを構^ 1~る R成分、 G成分、 Β成分から輝舰分 Υ、色誠分 Cb、 Crへの変換は、次式 (15)により行われる。

Y = 0. 29900R +0. 58700G +0. 11400B

Cb = -0. 16874R -0. 33126G +0. 50000B

Cr = 0. 50000R -0. 41869G ~0· 08131B

- (15)

3004では、図 2に示した信号レベル一ノイズ分散モデレレまたはその近似データを参照して) 分 Yの信号レべノレに応じた各色成分のノイズの分散 σを取得する。そして、各分のノイズSML理パラメータ Tl、 Τ2 を、対応する色成分のノイズの分散 σに応じた値、例えば、ノイズの分散 σに比例した値に設定する。

^ ^^ ^ 3009では、成分分 » 3001で得られた第 2成分 Vを各械分に分る。ノイズ部 3002は上言 EiC判定閾理を^ ¾ ^に独立に行い、各 ^^分に含まれるノィズをる。

図 1 1は成分分離都 3001から成分合理部 3005までの処理を示したフローチヤートである。参考のため 3成分に分 g るの処理を赚で表しているが、ここでは 2成分に分る齢にっレ、て説明する。

ステップ S 3 1では、顾像信号 Iを第 1成分 Uと第 2成分 Vに分 g る。ステップ S 3 2では、第 1成分 Uを Y/C成分に分離し、輝 ^^分 Yの信号レベルを得る。

ステップ S 3 3では、第 1成分 Uの鍵成分 Yの信号レベルに応じ、図 2に示した信号レベル一ノィズ分散モデノレまたはその近似データを参照してノィズの分散 σ を取得し、これに応じた第 2成分 Vの各触分に财るノィズ理パラメータ Tl、 Τ2をそれぞれ設定する。

ステップ S 3 4では、第 2成分 Vを各色成分に分離する。

ステップ S 3 5では、第 2成分 Vの各械分に対して、ノイズィ理パラメ一タ Tl、 Τ2を用いた軟判定閾を色成^に独立に行い、補正第 2成分 V，を得る。

ステップ S 3 6では、第 1成分 U と補正第 2成分 V，とを合成し、麵像信号 I に対してノイズが βされた合 β¾¾分を得る。

この第 3の実¾ ^態によれば、像信号 Iが複数の色成分を含む場合であっても、第 1の »纖と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ理を行うことができる。

なお、成分分離の雜《¾Π算型分離、乗算型分離の何れを用いても良い。また、第 2成分 Vのノイズをィ »Τる処理の去は軟判定閾 ίίΜに限定されず、信号レベル依存の信号処理であれば、何れの; W去も適用できる。

また、この雄形態においては、第 1成分から離成分 Υを分離し、鍵成分 Υ の信号レベルに応じてノイズ理パラメータ Tl、 Τ2 を設定するようにしているが、 ^分 Υの信号レベルに代えて、離成分 Υを最も反映している G成分を補間して得られる信号の信号レベルを用いるようにしても構わなレ、。

<第 4の¾^態 >

図 1 2は第 4の纖形態に係る置のシステム構成図である。先の^^態と共通の構成につレヽては同じ参照符号を付して説明を省略する。

第 1の¾»態では、デジタノ M言号処理部 1005の後段に、成分分 3001〜成. 分合成処理部 3005 を配置しているが、第 4の実施形態では、図 1 2に示すように、デジタノ W言号処理部 1005の前段にこれらの要素を配置し、 A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ雌処理を行う。この^^、成分分離を ft應として、一旦フルカラ言号 «像信号 I) を得るために、補間処理部 4000で、色フィルタアレイを通して得られた信号をデモザィキングする。

そして、第 4の¾»態では、第 2の ¾5¾ ^態と同様に、各触分の信号レベルに基づき、信号レベル一ノイズ分散モデルを用いてノイズ低減処理パラメータ Tl、 Τ2 を色成に設定する。第 4の実施形態では、デジタル信号処理の前段で信"^離、ノイズ β^Μを行うので、信号レベル一ノイズ分散モデルとして、図 2に示したモデルではなく、図 1 3あるレヽは式 (12)、 (13)で表されるモデルを参照してノィズの散 σを取 ί辱する。

その後の、軟判定閾 ίί^Μによる第 2成分 Vのノイズ «Μ、第 1成分 Uと補正第 2成分 V，の合)^理に関しては、第 2の態と同様である。

この第 4の実施形態によれば、原画像信号 Iが複数の色成分を含む場合に適応し、第 1の!^態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ®» 理を行うことができる。また、デジタル画脑理部の前段において成分分離、ノィズ« ^理を行うので、成分分 » 3001 における骨格成分とノイズ成分の分力が向上する。なお、成分分離の雜〖 H算型分離、乗算型分離の何れを用いても良い。また、第 2成分 Vのノイズを is t る «のは軟判定閾ィ幽理に限定されず、信号レベル依存の信号処理であれば、何れの去も適用できる。

また、この第 4の¾»態では各^ ^分の信号レベルに基づきノイズの分散ひを取得し、これに応じてノイズパラメータ Tl、 Τ2を設定するようにしているが、各触分の信号レベルに代えて、 A/D変換直後の全械分を変換して得られる) Si 成分 Υの信号レベル、あるいは、成分 Yを最も反映している G成分を補間して得られる信号の信号レベルを用いるようにしてもよい。

<第 5の態 >

ノイズを含まないカラー画像において、 3 X 3の近イ^域で言«した局所色間相互相隱、数（以下、「相賺、数」という。）は 1に近い正値を示す一方で、ノイズを含むカラー画像では、相 Γ蕭数が低下する画素を含むため、近 ί練域で籠した相関係数は低下する。このこと力、相関係数の値が小さいほど画像信号に含まれるノイズが多いといえる。

そこで、第 5の魏形態では、触分間の相関に応じて軟判定閾讓理のノイズパラメータ Tl、 Τ2を補正する。これにより、相関が高レ、領域では軟判定閾ィ維理での幅が狭まり、願像信号 Iを ί藉する様に作用する一方で、相関の低レ、領域では軟判定閾 ίί 理での幅力 S広がって、 ]¾1ί像信号 Iを平坦化することができ、より高精度のノイズ低理ができる。

図 1 4は第 5の¾»態に係る it ^置のシステム構成図である。先の態と共通の構成にっレヽては同じ参照符号を付して説明を省略する。デジタノ W言号処理部 1005 カら出力された顾像信号 I (フルカラ^ ί言号）は色成分分離部 3022、相関演算処理部 3006及びノイズ ifi ^理部 3002 に 5¾される。

分^ 8鄉 3022は顾像信号 Iを各触分に分離し、代 ¾ί言号レベル算出部 3023では、分離された各色成分にっレ、て所定の画素位置近傍の代表信号レベルを算出する。代 ¾ί言号レベルを算出するにあたっては、線形フィルタ、メジアンフィルタ等の非線形フィルタ、バイラテラルフィルタ等の非線？フィルタ、モホロジフィルタ等を體することができる。

ノイズ理パラメータ設 3004では、図 2に示した信号レベル一ノイズモデルあるいはその近似データを参照して、各色成分の代謝言号レベルに応じたノイズの分散 σを取得する。そして、各色成分のノイズ低減処理パラメータ Tl、 Τ2 を、対応する色成分のノイズの分散 σに応じた値、例えば、ノイズの分散 σに比例した値に設定する。

相関演算処理部 3006では、後财る様に、注目画素位置を含應での各触分の相赚数を演算し、その最小値である最湘隱数 rを出力する。

ノラメータ補正部 3007では、最 /J4目難数 rに基づき補正係数 Cを算出し、これを各触分のノイズ ίδ»ί¾パラメータ Tl、 Τ2 に掛けることで各^^分のノィズ理パラメータ Tl、 Τ2を補正する。

ノイズ iS^L理部 3002では、補正後のノイズ ®»理パラメータ Tl、 Τ2を用いた軟判定閾値を色成分毎に独立に行い、原画像信号 Iに含まれる信号レベル依存のノイズをる。相関演算処理とノイズ理パラメータ Tl、 Τ2の補正

触分間の相関に応じたノイズ理パラメータ Τ1、 Τ2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために^ ®像信号 Iが 1次元であるとして説明する。

図 1 5、図 1 6は、願像信号 Iの画素位置と各触分の信号レベルとの関係を示している。図 1 5に示す例では、触分間に相関がなく、この、各画素位置の各触分の信号レベルは、

画素位置 R G _Β_

1 150 180 130

2 220 120 140

3 160 150 100

4 200 140 160

5 140 100 200

である。このとき、 R~G間、 G~B間、 B - R間の各相,数を求めると、

R-G GzB B-R

相関係数 -0. 15836 -0. 69668 -0. 14106

となり、最 /J4目関係数 rは、 -0. 69668となる。

一方、図 1 6に示す例では、色成分間に相関があり、各画素位置の各色成分の信号レベルは、

画素位置 _R_ _G_ _B_

1 100 120 150 2 150 160 180

3 170 160 180

4 100 120 90

5 90 100 100

である。このとき、 R~G間、 0"B間、 B-R間の各相 Π、数を求めると、

R-G G-B B-R

相^^数 0. 962099 0. 866459 0. 848117

となり、最 /J4目聽数 rは、 0. 848117となる。

第 5の態では、最隱数 rを用いてノイズ理パラメータ Tl、 Τ2をそれぞれ、次式 (16)により補正する。

Tl<-c (l-r)²Tl

T2^c (l-r)²T2

- (16) c=l とすると、ノイズ ^理パラメータ Tl、 Τ2の補正係数 Cは (1- r)²となり、補正係数 Cは、図 1 5の、 2. 878739で、図 1 6の、 0. 023069 となる。

したがって、図 1 5の様に触分間に相関がない:^は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、原信号をより骨化するように作用する。一方で、図 1 6の様に分間に相関がある^は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正力 S行われる。このように、第 5の難形態によれば、触分間の相関に応じて軟判定閾 ίίΜ のノイズ理パラメータ Tl、 Τ2 を補正するようにしたことで、像信号 I に含まれる »)成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノィズによつて後者の成分が劣ィ匕するのを抑えることができる。

なお、ここでは代謝言号レベルからノィズの σを求め、これに応じたノイズ理パラメータ Tl、 Τ2 を設定するようにしているが、代言号レベルに代えて、全触分を変換して得られる) TO成分 Υの信号レベル、あるいは、離成分 Y を最も反映してレ、る G成分を補間して得られる信号の信号レベルを用レ、てもよレ、。

<第 6の ^態〉

図 1 7は第 6の ^態に係る置のシステム構成図である。先の ^態と共通の構成にっレ、ては同じ参照符号を付して説明を省略する。

第⁶の¾ ^態では、第⁴の¾»維と同様に、 A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して軟判定閾値処理を行う。したがって、第 6の実層維では、一旦フルカラ ^{言号麵像信号 I) を得るために、補間処理部 4000 で色フィルタァレイを通して得られた信号をデモザィキングする。

また、デジタノ W言号処理を施す前に成分分離、ノイズ理を行うので、ノィズ^^理パラメータ設 3004では、各触分の信号レベル一ノイズの σ のモデノレとして、図 2に示したモデルではなく、図 1 3あるいは式 (12)、 (13)で表されるモデルを参照して各^^分のノイズの分散 σを取得し、これに応じたノイズ «処理パラメータ Tl、 Τ2 を色成分毎に設定する。ノイズ «処理パラメータ Tl、 Τ2は、例えば、ノイズの分散 σに比例する値に設定する。

^^分間の相関による軟判定閾 tt^理のノイズ低»¾パラメータ Tl、 Τ2の補正は、ノ、。ラメータ補正部 3007において第 5の¾»態と同様に式 (16)により行われる、また、スィズ纖処理部 3002 では、補正後のノイズ«処理パラメータ Tl、 Τ2を用いた軟判定閾値処理を原画像信号 Iに対して行い、原画像信号 Iに含まれる信号レベル依存のノィズを iS^Tる。

色フィルタアレイ信号抽出部 5000では、ノイズ、«^理後の画像信号から色フィルタァレイの配列に対応する位置の信号を取り出し、デジタル信号処理部 1005 に画像信号をする。デジタル信号処理後の信号は後段の表示素子 2001、記憶メディァ 2003へとされる。

第 6の ^態では、第 5の¾»態と同様に械分間の相関に応じて軟判定閾 ffi 理のノイズ理パラメータ Τ1、 Τ2 を補正するようにしたことで、 i^ 像信号 Iに含まれる ¾1¾成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノィズにより後者の成分が劣化するのを抑えることができる。

なお、ここでは代雄号レベルからノイズの分散 σを求め、これに応じたノイズ « ^理パラメータ Π、 Τ2 を設定するようにしている力代言号レベルに代えて、 A/D変換直後の全 ^^分を変換して得られる) ¾ 成分 Υの信号レベル、あるいは、贿成分 Yを最も反映している G成分を補間して得られる信号の信号レベルを用いてもよレヽ。

<第 7の ¾¾^態> 図 1 8は第 7の¾ ^態に係る置のシステム構成図である。先の態と共通の構成については同じ参照符号を付して説明を省略する。

第 7の¾5^態では、第 2の ^態に示した成分分 ¾ ^の軟判定閾ィ幽理と、第 5、第 6の ^態に示した分間の相関に応じたノィズS»理パラメータ Tl、 Τ2 の補正を ¾ίϋ~る。ただし、第 5、第 6の実施形態と異なり、触分間の相関演算は顾像信号 I力ゝら僵された第 2成分 Vに対して行う。

顾像信号 I力分離された第 1成分 Uは触分分讓 3008に送られ、械分 ^133008では各 ^^分の信号レベルを取得する。

ノイズ ffi^®パラメータ取纏 3004では、第 2の¾»態と同様に、各械分の信号レベルに基づき、信号レベル一ノイズ分散のモデルを参照してノイズの分散 σを触分毎に取得する。そして、各色成分のノイズ ifi^t理パラメータ Tl、 Τ2 を、対応する色成分のノイズの分散 σに応じた値、例えば、ノイズの分散ひに比例した値に設定する。

J^ 像信号 I力、ら分離された第 2成分 Vは、 ^^分， 3009で各分に分離された後、相関演算処理部 3006に{ され、相関演算部 3006では、第 2成分 Vに対して第 5、第 6の ¾1 ^態と同様に各色信号の相関演算処理を行い、最小相関係数を算出する。

ノラメータ補正部 3007では、最 /J4目 M ¾ rに基づきノイズ (g»理パラメ一タ Tl、 Τ2 の補正係数 C を演算し、これを各色成分のノイズ鎌処理パラメータ Tl、 Τ2に掛けて各^ ^分のノイズ ifi^理パラメータ Tl、 Τ2を補正する。

ノイズ i®»理部 3002では、第 2成分 Vの各触分に対して、補正したノイズ理パラメータ Tl、 Τ2を用いた軟判定閾 ffi^ を触^に独立に行い、各色成分に含まれるノイズを麵する。そして、得られた信号を補正第 2成分 V，として出力する。

成^^ 理部 3005では、第 1成分 ϋと補正第 2成分 Vを所定の比率、例えば 1 ： 1の比率で合成し、顾像信号 Iに対してノイズが纖された合戯分 Γを得る。

相関演算処理とノィズfi ^理パラメータ Tl、 Τ2の補正

械分間の相関に応じたノイズパラメータ Tl、 Τ2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために第 2成分 Vが 1次元であるとして説明する。第 2成分 Vがテクスチャの様な細力ゝぃ構 ¾ ^分とノイズを含む、顾像信号 Iに ¾~Τる第 1成分 Uの分であるので、第 2成分 Vはゼロを中心として変動する成分である。

図 1 9、図 2 0は第 2成分 Vの画素位置と各 ^^分の信号レベルとの関係を示している。

図 1 9に示す例では、色成分間に相関がなく、各画素位置の各色成分の信号レべルは、

画素位置 _R_ _G_ _B

1 -5 7 2

2 4 -2 2

3 -2 4 4

4 1 -5 5 5 6 -1 2

である。 R~G間、 G-B間、 B- R間の各相 Γ蕭、数を求めると、

相 Μ 、数 -0. 75148 -0. 36622 -0. 19914

となり、最 /J4目斷、数 rは、 -0. 75148となる。

一方、図 2 0の例では、触分間に相関があり、各画素位置の各触分の信号レベルは、

画素位置 R G B

1 1 0 -1

2 4 3 3

3 5 3 4

4 -2 -1 0

5 -1 0 -1

である。 R~G間、 G~B間、 B-R間の各相関係数を求めると、

R-G G=B BzR

相関係数 0. 964023 0. 911685 0. 873891

となり、最 /J4目隱数 rは、 0. 873891となる。

以上のようにして最小相関係数 r を算出したら、ノイズ低減処理パラメータ Tl、 Τ2は、第 5の^^態で用いた式 (16)によりそれぞ; ^t正される。 c=lとすると、ノィズ« ^理パラメータ Tl、 T2の補正係数 Cは (ト r) ²となり、補正係数 C は、図 1 9の:^で 3. 0677、図 2 0の:^で 0. 01590となる。したがって、図 1 9の様に械分間に相関がなレ、は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、信号をより骨化するように作用する。一方で、図 2 0の様に触分間に相関がある:^は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正が行われる。

図 2 1は、成分分離部 3001から成合部 3005までの処理に対応するフ口一チャートである。参考のため J^®像信号 Iを 3成分に分離するの処理を石で表してレ、るが、ここでは 2成分に »Τるにつレヽて説明する。

ステップ S 7 1では、顾像信号 Iを第 1成分 Uと第 2成分 Vに分 ¾ る。ステップ S 7 2では、第 1成分 Uを各色成分に分離し、各色成分の信号レベルを得る。

ステップ S 7 3では、各色成分の信号レべノレに基づき、図 2に示した信号レベル —ノイズ分散モデルまたはその近似データを参照してノイズの分散 σを取得し、これに応じて、にノイズ理パラメータ Tl、 Τ2を設定する。

ステップ S 7 4では、第 2成分 Vを各 ^分に分る。

ステップ S 7 5では、第 2成分 Vの各触分の相関を演算し、最 /』4目聽数 rを算出する。

ステップ S 7 6では、最 /J湘赚数 rに基づき、ステップ S 7 3で得られた各色信号のノイズ « ^理パラメータ Tl、 Τ2の補正係数 Cを算出する。

ステップ S 7 7では、ノイズ理パラメータ Tl、 Τ2に補正係数 Cを掛けてノイズ理パラメータ Tl、 Τ2を補正する。そして、第 2成分 Vの各械分に対して補正後のノイズ «処理パラメータ Tl、 Τ2 を用いた軟判定閾 ίί 理を行い、補正第 2成分 V，を得る。

ステップ S 7 8では、第 1成分 Uと補正第 2成分 Vを合成して、 J^®像信号 I に対してノイズが赚された合戯分 Γを得る。

第 7の ¾ϋ ^態によれば、願像信号 I力 S複数の触分を含むであっても、第 1の態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ ίβ»Μを行うことができる。

また、色成分間の相関に応じて軟判定閾値処理のノィズ低減処理パラメータ Tl、 Τ2を補正するようにしたことにより、第 2成分 Vに含まれる β成分のうちノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノィズによって後者の成分が劣化するのを抑えることができる。

なお、成分分離の雜〖 H算型分離、乗算型分離の何れを用いても良い。また、第 2成分 Vのノイズをる処理のは軟判定閾 ίίΜに限定されず、信号レベル依存の信号処理であれば、何れの; W去も適用できる。

なお、ここでは第 1成分 Uの各色信号の信号レベルに基づきノィズの分散 σを取得し、これに応じたノイズ理パラメータ Tl、 Τ2を設定するようにしている力第 1成分 ϋの各色信号の信号レベルに代えて、第 1成分から分離し d¾¾J¾分 Yの信号レべノレ、あるいは、輝 «分 Yを最も反映している G成分を捕間して得られる信号の信号レベルを用いてもよい。

<第 8の難形態 > 図 2 2は第 8の^^態に係る »g置のシステム構成図である。先の態と共通の構成にっレ、ては同じ参照符号を付して説明を省略する。

第 8の¾»態では、第 4、第 6の ^態と同様に、 A/D変換直後の信号（デジタノ W言号麵を行う前の信号）に対して成分分離、ノイズ理を行う。この、成分分離を前提として、一旦フルカラー信号（原画像信号 I) を得るために、補間処理部 4000で、色フィルタアレイを通して得られた信号をデモザィキングする。

また、デジタノ W言号処理を施す前に成分分離、ノイズ « ^理を行うので、ノィズパラメータ設^ 13 3004は、各触分の信号レベル一ノイズ分散のモデノレとして、図 2に示したモデルではなく、図 1 3あるいは式 (12)、（13)で表されるモデルを用いてノイズの纖ひを^ ¾ ^に取得する。そして、各械分のノイズ

« ^理パラメータ Tl、 Τ2 を、対応する械分のノイズの分散 σに応じた値、例えば、ノィズの分散 σに比例した値に設定する。

その後の軟判定閾 «L理によるノィズ理は他の態と同様である。また、 ^^分間の相関によるノイズパラメータ Tl、 Τ2 の補正は第 5の形態と同様であり、最 /J湘関係数 rに応じて式 (16)によりノィズ« ^理パラメ一タ Tl、 Τ2力 S捕正される。

ノイズ理部 3002力、ら出力される補正第 2成分 V，は、成分合成処理部 3005 で第 1成分 Uと合成される。色フィルタアレイ信号抽出部 5000では、合舰分 Γ から色フィルタアレイの配列に対応する位置の信号を取り出し、デジタノ W言号摩部藤に画像信号を磁する。この第 8の^ ^態によれば、原画像信号 I力 S複数の械分を含む ^^であっても、第 1の¾»態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ ifi^ 理を行うことができる。

また、色成分間の相関に応じて軟判定閾値処理のノィズ低減処理パラメータ Tl、 Τ2 を補正するようにしたことにより、第 2成分 Vに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノィズによつて後者の成分が劣、ィ匕するのを抑えることができる。

また、デジタノ言号処理部 1005 の前段において成分分離、ノイズ理を行うので、成分分 3001における骨格成分とノイズ成分の分 ϋΙ^Ιが向上する。なお、成分彌の雜 ¾¾u算型分離、乗算型分離の何れを用いても良い。また、第 2成分 Vのノイズを ifi^r る処理の去は軟判定閾 ίί ®に限定されず、信号レベル依存の信号麵であれば、何れの;^去も適用できる。

また、ここでは第 1成分 Uの各色信号の信号レべノレに基づきノイズの分散 σを取得し、これに応じたノイズパラメータ Tl、 Τ2を設定するようにしている力第 1成分 ϋの各色信号の信号レベルに代えて、 A/D変換直後の全分を変換して得られる) ¾¾¾分 Υの信号レベル、あるいは、 ^分 Υを最も反映している G成分を補間して得られる信号の信号レベルを用レ、てもよい。

以上、本発明の実»態について説明したが、上記 «?1 ^態は本発明の適用例の一部を示したに過ぎず、本発明の技«範囲を上記実»態の具体^成に限定する趣旨ではなレ、。

Claims

請求の範囲

1. 画像処置において、

顾像信号を、骨格成分である第 1成分と、

1成分の藤から得られる第 2成分と、を含む複数の成分に分 ¾·τる成分分離手段と、 Ι ΙΞ第 1成分の信号レベルを取得する信号レベル取段と、

編己第 1成分の信号レベルに基づきノィズ¾»¾パラメータを設定するパラメータ設定手段と、

廳己ノィズ« ^理パラメータを用レ、て ΐίιΐΕ第 2成分のノィズを ig^ るノイズ ί 手段と、

を備えたことを mとする画像^^ ¾

2. 請求項 1に言2¾の画像処«置において、

膽己ノィズ纖手段は、謝己ノィズパラメータに応じて設定される閾値と膽己第 2成分との比^果に基づき iif己第 2成分のノィズを »Τることを if« とする画^ 0«

3. 請求項 1または 2に f¾feの画置において、

クロであり、

嫌己第 1成分及ひ rt己第 2成分はそれぞれ) 分であることを赚とする画像処職

4. 請求項 1または 2に記載の画像 ¾置において、

tirts^ i像信号は複数の ^^分力ゝら構成され、

膽己信号レベル取段は、廳己第 1成分の各触分の信号レベルを取得し、 ΙίίΙΕ^ラメータ設定手段は、 ttJlH第 1成分の各触分の信号レベルに基づき、前記第 2成分の各分に対応するノィズ理パラメータを設定し、

ΙΕノイズ ί繊手段は、辦己第 2成分の各触分のノイズを、対応する触分のノィズ ί®»理パラメータを用レ、て »Τる、

ことをとする画像処 ¾

5. 請求項 1または 2に言 Ξ«の画^ «置において、

ΙΙίΙΕ^ ί像信号は複数の^^分力ゝら構成され、

嫌己信号レベル取段は、嫌己第 1成分の鍵成分の信号レベルあるいは G成分を補間して得られる信号の信号レベルを取得し、

爾 Ε/、°ラメータ設定手段は、魔己第 1成分の鍵成分の信号レベルあるいは G成分を補間して得られる信号の信号レベルに基づき、嫌己第 2成分の各 ^^分に対応するノィズパラメータを設定し、

嫌己ノイズ «手段は、 ΙΕ第 2成分の各^^分のノイズを、対応する^ ^分のノィズ理パラメータを用レ、てる、

ことをとする画

6. 請求項 1または 2に言 S«の画置にぉレヽて、

ttjiai ii像信号は複数の触分から構成され、

嫌己画腕職置は、

ΙίίΙΒ第 2成分に対して、注目画素を含域での触分間の相難数を演算する相関演算手段と、

tiri¾¾赚数に基づき膽己ノィズパラメータを補正するパラメータ補正手段と、

を備えたことを纖とする画 7. 請求項 6に言 2«の画置において、

辦己注目画素を含 i錄域での触分間の相隱数に対して負の相関を持つ補正係数を算出し、 ΙίίΙΞノィズ ifi^Mパラメータに前言 ¾i正係数を掛けて嫌己ノィズ te^ パラメータを補正することをとする画舰職齓

8. 請求項 7に ts¾の画置において、

膽、°ラメータ補正手段は嫌 Bffi正係数を次式：

C = (1-r)²

r：注目画素を含 tifii 域での^^分間の相関係数

により算出することを [とする画^

9. 請求項 6から 8のレ、ずれか一つに言 2<feの画»^置において、

嫌 21^®像信号は 3種以上の械分を含み、

1«¾関演算処理手段は、 IflfEtS隱数として複数の舗分間の相隱数のうち最 /jィ直を職することを難とする画

1 0 · 請求項 6から 9のレヽずれか一つ言 Ξ«の画像処¾置において、

ΙΐίΙΕ信号レベル取段は、悲第 1成分の各触分の信号レベルを取得し、嫌 S/ ラメータ設定手段は、廳己第 1成分の各械分の信号レベルに基づき、前記第 2成分の各械分に対応するノィズパラメータを設定し、

tiff己ノイズ手段は、 l己第 2成分の各分のノイズを、対応する ^^分のノィズWOf理パラメータを用レ、て « る、

ことをとする画^^

1 1. 請求項 6から 9のレヽずれか一つに言の画置において、

編己信号レベル取 ^段は、廳己第 1成分の) ¾¾¾分の信号レベルあるいは G成分を補間して得られる信号の信号レベルを取得し、

嫌 S/、°ラメータ設定手段は、嫌己第 1成分の鍵成分の信号レベルあるいは G成分を補間して得られる信号の信号レベルに基づき、膽己第 2成分の各 ^^分に対応するノィズ理パラメータを設定し、

嫌己ノイズ手段は、 ΙίϊΙΒ第 2成分の各分のノイズを、対応する分のノィズ iSl^理パラメータを用レヽて ifi^Tる、ことを «とする画像^ Mft

1 2. 請求項 1力、ら 1 1のレ、ずれか一つに識の画難難置にぉレヽて、

嫌己第 1成分と、ノィズ ί繊手段によってノィズが鎌された第 2成分との合成を行う合成手段を備えたことを赚とする画像処¾¾

1 3. 請求項 1から 1 2のレヽずれか一つに |5«の画置において、

嫌己第 1成分は、顾像の平職分を含む成分であることを赚とする画装

1 4. 請求項 1力、ら 1 3のレ、ずれか一つにの画 »職置にぉレ、て、

膽己第 1成分は、願像のエッジ成分を含むことを赚とする u^^am

1 5. 請求項 1力、ら 1 4のレヽずれか一つに言 B¾の画^ «置におレ、て、

ta ^分分離手段卩算型分離により ia^®像信号を tin己第 1成分と MI己第 2 成分を含む複数の成分に分ることを樹数とする » «¾₅

1 6. 請求項 1から 1 4のレヽずれか一つにの画置において、

Ιΐ«分分離手段は乗算型分離により嫌画像信号を肅己第 1成分と l己第 2 成分を含む複数の成分に分 g rることをとする MfLeSo

1 7. 請求項 1から 1 6のレヽずれか一つに言の画^; ¾置において、

,変換を行うデジタノ言号^ M手段を備え、

tiHB^®像信号は tiff己デジタル ί言号通手段による ΜΙΕ,変換前の信号であることをとする画舰«

1 8. 請求項 1 2に言 Sttの画置におレヽて、

tins合成手段によつて得られた信号のうち、所定の色フィルタの配置に対応した色信号を取り出す信号 «手段を備えたことをとする画^^ ¾ 1 9. 置において、

纖素子と、

ffifS搬素子から得られた顾像信号を、骨格成分である第 1成分と、藤 fl^® 像信号に ¾~ る謝己第 1成分のから得られる第 2成分と、を含む複数の成分にる成離手段と、

tins第 1成分の信号レベルを取得する信号レベル取辭段と、

嫌己第 1成分の信号レベルに基づきノィズ ig»理パラメータを設定するパラメータ設定手段と、

tilfSノィズ« ^理パラメータを用レヽて ilfE第 2成分のノィズをるノイズ赚手段と、

を備えたことを»とする

2 0. 請求項 1 9に fSttの置において、

tiifBノィズ ί職手段は、歸己ノィズ理パラメータに応じて設定される閾値と tiff己第 2成分との比維果に基づき tfffS第 2成分のノィズを «1 "ることを赚とする

2 1. 請求項 1 9または 20に! Ξ¾の置にぉレヽて、

te^ i像信号はモノクロであり、

tilt己第 1成分及ひ曹己第 2成分はそれぞれ分であることをとする謙装 o

2 2. 請求項 1 9または 2 0にの置にぉレヽて、

嫌己謹素子は色フィルタァレイを前面に配置した謙素子であり、

ttna^ i像信号は複数の^^分力ら構成され、

編己信号レベル取段は、編己第 1成分の各触分の信号レベルを取得し、ラメータ設定手段は、嫌己第 1成分の各触分の信号レベルに基づき、前記第 2成分の各色成分に対応するノィズパラメータを設定し、

i己ノイズ «手段は、 I己第 2成分の各 ^^分のノイズを、対応する械分のノィズ理パラメータを用レ、て » る、

ことを mとする

2 3 · 請求項 1 9または 20に言5¾の衝蝶置にお！/ヽて、嫌己鐘素子は色フィルタァレイを前面に配置した撤素子であり、

ΙϋΙΕ^ ί像信号は複数の触分から構成され、

嫌己信号レベル取段は、 flit己第 1成分の分の信号レベルあるいは G成分を補間して得られる信号の信号レベルを取得し、

嫌 5/ ラメータ設定手段は、嫌己第 1成分の) ¾¾¾分の信号レベルあるいは G成分を補間して得られる信号の信号レベルに基づき、 tin己第 2成分の各 ^^分に対応するノィズ理パラメータを設定し、

嫌己ノイズ繊手段は、嫌己第 2成分の各 ^^分のノイズを、対応する^^分のノィズ ί®|^理パラメータを用レ、て ί»Τる、

ことをとする

2 4. 請求項 1 9または 2 0に |S¾の置にぉレヽて、

嫌己 »素子は色フィルタ了レイを前面に配置した «素子であり、

嫌己置は、

前記第 2成分に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関演算処理手段と、

ttflB目難数に基づき tillSノィズパラメータを補正するパラメータ ffi!E 手段と、

を備えたことをとする

2 5 · 請求項 2 4に言識の置にぉレヽて、 ΙΐΠΞ/、°ラメータ補正手段は、 IflfE注目画素を含 tHfi^g域での分間の相 Μ 、数に対して負の相関を持つ補正係数を算出し、 tinaノィズパラメ→に前言正係数を掛けて膽己ノィズパラメータを補正することを樹敫とする撮

2 6. 請求項 2 5に f識の¾¾置にぉレヽて、

IB^ラメータ補正手段は Ι Μ正係数を次式：

C = (1-r)²

r：注目画素を含 tiifi^域での分間の相関係数

により算出することを mとする

2 7. 請求項 2 4から 2 6のレヽずれか一つに «の置におレ、て、

MtEi^®像信号は 3種以上の分を含み、

tinsta関演算 ^手段は、 ΜΙΕ¾,数として複数の "^分間の相 π、数のうち最 /Jィ直を職することをとする

2 8. 請求項 2 4から 2 7のいずれか一つ ISttの置において、

tfiiB信号レベル取段は、 tins第 1成分の各 ^^分の信号レベルを取得し、嫌ラメータ設定手段は、 tirta第 1成分の各械分の信号レベルに基づき嫌己第 2成分の各触分に対応するノィズ理パラメータを設定し、

嫌己ノイズ «手段は、 tiff己第 2成分の各 ^分のノイズを、対応する ^^分のノィズ理パラメータを用レ、て ig» る、

ことを ί数とする

2 9. 請求項 2 4から 2 7のレ、ずれ力一つに言 Ε«の置において、

嫌己信号レベル取段は、 ΙίίΙΒ第 1成分の鍵成分の信号レベルあるいは G成分を補間して得られる信号の信号レベルを取得し、

!S/、°ラメータ設定手段は、編己第 1成分の離成分の信号レベルあるいは G成分を補間して得られる信号の信号レベルに基づき、 fflfE第 2成分の各 ^^分に対応するノィズ理パラメータを設定し、

IfJlBノイズ «手段は、 Ml己第 2成分の各 ^^分のノイズを、対応する^ ^分のノィズ理パラメータを用レ、てる、

ことを樹敫とする

3 0. 請求項 1 9力ら 2 9のレ、ずれか一つに言 Bttの置におレ、て、

l己第 1成分と、 ΙΐίΙΒノイズ手段によってノイズが «された tiifS第 2成分との合成を行う合成手段を備えたことを難とする .

3 1. 請求項 1 9から 3 0のレヽずれか一つに言 2¾の»¾置において、

tin己第 1成分は、原画像の平 a ^分を含む成分であることをとする撮像装 ft

3 2. 請求項 1 9から 3 1のレヽずれか一つに言 Sttの置において、

ΙίίΙΞ第 1成分は、顾像のエッジ成分を含むことを赚とする ¾|^¾齓

3 3. 請求項 1 9から 3 2のレヽずれか一つにの置において、

肅诚分分離手段ロ算型分離により嫌 a^®像信号を編己第 1成分と嫌己第 2 成分を含む複数の成分に分 81 " る

3 4. 請求項 1 9から 3 2のレヽずれか一つに言の置にぉレ、て、

tf«分分離手段は乗算型分離により嫌 Si ®像信号を flit己第 1成分と嫌己第 2 成分を含む複数の成分に分 i ることを «とする

3 5. 請求項 1 9力ら 3 4のレヽずれか一つに言の置にぉレ、て、

翻変換を行うデジタノ W言号処理手段を備え、

tina^®像信号は tin己デジタノ w言号処理手段による isra変換前の信号であることをとする

3 6. 請求項 3 0に言識の置にぉレヽて、

膽己合成手段によつて得られた信号のうち、所定の色フィルタの配置に対応した色信号を取り出す信号 ^^手段を備えたことを赚とする

3 7. 複数の分を含む像信号を ¾ ^とした画像処«置において、 tina^®像信号に対して、注目画素とその近傍の領域での信号レベルを得る信号レベル取鮮段と、

tin己信号レベルに基づきノィズ理パラメータを設定するパラメータ設定手段と、

歸己ノィズパラメータを用レ、て嫌己画像信号のノィズを ig るノイズ繊手段と、

ΙβΙ^ϋ像信号に対して、注目画素を含 ififfl 貝域での^ ^分間の相隱数を演算する相隱欽演算手段と、

膽¾¾隱数に応じて MISノィズパラメータを補正するパラメータ補正手段と、を備えたことを ^ [とする画»«

3 8. 請求項 3 7に«の置において、

膽己ノィズ ί赚手段は、嫌己ノィズ« ^理パラメータに応じて設定される閾値と fS^®像信号との比 ¾ ^果に基づき |ίίΙ¾¾1ί像信号のノィズを ig» ることを | とする

3 9. 請求項 3 7または 3 8に !Ettの画 i ^Sg置において、

ffHS^ラメータ補正手段は、嫌己注目画素を含¾©麵域での触分間の相難数に対して負の相関を持つ補正係数を算出し、嫌己ノィズ理パラメータに前 S i正係数を掛けて膽己ノィズ理パラメータを補正することをとする画蝶¾ 4 0 · 請求項 3 9に言 2«の画飾離置にぉレ、て、

膽 E/、°ラメータ補正手段は嫌 ME係数を次式：

C = (1-r)²

r：注目画素を含む近 ί 域での分間の相関係数

により算出することを W [とする画像処 3¾¾

4 1. 請求項 3 7から 4 0のレヽずれか一つ言 Ξ¾の画^! ¾置において、

魔 fij^®像信号は 3種以上の分を含み、

tfit¾¾関演算処理手段は、数として複数の"^分間の相 Π、数のうち最 /j、値をすることをとする画

4 2. 置において、

色フィルタァレイを前面に配置した素子と、

ttHB 素子から得られた複数の触分を含む i^®像信号に対して、注目画素とその近傍の領域での信号レベルを得る信号レベル取段と、

ΜΙΕ信号レベルに基づきノィズ理パラメータを設定するパラメータ設定手段と、

膽己ノィズS^L理パラメータを用レ、て嫌 ΕΙ^Ιί像信号のノィズを ί»Τるノィズ ig^手段と、

嫌 a^ i像信号に対して、 tfr!E注目画素を含む近 ί赚域での触分間の相醒数を演算する相関係数演算手段と、

tilfS目隱数に応じて ΙΞノィズ ifi^ パラメータを補正するパラメータ栖手段と、を備えたことを雖とする 4 3 . 請求項 4 2に言 3«の置において、

廳己ノィズ赚手段は、膽己ノィズ^^理パラメータに応じて設定される閾値と tirtarai像信号との比維果に基づき te^ i像信号のノィズを ί«τることをとする 4 4 . 請求項 4 2または 4 3に記載の置において、

ータ補正手段は、 ΙΐίΐΕ注目画素を含む近 ί魏域での触分間の相難数に対して負の相関を持つ補正係数を算出し、嫌己ノィズ¾»¾パラメータに前言 Bffi正係数を掛けて tiHEノィズ iSl^ パラメータを補正することを赚とする撮離氤

4 5 . 請求項 4 4に言 S«の置において、

爾 S ラメータ補正手段は嫌 2«正係数を次式：

C 二 (1-r)²

r：注目画素を含む近傍領域での色成分間の相関係数

により算出することをとする衞

4 6. 請求項 4 2力、ら 4 5のレ、ずれか一つ言識の置にぉレ、て、 ΙΗΙ^ ί像信号は 3種以上の^^分を含み、

嫌関演算処理手段は、 ttltEtg,数として複数の分間の相,数のうち最 /Jィ直をすることを «とする »¾go