JP6843510B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6843510B2 JP6843510B2 JP2016043717A JP2016043717A JP6843510B2 JP 6843510 B2 JP6843510 B2 JP 6843510B2 JP 2016043717 A JP2016043717 A JP 2016043717A JP 2016043717 A JP2016043717 A JP 2016043717A JP 6843510 B2 JP6843510 B2 JP 6843510B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- interest
- achromatic
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 176
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012937 correction Methods 0.000 claims description 113
- 230000009467 reduction Effects 0.000 claims description 66
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000011946 reduction process Methods 0.000 claims description 7
- 230000000717 retained effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Description
図1は、本実施例に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置100は、例えばPC等であり、CPU101、RAM102、HDD103、汎用インターフェース(I/F)104、モニタ108、及びメインバス109を備える。そして、汎用I/F104によって、カメラなどの撮像装置105や、マウス、キーボードなどの入力装置106、及びメモリカードなどの外部メモリ107をメインバス109に接続される。
続いて、画像処理装置100におけるノイズ低減処理に係る論理構成を説明する。
続いて、本発明の特徴である色ノイズ低減処理部202について詳しく説明する。図2(b)は、色ノイズ低減処理部202の内部構成を示すブロック図である。図2(b)に示すように、色ノイズ低減処理部202は、参照領域設定部301、無彩色判定部302、補正パラメータ調整部303及び補正処理部304で構成される。以下、色ノイズ低減処理部202の各部について説明する。
参照領域設定部301は、入力されたカラー画像データに対して、注目画素の画素値を補正して色ノイズを低減させる処理(以下、補正処理)において使用する所定の参照領域を設定する。ここで、参照領域は、注目画素の周囲n画素のように予め決めておいてもよいし、注目画素とその周囲の画素の画素値に基づいて、注目画素毎に適応的に決定してもよい。設定した参照領域の情報は、次の無彩色判定部302で使用するためRAM102に記憶される。
無彩色判定部302は、入力されたカラー画像データ中の注目画素の色が無彩色であるかを判定する。この無彩色判定処理では、ノイズによる誤判定を防ぐために、注目画素だけでなく、注目画素を含んだ複数の画素からなる領域のRGB色信号に基づいて判定している。その際、参照領域設定部301で設定した参照領域を利用する。図3は、5×5画素の参照領域の一例を示す図である。ここで、注目画素の色と参照領域内の各画素の色とが同じであると仮定したとき、参照領域の画素数が多いほどノイズの影響を減らすことができる。ただし、参照領域を単純に注目画素の周囲n画素のように設定しているとき、実際には注目画素の色と参照領域内の他の画素の色とが必ずしも同じとは限らない。そこで、同じ色の画素であると通常みなせる参照領域内の注目画素に隣接する複数の画素(近傍画素)を利用することが考えられる。しかし、注目画素が色のエッジ部であるときは、近傍画素でも色の境界を超えてしまうため、正しい結果が得られない。したがって、理想的には予め注目画素と同じ色の領域を参照領域として設定していることが望ましい。ただし、無彩色の注目画素を有彩色と誤判定しても弊害は起きないため、注目画素の近傍画素を利用して判定すれば、どのような参照領域が設定されていても本発明を実施可能である。
補正パラメータ調整部303は、無彩色判定処理の判定結果に基づいて、注目画素毎に補正処理で使用するパラメータ(以下、補正パラメータ)の調整を行なう。ここで、補正パラメータとは、後述の補正処理において、参照領域内の各画素を使用するか否か判定するパラメータ(本実施例では、閾値ThY、ThCr、ThCb)を意味する。そして、ThYは輝度に対する閾値、ThCrは色差Crに対する閾値、ThCbは色差Cbに対する閾値をそれぞれ表している。適切なThY、ThCr、ThCbの値は画像のノイズ量によって変わるため、例えば撮影感度に応じた値を予め定め設定しておく。そして、上述の無彩色判定処理によって注目画素が無彩色と判定されたとき、ThYの値を予め定めたより大きな値(例えば、取り得る値の最大値)に変更する。これは輝度の差を許容する(輝度差が大きくても補正処理が行われるようにする。)ことを意味している。したがって、後述の補正処理において参照領域内の各画素を使用するか否か判定する条件式(12)の輝度の判定項を常に真とするか、判定項自体をなくすことで実現してもよい。ここで、前述の図4を参照して、補正パラメータとしてのThYの値を調整する具体例について説明する。図4の例では、注目画素が無彩色と判定されたことに応じて、補正パラメータとしてのThYの値を取り得る値の最大値である「999999」に設定している。ThYの具体的な使い方については後述する。調整後の補正パラメータは、補正処理部304で使用するためにRAM102に記憶される。
補正処理部304は、入力されたカラー画像データに対し、上述の調整がなされた補正パラメータに基づいて、注目画素の画素値を補正し、色ノイズを低減させる処理を行なう。
続いて、色ノイズ低減処理部202おける処理の流れについて説明する。図7は、色ノイズ低減処理の流れを示すフローチャートである。この一連の処理は、CPU101が、HDD130に格納されているプログラムをRAM102にロードし、実行することで実現される。
実施例1は、注目画素が無彩色と判定されたとき、補正パラメータとしての輝度に対する閾値ThYをより大きな値に変更する態様であった。次に、補正パラメータとしての輝度に対する閾値ThYを、無彩色判定処理の前処理として算出される評価値に応じて変更する態様について、実施例2として説明する。なお、基本的な装置構成や処理フローは実施例1と同じであるので、以下では、本実施例の特徴である補正パラメータ調整部303における処理について説明するものとする。
実施例1は、無彩色判定処理において、入力画像データのRGB色信号の評価値に基づいて注目画素が無彩色であるかどうかを判定する態様であった。次に、YCrCb色信号の評価値に基づいて無彩色かどうかを判定する態様について、実施例3として説明する。なお、基本的な装置構成や処理フローは実施例1と同じであるので、以下では、本実施例の特徴である無彩色判定部302における処理について説明するものとする。
実施例1〜3は、無彩色判定処理において、入力画像データの色信号の評価値に基づいて注目画素が無彩色であるかどうかを判定し、判定結果に基づいて補正パラメータを変更することで色ノイズを低減する態様であった。次に、入力画像データがRAW画像データである場合において、色ノイズを効果的に低減したい領域を無彩色領域にした上で、色ノイズを低減する態様について説明する。
図9は、本実施例に係る、画像処理装置100のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置100は、第一WB保持部901、第二WB決定部902、WB処理部903、デモザイク処理部904、信号変換処理部201、色ノイズ低減処理部202、輝度ノイズ低減処理部203、色補正処理部905とで構成される。
実施例1〜4では、画像処理アプリケーションで処理を行う例を説明したが、これらは撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。
Claims (23)
- 入力画像におけるノイズを低減する画像処理装置であって、
前記入力画像において、着目画素が含まれる所定領域が無彩色な領域であるかを、前記着目画素と前記着目画素以外の前記所定領域内の画素とに基づき、判定する判定手段と、
前記判定手段の判定結果に基づいて、前記所定領域に含まれる前記着目画素以外の画素の画素値を参照して、前記着目画素における色ノイズが低減された値を算出するノイズ低減処理をすることで、補正画像を生成する補正手段と、
を有し、
前記補正手段は、前記所定領域が無彩色な領域であると判定された場合、無彩色な領域でないと判定された場合よりも多い画素を参照して、前記着目画素における色ノイズが低減された値を算出することで、前記所定領域が無彩色な領域であると判定された場合の方が、無彩色な領域ではないと判定された場合よりも、強く色ノイズが低減されるように、前記ノイズ低減処理を行う、
ことを特徴とする画像処理装置。 - 前記補正手段は、前記所定領域内の前記着目画素以外の画素の画素値の平均値を算出し、前記着目画素における色ノイズが低減された値とすることを特徴とする請求項1に記載の画像処理装置。
- 前記補正手段は、前記所定領域が前記無彩色な領域ではないと判定された場合、前記所定領域に含まれる画素のうち、前記着目画素の色差成分および輝度成分と同じとみなせる画素を参照し、
前記所定領域が前記無彩色な領域であると判定された場合、前記所定領域に含まれる画素のうち、前記着目画素の輝度成分は考慮せず、前記着目画素の色差成分と同じとみなせる画素を参照する、
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記所定の比較する画素値は、前記着目画素の画素値又は前記着目画素の画素値にローパスフィルタを掛けた値であることを特徴とする請求項5に記載の画像処理装置。
- 前記判定手段は、前記所定領域における評価値を色成分毎に導出し、当該導出された評価値に基づいて、前記所定領域内の各画素の色が無彩色であるかどうかを判定することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 入力画像におけるノイズを低減する画像処理装置であって、
前記入力画像において、着目画素が含まれる所定領域が無彩色な領域であるかを、前記着目画素と前記着目画素以外の前記所定領域内の画素とに基づき、判定する判定手段と、
前記判定手段の判定結果に基づいて、前記入力画像に含まれる前記着目画素の近傍にある参照画素を前記着目画素のノイズ低減処理に用いるかどうかを決定するためのパラメータを設定する設定手段と、
前記パラメータを用いて前記着目画素に対してノイズ低減処理を実行することにより、補正画像を生成する補正手段と、
を有し、
前記補正手段は、前記所定領域が無彩色な領域であると判定された場合、無彩色な領域でないと判定された場合よりも多い画素を参照して、前記着目画素における色ノイズが低減された値を算出することで、前記所定領域が無彩色な領域であると判定された場合の方が、無彩色な領域ではないと判定された場合よりも、強く色ノイズが低減されるように、前記ノイズ低減処理を実行する、
ことを特徴とする画像処理装置。 - 前記設定手段は、前記入力画像における画素毎に前記パラメータを設定し、
前記判定手段において前記所定領域内の各画素の色が無彩色であると判定された場合、輝度については考慮することなく前記着目画素に対して前記ノイズ低減処理が行なわれるように前記パラメータを設定することを特徴とする請求項12に記載の画像処理装置。 - 前記補正手段は、前記パラメータを用いて前記ノイズ低減処理に使用すると決定した画素の画素値の平均値を、前記着目画素の前記ノイズ低減処理を実行した結果とすることを特徴とする請求項13に記載の画像処理装置。
- 前記設定手段は、前記判定手段において前記所定領域内の各画素の色が無彩色であると判定された場合、前記Yに対する閾値ThYを変更することを特徴とする請求項15に記載の画像処理装置。
- 入力されたRAW画像における任意の領域を無彩色領域にするようなホワイトバランスの補正係数を決定する決定手段と、
前記決定手段で決定された補正係数を適用し、前記RAW画像に対してホワイトバランス処理を行なう手段と、
前記ホワイトバランス処理が施された前記RAW画像を前記入力画像として前記補正手段によって生成された補正画像における色信号に対して、前記RAW画像の撮影時又は現像時に指定されたホワイトバランスとなるように色調補正を行なう色補正処理手段と、
をさらに有することを特徴とする請求項1乃至16のいずれか1項に記載の画像処理装置。 - 前記撮影時又は現像時に指定されたホワイトバランスの補正係数を保持する保持手段をさらに有し、
前記補正手段で生成された補正画像は、前記ホワイトバランス処理が施された前記RAW画像に対し、デモザイク処理及び前記ノイズ低減処理を行なって得られた、各画素においてR,G,Bの画素値を持つ画像であり、
前記色補正処理手段における前記色調補正は、以下の式によって表され、
ことを特徴とする請求項17に記載の画像処理装置。 - 前記色補正処理手段は、前記RAW画像のカラー配列のパターンを構成する最小単位の画素毎に個別の補正係数を用いて、前記色調補正を行なうことを特徴とする請求項17又は18に記載の画像処理装置。
- 前記色補正処理手段は、前記RAW画像がベイヤ−配列であるとき、偶数行と奇数行とでそれぞれ異なる補正係数を用いて、前記色調補正を行なうことを特徴とする請求項17又は18に記載の画像処理装置。
- 入力画像におけるノイズを低減する画像処理方法であって、
前記入力画像において、着目画素が含まれる所定領域が無彩色な領域であるかを、前記着目画素と前記着目画素以外の前記所定領域内の画素とに基づき、無彩色な領域を判定する判定ステップと、
前記判定ステップでの判定結果に基づいて、前記所定領域に含まれる前記着目画素以外の画素の画素値を参照して、前記着目画素における色ノイズが低減された値を算出するノイズ低減処理をすることで、補正画像を生成する補正ステップと、
を含み、
前記補正ステップでは、前記所定領域が無彩色な領域であると判定された場合、無彩色な領域でないと判定された場合よりも多い画素を参照して、前記着目画素における色ノイズが低減された値を算出することで、前記所定領域が無彩色な領域であると判定された場合の方が、無彩色な領域ではないと判定された場合よりも、強く色ノイズが低減されるように、前記ノイズ低減処理を行う、
ことを特徴とする画像処理方法。 - 入力画像におけるノイズを低減する画像処理方法であって、
前記入力画像において、着目画素が含まれる所定領域が無彩色な領域であるかを、前記着目画素と前記着目画素以外の前記所定領域内の画素とに基づき、無彩色な領域を判定する判定ステップと、
前記判定ステップでの判定結果に基づいて、前記入力画像に含まれる前記着目画素の近傍にある参照画素を前記着目画素のノイズ低減処理に用いるかどうかを決定するためのパラメータを設定する設定ステップと、
前記パラメータを用いて前記着目画素に対してノイズ低減処理を実行することにより、補正画像を生成する補正ステップと、
を含み、
前記補正ステップでは、前記所定領域が無彩色な領域であると判定された場合、無彩色な領域でないと判定された場合よりも多い画素を参照して、前記着目画素における色ノイズが低減された値を算出することで、前記所定領域が無彩色な領域であると判定された場合の方が、無彩色な領域ではないと判定された場合よりも、強く色ノイズが低減されるように、前記ノイズ低減処理を実行する、
ことを特徴とする画像処理方法。 - コンピュータを、請求項1乃至20のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015081863 | 2015-04-13 | ||
JP2015081863 | 2015-04-13 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016201102A JP2016201102A (ja) | 2016-12-01 |
JP2016201102A5 JP2016201102A5 (ja) | 2019-05-09 |
JP6843510B2 true JP6843510B2 (ja) | 2021-03-17 |
Family
ID=57422974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016043717A Active JP6843510B2 (ja) | 2015-04-13 | 2016-03-07 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6843510B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007067806A (ja) * | 2005-08-31 | 2007-03-15 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP4880375B2 (ja) * | 2006-06-14 | 2012-02-22 | 富士フイルム株式会社 | 画像信号処理装置及び画像信号処理方法 |
JP4545766B2 (ja) * | 2007-02-21 | 2010-09-15 | シャープ株式会社 | 画像処理装置、画像形成装置、画像読取装置、画像処理プログラムおよび記録媒体 |
JP5103580B2 (ja) * | 2008-03-27 | 2012-12-19 | 株式会社メガチップス | 画像処理装置およびデジタルカメラ |
JP2012134661A (ja) * | 2010-12-20 | 2012-07-12 | Samsung Yokohama Research Institute Co Ltd | 画像処理装置、プログラムおよび画像処理方法 |
JP6083897B2 (ja) * | 2013-02-28 | 2017-02-22 | 株式会社 日立産業制御ソリューションズ | 撮像装置及び画像信号処理装置 |
-
2016
- 2016-03-07 JP JP2016043717A patent/JP6843510B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016201102A (ja) | 2016-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8036457B2 (en) | Image processing apparatus with noise reduction capabilities and a method for removing noise from a captured image | |
JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP6097588B2 (ja) | 画像処理装置及び画像処理方法 | |
US20100329553A1 (en) | Image signal processing device | |
US8797427B2 (en) | Image processing apparatus | |
US9355327B2 (en) | Image processing apparatus and imaging apparatus with noise correction function and signal level correction function | |
JP2006186965A (ja) | 画素補間方法および画像判定方法 | |
JP5901667B2 (ja) | 画像処理装置及び方法、画像処理プログラム、撮像装置 | |
US7889942B2 (en) | Dynamic range compensation-dependent noise reduction | |
JP2015156615A (ja) | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 | |
JP2010093470A (ja) | ノイズキャンセル処理回路および固体撮像装置 | |
WO2014133010A1 (ja) | 画像処理方法、及び画像処理装置 | |
JPWO2002071761A1 (ja) | 画像処理装置および画像処理プログラム | |
JP2012108898A (ja) | 画像処理装置、画像処理方法 | |
JP2008258909A (ja) | 信号処理回路 | |
US8294791B2 (en) | Image correction apparatus for digital dodging | |
JP2014010776A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2005025448A (ja) | 信号処理装置、信号処理プログラム、および電子カメラ | |
JP2013106151A (ja) | 画像処理装置及び画像処理方法 | |
US20100215267A1 (en) | Method and Apparatus for Spatial Noise Adaptive Filtering for Digital Image and Video Capture Systems | |
JP6843510B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6957665B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6867563B1 (ja) | 画像処理方法 | |
JP5297897B2 (ja) | 画像信号処理装置 | |
WO2013125198A1 (ja) | 画像処理装置、撮像装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6843510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |