JP4482773B2

JP4482773B2 - Noise reduction method for digital camera, noise reduction device, and medium on which noise reduction processing control program is recorded

Info

Publication number: JP4482773B2
Application number: JP32014399A
Authority: JP
Inventors: 直樹鍬田; 至宏中見
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1999-11-10
Filing date: 1999-11-10
Publication date: 2010-06-16
Anticipated expiration: 2019-11-10
Also published as: JP2001144996A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体の低彩度・暗部において広範囲にわたって生じる色むら、カラー補間時に生じる偽色などの、デジタルカメラの画質に大きな影響を及ぼすノイズを低減させるための方法、ノイズ低減装置およびノイズ低減処理制御プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
コンピュータなどを用いて高品質の画像データを取り扱う画像処理装置として、ＣＣＤ等の撮像手段により光を電気信号に変換し、その電気信号をデジタルデータに変換してフラッシュメモリ等の記録媒体に記録するデジタルカメラが知られている。デジタルカメラを用いると、パーソナルコンピュータ等を用いて画像データの保存や様々な加工を個人で手軽に行えるほか、プリンタに画像データを出力することによりフィルムの現像をすることなく写真を印刷することができる。
【０００３】
【発明が解決しようとする課題】
しかし、従来のデジタルカメラにおいては、デジタルカメラの画質に大きな影響を及ぼす種々のノイズが生じる。例えば、低彩度領域に生じる色むら、カラー補間フィルタのアルゴリズムに起因して生じる偽色（主に、白画素との境界に生じる偽色）、暗部輝度ノイズなどがあげられる。これらのノイズは、非常に目立つため観察者の印象を非常に悪くする。これらのノイズのうち前記色むらおよび前記偽色に関しては、色差信号をぼかすことによって目立たなくすることができる。ところが、色むらおよび偽色はともに広範囲にわたって生じるため、平滑化フィルタ処理を行う場合、一般的に大きなサイズのフィルタを使用しなければならない。一方、フィルタサイズを大きくすると、色輪郭付近のにじみ、彩度低下といった新たな問題が生じる。色輪郭付近のにじみはメジアンフィルタを用いて低減され、彩度低下は平滑化の際の除算係数を小さくすることによって低減される。
【０００４】
しかしながら、メジアンフィルタを使用すると、中央値を求めるための並び替えに長時間を要しフィルタサイズが大きくなればなる程、指数関数的に増加して処理時間が激増してしまう。
【０００５】
本発明は、上記問題点を解決するためになされたもので、デジタルカメラのノイズを高速で低減させることのできる方法、ノイズ低減装置および当該ノイズ低減処理制御プログラムを記録している媒体を提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記課題に鑑み、請求項１に記載の発明は、デジタルカメラの画像データ中のノイズを低減させるための方法であって、フィルタの画素エリアの中から参照画素を選択する参照画素選択工程を備え、当該参照画素選択工程によって選択された参照画素に対してメジアンフィルタを適用するように構成される。
【０００７】
以上のように構成されたデジタルカメラの画像データ中のノイズを低減させるための方法によれば、参照画素選択工程によってフィルタの画素エリアの中から参照画素が選択され、当該参照画素選択工程によって選択された参照画素に対してメジアンフィルタが適用される。
【０００８】
また、請求項２に記載の発明は、請求項１に記載のノイズ低減方法であって、参照画素選択工程において選択された参照画素の中に輪郭画素が存在するか否かを判定する輪郭画素判定工程をさらに備え、前記選択された参照画素の中に輪郭画素が存在する場合に、メジアンフィルタを適用するように構成される。
【０００９】
さらに、請求項３に記載の発明は、請求項２に記載のノイズ低減方法であって、注目画素と参照画素との色差が所定の閾値よりも大きい場合に、前記輪郭画素判定工程において、選択された参照画素の中に輪郭画素が存在すると判定するように構成される。
【００１０】
また、請求項４に記載の発明は、請求項２または３に記載のノイズ低減方法であって、前記選択された参照画素の中に輪郭画素が存在する場合に、平滑化フィルタを適用するように構成される。
【００１１】
さらに、請求項５に記載の発明は、請求項４に記載のノイズ低減方法であって、前記平滑化フィルタの除算係数によって彩度を調節することのできるように構成される。
【００１２】
また、請求項６に記載の発明は、請求項１乃至５のいづれか一項に記載のノイズ低減方法であって、注目画素からの距離が増加するに従って、平均参照画素数を増加させるように構成される。
【００１３】
さらに、請求項７に記載の発明は、請求項１乃至６のいづれか一項に記載のノイズ低減方法であって、ノイズ発生量の多い輝度領域において、フィルタ処理後、輝度値に応じて色差値を減少させるように構成される。
【００１４】
上記課題に鑑み、請求項８に記載の発明は、デジタルカメラの画像データ中のノイズを低減させるための装置であって、フィルタの画素エリアの中から参照画素を選択する参照画素選択手段を備え、当該参照画素選択手段によって選択された参照画素に対してメジアンフィルタを適用するように構成される。
【００１５】
以上のように構成されたデジタルカメラの画像データ中のノイズを低減させるための装置によれば、参照画素選択手段によって、フィルタの画素エリアの中から参照画素が選択され、当該参照画素選択手段によって選択された参照画素に対してメジアンフィルタが適用される。
【００１６】
上記課題に鑑み、請求項９に記載の発明は、デジタルカメラの画像データ中のノイズを低減させるための処理をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体であって、フィルタの画素エリアの中から参照画素を選択する参照画素選択処理と、当該参照画素選択処理によって選択された参照画素に対してメジアンフィルタを適用するメジアンフィルタ適用処理と、をコンピュータに実行させるためのプログラムを記録してコンピュータによって読取可能に構成される。
【００１７】
以上のように構成されたコンピュータによって読取可能な記録媒体によれば、デジタルカメラの画像データ中のノイズを低減させるための処理をコンピュータに実行させるためのプログラムが記録されている。当該プログラムの実行により、参照画素選択処理によって、フィルタの画素エリアの中から参照画素が選択され、メジアンフィルタ適用処理によって、前記参照画素選択処理によって選択された参照画素に対してメジアンフィルタが適用される。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施の形態を説明する。
【００１９】
図１は、本発明の一実施の形態にかかるノイズ低減処理装置３０を構成するコンピュータの概略ブロック図である。
【００２０】
当該コンピュータは、ＣＰＵ３１のバス３２に対してＲＡＭ３３と、ＲＯＭ３４と、入力部３５と、ハードディスク３６と、Ｉ／Ｏ３７と、メディア読取装置３８とが接続されている。さらに、コンピュータ３０には、Ｉ／Ｏ３７を介してデジタルカメラ２０及びプリンタ、ディスプレイ等の出力装置４０が接続されている。また、ＲＯＭ３４には、演算プログラムや制御プログラムなどの基本プログラムが書き込まれており、ＣＰＵ３１はＲＡＭ３３をワークエリアとして使用しながら前記基本プログラムを実行する。ハードディスク３６は、主に撮像した画像データを蓄えるようなバッファとして使用したり、逐次更新されるプログラムなどを保存する。そして、ＣＰＵ３１が所望のプログラムを適宜ハードディスク３６から読み出して所望の処理を実行するように構成されている。さらに、ハードディスク３６には、実写画像データに対して最適なノイズ低減処理を施すためのプログラムが記録されている。なお、ハードディスク３６を使用しなくても、ハードディスクによる処理をすべてＲＡＭ３３上において行うこともできる。
【００２１】
この他、入力部３５は、キーボード、マウスなどで構成され、当該入力部によって各種データが入力される。そして、ＣＰＵ３１は、バス３２を介して当該入力部３５の操作状況を監視または表示可能にしている。
【００２２】
なお、上記実写画像データに対して最適なノイズ低減処理を施すための画像処理制御プログラムは、通常、コンピュータが読取可能な形態でフロッピーディスク、ＣＤ−ＲＯＭなどの記録媒体ＤＫに記録されて流通する。そして、当該ノイズ低減処理制御用プログラムは、メディア読取装置３８を用いて読み取ることによって前記ハードディスク３６にインストールされる。
【００２３】
図２に、本発明によるノイズ低減処理装置３０の機能ブロック図を示す。
【００２４】
図２に示すように、コンピュータによって構成されるノイズ低減処理装置３０は、ＲＧＢ画像データをＹＣＣ画像データに変換するための第１画像データ変換部３０ａと、画素エリア内に輪郭画素が存在するか否かを判定する輪郭画素判定部３０ｂと、当該輪郭画素判定部３０ｂの判定結果に基づき、フィルタを選択するフィルタ選択部３０ｃと、所望の画像処理を施す平滑化フィルタ３０ｄまたはメジアンフィルタ３０ｅと、当該フィルタ処理後に彩度値を補正する彩度補正部３０ｆと、当該彩度補正部３０ｆによって彩度補正が施されたＹＣＣ画像データをＲ'Ｇ'Ｂ'データに変換するための第２画像データ変換部３０ｇと、を備えて構成される。
【００２５】
次に、図３を参照して、本発明によるノイズ低減処理装置３０の動作を説明する。当該ノイズ低減処理装置３０は、第１画像データ変換部３０ａにおいて、デジタルカメラのＲＧＢ画像データをＹＣＣ画像データに変換する（ステップ４２）。すなわち、ＲＧＢ信号から輝度・色差信号への変換処理が行われる。当該変換は、以下の３式：
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ
Ｃｒ＝Ｒ−Ｙ
Ｃｂ＝Ｂ−Ｙ
によって行われる。
【００２６】
次に、本発明によるノイズ低減処理装置３０は、輪郭画素判定部３０ｂにおいて、注目画素を含むＮ×Ｎ個の画素エリアに輪郭画素が含まれているか否かを判定する（ステップ４４）。
【００２７】
図４に、当該一実施形態において使用する９×９画素フィルタを示す。以下で詳細に説明するメジアンフィルタ３０ｅを使用すると一般的に処理時間が増加してしまう。これは、メジアンフィルタにおいて使用される中央値を求めるための並べ替え処理に時間を要するからである。当該処理時間はフィルタサイズが大きくなればなる程、指数関数的に増加してしまい、９×９＝８１画素のソートを行うと実用的な処理速度を確保することが困難となる。そこで、当該実施の形態においては、９×９画素のフィルタを使用するが、計算対象として参照する画素は１ラインおきに５×５画素とする。このように参照画素を１ラインおきにすることによって、注目画素からの距離が増加するに従って平均参照画素数が増加するので、広範囲の画素を参照しつつ計算量を低減させることができ、ノイズ低減の効果を維持したまま、大幅な処理速度の短縮を図ることができる。
【００２８】
なお、図４において、Ａが注目画素であり、Ｂが参照画素である。また、画素フィルタの横軸をｉ軸とし、縦軸をｊ軸とする。
【００２９】
輪郭画素判定部３０ｂは、注目画素とエリア内の参照画素との色差が閾値ＴｈＥよりも大きい画素が１画素でも存在すれば輪郭画素を含むエリアと判定する（ステップ４４、Ｙｅｓ）。輪郭画素を含むエリアと判定される場合（ステップ４４、Ｙｅｓ）には、フィルタ選択部３０ｃによってメジアンフィルタ３０ｅが選択され、メジアンフィルタ３０ｅによる処理が行われる（ステップ４８）。一方、輪郭画素を含むエリアと判定されない場合（ステップ４４、Ｎｏ）には、フィルタ選択部３０ｃによって平滑化フィルタ３０ｄが選択され、平滑化フィルタ３０ｄによる処理が行われる（ステップ４６）。
【００３０】
図５に、ステップ４４における処理の一例を示す。図５（ａ）は、Ｃｒに対する輪郭画素判定処理であり、図５（ｂ）は、Ｃｂに対する輪郭画素判定処理である。図５（ａ）において、まず輪郭画素判定部３０ｂは、各参照画素Ｂと注目画素Ａとの色差
△Ｃｒ_ij＝|Ｃｒ_A−Ｃｒ_B|
を全てのｉ，ｊに対して計算する（ステップ５４）。全てのｉ，ｊに対して△Ｃｒ_ijを計算すると（ステップ５５、Ｙｅｓ）、次に輪郭画素判定部３０ｂは、参照画素２５個の中でＴｈＥよりも大きな△Ｃｒ_ijが一つでも存在するか否かを判定する（ステップ５６）。そして、ＴｈＥよりも大きな△Ｃｒ_ijが一つでも存在する場合（ステップ５６、Ｙｅｓ）、Ｃｒに対してメジアンフィルタ３０ｅによる処理が行われ（ステップ４８）、存在しない場合（ステップ５６、Ｎｏ）にはＣｒに対して平滑化フィルタによる処理が行われる（ステップ４６）。
【００３１】
図５（ｂ）において、輪郭画素判定部３０ｂは、各参照画素Ｂと注目画素Ａとの色差
△Ｃｂ_ij＝|Ｃｂ_A−Ｃｂ_B|
を全てのｉ,ｊに対して計算する（ステップ５７、５８）。全てのｉ,ｊに対して△Ｃｂ_ijを計算すると（ステップ５８、Ｙｅｓ）、次に輪郭画素判定部３０ｂは、参照画素２５個の中でＴｈＥよりも大きな△Ｃｂ_ijが一つでも存在するか否かを判定する（ステップ５９）。そして、ＴｈＥよりも大きな△Ｃｂ_ijが一つでも存在する場合（ステップ５９、Ｙｅｓ）にはＣｂに対してメジアンフィルタ３０ｅによる処理が行われ（ステップ４８）、存在しない場合（ステップ５８、Ｎｏ）にはＣｂに対して平滑化フィルタによる処理が行われる（ステップ４６）。
【００３２】
図６に、ステップ４４における処理の他の一例を示す。当該他の例では、上記色差の代わりに輝度差を用いて輪郭画素か否かの判定を行う。
【００３３】
輪郭画素判定部３０ｂは、各参照画素Ｂと注目画素Ａとの輝度差
△Ｙ_ij＝|Ｙ_A−Ｙ_B|
を全てのｉ,ｊに対して計算する（ステップ６０、６２）。全てのｉ,ｊに対して△Ｙ_ijを計算すると（ステップ６２、Ｙｅｓ）、次に輪郭画素判定部３０ｂは、参照画素２５個の中でＴｈＥよりも大きな△Ｙ_ijが一つでも存在するか否かを判定する（ステップ６４）。そして、ＴｈＥよりも大きな△Ｙ_ijが一つでも存在する場合（ステップ６４、Ｙｅｓ）にはＣｒおよびＣｂの双方に対してメジアンフィルタ３０ｅによる処理が行われ（ステップ４８）、存在しない場合（ステップ５８、Ｎｏ）にはＣｒおよびＣｂの双方に対して平滑化フィルタによる処理が行われる（ステップ４６）。
【００３４】
次に、平滑化フィルタ処理（ステップ４６）に関して説明する。
【００３５】
平滑化フィルタ処理においては、Ｎ×Ｎ点の参照画素の色差平均値を注目画素の色差値Ｃｒ’とする。具体的には、
【００３６】
【数１】

【００３７】
によって計算される。注目画素Ｃｂ’に関しても同様に計算される。
【００３８】
このように平滑化フィルタを使用すると彩度が低下する。彩度の低下は、フィルタサイズＮが大きくなるとさらに顕著になる。そこで、意図的に除算係数を小さくすることで彩度低下を防ぐことができる。当該実施の形態に係る９×９画素フィルタの場合、除算係数を画素数と等しい値（２５（５×５））とするのではなく、これよりも小さな値、例えば２４とする。このように、色差値平滑化の際の除算係数を小さくすることによって、処理時間を増大させることなく、彩度を強調させることができる。
【００３９】
次に、メジアンフィルタ処理（ステップ４８）に関して説明する。
Ｎ×Ｎ点の参照画素を並べ替え、中央値（メジアン）を注目画素の色差値Ｃｒ’およびＣｂ’とする。
【００４０】
ステップ４６における平滑化フィルタ処理および／またはステップ４８におけるメジアンフィルタ処理の後、彩度補正部３０ｆによる彩度補正処理がなされる（ステップ５０）。ステップ４６または４８によって得られた色差信号に対して輝度に応じた彩度補正係数をかける。
【００４１】
一般的に暗部においては定量的にノイズが多く存在して、所定の実験結果によれば、輝度値６４付近での色ノイズ発生量が大きいことがわかる。そこで、当該実施の形態では、輝度値６４を中心としてさらに色差値を低減させる。具体的には、３２＜Ｙ＜９６の範囲においては、輝度値Ｙに応じて色差値を、彩度補正前の値の少なくとも３／４まで減少させる。このため、
【００４２】
【数２】

【００４３】
とする。当該彩度補正処理は、単なる一例であり、デジタルカメラ毎に個別的に設定する必要がある。
【００４４】
最後に、本発明の一実施形態に係るノイズ低減処理装置３０は、第２画像データ変換部３０ｇにおいて、ＹＣＣ画像データをＲ'Ｇ'Ｂ'画像データに変換して（ステップ５２）、ノイズ低減処理を終了する。当該変換は、以下の３式：
Ｒ'＝Ｙ＋Ｃｒ"
Ｇ'＝Ｙ−（３０Ｃｒ"＋１１Ｃｂ"）／５９
Ｂ'＝Ｙ＋Ｃｂ"
によって行われる。
【００４５】
なお、デジタルカメラ内部において生データがＹＵＶで処理されている場合には、第１および第２の画像データ変換処理部３０ａおよび３０ｂが不要となる。同様に、ステップ４２および５２も不要となる。
【００４６】
図７に、マクベスチャートを用いた色ノイズ測定結果を示す。この結果より、本発明によるノイズ低減処理後においては、オリジナル画像と比較して、ノイズが４０〜７０パーセント減少することが明らかになる。
【００４７】
【発明の効果】
請求項１に記載のノイズ低減方法、請求項８に記載のノイズ低減装置、または請求項９に記載の記録媒体に記録されているプログラムの実行によれば、フィルタの画素エリアの中から参照画素が選択され、当該選択された参照画素に対してメジアンフィルタが適用されるので、画素エリア中の全ての画素に対してメジアンフィルタを適用した場合と比較して、大幅に処理時間を短縮することができる。
【００４８】
請求項５に記載のノイズ低減方法によれば、平滑化フィルタの除算係数によって彩度を調節することのできるので、意図的に除算係数を小さくすることで彩度低下を防ぐことができる。
【００４９】
請求項６に記載のノイズ低減方法によれば、注目画素からの距離が増加するに従って平均参照画素数を増加させるので、広範囲の画素を参照しつつ計算量を低減させることができ、ノイズ低減の効果を維持したまま、大幅な処理速度の短縮を図ることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態にかかるノイズ低減処理装置３０を構成するコンピュータの概略ブロック図である。
【図２】本発明によるノイズ低減処理装置３０の機能ブロック図である。
【図３】本発明によるノイズ低減処理装置３０の動作を説明するためのフローチャートである。
【図４】本発明の一実施形態において使用する９×９画素フィルタを示す図である。
【図５】ステップ４４における処理の一例を示すフローチャートであり、（ａ）はＣｒに対する輪郭画素判定処理であり、図５（ｂ）はＣｂに対する輪郭画素判定処理である。
【図６】ステップ４４における処理の他の例を示すフローチャートである。
【図７】マクベスチャートを用いた色ノイズ測定結果を示すグラフ図である。
【符号の説明】
２０デジタルカメラ
３０コンピュータ
３０ａ第１画像データ変換部
３０ｂ輪郭画素判定部
３０ｃフィルタ選択部
３０ｄ平滑化フィルタ
３０ｅメジアンフィルタ
３０ｆ彩度補正部
３０ｇ第２画像データ変換部
３１ＣＰＵ
３２バス
３３ＲＡＭ
３４ＲＯＭ
３５入力部
３６ハードディスク
３７Ｉ／Ｏ
３８メディア読取装置
４０出力装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method, a noise reduction apparatus, and a noise reduction method for reducing noise that greatly affects the image quality of a digital camera, such as color unevenness that occurs over a wide range in a low saturation / dark part of a subject and false colors that occur during color interpolation. The present invention relates to a medium on which a processing control program is recorded.
[0002]
[Prior art]
As an image processing apparatus that handles high-quality image data using a computer or the like, light is converted into an electrical signal by an imaging means such as a CCD, and the electrical signal is converted into digital data and recorded on a recording medium such as a flash memory. Digital cameras are known. Using a digital camera, you can easily save image data and perform various processing by using a personal computer, and print images without developing the film by outputting the image data to a printer. it can.
[0003]
[Problems to be solved by the invention]
However, in a conventional digital camera, various noises that greatly affect the image quality of the digital camera occur. For example, color unevenness that occurs in the low saturation region, false color that occurs due to the algorithm of the color interpolation filter (mainly, false color that occurs at the boundary with the white pixel), dark portion luminance noise, and the like. These noises are so conspicuous that they make the viewer's impression very bad. Among these noises, the color unevenness and the false color can be made inconspicuous by blurring the color difference signal. However, since both color unevenness and false color occur over a wide range, a large size filter must generally be used when performing the smoothing filter process. On the other hand, when the filter size is increased, new problems such as blurring near the color contour and saturation reduction occur. Blur in the vicinity of the color contour is reduced by using a median filter, and saturation reduction is reduced by reducing the division coefficient during smoothing.
[0004]
However, when a median filter is used, it takes a long time for rearrangement for obtaining the median value, and the larger the filter size, the exponentially increases and the processing time increases drastically.
[0005]
The present invention has been made to solve the above problems, and provides a method capable of reducing noise of a digital camera at high speed, a noise reduction device, and a medium on which the noise reduction processing control program is recorded. This is the issue.
[0006]
[Means for Solving the Problems]
In view of the above problems, the invention described in claim 1 is a method for reducing noise in image data of a digital camera, comprising a reference pixel selection step of selecting a reference pixel from a pixel area of a filter. The median filter is applied to the reference pixel selected by the reference pixel selection step.
[0007]
According to the method for reducing noise in the image data of the digital camera configured as described above, a reference pixel is selected from the pixel area of the filter by the reference pixel selection step, and is selected by the reference pixel selection step. A median filter is applied to the reference pixels.
[0008]
The invention according to claim 2 is the noise reduction method according to claim 1, wherein the contour pixel determines whether or not the contour pixel is present in the reference pixel selected in the reference pixel selection step. The method further includes a determination step, and is configured to apply a median filter when a contour pixel exists in the selected reference pixel.
[0009]
Furthermore, the invention according to claim 3 is the noise reduction method according to claim 2, wherein the color pixel difference between the target pixel and the reference pixel is larger than a predetermined threshold value, and is selected in the contour pixel determination step. It is configured to determine that a contour pixel is present in the reference pixels that have been set.
[0010]
The invention according to claim 4 is the noise reduction method according to claim 2 or 3, wherein a smoothing filter is applied when a contour pixel is present in the selected reference pixel. Configured.
[0011]
Furthermore, the invention according to claim 5 is the noise reduction method according to claim 4, wherein the saturation can be adjusted by the division coefficient of the smoothing filter.
[0012]
The invention according to claim 6 is the noise reduction method according to any one of claims 1 to 5, wherein the average number of reference pixels is increased as the distance from the pixel of interest increases. Is done.
[0013]
Furthermore, the invention according to claim 7 is the noise reduction method according to any one of claims 1 to 6, wherein in the luminance region where the amount of noise is large, the color difference value according to the luminance value after filtering is performed. Configured to reduce
[0014]
In view of the above problems, an invention according to claim 8 is an apparatus for reducing noise in image data of a digital camera, comprising reference pixel selection means for selecting a reference pixel from a pixel area of a filter. The median filter is applied to the reference pixel selected by the reference pixel selection means.
[0015]
According to the apparatus for reducing noise in the image data of the digital camera configured as described above, the reference pixel is selected from the pixel area of the filter by the reference pixel selection means, and the reference pixel selection means A median filter is applied to the selected reference pixel.
[0016]
In view of the above problems, the invention described in claim 9 is a computer-readable recording medium that records a program for causing a computer to execute processing for reducing noise in image data of a digital camera. A reference pixel selection process for selecting a reference pixel from a pixel area of a filter, and a median filter application process for applying a median filter to a reference pixel selected by the reference pixel selection process. The program is recorded and can be read by a computer.
[0017]
According to the computer-readable recording medium configured as described above, a program for causing a computer to execute processing for reducing noise in image data of a digital camera is recorded. By executing the program, the reference pixel is selected from the pixel area of the filter by the reference pixel selection process, and the median filter is applied to the reference pixel selected by the reference pixel selection process by the median filter application process. The
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of the present invention will be described below with reference to the drawings.
[0019]
FIG. 1 is a schematic block diagram of a computer constituting a noise reduction processing device 30 according to an embodiment of the present invention.
[0020]
In the computer, a RAM 33, a ROM 34, an input unit 35, a hard disk 36, an I / O 37, and a media reading device 38 are connected to the bus 32 of the CPU 31. Further, the digital camera 20 and an output device 40 such as a printer and a display are connected to the computer 30 via the I / O 37. The ROM 34 stores basic programs such as a calculation program and a control program, and the CPU 31 executes the basic programs while using the RAM 33 as a work area. The hard disk 36 is used as a buffer that mainly stores captured image data, and stores programs that are sequentially updated. Then, the CPU 31 is configured to read out a desired program from the hard disk 36 as appropriate and execute a desired process. Further, the hard disk 36 is recorded with a program for performing an optimum noise reduction process on the actual image data. Even if the hard disk 36 is not used, all the processing by the hard disk can be performed on the RAM 33.
[0021]
In addition, the input unit 35 includes a keyboard, a mouse, and the like, and various data are input by the input unit. The CPU 31 can monitor or display the operation status of the input unit 35 via the bus 32.
[0022]
Note that an image processing control program for performing optimum noise reduction processing on the photographed image data is normally recorded and distributed on a recording medium DK such as a floppy disk or a CD-ROM in a computer-readable form. . The noise reduction processing control program is installed in the hard disk 36 by being read using the media reader 38.
[0023]
FIG. 2 is a functional block diagram of the noise reduction processing device 30 according to the present invention.
[0024]
As shown in FIG. 2, the noise reduction processing device 30 configured by a computer includes a first image data conversion unit 30 a for converting RGB image data into YCC image data, and whether there are contour pixels in the pixel area. A contour pixel determination unit 30b that determines whether or not, a filter selection unit 30c that selects a filter based on a determination result of the contour pixel determination unit 30b, a smoothing filter 30d or a median filter 30e that performs desired image processing, A saturation correction unit 30f that corrects the saturation value after the filter processing, and a second image for converting the YCC image data subjected to the saturation correction by the saturation correction unit 30f into R′G′B ′ data And a data conversion unit 30g.
[0025]
Next, the operation of the noise reduction processing apparatus 30 according to the present invention will be described with reference to FIG. The noise reduction processing device 30 converts the RGB image data of the digital camera into YCC image data in the first image data conversion unit 30a (step 42). That is, conversion processing from RGB signals to luminance / color difference signals is performed. The conversion involves the following three formulas:
Y = 0.3R + 0.59G + 0.11B
Cr = R−Y
Cb = BY
Is done by.
[0026]
Next, the noise reduction processing device 30 according to the present invention determines whether or not the contour pixel is included in the N × N pixel areas including the target pixel in the contour pixel determination unit 30b (step 44).
[0027]
FIG. 4 shows a 9 × 9 pixel filter used in the embodiment. If the median filter 30e described in detail below is used, the processing time generally increases. This is because time is required for the rearrangement process for obtaining the median value used in the median filter. The processing time increases exponentially as the filter size increases, and it becomes difficult to ensure a practical processing speed when 9 × 9 = 81 pixels are sorted. Therefore, in this embodiment, a 9 × 9 pixel filter is used, but the pixels to be referred to as calculation targets are 5 × 5 pixels every other line. By setting the reference pixels every other line in this way, the average number of reference pixels increases as the distance from the target pixel increases, so the amount of calculation can be reduced while referring to a wide range of pixels, and noise reduction is achieved. The processing speed can be greatly shortened while maintaining the above effect.
[0028]
In FIG. 4, A is the target pixel and B is the reference pixel. Also, the horizontal axis of the pixel filter is the i axis, and the vertical axis is the j axis.
[0029]
The contour pixel determination unit 30b determines that the area includes the contour pixel if there is at least one pixel whose color difference between the target pixel and the reference pixel in the area is larger than the threshold value ThE (step 44, Yes). When it is determined that the area includes the contour pixel (step 44, Yes), the median filter 30e is selected by the filter selection unit 30c, and processing by the median filter 30e is performed (step 48). On the other hand, when it is not determined that the area includes the contour pixel (step 44, No), the smoothing filter 30d is selected by the filter selection unit 30c, and the processing by the smoothing filter 30d is performed (step 46).
[0030]
FIG. 5 shows an example of processing in step 44. FIG. 5A shows a contour pixel determination process for Cr, and FIG. 5B shows a contour pixel determination process for Cb. In FIG. 5A, first, the contour pixel determination unit 30b has a color difference ΔCr _ij = | Cr _A −Cr _B | between each reference pixel B and the target pixel A.
Is calculated for all i and j (step 54). When ΔCr _ij is calculated for all i and j (step 55, Yes), the contour pixel determining unit 30b then has at least one ΔCr _ij larger than ThE among the 25 reference pixels. Is determined (step 56). If there is even one ΔCr _ij larger than ThE (step 56, Yes), processing by the median filter 30e is performed on Cr (step 48), and when there is no (step 56, No). Is processed with a smoothing filter for Cr (step 46).
[0031]
In FIG. 5B, the contour pixel determining unit 30 b determines the color difference ΔCb _ij = | Cb _A −Cb _B | between each reference pixel B and the target pixel A.
Are calculated for all i, j (steps 57, 58). When ΔCb _ij is calculated for all i, j (step 58, Yes), the contour pixel determining unit 30b then has at least one ΔCb _ij larger than ThE among the 25 reference pixels. Whether or not (step 59). If even one ΔCb _ij larger than ThE exists (step 59, Yes), the processing by the median filter 30e is performed on Cb (step 48), and when there is not (step 58, No). Is processed with a smoothing filter for Cb (step 46).
[0032]
FIG. 6 shows another example of processing in step 44. In this other example, it is determined whether or not the pixel is a contour pixel using a luminance difference instead of the color difference.
[0033]
The contour pixel determination unit 30b determines the luminance difference ΔY _ij = | Y _A −Y _B | between each reference pixel B and the target pixel A.
Is calculated for all i, j (steps 60, 62). When ΔY _ij is calculated for all i, j (step 62, Yes), the contour pixel determination unit 30b then has at least one ΔY _ij larger than ThE among the 25 reference pixels. Whether or not (step 64). If even one ΔY _ij larger than ThE exists (step 64, Yes), the processing by the median filter 30e is performed on both Cr and Cb (step 48), and when there is no (step 48) 58, No), a process using a smoothing filter is performed on both Cr and Cb (step 46).
[0034]
Next, the smoothing filter process (step 46) will be described.
[0035]
In the smoothing filter process, the color difference average value of N × N reference pixels is set as the color difference value Cr ′ of the target pixel. In particular,
[0036]
[Expression 1]

[0037]
Calculated by The same calculation is performed for the target pixel Cb ′.
[0038]
If the smoothing filter is used in this way, the saturation is lowered. The decrease in saturation becomes more prominent as the filter size N increases. Therefore, it is possible to prevent a decrease in saturation by intentionally reducing the division coefficient. In the case of the 9 × 9 pixel filter according to this embodiment, the division coefficient is not set to a value equal to the number of pixels (25 (5 × 5)), but is set to a smaller value, for example, 24. As described above, by reducing the division coefficient in the color difference value smoothing, it is possible to enhance the saturation without increasing the processing time.
[0039]
Next, the median filter process (step 48) will be described.
The N × N reference pixels are rearranged, and the median (median) is set as the color difference values Cr ′ and Cb ′ of the target pixel.
[0040]
After the smoothing filter process in step 46 and / or the median filter process in step 48, the saturation correction process by the saturation correction unit 30f is performed (step 50). A saturation correction coefficient corresponding to the luminance is applied to the color difference signal obtained in

step

46 or 48.
[0041]
In general, there is a lot of noise quantitatively in the dark part, and according to a predetermined experimental result, it can be seen that the amount of color noise generated near the luminance value 64 is large. Therefore, in this embodiment, the color difference value is further reduced with the luminance value 64 as the center. Specifically, in the range of 32 <Y <96, the color difference value is reduced according to the luminance value Y to at least 3/4 of the value before saturation correction. For this reason,
[0042]
[Expression 2]

[0043]
And The saturation correction process is merely an example, and needs to be individually set for each digital camera.
[0044]
Finally, the noise reduction processing device 30 according to the embodiment of the present invention converts the YCC image data into R′G′B ′ image data in the second image data conversion unit 30g (step 52), and reduces noise. The process ends. The conversion involves the following three formulas:
R '= Y + Cr "
G ′ = Y− (30Cr ″ + 11Cb ″) / 59
B '= Y + Cb "
Is done by.
[0045]
If the raw data is processed with YUV inside the digital camera, the first and second image data

conversion processing units

30a and 30b are not necessary. Similarly, steps 42 and 52 are not required.
[0046]
FIG. 7 shows the color noise measurement results using the Macbeth chart. From this result, it is apparent that after the noise reduction processing according to the present invention, the noise is reduced by 40 to 70 percent as compared with the original image.
[0047]
【The invention's effect】
According to the noise reduction method according to claim 1, the noise reduction device according to claim 8, or the program recorded in the recording medium according to claim 9, the reference pixel is selected from the pixel area of the filter. Since the median filter is applied to the selected reference pixel, the processing time is significantly shortened compared to the case where the median filter is applied to all the pixels in the pixel area. Can do.
[0048]
According to the noise reduction method of the fifth aspect, since the saturation can be adjusted by the division coefficient of the smoothing filter, it is possible to prevent a decrease in saturation by intentionally reducing the division coefficient.
[0049]
According to the noise reduction method of the sixth aspect, since the average number of reference pixels is increased as the distance from the target pixel increases, the amount of calculation can be reduced while referring to a wide range of pixels, and noise reduction can be achieved. The processing speed can be greatly shortened while maintaining the effect.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram of a computer constituting a noise reduction processing device 30 according to an embodiment of the present invention.
FIG. 2 is a functional block diagram of a noise reduction processing device 30 according to the present invention.
FIG. 3 is a flowchart for explaining the operation of the noise reduction processing apparatus 30 according to the present invention.
FIG. 4 is a diagram illustrating a 9 × 9 pixel filter used in an embodiment of the present invention.
FIG. 5 is a flowchart illustrating an example of processing in step 44, in which (a) is a contour pixel determination process for Cr, and (b) is a contour pixel determination process for Cb.
FIG. 6 is a flowchart showing another example of processing in step 44;
FIG. 7 is a graph showing the result of color noise measurement using a Macbeth chart.
[Explanation of symbols]
20 Digital Camera 30 Computer 30a First Image Data Conversion Unit 30b Outline Pixel Determination Unit 30c Filter Selection Unit 30d Smoothing Filter 30e Median Filter 30f Saturation Correction Unit 30g Second Image Data Conversion Unit 31 CPU
32 bus 33 RAM
34 ROM
35 Input unit 36 Hard disk 37 I / O
38 Media reader 40 Output device

Claims

A method for reducing noise in image data of a digital camera,
A reference pixel selection step of selecting a reference pixel from the pixel area of the filter;
A contour pixel determination step for determining whether or not a contour pixel exists in the reference pixels selected in the previous reference pixel selection step;
When a contour pixel is present in the selected reference pixel, a median filter is applied to the reference pixel selected by the reference pixel selection step;
When no contour pixel exists in the selected reference pixel, a smoothing filter is applied to the reference pixel selected by the reference pixel selection step,
Adjusting the saturation by the division coefficient of the smoothing filter;
A noise reduction method in which a division coefficient of the smoothing filter is set to a value smaller than the number of pixels of the smoothing filter.

The noise reduction method according to claim 1,
A noise reduction method for determining that a contour pixel exists in a selected reference pixel in the contour pixel determination step when a color difference between a target pixel and a reference pixel is larger than a predetermined threshold.

The noise reduction method according to claim 1,
The noise reduction method which increases the ratio made smaller than the pixel number of the said smoothing filter, so that the size of the said smoothing filter is large.

The noise reduction method according to any one of claims 1 to 3,
A noise reduction method for increasing the average number of reference pixels as the distance from a target pixel increases.

A noise reduction method according to any one of claims 1 to 4,
A noise reduction method for reducing a color difference value according to a luminance value after filtering in a luminance region where a large amount of noise is generated.

An apparatus for reducing noise in image data of a digital camera,
Reference pixel selection means for selecting a reference pixel from the pixel area of the filter,
Contour pixel determining means for determining whether or not a contour pixel exists in the reference pixels selected by the previous reference pixel selecting means;
When a contour pixel is present in the selected reference pixel, a median filter is applied to the reference pixel selected by the reference pixel selection unit;
Applying a smoothing filter to the reference pixel selected by the reference pixel selection means when no contour pixel is present in the selected reference pixel;
Adjusting the saturation by the division coefficient of the smoothing filter;
The noise reduction apparatus which makes the division coefficient of the said smoothing filter a value smaller than the pixel number of the said smoothing filter.

A computer-readable recording medium recording a program for causing a computer to execute processing for reducing noise in image data of a digital camera,
A reference pixel selection process for selecting a reference pixel from the pixel area of the filter;
A contour pixel determination process for determining whether or not a contour pixel exists in the reference pixels selected in the previous reference pixel selection process;
When a contour pixel is present in the selected reference pixel, a median filter is applied to the reference pixel selected by the reference pixel selection process;
Applying a smoothing filter if no contour pixel is present in the selected reference pixel;
Adjusting the saturation by the division coefficient of the smoothing filter;
The division coefficient of the smoothing filter is set to a value smaller than the number of pixels of the smoothing filter. A computer-readable recording medium on which a program for causing a computer to execute is recorded.