JP4069581B2

JP4069581B2 - Image processing method, computer-readable recording medium on which image processing program is recorded, and image processing apparatus

Info

Publication number: JP4069581B2
Application number: JP2000376105A
Authority: JP
Inventors: 陽廣重; 至宏中見
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2000-12-11
Filing date: 2000-12-11
Publication date: 2008-04-02
Anticipated expiration: 2020-12-11
Also published as: JP2002185795A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理プログラムが記録されたコンピュータ読み取り可能な記録媒体および画像処理装置に関し、特に画像データに含まれる雑音を低減する平滑化処理に関する。
【０００２】
【従来の技術】
例えばＣＣＤなどの画像入力手段を利用したデジタルスチルカメラ（以下、デジタルスチルカメラを「デジタルカメラ」という。）あるいはスキャナなどの画像入力装置の場合、画像入力手段からは受光した光の量に対応した電気信号だけでなく、不要な電気信号が出力されることがある。出力された不要な電気信号は雑音（以下、雑音を「ノイズ」という。）として画像を構成する電子データに含まれる。
従来は、そのような画像に含まれるノイズを除去するために、画像を構成する複数の画素から出力される電子データのすべてに平滑化処理を実施したり、エッジ情報に基づいて画像に含まれるノイズを除去する方法が利用されている。
【０００３】
【発明が解決しようとする課題】
エッジ情報に基づいてノイズを除去する場合、注目画素を中心とした所定数の画素から構成されるマトリクスに含まれるエッジ成分の検出が行われている。検出したエッジ成分のエッジ量すなわち階調差が大きいときはエッジ成分の方向に沿って狭い範囲に平滑化を実施し、エッジ量が小さいときは同心円状に広い範囲に平滑化を実施している。エッジ成分の検出には、例えばPrewittあるいはSobelなどのオペレータが使用されている。
【０００４】
しかしながら、それらのオペレータで検出されるエッジ量は、エッジ成分が含まれている場合でも、マトリクスを構成する画素の出力値の分布によってエッジ量が低く算出されることがある。
例えば、図１１に示すようなマトリクス１００の場合、マトリクス１００を構成する画素の出力値から左上および右下にはエッジ成分が含まれていることがわかる。しかし、Prewittオペレータを用いてエッジ量を計算すると、ｄｆｘ＝−２およびｄｆｙ＝−８であり、エッジ量＝（ｄｆｘ²＋ｄｆｙ²）^1/2とすると、エッジ量が８．２５となる。すなわち、エッジ成分が含まれているにもかかわらずエッジ量が小さくなる。そのため、マトリクス１００にはエッジ成分が含まれていないと判断され、平滑化は注目画素を中心とした同心円状の広い範囲で実施されることになる。その結果、周辺部のエッジ成分がマトリクスを構成する各画素に混ぜ込まれ、平滑化処理後の画像が破綻するという問題がある。
【０００５】
そこで、本発明の目的は、画像に含まれるエッジ成分の検出精度を向上し、ノイズの除去性能が高い画像処理方法、画像処理プログラムが記録されたコンピュータ読み取り可能な記録媒体および画像処理装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の請求項１もしくは２記載の画像処理方法、請求項４もしくは５記載のコンピュータ読み取り可能な記録媒体、または請求項７記載の画像処理装置によると、注目画素を含む所定数の画素からなるマトリクスのエッジ量を検出している。そして、検出したエッジ量が所定値よりも小さいとき、さらにマトリクスの画素の出力値から出力値の分散値を算出している。
【０００７】
分散値は、マトリクスを構成する画素の出力値の平均値と各画素の出力値とのばらつきの度合いを示す。例えば、分散値が大きいとき、データのばらつきが大きく、エッジ成分を含む可能性が高くなる。一方、分散値が小さいとき、データのばらつきが小さく、出力値の分布が平坦である可能性が高くなる。
【０００８】
分散値を算出することにより、マトリクスに実際にエッジ成分が含まれずエッジ量が小さくなったのか、またはマトリクスを構成する画素の出力値の分布により偶然的に計算上エッジ量が小さくなったのかを判別することができる。
算出された分散値に基づいて、フィルタ情報を作成する。分散値とフィルタ情報とを関連づけることにより、フィルタ情報の作成精度が向上する。したがって、画像を構成するマトリクスに含まれるエッジ成分の検出精度が向上し、ノイズの除去性能を向上することができる。
【０００９】
本発明の請求項３記載の画像処理方法または請求項６記載の記録媒体によると、フィルタ情報は分散値に応じて平滑化の範囲が設定される。そのため、分散値が大きいすなわちマトリクスにエッジ成分が含まれる可能性の高いとき、平滑化は注目画素を中心に狭い範囲かつエッジ成分に沿って実行することができる。一方、分散値が小さいすなわちマトリクスを構成する各画素からの出力値が平坦である可能性が高いとき、平滑化は注目画素を中心に広い範囲かつ同心円状に実施することができる。したがって、エッジ情報に応じた平滑化を実施することができる。
【００１０】
【発明の実施の形態】
本発明の実施の形態を示す一実施例を図面に基づいて説明する。
図２は、本発明の一実施例による画像処理装置を適用したデジタルカメラ１である。
図２に示すようにデジタルカメラ１は、制御部１０、画像入力手段２０、記録部３０、表示部４０およびインターフェイス５０などから構成されている。
【００１１】
制御部１０は画像入力手段２０から出力された電子データを処理するための電気回路である。制御部１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２および処理回路６０を有している。ＲＯＭ１２には、制御部１０のＣＰＵ１１および処理回路６０で実行される画像処理プログラムなどの各種コンピュータプログラムが記録されている。
【００１２】
図３に示すように処理回路６０は、エッジ量判断手段６１、分散値算出手段６２、フィルタ情報選択手段６３、平滑化手段６４および書き込み手段６５から構成されている。
また、図２に示すように制御部１０には、ユーザからの入力を受け付けるための入力手段が接続されている。入力手段としては、ユーザから撮影の実行の指示が入力されるシャッターボタン７１、ならびにデジタルカメラ１の種々の機能の操作が入力される複数の入力ボタン７２などがある。
【００１３】
画像入力手段２０は、集光レンズ２１、ＣＣＤ２２およびＡ／Ｄ変換器２３を有している。集光レンズ２１は被写体からの光をＣＣＤ２２へ集光する。ＣＣＤ２２は撮像素子を複数有している。ＣＣＤ２２は、水平方向ならびに垂直方向にマトリクス状に複数個配置されている撮像素子からなり、１つの撮像素子が１つの画素を構成している。
【００１４】
撮像素子の受光面側にはそれぞれカラーフィルタが配置されている。カラーフィルタとしては、Ｃｙ（Cyan）、Ｍｇ（Magenta）、Ｙｅ（Yellow）およびＧ（Green）からなる補色フィルタが使用されている。ＣＣＤの補色フィルタは、例えば図４に示すように配置されている。各カラーフィルタは光の三原色である赤（Ｒ）、緑（Ｇ）および青（Ｂ）のうち次の色の光を透過する。Ｃｙ＝Ｇ＋Ｂ、Ｍｇ＝Ｂ＋ＲおよびＹｅ＝Ｇ＋Ｒである。すなわち、１つのフィルタで２色の光を透過する。
ＣＣＤ２２の各撮像素子へ入射された光は電気信号に変換されて出力される。ＣＣＤ２２から出力された電気信号はアナログ信号であるので、Ａ／Ｄ変換器２３でデジタルの電子データへ変換される。
【００１５】
記録部３０は、ＲＡＭ（Random Access Memory）３１およびフラッシュメモリ３２を有している。ＲＡＭ３１としては、セルフリフレッシュ機能を有するＤＲＡＭ（Dynamic RAM）が用いられる。フラッシュメモリ３２は通電しなくても記録内容を保持することができる書き換え可能な記録媒体であり、デジタルカメラ１に内蔵されているか、またはデジタルカメラ１に着脱自在に取り付けられている。
【００１６】
ＲＡＭ３１は、制御部１０で処理またはＡ／Ｄ変換器２３から出力されたデジタルの電子データを一時的に記録する。フラッシュメモリ３２は、ＲＡＭ３１に一時的に記録されている電子データを蓄積して保管する。また、フラッシュメモリ３２には、後述するフィルタ情報が記録されている。
【００１７】
表示部４０は、液晶表示装置（ＬＣＤ）４１およびＶＲＡＭ（Video RAM）４２を有している。ＬＣＤ４１はフラッシュメモリ３２に記録されている電子データまたはＡ／Ｄ変換器２３から出力されたデジタルの電子データに基づく画像を表示する。ＶＲＡＭ４２にはＬＣＤ４１で表示するために電子データから作成される表示データが記録されている。
インターフェイス５０は、フラッシュメモリ３２に記録されている電子データを外部の例えばパーソナルコンピュータなどの機器に出力する。
【００１８】
次に、制御部１０での処理について詳細に説明する。
前述のように制御部１０には処理回路６０が設けられている。処理回路６０は画像処理を実行するための専用の演算装置である。処理回路６０はＲＯＭ３２に記録されているコンピュータプログラムにより所定の処理を実行する。
図１に基づいて、処理回路６０の各手段によって実行される処理およびその流れについて説明する。処理回路６０の各手段で実行される処理は、ＣＰＵ１１が用いられることなくパイプライン処理される。
【００１９】
（エッジ量判断手段）
エッジ量判断手段６１では、画像入力手段から出力された画像の電子データからエッジ成分の抽出を実施する。
エッジ成分の抽出の方法としては、画素の微分値を求めるためのPrewittオペレータを使用する。Prewittオペレータは以下の式により示される。図５に示すように、注目画素をＰ（ｉ，ｊ）とする。
Δfx={P(i+1,j-1)−P(i-1,j-1)}+{P(i+1,j)−P(i-1,j)}+{P(i+1,j+1)−P(i-1,j+1)}
Δfy={P(i-1,j-1)−P(i-1,j+1)}+{P(i,j-1)−P(i,j+1)}+{P(i+1,j-1)−P(i+1,j+1)}
【００２０】
上記の式では、図５に示すように注目画素Ｐについて近傍領域の画素、本実施例では注目画素Ｐを中心とした３×３のマトリクス８０を構成する画素から出力される電子データに基づいてエッジ成分の抽出を行う。エッジ成分の抽出では、図５の矢印Ｘ方向および矢印Ｙ方向のエッジ成分が検出される。電子データとして画素から出力されるのは、例えば出力が８ｂｉｔの場合０から２５５までの２５６段階の階調データである。
【００２１】
次に、上記の式で抽出されたエッジ成分からエッジ量Ｇが算出される（Ｓ）。エッジ量Ｇは以下の式（Ａ）により算出される。
【００２２】
【数１】

【００２３】
エッジ量判断手段６１は、上記の式（Ａ）に基づいてはエッジ量Ｇを算出する。また、上記の式（Ａ）の代わりに、次の式（Ａ１）または式（Ａ２）によりエッジ量を算出してもよい。式（Ａ１）または式（Ａ２）を用いることによって、より高速にエッジ量を求めることができる。
【００２４】
【数２】

【００２５】
【数３】

【００２６】
エッジとは画素から出力される電子データの階調が大きく変化する部分、すなわち画像に含まれる対象物と対象物との境界部分である。このエッジでは、エッジ成分の両側で画素から出力される電子データの階調が大きく変化する。この電子データの階調の変化量がエッジ量Ｇである。
【００２７】
ここで、エッジ量判断手段６１は、算出されたエッジ量Ｇが所定値としての特定エッジ量Ｇｓよりも大きいか小さいかを判断する（Ｓ１０２）。特定エッジ量Ｇｓとはマトリクス８０にエッジ成分が含まれているか否かを判断するしきい値である。特定エッジ量Ｇｓは、エッジ量Ｇを算出する際のオペレータによって決定される。
【００２８】
ここで、エッジ量Ｇが特定エッジ量Ｇｓよりも大きいと判断された場合、下記の式（Ｂ）に基づいてエッジ成分の傾きθｇが算出される（Ｓ１０３）。このエッジ成分の傾きθｇはエッジ成分の勾配の向き、すなわち階調差が生じる方向を示しており、図６に示すようにエッジＥに対し垂直になる。
【００２９】
【数４】

【００３０】
一方、エッジ量Ｇが特定エッジ量Ｇｓよりも小さいと判断された場合、分散値算出手段６２により分散値が算出される。
【００３１】
（分散値の算出）
上述のように、エッジ量判断手段６１で算出されたエッジ量Ｇが特定エッジ量Ｇｓよりも小さいと判断された場合、分散値算出手段６２により分散値Ｄが算出される（Ｓ１１０）。分散値Ｄは、下記の式（Ｃ）により算出される。
【００３２】
【数５】

【００３３】
分散値は上記の式（Ｃ）により、図５に示すような注目画素を中心とする３×３のマトリクス８０を構成する各画素の出力値または図７に示すような注目画素を中心とする５×５のマトリクスＭを構成する各画素の出力値から算出される。
【００３４】
（フィルタ情報選択手段）
分散値Ｄが算出されると、フィルタ情報選択手段６３はフラッシュメモリ３２に記録されているフィルタ情報を選択する。フィルタ情報選択手段６３は、記録されている複数のフィルタ情報のうち算出されたエッジ量Ｇおよびエッジ成分の方向θｇからなるエッジ情報、平滑化強度ならびに分散値Ｄに対応したフィルタ情報を選択する（Ｓ１０４）。
【００３５】
フィルタ情報は、ガウス分布により設定されている平滑化フィルタを上述のエッジ情報および分散値Ｄに基づいて変形させたものである。ここでは、一例を用いて原理を説明する。本実施例では、注目画素Ｐを中心とした５×５のマトリクスＭを平滑化の範囲としている。
ガウス分布は以下の式（Ｄ）により求められる。
【００３６】
【数６】

【００３７】
式（Ｄ）はガウス分布式の変形であり、短軸方向を１／ｎおよび長軸方向を１／ｍにスケーリングした楕円に変形し、かつθｇだけ右回りに回転させたものである。すなわち、ｍおよびｎにより楕円の形状が変化し、θｇにより楕円の傾きが変化する。このｍおよびｎはスケーリングパラメータであり、上記の式（Ａ）によって算出されたエッジ量Ｇに依存している。
エッジ量Ｇが大きくなるにつれてスケーリングパラメータｍおよびｎの値（主にｎの値）を大きくし、扁平な楕円形状に変形させる。
【００３８】
注目画素Ｐについてエッジ情報を算出した結果、エッジ量Ｇが小さいとき注目画素Ｐの周辺は平坦部であることになる。したがって、注目画素Ｐから出力された電子データは注目画素Ｐの周囲の画素に均等に分配される必要がある。そのため、平滑化の範囲は注目画素Ｐを中心とした円形の範囲Ａ１となる。
【００３９】
一方、エッジ量Ｇが大きいとき注目画素Ｐの周辺はエッジ成分であることになる。したがって、注目画素Ｐから出力された電子データは注目画素Ｐの周囲のエッジＥに沿った画素に分配される必要がある。そのため、図７に示すように平滑化の範囲Ａは注目画素Ｐを中心としてエッジＥに沿った楕円形の範囲Ａ２となる。すなわち、エッジ量Ｇが大きくなるほど、エッジＥに沿って平滑化処理が実施される。
【００４０】
さらに、エッジ量Ｇが特定エッジ量Ｇｓよりも小さいとき、分散値Ｄが算出され、算出された分散値Ｄに応じて平滑化の範囲が拡大または縮小される。例えば、算出された分散値Ｄが小さいとき、マトリクスＭにエッジ成分が含まれている可能性は低いため、マトリクスＭを構成する画素から出力される出力値の分布は平坦であると判断される。したがって、平滑化の範囲Ａｌは図８に示すように注目画素Ｐを中心にマトリクスＭの全体に及ぶように広範囲となる。
【００４１】
一方、算出された分散値Ｄが大きいとき、エッジ量Ｇからは注目画素Ｐの近傍にエッジ成分が含まれているとの判断できないものの、注目画素Ｐを中心としたマトリクスＭにはエッジ成分が含まれている可能性が高い。したがって、平滑化の範囲Ａｎは図９に示すように注目画素Ｐを中心とした狭い範囲となる。
フィルタ情報選択手段６３は、エッジ量判断手段６１および分散値算出手段６２で算出されたエッジ情報および分散値Ｄに基づいて、フラッシュメモリ３２に記録されている複数のフィルタ情報から特定のフィルタ情報を読み出す。
【００４２】
（平滑化手段）
フィルタ情報選択手段６３によりフィルタ情報が選択されると、注目画素Ｐから出力された電子データと選択されたフィルタ情報とから平滑化手段６４により平滑化処理が実行される（Ｓ１０５）。平滑化処理は、注目画素Ｐから出力された電子データの生データにフィルタ情報の数値を乗ずることにより実行される。
【００４３】
注目画素Ｐの周囲のマトリクスＭを構成する画素の出力値から算出されたエッジ量Ｇ、分散値Ｄ、ならびに必要であればエッジ成分の傾きθｇからフィルタ情報選択手段６３によりフィルタ情報が選択される。そして、注目画素Ｐから出力される電子データの生データにフィルタ情報を乗ずることにより、注目画素Ｐの情報はその注目画素Ｐを中心とする５×５のマトリクスＭの特定画素に分散される。注目画素Ｐの情報がマトリクスＭの特定画素に分散されることにより、注目画素Ｐの電子データに平滑化処理が行われる。
【００４４】
例えば、エッジ量Ｇおよび分散値Ｄが小さいとき、図８に示すように平滑化の範囲Ａｌが注目画素Ｐを中心とした同心円状に広い範囲のフィルタ情報が選択される。エッジ量Ｇが小さく分散値Ｄが大きいとき、図９に示すように平滑化の範囲Ａｎが注目画素Ｐを中心とした同心円状に狭い範囲のフィルタ情報が選択される。エッジ量Ｇが大きいとき、エッジ成分の傾きθｇが算出され、図１０に示すように平滑化の範囲Ａｈがエッジ量Ｇおよびエッジ成分の傾きθｇに応じた楕円形のフィルタ情報が選択される。
【００４５】
この平滑化処理を画像を構成する全ての画素すなわちＣＣＤ２２のすべての画素について実施する。平滑化処理は１つの画素について周囲２４個の画素において実施されるので、１つの画素ごとに２５回の平滑化処理が実施される。周囲の各画素について実施された平滑化処理の総和が平滑化処理後の電子データとなる。
【００４６】
（書き込み手段）
平滑化手段６４により平滑化処理が完了すると、処理を完了した電子データは書き込み手段６５によりＲＡＭ３１に書き込まれる。
書き込み手段６５により１画像分の電子データがＲＡＭ３１へ書き込まれると、ＲＡＭ３１に記憶されている電子データはフラッシュメモリ３２へ記録されるデータ量を低減するために圧縮処理される。圧縮形式としては、デジタルカメラ１で撮影した画像の場合、ＪＰＥＧ（Joint Photographic Experts Group）あるいはＴＩＦＦ（Tagged Image File Format）などのファイル形式が使用される。圧縮された電子データはフラッシュメモリ３２に記録される。
【００４７】
次に、本実施例のデジタルカメラ１の作動について説明する。
（１）デジタルカメラ１の図示しない電源スイッチを「ＯＮ」にすると、デジタルカメラ１はいつでも撮影可能な待機状態となる。このとき、ＣＣＤ２２では数分の１秒〜数百分の１秒ごとに集光レンズ２１により集光された光が電気信号に変換される。変換された電気信号は、Ａ／Ｄ変換器２３でデジタルの電子データに変換される。ユーザがファインダーとしてＬＣＤ４１を使用する場合、Ａ／Ｄ変換器２３から出力されたデジタルの電子データはＶＲＡＭ４２に転送され、撮影対象が動画としてＬＣＤ４１に表示される。
【００４８】
（２）ユーザによりシャッターボタン７１が作動範囲の途中まで押し込まれた「半押し」状態になると、露光およびフォーカスが設定され固定される。撮影時の露光は、制御部１０のＣＰＵ１１が集光レンズ２１の絞りやシャッタスピードすなわちＣＣＤ２２の電荷蓄積時間を制御することにより変更可能である。デジタルカメラ１のシャッタは、物理的に光を遮る機械的なシャッタ、あるいはＣＣＤ２２の電荷蓄積時間を制御する電子シャッタの一方または両方が使用される。
【００４９】
（３）ユーザによりシャッターボタン７１が作動範囲の限界まで押し込まれた「全押し」状態となると、以下のような処理が行われる。まず、被写体に対し正確な測光、焦点合わせなどを行う。測光、焦点合わせが完了すると、ＣＣＤ２２に蓄積されている電荷が一端すべて放電され、その後集光レンズ４１により被写体からの光がＣＣＤ２２へ入射し、ＣＣＤ２２は入射した光の光量に応じた電荷の量に基づいて電気信号を出力する。
【００５０】
（４）ＣＣＤ２２から出力された電気信号はＡ／Ｄ変換器２３によりデジタルの電子データに変換される。デジタルの電子データは、高速化のためＤＭＡ（Direct Memory Access）により制御部１０のＣＰＵ１１を介さずに直接ＲＡＭ３１のアドレスを指定して一時的に記憶される。
【００５１】
（５）ＲＡＭ３１に記憶された電子データは処理回路６０により上述の処理が実施されたあと、適切なカラー画像の電子データとして生成される。そしてフラッシュメモリ３２への記録枚数を増加させるために、ＪＰＥＧなどのファイル形式の電子データに圧縮される。
（６）電子データの圧縮が完了すると、電子データはＲＡＭ３１からフラッシュメモリ３２へ複製され記録される。
【００５２】
以上、説明したように本実施例の画像処理装置を適用したデジタルカメラ１によると、注目画素を含むマトリクスを構成する画素の出力値からエッジ量Ｇを算出し、そのエッジ量Ｇが特定エッジ量Ｇｓよりも小さいと判断された場合、さらに分散値Ｄを算出している。そのため、マトリクスにエッジ成分が含まれているにもかかわらず、計算上偶然エッジ量が小さくなった場合でもエッジ成分に応じたフィルタ情報を選択することができる。したがって、画像の破綻を招くことなく、画像に含まれるエッジ成分の検出精度を向上することができ、ノイズの除去性能が向上することができる。
【００５３】
以上、本発明の一実施例では画像処理装置をデジタルカメラに適用した例について説明したが、デジタルカメラに限らず画像処理を必要とするスキャナや複写機などの画像入力装置あるいはプリンタなどの画像出力装置についても本発明の画像処理を適用することができる。
【図面の簡単な説明】
【図１】本発明の一実施例によるデジタルカメラによる画像処理方法の流れを示す図である。
【図２】本発明の一実施例によるデジタルカメラを示すブロック図である。
【図３】本発明の一実施例によるデジタルカメラの処理回路を示すブロック図である。
【図４】本発明の一実施例によるデジタルカメラに用いられるＣＣＤのフィルタ配置を示す模式図である。
【図５】 Prewittオペレータを示す説明図であって、（Ａ）はＸ方向のエッジ検出、（Ｂ）はＹ方向のエッジ検出を示す図である。
【図６】本発明の一実施例による画像処理方法において、注目画素についてエッジとエッジの傾きとの関係を説明するための図である。
【図７】本発明の一実施例による画像処理方法において、注目画素について平滑化の範囲を説明するための図である。
【図８】本発明の一実施例による画像処理方法において、エッジ量および分散値がともに小さい場合の平滑化の範囲を示す模式図である。
【図９】本発明の一実施例による画像処理方法において、エッジ量が小さく分散値が大きい場合の平滑化の範囲を示す模式図である。
【図１０】本発明の一実施例による画像処理方法において、エッジ量が大きい場合の平滑化の範囲を示す模式図である。
【図１１】周辺部にエッジ成分が含まれているマトリクスを示す模式図である。
【符号の説明】
１デジタルカメラ（画像処理装置）
２０画像入力手段
３０記録部
６０処理回路
６１エッジ量判断手段
６２分散値算出手段
６３フィルタ情報選択手段
６４平滑化手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method, a computer-readable recording medium on which an image processing program is recorded, and an image processing apparatus, and more particularly, to a smoothing process for reducing noise included in image data.
[0002]
[Prior art]
For example, in the case of an image input device such as a digital still camera using an image input means such as a CCD (hereinafter referred to as “digital camera”) or a scanner, it corresponds to the amount of light received from the image input means. In addition to electrical signals, unnecessary electrical signals may be output. The output unnecessary electrical signal is included in the electronic data constituting the image as noise (hereinafter, noise is referred to as “noise”).
Conventionally, in order to remove noise included in such an image, all electronic data output from a plurality of pixels constituting the image is subjected to smoothing processing or included in the image based on edge information. A method for removing noise is used.
[0003]
[Problems to be solved by the invention]
When noise is removed based on edge information, edge components included in a matrix composed of a predetermined number of pixels centered on the target pixel are detected. When the edge amount of the detected edge component, that is, the gradation difference is large, smoothing is performed in a narrow range along the direction of the edge component, and when the edge amount is small, smoothing is performed over a wide range concentrically. . For example, an operator such as Prewitt or Sobel is used to detect the edge component.
[0004]
However, the edge amount detected by those operators may be calculated to be low depending on the distribution of output values of pixels constituting the matrix even when an edge component is included.
For example, in the case of the matrix 100 as shown in FIG. 11, it can be seen from the output values of the pixels constituting the matrix 100 that edge components are included in the upper left and lower right. However, when the edge amount is calculated using the Prewitt operator, dfx = −2 and dfy = −8, and when the edge amount = (dfx ² + dfy ² ) ^1/2 , the edge amount is 8.25. That is, the edge amount becomes small despite the inclusion of the edge component. For this reason, it is determined that the edge component is not included in the matrix 100, and the smoothing is performed in a wide range of concentric circles around the target pixel. As a result, there is a problem that edge components in the peripheral portion are mixed into each pixel constituting the matrix, and the image after the smoothing process is broken.
[0005]
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an image processing method, a computer-readable recording medium on which an image processing program is recorded, and an image processing apparatus that improve detection accuracy of edge components contained in an image and have high noise removal performance. There is to do.
[0006]
[Means for Solving the Problems]
According to the image processing method according to claim 1 or 2 of the present invention, the computer-readable recording medium according to claim 4 or 5, or the image processing apparatus according to claim 7, the image processing method includes a predetermined number of pixels including the target pixel. The edge amount of the matrix is detected. When the detected edge amount is smaller than a predetermined value, the variance value of the output value is further calculated from the output value of the pixels of the matrix.
[0007]
The variance value indicates the degree of variation between the average value of the output values of the pixels constituting the matrix and the output value of each pixel. For example, when the variance value is large, the variation in data is large and the possibility of including an edge component increases. On the other hand, when the variance value is small, there is a high possibility that the variation in data is small and the distribution of output values is flat.
[0008]
By calculating the dispersion value, whether the edge amount is small because the edge component is not actually included in the matrix, or whether the edge amount is accidentally reduced due to the distribution of the output values of the pixels constituting the matrix. Can be determined.
Filter information is created based on the calculated variance value. By associating the variance value with the filter information, the creation accuracy of the filter information is improved. Therefore, the detection accuracy of the edge components included in the matrix constituting the image is improved, and the noise removal performance can be improved.
[0009]
According to the image processing method of the third aspect of the present invention or the recording medium of the sixth aspect of the present invention, the smoothing range of the filter information is set according to the variance value. Therefore, when the variance value is large, that is, when there is a high possibility that an edge component is included in the matrix, smoothing can be performed along a narrow range and the edge component around the target pixel. On the other hand, when the variance value is small, that is, when the output value from each pixel constituting the matrix is highly likely to be flat, the smoothing can be performed in a wide range and concentric circles around the target pixel. Therefore, smoothing according to the edge information can be performed.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
An example showing an embodiment of the present invention will be described with reference to the drawings.
FIG. 2 shows a digital camera 1 to which an image processing apparatus according to an embodiment of the present invention is applied.
As shown in FIG. 2, the digital camera 1 includes a control unit 10, an image input means 20, a recording unit 30, a display unit 40, an interface 50, and the like.
[0011]
The controller 10 is an electric circuit for processing electronic data output from the image input means 20. The control unit 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, and a processing circuit 60. Various computer programs such as an image processing program executed by the CPU 11 and the processing circuit 60 of the control unit 10 are recorded in the ROM 12.
[0012]
As shown in FIG. 3, the processing circuit 60 includes an edge amount determination unit 61, a variance value calculation unit 62, a filter information selection unit 63, a smoothing unit 64, and a writing unit 65.
As shown in FIG. 2, the control unit 10 is connected to an input means for receiving an input from the user. As the input means, there are a shutter button 71 into which an instruction to execute photographing is input from a user, and a plurality of input buttons 72 into which operations of various functions of the digital camera 1 are input.
[0013]
The image input unit 20 includes a condenser lens 21, a CCD 22, and an A / D converter 23. The condensing lens 21 condenses light from the subject on the CCD 22. The CCD 22 has a plurality of image sensors. The CCD 22 is composed of a plurality of image sensors arranged in a matrix in the horizontal direction and the vertical direction, and one image sensor constitutes one pixel.
[0014]
A color filter is disposed on each light receiving surface side of the image sensor. As the color filter, a complementary color filter composed of Cy (Cyan), Mg (Magenta), Ye (Yellow), and G (Green) is used. For example, the complementary color filter of the CCD is arranged as shown in FIG. Each color filter transmits light of the next color among red (R), green (G), and blue (B), which are the three primary colors of light. Cy = G + B, Mg = B + R and Ye = G + R. That is, two colors of light are transmitted through one filter.
Light incident on each image sensor of the CCD 22 is converted into an electrical signal and output. Since the electrical signal output from the CCD 22 is an analog signal, it is converted into digital electronic data by the A / D converter 23.
[0015]
The recording unit 30 includes a RAM (Random Access Memory) 31 and a flash memory 32. As the RAM 31, a DRAM (Dynamic RAM) having a self-refresh function is used. The flash memory 32 is a rewritable recording medium that can retain recorded contents without being energized, and is built in the digital camera 1 or detachably attached to the digital camera 1.
[0016]
The RAM 31 temporarily records digital electronic data processed by the control unit 10 or output from the A / D converter 23. The flash memory 32 accumulates and stores electronic data temporarily recorded in the RAM 31. In addition, filter information described later is recorded in the flash memory 32.
[0017]
The display unit 40 includes a liquid crystal display (LCD) 41 and a VRAM (Video RAM) 42. The LCD 41 displays an image based on electronic data recorded in the flash memory 32 or digital electronic data output from the A / D converter 23. Display data created from electronic data for display on the LCD 41 is recorded in the VRAM 42.
The interface 50 outputs the electronic data recorded in the flash memory 32 to an external device such as a personal computer.
[0018]
Next, processing in the control unit 10 will be described in detail.
As described above, the control unit 10 is provided with the processing circuit 60. The processing circuit 60 is a dedicated arithmetic device for executing image processing. The processing circuit 60 executes a predetermined process by a computer program recorded in the ROM 32.
Based on FIG. 1, processing executed by each means of the processing circuit 60 and its flow will be described. The processing executed by each means of the processing circuit 60 is pipelined without using the CPU 11.
[0019]
(Edge amount judgment means)
The edge amount determination unit 61 extracts edge components from the electronic data of the image output from the image input unit.
As a method for extracting the edge component, a Prewitt operator for obtaining a differential value of a pixel is used. The Prewitt operator is given by As shown in FIG. 5, let the pixel of interest be P (i, j).
Δfx = {P (i + 1, j-1) -P (i-1, j-1)} + {P (i + 1, j) -P (i-1, j)} + {P (i + 1, j + 1) −P (i-1, j + 1)}
Δfy = {P (i-1, j-1) -P (i-1, j + 1)} + {P (i, j-1) -P (i, j + 1)} + {P (i + 1, j-1) −P (i + 1, j + 1)}
[0020]
In the above formula, as shown in FIG. 5, the pixel of interest is based on the electronic data output from the pixels in the neighboring region, and in this embodiment, the pixels constituting the 3 × 3 matrix 80 centered on the pixel of interest P. Extract edge components. In the edge component extraction, the edge components in the arrow X direction and the arrow Y direction in FIG. 5 are detected. What is output from the pixel as electronic data is, for example, 256-level gradation data from 0 to 255 when the output is 8 bits.
[0021]
Next, the edge amount G is calculated from the edge component extracted by the above equation (S). The edge amount G is calculated by the following equation (A).
[0022]
[Expression 1]

[0023]
The edge amount determination means 61 calculates the edge amount G based on the above equation (A). Further, the edge amount may be calculated by the following equation (A1) or equation (A2) instead of the above equation (A). By using the formula (A1) or the formula (A2), the edge amount can be obtained at a higher speed.
[0024]
[Expression 2]

[0025]
[Equation 3]

[0026]
An edge is a part where the gradation of electronic data output from a pixel changes greatly, that is, a boundary part between an object and an object included in an image. At this edge, the gradation of the electronic data output from the pixel greatly changes on both sides of the edge component. The amount of change in the gradation of the electronic data is the edge amount G.
[0027]
Here, the edge amount determination means 61 determines whether the calculated edge amount G is larger or smaller than the specific edge amount Gs as a predetermined value (S102). The specific edge amount Gs is a threshold value for determining whether or not an edge component is included in the matrix 80. The specific edge amount Gs is determined by an operator when calculating the edge amount G.
[0028]
Here, when it is determined that the edge amount G is larger than the specific edge amount Gs, the slope θg of the edge component is calculated based on the following equation (B) (S103). The gradient θg of the edge component indicates the direction of the gradient of the edge component, that is, the direction in which the gradation difference occurs, and is perpendicular to the edge E as shown in FIG.
[0029]
[Expression 4]

[0030]
On the other hand, when it is determined that the edge amount G is smaller than the specific edge amount Gs, the variance value is calculated by the variance value calculating means 62.
[0031]
(Calculation of variance value)
As described above, when it is determined that the edge amount G calculated by the edge amount determination unit 61 is smaller than the specific edge amount Gs, the variance value D is calculated by the variance value calculation unit 62 (S110). The dispersion value D is calculated by the following formula (C).
[0032]
[Equation 5]

[0033]
The variance value is expressed by the above formula (C), with the output value of each pixel constituting the 3 × 3 matrix 80 centered on the pixel of interest as shown in FIG. 5 or the pixel of interest as shown in FIG. It is calculated from the output value of each pixel constituting the 5 × 5 matrix M.
[0034]
(Filter information selection means)
When the variance value D is calculated, the filter information selection unit 63 selects the filter information recorded in the flash memory 32. The filter information selection means 63 selects filter information corresponding to the edge information consisting of the calculated edge amount G and the direction θg of the edge component, the smoothing intensity, and the variance value D among the plurality of recorded filter information ( S104).
[0035]
The filter information is obtained by deforming a smoothing filter set by a Gaussian distribution based on the edge information and the variance value D described above. Here, the principle will be described using an example. In the present embodiment, a 5 × 5 matrix M centered on the target pixel P is set as a smoothing range.
The Gaussian distribution is obtained by the following equation (D).
[0036]
[Formula 6]

[0037]
Formula (D) is a modification of the Gaussian distribution formula, which is transformed into an ellipse with the minor axis direction scaled to 1 / n and the major axis direction scaled to 1 / m, and rotated clockwise by θg. That is, the shape of the ellipse changes with m and n, and the inclination of the ellipse changes with θg. These m and n are scaling parameters and depend on the edge amount G calculated by the above equation (A).
As the edge amount G increases, the values of the scaling parameters m and n (mainly the value of n) are increased and deformed into a flat elliptical shape.
[0038]
As a result of calculating the edge information for the target pixel P, when the edge amount G is small, the periphery of the target pixel P is a flat portion. Therefore, the electronic data output from the target pixel P needs to be evenly distributed to the pixels around the target pixel P. Therefore, the smoothing range is a circular range A1 centered on the target pixel P.
[0039]
On the other hand, when the edge amount G is large, the periphery of the target pixel P is an edge component. Therefore, the electronic data output from the target pixel P needs to be distributed to the pixels along the edge E around the target pixel P. Therefore, as shown in FIG. 7, the smoothing range A becomes an elliptical range A2 along the edge E with the target pixel P as the center. That is, the smoothing process is performed along the edge E as the edge amount G increases.
[0040]
Further, when the edge amount G is smaller than the specific edge amount Gs, the variance value D is calculated, and the smoothing range is enlarged or reduced according to the calculated variance value D. For example, when the calculated dispersion value D is small, it is unlikely that an edge component is included in the matrix M, so that the distribution of output values output from the pixels constituting the matrix M is determined to be flat. . Therefore, the smoothing range Al is wide as shown in FIG. 8 so as to cover the entire matrix M around the target pixel P.
[0041]
On the other hand, when the calculated dispersion value D is large, the edge amount G cannot determine that an edge component is included in the vicinity of the pixel of interest P, but the matrix M centered on the pixel of interest P has an edge component. It is likely that it is included. Therefore, the smoothing range An is a narrow range centered on the target pixel P as shown in FIG.
The filter information selection unit 63 selects specific filter information from a plurality of filter information recorded in the flash memory 32 based on the edge information and the variance value D calculated by the edge amount determination unit 61 and the variance value calculation unit 62. read out.
[0042]
(Smoothing means)
When filter information is selected by the filter information selection means 63, smoothing processing is executed by the smoothing means 64 from the electronic data output from the pixel of interest P and the selected filter information (S105). The smoothing process is executed by multiplying the raw data of the electronic data output from the target pixel P by the numerical value of the filter information.
[0043]
Filter information is selected by the filter information selection means 63 from the edge amount G calculated from the output values of the pixels constituting the matrix M around the pixel of interest P, the dispersion value D, and, if necessary, the slope θg of the edge component. . Then, by multiplying the raw data of the electronic data output from the target pixel P by the filter information, the information of the target pixel P is distributed to specific pixels of the 5 × 5 matrix M centering on the target pixel P. By distributing the information of the target pixel P to the specific pixels of the matrix M, the electronic data of the target pixel P is smoothed.
[0044]
For example, when the edge amount G and the variance value D are small, filter information in a wide range in which the smoothing range Al is concentrically centered on the target pixel P is selected as shown in FIG. When the edge amount G is small and the variance value D is large, filter information in a narrow concentric range centering on the pixel of interest P is selected as shown in FIG. When the edge amount G is large, the slope θg of the edge component is calculated, and elliptical filter information corresponding to the edge amount G and the slope θg of the edge component is selected in the smoothing range Ah as shown in FIG.
[0045]
This smoothing process is performed for all pixels constituting the image, that is, all pixels of the CCD 22. Since the smoothing process is performed on 24 surrounding pixels for one pixel, the smoothing process is performed 25 times for each pixel. The sum of the smoothing processes performed on the surrounding pixels becomes the electronic data after the smoothing process.
[0046]
(Writing means)
When the smoothing process is completed by the smoothing unit 64, the electronic data that has been processed is written into the RAM 31 by the writing unit 65.
When electronic data for one image is written to the RAM 31 by the writing means 65, the electronic data stored in the RAM 31 is compressed to reduce the amount of data recorded in the flash memory 32. As the compression format, in the case of an image taken with the digital camera 1, a file format such as JPEG (Joint Photographic Experts Group) or TIFF (Tagged Image File Format) is used. The compressed electronic data is recorded in the flash memory 32.
[0047]
Next, the operation of the digital camera 1 of this embodiment will be described.
(1) When a power switch (not shown) of the digital camera 1 is turned “ON”, the digital camera 1 is in a standby state where photographing can be performed at any time. At this time, in the CCD 22, the light condensed by the condenser lens 21 is converted into an electric signal every one-hundredth to several hundredths of a second. The converted electrical signal is converted into digital electronic data by the A / D converter 23. When the user uses the LCD 41 as a finder, the digital electronic data output from the A / D converter 23 is transferred to the VRAM 42 and the shooting target is displayed on the LCD 41 as a moving image.
[0048]
(2) When the shutter button 71 is pushed halfway through the operating range by the user, the exposure and focus are set and fixed. The exposure at the time of photographing can be changed by the CPU 11 of the control unit 10 controlling the aperture and shutter speed of the condenser lens 21, that is, the charge accumulation time of the CCD 22. As the shutter of the digital camera 1, one or both of a mechanical shutter that physically blocks light and an electronic shutter that controls the charge accumulation time of the CCD 22 are used.
[0049]
(3) When the user enters the “full press” state in which the shutter button 71 is pushed down to the limit of the operating range, the following processing is performed. First, accurate photometry and focusing are performed on the subject. When the photometry and focusing are completed, the charge accumulated in the CCD 22 is completely discharged, and then the light from the subject is incident on the CCD 22 by the condenser lens 41, and the CCD 22 has an amount of charge corresponding to the amount of the incident light. An electrical signal is output based on
[0050]
(4) The electrical signal output from the CCD 22 is converted into digital electronic data by the A / D converter 23. Digital electronic data is temporarily stored by designating the address of the RAM 31 directly by DMA (Direct Memory Access) without going through the CPU 11 of the control unit 10 for speeding up.
[0051]
(5) The electronic data stored in the RAM 31 is generated as electronic data of an appropriate color image after the processing circuit 60 performs the above-described processing. Then, in order to increase the number of recordings in the flash memory 32, it is compressed into electronic data in a file format such as JPEG.
(6) When the compression of the electronic data is completed, the electronic data is copied from the RAM 31 to the flash memory 32 and recorded.
[0052]
As described above, according to the digital camera 1 to which the image processing apparatus of the present embodiment is applied, the edge amount G is calculated from the output values of the pixels constituting the matrix including the target pixel, and the edge amount G is the specific edge amount. If it is determined that it is smaller than Gs, the variance value D is further calculated. Therefore, even if the edge component is included in the matrix, the filter information corresponding to the edge component can be selected even when the edge amount is accidentally reduced in the calculation. Therefore, the detection accuracy of the edge component included in the image can be improved without causing the image to be broken, and the noise removal performance can be improved.
[0053]
As described above, an example in which an image processing apparatus is applied to a digital camera has been described in one embodiment of the present invention. The image processing of the present invention can also be applied to the apparatus.
[Brief description of the drawings]
FIG. 1 is a diagram showing a flow of an image processing method by a digital camera according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a digital camera according to an embodiment of the present invention.
FIG. 3 is a block diagram showing a processing circuit of a digital camera according to an embodiment of the present invention.
FIG. 4 is a schematic diagram showing a filter arrangement of a CCD used in a digital camera according to an embodiment of the present invention.
FIGS. 5A and 5B are explanatory diagrams showing a Prewitt operator, in which FIG. 5A shows edge detection in the X direction, and FIG. 5B shows edge detection in the Y direction.
FIG. 6 is a diagram for explaining a relationship between an edge and an edge inclination of a target pixel in an image processing method according to an embodiment of the present invention.
FIG. 7 is a diagram for explaining a smoothing range for a target pixel in an image processing method according to an embodiment of the present invention.
FIG. 8 is a schematic diagram showing a smoothing range when both the edge amount and the variance value are small in the image processing method according to the embodiment of the present invention.
FIG. 9 is a schematic diagram showing a smoothing range when the edge amount is small and the variance value is large in the image processing method according to the embodiment of the present invention.
FIG. 10 is a schematic diagram showing a smoothing range when the edge amount is large in the image processing method according to the embodiment of the present invention.
FIG. 11 is a schematic diagram showing a matrix in which an edge component is included in the peripheral portion.
[Explanation of symbols]
1 Digital camera (image processing device)
20 Image input means 30 Recording section 60 Processing circuit 61 Edge amount judgment means 62 Dispersion value calculation means 63 Filter information selection means 64 Smoothing means

Claims

An edge amount detection step of detecting an edge amount of the matrix from output values of a predetermined number of pixels constituting the matrix including the pixel of interest;
An edge amount determination step of determining the magnitude of the edge amount and a predetermined value from the edge amount detected in the edge amount detection step;
When the edge amount is equal to or greater than the predetermined value, an edge inclination calculating step for calculating an inclination of an edge component from the edge amount detected in the edge amount detecting step;
A dispersion value calculating step of calculating a dispersion value from the output value of each pixel constituting the matrix;
A processing step of smoothing the output value;
An image processing method including:
The processing step includes
If the edge amount of the matrix is determined to be greater than or equal to the predetermined value in the edge amount determination step, the output value is smoothed by first filter information based on the edge amount and the slope of the edge component ,
When it is determined in the edge amount determination step that the edge amount of the matrix is smaller than the predetermined value, the output value is smoothed by the second filter information based on the dispersion value calculated in the dispersion value calculation step. An image processing method.

The image processing method according to claim 1, wherein a range of smoothing is set in the second filter information according to the size of the variance value.

The image processing method according to claim 2, wherein the second filter information has a narrowing range of the smoothing as the variance value increases.

A computer-readable recording medium on which an image processing program for removing noise output from pixels constituting an image is recorded,
An edge amount detection procedure for detecting an edge amount of the matrix from output values of a predetermined number of pixels constituting the matrix including the pixel of interest;
An edge amount determination procedure for determining the magnitude of the edge amount and a predetermined value from the edge amount detected in the edge amount detection procedure;
When the edge amount is equal to or greater than the predetermined value, an edge inclination calculation procedure for calculating an inclination of an edge component from the edge amount detected by the edge amount detection procedure;
A dispersion value calculation procedure for calculating a dispersion value from the output value of the matrix;
A processing procedure for smoothing the output value;
A recording medium on which an image processing program for causing a computer to execute is recorded,
The processing procedure is as follows:
When the edge amount of the matrix is determined to be equal to or greater than the predetermined value in the edge amount determination procedure, the output value is leveled by first filter information based on the edge amount and the slope of the edge component ,
When the edge amount determination procedure determines that the edge amount of the matrix is smaller than the predetermined value, the output value is smoothed by the second filter information based on the variance value calculated by the variance value calculation procedure. A recording medium having an image processing program recorded thereon.

The recording medium according to claim 4, wherein the second filter information has a smoothing range set in accordance with the magnitude of the variance value.

6. The recording medium according to claim 5, wherein the smoothing range of the second filter information becomes narrower as the variance value becomes larger.

Image input means for inputting image information and capable of outputting the image information as electronic data;
Edge amount determination means for calculating an edge amount of a matrix composed of a predetermined number of pixels including a target pixel from the electronic data output from the image input means, and determining the magnitude of the edge amount and a predetermined value; ,
An edge inclination calculating means for calculating an inclination of an edge component from the calculated edge amount of the matrix when the edge amount is equal to or greater than the predetermined value;
Dispersion value calculation means for calculating a dispersion value from an output value of electronic data of pixels constituting the matrix;
Smoothing means for executing a smoothing process on the electronic data;
An image processing apparatus comprising:
The smoothing means includes
When the edge amount determining means determines that the edge amount is equal to or greater than the predetermined value, the electronic data is subjected to a smoothing process using first filter information based on the edge amount and the slope of the edge component ,
When the edge amount determining means determines that the edge amount is smaller than the predetermined value, the electronic data is subjected to a smoothing process using the second filter information calculated by the variance value calculating means. A featured image processing apparatus.