JP4165220B2 - 画像処理方法、プログラムおよび画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、入力された画像の電子データを平滑化し、雑音を除去する画像処理方法、記録媒体および画像処理装置に関する。
【０００２】
【従来の技術】
例えばＣＣＤなどの画像入力手段を利用したデジタルスチルカメラ（以下、デジタルスチルカメラを「デジタルカメラ」という。）あるいはスキャナなどの画像入力装置の場合、画像入力手段からは受光した光の量に対応した電気信号だけでなく、不要な電気信号が出力されることがある。出力された不要な電気信号は雑音（以下、雑音を「ノイズ」という。）として画像を構成する電子データに含まれる。特に輝度の低い部分、すなわち画像が暗い部分にはノイズが目立って発生する傾向にある。
【０００３】
従来は、そのような画像に含まれるノイズを除去するために、面像を構成する電子データの全部に平滑化処理を実施したり、エッジ情報に基づいて画像に含まれるノイズを除去する方法が利用されている。
【０００４】
【発明が解決しようとする課題】
エッジ情報を保持したままノイズを除去する方法として、（ａ）画像のエッジの勾配に応じて平滑化または輪郭を強調する方法、または（ｂ）エッジの方向を検出して平滑化の範囲を変更する方法などが考えられている。ここで、エッジの勾配とは画像を構成する画素の輝度の勾配である。
【０００５】
しかしながら、（ａ）エッジの勾配に応じて平滑化または輪郭を強調する場合、ノイズが比較的少ない平坦部のノイズをも強調し画質が低下するという問題がある。一方、（ｂ）エッジの方向を検出して平滑化範囲を変更する場合、条件分岐を利用してエッジの方向を検出している。検出角度の精度を高めるためにエッジの方向の検出角度を細かく設定すると、分岐を行うための条件が増大する。そのため、パイプライン処理のような高速化処理を実行することが困難である。また、高速化のためにエッジの方向の検出角度の設定を低減すると、条件分岐における判断に誤りが増大し、エッジのぼけが生じるという問題がある。
さらに、（ａ）および（ｂ）はそれぞれ単独の機能として実施されており、両者の機能を同時に実施する方法はない。
【０００６】
そこで、本発明の目的は、画像のエッジがぼけたり平坦部のノイズが強調されることなく、ノイズを除去し、かつ高速にノイズを除去処理をする画像処理方法、記録媒体および画像処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の請求項１記載の画像処理方法、請求項３記載の画像処理装置によると、エッジに対応したフィルタ情報を用いて電子データは平滑化処理される。
また、フィルタ情報はあらかじめ設定され、算出されたエッジ情報に基づいてフィルタ情報を選択するので、複雑な条件分岐処理を実施する必要がなく、例えばパイプライン処理により高速に平滑化処理を実行することができる。したがって、画像のエッジがぼけたり平坦部のノイズが強調されることなく、ノイズを除去することができ、かつ高速にノイズを除去処理をすることができる。
また、フィルタ情報はエッジの勾配が大きくなるにしたがって円形から楕円形に平滑化の範囲が変化するように設定されている。そのため、例えばエッジの勾配が大きいすなわち輝度の変化が大きいときは、フィルタ情報の平滑化の範囲は楕円形となり、エッジに沿って平滑化を実施することができる。
したがって、平坦部のノイズが強調されることなく、エッジに沿ってエッジ近傍のノイズだけを除去することができる。
また、フィルタ情報は勾配の方向と平滑化の範囲の傾きとは同一になるように設定されている。そのため、エッジの形状が変化してもそのエッジの形状に合わせて平滑化の範囲を変化させることができる。
【００１０】
本発明の請求項２記載の画像処理方法、請求項４記載の画像処理装置によると、電子データに基づいて輝度を算出し、輝度から平滑化強度を算出している。この平滑化強度およびエッジ情報に基づいてフィルタ情報は選択される。そのため、エッジの輝度によって平滑化強度を変化させることができ、エッジ近傍のノイズを集中的に除去することができる。したがって、平坦部のノイズが強調されることなく、エッジ近傍のノイズだけを除去することができる。
【００１１】
【発明の実施の形態】
本発明の実施の形態を示す複数の実施例を図面に基づいて説明する。
（第１実施例）
図２は、本発明の第１実施例による画像処理装置を適用したデジタルカメラ１である。
図２に示すようにデジタルカメラ１は、制御部１０、画像入力手段２０、記録部３０、表示部４０およびインターフェイス５０などから構成されている。
【００１２】
制御部１０は画像入力手段２０から出力された電子データを処理するための電気回路である。制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２および処理回路６０を有している。ＲＯＭ１２には、制御部１０のＣＰＵ１１および処理回路６０で実行されるコンピュータプログラムが記録されている。
【００１３】
図３に示すように処理回路６０は、エッジ情報算出手段６１、フィルタ情報選択手段６３、平滑化処理手段６４および書き込み手段６５から構成されている。
また、図２に示すように制御部１０には、ユーザからの入力を受け付けるための入力手段が接続されている。入力手段としては、ユーザから撮影の実行の指示が入力されるシャッターボタン７１、ならびにデジタルカメラ１の種々の機能の操作が入力される複数の入力ボタン７２などがある。
【００１４】
画像入力手段２０は、集光レンズ２１、ＣＣＤ２２およびＡ／Ｄ変換器２３を有している。集光レンズ２１は被写体からの光をＣＣＤ２２へ集光する。ＣＣＤ２２は撮像素子を複数有している。ＣＣＤ２２は、水平方向ならびに垂直方向にマトリクス状に複数個配置されている撮像素子からなり、１つの撮像素子が１つの画素を構成している。
【００１５】
撮像素子の受光面側にはそれぞれカラーフィルタが配置されている。カラーフィルタとしては、Ｃｙ（Ｃｙａｎ）、Ｍｇ（Ｍａｇｅｎｔａ）、Ｙｅ（Ｙｅｌｌｏｗ）およびＧ（Ｇｒｅｅｎ）からなる補色フィルタが使用されている。ＣＣＤの補色フィルタは、例えば図４に示すように配置されている。各カラーフィルタは光の三原色である赤（Ｒ）、緑（Ｇ）および青（Ｂ）のうち次の色の光を透過する。Ｃｙ＝Ｇ＋Ｂ、Ｍｇ＝Ｂ＋ＲおよびＹｅ＝Ｇ＋Ｒである。すなわち、１つのフィルタで２色の光を透過する。
【００１６】
ＣＣＤ２２の各撮像素子へ入射された光は電気信号に変換されて出力される。ＣＣＤ２２から出力された電気信号はアナログ信号であるので、Ａ／Ｄ変換器２３でデジタルの電子データへ変換される。
【００１７】
記録部３０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１およびフラッシュメモリ３２を有している。ＲＡＭ３１としては、セルフリフレッシュ機能を有するＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）が用いられる。フラッシュメモリ３２は通電しなくても記録内容を保持することができる書き換え可能な記録媒体であり、デジタルカメラ１に内蔵されているか、またはデジタルカメラ１に着脱自在に取り付けられている。
【００１８】
ＲＡＭ３１は、制御部１０で処理またはＡ／Ｄ変換器２３から出力されたデジタルの電子データを一時的に記録する。フラッシュメモリ３２は、ＲＡＭ３１に一時的に記録されている電子データを蓄積して保管する。また、フラッシュメモリ３２には、後述するフィルタ情報が記録されている。
【００１９】
表示部４０は、液晶表示装置（ＬＣＤ）４１およびＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）４２を有している。ＬＣＤ４１はフラッシュメモリ３２に記録されている電子データまたはＡ／Ｄ変換器２３から出力されたデジタルの電子データに基づく画像を表示する。ＶＲＡＭ４２にはＬＣＤ４１で表示するために電子データから作成される表示データが記録されている。
インターフェイス５０は、フラッシュメモリ３２に記録されている電子データを外部の例えばパーソナルコンピュータなどの機器に出力する。
【００２０】
次に、制御部１０での処理について詳細に説明する。
前述のように制御部１０には処理回路６０が設けられている。処理回路６０は画像処理を実行するための専用の演算装置である。処理回路６０はＲＯＭ３２に記録されているコンピュータプログラムにより所定の処理を実行する。
図１および図３に基づいて、処理回路６０の各手段によって実行される処理およびその流れについて説明する。処理回路６０の各手段で実行される処理は、ＣＰＵ１１が用いられることなくパイプライン処理される。
【００２１】
（エッジ情報算出手段）
エッジ情報算出手段６１では、画像入力手段から出力された画像の電子データからエッジ抽出処理を実施する（Ｓ１０１）。抽出されたエッジからそのエッジの勾配と方向とを算出する。
【００２２】
エッジ抽出処理の方法としては、画素の微分値を求めるためのＰｒｅｗｉｔｔオペレータを使用する。Ｐｒｅｗｉｔｔオペレータは以下の式により示される。図５に示すように、注目画素をＰ（ｉ，ｊ）とする。
Δｆｘ＝｛Ｐ（ｉ＋１，Ｊ−１）−Ｐ（ｉ−１，Ｊ−１）｝＋｛Ｐ（ｉ＋１，ｊ）−Ｐ（ｉ−１，ｊ）｝＋｛Ｐ（ｉ＋１，ｊ＋１）−Ｐ（ｉ−１，ｊ＋１）｝
Δｆｙ＝｛Ｐ（ｉ−１，ｊ＋１）−Ｐ（ｉ−１，ｊ−１）｝＋｛Ｐ（ｉ，ｊ＋１）−Ｐ（ｉ，ｊ−１）｝＋｛Ｐ（ｉ＋１，ｊ＋１）−Ｐ（ｉ＋１，ｊ−１）｝
【００２３】
上記の式では、図５に示すように注目画素Ｐについて近傍領域の画素、本実施例では注目画素Ｐを中心とした３×３のマトリクス８０を構成する画素から出力される電子データに基づいてエッジ抽出を行う。エッジ抽出では、図５の矢印Ｘ方向および矢印Ｙ方向のエッジ成分が検出される。電子データとして画素から出力されるのは、例えば出力が８ｂｉｔの場合０から２５５までの２５６段階の階調データである。
【００２４】
次に、上記の式で抽出されたエッジからエッジの勾配およびエッジの方向からなるエッジ情報を算出する（Ｓ１０２）。エッジの勾配の大きさｇｒａｄは以下の式（Ａ）により、エッジの方向θｇは以下の式（Ｂ）により算出される。
【００２５】
【数１】

【００２６】
【数２】

【００２７】
上記の式（Ａ）および式（Ｂ）に基づいて、エッジ情報算出手段６１はエッジ情報としての勾配の大きさｇｒａｄおよびエッジの方向θｇを算出する。
また、上記の式（Ａ）の代わりに、次の式（Ａ１）または式（Ａ２）によりエッジの勾配の大きさを算出してもよい。式（Ａ１）または式（Ａ２）を用いることによって、より高速にエッジの勾配の大きさを求めることができる。
【００２８】
【数３】

【００２９】
【数４】

【００３０】
エッジとは画素から出力される電子データの階調が大きく変化する部分、すなわち画像に含まれる対象物と対象物との境界部分である。このエッジでは、エッジの両側で画素から出力される電子データの階調が大きく変化する。この電子データの階調の変化量を勾配の大きさｇｒａｄ、電子データの階調の変化が生じている方向が勾配の方向θｇということになる。したがって、図６に示すように、エッジＥの方向とエッジの勾配の方向θｇとは垂直な関係となる。
【００３１】
（平滑化強度算出手段）
画像入出力手段２０から出力された電子データからは、エッジ情報だけでなく、平滑化強度が算出される（Ｓ１０３）。
平滑化強度算出手段６２は、ＣＣＤ２２の各画素から出力される電子データに含まれる輝度Ｙの情報に基づいて平滑化強度σを算出する。平滑化強度σは、以下の式（Ｃ）によって算出される。
【００３２】
【数５】

【００３３】
式（Ｃ）において、ｅは自然対数、ｎはノイズ量が最大となる輝度である。ｎは撮影条件に応じて変化し、例えば画素からの出力が８ｂｉｔの２５６階調の本実施例では、ｎ＝５０に設定している。
この式（Ｃ）で算出された平滑化強度σから平滑化の範囲が算出される。平滑化の範囲は後述するガウス分布により求められる。
【００３４】
（フィルタ情報選択手段）
エッジ情報算出手段６１により算出されたエッジ情報および平滑化強度に基づいて、フィルタ情報選択手段６３はフラッシュメモリ３２に記録されているフィルタ情報を選択する。フィルタ情報選択手段６３は、記録されている複数のフィルタ情報のうち算出されたエッジ情報および平滑化強度に対応したフィルタ情報を選択する（Ｓ１０４）。
【００３５】
フィルタ情報は、ガウス分布により設定されている平滑化フィルタを上述のエッジ情報に基づいて変形させたものである。ここでは、一例を用いて原理を説明する。本実施例では、注目画素Ｐを中心とした５×５のマトリクスを平滑化の範囲としている。
ガウス分布は以下の式（Ｄ）により求められる。
【００３６】
【数６】

【００３７】
式（Ｄ）はガウス分布式の変形であり、短軸方向を１／ｎおよび長軸方向を１／ｍにスケーリングした楕円に変形し、かつθｇだけ右回りに回転させたものである。すなわち、ｍおよびｎにより楕円の形状が変化し、θｇにより楕円の傾きが変化する。このｍおよびｎはスケーリングパラメータであり、上記の式（Ａ）によって算出された勾配の大きさｇｒａｄに依存している。
【００３８】
エッジの勾配の大きさｇｒａｄが大きくなるにつれてスケーリングパラメータｍおよびｎの値（主にｎの値）を大きくし、扁平な楕円形状に変形させる。また、勾配の方向θｇに応じて回転させることにより図７に示すようにエッジＥに沿った平滑化の範囲Ａが求められる。すなわち、スケーリングパラメータｍおよびｎの値が小さいとき図７の破線で示すように平滑化の範囲Ａ１は円形であるのに対し、スケーリングパラメータｍおよびｎ、特にｎの値が大きくなるにしたがって図７の実線で示すように平滑化の範囲Ａ２は扁平な楕円形となる。
【００３９】
注目画素Ｐについてエッジ情報を算出した結果、エッジの勾配が小さいとき注目画素Ｐの周辺は平坦部であることになる。したがって、注目画素Ｐから出力された電子データは注目画素Ｐの周囲の画素に均等に分配される必要がある。そのため、平滑化の範囲は注目画素Ｐを中心とした円形の範囲となる。
【００４０】
一方、エッジの勾配が大きいとき注目画素Ｐの周辺はエッジ部であることになる。したがって、注目画素Ｐから出力された電子データは注目画素Ｐの周囲のエッジに沿った画素に分配される必要がある。そのため、平滑化の範囲は注目画素Ｐを中心としてエッジＥに沿った楕円形の範囲となる。すなわち、エッジの勾配が大きくなるほど、エッジＥに沿って平滑化処理を実施する必要がある。
【００４１】
本実施例では、エッジ情報算出手段６１により算出されるエッジの勾配の大きさｇｒａｄとスケーリングパラメータｍおよびｎの値とは関連づけられている。そのため、勾配の大きさｇｒａｄが決定されると、その勾配の大きさｇｒａｄに対応するスケーリングパラメータｍおよびｎが決定される。
【００４２】
図８は、一例として勾配の方向θｇ＝４５°および平滑化強度σ＝０．７を一定にしてスケーリングパラメータｎを変化させた場合に平滑化の範囲がどのように変化するかを示している。マトリクスは本実施例のように５×５に限らず、３×３、あるいは７×７など適当に設定可能である。
【００４３】
図８から、ｎ＝１のとき平滑化の範囲は全方向に均一になっていることが分かる。これに対し、ｎが大きくなるにしたがって、勾配の方向θｇに沿った軸の長さが短くなり、平滑化の範囲がエッジＥに沿って集中してくるのが分かる。また、ｎ＝３より大きくなると平滑化の範囲はほとんど変化しない。したがって、σ＝０．７の場合には有効なスケーリングパラメータｎの範囲は１から３であるといえる。
【００４４】
次に、平滑化強度とスケーリングパラメータとの関係について説明する。平滑化の範囲は上記の式（Ｄ）において平滑化強度σの大きさによって変化させることができる。平滑化強度σが小さいときは平滑化の効果は小さくなり、平滑化強度σが大きいときは平滑化の効果は大きくなる。
【００４５】
平滑化強度σが大きくなると平滑化の範囲が広くなるため、スケーリングパラメータｎを大きくすることにより平滑化の範囲を絞り込む必要がある。また、短軸方向のスケーリングパラメータｎのみを変化させるとエッジの平滑化の効果が強くなりすぎるため、長軸方向のスケーリングパラメータｍも変化させる必要がある。
【００４６】
図９には、平滑化強度σを変化させたとき、その平滑化強度において平滑化の効果が最も弱いフィルタ情報と、平滑化の効果が最も強いフィルタ情報を示している。図９の左の列が平滑化の効果が最も弱いフィルタ情報、右の列が平滑化の効果が最も強いフィルタ情報である。
図９から、平滑化の効果が弱いとき平滑化の範囲は注目画素から均一に分布しており、平滑化の効果が強いとき平滑化の範囲はエッジ周辺に集中していることが分かる。
【００４７】
フラッシュメモリ３２には、各パラメータに対応した複数のフィルタ情報が記録されている。この複数のフィルタ情報には、勾配の大きさｇｒａｄによって決定されるスケーリングパラメータｍおよびｎ、勾配の方向θｇ、ならびに輝度Ｙから算出される平滑化強度σの値を組み合わせることにより設定されている平滑化の範囲が含まれている。
【００４８】
フィルタ情報選択手段６３は、フラッシュメモリ３２に記録されている複数のフィルタ情報から、特定のフィルタ情報を読み出す。すなわち、エッジ情報算出手段６１で算出されたエッジの勾配の大きさｇｒａｄからスケーリングパラメータｍおよびｎの値を決定する。そして、決定されたスケーリングパラメータｍおよびｎ、勾配の方向θｇ、ならびに平滑化強度算出手段６２により算出された平滑化強度σに基づいて特定のフィルタ情報を選択し、フラッシュメモリ３２から読み出す。
【００４９】
（平滑化処理手段）
フィルタ情報選択手段６３によりフィルタ情報が選択されると、注目画素Ｐから出力された電子データと選択されたフィルタ情報とから平滑化処理が実行される（Ｓ１０５）。平滑化処理は、注目画素Ｐから出力された電子データの生データにフィルタ情報の数値を乗ずることにより実行される。
【００５０】
例えば、注目画素Ｐの周囲のマトリクス８０から算出された勾配の大きさｇｒａｄから決定されたスケーリングパラメータがｍ＝１．２５およびｎ＝４、勾配の傾きがθｇ＝４５°、ならびに注目画素Ｐの輝度Ｙに基づいて算出される平滑化強度がσ＝０．９であった場合、フィルタ情報選択手段６３により図１０に示すようなフィルタ情報９０が選択される。そして、注目画素Ｐから出力される電子データの生データに図８に示すフィルタ情報の数値（マトリクスの数値／総和）を乗ずることにより、注目画素Ｐの情報はその注目画素Ｐを中心とする５×５のマトリクス８０の特定画素に分散される。注目画素Ｐの情報がマトリクス８０の特定画素に分散されることにより、注目画素Ｐの電子データに平滑化処理が行われる。
【００５１】
この平滑化処理を画像を構成する全ての画素すなわちＣＣＤ２２のすべての画素について実施する。平滑化処理は１つの画素について周囲２４個の画素において実施されるので、１つの画素ごとに２５回の平滑化処理が実施される。周囲の各画素について実施された平滑化処理の総和が平滑化処理後の電子データとなる。
【００５２】
（書き込み手段）
平滑化処理手段６４により平滑化処理が完了すると、処理を完了した電子データは書き込み手段６５によりＲＡＭ３１に書き込まれる。
書き込み手段６５により１画像分の電子データがＲＡＭ３１へ書き込まれると、ＲＡＭ３１に記憶されている電子データはフラッシュメモリ３２へ記録されるデータ量を低減するために圧縮処理される。圧縮形式としては、デジタルカメラ１で撮影した画像の場合、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）あるいはＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）などのファイル形式が使用される。圧縮された電子データはフラッシュメモリ３２に記録される。
【００５３】
次に、第１実施例のデジタルカメラ１の作動について説明する。
（１） デジタルカメラ１の図示しない電源スイッチを「ＯＮ」にすると、デジタルカメラ１はいつでも撮影可能な待機状態となる。このとき、ＣＣＤ２２では数分の１秒〜数百分の１秒ごとに集光レンズ２１により集光された光が電気信号に変換される。変換された電気信号は、Ａ／Ｄ変換器２３でデジタルの電子データに変換される。ユーザがファインダーとしてＬＣＤ４１を使用する場合、Ａ／Ｄ変換器２３から出力されたデジタルの電子データはＶＲＡＭ４２に転送され、撮影対象が動画としてＬＣＤ４１に表示される。
【００５４】
（２） ユーザによりシャッターボタン７１が作動範囲の途中まで押し込まれた「半押し」状態になると、露光およびフォーカスが設定され固定される。撮影時の露光は、制御部１０のＣＰＵ１１が集光レンズ２１の絞りやシャッタスピードすなわちＣＣＤ２２の電荷蓄積時間を制御することにより変更可能である。デジタルカメラ１のシャッタは、物理的に光を遮る機械的なシャッタ、あるいはＣＣＤ２２の電荷蓄積時間を制御する電子シャッタの一方または両方が使用される。
【００５５】
（３） ユーザによりシャッターボタン７１が作動範囲の限界まで押し込まれた「全押し」状態となると、以下のような処理が行われる。まず、被写体に対し正確な測光、焦点合わせなどを行う。測光、焦点合わせが完了すると、ＣＣＤ２２に蓄積されている電荷が一端すべて放電され、その後集光レンズ４１により被写体からの光がＣＣＤ２２へ入射し、ＣＣＤ２２は入射した光の光量に応じた電荷の量に基づいて電気信号を出力する。
【００５６】
（４） ＣＣＤ２２から出力された電気信号はＡ／Ｄ変換器２３によりデジタルの電子データに変換される。デジタルの電子データは、高速化のためＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）により制御部１０のＣＰＵ１１を介さずに直接ＲＡＭ３１のアドレスを指定して一時的に記憶される。
【００５７】
（５） ＲＡＭ３１に記憶された電子データは処理回路６０により上述の処理が実施されたあと、適切なカラー画像の電子データとして生成される。そしてフラッシュメモリ３２への記録枚数を増加させるために、ＪＰＥＧなどのファイル形式の電子データに圧縮される。
（６） 電子データの圧縮が完了すると、電子データはＲＡＭ３１からフラッシュメモリ３２へ複製され記録される。
【００５８】
以上説明したように、本発明の第１実施例によるデジタルカメラ１の画像処理方法によると、注目画素Ｐを通るエッジの勾配の大きさｇｒａｄによって決定されるスケーリングパラメータｎおよびｍ、エッジの勾配の方向θｇ、ならびに注目画素Ｐから出力される電子データから算出される平滑化強度σに基づいてフィルタ情報が選択され読み出される。そのため、複雑な条件分岐を実施することなく、エッジに沿った最適なフィルタ情報を選択することができる。また、フィルタ情報はあらかじめ設定されフラッシュメモリ３２に記録されている。すなわち、算出されたエッジ情報および平滑化強度σに基づいて、注目画素Ｐから出力される電子データを処理するための最適なフィルタ情報が選択される。そのため、パイプライン処理により平滑化処理を高速に実行することができる。
したがって、画像のエッジがぼけたり平坦部のノイズが強調されることなく、ノイズを除去することができ、かつ高速にノイズの除去処理をすることができる。
【００５９】
また、フィルタ情報に含まれる平滑化の範囲の情報は、エッジの勾配の大きさが大きくなるにしたがって、平滑化の範囲が円形から楕円形に分布するように設定されている。したがって、平坦部のノイズを強調することなく、エッジの近傍のノイズを集中的に除去することができる。
【００６０】
さらに、エッジ情報および平滑化強度からフィルタ情報を選択することにより、エッジの勾配に応じた平滑化および輪郭の強調をする機能と、平滑化の範囲を変更する機能とを同時に実施することができる。したがって、高速にノイズの除去処理をすることができる。
【００６１】
（第２実施例）
本発明の第２実施例によるデジタルカメラの処理回路１００を図１０、ならびに処理の手順を図１１に示す。第１実施例と実質的に同一の構成部位または手順については説明を省略する。
第２実施例は、エッジ情報であるエッジの勾配の大きさｇｒａｄおよび勾配の方向θｇを算出するごとにフィルタ情報を作成する点で第１実施例と異なる。
【００６２】
図１０に示すように、第２実施例によるデジタルカメラの処理回路１００は、エッジ情報算出手段１０１、平滑化強度算出手段１０２、フィルタ情報作成手段１０３、平滑化手段１０４および書き込み手段１０５を備えている。
エッジ情報算出手段１０１および平滑化強度算出手段１０２は第１実施例と同様である。フィルタ情報作成手段１０３は、エッジ情報算出手段１０１により算出されたエッジ情報ならびに平滑化強度算出手段１０２により算出された平滑化強度に基づいて、第１実施例で説明した式（Ｄ）からフィルタ情報が作成される。すなわち、画像を構成する各画素から出力される電子データに基づいてエッジ情報および平滑化強度が算出されるごとに、各画素についてフィルタ情報が作成されることになる。
【００６３】
第２実施例では、ＣＣＤ２２から出力された電子データからエッジを抽出し（Ｓ２０１）、抽出されたエッジからエッジ情報を算出する手順（Ｓ２０２）、ならびに平滑化強度を算出する手順（Ｓ２０３）は、第１実施例と同様である。第２実施例では、フィルタ情報作成手段１０３により算出されたエッジ情報および平滑化強度に基づいて、スケーリングパラメータｍおよびｎが設定される。そして、フィルタ情報作成手段９３は、前述の式（Ｄ）に基づいてフィルタ情報を作成する（Ｓ２０４）。平滑化手段１０４は、フィルタ情報作成手段１０３により作成されたフィルタ情報に基づいて、画素から出力された電子データを平滑化処理する（Ｓ２０５）。平滑化された電子データは、書き込み手段１０５により記録部３０のＲＡＭ３１へ記録される。
【００６４】
第２実施例では、画素から出力される電子データからエッジ情報および平滑化強度が算出されるごとにスケーリングパラメータｍおよびｎを設定し、各画素に対応したフィルタ情報が作成される。そのため、エッジがぼやけることなくより効果的にノイズの除去を実施することができる。
【００６５】
以上説明した本発明の複数の実施例では、エッジ情報を算出した後に輝度Ｙの算出を実施する例について説明したが、輝度Ｙの算出を先に実施してもよく、またエッジ情報の算出と輝度Ｙの算出を同時に並列処理してもよい。また、輝度Ｙに限らず、ＲＧＢなどの色成分の強度に基づいて平滑化の範囲を決定することもできる。
【００６６】
また、本発明の複数の実施例では、平滑化強度σならびにスケーリングパラメータｍおよびｎを変化させることにより平滑化の範囲を変化させている。しかし、平滑化強度σを固定しても、スケーリングパラメータｍおよびｎを変化させることにより、平滑化の範囲を変化させることもできる。したがって、平滑化強度σの値を一定値に固定し、エッジの勾配の大きさおよび方向に基づいてスケーリングパラメータｍおよびｎを変化させることによって、より高速にフィルタ情報の選択、またはフィルタ情報の作成をすることも可能である。
【００６７】
さらに、本発明の複数の実施例では、エッジの勾配の大きさおよび方向を抽出する方法としてＰｒｅｗｉｔｔオペレータを使用したが、ＳｏｂｅｌオペレータまたはＫｉｒｓｃｈオペレータなど他のエッジ抽出方法を使用してもよい。
【００６８】
さらにまた、本発明の複数の実施例では、入力される画像として補色フィルタを用いた２５６階調のカラー画像について説明したが、その他ＲＧＢの原色フィルタを用いたカラー画像、１０２４階調もしくは４０９６階調のカラー画像、グレースケールの画像、または２値のモノクロ画像などを入力画像とすることができる。
さらにまた、本発明の複数の実施例では、補色フィルタを有するＣＣＤから出力される電子データの処理について説明したが、補色フィルタに限らず例えばＲＧＢの原色フィルタを用いることも可能である。
【００６９】
本発明の複数の実施例では画像処理装置としてデジタルカメラに適用したが、デジタルカメラに限らずスキャナや複写機などの画像読み取り装置による画像処理、あるいはプリンタのドライバなどのソフトウェアによる画像処理に本発明を適用することができる。
【図面の簡単な説明】
図１は、本発明の一実施例による画像処理方法の処理の流れを示すフロー図である。
図２は、本発明の一実施例によるデジタルカメラを示すブロック図である。
図３は、本発明の一実施例によるデジタルカメラの処理回路を示すブロック図である。
図４は、本発明の一実施例によるデジタルカメラのＣＣＤを示す模式図である。
図５は、本発明の一実施例による画像処理方法において、エッジの抽出処理を説明するための模式図である。
図６は、本発明の一実施例による画像処理方法において、注目画素についてエッジとエッジの勾配の方向との関係を説明するための図である。
図７は、本発明の一実施例による画像処理方法において、注目画素について平滑化の範囲を説明するための図である。
図８は、本発明の一実施例による画像処理方法において、注目画素を中心としたフィルタ情報を示すマトリクスであって、スケーリングパラメータと平滑化の範囲との関係を示す模式図である。
図９は、本発明の一実施例による画像処理方法において、注目画素を中心としてフィルタ情報を示すマトリクスであって、平滑化強度およびスケーリングパラメータを変化させたときの平滑化の範囲を説明するための図である。
図１０は、本発明の一実施例による画像処理方法において、平滑化強度σ＝０．９、スケーリングパラメータｎ＝４、ｍ＝１．２５、勾配の方向θｇ＝４５°のときのフィルタ情報を示す模式図である。
図１１は、本発明の第２実施例によるデジタルカメラの処理回路を示す図である。
図１２は、本発明の第２実施例による画像処理方法の流れを示すフロー図である。

Claims (6)

1. 入力された画像の電子データを平滑化し、前記電子データに含まれる雑音を除去する画像処理方法であって、
   前記電子データから前記画像のエッジを抽出し、前記エッジの勾配の大きさおよび該勾配の方向からなるエッジ情報を算出するエッジ情報算出行程と、
   前記エッジ情報算出行程で算出されたエッジ情報に基づいてフィルタ情報を選択するフィルタ情報選択行程と、
   前記フィルタ情報選択行程で選択された前記フィルタ情報に基づいて前記電子データを平滑化処理する処理行程と、
   を含み、
   前記フィルタ情報選択行程では、
   前記勾配の大きさが大きいときには平滑化の範囲が楕円形状、かつ、前記勾配の方向と前記平滑化の範囲の傾きとが同一のフィルタ情報が選択されること、
   を特徴とする画像処理方法。
2. 前記電子データから輝度を算出し、
   前記輝度から平滑化強度を算出する平滑化強度算出行程をさらに含み、
   前記フィルタ情報選択行程では、
   前記エッジ情報算出手段で算出された前記エッジ情報ならびに前記平滑化強度算出行程で算出された前記平滑化強度に対応するフィルタ情報が選択されること、
   を特徴とする請求項１記載の画像処理方法。
3. 画像情報が入力され、前記画像情報を電子データとして出力可能な画像入力手段と、
   前記画像入力手段から出力された前記電子データから前記画像のエッジを抽出し、前記エッジの勾配の大きさおよび該勾配の方向からなるエッジ情報を算出するエッジ情報算出手段と、
   前記エッジ情報に対応して設定されているフィルタ情報が記録されている記録部と、
   前記エッジ情報算出手段により算出されたエッジ情報に基づいて前記記録部に記録されているフィルタ情報を選択するフィルタ情報選択手段と、
   前記フィルタ情報選択手段により選択されたフィルタ情報に基づいて前記電子データに平滑化処理を実行する平滑化処理手段と、
   を備え、
   前記フィルタ情報選択手段は、
   前記勾配の大きさが大きいときには平滑化の範囲が楕円形状、かつ、前記勾配の方向と前記平滑化の範囲の傾きとが同一のフィルタ情報を選択すること、
   を特徴とする画像処理装置。
4. 前記電子データに基づいて輝度を算出し、前記輝度から平滑化強度を算出する平滑化強度算出手段をさらに備え、
   前記記録部には、
   前記エッジ算出手段により算出された前記エッジ情報および前記平滑化強度算出手段により算出された前記平滑化強度に対応して設定されているフィルタ情報が記録されていること、
   を特徴とする請求項３記載の画像処理装置。
5. コンピュータを請求項３記載の画像処理装置として機能させるためのプログラム。
6. コンピュータを請求項４記載の画像処理装置として機能させるためのプログラム。

Images