JP4042563B2

JP4042563B2 - 画像ノイズの低減

Info

Publication number: JP4042563B2
Application number: JP2002379035A
Authority: JP
Inventors: 至宏中見
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-12-27
Filing date: 2002-12-27
Publication date: 2008-02-06
Anticipated expiration: 2022-12-27
Also published as: EP1434424A3; US7324701B2; US20040190787A1; JP2004214756A; EP1434424A2; CN1512758A; CN1278540C

Description

【０００１】
【発明の属する技術分野】
本発明は、画像に対してノイズ低減処理を実行する画像処理装置、画像に対するノイズ低減処理の方法に関する。
【０００２】
【従来の技術】
ＣＣＤ等の光電変換素子を用いてディジタル画像を生成するディジタルスチルカメラ等にあっては、暗い被写体、暗い撮影条件、ＩＳＯ感度が増感された場合等には、ＣＣＤの特性上、得られる画像にノイズが発生しやすいことが知られている。特に、画像の中でも滑らかな階調が要求される肌、空に該当する部分に発生するノイズは著しく画像に対する評価を下げてしまう。そこで、従来より種々のノイズ低減処理技術が提案、実用化されており、例えば、画像の階調を滑らかなものとするために移動平均フィルタを用いた画像の平滑化が広く用いられている。
【０００３】
【特許文献１】
特開平１１−２２０６３２号
【０００４】
【発明が解決しようとする課題】
しかしながら、画像には輪郭（エッジ成分）も含まれていることが多く、エッジ成分を無視して平均化フィルタを用いると輪郭がにじんだり、ぼけてしまうという問題がある。かかる問題を解決すべく、輪郭を避けた平滑化処理等が提案されているが移動平均フィルタの特性上、輪郭意外の部分における平滑化処理を適切に実行すれば輪郭にも平滑化処理の影響が出てしまい、輪郭に影響が及ばない平滑化処理では充分な平滑化処理を実施できないという問題がある。
【０００５】
一方、メディアンフィルタはエッジ成分を損なうことなく平滑化処理を実行することができるが、演算処理に非常に時間がかかり現実的ではないという問題がある。したがって、演算処理負荷が軽く、画像の輪郭がにじんだりぼけたりすることなく、画像に発生したノイズを低減するための平滑化処理が望まれている。
【０００６】
本発明は、上記要求を満たすためになされたものであり、画像の輪郭を損なうことなく、迅速に画像上のノイズを低減、除去し、自然で滑らかな色再現を行うことを目的とする。
【０００７】
【課題を解決するための手段および作用・効果】
上記課題を解決するために本発明の第１の態様は、ディジタル画像に対してノイズ低減処理を実行する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記画像に含まれるエッジを検出するエッジ検出手段と、前記検出されたエッジの形成方向を決定するエッジ角度決定手段と、前記検出されたエッジに対して、前記決定されたエッジの形成方向と同一方向に抽出領域を有する平滑化フィルタを適用する平滑化手段とを備えることを特徴とする。
【０００８】
本発明の第１の態様に係る画像処理装置によれば、検出されたエッジに対して、エッジの形成方向と同一方向に抽出領域を有する平滑化フィルタを適用して平滑化処理を実行するので、画像の輪郭を損なうことなく、迅速に画像上のノイズを低減または除去し（平滑化処理）、自然で滑らかな色再現を行うことができる。
【０００９】
本発明の１の態様に係る画像処理装置において、前記平滑化フィルタは、前記エッジの形成方向に対して垂直な方向よりも前記エッジの形成方向に対して平行な方向に広い抽出領域を有しても良い。かかる抽出領域（参照領域）を有する平滑化フィルタを用いることによって、エッジを損なうことなく、また、平滑化フィルタ演算に要する時間を短縮した平滑化処理を実行することができる。
【００１０】
本発明の第１の態様に係る画像処理装置において、前記平滑化フィルタは、メディアンフィルタであっても良い。かかる場合には、上記平滑化フィルタの方向特性と相まって、エッジ形成画素を維持した平滑化処理を実行することができる。
【００１１】
本発明の第２の態様は、複数画素から構成される画像に対するノイズ低減処理を実行する画像処理装置を提供する。本発明の第２の態様に係る画像処理装置は、平滑化処理の対象となる注目画素についてエッジ量を求めるエッジ量算出手段と、前記算出されたエッジ量に基づいて前記注目画素を含むエッジ形成画素の整列角度であるエッジ角度を決定するエッジ角度決定手段と、所定の方向の画素を参照画素として抽出する方向特性を有するフィルタをエッジ角度に応じて複数格納する記憶手段と、前記決定されたエッジ角度に適合する方向特性を有するフィルタを前記記憶手段から選択するフィルタ選択手段と、前記選択されたフィルタを用いて前記注目画素に対する平滑化処理を実行する平滑化手段とを備えることを特徴とする。
【００１２】
本発明の第２の態様に係る画像処理装置によれば、決定されたエッジ角度に適合する、所定の方向の画素を参照画素として抽出する方向特性を有するフィルタを用いて注目画素に対する平滑化処理を実行するので、画像の輪郭を損なうことなく、迅速に画像上のノイズを低減、除去し、自然で滑らかな色再現を行うことができる。
【００１３】
本発明の第２の態様に係る画像処理装置は、平滑化処理の対象となる注目画素についてエッジ量を求めるエッジ量算出手段と、前記算出されたエッジ量に基づいて前記注目画素の勾配を算出する勾配算出手段と、画像上におけるエッジ形成画素の整列角度であるエッジ角度と同一角度方向の画素を参照画素として抽出する方向特性を有するフィルタを前記勾配と対応付けて複数の前記エッジ角度について格納する記憶手段と、前記算出された勾配に基づいて前記記憶手段から前記画像上におけるエッジ角度に適したフィルタを選択するフィルタ選択手段と、前記選択されたフィルタを用いて前記注目画素に対する平滑化処理を実行する平滑化手段とを備えることもできる。
【００１４】
本発明の第２の態様に係る画像処理装置によれば、注目画素の勾配を参照情報として用いて、画像上におけるエッジ形成画素の整列角度であるエッジ角度と同一角度方向の画素を参照画素として抽出する方向特性を有するフィルタを選択し、かかるフィルタを用いて注目画素に対する平滑化処理を実行するので、画像の輪郭を損なうことなく、迅速に画像上のノイズを低減、除去し、自然で滑らかな色再現を行うことができる。
【００１５】
本発明の第２の態様に係る画像処理装置において、前記フィルタは、前記所定の方向に対して垂直な方向よりも平行な方向に広い抽出領域を有するフィルタであっても良い。かかる抽出領域（参照領域）を有する平滑化フィルタを用いることによって、エッジを損なうことなく、また、平滑化フィルタ演算に要する時間を短縮した平滑化処理を実行することができる。
【００１６】
本発明の第２の態様に係る画像処理装置において、前記フィルタは、メディアンフィルタであっても良い。かかる場合には、上記平滑化フィルタの方向特性および中央値を採用するメディアンフィルタの特性と相まって、エッジ形成画素を維持した平滑化処理を実行することができる。
【００１７】
本発明の第２の態様に係る画像処理装置はさらに、前記算出されたエッジ量が所定のエッジ量よりも小さい場合には、前記注目画素の分散値を求める分散値算出手段と、前記算出された分散値が大きくなるにつれて抽出領域が小さい移動平均フィルタを用いて前記注目画素に対する平滑化処理を実行する第２の平滑化手段とを備えても良い。かかる場合には、画像の滑らかさに対応して値が変わる分散値を用いてフィルタサイズを変更するので、エッジ（形成画素）であるか否かが明確ではない注目画素に対しても、エッジ特性を損なうことのないノイズ低減処理（平滑化処理）を実行することができる。
【００１８】
本発明の第２の態様に係る画像処理装置はさらに、前記画像の画素値を色差成分と輝度成分に分離する分離手段を備え、前記エッジ量算出手段は、前記色差成分、輝度成分についてそれぞれエッジ量を算出し、算出したエッジ量の中で最も大きなエッジ量を前記注目画素のエッジ量とし、前記分散値算出手段は、前記色差成分、輝度成分についてそれぞれ分散値を算出し、算出した分散値の中で最も大きな分散値を前記注目画素の分散値とし、前記平滑化手段、および前記第２の平滑化手段は、それぞれ前記注目画素の色差成分に対してのみ平滑化処理を施しても良い。かかる場合には、輝度成分の変化に伴うぼけを防止することができると共に、色ノイズを適切に除去、低減することができる。
【００１９】
本発明の第３の態様は、ディジタル画像に対してノイズ低減処理を実行する方法を提供する。本発明の第３の態様に係る方法は、前記画像に含まれるエッジを検出し、前記検出したエッジが形成されている方向である形成方向を決定し、前記検出したエッジに対して、前記決定したエッジの形成方向と同一方向に抽出領域を有する平滑化フィルタを適用することを特徴とする。
【００２０】
本発明の第３の態様に係る方法は、本発明の第１の態様に係る画像処理装置と同様の作用効果を奏すると共に、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。
【００２１】
本発明の第４の態様は、複数画素から構成される画像に対するノイズ低減処理方法を提供する。本発明の第４の態様に係るノイズ低減処理方法は、平滑化処理の対象となる注目画素についてエッジ量を求め、前記求めたエッジ量に基づいて前記注目画素を含むエッジ形成画素の整列角度であるエッジ角度を決定し、所定の方向の画素を参照画素として抽出する方向特性を有するフィルタであって、前記決定されたエッジ角度に適合する方向特性を有するフィルタを取得し、前記取得したフィルタを用いて前記注目画素に対する平滑化処理を実行することを特徴とする。
【００２２】
また、本発明の第４の態様にかかるノイズ低減処理方法であって、平滑化処理の対象となる注目画素についてエッジ量を求め、前記算出されたエッジ量に基づいて前記注目画素の勾配を算出し、画像上におけるエッジ形成画素の整列角度であるエッジ角度と同一角度方向の画素を参照画素として抽出する方向特性を有するフィルタであって、前記画像上におけるエッジ角度に適したフィルタを、予め対応付けられた前記勾配と前記エッジ角度との関係に基づいて前記算出された勾配を用いて取得し、前記取得したフィルタを用いて前記注目画素に対する平滑化処理を実行しても良い。
【００２３】
本発明の第４の態様に係るノイズ低減処理方法は、本発明の第２の態様に係る画像処理装置と同様の作用効果を奏すると共に、本発明の第２の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。
【００２４】
本発明の第５の態様は、ディジタル画像に対してノイズ低減処理を実行するプログラムを提供する。本発明の第５の態様に係るプログラムは、前記画像に含まれるエッジを検出する機能と、前記検出したエッジが形成されている方向である形成方向を決定する機能と、前記検出したエッジに対して、前記決定したエッジの形成方向と同一方向に抽出領域を有する平滑化フィルタを適用する機能とをコンピュータによって実行させることを特徴とする。
【００２５】
本発明の第５の態様に係るプログラムは、本発明の第１の態様に係る画像処理装置と同様の作用効果を奏すると共に、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。
【００２６】
本発明の第６の態様は、複数画素から構成される画像に対するノイズ低減処理プログラムを提供する。本発明の第６の態様に係るノイズ低減処理プログラムは、平滑化処理の対象となる注目画素についてエッジ量を求める機能と、前記求めたエッジ量に基づいて前記注目画素を含むエッジ形成画素の整列角度であるエッジ角度を決定する機能と、所定の方向の画素を参照画素として抽出する方向特性を有するフィルタであって、前記決定されたエッジ角度に適合する方向特性を有するフィルタを取得する機能と、前記取得したフィルタを用いて前記注目画素に対する平滑化処理を実行する機能とをコンピュータによって実行させることを特徴とする。
【００２７】
また、本発明の第６の態様に係るノイズ低減処理プログラムは、平滑化処理の対象となる注目画素についてエッジ量を求める機能と、前記算出されたエッジ量に基づいて前記注目画素の勾配を算出する機能と、画像上におけるエッジ形成画素の整列角度であるエッジ角度と同一角度方向の画素を参照画素として抽出する方向特性を有するフィルタであって、前記画像上におけるエッジ角度に適したフィルタを、予め対応付けられた前記勾配と前記エッジ角度との関係に基づいて前記算出された勾配を用いて取得する機能と、前記取得したフィルタを用いて前記注目画素に対する平滑化処理を実行する機能とをコンピュータによって実行させても良い。
【００２８】
本発明の第６の態様に係るノイズ低減処理プログラムは、本発明の第１の態様に係る画像処理装置と同様の作用効果を奏すると共に、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。
【００２９】
なお、上記各プログラムは、記録媒体に記録されていても良いことは言うまでもない。
【００３０】
【発明の実施の形態】
以下、本発明に係る画像処理装置およびノイズ低減処理方法について図面を参照しつつ、実施例に基づいて説明する。
【００３１】
先ず、本実施例に係る画像処理装置において実行されるノイズ低減処理の特徴について図１を参照して説明する。図１は本実施例に係る画像処理装置において実行されるエッジを構成する画素に対して実行される平滑化処理の特徴を示す説明図である。
【００３２】
本実施例に係る画像処理装置では、平滑化処理（ノイズ低減処理・除去処理）の対象となる注目画素ＴＰが、エッジを構成（形成）する画素であるエッジ構成画素（形成画素）であるか否かをエッジ量（勾配ｇ）によって判断し、エッジ構成画素である場合には、移動平均フィルタに代えて図１に示す楕円形のメディアンフィルタを用いた平滑化処理を実行する。本実施例において用いられるメディアンフィルタＭＦは、エッジＥｇの形成方向（エッジ角度）に適合する傾き（角度）を備える楕円形の参照領域ＲＡを有しており、エッジ成分を損なうことのない平滑化処理を実現する。
【００３３】
したがって、平滑化処理に当たっては、エッジＥｇの形成方向（エッジ角度）を求め、求められたエッジ角に適合する角度のメディアンフィルタＭＦを選択し、選択されたメディアンフィルタＭＦを用いてエッジ構成画素である注目画素ＴＰに対する平滑化処理が実行される。以下、より詳細に本実施例に係る画像処理装置において実行されるノイズ低減処理について説明する。
【００３４】
図２を参照して本実施例に係る画像処理装置を含む画像処理システムについて説明する。図２は本実施例に係る画像処理装置を含む画像処理システムの概略構成を示す説明図である。
【００３５】
本実施例では、画像処理装置はパーソナルコンピュータＰＣとして実現されている。パーソナルコンピュータＰＣは、ノイズ低減処理を含む各種画像処理演算を実行する中央演算装置（ＣＰＵ）１００、ノイズ低減処理を実行するためのプログラム、参照テーブル等を格納するリードオンリメモリ（ＲＯＭ）１０１、ハードディスク（ＨＤＤ）１０２、入力された画像データ等の各種データを一時的に格納するランダムアクセスメモリ（ＲＡＭ）１０３を備えている。パーソナルコンピュータＰＣは、この他にも外部入力デバイスとデータ、制御信号をやりとりするための入力インターフェース、外部出力デバイスとデータ、制御信号をやりとりするための出力インターフェースを備えている。なお、インターフェースとは、外部デバイスを接続するための接続端子（ハード面）および外部デバイスからの信号の変換処理（ソフト面）の双方を意味する。
【００３６】
本実施例では、パーソナルコンピュータＰＣには、外部出力デバイスとして、表示装置１１０、プリンタ２０が接続されている。表示装置１１０に対しては、ノイズ低減処理の結果を反映した画像データがリアルタイムにて送出され、出力画像が表示される。一方、プリンタ２０に対しては、プリント命令の入力をトリガとして、ノイズ低減処理が施され、印刷用データに変換された印刷用画像データが送出され、出力画像が印刷される。
【００３７】
一方、外部入力デバイスとしては、撮像装置としてディジタルスチルカメラ３０が接続されている。ディジタルスチルカメラ３０は、ＣＣＤを始めとする光電変換素子を用いて画像データを生成する撮像装置であり、光学レンズを介して被写体画像をＣＣＤ上に結像することで光の情報（エネルギ）を電気の情報（エネルギ）へと変換する。したがって、充分な光量が得られない夜景シーン、室内シーンでは、得られる画像にノイズが乗りやすいことが知られている。また、ＩＳＯ感度を上げて撮影された場合には、増感処理によってノイズレベルも大きくなることが知られている。ディジタルスチルカメラ３０において生成された画像データは、この他にもメモリカードＭＣを介してパーソナルコンピュータＰＣに入力され得る。
【００３８】
なお、本実施例では、撮像装置としての外部入力デバイスとしてディジタルスチルカメラ３０を用いて説明したが、この他にもスキャナ、ディジタルビデオカメラ等が用いられ得る。また、他の外部入力デバイスとして、キーボード、マウス等が用いられ得る。
【００３９】
図３〜図１１を参照して本実施例に係る画像処理装置において実行されるノイズ低減処理について説明する。図３はノイズ低減処理において実行される処理ルーチンを示すフローチャートである。図４はエッジの勾配ｇ（エッジ量）を求めるために用いられる３×３エッジ検出オペレータの一例を示す説明図である。図５はエッジの勾配ｇ（エッジ量）を求めるために用いられる５×５エッジ検出オペレータの一例を示す説明図である。図６は本実施例において用いられる参照画素抽出領域が方向性を有する楕円形メディアンフィルタを例示する説明図である。図７は図１に示す画像の画素値の分布を画素レベルにて例示的に示すと共に注目画素ＴＰについて平滑化処理を行う際におけるメディアンフィルタの適用の様子を観念的に示す説明図である。図８は注目画素ＴＰｎ１について平滑化処理を行う際におけるメディアンフィルタの適用の様子を観念的に示す説明図である。図９は注目画素ＴＰｎ２について平滑化処理を行う際におけるメディアンフィルタの適用の様子を観念的に示す説明図である。図１０は本実施例と従来例との平滑化処理の比較結果の一例を示す説明図である。図１１は本実施例において用いられる９×９移動平均フィルタの一例を示す説明図である。図１２は本実施例において用いられる１７×１７移動平均フィルタの一例を示す説明図である。図１３は本実施例において用いられる２１×２１移動平均フィルタの一例を示す説明図である。
【００４０】
図３を参照して本実施例において実行されるノイズ低減処理について説明する。ノイズ低減処理は、例えば、画像データに関連付けられている撮影情報、画像処理条件に基づいて、ＩＳＯ感度が増感指定されている、撮影シーンが夕景、夜景に設定されている、ホワイトバランスが室内光に設定されている、画像データの解析結果から暗い画像である、と判断された場合に実行されてもよく、あるいは、ユーザによってノイズ除去コマンドが選択された場合に実行されてもよい。なお、撮影情報、画像処理条件と画像データとの関連付けについては、画像データのヘッダに書き込む技術が実用化されている。また、ノイズ低減処理の結果は、逐次、表示装置１１０上に表示されている画像に反映されても良く、表示装置１１０上に反映することなくても良い。
【００４１】
パーソナルコンピュータＰＣ（ＣＰＵ１００）は、ノイズ低減処理を開始すると、画像データを輝度成分と色差成分とによって表される色座標系、例えば、ＹＣｂＣｒ、Ｌａｂへと変換する。本実施例では、ＹＣｂＣｒを例にとって説明する。通常、ディジタルスチルカメラ３０にて生成された画像データは、ＹＣｂＣｒデータであることが多く、特に変換処理は不要である。一方、パーソナルコンピュータＰＣに入力されたデータがＲＧＢデータの場合には、以下の式を演算することによってＲＧＢ−ＹＣｂＣｒ変換が実行される。
Ｙ＝０．２９９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｒ＝０．７１３（Ｒ−Ｙ）Ｃｂ＝０．５６４（Ｂ−Ｙ）
【００４２】
ＣＰＵ１００は、注目画素ＴＰの勾配（エッジ量）ｇをＹ（輝度）、Ｃｂ、Ｃｒ（色差）の各成分について算出する（ステップＳ１００）。エッジ量ｇを算出する手法は既にいくつかの手法が確立されており、本実施例では例えば、図４に示す３×３Prewittオペレータ、図５に示す５×５Prewittオペレータを用いて説明する。
【００４３】
ＣＰＵ１００は、注目画素ＴＰの輝度成分をＹ（i,j）として表した場合、以下の式（１）、（２）を用いてΔｆｘおよびΔｆｙを算出する。式（１）、（２）は３×３Prewittオペレータを用いた場合の例である。
【００４４】
【数１】

【００４５】
ＣＰＵ１００は、続いて以下の式（３）を用いてエッジ量ｇを算出する。
【００４６】
【数２】

【００４７】
ＣＰＵ１００は、Ｃｒ成分、Ｃｂ成分のそれぞれについてもＹ成分と同様にしてエッジ量を求め、最も大きなエッジ量ｇを注目画素ＴＰのエッジ量ｇとして採用する。なお、上記説明では、説明を容易にするため３×３Prewittオペレータを用いて説明したが、画像データを構成する画素数が増加している今日では、より正確なエッジ量ｇを求めるため図５に示す５×５Prewittオペレータを用いることが望ましい。
【００４８】
ＣＰＵ１００は、算出したエッジ量ｇが７５以上であるか否かを判定し（ステップＳ１１０）、７５≦ｇであると判定した場合には（ステップＳ１１０：Ｙｅｓ）、エッジ角度θを算出する（ステップＳ１２０）。ＣＰＵ１００は、先に求めたΔｆｘおよびΔｆｙを用いて以下の式（４）からエッジ角度を算出する。
【００４９】
【数３】

【００５０】
ただし、式（４）によって実際に算出される角度θは、図１に示すように水平方向に対する勾配の方向θであり、厳密な意味でのエッジ角度ではない。ただし、勾配の方向はエッジの方向に対して垂直（９０°）に交差するため、勾配の方向θとエッジの方向（エッジ角度）とは一義的に対応付けられており、勾配の方向θを求めることでエッジ角度を求めることができる。
【００５１】
ＣＰＵ１００は、算出した勾配の方向θに基づいて画像上のエッジ角度に適したメディアンフィルタを取得する（ステップＳ１２２）。パーソナルコンピュータＰＣのＲＯＭ１０１またはＨＤＤ１０２には、予め図６（ａ）〜（ｈ）に示すような、参照領域ＲＡに方向性を持った（参照画素をエッジ周囲の画素に絞った）メディアンフィルタＭＦが格納されており、ＣＰＵ１００は、算出した勾配の方向θを指標として画像上のエッジ角度に適したメディアンフィルタＭＦを選択する。本実施例では、０°〜１８０°の範囲で２２．５°刻みにて８種類の方向性を有するメディアンフィルタＭＦが用意されている。
【００５２】
図６中、黒塗りの四角は参照画素を示し、白色の画素は非参照画素を示し、−画素は注目画素として取り扱われない（平滑化の対照とならない）スキップ画素を意味する。図６中に示す角度は勾配の方向θを示しており、メディアンフィルタＭＦが有する方向性（実際に画像上に形成されている角度）を示すものではない。すなわち、既述のように勾配の方向θと現実のエッジ角度（方向）とは９０°ずれており、本実施例ではこの相違を考慮した上で勾配の方向θを指標として画像上のエッジ角度に適したメディアンフィルタＭＦを選択できるよう予め勾配の方向θと画像上のエッジ角度とを対応付けている。
【００５３】
図６には、説明の都合上、９×９の角度付きメディアンフィルタＭＦが例示されているが、実際の処理においては１７×１７の角度付きメディアンフィルタＭＦを用いることが好ましい。
【００５４】
ＣＰＵ１００は、取得したメディアンフィルタＭＦを用いて平滑化処理を実行する（ステップＳ１２４）。この平滑化処理では、色差成分であるＣｒ，Ｃｂについてのみ平滑化処理を実行し、輝度成分Ｙについては平滑化処理を実行しない。例えば、図１に示すエッジを有する画像が図７に示す画素値（色彩値および輝度値）分布を有する場合について説明すると、注目画素ＴＰの勾配の方向θは５１°となるため、図６（ｂ）に示す４５．０°のメディアンフィルタＭＦを選択してメディアンフィルタ演算を実行する。
【００５５】
図７〜図９において注目画素はＴＰ、ＴＰｎ１、ＴＰｎ２によって表され、参照画素は斜線付きの四角で示され、非参照画素は白抜きの四角にて示されている。また、各四角の間には画素が存在するが、画像処理速度を向上させるためにこれら画素は、注目画素、参照画素として取り扱われないスキップ画素であるから表示を省略した。
【００５６】
注目画素ＴＰの色彩値または輝度値および斜線で示されている参照画素の色差値または輝度値を用いて中央値が算出され、ノイズ低減処理後の注目画素ＴＰの色差値（処理後色彩値）が得られる。ＣＰＵ１００は演算により得られた処理後色彩値をＲＡＭ１０３に一時的に格納する。この例では、注目画素ＴＰは当初、２５５の色差値を示し、周りの画素の色差値または輝度値を参照するとノイズを示している可能性が高い。従来の移動平均フィルタを用いた場合には、枠線内の全ての画素の色差値または輝度値が参照されるため、注目画素ＴＰの処理後色彩値は、１１１となりノイズ低減処理によってエッジ成分が損なわれてしまう。
【００５７】
これに対して、角度付きメディアンフィルタＭＦを用いる本実施例におけるノイズ低減処理では、注目画素ＴＰの色彩値および参照画素の色差値または輝度値を用いて得られる中央値は１２８となるため、エッジ成分を損なうことなくノイズを低減することができる。また、参照領域ＲＡをエッジ角度（エッジ形成方向）に一致させて、エッジ形成画素を覆うようにして平滑化処理（メディアンフィルタ演算）を実行するので、通常、長い演算時間が要求されるメディアンフィルタ演算の演算時間を短縮しつつ、エッジ成分を損なうことのない精度の高いノイズ低減処理を実行することができる。
【００５８】
異なる注目画素ＴＰｎ１およびＴＰｎ２について本実施例における角度付きメディアンフィルタＭＦを用いて平滑化処理を実行した更なる例について図８〜図１０を参照して説明する。図１０に示すように注目画素ＴＰｎ１の勾配の方向θは５６°であり、図６（ｂ）に示す４５．０°のメディアンフィルタＭＦを選択してメディアンフィルタ演算を実行する。本実施例における処理後の画素値（色差値）は１２８となり、一方、従来の移動平均フィルタを用いた場合の処理後の画素値（色差値）は１０１となる。したがって、本実施例によれば、エッジ成分を損なうことがない。次に、注目画素ＴＰｎ２の勾配の方向θは、図１０に示すように６９°であり、図６（ｃ）に示す６７．５°のメディアンフィルタＭＦを選択してメディアンフィルタ演算を実行する。本実施例における処理後の画素値（色差値）は９６となり、一方、従来の移動平均フィルタを用いた場合の処理後の画素値（色差値）は８３となる。注目画素ＴＰｎ２は周囲の画素値と比較すると著しく低く、ノイズであると考えられるが、本実施例によれば、エッジ成分として色差値を増加させることが可能となり、ノイズによるエッジ成分の劣化を回復させることができる。
【００５９】
ＣＰＵ１００は、ステップＳ１１０にて注目画素ＴＰのエッジ量ｇが７５未満であると判断した場合には（ステップＳ１１０：Ｎｏ）、注目画素ＴＰの分散値を輝度成分Ｙ、色差成分Ｃｂ、Ｃｒについて算出し、最も大きな値を注目画素ＴＰの分散値ｖとして採用する（ステップＳ１３０）。分散値ｖは以下の式（５）によって求められる。なお、式中ｘiは注目画素ＴＰのＹ、Ｃｂ、Ｃｒ成分のいずれかを示し、ｘバーはＹ、Ｃｂ、Ｃｒ成分のそれぞれについての全画素値の平均値を示す。
【００６０】
【数４】

【００６１】
画像にエッジ成分が含まれているにもかかわらず、エッジ量ｇが小さく表れることがあるので、分散値ｖを計算することによって画像に含まれるエッジ成分に応じた適切な平滑化処理を実行するのである。分散値ｖが大きい場合には、画像に比較的大きなエッジ成分が含まれていることを意味し、分散値ｖが小さな場合には、画像には大きなエッジ成分が含まれていないことを意味する。したがって、分散値ｖが大きくなるにつれてサイズの小さな移動平均フィルタを用いた平滑化処理を以下、実行する。
【００６２】
ＣＰＵ１００は、分散値ｖが２００より大きいか否かを判定し（ステップＳ１４０）、分散値ｖが２００より大きいと判定した場合には（ステップＳ１４０：Ｙｅｓ）、図９に示す９×９の移動平均フィルタ、すなわち９×９の範囲内に参照画素を有する移動平均フィルタを用いて注目画素ＴＰに対する平滑化処理を実行する（ステップＳ１４２）。ＣＰＵ１００は演算により得られた処理後色彩値をＲＡＭ１０３に一時的に格納する。かかる場合は、注目画素ＴＰの周囲に、例えば、セーターの編み目といった細部が含まれていることを意味するので、参照領域の小さなフィルタを用いることによって平均化の度合いを下げて、編み目等のエッジ成分を損なうことのない平滑化処理を実行する。図９においても黒塗りの四角は参照画素を示し、白抜きの四角は非参照画素を示し、−の表示はスキップ画素を示している。本実施例において用いられる移動平均フィルタは、本来ガウス分布に対応した参照領域を有するので四つ角の画素も参照画素として採用すべきであるが、演算処理時間を短縮するため、経験則上、平滑化処理に大きな影響を及ぼさない四つ角の画素は非参照画素としている。
【００６３】
ＣＰＵ１００は、分散値ｖが２００以下であると判定した場合には（ステップＳ１４０：Ｎｏ）、分散値ｖが５０より大きいか否かを判定する（ステップＳ１４４）。ＣＰＵ１００は、分散値ｖが５０より大きいと判定した場合には（ステップＳ１４４：Ｙｅｓ）、図１０に示す１７×１７の移動平均フィルタを用いて注目画素ＴＰに対する平滑化処理を実行する（ステップＳ１４６）。ＣＰＵ１００は演算により得られた処理後色彩値をＲＡＭ１０３に一時的に格納する。図１０における黒塗りの四角、白抜きの四角、−の表示は既述の通りの意味を有する。
【００６４】
ＣＰＵ１００は、分散値ｖが５０以下であると判定した場合には（ステップＳ１４４：Ｎｏ）、図１１に示す２１×２１の移動平均フィルタを用いて注目画素ＴＰに対する平滑化処理を実行する（ステップＳ１４８）。ＣＰＵ１００は演算により得られた処理後色彩値をＲＡＭ１０３に一時的に格納する。かかる場合には、注目画素ＴＰの周囲に、例えば、空を表す比較的一様な画素が含まれていることを意味するので、参照領域の大きなフィルタを用いることによって平均化の度合いを上げて、ノイズ低減に重きを置いた強力な平滑化処理を実行する。図１１における黒塗りの四角、白抜きの四角、−の表示は既述の通りの意味を有する。
【００６５】
ＣＰＵ１００は、今回の注目画素ＴＰに対する、以上説明したいずれかの平滑化処理を終えると、全画素（スキップ画素を除く）に対する平滑化処理が終了したか否かを判定し（ステップＳ１５０）、全画素（スキップ画素を除く）について平滑化処理が終了していないと判定した場合には（ステップＳ１５０：Ｎｏ）、注目画素ＴＰを変更して（ステップＳ１６０）、ステップ１００に戻り、次の注目画素ＴＰに対して上記のノイズ低減処理を実行する。一方、ＣＰＵ１００は、全画素（スキップ画素を除く）について平滑化処理が終了したと判定した場合には（ステップＳ１５０：Ｙｅｓ）、本ノイズ低減処理を終了する。ＣＰＵ１００はＲＡＭ１０３に一時的に格納された各画素についての処理後色差値を原画像上の対応する各画素に適用し、ＹＣｂＣｒデータをＲＧＢデータに変換した後、他の画像処理の実行後、処理後の画像データとして出力装置に適したデータ変換処理を実行するデータ変換処理部、例えば、プリンタドライバに出力する。プリンタドライバ（ＣＰＵ１００）は、ＲＧＢデータをプリンタの色空間に併せてＣＭＹＫデータへと変換し、ハーフトーン処理等の必要な処理を行った後、例えば、ラスタデータとしてプリンタ２０へ出力する。
【００６６】
以上説明したように本実施例に係る画像処理装置によれば、画像にエッジ量の大きなエッジ成分が含まれる場合にはエッジの形成方向に一致する参照領域（平滑化領域）を有する角度付きメディアンフィルタＭＦを用いて平滑化処理を実行し、画像にエッジ量の大きなエッジ成分が含まれない場合には分散値ｖに応じてフィルタサイズの異なる移動平均フィルタを用いて平滑化処理を実行することができる。したがって、画像に含まれるエッジを損なうことなく（平滑化してしまうことなく）画像に含まれるノイズを低減または除去することができる。
【００６７】
より具体的には、明確なエッジ成分を構成する注目画素に対しては、エッジの形成方向（エッジ角度）と一致するメディアンフィルタＭＦを用いた平滑化処理（ノイズ低減処理）を実行するので、エッジを維持したノイズ低減処理を実現することができる。すなわち、従来の移動平均フィルタを用いたノイズ低減処理において問題となっていたエッジのにじみ、ぼけを伴うことはない。また、これまでメディアンフィルタを用いた場合に問題となっていたメディアンフィルタ演算に要する演算処理時間を大幅に短縮することができる。したがって、エッジを有する画像に対してエッジ成分を保持しつつ画像に含まれるノイズを強力に低減または除去することができる。
【００６８】
また、明確なエッジ成分を構成しない注目画素に対しては、注目画素の分散値ｖに応じて切り替えた移動平均フィルタサイズを用いて平滑化処理を行っている。分散値ｖは、注目画素が明確ではないエッジ成分を構成するか否かを判定する指標として有用であり、明確ではないがエッジ成分を構成する注目画素に対しては小さなサイズのフィルタを用いることによってエッジ成分を損なうことのない平滑化処理を実現し、エッジ成分を構成しない注目画素については大きなサイズのフィルタを用いることによって強力な平滑化処理を実現する。したがって、従来多く用いられてきた画像サイズに応じた移動平均フィルタのサイズの使い分けによる平滑化処理と比較して、画像中のエッジを損なうことなく、且つエッジ成分を含まない部分には強力なノイズ低減を可能にする平滑化処理を実行することができる。
【００６９】
さらに、本実施例では、エッジ量ｇ、分散値ｖの算出に当たってはＹ、Ｃｂ、Ｃｒの各成分について求め、最も大きな値をそれぞれ注目画素ＴＰのエッジ量ｇ、分散値ｖとして用いているが、平滑化処理の対象となるのはＣｂ、Ｃｒといった色差成分だけである。したがって、輝度成分の低下に伴うボケを防止しつつ、色ノイズを低減または除去することができる。
【００７０】
・その他の実施例：
上記実施例では、画像処理装置として、パーソナルコンピュータＰＣを用いてノイズ低減処理を実行しているが、このほかにも、例えば、画像処理機能を備えるスタンドアローン型のプリンタを画像処理装置として用いてもよく、係る場合にはプリンタにおいてノイズ低減処理が実行される。また、画像処理装置等のハードウェア構成を伴うことなく、プリンタドライバ、画像処理アプリケーション（プログラム）としても実現され得る。
【００７１】
また、上記実施例ではエッジを検出するに当たってPrewittオペレータを用いているがこの他にRobertsオペレータ、Sobelオペレータといったオペレータ、およびラプラシアンフィルタ等を用いてエッジを検出（エッジ量を算出）しても良い。
【００７２】
さらに、上記実施例では、平滑化処理の対象をＣｂ、Ｃｒといった色差成分としているが、輝度成分Ｙに対しても平滑化処理を実行できることは言うまでもない。
【００７３】
また、上記実施例では、楕円形状の抽出領域を有するメディアンフィルタを用いて説明しているが、エッジ成分の形成方向と平行な方向に広く、垂直な方向に狭い抽出領域を有していれば、上記実施例と同様の効果を得ることができる。
【００７４】
以上、実施例に基づき本発明に係る画像処理装置、ノイズ低減処理方法およびノイズ低減処理プログラムを説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。
【図面の簡単な説明】
【図１】本実施例に係る画像処理装置において実行されるエッジを構成する画素に対して実行される平滑化処理の特徴を示す説明図である。
【図２】図２は本実施例に係る画像処理装置を含む画像処理システムの概略構成を示す説明図である。
【図３】ノイズ低減処理において実行される処理ルーチンを示すフローチャートである。
【図４】エッジの勾配ｇ（エッジ量）を求めるために用いられる３×３エッジ検出オペレータの一例を示す説明図である。
【図５】エッジの勾配ｇ（エッジ量）を求めるために用いられる５×５エッジ検出オペレータの一例を示す説明図である。
【図６】本実施例において用いられる参照画素抽出領域が方向性を有する楕円形メディアンフィルタを例示する説明図である。
【図７】図１に示す画像の画素値の分布を画素レベルにて例示的に示すと共に注目画素ＴＰについて平滑化処理を行う際におけるメディアンフィルタの適用の様子を観念的に示す説明図である。
【図８】注目画素ＴＰｎ１について平滑化処理を行う際におけるメディアンフィルタの適用の様子を観念的に示す説明図である。
【図９】注目画素ＴＰｎ２について平滑化処理を行う際におけるメディアンフィルタの適用の様子を観念的に示す説明図である。
【図１０】本実施例と従来例との平滑化処理の比較結果の一例を示す説明図である。
【図１１】本実施例において用いられる９×９移動平均フィルタの一例を示す説明図である。
【図１２】本実施例において用いられる１７×１７移動平均フィルタの一例を示す説明図である。
【図１３】本実施例において用いられる２１×２１移動平均フィルタの一例を示す説明図である。
【符号の説明】
ＰＣ…パーソナルコンピュータ
１００…中央演算装置（ＣＰＵ）
１０１…リードオンリメモリ（ＲＯＭ）
１０２…ハードディスク（ＨＤＤ）
１０３…ランダムアクセスメモリ（ＲＡＭ）
１１０…表示装置
２０…プリンタ
３０…ディジタルスチルカメラ
ＭＣ…メモリカード
ＴＰ、ＴＰｎ１、ＴＰｎ２…注目画素
ＭＦ…角度付きメディアンフィルタ
Ｅｇ…エッジ
ＲＡ…参照領域
θ…勾配の方向

Claims

複数画素から構成される画像に対するノイズ低減処理を実行する画像処理装置であって、
平滑化処理の対象となる注目画素についてエッジ量を求めるエッジ量算出手段と、
前記算出されたエッジ量に基づいて前記注目画素を含むエッジ形成画素の整列角度であるエッジ角度を決定するエッジ角度決定手段と、
所定の方向の画素を参照画素として抽出する方向特性を有するフィルタをエッジ角度に応じて複数格納する記憶手段と、
前記決定されたエッジ角度に適合する方向特性を有するフィルタを前記記憶手段から選択するフィルタ選択手段と、
前記選択されたフィルタを用いて前記注目画素に対する平滑化処理を実行する平滑化手段と、
前記算出されたエッジ量が所定のエッジ量よりも小さい場合には、前記注目画素の分散値を求める分散値算出手段と、
前記算出された分散値が大きくなるにつれて抽出領域が小さい移動平均フィルタを用いて前記注目画素に対する平滑化処理を実行する第２の平滑化手段とを備える画像処理装置。
複数画素から構成される画像に対するノイズ低減処理を実行する画像処理装置であって、
平滑化処理の対象となる注目画素についてエッジ量を求めるエッジ量算出手段と、
前記算出されたエッジ量に基づいて前記注目画素の勾配を算出する勾配算出手段と、
画像上におけるエッジ形成画素の整列角度であるエッジ角度と同一角度方向の画素を参照画素として抽出する方向特性を有するフィルタを前記勾配と対応付けて複数の前記エッジ角度について格納する記憶手段と、
前記算出された勾配に基づいて前記記憶手段から前記画像上におけるエッジ角度に適したフィルタを選択するフィルタ選択手段と、
前記選択されたフィルタを用いて前記注目画素に対する平滑化処理を実行する平滑化手段と、
前記算出されたエッジ量が所定のエッジ量よりも小さい場合には、前記注目画素の分散値を求める分散値算出手段と、
前記算出された分散値が大きくなるにつれて抽出領域が小さい移動平均フィルタを用いて前記注目画素に対する平滑化処理を実行する第２の平滑化手段とを備える画像処理装置。
複数画素から構成される画像に対するノイズ低減処理方法であって、
平滑化処理の対象となる注目画素についてエッジ量を求め、
前記算出されたエッジ量が所定のエッジ量以上の場合には、
前記求めたエッジ量に基づいて前記注目画素を含むエッジ形成画素の整列角度であるエッジ角度を決定し、
所定の方向の画素を参照画素として抽出する方向特性を有するフィルタであって、前記決定されたエッジ角度に適合する方向特性を有するフィルタを取得し、
前記取得したフィルタを用いて前記注目画素に対する平滑化処理を実行し、
前記算出されたエッジ量が所定のエッジ量よりも小さい場合には、
前記注目画素の分散値を求め、
前記算出された分散値が大きくなるにつれて抽出領域が小さい移動平均フィルタを用いて前記注目画素に対する平滑化処理を実行するノイズ低減処理方法。