JP5157678B2 - 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 - Google Patents

Description

本発明は、写真画像データに含まれる粒状のノイズを抑制する写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置に関する。

デジタルカメラで撮影された画像を観察すると、画像に細かな粒状のノイズが重畳されていることが観察される。特に画像の暗部でざらつくようなノイズが目立ち、暗所でストロボ発光無しで撮影された画像には同様のノイズが画像全体に現れる。

これらのノイズは、撮像素子のリセットノイズや暗電流ノイズ等、素子の特性等に起因して発生するもので、撮影環境が悪い、つまり被写体の照度が低いほどノイズ成分が勝り、さらにゲイン調整によって明るさを補正する場合にノイズが強調されるようになる。

ところで、光学カメラによって撮影されたフィルム画像に含まれる色素雲の大きさに基づいた粒状ムラを抑制する技術として、フィルムスキャナを介してデジタル画像に変換した写真画像データに、解像度に基づいた所定のフィルタサイズのメジアンフィルタやガウシアンフィルタによるフィルタ処理、つまり、ある画素についてその周囲の画素から求めた所定の平均値に置換する処理を画像全体に施すような処理があるが、画像の輪郭部分にメリハリを与える鮮鋭化処理の後にこのようなぼかし処理を行なうと、輪郭までぼやけてしまうので鮮鋭化した意味が無くなり、上述のぼかし処理を行った後に鮮鋭化処理する場合には画像中の細かい構造（ディテール）が消失するといった不都合がある。

そこで、写真画像データを所定画素数でブロック分割して、各領域の平均値と分散値を求め、分散値が小さい平坦な画像領域では強い平滑化処理を施し、分散値が大きい輪郭を含む画像領域では弱い平滑化処理を施すことが考えられるが、この方法によれば、輪郭を含む画像領域がブロック内に存在すると、一律に弱い平滑化処理が実行されるため、輪郭を中心とする所定幅の帯状の領域でノイズ抑制効果が低減されることになり、あまり好ましい結果が得られなかった。

特許文献１には、フィルムスキャナを介してデジタル画像に変換した写真画像データに加重平均フィルタ処理を行なう画像処理方法として、写真画像データを構成するＲＧＢ画素成分毎に、注目画素を順次設定するステップと、注目画素を中心とした加重平均フィルタリング処理のための演算領域内に位置する各周辺画素と注目画素との間の画素値の差分値を算定するステップと、差分値に応じて加重平均フィルタリング処理に用いられる重み係数を決定するステップと、重み係数を用いて加重平均フィルタリング処理を実行して注目画素の補正画素値を求めるステップを備えた方法が提案されている。

この方法によれば、注目画素が平坦領域に位置する場合と輪郭領域に位置する場合とでは、注目画素とその周辺画素の画素値に所定の関係があることから、特定の差分値に対して強い影響力を与えるような重み係数を設定することで、平坦領域はもとより輪郭及びその付近においても十分に粒状ノイズを抑制できるとともに写真がもつ細かいディテールと質感が維持される粒状ノイズ抑制が実現可能となる。
特開２００６−３０２０２３号公報

しかし、デジタルカメラで撮影された写真画像データは、通常、ＪＰＥＧ画像に圧縮される際に、色差データが１／２または１／４に低減された後に直交変換されるため、輝度データと比べて色差データのデータ量が減少していることと相俟って、色ノイズが輝度ノイズより大きく現れやすく、上述した特許文献１に記載された色成分毎に加重平均フィルタ処理する方法では、輝度ノイズと色ノイズを適切に除去できないという問題があった。

また、ＪＰＥＧ画像に圧縮される際のブロックサイズ（通常、８×８画素）より小さなサイズ（３×３画素）の加重平均フィルタで処理することとなり、ノイズ除去精度が向上しないという問題もあった。

本発明は、上述の従来欠点に鑑み、写真画像データに対して、輪郭がぼけることの無い状態で、粒状の輝度ノイズと色ノイズの夫々を効果的に抑制できる写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置を提供する点にある。

上述の目的を達成するため、本発明による写真画像処理方法の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、写真画像データに含まれる粒状のノイズを抑制する写真画像処理方法であって、前記写真画像データから輝度成分画像データを抽出する輝度成分画像抽出ステップと、前記輝度成分画像を、第一のフィルタサイズの加重平均フィルタでフィルタ処理して輝度平滑化画像データを生成する輝度フィルタ処理ステップと、前記輝度成分画像を、所定サイズの画素ブロックに分割し、各分割領域から抽出した最大値及び最小値を示す輝度成分を、前記輝度平滑化画像データの対応する画素の輝度成分と置換する輝度置換処理ステップと、を含む点にある。

輝度フィルタ処理ステップでは、略一画素単位の細かな輝度ノイズが重畳した輝度成分画像が、第一のフィルタサイズの加重平均フィルタでフィルタ処理されて、適正にノイズ抑制された輝度平滑化画像データが生成される。そして、輝度置換処理ステップでは、原画像の輝度成分画像が所定サイズの画素ブロックに分割され、各分割領域から最大値及び最小値を示す画素が抽出され、輝度フィルタ処理ステップで処理された後の輝度成分画像の対応する画素の輝度成分と置換されることにより、大きな値の輝度ノイズが低減されるようになる。

輝度フィルタ処理ステップで処理された後の輝度成分画像は、輪郭領域では十分に輝度ノイズが抑制されているが、平坦領域でのっぺりとした画像になる傾向があり、画像中の細かい構造（ディテール）が消失する場合がある。しかし、そのような画像の画素データの一部を原画像のノイズ領域の画素データと置換することにより、原画像の輝度成分画像から大きな輝度ノイズを抑制することができ、残存する小さな値の輝度ノイズにより適度なざらつきが維持されるようになる。

同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記輝度置換処理ステップは、全ての画素ブロックに対する輝度成分の置換処理が終了すると、前記画素ブロックの中心画素が縦、横、または斜めに所定画素ずらせて分割した新たな画素ブロックに対して、前記輝度成分の置換処理を再度実行する処理を、所定回数繰り返す点にある。

輝度置換処理ステップの実行回数が一回であれば、各画素ブロックに含まれる最大値及び最小値を示す二画素が輝度フィルタ処理ステップで処理された後の輝度成分画像の画素と置換されるのであるが、必ずしも十分に輝度ノイズが抑制されるとは限らない。

しかし、同一の画素ブロックに対して同じ処理を複数回実行すると、逆にのっぺりとした画像になる。そこで、画素ブロックの中心画素が縦、横、または斜めに所定画素ずれるように分割した新たな画素ブロックに対して、輝度成分の置換処理を再度実行する処理を、所定回数繰り返すことにより、のっぺりとした画像となることを回避しながらも効果的に輝度ノイズを抑制することができるようになる。

同第三の特徴構成は、同請求項３に記載した通り、上述の第一または第二特徴構成に加えて、前記輝度成分画像抽出ステップに、前記写真画像データを構成する各画素のＲＧＢ色成分を、ＹＣｂＣｒの輝度色差成分に変換するＲＧＢ‐ＹＣｂＣｒ変換処理ステップを含み、前記ＲＧＢ‐ＹＣｂＣｒ変換処理ステップで得られた色差成分画像の夫々を、第一のフィルタサイズより大きな第二のフィルタサイズの加重平均フィルタでフィルタ処理して色差平滑化画像データを生成する色差フィルタ処理ステップと、前記輝度置換処理ステップで得られた輝度成分と、前記色差フィルタ処理ステップでフィルタ処理された色差成分で構成される輝度色差成分をＲＧＢ色成分に逆変換するＹＣｂＣｒ‐ＲＧＢ変換処理ステップ、をさらに含む点にある。

例えば、デジタルカメラで撮影された写真画像では、略一画素単位の細かな輝度ノイズが重畳した輝度成分画像に比べて、ＪＰＥＧ変換処理や、撮像素子に設けられたカラーフィルタのベイヤー配列等の影響により色差成分画像は、複数の画素に及ぶ広範囲の色ノイズが顕著であるため、第一のフィルタサイズより大きな第二のフィルタサイズの加重平均フィルタを用いる色差フィルタ処理ステップで適切にノイズ抑制された色差画像データが得られる。

そして、ＹＣｂＣｒ‐ＲＧＢ変換処理ステップでは、輝度置換処理ステップで得られた輝度成分と、色差フィルタ処理ステップでフィルタ処理された色差成分で構成される輝度色差成分がＲＧＢ色成分に逆変換され、色ノイズと輝度ノイズの双方が良好に抑制された写真画像が得られるようになる。

同第四の特徴構成は、同請求項４に記載した通り、上述の第三の特徴構成に加えて、前記第二のフィルタサイズはＪＰＥＧによる圧縮のためのブロックサイズより大きなフィルタサイズが選択される点にある。

ＪＰＥＧ画像に圧縮される際のブロックサイズよりも、第二のフィルタサイズを大きく設定することにより、輝度ノイズより大きなサイズで現れやすい色ノイズを効果的に抑制することができるようになる。

同第五の特徴構成は、同請求項５に記載した通り、上述の第一から第四の何れかの特徴構成に加えて、前記加重平均フィルタは、フィルタサイズ内の中心画素と周辺画素の差分が、零または画像の輪郭部か否かを判断する所定の閾値及びその近傍で大きなフィルタ係数となり、前記閾値からずれるほどに小さなフィルタ係数となるように、対象画像データに応じて動的に決定されるフィルタである点にある。

本願発明者は、注目画素とその周辺画素の画素値の差分に基づいて輪郭に近い領域であるか離れた領域であるかを見出すことができることを知見している。つまり、フィルタサイズ内の中心画素と周辺画素の差分が、零または画像の輪郭部か否かを判断する所定の閾値及びその近傍で大きなフィルタ係数に設定し、閾値からずれるほどに小さなフィルタ係数となるように設定することにより、平坦領域はもとより輪郭及びその付近においても十分に粒状のノイズを抑制できるようになるのである。

本発明による写真画像処理プログラムの特徴構成は、同請求項６に記載した通り、写真画像データに含まれる粒状のノイズを抑制する写真画像処理プログラムであって、前記写真画像データを構成する各画素のＲＧＢ色成分を、ＹＣｂＣｒの輝度色差成分に変換するＲＧＢ‐ＹＣｂＣｒ変換処理ステップと、前記ＲＧＢ‐ＹＣｂＣｒ変換処理ステップで得られた輝度成分画像を、第一のフィルタサイズの加重平均フィルタでフィルタ処理して輝度平滑化画像データを生成する輝度フィルタ処理ステップと、前記輝度成分画像を、所定サイズの画素ブロックに分割し、各分割領域から抽出した最大値及び最小値を示す輝度成分を、前記輝度平滑化画像データの対応する画素の輝度成分と置換する輝度置換処理ステップと、前記ＲＧＢ‐ＹＣｂＣｒ変換処理ステップで得られた色差成分画像の夫々を、第一のフィルタサイズより大きな第二のフィルタサイズの加重平均フィルタでフィルタ処理して色差平滑化画像データを生成する色差フィルタ処理ステップと、前記輝度置換処理ステップで得られた輝度成分と、前記色差フィルタ処理ステップでフィルタ処理された色差成分で構成される輝度色差成分をＲＧＢ色成分に逆変換するＹＣｂＣｒ‐ＲＧＢ変換処理ステップと、をコンピュータに実行させる点にある。

本発明による写真画像処理装置の特徴構成は、同請求項７に記載した通り、写真画像データに含まれる粒状のノイズを抑制する写真画像処理装置であって、前記写真画像データを構成する各画素のＲＧＢ色成分を、ＹＣｂＣｒの輝度色差成分に変換するＲＧＢ‐ＹＣｂＣｒ変換処理部と、前記ＲＧＢ‐ＹＣｂＣｒ変換処理部で得られた輝度成分画像を、第一のフィルタサイズの加重平均フィルタでフィルタ処理して輝度平滑化画像データを生成する輝度フィルタ処理部と、前記輝度成分画像を、所定サイズの画素ブロックに分割し、各分割領域から抽出した最大値及び最小値を示す輝度成分を、前記輝度平滑化画像データの対応する画素の輝度成分と置換する輝度置換処理部と、前記ＲＧＢ‐ＹＣｂＣｒ変換処理部で得られた色差成分画像の夫々を、第一のフィルタサイズより大きな第二のフィルタサイズの加重平均フィルタでフィルタ処理して色差平滑化画像データを生成する色差フィルタ処理部と、前記輝度置換処理部で得られた輝度成分と、前記色差フィルタ処理部でフィルタ処理された色差成分で構成される輝度色差成分をＲＧＢ色成分に逆変換するＹＣｂＣｒ‐ＲＧＢ変換処理部と、を含む点にある。

以上説明した通り、本発明によれば、写真画像データに対して、輪郭がぼけることの無い状態で、粒状の輝度ノイズと色ノイズの夫々を効果的に抑制できる写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置を提供することができるようになった。

以下に本発明による写真画像処理装置の実施の形態を説明する。

図１に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない、露光された印画紙を現像処理して写真プリントを生成出力する写真プリンタ２と、写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行ない、原画像から編集処理した出力画像データを写真プリンタ２に出力する操作ステーション３を備えて構成されている。

操作ステーション３は、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３１と、デジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３２と、コントローラ３３としての汎用コンピュータ等を備えている。

図１及び図２に示すように、写真プリンタ２は、ロール状の印画紙Ｐを収容した二系統の印画紙マガジン２１と、印画紙マガジン２１から引き出された印画紙Ｐを所定のプリントサイズに切断するシートカッター２２と、切断後の印画紙Ｐの背面にコマ番号等のプリント情報を印字するバックプリント部２３と、プリントデータに基づいて印画紙Ｐを露光する露光部２４と、露光後の印画紙Ｐを現像、漂白、定着するための各処理液が充填された複数の処理槽２５ａ、２５ｂ、２５ｃを備えた現像処理部２５が印画紙Ｐの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Ｐが排出される横送りコンベア２６と、横送りコンベア２６に集積された複数枚の印画紙（写真プリント）Ｐがオーダー単位で仕分けられるソータ２７を備えている。

露光部２４には、搬送機構２８によって副走査方向に搬送される印画紙Ｐに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたＲＧＢ三色のレーザ光線束を出力して露光する露光ヘッド２４ａが収容されている。

搬送経路に沿って配置された露光部２４や現像処理部２５に、所定のプロセス速度で印画紙Ｐを搬送する複数のローラ対でなる搬送機構２８が配置され、露光部２４の前後には印画紙Ｐを複列に搬送可能なチャッカー式搬送機構２８ａが設けられている。

操作ステーション３に設けられたコントローラ３３には、汎用のオペレーティングシステムの管理下で動作し、写真処理装置１の各種の画像処理や入出力制御を実行するための複数のアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３４、キーボード３５、マウス３６等が接続されている。当該アプリケーションプログラムに本発明による画像処理プログラムが含まれる。

コントローラ３３は、そのハードウェア及びソフトウェアが協働して写真処理プロセスを実行するブロックで、以下に、各機能ブロックに分けて説明する。

図３に示すように、コントローラ３３は、フィルムスキャナ３１やメディアドライバ３２によって読み取られた原画像としての写真画像データを受け取り、所定の前処理を行なってメモリ４１に転送する画像入力部４０と、モニタ３４の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対するキーボード３５やマウス３６からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部４２と、画像入力部４０から転送される写真画像データ及び画像処理部４７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ４１と、プリントオーダ情報を生成するオーダー処理部４３と、メモリ４１に格納された各写真画像データに対してコマ画像毎または所定枚数のコマ画像に濃度補正処理やコントラスト補正処理等を行なう画像処理部４７を備えている。

さらに、グラフィックユーザーインターフェース部４２からの表示コマンドに基づいてメモリ４１に展開された画像データや各種の入出力用グラフィックデータ等をモニタ３４に表示処理するビデオＲＡＭ等を備えた表示制御部４６と、各種の補正処理が終了した最終の補正画像を写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部４４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部４５等を備えている。

フィルムスキャナ３１は、フィルムＦに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対して各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されてプリンタ２に出力される。

同様に、メディアドライバ３２から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際にメモリ４１に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、画像入力部４０で高解像度の撮影画像からサムネイル画像が生成されてメモリ４１に転送される。

このように、頻繁に試行錯誤される各種の編集処理が低解像度の画像に対して実行されることによりコントローラ３３の演算負荷が低減されるように構成されている。

画像処理部４７には、メモリ４１に格納された原画像である写真画像データに対して撮影レンズに起因する歪を補正する歪補正部５０と、粒状ノイズを抑制する粒状ノイズ抑制処理部５１と、画像のエッジを強調し、ノイズを抑制する鮮鋭化処理部５２と、自然なカラーを再現できるようにカラーバランスを調整するカラー補正部５３と、写真プリントのサイズに適した画像サイズに変換する拡縮処理部５４等の複数の画像処理ブロックを備えている。

粒状ノイズ抑制処理部５１は、写真フィルムＦから本スキャンモードで読み込まれた画像データに含まれる粒状ノイズを抑制するフィルム画像用の粒状ノイズ抑制処理部５１と、本発明による画像処理装置として機能し、メディアドライバ３２から読み込まれた高解像度の画像データに含まれる粒状ノイズを抑制するデジタルカメラ撮影画像用の粒状ノイズ抑制処理部５１を備えている。

以下、メディアドライバ３２から入力されるデジタルカメラで撮影された写真画像データの処理について詳述するが、写真フィルムＦから本スキャンモードで読み込まれた写真画像データも同様の処理を行なうことが可能である。

メディアドライバ３２から読み込まれた複数のサムネイル画像データ及び高解像度の画像データがメモリ４１に格納されると、モニタ３４の画面にサムネイル画像データに基づく数コマの写真画像とグラフィック操作画面が表示される。尚、通常、メディアに格納されているデジタル画像はＪＰＥＧ方式により圧縮されているため、逆変換して伸長処理した画像データが格納される。

モニタ３４の画面に表示された各コマ画像に対して、グラフィック操作画面に対するオペレータの操作を介してオーダー処理部４３によりプリント条件、つまり、プリント枚数やプリントサイズ等が設定される。

さらに、各コマ画像に対して、オペレータの操作を介して画像処理部４７により歪補正、鮮鋭化処理、カラー補正が実行され、このとき設定された画像の補正処理条件がメモリ４１に格納される。

モニタ３４の画面に表示された各コマ画像に対するプリント条件の設定や補正処理の操作が終了すると、次画面にスクロールして、全コマ画像に対して同様の処理が実行される。

全ての操作処理が終了し、グラフィック操作画面を介してプリント出力操作が行なわれると、メモリ４１に格納されている高解像度の写真画像データに対して、歪補正、粒状ノイズ抑制処理、鮮鋭化処理、カラー補正処理、拡縮処理等の画像処理が順番に実行され、プリントデータ生成部４４によって画像処理後の画像データがプリントデータに変換生成され、写真プリンタ２に出力される。

高解像度の写真画像データに対する歪補正、鮮鋭化処理、カラー補正処の夫々は、サムネイル画像に対して設定された補正処理条件、つまりメモリ４１に格納された補正処理条件に基づいて自動的に補正処理が実行される。

以下、本発明によるデジタルカメラ撮影画像用の粒状ノイズ抑制処理部５１について詳述する。

図４に示すように、粒状ノイズ抑制処理部５１は、写真画像データを構成する各画素のＲＧＢ色成分を、ＹＣｂＣｒの輝度色差成分に変換するＲＧＢ‐ＹＣｂＣｒ変換処理部５１０と、ＲＧＢ‐ＹＣｂＣｒ変換処理部５１０で得られた輝度成分画像を、第一のフィルタサイズの加重平均フィルタでフィルタ処理して輝度平滑化画像データを生成する輝度フィルタ処理部５１２と、輝度成分画像を、所定サイズの画素ブロックに分割し、各分割領域から抽出した最大値及び最小値を示す輝度成分を、輝度平滑化画像データの対応する画素の輝度成分と置換する輝度置換処理部５１４と、ＲＧＢ‐ＹＣｂＣｒ変換処理部５１０で得られた色差成分画像の夫々を、第一のフィルタサイズより大きな第二のフィルタサイズの加重平均フィルタでフィルタ処理して色差平滑化画像データを生成する色差フィルタ処理部５１６（５１６ａ，５１６ｂ）と、輝度置換処理部５１４で得られた輝度成分と、色差フィルタ処理部５１６でフィルタ処理された色差成分で構成される輝度色差成分をＲＧＢ色成分に逆変換するＹＣｂＣｒ‐ＲＧＢ変換処理部５１８を備えている。

ＲＧＢ‐ＹＣｂＣｒ変換処理部５１０は、以下の変換式に基づいて、メモリ４１から読み出した高解像度の原画像である写真画像データ（例えば、８００万画素であれば、横３２６４画素×縦２４４８画素程度である）を構成する各画素のＲ（赤）、Ｇ（緑）、Ｂ（青）の夫々の色成分（以下、「ＲＧＢ」と記す。）を、輝度色差成分に変換してメモリ４１に格納する。
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ ＝ −０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ

輝度フィルタ処理部５１２では、輝度成分画像に対して、７×７程度の第一のフィルタサイズの加重平均フィルタによってフィルタ処理が実行され、輝度平滑化画像データが生成される。

色差フィルタ処理部５１６（５１６ａ，５１６ｂ）では、色差成分画像の夫々に対して、第一のフィルタサイズ（７×７）より大きな、９×９或は１１×１１程度の第二のフィルタサイズの加重平均フィルタでフィルタ処理が実行され、色差平滑化画像データが生成される。

通常、ＪＰＥＧ方式では、ＹＣｒＣｂ変換された画素を８×８のブロック毎にＤＣＴ変換し、得られた周波数成分を量子化し、ジグザグスキャンにより配列された量子化データをハフマン符合化するが、各ブロック内の色差データはＤＣＴ変換する前に輝度データの１／４に間引き処理される。人間の目が細かな輝度の違いには敏感であるのに対して、色相の細かな違いには比較的気付かないという特性に基づいて、色差データを削減するためである。

従って、デジタルカメラで撮影された写真画像に現れるざらつきの原因である粒状のノイズを輝度ノイズと色ノイズに分けると、輝度ノイズが略一画素単位で現れるのに対して、色ノイズは比較的大きな画素サイズで現れ、その傾向がＤＣＴ変換時のブロックサイズと相関を持つという特性が見られる。

そのため、色ノイズを抑制するためには、第二のフィルタサイズをＪＰＥＧによる圧縮のためのブロックサイズより大きなフィルタサイズに設定することが好ましく、本実施形態では、９×９或は１１×１１程度のフィルタサイズに設定されている。これに対して、小さな画素で発生する輝度ノイズを抑制するためには、第二のフィルタサイズより小さいフィルタサイズに設定することが好ましい。

加重平均フィルタとして、一般的なガウシアンフィルタや被写体の輪郭の保存特性に優れたバイラテラルフィルタを採用することも可能であるが、本実施形態では、被写体の輪郭をぼかすことなく、輪郭に近い領域まで粒状のノイズを適切に抑制可能な動的フィルタを用いている。

フィルタサイズ内の中心画素と周辺画素の差分が、零または画像の輪郭部か否かを判断する所定の閾値及びその近傍で大きなフィルタ係数となり、閾値からずれるほどに小さなフィルタ係数となるように、対象画像データに応じて動的に決定される加重平均フィルタである。

図５（ａ）（ｂ）に示すように、当該加重平均フィルタのフィルタ係数Ｆ_ｉ，ｊは、中心画素Ｐ_０，０と周辺画素Ｐ_ｉ，ｊの画素値の差分に応じて０から１の範囲の値が出力される係数決定関数（Ｆ_ｉ，ｊ＝ｆ（Δ））に基づいて決定される。尚、実際には、係数決定関数に従って差分Δに対応したフィルタ係数が予め定義されたテーブルデータを参照することにより各フィルタ係数が決定される。

図６に示すように、係数決定関数は、注目画素Ｐ_０，０とその周辺画素Ｐ_ｉ，ｊの画素値の差分Δに基づいて、被写体の輪郭に近い領域であるか離れた領域であるかを判断し、差分Δが０のとき、つまり中心画素と周辺画素の輝度値または色差値が等しいときにフィルタ係数Ｆ_ｉ，ｊが１に設定されるとともに、中心画素と周辺画素の輝度値または色差値が予め設定した閾値と等しいときにフィルタ係数Ｆ_ｉ，ｊが１に設定され、中心画素と周辺画素の輝度値または色差値が閾値から小さくなるほどフィルタ係数Ｆ_ｉ，ｊが小さな値に設定されるような関数で、閾値を中心とする所定幅では、フィルタ係数が１から次第に小さくなるガウス関数として定義されている。

当該閾値は、原画像データの隣接画素同士に輝度または色相差がある場合、その差を「ノイズ」と認識するか「被写体の一部」と認識するかの境界を示す値として、多くのサンプル画像に対する感応検査等の統計的手法を用いて求められた値で、当該閾値より差分が十分に大きいときには、被写体の輪郭を表す画素である確率が高く、当該閾値より差分が小さいときには、粒状のノイズである確率が高いと判断するための指標である。

当該閾値は、各画素の輝度または色差を０から２５５の８ビットの数値として表す場合に、１０から２０の間の値、特に１６程度の値を採用することが好ましい。差分Δが１または２の微小値である場合にはノイズと認識されるが、それほど大きな値ではないため、逆にそのまま残すことにより、適度なざらつきを維持して、のっぺりとした平坦部となるような不都合を回避することができる。

輝度フィルタ処理部５１２及び色差フィルタ処理部５１６では、夫々のフィルタサイズの加重平均フィルタにより、処理対象画像データの一行目の左端の画素から行方向に配列された各画素を、順次注目画素として加重平均フィルタ処理を繰り返し、右端の画素まで処理が終了すると二行目の左端の画素から行方向に同様の処理を行ない、最終行の右端の画素まで処理を繰り返す。

このような処理を行なうことにより、被写体の輪郭領域の近傍まで適切に粒状のノイズを抑制することができるようになる。

尚、処理対象画像データの端部領域では、実際の画素が存在しないため、端部画素と同じ画素値のダミー画素を生成して処理されるが、実際にプリントされる有効画像サイズは原画像サイズよりやや小さいサイズとなるので、プリント画像に影響を与えるものではない。

図７（ａ）に示すように、輝度置換処理部５１４では、ＲＧＢ‐ＹＣｂＣｒ変換処理部５１０で抽出された輝度成分画像データＩＹを、７×７画素サイズの画素ブロックに分割し、各分割領域Ｒ_ｉ，ｊから抽出した最大値及び最小値を示す輝度成分Ｙ_ｍａｘ，Ｙ_ｍｉｎを、輝度フィルタ処理部５１２で平滑化された輝度平滑化画像データＩＹ´の対応する画素の輝度成分と置換する。

輝度置換処理部５１４では、全ての画素ブロックに対する輝度成分の置換処理が終了すると、画素ブロックの中心画素を縦、横、または斜めに所定画素ずらせて分割した新たな画素ブロックに対して、輝度成分の置換処理を再度実行する処理を、所定回数繰り返す。

具体的に、図７（ｂ）では、７×７画素サイズの画素ブロックの中心画素を右斜め下へ一つずらせて分割した新たな画素ブロックに対して、輝度成分の置換処理を実行する処理を７回繰り返すことを例示する。このように、７×７画素サイズの場合は、７回程度繰り返すことが適度である。

さらに、例えば、図７（ｃ）に示すように、画素ブロックの中心画素を、右斜め下へ下る対角線を直交して往復するようずらせて分割した新たな画素ブロックに対して、輝度成分の置換処理を実行する処理を１４回繰り返すことができる。

尚、上述の画像ブロックのサイズは例示にすぎないため、５×５画素サイズでもよく、輝度平滑化画像データを生成時に利用した、第一のフィルタサイズに応じて変更してもよい。この場合、輝度成分の置換処理を実行する処理を５回程度繰り返すことが適度である。

輝度置換処理ステップの実行回数が一回であれば、各画素ブロックに含まれる最大値及び最小値を示す二画素が輝度フィルタ処理ステップで処理された後の輝度成分画像の画素と置換されるのであるが、必ずしも十分に輝度ノイズが抑制されるとは限らない。

しかし、上述した通り、同一の画素ブロックに対して同じ処理を複数回実行すると逆にのっぺりとした画像になる。そこで、輝度成分画像の輝度ノイズ量に応じて、画素ブロックの中心画素が縦、横、または斜めに所定画素ずれるように分割した新たな画素ブロックに対して、輝度成分の置換処理を再度実行する処理を、所定回数繰り返すことにより、のっぺりとした画像となることを回避しながらも効果的に輝度ノイズを抑制することができるようになる。

ＹＣｂＣｒ‐ＲＧＢ変換処理部５１８では、輝度置換処理部５１４で得られた輝度ノイズが抑制された輝度成分と、色差フィルタ処理部５１６で色ノイズが抑制された色差成分で構成される補正後の新たな輝度色差成分を、次式に基づいてＲＧＢ色成分に逆変換して、鮮鋭化処理部５２に出力する。
Ｒ ＝ Ｙ−０．０００００７Ｃｂ＋１．４０１９９８Ｃｒ
Ｇ ＝ Ｙ−０．３４４１３３Ｃｂ−０．７１４１３８Ｃｒ
Ｂ ＝ Ｙ＋１．７７２００３Ｃｂ＋０．００００１５Ｃｒ

以下に、上述した粒状ノイズ抑制処理部５１による各処理の手順を、図８に示すフローチャートに基づいて説明する。

まず、写真画像データを構成する各画素のＲＧＢ色成分データが、ＲＧＢ−ＹＣｂＣｒ変換処理部５１０に入力されると、ＲＧＢ‐ＹＣｂＣｒ変換処理ステップが実行され、輝度成分画像データと色差成分画像データが出力される（Ｓ１）。

出力された輝度成分画像データが輝度フィルタ処理部５１２に入力されると、輝度フィルタ処理ステップ（Ｓ２）が実行される。

輝度フィルタ処理ステップ（Ｓ２）は、画素差分演算処理ステップ（Ｓ２１）と、加重平均フィルタ係数決定処理ステップ（Ｓ２２）と加重平均フィルタ処理ステップ（Ｓ２３）で構成される。

まず、画素差分演算処理ステップ（Ｓ２１）が実行され、図５（ａ）に示すように、所定の加重平均フィルタサイズに応じて、入力された輝度成分画像データの中心画素Ｐ_０，０と周辺画素Ｐ_ｉ，ｊの画素値の差分Δが算出される。

続いて、加重平均フィルタ係数決定処理ステップ（Ｓ２２）が実行され、図５（ｂ）、図６に示すように、所定の係数決定関数に従って差分Δに対応したフィルタ係数が予め定義されたテーブルデータを参照することにより各フィルタ係数Ｆ_ｉ，ｊが決定される。

続いて、加重平均フィルタ処理ステップ（Ｓ２３）が実行され、加重平均フィルタ係数決定処理ステップ（Ｓ２２）で決定された加重平均フィルタを利用したフィルタ処理が実行され、実行結果である輝度平滑化画像データと、実行前の輝度成分画像データが輝度置換処理部５１４へ出力される。

続いて、輝度平滑化画像データが輝度置換処理部５１４に入力されると、輝度置換処理ステップ（Ｓ３）が実行される。

輝度置換処理ステップ（Ｓ３）は、画素ブロック分割処理ステップ（Ｓ３１）と、画素データ置換処理ステップ（Ｓ３２）と、全画素ブロック終了判定処理ステップ（Ｓ３３）と、所定回数終了判定処理ステップ（Ｓ３４）で構成される。

まず、画素ブロック分割処理ステップ（Ｓ３１）が実行され、入力された輝度成分画像データが、所定の画素ブロックの中心画素位置のずらし方に応じて、複数の画素ブロックに分割される。尚、本処理ステップの最初の実行時は、画素ブロックの中心画素位置は一つもずらさずに実行される。

続いて、画素データ置換処理ステップ（Ｓ３２）が実行され、画素ブロック分割処理ステップ（Ｓ３１）で分割された各分割領域Ｒ_ｉ，ｊから抽出した最大値及び最小値を示す輝度成分Ｙ_ｍａｘ，Ｙ_ｍｉｎが、輝度平滑化画像データの対応する画素の輝度成分と置換される。

続いて、全画素ブロック終了判定処理ステップ（Ｓ３３）が実行され、画素ブロック分割処理ステップ（Ｓ３１）で分割した全ての画素ブロックに対して、画素データ置換処理ステップ（Ｓ３２）が実行されたかどうかを判定し、未処理の分割領域がなくなるまで、画素データ置換処理ステップ（Ｓ３２）が繰り返し実行される。

全ての画素ブロックに対して、画素データ置換処理ステップ（Ｓ３２）が実行されると、輝度置換処理ステップ（Ｓ３）が所定回数実行されたかどうかを判定する。

所定回数実行されていない場合は、再び、画素ブロック分割処理ステップ（Ｓ３１）が実行され、画素ブロックの中心画素位置が所定のずらし方に応じてずらされ、輝度成分画像データが新たに複数の画素ブロックに分割される。

続いて、上述の新たな画素ブロックに対して、画素データ置換処理ステップ（Ｓ３２）と、全画素ブロック終了判定処理ステップ（Ｓ３３）が実行され、所定回数終了判定処理ステップ（Ｓ３４）が実行される。

所定回数実行された場合は、輝度置換処理ステップ（Ｓ３）が所定回数繰り返して実行された結果である輝度成分画像データが出力され、輝度置換処理ステップ（Ｓ３）が終了される。

また、ＲＧＢ−ＹＣｂＣｒ変換処理部５１０のＲＧＢ‐ＹＣｂＣｒ変換処理ステップ（Ｓ１）で出力された色差成分画像データが色差フィルタ処理部５１６に入力されると、色差フィルタ処理が実行され、フィルタ処理された色差成分で構成される輝度色差成分画像データが出力される（Ｓ４）。

続いて、輝度置換処理部５１４の輝度置換処理ステップ（Ｓ３）で得られた輝度成分画像データと、色差フィルタ処理部５１６の色差フィルタ処理ステップ（Ｓ４）で得られた輝度色差成分画像データがＹＣｂＣｒ−ＲＧＢ変換処理部５１８に入力されると、ＹＣｂＣｒ‐ＲＧＢ変換処理が実行され、ＲＧＢ色成分データが出力される（Ｓ５）。

上述した粒状ノイズ抑制処理部５１による各処理は、コントローラ３３に備えたハードディスクにインストールされた本発明の写真画像処理プログラムが実行されることにより実現される。

つまり、写真画像データに含まれる粒状のノイズを抑制する写真画像処理プログラムであって、写真画像データを構成する各画素のＲＧＢ色成分を、ＹＣｂＣｒの輝度色差成分に変換するＲＧＢ‐ＹＣｂＣｒ変換処理ステップ（Ｓ１）と、ＲＧＢ‐ＹＣｂＣｒ変換処理ステップ（Ｓ１）で得られた輝度成分画像を、第一のフィルタサイズの加重平均フィルタでフィルタ処理して輝度平滑化画像データを生成する輝度フィルタ処理ステップ（Ｓ２）と、輝度成分画像を、所定サイズの画素ブロックに分割し、各分割領域から抽出した最大値及び最小値を示す輝度成分を、輝度平滑化画像データの対応する画素の輝度成分と置換する輝度置換処理ステップ（Ｓ３）と、ＲＧＢ‐ＹＣｂＣｒ変換処理ステップで得られた色差成分画像の夫々を、第一のフィルタサイズより大きな第二のフィルタサイズの加重平均フィルタでフィルタ処理して色差平滑化画像データを生成する色差フィルタ処理ステップ（Ｓ４）と、輝度置換処理ステップ（Ｓ３）で得られた輝度成分と、色差フィルタ処理ステップ（Ｓ４）でフィルタ処理された色差成分で構成される輝度色差成分をＲＧＢ色成分に逆変換するＹＣｂＣｒ‐ＲＧＢ変換処理ステップ（Ｓ５）と、をコンピュータに実行させる写真画像処理プログラムが記憶されたＣＤやＤＶＤ等の記憶媒体を介してインストールされている。

さらに、輝度置換処理ステップ（Ｓ３）は、全ての画素ブロックに対する輝度成分の置換処理が終了すると、画素ブロックの中心画素が縦、横、または斜めに所定画素ずらせて分割した新たな画素ブロックに対して、輝度成分の置換処理を再度実行する処理を、所定回数繰り返すプログラムが含まれている。

図９に示す原画像に対して、粒状ノイズ抑制処理を実行した結果の写真画像を図１０に示す。写真画像から把握されるように、粒状ノイズ抑制処理を実行したことにより、洋服や鎖骨周りの肌等の平坦な領域に点在していた影のようなノイズが抑制されていることが分かる。さらに洋服や背景の色が明るく鮮明になっていることが分かる。

また、ネックレスに注目すると、鎖の輪郭が明確になり、鎖の色も明るく鮮明に表示されていることが分かる。さらに、ネックレス付近の首筋の凹凸のある肌に見られた影のようなノイズが抑制され、小さな値の輝度ノイズが適度に残存することによって、肌の質感も損なわれずに表示されていることがわかる。

尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。

写真画像処理装置の外観説明図 写真プリンタの説明図 写真画像処理装置の機能ブロック構成図 粒状ノイズ抑制処理部の機能ブロック構成図 加重平均フィルタの説明図であり、（ａ）は中心画素Ｐ_０，０と周辺画素Ｐ_ｉ，ｊの関係を示す説明図、（ｂ）はフィルタ係数を示す説明図 加重平均フィルタの係数決定関数の説明図 輝度置換処理ステップの説明図であり、（ａ）は分割領域内の最大値と最小値の輝度成分画素の置換処理を示す説明図、（ｂ）は分割領域のずらし方を示す説明図、（ｃ）は分割領域のずらし方の一例の説明図 粒状ノイズ抑制処理部の処理手順を説明するためのフローチャート 粒状ノイズ抑制処理前の原写真画像 粒状ノイズ抑制処理後の写真画像

１：写真画像処理装置
５１：粒状ノイズ抑制処理部
５１０：ＲＧＢ‐ＹＣｂＣｒ変換処理部
５１２：輝度フィルタ処理部
５１４：輝度置換処理部
５１６：色差フィルタ処理部
５１８：ＹＣｂＣｒ‐ＲＧＢ変換処理部
Ｓ１：ＲＧＢ‐ＹＣｂＣｒ変換処理ステップ
Ｓ２：輝度フィルタ処理ステップ
Ｓ３：輝度置換処理ステップ
Ｓ４：色差フィルタ処理ステップ
Ｓ５：ＹＣｂＣｒ‐ＲＧＢ変換処理ステップ
Ｐ_ｉ，ｊ：周辺画素
Ｒ_ｉ，ｊ：分割領域
Ｆ_ｉ，ｊ：フィルタ係数
ＩＹ：輝度成分画像データ
ＩＹ´：輝度平滑化画像データ
Ｙ_ｍａｘ：輝度成分画像データの分割領域内での最大値を示す輝度成分画素
Ｙ_ｍｉｎ：輝度成分画像データの分割領域内での最小値を示す輝度成分画素

Claims (7)

1. 写真画像データに含まれる粒状のノイズを抑制する写真画像処理方法であって、
   前記写真画像データから輝度成分画像データを抽出する輝度成分画像抽出ステップと、
   前記輝度成分画像を、第一のフィルタサイズの加重平均フィルタでフィルタ処理して輝度平滑化画像データを生成する輝度フィルタ処理ステップと、
   前記輝度成分画像を、所定サイズの画素ブロックに分割し、各分割領域から抽出した最大値及び最小値を示す輝度成分を、前記輝度平滑化画像データの対応する画素の輝度成分と置換する輝度置換処理ステップと、
   を含む写真画像処理方法。
2. 前記輝度置換処理ステップは、全ての画素ブロックに対する輝度成分の置換処理が終了すると、前記画素ブロックの中心画素が縦、横、または斜めに所定画素ずらせて分割した新たな画素ブロックに対して、前記輝度成分の置換処理を再度実行する処理を、所定回数繰り返す請求項１記載の写真画像処理方法。
3. 前記輝度成分画像抽出ステップに、前記写真画像データを構成する各画素のＲＧＢ色成分を、ＹＣｂＣｒの輝度色差成分に変換するＲＧＢ‐ＹＣｂＣｒ変換処理ステップを含み、
   前記ＲＧＢ‐ＹＣｂＣｒ変換処理ステップで得られた色差成分画像の夫々を、第一のフィルタサイズより大きな第二のフィルタサイズの加重平均フィルタでフィルタ処理して色差平滑化画像データを生成する色差フィルタ処理ステップと、
   前記輝度置換処理ステップで得られた輝度成分と、前記色差フィルタ処理ステップでフィルタ処理された色差成分で構成される輝度色差成分をＲＧＢ色成分に逆変換するＹＣｂＣｒ‐ＲＧＢ変換処理ステップ、
   をさらに含む請求項１または２記載の写真画像処理方法。
4. 前記第二のフィルタサイズはＪＰＥＧによる圧縮のためのブロックサイズより大きなフィルタサイズが選択される請求項３記載の写真画像処理方法。
5. 前記加重平均フィルタは、フィルタサイズ内の中心画素と周辺画素の差分が、零または画像の輪郭部か否かを判断する所定の閾値及びその近傍で大きなフィルタ係数となり、前記閾値からずれるほどに小さなフィルタ係数となるように、対象画像データに応じて動的に決定されるフィルタである請求項１から４の何れかに記載の写真画像処理方法。
6. 写真画像データに含まれる粒状のノイズを抑制する写真画像処理プログラムであって、
   前記写真画像データを構成する各画素のＲＧＢ色成分を、ＹＣｂＣｒの輝度色差成分に変換するＲＧＢ‐ＹＣｂＣｒ変換処理ステップと、
   前記ＲＧＢ‐ＹＣｂＣｒ変換処理ステップで得られた輝度成分画像を、第一のフィルタサイズの加重平均フィルタでフィルタ処理して輝度平滑化画像データを生成する輝度フィルタ処理ステップと、
   前記輝度成分画像を、所定サイズの画素ブロックに分割し、各分割領域から抽出した最大値及び最小値を示す輝度成分を、前記輝度平滑化画像データの対応する画素の輝度成分と置換する輝度置換処理ステップと、
   前記ＲＧＢ‐ＹＣｂＣｒ変換処理ステップで得られた色差成分画像の夫々を、第一のフィルタサイズより大きな第二のフィルタサイズの加重平均フィルタでフィルタ処理して色差平滑化画像データを生成する色差フィルタ処理ステップと、
   前記輝度置換処理ステップで得られた輝度成分と、前記色差フィルタ処理ステップでフィルタ処理された色差成分で構成される輝度色差成分をＲＧＢ色成分に逆変換するＹＣｂＣｒ‐ＲＧＢ変換処理ステップと、
   をコンピュータに実行させる写真画像処理プログラム。
7. 写真画像データに含まれる粒状のノイズを抑制する写真画像処理装置であって、
   前記写真画像データを構成する各画素のＲＧＢ色成分を、ＹＣｂＣｒの輝度色差成分に変換するＲＧＢ‐ＹＣｂＣｒ変換処理部と、
   前記ＲＧＢ‐ＹＣｂＣｒ変換処理部で得られた輝度成分画像を、第一のフィルタサイズの加重平均フィルタでフィルタ処理して輝度平滑化画像データを生成する輝度フィルタ処理部と、
   前記輝度成分画像を、所定サイズの画素ブロックに分割し、各分割領域から抽出した最大値及び最小値を示す輝度成分を、前記輝度平滑化画像データの対応する画素の輝度成分と置換する輝度置換処理部と、
   前記ＲＧＢ‐ＹＣｂＣｒ変換処理部で得られた色差成分画像の夫々を、第一のフィルタサイズより大きな第二のフィルタサイズの加重平均フィルタでフィルタ処理して色差平滑化画像データを生成する色差フィルタ処理部と、
   前記輝度置換処理部で得られた輝度成分と、前記色差フィルタ処理部でフィルタ処理された色差成分で構成される輝度色差成分をＲＧＢ色成分に逆変換するＹＣｂＣｒ‐ＲＧＢ変換処理部と、
   を含む写真画像処理装置。