JP4008087B2

JP4008087B2 - Image processing method and apparatus

Info

Publication number: JP4008087B2
Application number: JP02840098A
Authority: JP
Inventors: 久夫新井
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1998-02-10
Filing date: 1998-02-10
Publication date: 2007-11-14
Anticipated expiration: 2018-02-10
Also published as: JPH11232452A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理方法および画像処理装置に関し、詳細には、画像の粒状（高周波ノイズ）を抑制しつつ、画像の鮮鋭度を強調する処理方法および装置に関するものである。
【０００２】
【従来の技術】
従来より、写真フイルムやプリントに記録された画像（カラー画像を含む）をＣＣＤ等のセンサーにより光電的に読み取って画像信号を得、これに種々の画像処理を施して、処理済画像をプリントやＣＲＴ等に再生することが行われている。このような画像処理としては、画像に含まれる所定の空間周波数成分に作用させる周波数処理や、画像の濃度などに作用させる階調処理等がある。
【０００３】
さらに周波数処理としては、画像の輪郭のぼけを抑制する鮮鋭度強調処理や、感材の粒状度等に起因するノイズ（粒状）を抑制する平滑化処理等の粒状抑制処理などがある。
【０００４】
鮮鋭度強調処理としては、アンシャープマスキング処理、高域強調フィルター処理、特開平 9-22460号に開示された、画像の高周波数成分を強調しつつ中間周波数成分を抑制する処理等が知られており、また粒状抑制処理としては、メディアンフィルター処理、ヒステリシススムージング処理、反復による雑音除去処理、モルフォロジー演算を利用した粒状抑制処理等が知られている。
【０００５】
ところで、鮮鋭度強調処理によれば、画像のシャープネスは向上する反面、画像の粒状も強調されてざらつき感が残り、一方、粒状抑制処理によれば、画像の粒状は抑制されてざらつき感を低減できる反面、画像の鮮鋭度が低下する、という問題がある。
【０００６】
【発明が解決しようとする課題】
そこで、粒状を抑制しつつ鮮鋭度を強調する画像処理方法が望まれており、従来より粒状抑制と鮮鋭度強調とを同時に実現することを目的とした種々の画像処理方法が提案されている（米国特許第4,812,903 号、特開昭63-26783号、特開平 9-22460号等）ものの、それらのいずれにおいても、効果的に粒状抑制と鮮鋭度強調とを同時に実現することはできていないのが現状である。
【０００７】
例えば、上記特開平9-22460 号に開示された技術は、画像の鮮鋭度に影響を及ぼす高周波数成分を強調しつつ、ざらつき感となる粒状に影響を及ぼす中間周波数成分を抑制する処理により、粒状を抑制しつつ鮮鋭度を強調することとしているが、これは、色の相関情報において粒状部は色の相関度が低く、映像信号（エッジ）部は色の相関度が高いという性質を利用したものである。そしてこの処理は、画像を周波数領域に展開し、中高周波数成分の強度を制御して色相関の低いところは程度を低くすることで粒状抑制を行っている。すなわちこの処理方法では、実画像での隣接画素間のつながりの因子が考慮されないため、画像の場所によっては突然に制御程度が変化し、粒状が抑制されたと捉えにくい面がある。したがって、鮮鋭度強調の効果に比して粒状抑制の効果が小さく、効果面からは粒状抑制鮮鋭度強調処理というよりも、鮮鋭度強調処理に止まるのが実状である。
【０００８】
本発明は上記事情に鑑みなされたものであって、画像に対する粒状抑制と鮮鋭度強調を効果的に両立することを可能にした画像処理方法および画像処理装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明の画像処理方法は、画像信号に対して、鮮鋭度を強調する処理と粒状を抑制する処理とを各別に施して、得られた各処理後の画像信号同士を、画素を対応させて処理して１つの処理済画像信号を得るものである。
【００１０】
すなわち本発明の画像処理方法は、画像を構成する画素の値を規定する画像信号（カラー画像に基づく画像信号も含む）ｆinに対して、粒状を抑制する画像処理および鮮鋭度を強調する画像処理を各別に施し、
前記粒状を抑制する画像処理により取得された粒状抑制処理画像信号ｆ1 および前記鮮鋭度を強調する画像処理により取得された鮮鋭度強調処理画像信号ｆ2 に基づいて、該両処理画像信号の画素を対応させた演算処理により処理済画像信号ｆout を取得することを特徴とするものである。
【００１１】
ここで、上記演算処理の内容は、画素ごとに相違するものであってもよいし全画素について共通のものであってもよい。また、この演算処理の内容は、予め設定された複数種類の中から、例えば原画像信号値ｆinとの関係、画像の種類または画素の位置等に応じて選択されたものであってもよいし、外部から処理の都度、入力されたものでもよい。
【００１２】
具体的には、上記演算処理として下記式（１）で定義される演算処理を適用することができる。
【００１３】
【数１】

【００１４】
すなわち粒状抑制処理画像信号と鮮鋭度強調処理画像信号とを重みづけ加算したものを処理済画像信号とするものである。なおこの演算処理においても、原画像信号値との関係等により、重みづけ係数w1、w2の値を画素ごとに変化させてもよいし、全画素に共通の重みづけ係数を設定してもよい。
【００１５】
また各重みづけ係数w1、w2は好ましくは 0.2から 0.8までの値、より好ましくは 0.3から 0.7までの値、最も好ましくは 0.4から 0.6までの値を採用するのが望ましい。
【００１６】
また下記式（２）で定義される演算処理を適用してもよい。
【００１７】
【数２】

【００１８】
すなわち、粒状抑制処理画像信号が原画像信号に等しい画素については、鮮鋭度強調処理画像信号を処理済画像信号とし、鮮鋭度強調処理画像信号が原画像信号に等しい画素については、粒状抑制処理画像信号を処理済画像信号とし、粒状抑制処理画像信号または鮮鋭度強調処理画像信号のいずれも原画像信号に等しくない画素については、粒状抑制処理画像信号と鮮鋭度強調処理画像信号とのうち原画像信号との差が大きい方の処理画像信号と、原画像信号との差、による重みづけ加算した値を処理済画像信号とする演算処理である。なおこの演算処理は、原画像信号値（ｆin）との関係により、処理を画素ごとに選択するものの具体的な態様の１つである。
【００１９】
上記粒状を抑制する画像処理としては、メディアンフィルター処理、ヒステリシススムージング処理、反復による雑音除去処理、モルフォロジー演算を利用した粒状抑制処理（平滑化処理）等、上記鮮鋭度を強調する画像処理としては、アンシャープマスキング処理、高域強調フィルター処理、画像信号を低周波数成分、中間周波数成分および高周波数成分に分解し、高周波数成分を強調するとともに中間周波数成分を抑制する強調抑制処理を行い、強調抑制処理後の各周波数成分および低周波数成分を合成する処理（特開平 9-22460号）等をそれぞれ適用することができるが、モルフォロジー演算を利用した粒状抑制（平滑化）処理と画像の高周波数成分を強調しつつ中間周波数成分を抑制したのち合成することによる鮮鋭度強調処理（特開平 9-22460号）との組合せが最適である。
【００２０】
ここでモルフォロジー（Morphology）演算処理とは、モフォロジーまたはモーフォロジーとも称し、一般的にはＮ次元空間における集合論として展開されるが、２次元空間である画像へ適用される場合が多い（特開平8-272961号、同9-248291号、同9-91421 号等）。ここでは、このモルフォロジー演算処理を、濃淡画像を例にして以下に簡単に説明する。
【００２１】
濃淡画像を座標（ｘ，ｙ）の点が濃度値ｆ（ｘ，ｙ）に相当する高さをもつ空間とみなし、この断面に相当する１次元の関数ｆ（ｘ）を考える。モルフォロジー演算処理に用いる構造要素ｇは次式（３）に示すように、原点について対称な対称関数
【００２２】
【数３】

【００２３】
であり、定義域内で値が０で、その定義域Ｇが下記式（４）であるとする。
【００２４】
【数４】

【００２５】
このとき、モルフォロジー演算の基本形は式（５）〜（８）に示すように、非常に簡単な演算となる。
【００２６】
【数５】

【００２７】
すなわち、ダイレーション（dilation）処理は、注目画素を中心とした、±ｍ（構造要素Ｂに応じて決定される値であって、図４中のマスクサイズに相当）の幅の範囲内の最大値を探索する処理であり（同図（Ａ）参照）、一方、イロージョン（erosion ）処理は、注目画素を中心とした、±ｍの幅の範囲内の最小値を探索する処理である（同図（Ｂ）参照）。また、オープニング（opening ）処理はイロージョン処理後にダイレーション処理を行なう処理、すなわち最小値の探索の後に最大値を探索する処理であり、クロージング（closing ）処理は、ダイレーション処理後にイロージョン処理を行なう処理、すなわち最大値の探索の後に最小値を探索する処理に相当する。
【００２８】
つまりオープニング処理は、低濃度側から濃度曲線ｆ（ｘ）を滑らかにし、マスクサイズ２ｍより空間的に狭い範囲で変動する凸状の濃度変動部分（周囲部分よりも濃度が高い部分）を抑制することに相当する（同図（Ｃ）参照）。
【００２９】
一方、クロージング処理は、高濃度側から濃度曲線ｆ（ｘ）を滑らかにし、マスクサイズ２ｍより空間的に狭い範囲で変動する凹状の濃度変動部分（周囲部分よりも濃度が低い部分）を抑制することに相当する（同図（Ｄ）参照）。
【００３０】
ここで、濃度の高いもの程大きな値となる高濃度高信号レベルの信号の場合においては、濃度値ｆ（ｘ）の画像信号値が高輝度高信号レベルの場合に対して大小関係が逆転するため、高濃度高信号レベルの信号に対するダイレーション処理と高輝度高信号レベルに対するイロージョン処理（同図（Ｂ））とは一致し、高濃度高信号レベルの信号に対するイロージョン処理と高輝度高信号レベルに対するダイレーション処理（同図（Ａ））とは一致し、高濃度高信号レベルの信号に対するオープニング処理と高輝度高信号レベルに対するクロージング処理（同図（Ｄ））とは一致し、高濃度高信号レベルの信号に対するクロージング処理と高輝度高信号レベルに対するオープニング処理（同図（Ｃ））とは一致する。
【００３１】
そして、このように原画像を表す画像信号に対して、モルフォロジー演算処理によるオープニング処理若しくはクロージング処理を施すことにより、画像から粒状（画像信号としてのノイズを意味する）を抑制（または除去）することができる（小畑「モルフォロジー」（コロナ社刊）等）。
【００３２】
次に、特開平 9-22460号に開示された、画像の高周波数成分を強調しつつ中間周波数成分を抑制することによる鮮鋭度強調処理について簡単に説明する。
【００３３】
この処理は、画像信号を低周波数成分、中間周波数成分および高周波数成分に分解し、高周波数成分を強調するとともに、中間周波数成分を抑制する強調抑制処理を行い、これらの処理後の各周波数成分および低周波数成分を合成して処理済画像信号を得るものである。
【００３４】
ここで、画像信号の低周波数成分・中間周波数成分・高周波数成分とは、図５に示すように分布される周波数成分のことをいうものであり、中間周波数成分とは、処理後のデータを可視像として再生する際の出力のナイキスト周波数の１／３付近にピークを持って分布する周波数成分をいうものであり、低周波数成分とは、出力のナイキスト周波数が０となる周波数をピークとして分布する成分をいい、高周波数成分とは出力のナイキスト周波数をピークとして分布する成分をいうものであり、さらに、低・中間・高周波数成分の和が各周波数において１となっている成分をいうものである。
【００３５】
また、この処理方法においては、前記分解後、前記高周波数成分および前記中間周波数成分から輝度成分を抽出し、該輝度成分にのみ基づいて前記強調抑制処理および前記合成を行うことが好ましい。
【００３６】
さらに、この処理方法においては、前記所定の画像における特定色領域を抽出し、該特定色領域に対応する前記中間周波数成分をさらに抑制して前記強調抑制処理を行うことが好ましい。
【００３７】
また、この処理方法においては、前記分解後、前記中間周波数成分および／または前記高周波数成分の評価値を求め、該評価値が所定の閾値より小さい画素に対する前記中間周波数成分を該評価値が該所定の閾値より大きい画素に対する前記中間周波数成分よりも大きく抑制して前記強調抑制処理を行うことが好ましい。さらに、この場合は前記評価値が所定の閾値より小さい画素に対する前記高周波数成分を該評価値が該所定の閾値より大きい画素に対する前記高周波数成分よりも小さく強調して前記強調抑制処理を行うことが好ましい。
【００３８】
ここで、評価値とは、後述するようなＲＧＢ３色のうちの２色からなる少なくとも１組の色間における相関値や、画像信号の周波数成分の局所分散などの値のことをいう。
【００３９】
さらに、前記評価値が、前記中間周波数成分および／または前記高周波数成分のＲＧＢ３色のうちの２色からなる少なくとも１組の色間における、相対応する画素についての相関値であることが好ましい。
【００４０】
また、前記評価値をメディアンフィルタによりフィルタリング処理した後、該処理がなされた評価値に基づいて前記所定の閾値に基づいて前記強調抑制処理を行ってもよく、前記中間周波数成分および／または前記高周波数成分と前記評価値とを、ＲＧＢ３色のうちのそれぞれ異なる色に基づいて算出するようにしてもよい。
【００４１】
さらに、前記強調抑制処理の強調および抑制の程度を、前記処理済画像信号を再生する際の再生条件に基づいて予め定められた複数の強調抑制処理条件から選択することにより定めることが好ましい。
【００４２】
ここで、再生条件とは、ネガフイルムあるいはリバーサルフイルム等の原稿種、出力されるプリントのサイズ、またはオペレータが好みの画像処理となるように入力するキー補正等画像が再生される際に影響を受ける条件のことをいう。
【００４３】
なお上記特開平9-22460 号による強調抑制処理における粒状抑制は前述したように、実画像での隣接画素間のつながりの因子は考慮されず、粒状が抑制されたと捉えにくい面があるが、モルフォロジー演算に基づく粒状抑制処理は、粒状の孤立性（粒状は隣接画素との画像信号（濃度）の連続性が低い）という性質を利用した実画像面上での処理であるため、隣接画素間のつながりがよく、粒状の抑制程度を視覚的に捉えやすく、粒状抑制効果が高いものとなる。
【００４４】
本発明の画像処理装置は、上記本発明の画像処理方法を実施するための装置であって、画像を構成する画素の値を規定する画像信号に対して、粒状を抑制する画像処理を施す粒状抑制処理手段と、
前記画像信号に対して、鮮鋭度を強調する画像処理を施す鮮鋭度強調処理手段と、
前記粒状抑制処理手段による前記粒状を抑制する画像処理により取得された粒状抑制処理画像信号および前記鮮鋭度強調処理手段による前記鮮鋭度を強調する画像処理により取得された鮮鋭度強調処理画像信号に基づいて、該両処理画像信号の画素を対応させた演算処理により処理済画像信号を取得する信号処理手段とを備えたことを特徴とするものである。
【００４５】
ここで、信号処理手段による演算処理は、画素ごとに異なるものであってもよいし、全画素について共通の演算処理であってもよいが、画素ごとに異なるものに設定れた方が、画像中の構造物の内容等に応じて、適切に粒状を抑制し、かつ鮮鋭度を強調する上で望ましい。
【００４６】
また、信号処理手段による演算処理としては下記式（１）または（２）で定義される演算処理を適用するのが望ましい。
【００４７】
【数１】

【００４８】
【数２】

【００４９】
上記粒状抑制処理手段による粒状を抑制する画像処理としては、メディアンフィルター処理、ヒステリシススムージング処理、反復による雑音除去処理、モルフォロジー演算を利用した粒状抑制（平滑化）処理等、鮮鋭度強調処理手段による鮮鋭度を強調する画像処理としては、アンシャープマスキング処理、高域強調フィルター処理、前述した特開平 9-22460号に開示された、画像信号を低周波数成分、中間周波数成分および高周波数成分に分解し、高周波数成分を強調するとともに中間周波数成分を抑制する強調抑制処理を行い、強調抑制処理後の各周波数成分および低周波数成分を合成する処理等をそれぞれ適用することができるが、モルフォロジー演算を利用した粒状抑制処理と、画像の高周波数成分を強調しつつ中間周波数成分を抑制することによる鮮鋭度強調処理（特開平 9-22460号）とを組み合せた構成とするのが最適である。
【００５０】
【発明の効果】
本発明の画像処理方法および画像処理装置によれば、画像信号に対して、鮮鋭度を強調する処理と粒状を抑制する処理とを各別に施して、得られた各処理後の画像信号同士を、画素を対応させて演算処理することにより１つの処理済画像信号を得るため、従来の各種の方法または装置に比して、画像に対する粒状抑制と鮮鋭度強調を効果的に両立することができる。
【００５１】
また、この演算処理の内容を全画素について共通のものとせずに、画素ごとに異なるものとすることにより、画像中の構造物の内容等に応じて、適切に粒状を抑制しつつ鮮鋭度を強調することができる。
【００５２】
演算処理を式（１）に示すものとすれば、粒状を抑制する画像処理により粒状が抑制された画像信号と鮮鋭度を強調する画像処理により鮮鋭度が強調された画像信号とを加重平均することにより、粒状を抑制しつつ鮮鋭度を強調することができる。
【００５３】
また演算処理を式（２）に示すものとすれば、粒状抑制処理画像信号が原画像信号に等しい画素については、鮮鋭度強調処理画像信号を処理済画像信号とし、鮮鋭度強調処理画像信号が原画像信号に等しい画素については、粒状抑制処理画像信号を処理済画像信号とし、粒状抑制処理画像信号または鮮鋭度強調処理画像信号のいずれも原画像信号に等しくない画素については、粒状抑制処理画像信号と鮮鋭度強調処理画像信号とのうち原画像信号との差が大きい方の処理画像信号と、原画像信号との差、による重みづけ加算した値を処理済画像信号とするため、シャープネスよりも粒状の存在が比較的目立つ濃度平坦部（濃度（または輝度）変化の少ない画像部分）に対応する画素の画像信号は粒状抑制処理画像信号とされて粒状を抑制することができ、粒状よりもシャープネスが比較的目立つエッジ部（濃度（または輝度）変化の急峻な画像部分）に対応する画素の画像信号は鮮鋭度強調処理画像信号とされて鮮鋭度を強調することができる。
【００５４】
粒状を抑制する画像処理としてのモルフォロジー演算を利用した粒状抑制処理と、鮮鋭度を強調する画像処理としての特開平 9-22460号に開示された画像の高周波数成分を強調しつつ中間周波数成分を抑制し処理後の高周波数成分および中間周波数成分並びに低周波数成分を合成することによる鮮鋭度強調処理とを組み合せた構成を採用した場合は、以下の効果がある。
【００５５】
すなわち、特に上記演算処理を式（２）に示すものを適用した場合において、鮮鋭度強調の部分に粒状抑制が全く施されていない場合は、極端に鮮鋭度強調を行うと粒状も強調されて原画像信号との差が、粒状抑制処理画像信号と原画増信号との差よりも結果的に大きくなり、粒状抑制がなされないことになる。このことから式（２）を適用する場合には、鮮鋭度強調処理によってもある程度の粒状抑制の効果を得られる処理である、特開平 9-22460号に開示された鮮鋭度強調処理を適用するのが好ましい。
【００５６】
また、粒状抑制処理によりエッジ部がなまった場合には、この結果が鮮鋭度強調処理の結果に影響を及ぼすため、エッジ部をなまらせることなく粒状抑制を行うことができるモルフォロジー演算を利用した粒状抑制処理を適用するのが好ましい。
【００５７】
なお、以上のことから、粒状を抑制する画像処理としては、モルフォロジー演算を利用した粒状抑制処理をはじめとして、エッジを保存する効果をも有する粒状抑制処理を適用し、鮮鋭度を強調する画像処理としては、特開平 9-22460号に開示された鮮鋭度強調処理をはじめとして、ある程度の粒状抑制効果をも有する鮮鋭度強調処理を適用することができ、特に演算処理を式（２）に示すものを適用した場合は、これらの処理を適用するのが、より望ましい構成である。
【００５８】
【発明の実施の形態】
以下、本発明の画像処理方法および画像処理装置の具体的な実施の形態について、図面を用いて説明する。
【００５９】
図１は本発明の画像処理方法の一実施形態の処理フローを示すフローチャート、図２は図１に示した画像処理方法を実施する画像処理装置を示す図である。
【００６０】
図示の画像処理装置は、デジタルスチルカメラにより撮影された、またはカラー写真プリントもしくはカラーフイルムから光電的に読み取られた、カラー画像を表すＲＧＢの画像信号Ｒin，Ｇin，Ｂinの入力を受けて、これらのＲＧＢ画像信号Ｒin，Ｇin，Ｂinに対してそれぞれ、粒状を抑制する画像処理を施す粒状抑制処理手段11と、鮮鋭度を強調する画像処理を施す鮮鋭度強調処理手段12と、粒状抑制処理手段11による粒状抑制処理により取得された粒状抑制処理画像信号Ｒ1 ，Ｇ1 ，Ｂ1 および鮮鋭度強調処理手段12による鮮鋭度強調処理により取得された鮮鋭度強調処理画像信号Ｒ2 ，Ｇ2 ，Ｂ2 に基づいて、両処理画像信号の画素を対応させた画素ごとの演算処理ｇ（Ｒ1 ，Ｒ2 ），ｇ（Ｇ1 ，Ｇ2 ），ｇ（Ｂ1 ，Ｂ2 ）により処理済画像信号Ｒout ，Ｇout ，Ｂout を取得する信号処理手段20とを備えた構成である。
【００６１】
ここで、信号処理手段20による各演算処理ｇとしては例えば、下記式（１）に示す重みづけ加算処理が適用される。
【００６２】
【数１】

【００６３】
すなわち、ｇ（ｆ1 ，ｆ2 ）＝w1・ｆ1＋w2・ｆ2である。
【００６４】
ここで、重みづけ係数w1、w2の値は、各画素ごとに異なるものとして設定され、例えば原画像信号Ｒin，Ｇin，Ｂinに応じて決定される。
【００６５】
具体的には、シャープネスよりも粒状の存在が比較的目立つ濃度平坦部（濃度（または輝度）変化の少ない画像部分）に対応する画素については、粒状抑制処理画像信号の重みw1が鮮鋭度強調処理画像信号の重みw2より大きく設定され、これとは反対に、粒状よりもシャープネスが比較的目立つエッジ部（濃度（または輝度）変化の急峻な画像部分）に対応する画素については、粒状抑制処理画像信号の重みw1よりも鮮鋭度強調処理画像信号の重みw2の方が大きく設定される。
【００６６】
ここでは、粒状抑制処理手段11による粒状抑制処理としてメディアンフィルター処理、鮮鋭度強調処理手段12による鮮鋭度強調処理としてアンシャープマスキング（ＵＳＭ）処理を適用するものとする。
【００６７】
次に、本実施形態の画像処理装置の作用について、原画像信号の１つである図３（１）に示すＲ画像信号Ｒinを例に説明する。
【００６８】
まず、デジタルスチルカメラ等から、カラー画像を表すＲＧＢの画像信号Ｒin，Ｇin，Ｂinが粒状抑制処理手段11と、鮮鋭度強調処理手段12とにそれぞれ各別に入力される。画像信号Ｒinは上述したように図３（１）に示すような分布を有する信号であり、他の画像信号Ｇin，Ｂinも所定の分布を有している（図示せず）。
【００６９】
原画像信号Ｒinは、比較的大きな濃度変動を有するエッジ部と、濃度変動が少ない濃度平坦部とを表し、これらの濃度分布に高周波のノイズが重畳しており、この高周波ノイズは特に濃度平坦部において、視覚的に目立つものとなる。
【００７０】
粒状抑制処理手段11は、入力された原画像信号Ｒin，Ｇin，Ｂinに対して各別に、メディアンフィルター処理を施し、粒状抑制処理画像信号Ｒ1 ，Ｇ1 ，Ｂ1 を算出する。図３（２）は、原画像信号Ｒinに対する粒状抑制処理による粒状抑制処理画像信号Ｒ1 を示す図である。
【００７１】
一方、鮮鋭度強調処理手段12は、入力された原画像信号Ｒin，Ｇin，Ｂinに対して各別に、ＵＳＭ処理を施し、鮮鋭度強調処理画像信号Ｒ2 ，Ｇ2 ，Ｂ2 を算出する。図３（３）は、原画像信号Ｒinに対する鮮鋭度強調処理による鮮鋭度強調処理画像信号Ｒ2 を示す図である。
【００７２】
各図から解されるように、粒状抑制処理画像信号Ｒ1 は、原画像信号Ｒinの粒状が抑制されて平滑化された信号とされ、一方、鮮鋭度強調処理画像信号Ｒ2 は、原画像信号Ｒinのうち、濃度変動部分が強調された信号とされる。
【００７３】
他の粒状抑制処理画像信号Ｇ1 ，Ｂ1 も粒状抑制処理画像信号Ｒ1 と同様に、粒状が抑制されて平滑化された信号とされ、他の鮮鋭度強調処理画像信号Ｇ2 ，Ｂ2 も鮮鋭度強調処理画像信号Ｒ2 と同様に、濃度変動部分が強調された信号とされる。
【００７４】
粒状抑制処理手段11により算出された各粒状抑制処理画像信号Ｒ1 ，Ｇ1 ，Ｂ1 および各鮮鋭度強調処理画像信号Ｒ2 ，Ｇ2 ，Ｂ2 は、信号処理手段20に入力される。
【００７５】
信号処理手段20は、入力された各画像信号について、各色ＲＧＢごとに、画素を対応させて、粒状抑制処理画像信号と鮮鋭度強調処理画像信号とを上記式（１）に従った重みづけ加算処理を行い、各色ごとに処理済画像信号を算出する。このとき式（１）中の重みづけ係数w1，w2は前述したように、シャープネスよりも粒状の存在が比較的目立つ濃度平坦部に対応する画素については、粒状抑制処理画像信号の重みw1が鮮鋭度強調処理画像信号の重みw2より大きく設定され、これとは反対に、粒状よりもシャープネスが比較的目立つエッジ部に対応する画素については、粒状抑制処理画像信号の重みw1よりも鮮鋭度強調処理画像信号の重みw2の方が大きく設定される。
【００７６】
図３（４）は、同図（２）に示した粒状抑制処理画像信号Ｒ1 と、同図（３）に示した鮮鋭度強調処理画像信号Ｒ2 とを式（１）に従って重みづけ加算処理して得られた処理済画像信号Ｒout を示す。
【００７７】
図から解されるように、処理済画像信号Ｒout は、原画像信号Ｒin（図３（１））に対して、粒状の存在が比較的目立つ濃度平坦部においては当該粒状が抑制されるとともに、シャープネスが比較的目立つエッジ部においては当該シャープネスの強調が図られるため、効果的に粒状の抑制と鮮鋭度の強調を両立することができる。
【００７８】
他の処理済画像信号Ｇout ，Ｂout も処理済画像信号Ｒout と同様に、粒状の抑制と鮮鋭度の強調とが効果的に施された信号とされる。
【００７９】
このように本実施形態の画像処理装置によれば、入力された画像信号に対して、粒状抑制処理と鮮鋭度強調処理とを各別に施して、粒状が抑制された画像信号と鮮鋭度が強調された画像信号とをそれぞれ得、これらの得られた両画像信号を、画素を対応させて演算処理して１つの処理済画像信号を得るため、原画像に存在する粒状を効果的に抑制するとともにシャープネスを効果的に強調することができる。
【００８０】
なお、上記画像処理装置は、信号処理手段20による各演算処理ｇとして式（１）に示す重みづけ加算処理を適用した実施形態であるが、本発明の画像処理法方および画像処理装置は、式（１）による演算処理のものに限るものではなく、種々の適切な演算処理を適用することができる。
【００８１】
例えば、下記式（２）に示す演算処理を適用することもできる。
【００８２】
【数２】

【００８３】
すなわち、粒状抑制処理画像信号Ｒ1 が原画像信号Ｒinに等しい画素については、鮮鋭度強調処理画像信号Ｒ2 を処理済画像信号Ｒout とし、鮮鋭度強調処理画像信号Ｒ2 が原画像信号Ｒinに等しい画素については、粒状抑制処理画像信号Ｒ1 を処理済画像信号Ｒout とし、粒状抑制処理画像信号Ｒ1 または鮮鋭度強調処理画像信号Ｒ2 のいずれも原画像信号Ｒinに等しくない画素については、粒状抑制処理画像信号Ｒ1 と鮮鋭度強調処理画像信号Ｒ2 とのうち、原画像信号Ｒinとの差｜Ｒ1 −Ｒin｜または｜Ｒ1 −Ｒin｜が大きい方の処理画像信号と、原画像信号との差｜Ｒ1 −Ｒin｜または｜Ｒ1 −Ｒin｜、による重みづけ加算した値を処理済画像信号Ｒout とする演算処理である。他の色Ｇ，Ｂの画像信号についても同様である。
【００８４】
このような演算処理を適用したものについても、式（１）に示した演算処理の実施形態と同様に、原画像に存在する粒状を効果的に抑制するとともにシャープネスを効果的に強調することができる。
【００８５】
なお、式（２）に示した演算処理を適用する実施形態においては、モルフォロジー演算を利用した粒状抑制処理と、画像の高周波数成分を強調しつつ中間周波数成分を抑制することによる鮮鋭度強調処理（特開平 9-22460号）とを組み合せた構成とするのが最適である。
【００８６】
本発明の画像処理方法、画像処理装置による処理の対象となる画像信号としては、上述した写真フイルムやプリントに記録された画像を光電的に読み取って得られた画像信号の他、デジタルスチルカメラによって撮影された画像信号も適用することができる。
【００８７】
なお、本発明の画像処理方法、装置は、本出願人による特願平9-56551 号（または欧州特許出願公開第800,114A号）に開示された、所定の感光部材を用いた画像形成方法により形成された画像から得られた画像信号に対しても適用することができ、この画像信号に特有の、銀画像に残留する粒状成分に起因する粒状を抑制するのに特に有効であった。
【００８８】
ここで特願平9-56551 号に開示された画像形成方法とは、感光性ハロゲン化銀粒子を含有し、所定の処理部材と重ね合わせて加熱されることによって露光により記録された潜像に対応した画像を形成する感光部材を使用するものであって、前記感光部材に露光により潜像を記録し、前記感光部材と前記処理部材とを重ね合わせ、前記重ね合わせた感光部材と処理部材とを加熱することにより該感光部材に記録された前記潜像に対応した画像を該感光部材上に形成し、前記画像が形成された感光部材を前記処理部材から剥離し、前記形成された感光部材上の画像をスキャナにより読み取って該画像を表す画像データを得、該画像データに所定の画像処理を施すことにより再生可能なデジタル画像データを作成する方法およびシステムを意味し、上記感光部材は、いわゆる非湿式の処理過程（少量の水を用いることを妨げるものではない）により、記録されている潜像を現し出すことのできる感光部材であり、例えば、支持体上に、少なくとも感光性ハロゲン化銀粒子、バインダー、および画像状に拡散性色素を放出ないし拡散する機能を持つ色材を含み、その感光波長領域が互いに異なり、前記色材の現像処理後における色相も互いに異なる少なくとも３種類の感光層を有する色材含有熱現像感光部材であり、前記処理部材は、前記色材含有熱現像感光部材と重ね合わせて加熱することにより前記色材含有熱現像感光部材上に画像を形成するものであって、支持体上に少なくとも媒染剤を含む層を有する媒染剤含有処理部材であり、前記加熱により前記熱現像感光部材から放出される前記拡散性色素の少なくとも一部を前記色材含有熱現像感光部材から除去することにより、該色材含有熱現像感光部材上に少なくとも３色の色画像を形成することが望ましい。
【００８９】
あるいは、前記感光部材は、支持体上に、少なくとも感光性ハロゲン化銀粒子、バインダー、発色現像主薬、および色素供与性カプラーを含み、その感光波長領域が互いに異なり、前記発色現像主薬の酸化体および前記色素供与性カプラーから形成される色素の色相も互いに異なる少なくとも３種類の感光層を有する熱現像感光部材であり、前記処理部材が、前記熱現像感光部材と重ね合わせて加熱することにより前記熱現像感光部材上に画像を形成する処理部材であり、前記加熱により、前記熱現像感光部材上に少なくとも３色の色画像を形成するようにしてもよい。
【００９０】
さらに、前記感光部材は、透明支持体上に、少なくとも感光性ハロゲン化銀粒子、発色現像主薬、カプラーおよびバインダーを含み、その感光波長領域が互いに異なり、前記発色現像主薬の酸化体および前記カプラーから形成される色素の吸収波長領域も互いに異なる少なくとも３種の感光層を有する感光部材であり、前記処理部材が、支持体上に少なくとも塩基および／または塩基プレカーサーを含む処理層を有する処理部材であり、前記感光部材と前記処理部材を、前記感光部材と処理部材双方のバック層を除く全塗布膜を最大膨潤させるに要する量の０．１から１倍に相当する水の存在下で、前記感光部材の前記感光層と前記処理部材の処理層が向かい合う形となるように重ね合わせて加熱して、前記感光部材上に少なくとも３色の非拡散性色素に基づく画像を形成するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の画像処理方法の一実施形態の処理フローを示すフローチャート
【図２】図１に示した画像処理方法を実施する画像処理装置を示す図
【図３】（１）原画像信号Ｒinを示す図、（２）原画像信号Ｒinに基づく粒状抑制処理画像信号Ｒ1 を示す図、（３）原画像信号Ｒinに基づく鮮鋭度強調処理画像信号Ｒ2 を示す図、（４）処理済画像信号Ｒout を示す図
【図４】モルフォロジー演算の基本的な作用を説明する図
【図５】低・中間・高周波数成分の分布を表すグラフ
【符号の説明】
11 粒状抑制処理手段
12 鮮鋭度強調処理手段
20 信号処理手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and an image processing apparatus, and more particularly to a processing method and apparatus that enhances the sharpness of an image while suppressing graininess (high frequency noise) of the image.
[0002]
[Prior art]
Conventionally, an image signal (including a color image) recorded on a photographic film or a print is photoelectrically read by a sensor such as a CCD to obtain an image signal, which is subjected to various image processing to print a processed image. Playback on a CRT or the like is performed. Examples of such image processing include frequency processing that acts on a predetermined spatial frequency component included in an image, gradation processing that acts on image density, and the like.
[0003]
Further, the frequency processing includes sharpness enhancement processing that suppresses blurring of the contour of the image, and grain suppression processing such as smoothing processing that suppresses noise (granularity) caused by the granularity of the light-sensitive material.
[0004]
As sharpness enhancement processing, unsharp masking processing, high-frequency enhancement filter processing, and processing disclosed in Japanese Patent Laid-Open No. 9-22460, which suppresses intermediate frequency components while enhancing high frequency components of an image, are known. In addition, median filter processing, hysteresis smoothing processing, iterative noise removal processing, granular suppression processing using morphological operations, and the like are known as granularity suppression processing.
[0005]
By the way, the sharpness enhancement process improves the sharpness of the image, while the graininess of the image is enhanced and the graininess remains. On the other hand, the graininess suppression process suppresses the graininess of the image and reduces the roughness. However, there is a problem that the sharpness of the image is lowered.
[0006]
[Problems to be solved by the invention]
Therefore, an image processing method that enhances sharpness while suppressing graininess has been desired, and various image processing methods have been proposed in the past for the purpose of simultaneously realizing graininess suppression and sharpness enhancement ( US Pat. No. 4,812,903, JP-A-63-26783, JP-A-9-22460, etc.), however, none of them can effectively achieve grain suppression and sharpness enhancement at the same time. Is the current situation.
[0007]
For example, the technique disclosed in the above Japanese Patent Laid-Open No. 9-22460 enhances the high frequency component that affects the sharpness of the image, and suppresses the intermediate frequency component that affects the grain that is rough, The sharpness is emphasized while suppressing the graininess. This is based on the fact that in the color correlation information, the granularity has a low color correlation and the video signal (edge) has a high color correlation. It is a thing. In this process, the image is developed in the frequency domain, and the granularity is suppressed by controlling the intensity of the medium and high frequency components to reduce the degree where the color correlation is low. That is, in this processing method, since the factor of the connection between adjacent pixels in the actual image is not considered, the degree of control suddenly changes depending on the location of the image, and it is difficult to grasp that the graininess is suppressed. Accordingly, the effect of suppressing graininess is smaller than the effect of enhancing sharpness, and the fact is that the sharpness enhancement process is more effective than the granularity suppression sharpness enhancement process in terms of effect.
[0008]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image processing method and an image processing apparatus capable of effectively achieving both grain suppression and sharpness enhancement for an image. is there.
[0009]
[Means for Solving the Problems]
In the image processing method of the present invention, a process for enhancing sharpness and a process for suppressing graining are separately performed on an image signal, and the obtained image signals are associated with pixels. One processed image signal is obtained by processing.
[0010]
That is, according to the image processing method of the present invention, with respect to an image signal (including an image signal based on a color image) fin that defines the values of pixels constituting the image, image processing for suppressing grain and image processing for enhancing sharpness Are given separately,
Based on the granularity-suppressed processed image signal f1 acquired by the image processing that suppresses the granularity and the sharpness-enhanced processed image signal f2 acquired by the image processing that enhances the sharpness, the pixels of both processed image signals are associated. The processed image signal fout is acquired by the calculated arithmetic processing.
[0011]
Here, the content of the arithmetic processing may be different for each pixel or may be common to all the pixels. Further, the content of the arithmetic processing may be selected from a plurality of preset types according to, for example, the relationship with the original image signal value fin, the type of image, the pixel position, or the like. It may be input from the outside each time processing is performed.
[0012]
Specifically, the arithmetic processing defined by the following formula (1) can be applied as the arithmetic processing.
[0013]
[Expression 1]

[0014]
That is, the processed image signal is obtained by weighting and adding the granularity suppression processed image signal and the sharpness enhancement processed image signal. In this calculation process, the weighting coefficients w1 and w2 may be changed for each pixel depending on the relationship with the original image signal value, or a common weighting coefficient may be set for all pixels. .
[0015]
The weighting factors w1 and w2 are preferably 0.2 to 0.8, more preferably 0.3 to 0.7, and most preferably 0.4 to 0.6.
[0016]
Moreover, you may apply the arithmetic processing defined by following formula (2).
[0017]
[Expression 2]

[0018]
That is, for pixels whose granularity suppression processed image signal is equal to the original image signal, the sharpness enhancement processed image signal is the processed image signal, and for pixels whose sharpness enhancement processed image signal is equal to the original image signal, the granularity suppression processed image For a pixel in which the signal is a processed image signal and neither of the granularity suppression processing image signal or the sharpness enhancement processing image signal is equal to the original image signal, the original image of the granularity suppression processing image signal and the sharpness enhancement processing image signal This is a calculation process in which a value obtained by weighted addition based on the difference between the processed image signal having the larger difference from the signal and the original image signal is used as the processed image signal. This calculation process is one of the specific modes of selecting the process for each pixel based on the relationship with the original image signal value (fin).
[0019]
As the image processing for suppressing the graininess, as image processing for enhancing the sharpness, such as median filter processing, hysteresis smoothing processing, noise removal processing by repetition, graininess suppression processing using a morphological operation (smoothing processing), Unsharp masking processing, high-frequency emphasis filter processing, image signal is decomposed into low-frequency components, intermediate-frequency components, and high-frequency components, emphasizing suppression is performed by emphasizing high-frequency components and suppressing intermediate-frequency components Processing to synthesize each frequency component and low frequency component after processing (Japanese Patent Laid-Open No. 9-22460) can be applied, but granular suppression (smoothing) processing using morphological operation and high frequency component of image Sharpness enhancement processing by combining after suppressing intermediate frequency components while emphasizing The combination of the No. 9-22460) is optimal.
[0020]
Here, the morphology processing is also referred to as morphology or morphology, and is generally developed as a set theory in an N-dimensional space, but is often applied to an image in a two-dimensional space (Japanese Patent Laid-Open No. 8). -272961, 9-248291, 9-91421). Here, the morphological calculation process will be briefly described below with a gray image as an example.
[0021]
Considering a grayscale image as a space in which a point at coordinates (x, y) has a height corresponding to a density value f (x, y), a one-dimensional function f (x) corresponding to this cross section is considered. The structural element g used in the morphological operation processing is a symmetrical function symmetric about the origin as shown in the following equation (3).
[Equation 3]

[0023]
It is assumed that the value is 0 in the domain and the domain G is the following formula (4).
[0024]
[Expression 4]

[0025]
At this time, the basic form of the morphological operation is a very simple operation as shown in the equations (5) to (8).
[0026]
[Equation 5]

[0027]
In other words, the dilation processing is the maximum within the range of the width of ± m (a value determined according to the structural element B and corresponding to the mask size in FIG. 4) centered on the target pixel. On the other hand, the erosion process is a process for searching for a minimum value within a range of ± m centered on the pixel of interest (see FIG. 5A). (Refer figure (B)). The opening process is a process for performing dilation after the erosion process, that is, a process for searching for the maximum value after searching for the minimum value, and the closing process is a process for performing erosion process after the dilation process. That is, this corresponds to a process of searching for the minimum value after searching for the maximum value.
[0028]
That is, the opening process smoothes the density curve f (x) from the low density side, and suppresses the convex density fluctuation portion (the density higher than the surrounding portion) that fluctuates in a spatially narrower range than the mask size 2 m. This corresponds to that (see FIG. 3C).
[0029]
On the other hand, the closing process smoothes the density curve f (x) from the high density side and suppresses a concave density fluctuation portion (a density lower than the surrounding portion) that fluctuates in a spatially narrower range than the mask size 2 m. This corresponds to that (see FIG. 4D).
[0030]
Here, in the case of a signal having a high density and high signal level, which has a larger value as the density is higher, the magnitude relationship is reversed as compared with the case where the image signal value of the density value f (x) is a high luminance and high signal level. Therefore, the dilation processing for the high density high signal level signal and the erosion processing for the high brightness high signal level ((B) in the figure) are the same, and the erosion processing for the high density high signal level signal and the high brightness high signal level. Is the same as the dilation processing (FIG. (A)), and the opening processing for the signal of high density and high signal level is the same as the closing processing (FIG. (D)) of high luminance and high signal level. The closing process for the signal level signal and the opening process for the high luminance and high signal level ((C) in the figure) are the same.
[0031]
Then, the image signal representing the original image is subjected to opening processing or closing processing by morphological operation processing, thereby suppressing (or removing) granularity (meaning noise as an image signal) from the image. (Obata "Morphology" (Corona Publishing) etc.).
[0032]
Next, a sharpness enhancement process disclosed in Japanese Patent Laid-Open No. 9-22460 will be briefly described by suppressing an intermediate frequency component while enhancing a high frequency component of an image.
[0033]
This process decomposes the image signal into a low frequency component, an intermediate frequency component, and a high frequency component, emphasizes the high frequency component, performs an enhancement suppression process that suppresses the intermediate frequency component, and each frequency component after these processing And a low-frequency component is synthesized to obtain a processed image signal.
[0034]
Here, the low frequency component / intermediate frequency component / high frequency component of the image signal refers to the frequency component distributed as shown in FIG. 5, and the intermediate frequency component refers to the processed data. A frequency component distributed with a peak in the vicinity of 1/3 of the output Nyquist frequency at the time of reproduction as a visible image. A low frequency component is a peak at a frequency at which the output Nyquist frequency is zero. A high-frequency component means a component distributed with the output Nyquist frequency as a peak, and a component in which the sum of low, middle, and high frequency components is 1 at each frequency. Is.
[0035]
In this processing method, it is preferable that after the decomposition, a luminance component is extracted from the high frequency component and the intermediate frequency component, and the enhancement suppression processing and the synthesis are performed based only on the luminance component.
[0036]
Furthermore, in this processing method, it is preferable that the specific color region in the predetermined image is extracted, and the intermediate frequency component corresponding to the specific color region is further suppressed to perform the enhancement suppression process.
[0037]
Further, in this processing method, after the decomposition, an evaluation value of the intermediate frequency component and / or the high frequency component is obtained, and the evaluation value of the intermediate frequency component for pixels whose evaluation value is smaller than a predetermined threshold value It is preferable that the emphasis suppression process is performed with a suppression greater than the intermediate frequency component for pixels larger than a predetermined threshold. Further, in this case, the enhancement suppressing process is performed by emphasizing the high frequency component for pixels whose evaluation value is smaller than a predetermined threshold smaller than the high frequency component for pixels whose evaluation value is larger than the predetermined threshold. Is preferred.
[0038]
Here, the evaluation value refers to a value such as a correlation value between at least one set of two colors of RGB, which will be described later, and local dispersion of frequency components of an image signal.
[0039]
Furthermore, it is preferable that the evaluation value is a correlation value with respect to corresponding pixels between at least one set of two colors of the three RGB colors of the intermediate frequency component and / or the high frequency component.
[0040]
Further, after the evaluation value is filtered by a median filter, the enhancement suppression processing may be performed based on the predetermined threshold based on the evaluation value subjected to the processing, and the intermediate frequency component and / or the high frequency The frequency component and the evaluation value may be calculated based on different colors among the three RGB colors.
[0041]
Furthermore, it is preferable that the degree of enhancement and suppression of the enhancement suppression process is determined by selecting from a plurality of enhancement suppression processing conditions that are determined in advance based on reproduction conditions when reproducing the processed image signal.
[0042]
Here, the playback condition has an influence when an image such as a negative film or a reversal film, a print size to be output, or key correction input so that an operator performs desired image processing is played back. It refers to the conditions to receive.
[0043]
As described above, the granularity suppression in the enhancement suppression processing according to the above Japanese Patent Laid-Open No. 9-22460 does not take into account the factor of the connection between adjacent pixels in the actual image, and there are aspects that are difficult to perceive as the granularity is suppressed. Since the granularity suppression processing based on the calculation is processing on the actual image plane using the property of granular isolation (granularity is low in continuity of the image signal (density) with adjacent pixels), The connection is good, the degree of granular suppression is easy to visually grasp, and the granular suppression effect is high.
[0044]
An image processing apparatus of the present invention is an apparatus for carrying out the above-described image processing method of the present invention, and is a granularity that performs image processing that suppresses granularity on an image signal that defines the values of pixels constituting an image. Suppression processing means;
Sharpness enhancement processing means for performing image processing for enhancing the sharpness on the image signal;
Based on the granularity suppression processing image signal acquired by the granularity suppression image processing by the granularity suppression processing unit and the sharpness enhancement processing image signal acquired by the image processing of enhancing the sharpness by the sharpness enhancement processing unit. And a signal processing means for obtaining a processed image signal by an arithmetic process in which the pixels of the both processed image signals are associated with each other.
[0045]
Here, the arithmetic processing by the signal processing means may be different for each pixel, or may be common arithmetic processing for all the pixels. It is desirable for appropriately suppressing graininess and enhancing sharpness according to the contents of the structure inside.
[0046]
Moreover, it is desirable to apply the arithmetic processing defined by the following formula (1) or (2) as the arithmetic processing by the signal processing means.
[0047]
[Expression 1]

[0048]
[Expression 2]

[0049]
Image processing for suppressing grain by the grain suppression processing means includes sharpening by sharpness enhancement processing means such as median filter processing, hysteresis smoothing processing, noise removal processing by iteration, and grain suppression (smoothing) processing using morphological operations. Image processing for emphasizing degrees includes unsharp masking processing, high-frequency emphasis filter processing, and the image signal disclosed in JP-A-9-22460 described above is decomposed into low frequency components, intermediate frequency components and high frequency components. , It is possible to apply emphasis suppression processing that emphasizes high frequency components and suppress intermediate frequency components and synthesize each frequency component and low frequency component after emphasis suppression processing, but use morphological operations Graininess suppression processing and suppression of intermediate frequency components while emphasizing high frequency components of the image It is best to a structure that combines the sharpness enhancement processing (Japanese Patent Laid-Open No. 9-22460) due to.
[0050]
【The invention's effect】
According to the image processing method and the image processing apparatus of the present invention, the image signal obtained after each processing is performed by separately performing the processing for enhancing the sharpness and the processing for suppressing the graininess on the image signal. Since one processed image signal is obtained by performing arithmetic processing with corresponding pixels, it is possible to effectively achieve both granular suppression and sharpness enhancement for an image as compared with various conventional methods or apparatuses. .
[0051]
Also, by making the content of this arithmetic processing different for each pixel instead of being common to all the pixels, sharpness can be improved while appropriately suppressing graininess according to the content of the structure in the image. Can be emphasized.
[0052]
If the arithmetic processing is as shown in Expression (1), the weighted average of the image signal in which the granularity is suppressed by the image processing for suppressing the granularity and the image signal in which the sharpness is enhanced by the image processing for enhancing the sharpness is performed. Thus, sharpness can be enhanced while suppressing graininess.
[0053]
Further, if the arithmetic processing is as shown in Expression (2), for a pixel whose granularity suppression processing image signal is equal to the original image signal, the sharpness enhancement processing image signal is the processed image signal, and the sharpness enhancement processing image signal is For pixels that are equal to the original image signal, the granularity suppression processed image signal is the processed image signal, and for either pixel that is neither the granularity suppression processed image signal nor the sharpness enhancement processed image signal equal to the original image signal, the granularity suppression processed image Since the weighted sum of the difference between the original image signal and the processed image signal having the larger difference between the original image signal and the sharpness-enhanced processed image signal is used as the processed image signal, In addition, the image signal of the pixel corresponding to the density flat portion (image portion with a small change in density (or luminance)) in which the presence of grain is relatively conspicuous is used as a grain suppression processing image signal to suppress grain. The image signal of the pixel corresponding to the edge portion (the image portion where the density (or luminance) changes sharply) is more conspicuous than the granularity, and the sharpness enhancement processing image signal is used to enhance the sharpness. Can do.
[0054]
Grain suppression processing using morphological operations as image processing to suppress graininess, and intermediate frequency components while enhancing high frequency components of images disclosed in Japanese Patent Application Laid-Open No. 9-22460 as image processing for enhancing sharpness In the case of adopting a configuration that combines sharpness enhancement processing by combining high-frequency components, intermediate frequency components, and low-frequency components after suppression, the following effects are obtained.
[0055]
That is, in particular, when the calculation processing shown in Equation (2) is applied, if no grain suppression is applied to the sharpness-enhanced portion, the graininess is also enhanced by sharpening the sharpness. As a result, the difference from the original image signal becomes larger than the difference between the granularity suppression processed image signal and the original image increase signal, and the granularity suppression is not performed. Therefore, when applying formula (2), the sharpness enhancement process disclosed in Japanese Patent Laid-Open No. 9-22460, which is a process that can obtain a certain degree of granularity suppression effect even by the sharpness enhancement process, is applied. Is preferred.
[0056]
In addition, when the edge portion is lost due to the granularity suppression processing, this result affects the result of the sharpness enhancement processing. Therefore, the granularity using the morphological calculation that can perform the granularity suppression without smoothing the edge portion. It is preferable to apply a suppression process.
[0057]
From the above, as image processing to suppress graininess, image processing that emphasizes sharpness by applying graininess suppression processing that also has the effect of preserving edges, including graininess suppression processing using morphological operations For example, sharpness enhancement processing having a certain degree of granularity suppression effect can be applied, including sharpness enhancement processing disclosed in Japanese Patent Application Laid-Open No. 9-22460. It is a more desirable configuration to apply these processes when a product is applied.
[0058]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, specific embodiments of an image processing method and an image processing apparatus according to the present invention will be described with reference to the drawings.
[0059]
FIG. 1 is a flowchart showing a processing flow of an embodiment of the image processing method of the present invention, and FIG. 2 is a diagram showing an image processing apparatus for executing the image processing method shown in FIG.
[0060]
The illustrated image processing apparatus receives RGB image signals Rin, Gin, Bin representing a color image, which are taken by a digital still camera or photoelectrically read from a color photographic print or color film. The RGB image signals Rin, Gin, and Bin are respectively subjected to image processing for suppressing graininess, graininess suppression processing means 11 for performing image processing for enhancing sharpness, and graininess suppression processing means 12 11 based on the granularity suppression processed image signals R1, G1, B1 acquired by the granularity suppression processing by 11 and the sharpness enhancement processed image signals R2, G2, B2 acquired by the sharpness enhancement processing by the sharpness enhancement processing means 12. The processed image signal Rou is processed by the calculation processing g (R1, R2), g (G1, G2), g (B1, B2) for each pixel in which the pixels of the both processed image signals correspond to each other. The signal processing means 20 for obtaining t 1, Gout and Bout is provided.
[0061]
Here, as each calculation process g by the signal processing means 20, for example, a weighted addition process represented by the following equation (1) is applied.
[0062]
[Expression 1]

[0063]
That is, g (f1, f2) = w1 · f1 + w2 · f2.
[0064]
Here, the values of the weighting coefficients w1 and w2 are set to be different for each pixel, and are determined according to, for example, the original image signals Rin, Gin, and Bin.
[0065]
Specifically, the weight w1 of the granularity suppression processing image signal is the sharpness enhancement processing for pixels corresponding to the density flat portion (image portion where the density (or luminance) change is small) where the presence of grain is relatively conspicuous than sharpness. Contrary to this, for the pixel corresponding to the edge portion (image portion where the density (or brightness) change is sharper) that is set larger than the weight w2 of the image signal and whose sharpness is relatively conspicuous than the granularity, the granularity suppression processing image The weight w2 of the sharpness enhancement processed image signal is set larger than the signal weight w1.
[0066]
Here, it is assumed that a median filter process is applied as the granularity suppression process by the granularity suppression processing means 11 and an unsharp masking (USM) process is applied as the sharpness enhancement processing by the sharpness enhancement processing means 12.
[0067]
Next, the operation of the image processing apparatus according to the present embodiment will be described using the R image signal Rin shown in FIG. 3A as one of the original image signals as an example.
[0068]
First, RGB image signals Rin, Gin, and Bin representing a color image are respectively input to the granularity suppression processing unit 11 and the sharpness enhancement processing unit 12 from a digital still camera or the like. The image signal Rin is a signal having a distribution as shown in FIG. 3A as described above, and the other image signals Gin and Bin also have a predetermined distribution (not shown).
[0069]
The original image signal Rin represents an edge part having a relatively large density fluctuation and a density flat part having a small density fluctuation, and high-frequency noise is superimposed on these density distributions. It will be visually noticeable.
[0070]
The granularity suppression processing means 11 performs median filter processing on the input original image signals Rin, Gin, Bin separately to calculate the granularity suppression processed image signals R1, G1, B1. FIG. 3 (2) is a diagram showing a granularity suppression processed image signal R1 by a granularity suppression process on the original image signal Rin.
[0071]
On the other hand, the sharpness enhancement processing means 12 performs USM processing on the input original image signals Rin, Gin, Bin separately to calculate sharpness enhancement processed image signals R2, G2, B2. FIG. 3 (3) is a diagram showing a sharpness enhancement processed image signal R2 by sharpness enhancement processing for the original image signal Rin.
[0072]
As can be seen from each figure, the graininess-suppressed processed image signal R1 is a signal smoothed by suppressing graininess of the original image signal Rin, while the sharpness-enhanced processed image signal R2 is the original image signal Rin. Among these, the signal with the density fluctuation portion emphasized is used.
[0073]
Similarly to the granularity suppression processed image signal R1, the other granularity suppression processed image signals G1 and B1 are also smoothed signals with granularity suppressed, and the other sharpness enhancement processed image signals G2 and B2 are also sharpened. Similar to the image signal R2, the density fluctuation portion is emphasized.
[0074]
The granularity suppression processing image signals R1, G1, B1 and the sharpness enhancement processing image signals R2, G2, B2 calculated by the granularity suppression processing means 11 are input to the signal processing means 20.
[0075]
For each input image signal, the signal processing means 20 associates pixels for each color RGB, and weights and adds the granularity suppression processing image signal and the sharpness enhancement processing image signal according to the above equation (1). Processing is performed to calculate a processed image signal for each color. At this time, as described above, the weighting coefficients w1 and w2 in the expression (1) are sharp for the pixels corresponding to the density flat portion where the presence of grain is relatively more conspicuous than the sharpness. Contrary to this, the pixel corresponding to the edge portion that is set to be larger than the weight w2 of the degree-enhancement processed image signal and the sharpness is relatively more noticeable than the granularity, the sharpness enhancement process than the weight w1 of the granularity-suppressed image signal The image signal weight w2 is set larger.
[0076]
In FIG. 3 (4), the granularity suppression processed image signal R1 shown in FIG. 3 (2) and the sharpness enhancement processed image signal R2 shown in FIG. 3 (3) are weighted and added according to the equation (1). The processed image signal Rout obtained in this way is shown.
[0077]
As can be seen from the figure, the processed image signal Rout is suppressed in the density flat portion where the presence of granularity is relatively conspicuous with respect to the original image signal Rin (FIG. 3 (1)). Since the sharpness is emphasized at the edge portion where the sharpness is relatively conspicuous, it is possible to effectively achieve both graininess suppression and sharpness enhancement.
[0078]
Similarly to the processed image signal Rout, the other processed image signals Gout and Bout are also signals that have been effectively subjected to graininess suppression and sharpness enhancement.
[0079]
As described above, according to the image processing apparatus of this embodiment, the granularity-suppressed image signal and the sharpness are enhanced by separately performing the granularity suppression processing and the sharpness enhancement processing on the input image signal. Each of the obtained image signals is obtained, and both of the obtained image signals are subjected to arithmetic processing in association with pixels to obtain one processed image signal, so that the grain existing in the original image is effectively suppressed. At the same time, sharpness can be effectively enhanced.
[0080]
The image processing apparatus is an embodiment in which the weighted addition process shown in Expression (1) is applied as each calculation process g by the signal processing means 20, but the image processing method and the image processing apparatus of the present invention are: It is not restricted to the thing of the arithmetic processing by Formula (1), Various appropriate arithmetic processing can be applied.
[0081]
For example, the arithmetic processing shown in the following formula (2) can be applied.
[0082]
[Expression 2]

[0083]
That is, for the pixel whose granularity suppression processed image signal R1 is equal to the original image signal Rin, the sharpness enhancement processed image signal R2 is the processed image signal Rout, and the pixel whose sharpness enhancement processed image signal R2 is equal to the original image signal Rin. Is the processed image signal Rout as the granularity suppression processed image signal R1, and the granularity suppression processed image signal R1 for pixels where neither the granularity suppression processed image signal R1 nor the sharpness enhancement processed image signal R2 is equal to the original image signal Rin. And the sharpness-enhanced processed image signal R 2, the difference | R 1 −Rin | between the processed image signal having a larger difference | R 1 −Rin | or | R 1 −Rin | Or, it is an arithmetic processing in which a value obtained by adding the weights by | R1 -Rin | is a processed image signal Rout. The same applies to the image signals of the other colors G and B.
[0084]
As for the embodiment to which such calculation processing is applied, the grain existing in the original image can be effectively suppressed and the sharpness can be effectively emphasized as in the embodiment of the calculation processing shown in the equation (1). it can.
[0085]
In the embodiment to which the calculation process shown in Expression (2) is applied, the graininess suppression process using morphological calculation and the sharpness enhancement process by suppressing the intermediate frequency component while enhancing the high frequency component of the image. It is optimal to use a combination with (Japanese Patent Laid-Open No. 9-22460).
[0086]
As an image signal to be processed by the image processing method and image processing apparatus of the present invention, in addition to the image signal obtained by photoelectrically reading the image recorded on the above-described photographic film or print, a digital still camera is used. A captured image signal can also be applied.
[0087]
The image processing method and apparatus according to the present invention is an image forming method using a predetermined photosensitive member disclosed in Japanese Patent Application No. 9-56551 (or European Patent Application Publication No. 800,114A) by the present applicant. The present invention can also be applied to an image signal obtained from a formed image, and is particularly effective in suppressing the grain caused by the grain component remaining in the silver image, which is specific to this image signal.
[0088]
Here, the image forming method disclosed in Japanese Patent Application No. 9-56551 is a method for forming a latent image recorded by exposure by containing photosensitive silver halide grains and being heated while superposed on a predetermined processing member. A photosensitive member for forming a corresponding image, wherein a latent image is recorded on the photosensitive member by exposure, the photosensitive member and the processing member are superposed, and the superposed photosensitive member and processing member; By heating the photosensitive member, an image corresponding to the latent image recorded on the photosensitive member is formed on the photosensitive member, the photosensitive member on which the image is formed is peeled off from the processing member, and the formed photosensitive member Means a method and system for reading the above image with a scanner, obtaining image data representing the image, and performing reproducible digital image data by performing predetermined image processing on the image data; The photosensitive member is a photosensitive member capable of displaying a recorded latent image by a so-called non-wet processing process (which does not prevent the use of a small amount of water). Photosensitive silver halide grains, a binder, and a color material having a function of releasing or diffusing a diffusible dye in an image form, the photosensitive wavelength regions thereof are different from each other, and the hues after the development processing of the color materials are also different from each other A color material-containing photothermographic member having three types of photosensitive layers, wherein the processing member superimposes and heats the colorant-containing photothermographic member to form an image on the colorant-containing photothermographic member. A mordant-containing treatment member that has a layer containing at least a mordant on a support, and is released from the photothermographic member by the heating. It is desirable to form at least three color images on the colorant-containing photothermographic member by removing at least a part of the diffusible dye from the colorant-containing photothermographic member.
[0089]
Alternatively, the photosensitive member contains at least photosensitive silver halide grains, a binder, a color developing agent, and a dye-donating coupler on a support, and the photosensitive wavelength regions thereof are different from each other, and the oxidized color developing agent and It is a photothermographic member having at least three types of photosensitive layers having different hues of dyes formed from the dye-donating coupler, and the processing member is superposed on the photothermographic member to heat the heat It is a processing member that forms an image on the development photosensitive member, and at least three color images may be formed on the heat development photosensitive member by the heating.
[0090]
Further, the photosensitive member includes at least photosensitive silver halide grains, a color developing agent, a coupler and a binder on a transparent support, and the photosensitive wavelength regions thereof are different from each other, and the oxidized color developing agent and the coupler are used. The formed dye is a photosensitive member having at least three types of photosensitive layers having different absorption wavelength ranges, and the processing member is a processing member having a processing layer containing at least a base and / or a base precursor on a support. The photosensitive member and the processing member in the presence of water corresponding to 0.1 to 1 times the amount required to swell the entire coating film except the back layer of both the photosensitive member and the processing member. The photosensitive layer of the member and the processing layer of the processing member are superposed and heated so that they face each other, and at least three colors of non-color are formed on the photosensitive member. It may be form an image based on the distributed dye.
[Brief description of the drawings]
FIG. 1 is a flowchart showing a processing flow of an embodiment of an image processing method of the present invention. FIG. 2 is a diagram showing an image processing apparatus that implements the image processing method shown in FIG. The figure which shows signal Rin, (2) The figure which shows granularity suppression processing image signal R1 based on original image signal Rin, (3) The figure which shows sharpness emphasis processing image signal R2 based on original image signal Rin, (4) Processed Fig. 4 illustrates the image signal Rout. Fig. 4 illustrates the basic operation of the morphological operation. Fig. 5 illustrates the distribution of low, middle and high frequency components.
11 Grain suppression processing means
12 Sharpness enhancement processing means
20 Signal processing means

Claims

Image processing that suppresses graininess and image processing that emphasizes sharpness are performed separately on image signals that define the values of the pixels that make up the image.
The granularity suppression processing image signal acquired by the image processing for suppressing the graininess and the sharpness enhancement processing image signal acquired by the image processing for enhancing the sharpness are added in correspondence with the pixels of the both processing image signals. Image processing for obtaining a processed image signal by arithmetic processing;
An image processing method , wherein the arithmetic processing is arithmetic processing defined by the following equation .

The image processing method according to claim 1, wherein the arithmetic processing is different for each pixel.

Image processing that suppresses graininess and image processing that emphasizes sharpness are performed separately on image signals that define the values of the pixels that make up the image.
Based on the granularity suppression processing image signal acquired by the image processing for suppressing the granularity and the sharpness enhancement processing image signal acquired by the image processing for enhancing the sharpness, the pixels of the both processing image signals are associated with each other. An image processing method for obtaining a processed image signal by arithmetic processing,
An image processing method, wherein the arithmetic processing is arithmetic processing defined by the following equation.

Image processing for enhancing the sharpness
The image signal is decomposed into a low frequency component, an intermediate frequency component, and a high frequency component, the high frequency component is emphasized, an enhancement suppression process for suppressing the intermediate frequency component is performed, and each frequency component after the enhancement suppression process And obtaining the sharpness-enhanced processed image signal by combining the low-frequency components,
Said granular suppressing image processing, image processing method as claimed in any one of claims 1 3, characterized in that the smoothing processing based on morphological operations.

A granularity suppression processing means for performing image processing for suppressing granularity on an image signal that defines a value of a pixel constituting an image;
Sharpness enhancement processing means for performing image processing for enhancing the sharpness on the image signal;
A granularity suppression processed image signal acquired by the granularity suppression processing image signal acquired by the granularity suppression processing unit by the granularity suppression processing unit and a sharpness enhancement processing image signal acquired by the image processing of enhancing the sharpness by the sharpness enhancement processing unit, Signal processing means for obtaining a processed image signal by a calculation process for adding the pixels of the both processed image signals in correspondence with each other ;
The image processing apparatus characterized in that the arithmetic processing by the signal processing means is arithmetic processing defined by the following equation .

6. The image processing apparatus according to claim 5 , wherein the arithmetic processing by the signal processing means is different for each pixel.

A granularity suppression processing means for performing image processing for suppressing granularity on an image signal that defines a value of a pixel constituting an image;
Sharpness enhancement processing means for performing image processing for enhancing the sharpness on the image signal;
Based on the granularity suppression processed image signal acquired by the granularity suppression image processing by the granularity suppression processing means and the sharpness enhancement processed image signal acquired by the image processing of enhancing the sharpness by the sharpness enhancement processing means. And a signal processing means for obtaining a processed image signal by an arithmetic process in which the pixels of the both processed image signals correspond to each other,
The image processing apparatus characterized in that the arithmetic processing by the signal processing means is arithmetic processing defined by the following equation.

Image processing for enhancing the sharpness by the sharpness enhancement processing means,
The image signal is decomposed into a low frequency component, an intermediate frequency component, and a high frequency component, the high frequency component is emphasized, an enhancement suppression process for suppressing the intermediate frequency component is performed, and each frequency component after the enhancement suppression process And obtaining the sharpness-enhanced processed image signal by combining the low-frequency components,
The inhibiting image processing the particulate by graininess suppression processing means, the image processing apparatus according to any one of claims 5, wherein the 7 that is a smoothing process based on morphological operations.