JP4107014B2

JP4107014B2 - Image processing apparatus, image processing method, program thereof, and recording medium storing the program

Info

Publication number: JP4107014B2
Application number: JP2002252732A
Authority: JP
Inventors: 康成岸本; 吉晴日比
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-08-30
Filing date: 2002-08-30
Publication date: 2008-06-25
Anticipated expiration: 2022-08-30
Also published as: JP2004096291A

Description

【０００１】
【産業上の利用分野】
本発明は、自然画像を含むディジタル画像に対して、主観的に最適なシャープネス度合いを実現できる画像処理装置、画像処理方法、及びそのプログラム並びにそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
最終印刷物の品質は、ディジタル画像信号の特性と、カラー画像記録装置や画像記録材料の特性で決定される。同様に、該カラー画像処理装置は、入力されたディジタル画像信号（入力画像信号）に対して、カラー画像記録装置や画像記録材料の特性に合わせた補正または最適化を目的とする処理装置と、撮影条件や色空間が不明な入力画像信号の調整を目的とする処理装置に分類できる。
【０００３】
どちらの画像処理装置であっても、画像処理装置への入力画像信号は赤（Ｒ）緑（Ｇ）青（Ｂ）色信号、ＣＩＥＬ＊ａ＊ｂ＊（ＣＩＥＬＡＢ）色信号、シアン（Ｃ）マゼンタ（Ｍ）イエロー（Ｙ）黒（Ｋ）色信号などで扱われ、前記入力画像信号の強度は、単色で８ｂｉｔ、１２ｂｉｔ等と多値である。また、画像処理装置の構成には色補正処理手段、シャープネス（空間補正を含む）処理手段等が含まれており、一連の画像信号処理を施すことで共通している。
【０００４】
後者の入力画像信号を調整するための画像処理装置での色補正処理は、コントラスト調整や色味のバランス調整、ホワイトバランス調整、かぶり補正等の技術で構成され、シャープネス処理はエッジ強調を含むシャープネス強調、解像度変換、ノイズ除去等の技術で構成されている。
【０００５】
また、入力装置、表示装置及び出力装置等の機器の補正を目的とした空間補正処理は、画像信号が持つ不要な周期性や画像ノイズ特性、及び画像記録装置で生じる空間周波数特性の劣化抑制処理、更には特定の空間周波数帯域等の強調処理を備えている。
【０００６】
前述の空間補正処理は、機器の特性を前もって入手可能な限られた情報で記述したシャープネス補正フィルタを利用して、画像処理を施す仕組みになっている。しかし、機器補正の情報は、ディジタル画像その物の情報とは独立した情報であるため、ディジタル画像にとって最適な出力条件を考慮しておらず、バランスが崩れたディジタル画像を出力されることもある。これを解決するためには、ディジタル画像信号の調整を目的とする処理装置が必要となる。
【０００７】
ディジタル画像信号の調整を行う最善の施策は、利用者が利用している表示・出力装置で、表示・出力画像の程度を確認しつつ好みにあった処理を施す方法である。しかし、この方法では、利用者に画像処理の経験及び作業時間を要求するといった問題が生じる。そのため、画像処理装置は、最小の手間、もしくは自動で画像そのものから情報を獲得する画像計測及び画質調整を施す方法（自動画質調整技術）を備えることが期待されている。
【０００８】
前述の自動画質調整技術でのシャープネス処理は、ディジタル画像からシャープネス度合い（エッジ度合いや画像ノイズ等が複合した程度を表す）を測り、計測結果に応じてシャープネス処理を施す機能が必要である。
【０００９】
シャープネス処理の問題は、単純に、暈し処理を施すと高精細な再現（キメ）がなくなり、シャープネス度合いが下がり、シャープネス強調処理でシャープネスが強すぎたら、肌の荒れ（肌荒れ）、無彩色部でのノイズやエッジ部の境界の破綻（リンギング）が目立つことで不快と感じることである。この問題は、通常のシャープネス処理技術が、鮮鋭度（シャープネス度合い）と共にシャープネス阻害が変化し、それぞれを独立に制御できないことに起因している。このため、ディジタル画像信号の情報だけでは上記問題を根本的に解決することが困難である。
【００１０】
この問題に対応するには、測定量として、シャープネス度合いと共に、シャープネスの良好さを阻害する又は劣化した量（シャープネス阻害量）を反映させたシャープネスの好ましさの度合い（シャープネス嗜好度）が必要である。
【００１１】
画像信号そのものから画像の特性を測る技術、特に、シャープネス計測の技術は、幾つかの方法が提案されている。例えば、鮮鋭度評価方法は、微分画像（エッジ画像）の信号強度の総和を鮮鋭度の評価値とする鮮鋭度評価手法（例えば以下に示す非特許文献１参照）が提案されている。また、前記手法と同じ原理を用いたディジタル画像の鮮鋭性評価装置、もしくは鮮鋭度を変換する画像処理装置が、以下に示す特許文献１から３で開示されている。
【００１２】
上記において、例えば三宅は画素のエッジ強度値の総和を利用することを提案している。また、特許文献１及び特許文献２では、前記総和に相当する量をエッジ画素数（エッジ強度が０でない画素）で正規化する方法が開示されている。更に、特許文献３では、前記総和を正規化する方法において、正規する画素数算出工程にて閾値以上のエッジ強度を示す画素を求める工程を備えた画像処理方法が開示されている。
【００１３】
特許文献２が開示するところの鮮鋭度測定装置は、前述の鮮鋭度評価手法と同様に、エッジ画像の信号強度の総和を求めた後、エッジ領域で正規化することで、単位エッジ部当たりの平均強度もしくは前記エッジ強度の２乗値の平均強度を求めており、エッジ度合いの強度値（強弱の程度）を鮮鋭度としている。また、前記鮮鋭度測定装置はカラー画像情報ではなく、輝度情報を用いることで処理工程を簡易化している。鮮鋭化並びに鮮鋭度の測定に利用する情報は、明暗情報よりカラー情報を利用し、処理コストに従い精度を高められることが期待できることは既知である。
【００１４】
通常、精度が必要なら処理コストを掛け、程々の精度を所望する場合は、輝度、または明度情報を利用する。一方、特許文献１が開示するところの鮮鋭化装置は、前述の鮮鋭度評価手法や鮮鋭性評価装置と同様な原理を用いている。また、特許文献３が開示するところの処理装置は、前述の鮮鋭度評価手法や鮮鋭性評価装置の原理に加え、閾値処理方法に特徴を持たせたシャープネス判定手段を備えている。尚、前述の特許文献３での鮮鋭度評価方法は、以下に示す非特許文献２で、ガウス性雑音、インパルス性雑音が混在する混合雑音で劣化した画像信号の復元に利用される形式であることが知られている。
【００１５】
これら従来技術での鮮鋭度は、シャープネスの強さ（シャープネス強度）の主観評価値と高い相関が得られる。
【００１６】
【特許文献１】
特許第２６９２５３１号公報
【特許文献２】
特許第２６１１７２３号公報
【特許文献３】
特開平１０−２００７５６号公報
【非特許文献１】
三宅洋一：テレビジョン学会誌，４３，１１（１９８９）
【非特許文献２】
Y.H.Lee, S.A.Kassam, Generalized median altering and related non-linear altering techniques, IEEE Trans.Acoust., Speech & Signal Process.,vol.ASSP-33, no.3, pp.672-683, June 1987.
【００１７】
【発明が解決しようとする課題】
しかしながら、上記した各従来技術は、シャープネスの強さ（シャープネス強度）の主観評価に対して相関が認められるもののシャープネスの自動調整において本来測定すべきシャープネス嗜好度に対して主観評価の相関が取れないという問題が存在する。つまり、上記した各従来技術では、シャープネス阻害量の計測手段がないため、シャープネス嗜好度が不定であるという問題を有している。このため、上記した従来技術では、シャープネスが強くかかり過ぎ、不快と感じる領域を解消できない。
【００１８】
本発明は、上記の問題に鑑みてなされたものであり、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理装置、画像処理方法、及びそのプログラム並びにそのプログラムを記録した記録媒体を提供することを目的とする。
【００１９】
【課題を解決するための手段】
かかる目的を達成するために、本発明は、請求項１記載のように、シャープネス処理係数に基づいて入力画像のシャープネスを補正する画像処理装置において、前記入力画像から微分画像信号を生成する微分画像信号生成手段と、前記微分画像信号からシャープネスの阻害量を計測する阻害量計測手段と、前記阻害量に基づいてシャープネス処理係数を決定するシャープネス処理係数決定手段と、前記微分画像信号において、周辺画素よりも大きなシャープネスの強度値を有する画素を含む領域の前記周辺画素に対するオーバシュート量又はアンダーシュート量を計測するオーバシュート量／アンダーシュート量計測手段とを有し、前記阻害量計測手段は、所定の閾値以上である前記オーバシュート量又はアンダーシュート量に基づいて前記阻害量を計測する第１の阻害量計測手段を有して構成される。これにより、入力された画像信号に応じて求められたシャープネスの阻害量及び強度値に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理装置が提供される。また、シャープネスの阻害量を計測するための要素にリンギング等の強度値が大きな領域で発生する現象が加えられるため、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００２０】
また、本発明は、請求項２記載のように、シャープネス処理係数に基づいて入力画像のシャープネスを補正する画像処理装置において、前記入力画像から微分画像信号を生成する微分画像信号生成手段と、前記微分画像信号からシャープネスの阻害量を計測する阻害量計測手段と、前記微分画像信号からシャープネスの強度値を計測する強度値計測手段と、前記阻害量と前記強度値とに基づいてシャープネス処理係数を決定するシャープネス処理係数決定手段と、前記微分画像信号において、周辺画素よりも大きなシャープネスの強度値を有する画素を含む領域の前記周辺画素に対するオーバシュート量又はアンダーシュート量を計測するオーバシュート量／アンダーシュート量計測手段とを有し、前記阻害量計測手段は、所定の閾値以上である前記オーバシュート量又はアンダーシュート量に基づいて前記阻害量を計測する第１の阻害量計測手段を有して構成される。これにより、入力された画像信号に応じて求められたシャープネスの阻害量に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理装置が提供される。また、シャープネスの阻害量を計測するための要素にリンギング等の強度値が大きな領域で発生する現象が加えられるため、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００２２】
また、上記の画像処理装置は、例えば請求項３記載のように、肌や無彩色を表す特定の画像領域を検出する特定画像領域検出手段を有し、前記阻害量計測手段が、前記特定画像領域のシャープネスの阻害量を計測する第２の阻害量計測手段を有するように構成することもできる。これにより、肌や無彩色を表す特定の画像領域を考慮して、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００２３】
また、本発明は、請求項４記載のように、シャープネス処理係数に基づいて入力画像のシャープネスを補正する画像処理装置において、前記入力画像から微分画像信号を生成する微分画像信号生成手段と、前記微分画像信号において、周辺画素よりも大きなシャープネスの強度値を有する画素を含む領域の前記周辺画素に対するオーバシュート量又はアンダーシュート量を計測するオーバシュート量／アンダーシュート量計測手段と、所定の閾値以上である前記オーバシュート量又はアンダーシュート量に基づいてシャープネスの阻害量を計測する第１の阻害量計測手段と、前記微分画像信号における前記領域でのシャープネスの強度値を計測する強度値計測手段と、前記阻害量と前記強度値とに基づいてシャープネス処理係数を決定するシャープネス処理係数決定手段とを有する。これにより、入力された画像信号に応じて求められたシャープネスの阻害量及び強度値に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理装置が提供される。更に、シャープネスの阻害量を計測するための要素にリンギング等の強度値が大きな領域で発生する現象が加えられるため、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００２４】
また、上記の画像処理装置は、例えば請求項５記載のように、肌や無彩色を表す特定の画像領域を検出する特定画像領域検出手段と、前記特定画像領域のシャープネスの阻害量を計測する第２の阻害量計測手段とを有するように構成することもできる。これにより、肌や無彩色を表す特定の画像領域を考慮して、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００２５】
また、上記の画像処理装置は、例えば請求項６記載のように、前記入力画像を、少なくとも知覚的に等歩的な明度又は輝度の信号を含む画像信号に変換する明度・輝度信号変換手段を有し、前記微分画像信号生成手段が、前記明度・輝度信号変換手段で変換された前記画像信号に基づいて前記微分画像信号を生成するように構成することもできる。これにより、入力される画像信号を、処理し易い明度及び輝度信号よりなる画像信号に変換することができ、より効率よく的確なシャープネス処理係数を求め、好ましいシャープネスを有する出力画像を得ることが可能となる。
【００２６】
また、上記の画像処理装置は、例えば請求項７記載のように、前記微分画像信号生成手段が、前記入力画像又は前記画像信号から当該入力画像又は画像信号を暈すことで得られた暈し画像信号を除算して、前記微分画像信号を生成するように構成することも可能である。これにより、処理を要するデータ量が削減され、より効率よく的確なシャープネス処理係数を求め、好ましいシャープネスを有する出力画像を得ることが可能となる。
【００２７】
また、上記の画像処理装置は、例えば請求項８記載のように、前記シャープネス処理係数決定手段で決定されたシャープネス処理係数に基づいてシャープネスの補正を行った結果の画像信号に対して、再度、阻害量及び／又は強度値を計測し、且つ当該阻害量及び／又は強度値に基づいてシャープネス処理係数を決定することを１回以上繰り返すように構成することも可能である。これにより、更に人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００２８】
また、本発明は、請求項９記載のように、シャープネス処理係数に基づいて入力画像のシャープネスを補正する画像処理方法において、前記入力画像から微分画像信号を生成する微分画像信号生成ステップと、前記微分画像信号からシャープネスの阻害量を計測する阻害量計測ステップと、前記阻害量に基づいてシャープネス処理係数を決定するシャープネス処理係数決定ステップと、前記微分画像信号において、周辺画素よりも大きなシャープネスの強度値を有する画素を含む領域の前記周辺画素に対するオーバシュート量又はアンダーシュート量を計測するオーバシュート量／アンダーシュート量計測ステップとを有し、前記阻害量計測ステップは、所定の閾値以上である前記オーバシュート量又はアンダーシュート量に基づいて前記阻害量を計測するステップを含む。これにより、入力された画像信号に応じて求められたシャープネスの阻害量及び強度値に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理方法が提供される。また、シャープネスの阻害量を計測するための要素にリンギング等の強度値が大きな領域で発生する現象が加えられるため、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００２９】
また、本発明は、請求項１０記載のように、シャープネス処理係数に基づいて入力画像のシャープネスを補正する画像処理方法において、前記入力画像から微分画像信号を生成する微分画像信号生成ステップと、前記微分画像信号からシャープネスの阻害量を計測する阻害量計測ステップと、前記微分画像信号からシャープネスの強度値を計測する強度値計測ステップと、前記阻害量と前記強度値とに基づいてシャープネス処理係数を決定するシャープネス処理係数決定ステップと、前記微分画像信号において、周辺画素よりも大きなシャープネスの強度値を有する画素を含む領域の前記周辺画素に対するオーバシュート量又はアンダーシュート量を計測するオーバシュート量／アンダーシュート量計測ステップとを有し、前記阻害量計測ステップは、所定の閾値以上である前記オーバシュート量又はアンダーシュート量に基づいて前記阻害量を計測するステップを含む。これにより、入力された画像信号に応じて求められたシャープネスの阻害量に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理方法が提供される。また、シャープネスの阻害量を計測するための要素にリンギング等の強度値が大きな領域で発生する現象が加えられるため、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００３１】
また、上記の画像処理方法は、例えば請求項１１記載のように、肌や無彩色を表す特定の画像領域を検出する特定画像領域検出ステップを有し、前記阻害量計測ステップが、前記特定画像領域のシャープネスの阻害量を計測する第２の阻害量計測ステップを有するように構成することもできる。これにより、肌や無彩色を表す特定の画像領域を考慮して、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００３２】
また、本発明は、請求項１２記載のように、シャープネス処理係数に基づいて入力画像のシャープネスを補正する画像処理方法において、前記入力画像から微分画像信号を生成する微分画像信号生成ステップと、前記微分画像信号において、周辺画素よりも大きなシャープネスの強度値を有する画素を含む領域の前記周辺画素に対するオーバシュート量又はアンダーシュート量を計測するオーバシュート量／アンダーシュート量計測ステップと、所定の閾値以上である前記オーバシュート量又はアンダーシュート量に基づいてシャープネスの阻害量を計測する第１の阻害量計測ステップと、前記微分画像信号における前記領域でのシャープネスの強度値を計測する強度値計測ステップと、前記阻害量と前記強度値とに基づいてシャープネス処理係数を決定するシャープネス処理係数決定ステップとを有する。これにより、入力された画像信号に応じて求められたシャープネスの阻害量及び強度値に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理方法が提供される。更に、シャープネスの阻害量を計測するための要素にリンギング等の強度値が大きな領域で発生する現象が加えられるため、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００３３】
また、上記の画像処理方法は、例えば請求項１３記載のように、肌や無彩色を表す特定の画像領域を検出する特定画像領域検出ステップと、前記特定画像領域のシャープネスの阻害量を計測する第２の阻害量計測ステップとを有するように構成することもできる。これにより、肌や無彩色を表す特定の画像領域を考慮して、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００３４】
また、上記の画像処理方法は、例えば請求項１４記載のように、前記入力画像を、少なくとも知覚的に等歩的な明度又は輝度の信号を含む画像信号に変換する明度・輝度信号変換ステップを有し、前記微分画像信号生成ステップが、前記明度・輝度信号変換手段で変換された前記画像信号に基づいて前記微分画像信号を生成するように構成することもできる。これにより、入力される画像信号を、処理し易い明度及び輝度信号よりなる画像信号に変換することができ、より効率よく的確なシャープネス処理係数を求め、好ましいシャープネスを有する出力画像を得ることが可能となる。
【００３５】
また、上記の画像処理方法は、例えば請求項１５記載のように、前記微分画像信号生成ステップが、前記入力画像又は前記画像信号から当該入力画像又は画像信号を暈すことで得られた暈し画像信号を除算して、前記微分画像信号を生成するように構成することもできる。これにより、処理を要するデータ量が削減され、より効率よく的確なシャープネス処理係数を求め、好ましいシャープネスを有する出力画像を得ることが可能となる。
【００３６】
また、上記の画像処理方法は、例えば請求項１６記載のように、前記シャープネス処理係数決定ステップで決定されたシャープネス処理係数に基づいてシャープネスの補正を行った結果の画像信号に対して、再度、阻害量及び／又は強度値を計測し、且つ当該阻害量及び／又は強度値に基づいてシャープネス処理係数を決定することを１回以上繰り返すように構成することもできる。これにより、更に人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００３７】
また、本発明は、請求項１７記載のように、シャープネス処理係数に基づいて入力画像のシャープネスを補正する画像処理装置に組み込まれたコンピュータを機能させるためのプログラムにおいて、前記入力画像から微分画像信号を生成する微分画像信号生成処理と、前記微分画像信号からシャープネスの阻害量を計測する阻害量計測処理と、前記阻害量に基づいてシャープネス処理係数を決定するシャープネス処理係数決定処理と、前記微分画像信号において、周辺画素よりも大きなシャープネスの強度値を有する画素を含む領域の前記周辺画素に対するオーバシュート量又はアンダーシュート量を計測するオーバシュート量／アンダーシュート量計測処理とを前記コンピュータに実行させ、前記阻害量計測処理は、所定の閾値以上である前記オーバシュート量又はアンダーシュート量に基づいて前記阻害量を前記コンピュータに計測させる。これにより、入力された画像信号に応じて求められたシャープネスの阻害量及び強度値に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理装置及び方法を実現するプログラムが提供される。また、シャープネスの阻害量を計測するための要素にリンギング等の強度値が大きな領域で発生する現象が加えられるため、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができるプログラムが提供される。
【００３８】
また、本発明は、請求項１８記載のように、シャープネス処理係数に基づいて入力画像のシャープネスを補正する画像処理装置に組み込まれたコンピュータを機能させるためのプログラムにおいて、前記入力画像から微分画像信号を生成する微分画像信号生成処理と、前記微分画像信号からシャープネスの阻害量を計測する阻害量計測処理と、前記微分画像信号からシャープネスの強度値を計測する強度値計測処理と、前記阻害量と前記強度値とに基づいてシャープネス処理係数を決定するシャープネス処理係数決定処理と、前記微分画像信号において、周辺画素よりも大きなシャープネスの強度値を有する画素を含む領域の前記周辺画素に対するオーバシュート量又はアンダーシュート量を計測するオーバシュート量／アンダーシュート量計測処理とを前記コンピュータに実行させ、前記阻害量計測処理は、所定の閾値以上である前記オーバシュート量又はアンダーシュート量に基づいて前記阻害量を前記コンピュータに計測させる。これにより、入力された画像信号に応じて求められたシャープネスの阻害量に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理装置及び方法を実現するプログラムが提供される。また、シャープネスの阻害量を計測するための要素にリンギング等の強度値が大きな領域で発生する現象が加えられるため、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができるプログラムが提供される。
【００４０】
また、上記のプログラムは、例えば請求項１９記載のように、肌や無彩色を表す特定の画像領域を検出する特定画像領域検出処理を前記コンピュータに実行させ、前記阻害量計測処理は、前記特定画像領域のシャープネスの阻害量を前記コンピュータに計測させるように構成することもできる。これにより、肌や無彩色を表す特定の画像領域を考慮して、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができるプログラムが提供される。
【００４１】
また、本発明は、請求項２０記載のように、シャープネス処理係数に基づいて入力画像のシャープネスを補正する画像処理装置に組み込まれたコンピュータを機能させるためのプログラムにおいて、前記入力画像から微分画像信号を生成する微分画像信号生成処理と、前記微分画像信号において、周辺画素よりも大きなシャープネスの強度値を有する画素を含む領域の前記周辺画素に対するオーバシュート量又はアンダーシュート量を計測するオーバシュート量／アンダーシュート量計測処理と、所定の閾値以上である前記オーバシュート量又はアンダーシュート量に基づいてシャープネスの阻害量を計測する第１の阻害量計測処理と、前記微分画像信号における前記領域でのシャープネスの強度値を計測する強度値計測処理と、前記阻害量と前記強度値とに基づいてシャープネス処理係数を決定するシャープネス処理係数決定処理と、を前記コンピュータに実行させる。これにより、入力された画像信号に応じて求められたシャープネスの阻害量及び強度値に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理装置及び方法を実現するプログラムが提供される。更に、シャープネスの阻害量を計測するための要素にリンギング等の強度値が大きな領域で発生する現象が加えられるため、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができるプログラムが提供される。
【００４２】
また、上記のプログラムは、例えば請求項２１記載のように、肌や無彩色を表す特定の画像領域を検出する特定画像領域検出処理と、前記特定画像領域のシャープネスの阻害量を計測する第２の阻害量計測処理とを前記コンピュータに実行させるように構成することもできる。これにより、肌や無彩色を表す特定の画像領域を考慮して、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができるプログラムが提供される。
【００４３】
また、上記のプログラムは、例えば請求項２２記載のように、前記入力画像を、少なくとも知覚的に等歩的な明度又は輝度の信号を含む画像信号に変換する明度・輝度信号変換処理を前記コンピュータに実行させ、前記微分画像信号生成処理が、前記明度・輝度信号変換手段で変換された前記画像信号に基づいて前記微分画像信号を前記コンピュータに生成させるように構成することもできる。これにより、入力される画像信号を、処理し易い明度及び輝度信号よりなる画像信号に変換することができ、より効率よく的確なシャープネス処理係数を求め、好ましいシャープネスを有する出力画像を得ることが可能となるプログラムが提供される。
【００４４】
また、上記のプログラムは、例えば請求項２３記載のように、前記微分画像信号生成処理は、前記入力画像又は前記画像信号から当該入力画像又は画像信号を暈すことで得られた暈し画像信号を除算して、前記微分画像信号を前記コンピュータに生成させるように構成することもできる。これにより、処理を要するデータ量が削減され、より効率よく的確なシャープネス処理係数を求め、好ましいシャープネスを有する出力画像を得ることが可能となるプログラムが提供される。
【００４５】
また、上記のプログラムは、例えば請求項２４記載のように、前記シャープネス処理係数決定処理で決定されたシャープネス処理係数に基づいてシャープネスの補正を行った結果の画像信号に対して、再度、阻害量及び／又は強度値を計測し、且つ当該阻害量及び／又は強度値に基づいてシャープネス処理係数を決定することを１回以上繰り返すように構成することも可能である。これにより、更に人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができるプログラムが提供される。
【００４６】
また、本発明は、請求項２５記載のように、上記した何れかのプログラムが記録された記録媒体である。これにより、上記した効果が得られるプログラムを記録媒体に記録して広く頒布させることができる。
【００４７】
【発明の実施の形態】
〔第１の実施形態〕
まず、本発明の第１の実施形態について図面を用いて詳細に説明する。尚、本実施形態は、画像処理装置での空間補正を含む、シャープネス調整処理に係わるものであり、システム系の線形性を仮定したシステム伝達関数（ＭＴＦ）などで記述する処理手法に限定されないものである。
【００４８】
本実施形態の基本概念は、画像の明度情報や輝度情報から微分画像を生成し、この微分画像に応じて処理内容を変更する点にある。より詳細には、生成した微分画像の強度分布形状を数値化し、これよりシャープネス強度の計測値と、シャープネス阻害量の計測値とを求め、更に、これら２つの計測量からシャープネス嗜好度を求め、このシャープネス嗜好度に応じて処理内容を変更することで、人間の視覚特性が考慮されたシャープネス補正を自動的に行う点にある。
【００４９】
ここで、シャープネス強度とは、シャープネスの強さを表す値であり、特徴量として求めても良い。また、シャープネス阻害量とは、シャープネスの良好さを阻害する又は劣化した量を表す値であり、特徴量として求めても良い。また、シャープネス嗜好度とは、シャープネスの好ましさを表す値であり、特徴量として求めても良い。
【００５０】
図１に、本実施形態による画像処理装置１におけるシャープネス処理を行うための概略構成を示す。図１を参照すると、画像処理装置１はシャープネス計測手段１００とシャープネス処理係数決定手段２００とシャープネス処理手段３００とを有して構成される。
【００５１】
この構成において、シャープネス計測手段１００及びシャープネス処理手段３００には、自然画を含んだディジタル画像がＲＧＢ色空間の画像信号として入力される。尚、本実施形態において入力される画像信号は、素の状態の画像信号だけでなく、最適な出力条件を求める際に得られた途中経過のディジタル画像としてもよい。更に、この他にも、少なくとも入力画像信号の計測結果と同程度以上の良好なディジタル画像であれば如何なるものも適用することが可能である。
【００５２】
シャープネス計測手段１００は、図２に示すように、シャープネス強度出力手段１１０とシャープネス阻害量出力手段１２０とシャープネス嗜好度計測手段１３０とを有して構成される。
【００５３】
また、シャープネス強度出力手段１１０は、図３に示すように、入力された画像信号を少なくても知覚的に等歩的な明度または輝度の画像信号に変換する明度・輝度信号変換手段１１１と、上記の画像信号に対し微分操作を施して微分画像信号を出力する帯域処理手段１１２と、上記の微分画像信号からシャープネス強度値を計測するシャープネス強度計測手段１１３とを有して構成される。
【００５４】
従って、シャープネス計測手段１００に入力された画像信号は、まず明度・輝度信号変換手段１１１に入力されて、ＲＧＢ色空間からＹＣｒＣｂ色空間の輝度信号（＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ）に変換される。ここで輝度信号は、ｓＹＣＣ色空間に準拠した輝度信号や三刺激値ＣＩＥＸＹＺやＧ信号だけでも良い。但し、高精度の処理を行うためには、ＣＩＥＬＡＢ信号のＬ＊及び主成分分析やＫ−Ｌ変換した信号とするとよい。尚、上記に限定されず、本実施形態において輝度・明度情報は、明るさを表す信号であれば、知覚量の均等性と処理速度に応じて適宜変更可能である。
【００５５】
明度・輝度信号変換手段１１１で変換された画像信号は、次に帯域処理手段１１２に入力される。帯域処理手段１１２では、画像信号に含まれる明度・輝度情報からシーン情報が少ない中高周波数帯域だけの信号（以下、これを微分画像信号という）を生成するための帯域処理が実行される。従って、帯域処理手段１１２を微分画像信号生成手段ともいう。この帯域処理において、処理速度を考慮する場合、１次微分を適用するとよいが、像が暈ける現象の基本要因の１つである拡散仮定と視覚特性とが２次微分画像と深く関わるため、本実施形態では２次微分画像を生成する場合を適用する。尚、２次微分画像は、輝度画像信号ｆからアンシャープマスク（ＵＳＭ）フィルタ１０を作用させることで暈した輝度画像信号ｆｂを除いて得られる輝度画像信号の絶対値であり、中高周波数成分だけの輝度画像信号Ｆｘとして以下の（式１）で表すことができる。また、ＵＳＭフィルタ１０の一例を図３に示す。
Ｆｘ＝｜ｆ−Ｆｂ｜ …（式１）
【００５６】
生成された微分画像信号は、次にシャープネス強度計測手段１１３に入力される。シャープネス強度計測手段１１３は、以下の（式２）のように、微分画像信号における評価対象領域の強度値の総和ΣＦｘを評価対象領域の画素数Ｐで正規化した値に、任意の係数Ｋを乗算することでシャープネス強度値Ｓｄを求め、これを出力する。尚、本実施形態では、正規化された値であるシャープネス強度値Ｓｄを正規強度ともいう。また、上記における評価対象領域には、例えば全画像領域や画素を間引いた領域や注目している領域等が適用できる。
Ｓｄ＝Ｋ×ΣＦｘ／Ｐ …（式２）
【００５７】
このように、シャープネス強度出力手段１１０は、入力された画像信号に基づいてシャープネス強度値Ｓｄが出力される。
【００５８】
また、シャープネス計測手段１００に入力された画像信号は、図２におけるシャープネス阻害量出力手段１２０にも入力される。シャープネス阻害量出力手段１２０は、入力された画像信号に基づいて１種類以上の要因毎にシャープネス阻害量を計測して出力する。本実施形態では、この要因として、肌荒れ等とリンギングとの２種類のシャープネス阻害量を例に挙げる。また、以下の説明では、これらの要因より得られるシャープネス阻害量を各々第１のシャープネス阻害量、第２のシャープネス阻害量という。
【００５９】
尚、第１のシャープネス阻害量は、シャープネス強度値が大きくなることで不快と感じる度合いを示す値であり、特徴量として求められても良い。従って、第１のシャープネス阻害量が関係する画像領域には、肌等の比較的急激な濃淡変化の少ない画像領域や、無彩色（彩度＝０）近傍で構成される画像領域や、主題を表している画像領域等が適用される。これは、例えば人肌等は、ある一定のシャープネス度合いを超えると、これが肌荒れやシワ等として知覚され、不快感が増すためである。また同様に、均一な領域での粒状度やモトル（周波数０．４ｃｙｃｌｅｓ／ｍｍ以下の振幅）も強度が増すことで、不快感が増すためである。さらに、無彩色近傍とは、彩度の値が低い値のグレイ軸であることを意味し、彩度０とは限らない。尚、シャープネス度合いとは、エッジ度合いや画像ノイズ等が複合した程度を表す、即ちシャープネスの程度を表す値であり、特徴量としても求められる。
【００６０】
図５に、シャープネス阻害量出力手段１２０における第１のシャープネス阻害量を計測するための構成を示す。また、図５に示す構成における動作を図６のフローチャートに沿って説明する。図５に示すように、第１のシャープネス阻害量を計測するための構成には、画像信号における肌等の比較的急激な濃淡変化の少ない画像領域や、無彩色（彩度＝０）近傍で構成される画像領域や、主題を表している画像領域等を検出し、記録する画像領域記憶手段１２１と、上記で記録された画像領域毎に、入力された画像信号を少なくても知覚的に等歩的な明度または輝度の画像信号に変換する明度・輝度信号変換手段１２２と、上記の画像信号に対し、上記の画像領域毎に微分操作を施して微分画像信号を出力する帯域処理手段１２３と、上記の微分画像信号からシャープネス阻害量を計測する第１のシャープネス阻害量計測手段１２４とが含まれる。
【００６１】
この構成において、画像領域記憶手段１２１は、入力された画像信号のエッジ抽出を行うことで、画像信号における肌等の比較的急激な濃淡変化の少ない画像領域や、無彩色（彩度＝０）近傍で構成される画像領域や、主題を表している画像領域等の特定の画像領域を検出し、これを記憶する（図６におけるステップＳ１１）。即ち、画像領域記憶手段１２１は、特定の画像領域を検出する特定画像領域検出手段と、この画像領域を記憶する特定画像領域記憶手段とを含んで構成される。
【００６２】
また、明度・輝度信号変換手段１２２及び帯域処理手段１２３は、図３で示した明度・輝度信号変換手段１１１及び帯域処理手段１１２と同様の処理を、画像領域記憶手段１２１で記憶された領域毎に行うことで、この領域毎の微分画像信号を生成する（図６におけるステップＳ１２）。
【００６３】
第１のシャープネス阻害量計測手段１２４は、帯域処理手段１２３で生成された画像領域毎の微分画像信号に対して、図３に示すシャープネス強度計測手段１１３と同様の処理を行うことで、第１のシャープネス阻害量を求めるための周波数波数帯域での振幅の大きさ、即ち中高周波数帯域でのシャープネス強度値を計測する（図６のステップＳ１３）。更に、第１のシャープネス阻害量計測手段１２４は、計測した振幅（シャープネス強度値）の大きさが所定の閾値（これを第１の閾値とする）以上であるか否かを判定し、第１の閾値以上であるシャープネス強度値のみを第１のシャープネス阻害量Ｓｉとして出力する（図６におけるステップＳ１４）。尚、ここでの第１の閾値は、経験的に求められる値であり、画像信号における肌等の比較的急激な濃淡変化の少ない画像領域や、無彩色（彩度＝０）近傍で構成される画像領域や、主題を表している画像領域等における不快感となる画像を限定できる程度の値である。
【００６４】
また、第２のシャープネス阻害量は、画素の強度値が有限の離散値であるために、フィルタ特性に対応できずに飽和して他の画素に影響が及ぼされることで生じる現象の度合いを示す値であり、特徴量として求められても良い。具体的にはエッジ部の再現性を示し、特に波形歪みにより生じたリンギングやオーバシュートやアンダーシュート等である。尚、リンギングとは、過度の強調で起こる現象の１つであり、エッジ周辺で波打っているように観測されるものである。従って、リンギングの計測量は、大きな強度値を示す画素の周辺画素の強度値を計測することで得られる。
【００６５】
ここで、図７に大きな強度値を示す画素と、その周辺画素を含めた画素に対する強度分布図を示す。図７の強度分布図から分かるように、本実施形態ではリンギングをオーバシュートと同じ現象として扱う。このため、リンギングの計測量は、オーバシュート量Ｖｏｓ（及び、負の値のシャープネス強度値がある場合はアンダーシュート量Ｖｕｓ）を求めることで得られる。即ち、第２のシャープネス阻害量は、強度値及び／又はオーバシュートが、所定の閾値（これを第２の閾値という）以上を示す強度値を、この画素の周辺画素で正規化することで求められる。尚、ここでの第２の閾値は、経験的に求められる値であり、急激な濃淡の変化を含むエッジ領域等におけるリンギングの現象を限定できる程度の値である。また細くしておくと、アンダーシュート量Ｖｕｓはアンダーシュートの大きさを示すため、正の値で求められる。
【００６６】
図８に、シャープネス阻害量出力手段１２０における第２のシャープネス阻害量計測手段の構成を示す。また、図８に示す構成における動作を図９のフローチャートに沿って説明する。図８に示すように、第２のシャープネス阻害量を計測するための構成には、図３に示す明度・輝度信号変換手段１１１と同様な明度・輝度信号変換手段１２５と、同じく図３に示す帯域処理手段１１２と同様な帯域処理手段１２６と、帯域処理手段１２６で生成された微分画像信号におけるシャープネス強度値を計測するシャープネス強度計測手段１２７と、計測されたシャープネス強度値の分布を記憶する強度分布記憶手段１２８と、強度値及び／又はオーバシュートが一定量以上を示すシャープネス強度値を、この画素の周辺画素で正規化することで第２のシャープネス阻害量を計測する第２のシャープネス阻害量計測手段１２９とが含まれる。
【００６７】
この構成において、シャープネス強度計測手段１２７は、入力された微分画像信号におけるシャープネス強度値を計測する。強度分布記憶手段１２８は、まず計測されたシャープネス強度値が周辺画素のシャープネス強度値（これを以下、第３の閾値とする）より大きな画素（負の値のシャープネス強度値であれば周辺画素のシャープネス強度（これを以下、第４の閾値とする）より小さな画素）を特定する（図９におけるステップＳ２１）。次に、ステップＳ２１で特定した画素とこの画素の周辺画素とのシャープネス強度値の差分を求め、当該画素とその周辺画素とを含む矩形領域のオーバシュート量Ｖｏｓ（又はアンダーシュート量Ｖｕｓ）を算出し、これを強度分布として記憶する（図９におけるステップＳ２２）。
【００６８】
次に、第２のシャープネス阻害量計測手段１２４は、ステップＳ２２で記憶した矩形領域に対して、シャープネス強度計測手段１１３と同様な方法により正規化したシャープネス強度値を算出する（図９におけるステップＳ２３）。更に、第２のシャープネス阻害量計測手段１２４は、ステップＳ２２で算出した矩形領域毎のオーバシュート量Ｖｏｓ（又はアンダーシュート量Ｖｕｓ）が第２の閾値以上であるか否かを判定し、第２の閾値以上である矩形領域に関してステップＳ２３において算出したシャープネス強度値を第２のシャープネス阻害量Ｓｒとして出力し、第２の閾値未満である矩形領域に関する第２のシャープネス阻害量Ｓｒとして０を出力する（図９におけるステップＳ２４）。
【００６９】
尚、第１及び第２のシャープネス阻害量を計測する領域は、入力された画像信号の全画像領域でなく、第１又は第２のシャープネス阻害量が発生し易い領域に限定することができる。即ち、第１のシャープネス阻害量の対象領域は、肌等の比較的急激な濃淡変化の少ない画像領域や、無彩色（彩度＝０）近傍で構成される画像領域や、主題を表している画像領域等に限定することができ、また、第２のシャープネス阻害量の対象領域は、強度値が高い領域（例えばエッジ部分）に限定することができる。
【００７０】
以上のようにして計測されたシャープネス強度と第１及び第２のシャープネス阻害量とは、図２におけるシャープネス嗜好度計測手段１３０に入力される。ここで、シャープネス強度値と第１及び第２のシャープネス阻害量との組み合わせとシャープネス嗜好度との関係を図１０を用いて説明する。図１０に示すように、ある程度シャープネス強度値が低い領域では、シャープネス強度値とシャープネス嗜好度とは比例関係にある。これに対し、シャープネス強度値が高い領域では、第１及び第２のシャープネス阻害量が増加するため、シャープネス嗜好度は低下し始め、視覚に対する不快感が増す。従って、シャープネス嗜好度計測手段１３０は、入力されたシャープネス強度値と、上記の第１の閾値以上で検出した第１のシャープネス阻害量Ｓｉ及び／又は上記の第２の閾値以上又は第３の閾値以下の第２のシャープネス阻害量Ｓｒを加味することで、シャープネス嗜好度を決定して出力する。尚、図１０で示した第１及び第２のシャープネス阻害量Ｓｒの出現位置は、シャープネス強度やシャープネス嗜好度に対して一定ではなく、入力された画像信号の品質に依存して変化する。
【００７１】
出力されたシャープネス嗜好度は、図１におけるシャープネス処理係数決定手段２００に入力される。シャープネス処理係数決定手段２００は、入力されたシャープネス嗜好度からシャープネス処理係数を決定して出力する。尚、良好なシャープネス処理係数は、入力された画像信号と比較して同等以上のシャープネス嗜好度が得られる値である。図１０を用いて説明すると、シャープネス嗜好度を示す曲線の上部ピーク値近辺がこれに当たる。
【００７２】
但し、全ての画像に対して良好なシャープネス処理係数を一意に決定することは困難であるため、本実施形態では、まず任意の値（例えばシャープネス嗜好度を示す曲線のピーク値や予め与えられた所定値）をシャープネス処理係数と決定する。次に、このシャープネス処理係数に基づいて入力された画像信号をシャープネス処理手段３００で処理し、この結果の調整済みの画像信号（Ｒ’Ｇ’Ｂ’）をフィードバックして、再度、処理後の画像信号からシャープネス嗜好度を計測することを、最適なシャープネス嗜好度が得られるまで、若しくは所定の回数繰り返し、この過程において最も良好なシャープネス嗜好度が得られたシャープネス処理係数を最終的に採用する。
【００７３】
この他にも、例えば目標とするシャープネス嗜好度と求められたシャープネス嗜好度との差分に基づいてシャープネス処理係数を決定するように構成しても良い。
【００７４】
また、シャープネス処理手段３００は、上記で最終的に決定されたシャープネス処理係数に基づいてシャープネス処理を実行し、得られた調整済みの画像信号（Ｒ’Ｇ’Ｂ’）を出力する。
【００７５】
以上のように構成することで、本実施形態では、入力されたディジタル画像信号に対して得られたシャープネス嗜好度に応じてシャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を自動的に生成することができる。
【００７６】
また、上記した構成は、ハードウェアで実現してもソフトウェアで実現しても良い。尚、ソフトウェアで実現する場合、一般的なパーソナルコンピュータ等の情報処理装置に、上記を実現するためのプログラムが組み込まれて実行される。
【００７７】
〔第２の実施形態〕
次に、本発明の第３の実施形態について図面を用いて詳細に説明する。例えば、上記した第１の実施形態では、シャープネス処理係数の決定に、シャープネス強度値Ｓｄと第１のシャープネス阻害量Ｓｉと第２のシャープネス阻害量Ｓｒとを用いたが、これに限定されず、例えば何れか１つの値、若しくは２つの値を用いてシャープネス処理係数を決定するように構成しても良い。以下に示す第２の実施形態では、シャープネス強度値Ｓｄと第２のシャープネス阻害量Ｓｒとのみを用いた場合を例挙げて説明する。
【００７８】
図１１は、本実施形態によるシャープネス計測手段２１０（図１におけるシャープネス計測手段１００に相当）の構成を示すブロック図である。図１１に示すように、本実施形態によるシャープネス計測手段２１０では、第１の実施形態における明度・輝度信号変換手段（１１１，１２５）と帯域処理手段（１１２，１２６）とシャープネス強度計測手段（１１３，１２７）とが、シャープネス強度値Ｓｄを出力する構成と、第２のシャープネス阻害量Ｓｒを出力する構成とで共通化されている（図１１中、明度・輝度信号変換手段２０１，帯域処理手段２０２，シャープネス強度計測手段２０３）。このように構成することで、本実施形態では、より簡易な構成で第１の実施形態と同様な効果を得ることが可能となる。尚、他の構成は第１の実施形態と同様であるため、個々では説明を省略する。
【００７９】
〔第３の実施形態〕
次に、本発明の第３の実施形態について図面を用いて詳細に説明する。通常、処理速度やメモリコスト等の理由により、予め登録しておいた複数のシャープネス処理係数の何れかを選択的に用いて最適な画像に調整する構成が存在する。本実施形態においてこのような構成に対応する場合、各々のシャープネス処理係数の関係を予め登録しておくことで解決される。具体的には、例えばシャープネス強度値の順列を持つシャープネス処理係数を所定のメモリ等に保存しておき、それぞれのシャープネス処理係数を適用した時のシャープネス阻害量を計算して、これから得られるシャープネス嗜好度が最良のシャープネス処理係数を選択する構成を有することで、第１の実施形態と同様に、入力されたディジタル画像信号に対して得られたシャープネス嗜好度に応じてシャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を自動的に生成することができる。尚、他の構成は第１の実施形態と同様であるため、個々では説明を省略する。
【００８０】
〔他の実施形態〕
以上、説明した実施形態は本発明の好適な一実施形態にすぎず、本発明はその趣旨を逸脱しない限り種々変形して実施可能である。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、入力された画像信号に応じて求められたシャープネスの阻害量及び強度値に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理装置及びその方法、並びにそのプログラム及びそのプログラムを記録した記録媒体が提供される。
【００８２】
また、本発明によれば、入力された画像信号に応じて求められたシャープネスの阻害量に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理装置及びその方法、並びにそのプログラム及びそのプログラムを記録した記録媒体が提供される。
【００８３】
また、本発明によれば、シャープネスの阻害量を計測するための要素にリンギング等の強度値が大きな領域で発生する現象が加えられるため、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００８４】
また、本発明によれば、肌や無彩色を表す特定の画像領域を考慮して、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００８５】
また、本発明によれば、入力された画像信号に応じて求められたシャープネスの阻害量及び強度値に基づいて適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする画像処理装置及びその方法、並びにそのプログラム及びそのプログラムを記録した記録媒体が提供される。更に、シャープネスの阻害量を計測するための要素にリンギング等の強度値が大きな領域で発生する現象が加えられるため、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００８６】
また、本発明によれば、肌や無彩色を表す特定の画像領域を考慮して、より的確にシャープネスの阻害量を計測することができ、これに伴い、より的確なシャープネス処理係数が求められることで、より人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００８７】
また、本発明によれば、入力される画像信号を、処理し易い明度及び輝度信号よりなる画像信号に変換することができ、より効率よく的確なシャープネス処理係数を求め、好ましいシャープネスを有する出力画像を得ることが可能となる。
【００８８】
また、本発明によれば、処理を要するデータ量が削減され、より効率よく的確なシャープネス処理係数を求め、好ましいシャープネスを有する出力画像を得ることが可能となる。
【００８９】
また、本発明によれば、更に人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００９０】
また、本発明によれば、上記した効果が得られるプログラムを記録媒体に記録して広く頒布させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像処理装置におけるシャープネス処理を行うための概略構成を示すブロック図である。
【図２】図１に示すシャープネス計測手段１００の構成を示すブロック図である。
【図３】図２に示すシャープネス強度出力手段１１０の構成を示すブロック図である。
【図４】本発明の第１の実施形態で使用するアンシャープマスク（ＵＳＭ）フィルタ１０の一例を示す図である。
【図５】図２に示すシャープネス阻害量出力手段１２０における第１のシャープネス阻害量Ｓｉを計測するための構成を示すブロック図である。
【図６】図５に示すシャープネス阻害量出力手段１２０における第１のシャープネス阻害量Ｓｉを出力する際の動作を示すフローチャートである。
【図７】大きな強度値を示す画素とその周辺画素を含めた画素に対する強度分布図を示すグラフである。
【図８】図２に示すシャープネス阻害量出力手段１２０における第２のシャープネス阻害量Ｓｒを計測するための構成を示すブロック図である。
【図９】図８に示すシャープネス阻害量出力手段１２０における第２のシャープネス阻害量Ｓｒを出力する際の動作を示すフローチャートである。
【図１０】シャープネス強度値と第１及び第２のシャープネス阻害量との組み合わせとシャープネス嗜好度との関係を示すグラフである。
【図１１】本発明の第２の実施形態によるシャープネス計測手段２１０の構成を示すブロック図である。
【符号の説明】
１画像処理装置１０アンシャープマスク（ＵＳＭ）フィルタ１００、２１０シャープネス計測手段
１１０シャープネス強度出力手段
１１１、１２５明度・輝度信号変換手段
１１２、１２６帯域処理手段
１１３、１２７シャープネス強度計測手段
１２０シャープネス阻害量出力手段
１２１画像領域記憶手段１２２明度・輝度信号変換手段
１２３帯域処理手段１２４第１のシャープネス阻害量計測手段
１２８強度分布記憶手段１２９第２のシャープネス阻害量計測手段
１３０シャープネス嗜好度計測手段
２００シャープネス処理係数決定手段
３００シャープネス処理手段[0001]
[Industrial application fields]
The present invention relates to an image processing apparatus, an image processing method, a program thereof, and a recording medium on which the program is recorded, which can realize a subjectively optimum sharpness degree for a digital image including a natural image.
[0002]
[Prior art]
The quality of the final printed matter is determined by the characteristics of the digital image signal and the characteristics of the color image recording apparatus and the image recording material. Similarly, the color image processing apparatus includes a processing apparatus for correcting or optimizing the input digital image signal (input image signal) according to the characteristics of the color image recording apparatus and the image recording material; It can be classified into a processing device for the purpose of adjusting an input image signal whose shooting conditions and color space are unknown.
[0003]
In either image processing apparatus, input image signals to the image processing apparatus are red (R) green (G) blue (B) color signals, CIE L * a * b * (CIELAB) color signals, cyan (C ) Magenta (M) yellow (Y) black (K) color signals are used, and the intensity of the input image signal is multi-valued, such as 8 bits, 12 bits, etc. for a single color. The configuration of the image processing apparatus includes color correction processing means, sharpness (including spatial correction) processing means, and the like, which are common by performing a series of image signal processing.
[0004]
The latter color correction processing in the image processing apparatus for adjusting the input image signal is composed of techniques such as contrast adjustment, color balance adjustment, white balance adjustment, and fog correction. Sharpness processing includes sharpness including edge enhancement. It consists of techniques such as emphasis, resolution conversion, and noise removal.
[0005]
Spatial correction processing for the purpose of correcting devices such as input devices, display devices, and output devices is processing for suppressing deterioration of unnecessary periodicity and image noise characteristics of image signals and spatial frequency characteristics generated in image recording apparatuses. Furthermore, an enhancement process for a specific spatial frequency band or the like is provided.
[0006]
The spatial correction processing described above has a mechanism for performing image processing using a sharpness correction filter described with limited information that can be obtained in advance on the characteristics of the device. However, since the device correction information is independent of the information of the digital image itself, the optimal output conditions for the digital image are not taken into consideration, and an unbalanced digital image may be output. . In order to solve this, a processing device for adjusting the digital image signal is required.
[0007]
The best measure for adjusting the digital image signal is to perform a process suitable for the user while confirming the degree of the displayed / output image on the display / output device used by the user. However, this method has a problem that the user is required to have experience in image processing and working time. For this reason, the image processing apparatus is expected to include a method (automatic image quality adjustment technique) for performing image measurement and image quality adjustment that automatically obtains information from the image itself with minimum effort.
[0008]
The sharpness processing in the above-described automatic image quality adjustment technique requires a function of measuring the degree of sharpness (representing the degree of combination of edge degree and image noise) from a digital image and performing the sharpness processing according to the measurement result.
[0009]
The problem with sharpness processing is simply that if fine processing is applied, high-definition reproduction (texture) is lost, the degree of sharpness decreases, and sharpness is too strong in sharpness enhancement processing. It is felt uncomfortable due to the noticeable noise and ringing at the edge. This problem is caused by the fact that the normal sharpness processing technique changes the sharpness inhibition as well as the sharpness (sharpness degree) and cannot control each independently. For this reason, it is difficult to fundamentally solve the above problem only by the information of the digital image signal.
[0010]
To cope with this problem, the degree of sharpness preference (sharpness preference degree) that reflects the amount of sharpness and the amount of deterioration of sharpness (amount of sharpness inhibition) is reflected as the measurement amount. It is.
[0011]
Several techniques have been proposed for measuring the characteristics of an image from the image signal itself, in particular, for sharpness measurement. For example, as a sharpness evaluation method, a sharpness evaluation method (for example, see Non-Patent Document 1 below) has been proposed in which the sum of signal intensities of differential images (edge images) is used as an evaluation value of sharpness. Further, a digital image sharpness evaluation apparatus or an image processing apparatus for converting the sharpness using the same principle as the above-described method is disclosed in Patent Documents 1 to 3 shown below.
[0012]
In the above, for example, Miyake has proposed using the sum of the edge intensity values of the pixels. Patent Documents 1 and 2 disclose a method of normalizing the amount corresponding to the sum by the number of edge pixels (pixels whose edge intensity is not 0). Further, Patent Document 3 discloses an image processing method including a step of obtaining pixels having edge intensity equal to or higher than a threshold in the normalization pixel number calculation step in the method of normalizing the sum.
[0013]
The sharpness measuring apparatus disclosed in Patent Document 2 calculates the sum of the signal intensities of the edge images and normalizes the edge area, as in the above-described sharpness evaluation method. The average strength or the average strength of the square of the edge strength is obtained, and the strength value (degree of strength) of the edge degree is defined as sharpness. Further, the sharpness measuring apparatus simplifies the processing process by using luminance information instead of color image information. It is known that the information used for sharpening and sharpness measurement uses color information rather than brightness information and can be expected to improve accuracy according to processing costs.
[0014]
Usually, if accuracy is required, processing cost is applied, and when moderate accuracy is desired, luminance or brightness information is used. On the other hand, the sharpening device disclosed in Patent Document 1 uses the same principle as the above-described sharpness evaluation method and sharpness evaluation device. Further, the processing apparatus disclosed in Patent Document 3 includes a sharpness determination means that is characterized by a threshold processing method in addition to the above-described sharpness evaluation method and the principle of the sharpness evaluation apparatus. The sharpness evaluation method in Patent Document 3 described above is a format used in the following Non-Patent Document 2 to restore an image signal degraded by mixed noise in which Gaussian noise and impulse noise are mixed. It is known.
[0015]
The sharpness in these conventional techniques has a high correlation with the subjective evaluation value of the strength of sharpness (sharpness strength).
[0016]
[Patent Document 1]
Japanese Patent No. 2692531
[Patent Document 2]
Japanese Patent No. 2611723
[Patent Document 3]
Japanese Patent Laid-Open No. 10-200756
[Non-Patent Document 1]
Yoichi Miyake: Journal of Television Society, 43, 11 (1989)
[Non-Patent Document 2]
Y.H.Lee, S.A.Kassam, Generalized median altering and related non-linear altering techniques, IEEE Trans.Acoust., Speech & Signal Process., Vol.ASSP-33, no.3, pp.672-683, June 1987.
[0017]
[Problems to be solved by the invention]
However, although each of the above-described conventional techniques has a correlation with the subjective evaluation of the sharpness strength (sharpness intensity), the subjective evaluation cannot be correlated with the sharpness preference degree to be originally measured in the automatic adjustment of sharpness. There is a problem. That is, each of the above-described conventional techniques has a problem that the sharpness preference degree is indefinite because there is no means for measuring the sharpness inhibition amount. For this reason, in the above-described conventional technology, the sharpness is excessively applied, and an area where the user feels uncomfortable cannot be resolved.
[0018]
The present invention has been made in view of the above problems, and in view of human visual characteristics, an image processing apparatus and image processing capable of obtaining a digital image having favorable sharpness and capable of automatically adjusting sharpness. It is an object to provide a method, a program thereof, and a recording medium on which the program is recorded.
[0019]
[Means for Solving the Problems]
  To achieve this object, the present invention provides a differential image for generating a differential image signal from an input image in an image processing apparatus for correcting the sharpness of an input image based on a sharpness processing coefficient. A signal generation means, an inhibition amount measurement means for measuring an inhibition amount of sharpness from the differential image signal, a sharpness processing coefficient determination means for determining a sharpness processing coefficient based on the inhibition amount,The differential image signal has an overshoot amount / undershoot amount measuring means for measuring an overshoot amount or an undershoot amount with respect to the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels, The inhibition amount measuring means includes first inhibition amount measuring means for measuring the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold.Thus, in order to change the sharpness processing coefficient as appropriate based on the sharpness inhibition amount and the intensity value obtained according to the input image signal, it is possible to obtain a digital image having preferable sharpness in view of human visual characteristics. An image processing apparatus capable of automatically adjusting sharpness is provided.In addition, since the phenomenon that occurs in a region with a large intensity value, such as ringing, is added to the element for measuring the sharpness inhibition amount, the sharpness inhibition amount can be measured more accurately. By obtaining a high sharpness processing coefficient, it is possible to obtain an output image having a preferable sharpness, in consideration of human visual characteristics, by automatic adjustment.
[0020]
  According to a second aspect of the present invention, in the image processing apparatus for correcting the sharpness of the input image based on the sharpness processing coefficient, the differential image signal generating means for generating the differential image signal from the input image, Inhibition amount measuring means for measuring the amount of inhibition of sharpness from the differential image signal, intensity value measuring means for measuring the intensity value of sharpness from the differential image signal, and a sharpness processing coefficient based on the inhibition amount and the intensity value Sharpness processing coefficient determination means for determining;The differential image signal has an overshoot amount / undershoot amount measuring means for measuring an overshoot amount or an undershoot amount with respect to the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels, The inhibition amount measuring means includes a first inhibition amount measuring means for measuring the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold.. Thereby, in order to appropriately change the sharpness processing coefficient based on the sharpness inhibition amount obtained according to the input image signal, in view of human visual characteristics, it is possible to obtain a digital image having a preferable sharpness, An image processing apparatus capable of automatically adjusting sharpness is provided.In addition, since the phenomenon that occurs in a region with a large intensity value, such as ringing, is added to the element for measuring the sharpness inhibition amount, the sharpness inhibition amount can be measured more accurately. By obtaining a high sharpness processing coefficient, it is possible to obtain an output image having a preferable sharpness, in consideration of human visual characteristics, by automatic adjustment.
[0022]
  In addition, the image processing apparatus is, for example, a claim3As stated, skin and achromaticColorA specific image region detecting unit that detects a specific image region to be expressed, and the inhibition amount measuring unit includes a second inhibition amount measuring unit that measures a sharpness inhibition amount of the specific image region. You can also. This makes the skin and achromaticColorConsidering the specific image area to represent, the amount of sharpness inhibition can be measured more accurately, and in connection with this, a more accurate sharpness processing coefficient is required, and human visual characteristics have been taken into account. An output image having preferable sharpness can be obtained by automatic adjustment.
[0023]
  The present invention also includes claims.4As described above, in an image processing device that corrects the sharpness of an input image based on a sharpness processing coefficient, differential image signal generation means for generating a differential image signal from the input image, and in the differential image signal, more than peripheral pixels. Overshoot amount / undershoot amount measuring means for measuring an overshoot amount or undershoot amount with respect to the surrounding pixels in an area including a pixel having a large sharpness intensity value, and the overshoot amount or undershoot exceeding a predetermined threshold value A first inhibition amount measuring means for measuring an inhibition amount of sharpness based on an amount; an intensity value measuring means for measuring an intensity value of sharpness in the region in the differential image signal; and the inhibition amount and the intensity value. The sharpness processing coefficient is determined based on the sharpness processing coefficient With the door. Thus, in order to change the sharpness processing coefficient as appropriate based on the sharpness inhibition amount and the intensity value obtained according to the input image signal, it is possible to obtain a digital image having preferable sharpness in view of human visual characteristics. An image processing apparatus capable of automatically adjusting sharpness is provided. In addition, since the phenomenon that occurs in a region with a large intensity value, such as ringing, is added to the element for measuring the sharpness inhibition amount, the sharpness inhibition amount can be measured more accurately. By obtaining a high sharpness processing coefficient, it is possible to obtain an output image having a preferable sharpness, in consideration of human visual characteristics, by automatic adjustment.
[0024]
  In addition, the image processing apparatus is, for example, a claim5As stated, skin and achromaticColorA specific image region detecting unit that detects a specific image region to be represented and a second inhibition amount measuring unit that measures an inhibition amount of sharpness of the specific image region may be provided. This makes the skin and achromaticColorConsidering the specific image area to represent, the amount of sharpness inhibition can be measured more accurately, and in connection with this, a more accurate sharpness processing coefficient is required, and human visual characteristics have been taken into account. An output image having preferable sharpness can be obtained by automatic adjustment.
[0025]
  In addition, the image processing apparatus is, for example, a claim6As described, the input image has lightness / luminance signal conversion means for converting the input image into an image signal including at least a perceptually equitable lightness or luminance signal, and the differential image signal generation means includes the lightness The differential image signal may be generated based on the image signal converted by the luminance signal conversion means. As a result, the input image signal can be converted into an image signal composed of lightness and luminance signals that can be easily processed, and an accurate sharpness processing coefficient can be obtained more efficiently, and an output image having favorable sharpness can be obtained. It becomes.
[0026]
  In addition, the image processing apparatus is, for example, a claim7As described, the differential image signal generation unit generates the differential image signal by dividing a decoy image signal obtained by deciphering the input image or the image signal from the input image or the image signal. It is also possible to configure so as to. As a result, the amount of data that needs to be processed is reduced, an accurate sharpness processing coefficient can be obtained more efficiently, and an output image having favorable sharpness can be obtained.
[0027]
  In addition, the image processing apparatus is, for example, a claim8As described, the inhibition amount and / or the intensity value are measured again for the image signal obtained as a result of correcting the sharpness based on the sharpness processing coefficient determined by the sharpness processing coefficient determination means, and It may be configured to repeat the determination of the sharpness processing coefficient based on the inhibition amount and / or the intensity value one or more times. As a result, an output image having preferable sharpness in consideration of human visual characteristics can be obtained by automatic adjustment.
[0028]
  The present invention also includes claims.9As described, in an image processing method for correcting the sharpness of an input image based on a sharpness processing coefficient, a differential image signal generation step for generating a differential image signal from the input image, and an inhibition amount of sharpness from the differential image signal. An inhibition amount measuring step for measuring, a sharpness processing coefficient determination step for determining a sharpness processing coefficient based on the inhibition amount, andIn the differential image signal, an overshoot amount / undershoot amount measurement step for measuring an overshoot amount or an undershoot amount with respect to the surrounding pixels in a region including a pixel having a sharpness intensity value larger than that of the surrounding pixels, The inhibition amount measuring step includes a step of measuring the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold.. Thus, in order to change the sharpness processing coefficient as appropriate based on the sharpness inhibition amount and the intensity value obtained according to the input image signal, it is possible to obtain a digital image having preferable sharpness in view of human visual characteristics. An image processing method capable of automatically adjusting sharpness is provided.In addition, since the phenomenon that occurs in a region with a large intensity value, such as ringing, is added to the element for measuring the sharpness inhibition amount, the sharpness inhibition amount can be measured more accurately. By obtaining a high sharpness processing coefficient, it is possible to obtain an output image having a preferable sharpness, in consideration of human visual characteristics, by automatic adjustment.
[0029]
  The present invention also includes claims.10As described, in an image processing method for correcting the sharpness of an input image based on a sharpness processing coefficient, a differential image signal generation step for generating a differential image signal from the input image, and an inhibition amount of sharpness from the differential image signal. An inhibition amount measuring step for measuring, an intensity value measuring step for measuring an intensity value of sharpness from the differential image signal, a sharpness processing coefficient determining step for determining a sharpness processing coefficient based on the inhibition amount and the intensity value,In the differential image signal, an overshoot amount / undershoot amount measurement step for measuring an overshoot amount or an undershoot amount with respect to the surrounding pixels in a region including a pixel having a sharpness intensity value larger than that of the surrounding pixels, The inhibition amount measuring step includes a step of measuring the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold.. Thereby, in order to appropriately change the sharpness processing coefficient based on the sharpness inhibition amount obtained according to the input image signal, in view of human visual characteristics, it is possible to obtain a digital image having a preferable sharpness, An image processing method capable of automatically adjusting sharpness is provided.In addition, since the phenomenon that occurs in a region with a large intensity value, such as ringing, is added to the element for measuring the sharpness inhibition amount, the sharpness inhibition amount can be measured more accurately. By obtaining a high sharpness processing coefficient, it is possible to obtain an output image having a preferable sharpness, in consideration of human visual characteristics, by automatic adjustment.
[0031]
  In addition, the image processing method is, for example, a claim11As stated, skin and achromaticColorA specific image region detecting step for detecting a specific image region to be represented, and the inhibition amount measuring step includes a second inhibition amount measuring step for measuring a sharpness inhibition amount of the specific image region. You can also. This makes the skin and achromaticColorConsidering the specific image area to represent, the amount of sharpness inhibition can be measured more accurately, and in connection with this, a more accurate sharpness processing coefficient is required, and human visual characteristics have been taken into account. An output image having preferable sharpness can be obtained by automatic adjustment.
[0032]
  The present invention also includes claims.12As described, in an image processing method for correcting the sharpness of an input image based on a sharpness processing coefficient, a differential image signal generation step for generating a differential image signal from the input image; An overshoot amount / undershoot amount measurement step for measuring an overshoot amount or undershoot amount for the surrounding pixels in a region including a pixel having a large sharpness intensity value, and the overshoot amount or undershoot greater than a predetermined threshold value. A first inhibition amount measuring step for measuring a sharpness inhibition amount based on the amount; an intensity value measurement step for measuring a sharpness intensity value in the region of the differential image signal; and the inhibition amount and the intensity value. Sharpness processing coefficient is determined based on And a processing coefficient determining step. Thus, in order to change the sharpness processing coefficient as appropriate based on the sharpness inhibition amount and the intensity value obtained according to the input image signal, it is possible to obtain a digital image having preferable sharpness in view of human visual characteristics. An image processing method capable of automatically adjusting sharpness is provided. In addition, since the phenomenon that occurs in a region with a large intensity value, such as ringing, is added to the element for measuring the sharpness inhibition amount, the sharpness inhibition amount can be measured more accurately. By obtaining a high sharpness processing coefficient, it is possible to obtain an output image having a preferable sharpness, in consideration of human visual characteristics, by automatic adjustment.
[0033]
  In addition, the image processing method is, for example, a claim13As stated, skin and achromaticColorA specific image region detecting step for detecting a specific image region to be represented and a second inhibition amount measuring step for measuring the sharpness inhibition amount of the specific image region may be provided. This makes the skin and achromaticColorConsidering the specific image area to represent, the amount of sharpness inhibition can be measured more accurately, and in connection with this, a more accurate sharpness processing coefficient is required, and human visual characteristics have been taken into account. An output image having preferable sharpness can be obtained by automatic adjustment.
[0034]
  In addition, the image processing method is, for example, a claim14As described, the input image has a lightness / luminance signal conversion step of converting the input image into an image signal including at least a perceptually equivalent lightness or luminance signal, and the differential image signal generation step includes the lightness The differential image signal may be generated based on the image signal converted by the luminance signal conversion means. As a result, the input image signal can be converted into an image signal composed of lightness and luminance signals that can be easily processed, and an accurate sharpness processing coefficient can be obtained more efficiently, and an output image having favorable sharpness can be obtained. It becomes.
[0035]
  In addition, the image processing method is, for example, a claim15As described, the differential image signal generation step generates the differential image signal by dividing the input image or the image signal obtained by subtracting the input image or the image signal from the input image or the image signal. It can also be configured to. As a result, the amount of data that needs to be processed is reduced, an accurate sharpness processing coefficient can be obtained more efficiently, and an output image having favorable sharpness can be obtained.
[0036]
  In addition, the image processing method is, for example, a claim16As described above, the inhibition amount and / or the intensity value are measured again for the image signal obtained as a result of correcting the sharpness based on the sharpness processing coefficient determined in the sharpness processing coefficient determination step, and It may be configured to repeat the determination of the sharpness processing coefficient based on the inhibition amount and / or the intensity value one or more times. As a result, an output image having preferable sharpness in consideration of human visual characteristics can be obtained by automatic adjustment.
[0037]
  The present invention also includes claims.17As described, in a program for causing a computer incorporated in an image processing apparatus to correct the sharpness of an input image based on a sharpness processing coefficient, a differential image signal generation process for generating a differential image signal from the input image; An inhibition amount measurement process for measuring the amount of inhibition of sharpness from the differential image signal; a sharpness processing coefficient determination process for determining a sharpness processing coefficient based on the inhibition amount;An overshoot amount / undershoot amount measurement process for measuring an overshoot amount or an undershoot amount with respect to the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels in the differential image signal;Let the computer executeThe inhibition amount measurement processing causes the computer to measure the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold.. Thus, in order to change the sharpness processing coefficient as appropriate based on the sharpness inhibition amount and the intensity value obtained according to the input image signal, it is possible to obtain a digital image having preferable sharpness in view of human visual characteristics. A program for realizing an image processing apparatus and method capable of automatically adjusting sharpness is provided.In addition, since the phenomenon that occurs in a region with a large intensity value, such as ringing, is added to the element for measuring the sharpness inhibition amount, the sharpness inhibition amount can be measured more accurately. By obtaining a sharpness processing coefficient, a program capable of automatically adjusting an output image having a preferable sharpness in consideration of human visual characteristics is provided.
[0038]
  The present invention also includes claims.18As described, in a program for causing a computer incorporated in an image processing apparatus to correct the sharpness of an input image based on a sharpness processing coefficient, a differential image signal generation process for generating a differential image signal from the input image; Inhibition amount measurement processing for measuring a sharpness inhibition amount from the differential image signal, Intensity value measurement processing for measuring a sharpness intensity value from the differential image signal, and Sharpness processing based on the inhibition amount and the intensity value Sharpness processing coefficient determination processing for determining the coefficient,An overshoot amount / undershoot amount measurement process for measuring an overshoot amount or an undershoot amount with respect to the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels in the differential image signal;Let the computer executeThe inhibition amount measurement processing causes the computer to measure the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold.. Thereby, in order to appropriately change the sharpness processing coefficient based on the sharpness inhibition amount obtained according to the input image signal, in view of human visual characteristics, it is possible to obtain a digital image having a preferable sharpness, A program for realizing an image processing apparatus and method capable of automatically adjusting sharpness is provided.In addition, since the phenomenon that occurs in a region with a large intensity value, such as ringing, is added to the element for measuring the sharpness inhibition amount, the sharpness inhibition amount can be measured more accurately. By obtaining a sharpness processing coefficient, a program capable of automatically adjusting an output image having a preferable sharpness in consideration of human visual characteristics is provided.
[0040]
  Further, the above program is, for example, a claim.19As stated, skin and achromaticColorThe specific image region detection process for detecting the specific image region to be represented may be executed by the computer, and the inhibition amount measurement processing may be configured to cause the computer to measure the sharpness inhibition amount of the specific image region. This makes the skin and achromaticColorConsidering the specific image area to represent, the amount of sharpness inhibition can be measured more accurately, and in connection with this, a more accurate sharpness processing coefficient is required, and human visual characteristics have been taken into account. A program that can obtain an output image having a preferable sharpness by automatic adjustment is provided.
[0041]
  The present invention also includes claims.20As described, in a program for causing a computer incorporated in an image processing apparatus to correct the sharpness of an input image based on a sharpness processing coefficient, a differential image signal generation process for generating a differential image signal from the input image; An overshoot amount / undershoot amount measurement process for measuring an overshoot amount or an undershoot amount with respect to the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels in the differential image signal; A first inhibition amount measurement process for measuring a sharpness inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a threshold value; and an intensity value measurement for measuring a sharpness intensity value in the region of the differential image signal Based on the treatment, the amount of inhibition and the intensity value. And sharpness processing coefficient determination process for determining Punesu processing coefficients, the causes the computer to perform. Thus, in order to change the sharpness processing coefficient as appropriate based on the sharpness inhibition amount and the intensity value obtained according to the input image signal, it is possible to obtain a digital image having preferable sharpness in view of human visual characteristics. A program for realizing an image processing apparatus and method capable of automatically adjusting sharpness is provided. In addition, since the phenomenon that occurs in a region with a large intensity value, such as ringing, is added to the element for measuring the sharpness inhibition amount, the sharpness inhibition amount can be measured more accurately. By obtaining a sharpness processing coefficient, a program capable of automatically adjusting an output image having a preferable sharpness in consideration of human visual characteristics is provided.
[0042]
  Further, the above program is, for example, a claim.21As stated, skin and achromaticColorA specific image region detection process for detecting a specific image region to be represented and a second inhibition amount measurement process for measuring an inhibition amount of sharpness in the specific image region may be configured to be executed by the computer. This makes the skin and achromaticColorConsidering the specific image area to represent, the amount of sharpness inhibition can be measured more accurately, and in connection with this, a more accurate sharpness processing coefficient is required, and human visual characteristics have been taken into account. A program that can obtain an output image having a preferable sharpness by automatic adjustment is provided.
[0043]
  Further, the above program is, for example, a claim.22As described, the computer executes the lightness / luminance signal conversion process for converting the input image into an image signal including a lightness or luminance signal that is at least perceptually equivalent, and the differential image signal generation process is performed. The differential image signal may be generated by the computer based on the image signal converted by the lightness / luminance signal conversion means. As a result, the input image signal can be converted into an image signal composed of lightness and luminance signals that can be easily processed, and an accurate sharpness processing coefficient can be obtained more efficiently, and an output image having favorable sharpness can be obtained. Will be provided.
[0044]
  Further, the above program is, for example, a claim.23As described above, the differential image signal generation process divides a decoy image signal obtained by deciphering the input image or the image signal from the input image or the image signal, and the differential image signal is converted into the differential image signal. It can also be configured to be generated by a computer. As a result, the amount of data that needs to be processed is reduced, and a program capable of obtaining an efficient sharpness processing coefficient and obtaining an output image having favorable sharpness is provided.
[0045]
  Further, the above program is, for example, a claim.24As described above, the inhibition amount and / or the intensity value is measured again for the image signal as a result of correcting the sharpness based on the sharpness processing coefficient determined in the sharpness processing coefficient determination process, and It may be configured to repeat the determination of the sharpness processing coefficient based on the inhibition amount and / or the intensity value one or more times. This provides a program that can obtain an output image having desirable sharpness by automatic adjustment in consideration of human visual characteristics.
[0046]
  The present invention also includes claims.25As described, it is a recording medium on which any of the above programs is recorded. As a result, a program capable of obtaining the above-described effects can be recorded on a recording medium and widely distributed.
[0047]
DETAILED DESCRIPTION OF THE INVENTION
[First Embodiment]
First, a first embodiment of the present invention will be described in detail with reference to the drawings. Note that this embodiment relates to sharpness adjustment processing including spatial correction in an image processing apparatus, and is not limited to a processing method described by a system transfer function (MTF) or the like assuming linearity of a system system. It is.
[0048]
The basic concept of this embodiment is that a differential image is generated from lightness information and luminance information of an image, and the processing content is changed according to the differential image. More specifically, the intensity distribution shape of the generated differential image is quantified, and from this, the measurement value of the sharpness intensity and the measurement value of the sharpness inhibition amount are obtained, and further, the sharpness preference degree is obtained from these two measurement amounts, By changing the processing content in accordance with the sharpness preference degree, sharpness correction in consideration of human visual characteristics is automatically performed.
[0049]
Here, the sharpness strength is a value representing the strength of sharpness, and may be obtained as a feature amount. The sharpness inhibition amount is a value that represents an amount that hinders or deteriorates the sharpness, and may be obtained as a feature amount. The sharpness preference level is a value representing the preference of sharpness, and may be obtained as a feature amount.
[0050]
FIG. 1 shows a schematic configuration for performing sharpness processing in the image processing apparatus 1 according to the present embodiment. Referring to FIG. 1, the image processing apparatus 1 includes a sharpness measuring unit 100, a sharpness processing coefficient determining unit 200, and a sharpness processing unit 300.
[0051]
In this configuration, a digital image including a natural image is input to the sharpness measuring unit 100 and the sharpness processing unit 300 as an image signal in the RGB color space. Note that the image signal input in the present embodiment is not limited to an image signal in a raw state, but may be a halfway digital image obtained when obtaining an optimum output condition. Further, any other digital image can be applied as long as it is at least as good as the measurement result of the input image signal.
[0052]
As shown in FIG. 2, the sharpness measuring unit 100 includes a sharpness intensity output unit 110, a sharpness inhibition amount output unit 120, and a sharpness preference level measuring unit 130.
[0053]
Further, as shown in FIG. 3, the sharpness intensity output means 110 includes a lightness / luminance signal conversion means 111 for converting an input image signal into an image signal having at least a perceptually equal lightness or luminance, and A band processing unit 112 that performs a differentiation operation on the image signal and outputs the differential image signal, and a sharpness intensity measurement unit 113 that measures a sharpness intensity value from the differential image signal are configured.
[0054]
Therefore, the image signal input to the sharpness measuring unit 100 is first input to the lightness / luminance signal converting unit 111 and converted from the RGB color space to a luminance signal in the YCrCb color space (= 0.30R + 0.59G + 0.11B). The Here, the luminance signal may be only a luminance signal based on the sYCC color space, the tristimulus value CIE XYZ, or the G signal. However, in order to perform high-accuracy processing, it is preferable that the CIELAB signal is L * and a signal obtained by principal component analysis or KL conversion. Note that the present invention is not limited to the above, and in the present embodiment, the luminance / brightness information can be appropriately changed according to the uniformity of the perceived amount and the processing speed as long as it is a signal representing brightness.
[0055]
The image signal converted by the lightness / luminance signal conversion unit 111 is then input to the band processing unit 112. The band processing unit 112 executes band processing for generating a signal only in the middle and high frequency bands with less scene information (hereinafter referred to as a differential image signal) from lightness / luminance information included in the image signal. Therefore, the band processing unit 112 is also referred to as a differential image signal generation unit. In this band processing, when considering the processing speed, it is better to apply the first derivative, but since the diffusion assumption and the visual characteristics, which are one of the basic factors of the phenomenon of image blurring, are deeply related to the second derivative image, In this embodiment, the case where a secondary differential image is generated is applied. The second-order differential image is an absolute value of the luminance image signal obtained by removing the luminance image signal fb that has been deceived by applying the unsharp mask (USM) filter 10 to the luminance image signal f. The luminance image signal Fx can be expressed by the following (Equation 1). An example of the USM filter 10 is shown in FIG.
Fx = | f−Fb | (Formula 1)
[0056]
The generated differential image signal is then input to the sharpness intensity measuring means 113. The sharpness intensity measuring unit 113 sets an arbitrary coefficient K to a value obtained by normalizing the sum ΣFx of the intensity values of the evaluation target area in the differential image signal by the number of pixels P of the evaluation target area as in the following (Equation 2). The sharpness intensity value Sd is obtained by multiplication and is output. In the present embodiment, the sharpness intensity value Sd, which is a normalized value, is also referred to as normal intensity. In addition, for example, an entire image region, a region where pixels are thinned out, a region of interest, or the like can be applied to the evaluation target region.
Sd = K × ΣFx / P (Formula 2)
[0057]
As described above, the sharpness intensity output means 110 outputs the sharpness intensity value Sd based on the input image signal.
[0058]
The image signal input to the sharpness measuring unit 100 is also input to the sharpness inhibition amount output unit 120 in FIG. The sharpness inhibition amount output means 120 measures and outputs a sharpness inhibition amount for each of one or more factors based on the input image signal. In the present embodiment, two types of sharpness inhibition amounts such as rough skin and ringing are exemplified as this factor. In the following description, the sharpness inhibition amount obtained from these factors is referred to as a first sharpness inhibition amount and a second sharpness inhibition amount, respectively.
[0059]
Note that the first sharpness inhibition amount is a value indicating the degree of uncomfortable feeling as the sharpness intensity value increases, and may be obtained as a feature amount. Therefore, the image area related to the first sharpness inhibition amount includes an image area such as skin that has a relatively rapid change in shading, an image area formed in the vicinity of an achromatic color (saturation = 0), and a theme. The represented image area or the like is applied. This is because, for example, when human skin or the like exceeds a certain degree of sharpness, it is perceived as rough skin, wrinkles, etc., and discomfort increases. Similarly, the granularity and mottle (amplitude having a frequency of 0.4 cycles / mm or less) in a uniform region are increased in intensity, thereby increasing discomfort. Furthermore, the vicinity of an achromatic color means that the gray axis has a low saturation value, and the saturation is not necessarily zero. The degree of sharpness is a value that represents the degree of combination of the degree of edge and image noise, that is, the degree of sharpness, and is also obtained as a feature amount.
[0060]
FIG. 5 shows a configuration for measuring the first sharpness inhibition amount in the sharpness inhibition amount output means 120. The operation in the configuration shown in FIG. 5 will be described with reference to the flowchart of FIG. As shown in FIG. 5, the configuration for measuring the first sharpness inhibition amount includes an image region with a relatively rapid change in shading such as skin in an image signal, and an achromatic color (saturation = 0) vicinity. The image area storage means 121 for detecting and recording the image area constituted, the image area representing the subject, and the like, and the input image signal at least perceptually for each of the image areas recorded above. Lightness / brightness signal conversion means 122 for converting to an image signal having isotropic lightness or brightness, and band processing means 123 for performing a differentiation operation on each of the image regions and outputting a differential image signal to the image signal. And a first sharpness inhibition amount measuring means 124 for measuring the sharpness inhibition amount from the differential image signal.
[0061]
In this configuration, the image area storage unit 121 performs edge extraction of the input image signal, thereby causing an image area having a relatively rapid change in shading such as skin in the image signal or an achromatic color (saturation = 0). A specific image area such as an image area formed in the vicinity or an image area representing the subject is detected and stored (step S11 in FIG. 6). In other words, the image area storage unit 121 includes a specific image area detection unit that detects a specific image area and a specific image area storage unit that stores the image area.
[0062]
Further, the lightness / luminance signal conversion means 122 and the band processing means 123 perform the same processing as the lightness / luminance signal conversion means 111 and the band processing means 112 shown in FIG. 3 for each area stored in the image area storage means 121. To generate a differential image signal for each region (step S12 in FIG. 6).
[0063]
The first sharpness inhibition amount measuring unit 124 performs the same processing as the sharpness intensity measuring unit 113 shown in FIG. 3 on the differential image signal for each image area generated by the band processing unit 123, thereby performing the first sharpness inhibition amount measuring unit 124. The magnitude of the amplitude in the frequency wave number band for obtaining the sharpness inhibition amount, that is, the sharpness intensity value in the middle and high frequency band is measured (step S13 in FIG. 6). Further, the first sharpness inhibition amount measuring means 124 determines whether or not the magnitude of the measured amplitude (sharpness intensity value) is equal to or greater than a predetermined threshold value (this is the first threshold value). Only the sharpness intensity value that is equal to or greater than the threshold value is output as the first sharpness inhibition amount Si (step S14 in FIG. 6). The first threshold here is a value empirically obtained, and is configured in the vicinity of an image region with a relatively rapid change in shading such as skin in the image signal, or in the vicinity of an achromatic color (saturation = 0). It is a value which can limit the image which becomes unpleasant in the image area | region which shows a subject, the image area | region showing a theme, etc.
[0064]
Further, the second sharpness inhibition amount indicates the degree of a phenomenon that occurs when the pixel intensity value is a finite discrete value and is saturated without affecting the filter characteristics and affects other pixels. Value and may be obtained as a feature amount. Specifically, the reproducibility of the edge portion is shown, and in particular, ringing, overshoot, undershoot, etc. caused by waveform distortion. Ringing is one of the phenomena that occurs due to excessive emphasis, and is observed as undulating around the edge. Therefore, the ringing measurement amount can be obtained by measuring the intensity values of the peripheral pixels of the pixel showing a large intensity value.
[0065]
Here, FIG. 7 shows an intensity distribution diagram for a pixel including a large intensity value and pixels including its peripheral pixels. As can be seen from the intensity distribution diagram of FIG. 7, in this embodiment, ringing is treated as the same phenomenon as overshoot. Therefore, the ringing measurement amount can be obtained by obtaining the overshoot amount Vos (and the undershoot amount Vus when there is a negative sharpness intensity value). That is, the second sharpness inhibition amount is obtained by normalizing an intensity value indicating an intensity value and / or an overshoot that is equal to or greater than a predetermined threshold value (this is referred to as a second threshold value) with peripheral pixels of this pixel. It is done. Note that the second threshold value here is a value that is empirically obtained, and is a value that can limit the ringing phenomenon in an edge region or the like that includes a sharp change in shading. In addition, if it is made thinner, the undershoot amount Vus indicates the size of the undershoot, and is obtained as a positive value.
[0066]
FIG. 8 shows the configuration of the second sharpness inhibition amount measuring means in the sharpness inhibition amount output means 120. The operation in the configuration shown in FIG. 8 will be described along the flowchart of FIG. As shown in FIG. 8, the configuration for measuring the second sharpness inhibition amount includes brightness / luminance signal conversion means 125 similar to the brightness / luminance signal conversion means 111 shown in FIG. 3, and also shown in FIG. Band processing unit 126 similar to the band processing unit 112, sharpness intensity measuring unit 127 for measuring the sharpness intensity value in the differential image signal generated by the band processing unit 126, and intensity for storing the distribution of the measured sharpness intensity value The distribution storage means 128 and the second sharpness inhibition amount for measuring the second sharpness inhibition amount by normalizing the intensity value and / or the sharpness intensity value indicating overshoot of a certain amount or more with the peripheral pixels of this pixel. Measurement means 129 is included.
[0067]
In this configuration, the sharpness intensity measuring unit 127 measures the sharpness intensity value in the input differential image signal. The intensity distribution storage means 128 first determines a pixel whose peripheral sharpness intensity value is larger than the sharpness intensity value of the surrounding pixels (this is hereinafter referred to as a third threshold) (if the sharpness intensity value is a negative value), A pixel smaller than the sharpness intensity (hereinafter referred to as a fourth threshold value) is specified (step S21 in FIG. 9). Next, a difference in sharpness intensity value between the pixel specified in step S21 and the peripheral pixel of this pixel is obtained, and an overshoot amount Vos (or undershoot amount Vus) of a rectangular area including the pixel and the peripheral pixel is calculated. This is stored as an intensity distribution (step S22 in FIG. 9).
[0068]
Next, the second sharpness inhibition amount measuring unit 124 calculates a normalized sharpness intensity value for the rectangular area stored in step S22 by the same method as the sharpness intensity measuring unit 113 (step S23 in FIG. 9). ). Further, the second sharpness inhibition amount measuring means 124 determines whether or not the overshoot amount Vos (or undershoot amount Vus) for each rectangular area calculated in step S22 is equal to or larger than the second threshold value, and the second The sharpness intensity value calculated in step S23 is output as the second sharpness inhibition amount Sr for the rectangular region that is equal to or greater than the threshold value, and 0 is output as the second sharpness inhibition amount Sr for the rectangular region that is less than the second threshold value. (Step S24 in FIG. 9).
[0069]
Note that the region where the first and second sharpness inhibition amounts are measured can be limited to the region where the first or second sharpness inhibition amount is likely to occur, not the entire image region of the input image signal. That is, the first sharpness-inhibiting amount target area represents an image area such as skin that has a relatively rapid change in shading, an image area formed in the vicinity of an achromatic color (saturation = 0), and a theme. The target area of the second sharpness inhibition amount can be limited to an area having a high intensity value (for example, an edge portion).
[0070]
The sharpness intensity and the first and second sharpness inhibition amounts measured as described above are input to the sharpness preference level measuring unit 130 in FIG. Here, the relationship between the combination of the sharpness intensity value, the first and second sharpness inhibition amounts, and the sharpness preference level will be described with reference to FIG. As shown in FIG. 10, in a region where the sharpness intensity value is low to some extent, the sharpness intensity value and the sharpness preference degree are in a proportional relationship. On the other hand, in the region where the sharpness intensity value is high, the first and second sharpness inhibition amounts increase, so that the sharpness preference level starts to decrease and the discomfort to the vision increases. Accordingly, the sharpness preference level measuring unit 130 determines the input sharpness intensity value, the first sharpness inhibition amount Si detected at the first threshold value or higher, and / or the second threshold value or higher or the third threshold value. By adding the following second sharpness inhibition amount Sr, the sharpness preference degree is determined and output. Note that the appearance positions of the first and second sharpness inhibition amounts Sr shown in FIG. 10 are not constant with respect to the sharpness intensity and the sharpness preference degree, and change depending on the quality of the input image signal.
[0071]
The output sharpness preference degree is input to the sharpness processing coefficient determination means 200 in FIG. The sharpness processing coefficient determining means 200 determines and outputs a sharpness processing coefficient from the input sharpness preference degree. Note that a good sharpness processing coefficient is a value at which a sharpness preference level equal to or higher than that of the input image signal can be obtained. If it demonstrates using FIG. 10, the vicinity of the upper peak value of the curve which shows a sharpness preference degree will correspond to this.
[0072]
However, since it is difficult to uniquely determine a good sharpness processing coefficient for all images, in the present embodiment, first, an arbitrary value (for example, a peak value of a curve indicating a sharpness preference degree or a predetermined value is given in advance). (Predetermined value) is determined as the sharpness processing coefficient. Next, the input image signal is processed by the sharpness processing means 300 based on the sharpness processing coefficient, and the adjusted image signal (R′G′B ′) as a result is fed back and processed again. Measuring the sharpness preference level from the image signal is repeated until the optimum sharpness preference level is obtained or a predetermined number of times, and finally the sharpness processing coefficient that provides the best sharpness preference level in this process is adopted. .
[0073]
In addition, for example, the sharpness processing coefficient may be determined based on the difference between the target sharpness preference level and the obtained sharpness preference level.
[0074]
The sharpness processing means 300 executes sharpness processing based on the sharpness processing coefficient finally determined as described above, and outputs the obtained adjusted image signal (R′G′B ′).
[0075]
With the configuration as described above, in the present embodiment, the sharpness processing coefficient is changed according to the sharpness preference degree obtained for the input digital image signal. Can be automatically generated.
[0076]
The above-described configuration may be realized by hardware or software. When implemented by software, a program for realizing the above is incorporated and executed in an information processing apparatus such as a general personal computer.
[0077]
[Second Embodiment]
Next, a third embodiment of the present invention will be described in detail with reference to the drawings. For example, in the first embodiment described above, the sharpness intensity value Sd, the first sharpness inhibition amount Si, and the second sharpness inhibition amount Sr are used to determine the sharpness processing coefficient. However, the present invention is not limited to this. For example, the sharpness processing coefficient may be determined using any one value or two values. In the second embodiment described below, a case where only the sharpness intensity value Sd and the second sharpness inhibition amount Sr are used will be described as an example.
[0078]
FIG. 11 is a block diagram showing the configuration of the sharpness measuring means 210 (corresponding to the sharpness measuring means 100 in FIG. 1) according to the present embodiment. As shown in FIG. 11, in the sharpness measuring means 210 according to the present embodiment, the lightness / luminance signal converting means (111, 125), the band processing means (112, 126) and the sharpness intensity measuring means (113) in the first embodiment. , 127) is shared by the configuration for outputting the sharpness intensity value Sd and the configuration for outputting the second sharpness inhibition amount Sr (in FIG. 11, brightness / luminance signal conversion means 201, band processing means). 202, sharpness intensity measuring means 203). With this configuration, in the present embodiment, it is possible to obtain the same effect as that of the first embodiment with a simpler configuration. Since other configurations are the same as those of the first embodiment, the description thereof is omitted individually.
[0079]
[Third Embodiment]
Next, a third embodiment of the present invention will be described in detail with reference to the drawings. Usually, there is a configuration in which an optimum image is adjusted by selectively using any of a plurality of sharpness processing coefficients registered in advance for reasons such as processing speed and memory cost. In the case of dealing with such a configuration in the present embodiment, the problem can be solved by registering the relationship between the respective sharpness processing coefficients in advance. Specifically, for example, sharpness processing coefficients having a permutation of sharpness intensity values are stored in a predetermined memory or the like, and the sharpness inhibition amount when each sharpness processing coefficient is applied is calculated, and the sharpness preference obtained from this is calculated. In order to change the sharpness processing coefficient according to the sharpness preference degree obtained with respect to the input digital image signal, by having the configuration for selecting the sharpness processing coefficient with the best degree as in the first embodiment. In view of human visual characteristics, a digital image having desirable sharpness can be automatically generated. Since other configurations are the same as those of the first embodiment, the description thereof is omitted individually.
[0080]
[Other Embodiments]
The embodiment described above is merely a preferred embodiment of the present invention, and the present invention can be variously modified and implemented without departing from the gist thereof.
[0081]
【The invention's effect】
As described above, according to the present invention, in order to appropriately change the sharpness processing coefficient based on the sharpness inhibition amount and the intensity value obtained according to the input image signal, in view of human visual characteristics, Provided are an image processing apparatus and method capable of obtaining a digital image having desirable sharpness and enabling automatic adjustment of sharpness, a program thereof, and a recording medium on which the program is recorded.
[0082]
Further, according to the present invention, since the sharpness processing coefficient is appropriately changed based on the sharpness inhibition amount obtained according to the input image signal, a digital image having preferable sharpness can be obtained in view of human visual characteristics. An image processing apparatus that can be obtained, and an image processing apparatus that can automatically adjust sharpness, a method thereof, a program thereof, and a recording medium recording the program are provided.
[0083]
In addition, according to the present invention, since a phenomenon that occurs in a region where the intensity value such as ringing is large is added to the element for measuring the sharpness inhibition amount, the sharpness inhibition amount can be measured more accurately. Accordingly, by obtaining a more accurate sharpness processing coefficient, an output image having a preferable sharpness in consideration of human visual characteristics can be obtained by automatic adjustment.
[0084]
  Also, according to the present invention, the skin and achromaticColorConsidering the specific image area to represent, the amount of sharpness inhibition can be measured more accurately, and in connection with this, a more accurate sharpness processing coefficient is required, and human visual characteristics have been taken into account. An output image having preferable sharpness can be obtained by automatic adjustment.
[0085]
In addition, according to the present invention, the sharpness processing coefficient is appropriately changed based on the sharpness inhibition amount and the intensity value obtained according to the input image signal, so that it has preferable sharpness in view of human visual characteristics. An image processing apparatus and method capable of obtaining a digital image and automatically adjusting sharpness, a program thereof, and a recording medium on which the program is recorded are provided. In addition, since the phenomenon that occurs in a region with a large intensity value, such as ringing, is added to the element for measuring the sharpness inhibition amount, the sharpness inhibition amount can be measured more accurately. By obtaining a high sharpness processing coefficient, it is possible to obtain an output image having a preferable sharpness, in consideration of human visual characteristics, by automatic adjustment.
[0086]
  Also, according to the present invention, the skin and achromaticColorConsidering the specific image area to represent, the amount of sharpness inhibition can be measured more accurately, and in connection with this, a more accurate sharpness processing coefficient is required, and human visual characteristics have been taken into account. An output image having preferable sharpness can be obtained by automatic adjustment.
[0087]
In addition, according to the present invention, an input image signal can be converted into an image signal composed of lightness and luminance signals that can be easily processed, and an output image having preferable sharpness can be obtained by obtaining a more efficient and accurate sharpness processing coefficient. Can be obtained.
[0088]
Further, according to the present invention, the amount of data that needs to be processed is reduced, and an accurate sharpness processing coefficient can be obtained more efficiently and an output image having a preferred sharpness can be obtained.
[0089]
Further, according to the present invention, an output image having a preferable sharpness in consideration of human visual characteristics can be obtained by automatic adjustment.
[0090]
Further, according to the present invention, a program that can obtain the above-described effects can be recorded on a recording medium and widely distributed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration for performing sharpness processing in an image processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing the configuration of the sharpness measuring means 100 shown in FIG.
3 is a block diagram showing a configuration of sharpness intensity output means 110 shown in FIG. 2. FIG.
FIG. 4 is a diagram showing an example of an unsharp mask (USM) filter 10 used in the first embodiment of the present invention.
FIG. 5 is a block diagram showing a configuration for measuring a first sharpness inhibition amount Si in the sharpness inhibition amount output means 120 shown in FIG. 2;
6 is a flowchart showing an operation when outputting a first sharpness inhibition amount Si in the sharpness inhibition amount output means 120 shown in FIG.
FIG. 7 is a graph showing an intensity distribution diagram for a pixel including a pixel showing a large intensity value and its surrounding pixels.
8 is a block diagram showing a configuration for measuring a second sharpness inhibition amount Sr in the sharpness inhibition amount output means 120 shown in FIG. 2. FIG.
FIG. 9 is a flowchart showing an operation when outputting a second sharpness inhibition amount Sr in the sharpness inhibition amount output means 120 shown in FIG. 8;
FIG. 10 is a graph showing a relationship between a combination of a sharpness intensity value, first and second sharpness inhibition amounts, and a sharpness preference level.
FIG. 11 is a block diagram showing a configuration of a sharpness measuring unit 210 according to the second embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 10 Unsharp mask (USM) filter 100, 210 Sharpness measuring means
110 Sharpness intensity output means
111, 125 Lightness / luminance signal conversion means
112, 126 Band processing means
113, 127 Sharpness intensity measuring means
120 Sharpness inhibition amount output means
121 Image area storage means 122 Brightness / luminance signal conversion means
123 Band processing means 124 First sharpness inhibition amount measuring means
128 intensity distribution storage means 129 second sharpness inhibition amount measuring means
130 Sharpness preference measuring means
200 Sharpness processing coefficient determination means
300 Sharpness processing means

Claims

In an image processing apparatus that corrects the sharpness of an input image based on a sharpness processing coefficient,
Differential image signal generation means for generating a differential image signal from the input image;
An inhibition amount measuring means for measuring an inhibition amount of sharpness from the differential image signal;
Sharpness processing coefficient determining means for determining a sharpness processing coefficient based on the amount of inhibition;
The differential image signal has an overshoot amount / undershoot amount measuring means for measuring an overshoot amount or an undershoot amount with respect to the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels,
The inhibition amount measuring unit includes a first inhibition amount measuring unit configured to measure the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold value. Processing equipment.

In an image processing apparatus that corrects the sharpness of an input image based on a sharpness processing coefficient,
Differential image signal generation means for generating a differential image signal from the input image;
An inhibition amount measuring means for measuring an inhibition amount of sharpness from the differential image signal;
Intensity value measuring means for measuring the intensity value of sharpness from the differential image signal;
Sharpness processing coefficient determining means for determining a sharpness processing coefficient based on the inhibition amount and the intensity value;
The differential image signal has an overshoot amount / undershoot amount measuring means for measuring an overshoot amount or an undershoot amount with respect to the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels,
The inhibition amount measuring unit includes a first inhibition amount measuring unit configured to measure the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold value. Processing equipment.

Has a specific image area detector for detecting a specific image region representing the skin or achromatic color,
The inhibitory amount measuring means, the image processing apparatus according to claim 1 or 2, characterized in that it is configured with a second inhibitory amount measuring means for measuring an inhibitory amount of sharpness of the specific image region.

In an image processing apparatus that corrects the sharpness of an input image based on a sharpness processing coefficient,
Differential image signal generation means for generating a differential image signal from the input image;
In the differential image signal, an overshoot amount / undershoot amount measuring means for measuring an overshoot amount or an undershoot amount with respect to the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels;
First inhibition amount measuring means for measuring an inhibition amount of sharpness based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold;
Intensity value measuring means for measuring the intensity value of sharpness in the region in the differential image signal;
Sharpness processing coefficient determining means for determining a sharpness processing coefficient based on the inhibition amount and the intensity value;
An image processing apparatus comprising:

A specific image area detector for detecting a specific image region representing the skin or achromatic color,
The image processing apparatus according to claim 4 , further comprising a second inhibition amount measuring unit that measures an inhibition amount of sharpness of the specific image region.

A lightness / luminance signal converting means for converting the input image into an image signal including at least a perceptually equal lightness or luminance signal;
The differential image signal generation means, according to any one of claims 1 to 5, wherein said generating a differential image signal based on the converted the image signal by the lightness and brightness signal converting means Image processing device.

The differential image signal generation means divides a decoy image signal obtained by deciphering the input image or image signal from the input image or the image signal to generate the differential image signal. The image processing apparatus according to any one of claims 1 to 6 .

The image processing apparatus according to any one of claims 1 to 7 ,
The inhibition amount and / or the intensity value is measured again for the image signal obtained as a result of correcting the sharpness based on the sharpness processing coefficient determined by the sharpness processing coefficient determination means, and the inhibition amount and / or An image processing apparatus that repeats determining a sharpness processing coefficient based on an intensity value at least once.

In an image processing method for correcting the sharpness of an input image based on a sharpness processing coefficient,
A differential image signal generation step of generating a differential image signal from the input image;
An inhibitory amount measuring step for measuring an inhibitory amount of sharpness from the differential image signal;
A sharpness processing coefficient determination step for determining a sharpness processing coefficient based on the amount of inhibition;
In the differential image signal, an overshoot amount / undershoot amount measurement step for measuring an overshoot amount or an undershoot amount with respect to the surrounding pixels in a region including a pixel having a sharpness intensity value larger than that of the surrounding pixels,
The image processing method, wherein the inhibition amount measuring step includes a step of measuring the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold value .

In an image processing method for correcting the sharpness of an input image based on a sharpness processing coefficient,
A differential image signal generation step of generating a differential image signal from the input image;
An inhibitory amount measuring step for measuring an inhibitory amount of sharpness from the differential image signal;
An intensity value measuring step for measuring an intensity value of sharpness from the differential image signal;
A sharpness processing coefficient determination step for determining a sharpness processing coefficient based on the inhibition amount and the intensity value;
In the differential image signal, an overshoot amount / undershoot amount measurement step for measuring an overshoot amount or an undershoot amount with respect to the surrounding pixels in a region including a pixel having a sharpness intensity value larger than that of the surrounding pixels,
The image processing method, wherein the inhibition amount measuring step includes a step of measuring the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold value .

Has a specific image area detection step of detecting the specific image region representing the skin or achromatic color,
11. The image processing method according to claim 9, wherein the inhibition amount measurement step includes a second inhibition amount measurement step of measuring a sharpness inhibition amount of the specific image region.

In an image processing method for correcting the sharpness of an input image based on a sharpness processing coefficient,
A differential image signal generation step of generating a differential image signal from the input image;
In the differential image signal, an overshoot amount / undershoot amount measurement step for measuring an overshoot amount or an undershoot amount for the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels;
A first inhibition amount measuring step for measuring an inhibition amount of sharpness based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold;
An intensity value measuring step for measuring an intensity value of sharpness in the region in the differential image signal;
A sharpness processing coefficient determination step for determining a sharpness processing coefficient based on the inhibition amount and the intensity value;
An image processing method comprising:

A specific image area detection step of detecting the specific image region representing the skin or achromatic color,
The image processing method according to claim 12 , further comprising a second inhibition amount measuring step of measuring an inhibition amount of sharpness of the specific image region.

A lightness / luminance signal conversion step of converting the input image into an image signal including a lightness or luminance signal that is at least perceptually equivalent;
The differential image signal generating step, according to any one of claims 9 to 13, wherein the generating a differential image signal based on the converted the image signal by the lightness and brightness signal converting means Image processing method.

The differential image signal generation step divides a decoy image signal obtained by deciphering the input image or the image signal from the input image or the image signal to generate the differential image signal. The image processing method according to any one of claims 9 to 14 .

The image processing method according to any one of claims 9 to 15 ,
The inhibition amount and / or the intensity value is measured again for the image signal obtained as a result of correcting the sharpness based on the sharpness processing coefficient determined in the sharpness processing coefficient determination step, and the inhibition amount and / or An image processing method characterized by repeating the determination of a sharpness processing coefficient based on an intensity value at least once.

In a program for causing a computer incorporated in an image processing apparatus to correct the sharpness of an input image based on a sharpness processing coefficient,
Differential image signal generation processing for generating a differential image signal from the input image;
An inhibition amount measurement process for measuring an inhibition amount of sharpness from the differential image signal;
Sharpness processing coefficient determination processing for determining a sharpness processing coefficient based on the amount of inhibition;
In the differential image signal, an overshoot amount / undershoot amount measurement process for measuring an overshoot amount or an undershoot amount with respect to the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels is performed on the computer. to be executed,
The inhibition amount measurement processing causes the computer to measure the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold .

In a program for causing a computer incorporated in an image processing apparatus to correct the sharpness of an input image based on a sharpness processing coefficient,
Differential image signal generation processing for generating a differential image signal from the input image;
An inhibition amount measurement process for measuring an inhibition amount of sharpness from the differential image signal;
Intensity value measurement processing for measuring the intensity value of sharpness from the differential image signal;
A sharpness processing coefficient determination process for determining a sharpness processing coefficient based on the inhibition amount and the intensity value;
In the differential image signal, an overshoot amount / undershoot amount measurement process for measuring an overshoot amount or an undershoot amount with respect to the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels is performed on the computer. to be executed,
The inhibition amount measurement processing causes the computer to measure the inhibition amount based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold .

The specific image region detection processing for detecting the specific image region representing the skin and achromatic color is executed in the computer,
The program according to claim 17 or 18 , wherein the inhibition amount measurement processing causes the computer to measure an inhibition amount of sharpness of the specific image region.

In a program for causing a computer incorporated in an image processing apparatus to correct the sharpness of an input image based on a sharpness processing coefficient,
Differential image signal generation processing for generating a differential image signal from the input image;
In the differential image signal, an overshoot amount / undershoot amount measurement process for measuring an overshoot amount or an undershoot amount for the peripheral pixels in a region including a pixel having a sharpness intensity value larger than that of the peripheral pixels;
A first inhibition amount measurement process for measuring an inhibition amount of sharpness based on the overshoot amount or the undershoot amount that is equal to or greater than a predetermined threshold;
An intensity value measurement process for measuring an intensity value of sharpness in the region in the differential image signal;
A sharpness processing coefficient determination process for determining a sharpness processing coefficient based on the inhibition amount and the intensity value;
For causing the computer to execute.

A specific image area detection processing for detecting the specific image region representing the skin or achromatic color,
21. The program according to claim 20 for causing the computer to execute a second inhibition amount measurement process for measuring an inhibition amount of sharpness of the specific image region.

Causing the computer to execute a lightness / luminance signal conversion process for converting the input image into an image signal including at least a perceptually equal lightness or luminance signal;
The differential image signal generation process, any one of claims 17, characterized in that to said differential image signal based on the converted the image signal by the lightness and brightness signal converting means generates said computer 21 The program described in.

The differential image signal generation processing divides a decoy image signal obtained by deciphering the input image or image signal from the input image or the image signal, and causes the computer to generate the differential image signal. The program according to any one of claims 17 to 22 , wherein

In the program according to any one of claims 17 to 23 ,
The inhibition amount and / or the intensity value is measured again for the image signal as a result of correcting the sharpness based on the sharpness processing coefficient determined in the sharpness processing coefficient determination processing, and the inhibition amount and / or A program characterized by repeating the determination of a sharpness processing coefficient based on an intensity value at least once.

A recording medium on which the program according to any one of claims 17 to 24 is recorded.