WO2017006401A1

WO2017006401A1 - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: WO2017006401A1
Application number: PCT/JP2015/069322
Authority: WO
Inventors: 日淑江崎
Original assignee: オリンパス株式会社
Priority date: 2015-07-03
Filing date: 2015-07-03
Publication date: 2017-01-12
Also published as: JPWO2017006401A1; US20180096470A1

Abstract

エッジの途切れや不自然なエッジ強調を抑制し、自然にエッジを強調した良好な画像を得る。入力画像に対して、注目画素と該注目画素を中心とする周辺画素とに基づいて画素毎に差分値を算出する差分値算出手段（２）と、差分値の平均値に基づいて、入力画像の各画素に対する強度値を算出する際の基準となる基準値を算出する基準値算出手段（３）と、基準値を用いて、強度値を算出する強度補正式を生成する強度補正式生成手段（４）と、強度補正式に基づいて、画素毎の強度値を算出する強度値算出手段（５）と、強度値を入力画像の対応する画素の画素値に加算して合成画像を生成する合成手段（６）と、を備えた画像処理装置を提供する。

Description

画像処理装置、画像処理方法及び画像処理プログラム

　本発明は、画像処理装置、画像処理方法及び画像処理プログラムに係り、特に、エッジの強調を行う画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

　従来、画像の輪郭成分を強調するいわゆるエッジ強調処理を行うことにより画質を向上させる画像処理装置が種々提案されている。
　例えば、特許文献１には、互いに異なる周波数帯域において得られた各画像に対して、予め定めたコントラストに応じた補正曲線を適用して夫々ゲイン調整を行い、各周波数帯域に係る画像に対する処理結果を統合してエッジ強調処理を行う画像処理装置が開示されている。

特開２０１４－１１０６２４号公報

　しかしながら、上記した特許文献１に記載の画像処理装置では、検出されたエッジ成分に対して、予め定めた補正曲線を適用して画一的にゲイン調整を行っている。ところが、画像処理対象の画像はコントラスト等その特性が必ずしも同一でなく、全ての入力画像に対して予め定めた同一の補正曲線を適用したゲイン調整では、所望のエッジ強調処理を行うことができず、ノイズを強調する等不自然な強調やエッジの途切れなどが生じる虞がある。

　本発明は、上述した事情に鑑みてなされたものであって、エッジの途切れや不自然なエッジ強調を抑制し、自然にエッジを強調した良好な画像を得ることを目的とする。

　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の一態様は、入力画像に対して、注目画素と該注目画素を中心とする周辺画素とに基づいて画素毎に差分値を算出する差分値算出手段と、前記差分値の平均値に基づいて、前記入力画像の各画素に対する強度値を算出する際の基準となる基準値を算出する基準値算出手段と、前記基準値を用いて、前記強度値を算出する強度補正式を生成する強度補正式生成手段と、前記強度補正式に基づいて、前記画素毎の強度値を算出する強度値算出手段と、前記強度値を前記入力画像の対応する画素の画素値に加算して合成画像を生成する合成手段と、を備えた画像処理装置を提供する。

　本発明によれば、入力画像に対して、注目画素と該注目画素を中心とする周辺画素とに基づいて画素毎に差分値を算出し、差分値の平均値に基づいて基準値を算出する。ここで、基準値とは、入力画像の各画素に対する強度値を算出する際の基準となる値である。そして、算出された基準値を用いて、強度補正式を生成し、強度補正式に基づいて画素毎に強度値を算出し、得られた強度値を入力画像の対応する画素の画素値に加算して合成画像を生成する。

　この場合において、差分値を算出することで、差分値の大きさによって、注目画素がエッジであるか否か、或いは注目画素の極めて周辺にエッジがあるか否か等の入力画像の特徴を把握することができる。そして、差分値の平均値に基づいて強度値を求める際の基準となる基準値を算出し、基準時に基づいて強度補正式を生成するので、入力画像に応じた画像処理を行うためのパラメータを得ることができる。ここで、強度値とは、入力画像の各画素に対して画素毎に算出され、入力画像に対してエッジ強調処理を行う際の強弱の程度を示す値である。従って、このようにして生成された強度補正式から算出された強度値を、画素毎に入力画像の対応する画素値に加算して合成画像を生成することで、エッジの途切れや不自然なエッジ強調を抑制し、自然にエッジを強調した良好な画像を得ることができる。

　上記発明においては、前記基準値算出手段が、前記入力画像におけるノイズ量又は若しくはコントラスト値又は前記入力画像中の所定の領域についてのノイズ量若しくはコントラスト値のうち、少なくとも１つに基づいて前記基準値を補正することが好ましい。
　このようにすることで、ノイズ量やコントラスト値に応じた画像処理を行うことができる。

　上記発明においては、前記基準値算出手段が、前記入力画像の大きさ及び該入力画像の撮像時のＩＳＯ感度情報の少なくとも１つに基づいて前記基準値を補正することが好ましい。
　このようにすることで、入力画像に応じた画像処理を行うことができる。

　上記発明においては、前記強度補正式生成手段が、前記差分値が前記基準値よりも小さい程前記強度値が小さくなり、かつ、前記差分値が前記基準値よりも大きい程前記強度値が小さくなる強度補正式を生成することが好ましい。
　このようにすることで、入力画像に応じて、エッジを強調すべき画素及びエッジを強調することが好ましくない画素の双方に適切な画像処理を行うための強度値を算出することができる。

　上記発明においては、前記入力画像が、元画像に対してローパスフィルタによる処理を施した画像であることが好ましい。
　このようにすることで、高周波を保存し、その特性を維持したまま良好にエッジを強調することができる。

　また、本発明の他の態様は、入力画像に対して、注目画素と該注目画素を中心とする周辺画素とに基づいて画素毎に差分値を算出する差分値算出ステップと、前記差分値の平均値に基づいて、前記入力画像の各画素に対する強度値を算出する際の基準となる基準値を算出する基準値算出ステップと、前記基準値を用いて、前記強度値を算出する強度補正式を生成する強度補正式生成ステップと、前記強度補正式に基づいて、前記画素毎の強度値を算出する強度値算出ステップと、前記強度値を前記入力画像の対応する画素の画素値に加算して合成画像を生成する合成ステップと、を備えた画像処理方法を提供する。

　また、本発明の他の態様は、入力画像に対して、注目画素と該注目画素を中心とする周辺画素とに基づいて画素毎に差分値を算出する差分値算出ステップと、前記差分値の平均値に基づいて、前記入力画像の各画素に対する強度値を算出する際の基準となる基準値を算出する基準値算出ステップと、前記基準値を用いて、前記強度値を算出する強度補正式を生成する強度補正式生成ステップと、前記強度補正式に基づいて、前記画素毎の強度値を算出する強度値算出ステップと、前記強度値を前記入力画像の対応する画素の画素値に加算して合成画像を生成する合成ステップと、をコンピュータに実行させる画像処理プログラムを提供する。

　本発明によれば、エッジの途切れや不自然なエッジ強調を抑制し、自然にエッジを強調した良好な画像を得ることができるという効果を奏する。

本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。本発明の一実施形態に係る画像処理装置の差分値算出部におけるｓｏｂｅｌフィルタの一例を示す図である。本発明の一実施形態に係る画像処理装置の差分値算出部におけるｓｏｂｅｌフィルタの一例を示す図である。本発明の一実施形態に係る画像処理装置の強度補正式生成部により得られる横軸を差分値、縦軸を重み係数とした強度値補正グラフである。強度補正に関するグラフの例である。強度補正に関するグラフの例である。強度補正に関するグラフの例である。強度補正に関するグラフの例である。強度補正に関するグラフの例である。強度補正に関するグラフの例である。基準値が±の値を持つ場合における強度補正に関するグラフの例である。本発明の一実施形態に画像処理装置において、エッジ強調処理を行う際のフローチャートである。本発明の一実施形態に係る画像処理装置の変形例１の概略構成を示すブロック図である。本発明の一実施形態に係る画像処理装置の変形例２の概略構成を示すブロック図である。

　以下に、本発明の一実施形態に係る画像処理装置について図面を参照して説明する。
　図１に示すように、画像処理装置は、差分値算出部２、基準値算出部３、強度補正式生成部４、強度値算出部５、及び合成部６を備えている。

　差分値算出部２は、入力画像に対して、注目画素と該注目画素を中心とする周辺画素とに基づいて画素毎に差分値を算出する。
　入力画像について差分値を求める場合、差分値算出部２は、例えば、ｓｏｂｅｌフィルタを用いることにより画素毎に差分値を算出することができる。

　図２及び図３に、ｓｏｂｅｌフィルタの例を示す。図２及び図３において、ｓｏｂｅｌフィルタ３画素×３画素の縦をｆｉｌｔｅｒ＿Ｈ（ｐ，ｑ）とし、横をｆｉｌｔｅｒ＿Ｖ（ｐ，ｑ）として、下記の数式（１）及び数式（２）に従って、夫々注目画素に対して縦方向及び横方向の差分を算出する
　続いて、それぞれの結果の絶対値が大きい方の値をＥｄｇｅ（ｘ，ｙ）とする式である。Ｅｄｇｅ（ｘ，ｙ）は±の符号を持つ。Ｋｓはカーネル領域を表し、本実施形態においては、図２及び図３に示すように、Ｋｓは注目画素を含む３画素×３画素×の領域とする。

　続いて、以下の数式（３）に従って、注目画素に対して算出されたＳｏｂｅｌ＿Ｈ（ｘ，ｙ）及びＳｏｂｅｌ＿Ｖ（ｘ，ｙ）において絶対値が大きい方の値を差分値Ｅｄｇｅ（ｘ，ｙ）とする。差分値Ｅｄｇｅ（ｘ，ｙ）は±の符号を持つ。

　なお、ｓｏｂｅｌフィルタとして、図２及び図３に示す例に限られず、ｆｉｌｔｅｒ＿Ｖ（ｐ，ｑ），ｆｉｌｔｅｒ＿Ｈ（ｐ，ｑ）の係数が異なるものや、フィルタのサイズが異なるものを用いても良い。

　また、差分値算出部２は、以下の数式に示すように、ローカットフィルタを用いることによって差分値を算出することもできる。数式（４）に従ってＫｓ内の平均値Ａｖｅ（ｘ，ｙ）を算出し、数式（５）に従って入力画像Ｉｎ（ｘ，ｙ）から低周波成分であるＡｖｅ（ｘ，ｙ）を引くことで、高周波成分を含んだ符号付きの差分値Ｅｄｇｅ（ｘ，ｙ）を得ることができる。

　基準値算出部３は、差分値算出部２において算出された差分値の平均値に基づいて、前記入力画像の各画素に対する強度値を算出する際の基準となる基準値を算出する。
　具体的には、差分値算出部２において算出された差分値の平均値を基準値とすることができる。その他、平均値よりも予め定めた値だけ大きい値とすることができる。

　また、入力画像と共に当該入力画像を撮像した際のＩＳＯ感度情報を得ている場合には、例えば、ＩＳＯ感度情報がＩＳＯ１００よりも低い値を示す場合には、平均値よりも小さい値を基準値とするように補正することが好ましい。

　この他、入力画像におけるノイズ量又は入力画像中の所定の領域についてのノイズ量が所定の閾値よりも小さい場合には平均値より小さい値を基準値とするように、また入力画像におけるノイズ量又は入力画像中の所定の領域についてのノイズ量が所定の閾値よりも大きい場合には平均値よりも大きい値を基準値とするように補正することが好ましい。

　さらに、入力画像におけるコントラスト値又は入力画像中の所定の領域についてのコントラスト値が所定の閾値よりも低い場合には平均値より小さい値を基準値とするように、入力画像におけるコントラスト値又は入力画像中の所定の領域についてのコントラスト値が所定の閾値よりも高い場合には平均値より大きい値を基準値とするように補正することが好ましい。

　強度補正式生成部４は、基準値算出部において算出された基準値を用いて、強度値を算出するための強度補正式を生成する。つまり、強度補正式生成部４又は図示しない記憶部に記憶しておいたグラフ又は式に対して、基準値算出部において算出された基準値を適用することにより強度補正式を生成する。以下、基準値の符号がプラスの場合について説明する。例えば、予め正規分布に関する式を記憶しておき、これを用いて強度補正式を生成することができる。
　すなわち、以下の数式（６）において、μとして基準値を適用し、σとして予め定めた値を適用する。

　図４にμ＝１０、σ＝３の例を示す。つまり、正規分布の式にμ＝１０、σ＝３を適用することにより、図４に示すように、横軸を差分値、縦軸を重み係数とした強度値補正グラフを求める演算式である強度補正式を生成することができる。

　この他、図５Ａ～図５Ｆに強度補正に関するグラフの他の例を示す。図５Ａは、線形で左右対称のグラフであり、図５Ｂは線形で左右非対称のグラフである。図５Ｃは、基準値よりも図中左側が非線形で図中右側が線形のグラフであり、図５Ｄは、図中左側が線形で図中右側が非線形のグラフである。図５Ｅは、非線形で左右非対称であり、図５Ｆは非線形で左右対称である。

　このように、入力される画像の特性を把握して、強度補正グラフの形を決定し、強度値補正式を生成する。基準値が算出されることで、基準値を重み係数のピークとして、グラフ左右に様々な形の線形・非線形グラフを設定することができ、例えば、低周波成分に含まれるノイズやアーティファクトを防ぐことや、高周波成分の強調の抑制を行うことができる。なお、基準値が±の値を持つ場合は、図６のように、プラスの場合はプラスの重み係数、マイナスの値の場合はマイナスの重み係数が決まるような形にしても良い。

　強度値算出部５は、強度補正式生成部５により生成された強度補正式に基づいて、前記画素毎の強度値を算出する。
　すなわち、差分値算出部２から得られた差分値ｅｄｇｅ（ｘ，ｙ）を、強度補正式生成部４から得られた強度補正式に代入して重み係数を算出し、算出した重み係数を勘案して強度値を得る。但し、差分値がマイナスの場合は、絶対値をとって演算し、演算の終了後に符号を付ける。例えば、数式（６）にμ＝１０及びσ＝３を適用して得られた強度値補正式は、数式（７）のようになる。差分値ｅｄｇｅ（ｘ，ｙ）の符号によって、ｗｅｉｇｈｔの値の符号を算出する式を、数式（８）に示す。

　また、強度値算出部５において、予め定められた強調量の最大値ｌｉｍ＿ｍａｘ、最小値ｌｉｍ＿ｍｉｎを得て、強度補正式から演算された重み係数ｗｅｉｇｈｔと、重み係数がプラスの場合はｌｉｍ＿ｍａｘを、重み係数がマイナスの場合はｌｉｍ＿ｍｉｎの積をとり、入力画像に加算するための強度値Ａｄｄ（ｘ，ｙ）を決定する。

　但し、－１＜ｗｅｉｇｈｔ＜１である。

　合成部６は、強度値算出部５において算出された強度値を入力画像の対応する画素の画素値に加算して合成画像を生成する。
　つまり、強度値算出部５で算出された強度値Ａｄｄ（ｘ，ｙ）を、入力画像Ｉｎ（ｘ，ｙ）に画素毎に加算する。

　続いて、このように構成された画像処理装置によって実行される画像処理方法について図７のフローチャートに従って説明する。

　本実施形態に係る画像処理装置によって入力画像に対してエッジ強調処理を行うために、ステップＳ１において、差分値算出部２により、入力画像に対して、３画素×３画素のｓｏｂｅｌフィルタを適用することにより注目画素毎に差分値を算出する。
　続いて、ステップＳ２において、基準値算出部３により差分値の平均値を算出し、これを基準値とする。なお、入力画像の特徴（ノイズ量やコントラスト）や撮影環境（画像サイズ、ＩＳＯ感度など）の情報を用いて適宜基準値を補正してもよい。

　続いて、ステップＳ３において、強度補正式生成部４において、先のステップＳ３において算出された基準値を適用して強度補正式を生成する。ステップＳ４において、強度値算出部５において、強度補正式生成部４により生成された強度補正式に基づいて、入力画像の画素毎に強度値を算出し、合成部６へ出力する。ステップＳ５において、合成部６は、入力画像について画素毎に強度値を加算し、出力画像としての合成画像を生成する。

　このように、本実施形態における画像処理装置によれば、入力画像の画素毎に差分値を算出することで、差分値の大きさによって注目画素がエッジであるか等を判別し、差分値からエッジ強調処理の際の基準となる基準値を定めるので、入力画像の特性に応じた画像処理を行うためのパラメータを得ることができる。そして、この基準値を用いた強度補正式から算出された強度値を、画素毎に入力画像の対応する画素値に加算して合成画像を生成することで、エッジの途切れや不自然なエッジ強調を抑制し、自然にエッジを強調した良好な画像を得ることができる。

　（変形例１）
　上記した実施形態においては、入力画像に対して、そのまま差分値、基準値の算出等を行う構成としたが、これに限られるものでなく、例えば、入力画像に対してノイズ低減処理等を施した後に差分値算出部２に入力し、処理後の画像に対して差分値、基準値の算出等の処理を行う構成とすることもできる。

　この場合、例えば図８に示すように、画像処理装置は、入力画像に対して、前処理としてノイズ低減処理又は階調補正処理の少なくとも何れか一方を施す前処理部７を備え、前処理部において処理された画像を差分値算出部２に入力する構成とすることができる。

　差分値算出部２、基準値算出部３、強度補正式生成部４強度値算出部５及び合成部６については、上述した画像処理装置における処理と同様であるので、説明を省略する。
　なお、合成部６においては、前処理部７による処理前の入力画像の各画素に強度値を加算することにより合成画像を生成する。

　このように入力画像に対して前処理を行った後に差分値算出等の処理を行うことにより、上記した画像処理装置に比して、ノイズやコントラストの影響を受けにくく、より好ましい差分値を算出することができるので、より自然なエッジ強調処理を行うことができる。

　（変形例２）
　上記した実施形態においては、入力画像に対して、そのまま差分値、基準値の算出等を行う構成としたが、これに限られるものでない。例えば、入力画像に対してローパスフィルタ処理を施し、差分値算出部２において、入力画像と入力画像にローパスフィルタ処理を施した画像との差分を算出することにより差分値を算出することができる。

　本変形例では、図９に示すように、画像処理装置は、入力画像に対してローパスフィルタ処理を施すＬＰＦ部８を備え、ＬＰＦ部８により処理された画像を差分値算出部２に入力し、差分値算出部２において、入力画像と入力画像にローパスフィルタ処理を施した画像との差分を算出することにより差分値を算出する。
　また、強度値算出部５では、以下の数式（１１）に従って、強度補正式生成部により得られた強度補正式から得られた重み係数と差分値とを加算して、強度値を算出する。なお、重み係数は上記した数式（７）及び数式（８）に基づいて算出する。

　基準値算出部３、強度補正式生成部４、強度値算出部５及び合成部６については、上述した画像処理装置における処理と同様であるので、説明を省略する。
　なお、合成部６においては、ＬＰＦ部８によるローパスフィルタ処理後の画像の各画素に強度値を加算することにより合成画像を生成する。つまり、以下の数式（１２）に従って合成画像を生成する。

　このように入力画像にローパスフィルタ処理を施して得られた画像を用いて差分値算出等を行うことで、周波数の特性を大幅に変えることなく、より自然なエッジ強調を行うことができる。
　なお、上記した実施形態及びその変形例によって行われる画像処理を画像処理プログラムとして、専用又は汎用のコンピュータに実行させることも可能である。

　２　差分値算出部
　３　基準値算出部
　４　強度補正式生成部
　５　強度値算出部
　６　合成部
　７　前処理部
　８　ＬＰＦ部

Claims

　入力画像に対して、注目画素と該注目画素を中心とする周辺画素とに基づいて画素毎に差分値を算出する差分値算出手段と、
　前記差分値の平均値に基づいて、前記入力画像の各画素に対する強度値を算出する際の基準となる基準値を算出する基準値算出手段と、
　前記基準値を用いて、前記強度値を算出する強度補正式を生成する強度補正式生成手段と、
　前記強度補正式に基づいて、前記画素毎の強度値を算出する強度値算出手段と、
　前記強度値を前記入力画像の対応する画素の画素値に加算して合成画像を生成する合成手段と、
　を備えた画像処理装置。
　前記基準値算出手段が、前記入力画像におけるノイズ量若しくはコントラスト値又は前記入力画像中の所定の領域についてのノイズ量若しくはコントラスト値のうち、少なくとも１つに基づいて前記基準値を補正する請求項１記載の画像処理装置。
　前記基準値算出手段が、前記入力画像の大きさ及び該入力画像の撮像時のＩＳＯ感度情報の少なくとも１つに基づいて前記基準値を補正する請求項１記載の画像処理装置。
　前記強度補正式生成手段が、前記差分値が前記基準値よりも小さい程前記強度値が小さくなり、かつ、前記差分値が前記基準値よりも大きい程前記強度値が小さくなる強度補正式を生成する請求項１乃至請求項３の何れか１項記載の画像処理装置。
　前記入力画像が、元画像に対してローパスフィルタによる処理を施した画像である請求項１乃至請求項４の何れか１項記載の画像処理装置。
　入力画像に対して、注目画素と該注目画素を中心とする周辺画素とに基づいて画素毎に差分値を算出する差分値算出ステップと、
　前記差分値の平均値に基づいて、前記入力画像の各画素に対する強度値を算出する際の基準となる基準値を算出する基準値算出ステップと、
　前記基準値を用いて、前記強度値を算出する強度補正式を生成する強度補正式生成ステップと、
　前記強度補正式に基づいて、前記画素毎の強度値を算出する強度値算出ステップと、
　前記強度値を前記入力画像の対応する画素の画素値に加算して合成画像を生成する合成ステップと、
　を備えた画像処理方法。
　入力画像に対して、注目画素と該注目画素を中心とする周辺画素とに基づいて画素毎に差分値を算出する差分値算出ステップと、
　前記差分値の平均値に基づいて、前記入力画像の各画素に対する強度値を算出する際の基準となる基準値を算出する基準値算出ステップと、
　前記基準値を用いて、前記強度値を算出する強度補正式を生成する強度補正式生成ステップと、
　前記強度補正式に基づいて、前記画素毎の強度値を算出する強度値算出ステップと、
　前記強度値を前記入力画像の対応する画素の画素値に加算して合成画像を生成する合成ステップと、
　をコンピュータに実行させる画像処理プログラム。