JP5995704B2 - 画像処理装置及び画像処理方法並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関し、特に入力画像中のエッジ部分に発生するガタツキを滑らかに補正するエッジ平滑化処理に関するものである。本発明はまた、画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録した、コンピュータで読み取り可能な記録媒体に関する。

エッジ平滑化処理は、デジタルカメラ等で撮影された画像データに対して、エッジ部分のジャギーを減らす、あるいはエッジ上に乗っているノイズを除去する目的で用いられる。特許文献１中にはエッジ部分を平滑化する画像処理装置の構成が記載されている。

即ち、特許文献１の画像処理装置処理は、特許文献１中の図１に示されているように、エッジ検出処理部１２２、傾き検出フィルタ１２６、平滑化処理部１２３、平滑化フィルタ１２７及び基準傾き角データ１２８を有する。

傾き検出フィルタ１２６は特許文献１中の図２に示すような、角度毎の係数の２次元配列から構成されている。エッジ検出処理部１２２では、処理対象画素を中心とした周辺画素に対して、傾き検出フィルタ１２６を畳み込み演算して、角度毎に畳み込み演算結果を算出する。そして、検出角度毎の畳み込み演算結果の中で、予め定めた閾値を越えて、かつ最大となる畳み込み演算結果に対応する角度を、検出角度としている。

そして、平滑化フィルタ１２７も特許文献１中の図３に示すような、角度毎の係数の２次元配列から構成されている。平滑化処理部１２３では、処理対象画素を中心とした周辺画素に対して、平滑化フィルタ１２７の中で検出した角度に対応するフィルタを畳み込み演算し、畳み込み演算結果を平滑化後の画素値とする。また、基準傾き角データ１２８には平滑化処理を行わない角度を設定しておく。水平線あるいは垂直線はジャギーが発生しないため、平滑化処理が不要である。そこで基準傾き角データに、水平線に対応する０度、１８０度と垂直線に対応する９０度、２７０度を設定しておき、検出した角度が０度、９０度、１８０度あるいは２７０度の場合には、平滑化処理を実行しない。

特開２００５−１２２３６１号公報

特許文献１中の図１のように構成した従来の画像処理装置では、傾き検出フィルタ１２６の２次元配列の大きさが大きすぎると、長さが短いエッジの傾きを検出することが難しくなる。反対に、傾き検出フィルタ１２６の２次元配列の大きさが小さすぎると、ノイズをエッジとして検出してしまうという問題が生じる。

本発明は上記のような問題点を解決するためになされたものであり、ノイズをエッジと誤検出しないでエッジ平滑化処理を実現することを目的とする。

本発明に係る画像処理装置は、
入力画像中の処理対象画素を中心とする第１の範囲内の画素の画素値に基づいて、
Ｎ個(Ｎは８以上の整数)の方向の各々について第１のエッジ指標を算出し、算出された前記Ｎ個の方向の各々についての第１のエッジ指標のうちの最大のものを第１のエッジ強度として出力するとともに、前記第１のエッジ指標が最大となる方向を第１のエッジ方向として出力する第１のエッジ検出部と、
前記第１のエッジ検出部で算出された前記Ｎ個の方向についての前記第１のエッジ指標の平均値に対する比をピーク強度として算出するピーク強度算出部と、
前記入力画像中の前記処理対象画素を中心とし、前記第１の範囲よりも狭い第２の範囲内の画素に基づいてＭ個（Ｍは８以上の整数）の方向の各々について第２のエッジ指標を算出し、算出された前記Ｍ個の方向の各々についての前記第２のエッジ指標のうちの最大のものを第２のエッジ強度として出力する第２のエッジ検出部と、
前記第１のエッジ検出部からの前記第１のエッジ強度と、前記第２のエッジ検出部からの前記第２のエッジ強度と、前記ピーク強度算出部からの前記ピーク強度に基づいて、前記処理対象画素がエッジ箇所にあるか、エッジ以外の箇所にあるかの判定を行って判定結果を出力し、エッジ箇所にある場合には前記第１のエッジ方向を当該処理対象画素についてのエッジの方向として出力するエッジ判定部と
を備えたことを特徴とする。

本発明によれば、処理対象画素がエッジ箇所、及びエッジ以外の箇所のいずれにあるかの判定の誤りを少なくすることができ、エッジ箇所に対してのみエッジ平滑化を行うことで、画質の向上を図ることができる。

本発明の実施の形態１の画像処理装置の構成を示すブロック図である。 エッジ解析部に入力される処理対象画素とその周辺の画素のデータを示す図である。 （ａ）〜（ｃ）は、広範囲エッジ検出部における積和演算を示す図である。 方向（１）〜（４）の各々についての広範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。 方向（５）〜（８）の各々についての広範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。 方向（９）〜（１２）の各々についての広範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。 方向（１３）〜（１６）の各々についての広範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。 （ａ）〜（ｃ）は、狭範囲エッジ検出部における積和演算を示す図である。 方向（１）〜（８）の各々についての狭範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。 方向（９）〜（１６）の各々についての狭範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。 エッジ判定部で用いられる閾値を説明する図である。 実施の形態１のエッジ判定部での判定に用いられる規則を示す図である。 画素値補正部に入力される処理対象画素とその周辺の画素のデータを示す図である。 （ａ）〜（ｃ）は、エッジ平滑化処理の概略を示す図である。 図１の出力画素値算出部の構成例を示すブロック図である。 図１５の画素値選択部による選択処理を示す図である。 本発明の実施の形態２の画像処理装置の構成を示すブロック図である。 図１７の出力画素値算出部の構成例を示すブロック図である。 実施の形態２のエッジ判定部での判定に用いられる規則を示す図である。 図１８の画素値選択部による選択処理を示す図である。 本発明の実施の形態３の画像処理方法の処理手順を示すフローチャートである。 図２１のエッジ判定の処理手順の具体例を示すフローチャートである。 本発明の実施の形態４の画像処理方法の処理手順を示すフローチャートである。 図２３のエッジ判定の処理手順の具体例を示すフローチャートである。

実施の形態１．
図１は本発明の実施の形態１の画像処理装置１０の構成を示す。
図１に示される画像処理装置１０は、デジタルデータで表される入力画像に対して、エッジ部分を検出するものであり、一時記憶部１１、エッジ解析部２０及び画素値補正部３０を有する。

入力画像データＤｉｎはラスタスキャンの順に１ラインずつ一時記憶部１１に入力されて格納された後、所望のタイミングで読みだされ、出力される。一時記憶部１１は、複数ライン分、例えば１１ライン分の画像データを蓄え得るものである。

一時記憶部１１から出力された入力画像データＤ１１はエッジ解析部２０に送られ、エッジ解析部２０でエッジ方向ＥＧＤ及びエッジ判定結果ＥＪＲが求められる。エッジ方向ＥＧＤ及びエッジ判定結果ＤＪＲは、入力画像データＤ１１とともに画素値補正部３０に送られ、画素値補正部３０で出力画像データＤ３０が生成される。

エッジ解析部２０は、広範囲エッジ検出部２１、広範囲エッジ検出フィルタ係数保持部２２、ピーク強度算出部２３、狭範囲エッジ検出部２４、狭範囲エッジ検出フィルタ係数保持部２５、標準偏差算出部２６及びエッジ判定部２７を有する。

エッジ解析部２０に入力された入力画像データＤ１１中の処理対象画素とその周辺の画素のデータ（画素値を表すデータ）が、広範囲エッジ検出部２１、狭範囲エッジ検出部２４及び標準偏差算出部２６に送られる。

図２は、広範囲エッジ検出部２１、狭範囲エッジ検出部２４及び標準偏差算出部２６のそれぞれに送られる入力画像データ中の処理対象画素とその周辺の画素のデータを示す。
図２に示すように、広範囲エッジ検出部２１には、処理対象画素を中心にして、第１の範囲内の画素、例えば周辺の左右、上下５画素ずつの計１１×１１画素のデータが送られる。

狭範囲エッジ検出部２４には、処理対象画素を中心にして、上記第１の範囲よりも狭い第２の範囲内の画素、例えば、周辺の左右、上下１画素ずつの計３×３画素のデータが送られる。
標準偏差算出部２６には、処理対象画素を中心にして、第３の範囲内の画素、例えば、周辺の左右、上下１画素ずつの計３×３画素のデータが送られる。

広範囲エッジ検出部２１は、一時記憶部１１からの、上記の１１×１１画素のデータと、広範囲エッジ検出フィルタ係数保持部２２から供給される広範囲エッジ検出フィルタ係数ＫＷから、広範囲エッジ検出結果としての広範囲エッジ強度ＡＷｍｘ及び広範囲エッジ方向ｎｅを算出する。

広範囲エッジ検出部２１は、複数の、例えば１６個の方向（第１乃至第１６の方向）の各々についての広範囲エッジ指標を求めるものであり、上記の１１×１１画素の画素値と、複数組の、例えば１６組のフィルタ係数との積和演算を行って、１６個の積和演算結果を求め、それぞれの積和演算結果の絶対値を、それぞれの方向の広範囲エッジ指標ＡＷ_ｎとして出力する。１６個の方向は、水平右方向を０度とし、０度方向から３３７．５度方向までの２２．５度刻みの方向である。

広範囲エッジ検出部２１による積和演算の概要を図３（ａ）〜（ｃ）に示す。
図３（ａ）は、処理対象画素（○印で示す）を中心とする１１×１１画素を示す。各画素の画素値は、処理対象画素の位置を原点とする座標（ｘ，ｙ）を用い、Ｐ（ｘ，ｙ）で表される。ｘの値は左右方向に１画素間隔を単位として変化し、ｙの値は上下方向に１画素間隔を単位として変化する。以下同様である。

図３（ｂ）は、その（１）〜（１６）に、第１乃至第１６の方向の各々の狭範囲エッジ指標ＡＮ_ｍの算出に用いられる１６組のフィルタ係数ＫＷ_１〜ＫＷ_１６の概要を示す。
各組のフィルタ係数ＫＷ_ｎ（ｎは１乃至１６のいずれか）は、図３（ａ）の１１×１１画素にそれぞれ対応する、１１×１１個のフィルタ係数（要素）を持つ。図３（ｂ）で、白色の部分は正の係数を、黒色の部分は負の係数を、ハッチングを施した部分は値が０の係数を示す。座標（ｘ，ｙ）の画素に対応するフィルタ係数の値はＫＷ_ｎ（ｘ,ｙ）で表される。

図４〜図７は、それらの（１）〜（１６）に第１乃至第１６のフィルタ係数ＫＷ_１〜ＫＷ_１６の具体例を示す。各組のフィルタ係数は１１×１１の２次元マトリクスを構成し、各マスが、１１×１１画素範囲内の座標（ｘ，ｙ）に対応し、各マス内に記入された数値と各マトリクスの右側に記載された分数を掛けた値が、当該マスの位置に対応する座標（ｘ，ｙ）の画素の画素値に乗算される係数となる。各マス内の数値は相対的な大きさを表す整数であり、右側の分数を掛けるのは、組相互間で係数の絶対値の総和が同じ値、具体的には１となるようにするためである。座標（ｘ，ｙ）の画素に乗算される係数はＫＷ_ｍ（ｘ，ｙ）で表される。

図３(ａ)に示される１１×１１画素の画素値と、図３（ｂ）の（１）〜（１６）、より具体的には、図４〜図７の（１）〜（１６）の各々に示される各組のフィルタ係数ＫＷ_ｎ（ｘ,ｙ）とを用いて、図３（ｃ）に示すように、積和演算が行われる。積和演算は式（１）で表される。

式（１）において、
ＫＷ_ｎ（ｘ，ｙ）は第ｎのフィルタ係数の組の座標（ｘ，ｙ）の係数の値を表す。ｎは１≦ｎ≦１６の範囲の整数である。
ＳＷ_ｎは第ｎのフィルタ係数の組を用いたときの積和演算結果である。

広範囲エッジ検出部２１は、上記の積和演算処理で求められた、すべての方向ｎについての積和演算結果ＳＷ_ｎの絶対値を、広範囲エッジ指標ＡＷ_ｎとし、さらに、すべての方向ｎについての広範囲エッジ指標ＡＷ_ｎのうちの最大値ＡＷｍｘ求めて、該最大値ＡＷｍｘを広範囲エッジ強度として出力する。

広範囲エッジ検出部２１はさらに、広範囲エッジ指標ＡＷ_ｎが最大値となる方向を表すｎの値ｎｅを求めて、広範囲エッジ方向を表すデータとして出力する。

ピーク強度算出部２３は、広範囲エッジ検出部２１から、すべての方向ｎについての広範囲エッジ指標ＡＷ_ｎと、広範囲エッジ強度ＡＷｍｘとを受け、すべての方向ｎについての広範囲エッジ指標の平均値ＡＷａｖを求め、さらに平均値ＡＷａｖに対する最大値ＡＷｍｘの比を求めてピーク強度ＰＲとして出力する。
平均値ＡＷａｖを求める演算は式（２Ａ）で表され、ピーク強度ＰＲを求める演算は式（２Ｂ）により表される。

狭範囲エッジ検出部２４は、一時記憶部１１からの、上記の３×３画素のデータと、狭範囲エッジ検出フィルタ係数保持部２５から供給される狭範囲エッジ検出フィルタ係数ＫＮから、狭範囲エッジ検出結果としての狭範囲エッジ強度ＡＮｍｘを算出する。

狭範囲エッジ検出部２４は、複数の、例えば１６個の方向（第１乃至第１６の方向）の各々についての狭範囲エッジ指標を求めるものであり、上記の３×３画素の画素値と、複数組の、例えば１６組のフィルタ係数との積和演算を行って、１６個の積和演算結果を求め、それぞれの積和演算結果の絶対値を、それぞれの方向の狭範囲エッジ指標ＡＮ_ｍとして出力する。１６個の方向は、水平右方向を０度とし、０度方向から３３７．５度方向までの２２．５度刻みの方向である。

狭範囲エッジ検出部２４による積和演算の概要を図８（ａ）〜（ｃ）に示す。
図８（ａ）は、処理対象画素（○印で示す）を中心とする３×３画素を示す。各画素の画素値は、処理対象画素の位置を原点とする座標（ｘ，ｙ）を用い、Ｐ（ｘ，ｙ）で表される。

図８（ｂ）は、その（１）〜（１６）に、第１乃至第１６の方向の各々の狭範囲エッジ指標ＡＮ_ｍの算出に用いられる１６組のフィルタ係数ＫＮ_１〜ＫＮ_１６の概要を示す。
各組のフィルタ係数ＫＮ_ｍ（ｍは１乃至１６のいずれか）は、図８（ａ）の３×３画素にそれぞれ対応する、３×３個のフィルタ係数を持つ。図８（ｂ）で白色の部分は正の係数を、黒色の部分は負の係数を、ハッチングを施した部分は値が０の係数を示す。

図９及び図１０は、それらの（１）〜（１６）に第１乃至第１６のフィルタ係数ＫＮ_１〜ＫＮ_１６の具体例を示す。各組のフィルタ係数は３×３の２次元マトリクスを構成し、各マスが、３×３画素範囲内の座標（ｘ，ｙ）に対応し、各マス内に記入された数値と各マトリクスの右側に記載された分数を掛けた値が、当該マスの位置に対応する座標（ｘ，ｙ）の画素の画素値に乗算される係数となる。各マス内の数値は相対的な大きさを表す整数であり、右側の分数を掛けるのは、組相互間で係数の絶対値の総和が同じ値、具体的には１となるようにするためである。座標（ｘ，ｙ）の画素に乗算される係数はＫＮ_ｍ（ｘ，ｙ）で表される。

図８(ａ)に示される３×３画素の画素値と、図８（ｂ）の（１）〜（１６）、より具体的には、図９及び図１０の（１）〜（１６）の各々に示される各組のフィルタ係数ＫＮ_ｍ（ｘ,ｙ）とを用いて、図８（ｃ）に示すように、積和演算が行われる。積和演算は式（３）で表される。

式（３）において、
ＫＮ_ｍ（ｘ，ｙ）は第ｍのフィルタ係数の組の座標（ｘ，ｙ）の係数の値を表す。ｍは１≦ｍ≦１６の範囲の整数である。
ＳＮ_ｍは第ｍのフィルタ係数の組を用いたときの積和演算結果である。

狭範囲エッジ検出部２４は、上記の積和演算処理で求められた、すべての方向ｍについての積和演算結果ＳＮ_ｍの絶対値を、狭範囲エッジ指標ＡＮ_ｍとし、さらに、すべての方向ｍについての狭範囲エッジ指標ＡＮ_ｍのうちの最大値ＡＮｍｘを求めて、該最大値ＡＮｍｘを狭範囲エッジ強度として出力する。

標準偏差算出部２６は、一時記憶部１１からの、上記の３×３画素の範囲内の画素のデータから標準偏差ＳＤを算出する。標準偏差ＳＤは、下記の式（４）で求められる。

式（４）において、Ｐａｖａは、画素値Ｐ(ｘ，ｙ)の、３×３画素の範囲にわたる平均値であり、下記の式（５）で求められる。

エッジ判定部２７は、広範囲エッジ検出部２１からの広範囲エッジ検出結果としての広範囲エッジ強度ＡＷｍｘ及び広範囲エッジ方向ｎｅと、ピーク強度算出部２３からのピーク強度ＰＲと、狭範囲エッジ検出部２４からの狭範囲エッジ検出結果としての狭範囲エッジ強度ＡＮｍｘと、標準偏差算出部２６からの標準偏差ＳＤとに基づいて、処理対象画素がエッジ箇所にあるか、平坦な箇所にあるか、それら以外の箇所にあるかの判定を行って、この判定の結果をエッジ判定結果ＥＪＲとして出力するとともに、エッジ箇所にあると判定した場合には、エッジの方向を示すデータＥＧＤも出力する。

エッジ判定結果ＥＪＲの生成のため、エッジ判定部２７は、広範囲エッジ強度ＡＷｍｘ、狭範囲エッジ強度ＡＮｍｘ、標準偏差ＳＤ及びピーク強度ＰＲと、それぞれの閾値ＡＷｔｈ、ＡＮｔｈ、ＳＤｔｈ、ＰＲｔｈとの比較を行う。比較に用いられる閾値を図１１に示し、判定で用いられる規則を図１２に示す。閾値ＡＷｔｈ、ＡＮｔｈ、ＳＤｔｈ、ＰＲｔｈは、それぞれ特許請求の範囲における「第１の閾値」、「第２の閾値」、「第４の閾値」、「第３の閾値」に対応する。

エッジ判定部２７による判定の方法について図１２を参照して説明する。
最初に、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ未満の場合には、エッジ箇所ではなく、平坦箇所及びその他の箇所のいずれかであると判定する。これは、処理対象画素を中心にして広い範囲を参照したときに、エッジ強度が十分大きくないためエッジと判定しないようにしている。
この場合、標準偏差ＳＤを参照し、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ未満の場合には、平坦箇所と判定し、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ以上の場合には、その他の箇所と判定する。

次に、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上の場合には、狭範囲エッジ強度ＡＮｍｘを参照する。狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ未満の場合には、エッジ箇所と判定する。この場合は、処理対象画素を中心にして広い範囲を参照したときにエッジ強度が十分大きく、かつ狭い範囲を参照したときにエッジ強度が小さい状態であり、エッジ箇所と判定してエッジ平滑化処理を行うことで、狭い範囲でのエッジを強調するように作用する。

さらに、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上で、かつ狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ以上の場合には、ピーク強度ＰＲを参照して、エッジ箇所か否かを判定する。ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ以上の場合には、エッジ箇所と判定する。一方、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ未満の場合には、標準偏差ＳＤを参照して平坦箇所かその他の箇所であるかを判定する。即ち、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ未満の場合には平坦箇所と判定し、標準偏差閾値ＳＤｔｈ以上の場合にはその他の箇所と判定する。

エッジ判定部２７は、上記のようにして得られた判定の結果ＥＪＲを出力する。
エッジ判定部２７はさらに、上記のエッジ判定により、エッジ箇所と判定した場合には、広範囲エッジ検出結果のエッジ方向（広範囲エッジ方向）ｎｅを、そのまま当該処理対象画素についてのエッジ方向ＥＧＤとして出力する。
判定の結果ＥＪＲ及びエッジ方向ＥＧＤは、画素値補正部３０に伝えられる。

画素値補正部３０は、エッジ平滑化処理部３１、エッジ平滑化フィルタ係数保持部３２、平均画素値算出部３３及び出力画素値算出部３４を有する。
画素値補正部３０では、入力画像データＤ１１中の処理対象画素とその周辺の画素のデータが、エッジ平滑化処理部３１、平均画素値算出部３３及び出力画素値算出部３４に送られる。

図１３は、エッジ平滑化処理部３１、平均画素値算出部３３及び出力画素値算出部３４のそれぞれに送られる入力画像データ中の処理対象画素とその周辺の画素のデータを示す。
図１３に示すように、エッジ平滑化処理部３１には、処理対象画素を中心にして第４の範囲内の画素、例えば周辺の左右、上下１画素ずつの計３×３画素のデータが送られる。
図１３に示すように、平均画素値算出部３３には、処理対象画素を中心にして第５の範囲内の画素、例えば周辺の左右、上下１画素ずつの計３×３画素のデータが送られる。
出力画素値算出部３４には、処理対象画素のみが送られる。

エッジ平滑化処理部３１は、一時記憶部１１からの、上記の３×３の範囲（第４の範囲）の画素の画素値と、エッジ平滑化フィルタ係数保持部３２から供給される、エッジ平滑化フィルタ係数ＫＳと、エッジ判定部２７から供給されるエッジ方向ｎｅに基づいて、エッジ平滑化結果ＳＳを算出する。

エッジ平滑化処理部３１は、エッジ平滑化フィルタ係数保持部３２から供給される複数組の、例えば１６組のエッジ平滑化フィルタ係数ＫＳ_１〜ＫＳ_１６のうちの、エッジ方向ｎｅに対応するものＫＳ_ｎｅを選択し、一時記憶部１１からの３×３画素の画素値と、選択されたフィルタ係数ＫＳ_ｎｅとの積和演算を行って、積和演算結果を、エッジ平滑化結果（エッジ平滑化画素値）ＳＳとして出力する。

１６組のエッジ平滑化フィルタ係数ＫＳ_１〜ＫＳ_１６は、それぞれ１６個の方向（第１乃至第１６の方向）での平滑化を行うためのものである。
１６個の方向は、水平右方向を０度とし、０度方向から３３７．５度方向までの２２．５度刻みの方向であり、広範囲エッジ検出部２１で、広範囲エッジ検出フィルタ係数ＫＷ_１〜ＫＷ_１６を用いて算出されるそれぞれの広範囲エッジ指標ＡＷ_ｎの方向ｎと同じである。

エッジ平滑化処理部３１による積和演算処理の概要を図１４（ａ）〜（ｃ）に示す。
図１４（ａ）は、処理対象画素（○印で示す）を中心とする３×３画素を示す。各画素の画素値は、処理対象画素の位置を原点とする座標（ｘ，ｙ）を用い、Ｐ（ｘ，ｙ）で表される。

図１４（ｂ）は、その（１）〜（１６）に、第１乃至第１６の方向のエッジ平滑化処理に用いられるフィルタ係数ＫＳ_１〜ＫＳ_１６の例を示す。
各組のフィルタ係数ＫＳ_ｎ（ｎは１乃至１６のいずれか）は、図１４（ａ）の３×３画素にそれぞれ対応する、３×３個のフィルタ係数を持つ。図１４（ｂ）で、黒丸の部分は値が１／３であるフィルタ係数を表し、無印の部分は値が０のフィルタ係数を表す。座標（ｘ，ｙ）の画素に対応するフィルタ係数の値はＫＳ_ｎ（ｘ,ｙ）で表される。

図１４(ａ)に示される３×３画素の画素値と、図１４（ｂ）の（１）〜（１６）に示される１６組のフィルタ係数ＫＳ_１（ｘ,ｙ）〜ＫＳ_１６（ｘ,ｙ）のうちの選択されたもの、即ち検出されたエッジの方向に対応する第ｎｅの組のフィルタ係数ＫＳ_ｎｅ（ｘ,ｙ）とを用いて、図１４（ｃ）に示すように、積和演算が行われる。積和演算は式（６）で表される。

式（６）において、
ＫＳ_ｎｅ（ｘ，ｙ）は第ｎｅのエッジ平滑化フィルタ係数の組の、座標（ｘ，ｙ）の係数の値を表している。ｎｅは１≦ｎｅ≦１６の範囲内の整数である。
ＳＳは積和演算結果であり、この値がエッジ平滑化結果となる。

平均画素値算出部３３は、一時記憶部１１からの、上記の３×３画素のデータの平均値Ｐａｖｂを算出し、算出した平均値（平均画素値）を、二次元平滑化結果Ｐａｖｂとして出力する。平均値の算出は上記の式（５）と同様の下記の式（７）、即ち、式（５）のＰａｖａをＰａｖｂで置き換えた式で表される。

出力画素値算出部３４は、図１５に示すように、画素値選択部３４１と画素値合成部３４２を有する。
画素値選択部３４１は、エッジ判定部２７からのエッジ判定結果ＥＪＲを参照して、エッジ平滑化結果ＳＳ、二次元平滑化結果Ｐａｖｂ、及び処理対象画素の画素値Ｐｏｒｇのいずれかを選択して中間出力画素値Ｐｍｉｄとして出力する。選択の規則は図１６に示されている。即ち、エッジ判定結果ＥＪＲがエッジ箇所であることを示す場合にはエッジ平滑化結果ＳＳが選択され、エッジ判定結果ＥＪＲが平坦箇所を示す場合には二次元平滑化結果Ｐａｖｂが選択され、エッジ判定結果ＥＪＲがその他の箇所を示す場合には処理対象画素の画素値Ｐｏｒｇが選択される。

画素値合成部３４２は、中間出力画素値Ｐｍｉｄと、処理対象画素の画素値Ｐｏｒｇとを、式（８）に従って合成乃至混合し、出力画素値Ｐｏｕｔを求めて出力する。式（８）中のＳｔｒは出力画素値の合成比率（混合比）を表す。この合成比率Ｓｔｒの値は０〜１の間の値であり、予め定められ、或いは入力画像の特徴に応じて逐次定められる。

上記のようにして求められた出力画素値Ｐｏｕｔを表す出力画像データＤ３０が画素値補正部３０から出力される。

以上のように、広範囲エッジ強度、狭範囲エッジ強度、標準偏差及びピーク強度を参照することで、処理対象画素がエッジ箇所、平坦箇所及びそれら以外の箇所のいずれにあるかの判定を、少ない誤りで実現することができる。

そして、判定結果に従ってエッジ平滑化処理又は二次元平滑化処理を行い、あるいはいずれの平滑化も行わないことで、エッジ平滑化処理によってエッジが無い箇所の画質が劣化する、あるいは二次元平滑化処理によってエッジが有る箇所のエッジが鈍るといった問題を発生させることなく、エッジ平滑化処理を実現することができる。

実施の形態２．
図１７は本発明の実施の形態２の画像処理装置１５の構成を示す。
図１７に示される画像処理装置１５は、図１に示される画像処理装置１０と概して同じであるが、図１のエッジ解析部２０及び画素値補正部３０の代わりに、エッジ解析部２０ｂ及び画素値補正部３０ｂが設けられている点で異なる。

エッジ解析部２０ｂは、図１のエッジ解析部２０と概して同じであるが、標準偏差算出部２６が除去され、エッジ判定部２７の代わりに、エッジ判定部２７ｂが設けられている点で異なる。
エッジ解析部２０ｂの広範囲エッジ検出部２１、広範囲エッジ検出フィルタ係数保持部２２、ピーク強度算出部２３、狭範囲エッジ検出部２４及び狭範囲エッジ検出フィルタ係数保持部２５の動作は、実施の形態１と同様である。

実施の形態１では、エッジ判定部２７が図１２に示される規則に従ってエッジ箇所、平坦箇所及びその他の箇所のいずれであるかの判定をしているが、実施の形態２のエッジ判定部２７ｂは、図１９に示される規則に従ってエッジ箇所及びエッジ以外の箇所のいずれであるかの判定を行う。

エッジ判定部２７ｂによる判定の方法について図１９を参照して説明する。
最初に、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ未満の場合には、エッジ以外の箇所であると判定する。これは、処理対象画素を中心にして広い範囲を参照したときに、エッジ強度が十分大きくないためエッジと判定しないようにしている。

次に、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上の場合には、狭範囲エッジ強度ＡＮｍｘを参照する。狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ未満の場合には、エッジ箇所と判定する。この場合は、処理対象画素を中心にして広い範囲を参照したときにエッジ強度が十分大きく、かつ狭い範囲を参照したときにエッジ強度が小さい状態であり、エッジ箇所と判定してエッジ平滑化処理を行うことで、狭い範囲でのエッジを強調するように作用する。

最後に、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上で、かつ狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ以上の場合には、ピーク強度ＰＲを参照して、エッジ箇所か否かを判定する。ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ以上の場合には、エッジ箇所と判定する。一方、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ未満の場合にはエッジ以外の箇所と判定する。

エッジ判定部２７ｂは、上記のようにして得られた判定の結果を出力する。
エッジ判定部２７ｂはさらに、上記のエッジ判定により、エッジ箇所と判定した場合には、広範囲エッジ検出結果のエッジ方向（広範囲エッジ方向）ｎｅを、そのまま当該処理対象画素についてのエッジ方向ＥＧＤとして出力する。

図１７の画素値補正部３０ｂは、図１の画素値補正部３０と概して同じであるが、平均画素値算出部３３が除去されており、出力画素値算出部３４の代わりに、出力画素値算出部３４ｂが設けられている。
画素値補正部３０ｂのエッジ平滑化処理部３１及びエッジ平滑化フィルタ係数保持部３２の動作は、実施の形態１と同様である。

出力画素値算出部３４ｂは、図１８に示すように、画素値選択部３４１ｂと画素値合成部３４２を有する。出力画素値算出部３４ｂは出力画素値算出部３４と概して同じであるが、画素値選択部３４１の代わりに画素値選択部３４１ｂが設けられている。
実施の形態１の画素値選択部３４１は、図１６に示される規則に従って、エッジ平滑化結果、平均画素値算出結果及び処理対象画素のいずれか一つを選択して中間出力画素値Ｐｍｉｄとして出力しているが、実施の形態２の画素値選択部３４１ｂは、図２０に示される規則に従ってエッジ平滑化結果及び処理対象画素のいずれか一つを選択して中間出力画素値Ｐｍｉｄとして出力する。
即ち、画素値選択部３４１ｂは、エッジ判定部２７ｂからのエッジ判定結果ＥＪＲｂを参照して、エッジ判定結果ＥＪＲｂがエッジ箇所であることを示す場合にはエッジ平滑化結果ＳＳを、エッジ判定結果ＥＪＲｂがその他の箇所（エッジ箇所以外の箇所）であることを示す場合には処理対象画素の画素値Ｐｏｒｇを選択して中間出力画素値Ｐｍｉｄとして出力する。

図１８に示される画素値合成部３４２の動作は、図１５に示される、実施の形態１の画素値合成部３４２の動作と同様である。

上記のようにして求められた出力画素値Ｐｏｕｔを表す出力画像データＤ３０が画素値補正部３０から出力される。

以上のように、広範囲エッジ強度、狭範囲エッジ強度及びピーク強度を参照することで、処理対象画素がエッジ箇所、及びエッジ以外の箇所のいずれにあるかの判定を、少ない誤りで実現することができる。

そして、判定結果に従ってエッジ平滑化処理を行うか否かを選択することで、エッジ平滑化処理によってエッジが無い箇所の画質が劣化するような問題を発生させることなく、エッジ平滑化処理を実現することができる。

実施の形態３．
実施の形態１及び２では、本発明を画像処理装置として説明したが、上記の画像処理装置で実施される画像処理方法も本発明の一部を成す。
図２１は本発明の実施の形態３の画像処理方法の処理手順を示す。

図２１において、画像データ入力ステップＳＴ１０では、入力画像データを入力し、一時記憶部１１に書き込む。一時記憶部１１に書き込まれたデータは以下に説明するステップＳＴ１１、ＳＴ１４、ＳＴ１６〜ＳＴ１９で、処理対象画素及びその周辺の画素の画素値を表すデータとして利用される。

広範囲エッジ検出ステップＳＴ１１では、処理対象画素を中心とする第１の範囲、例えば１１×１１画素の範囲内の画素の画素値と、複数組の、例えば１６組の広範囲エッジ検出フィルタ係数ＫＷ_１〜ＫＷ_１６とを用いた積和演算を行うことで、１６個の方向ｎ（ｎ＝１〜１６）の各々について積和演算結果ＳＷ_１〜ＳＷ_１６を求める。
積和演算処理の概要は図３（ａ）〜（ｃ）に示す通りである。

広範囲エッジ検出ステップＳＴ１１ではさらに、それぞれの方向についての積和演算結果ＳＷ_ｎの絶対値ＡＷ_ｎを、それぞれの方向についての広範囲エッジ指標として求め、これらの広範囲エッジ指標ＡＷ_ｎのうちの最大のものを、広範囲エッジ強度ＡＷｍｘとして出力するとともに、対応する方向ｎをエッジ方向ｎｅとして出力する。
ステップＳＴ１１の処理の内容は図１の広範囲エッジ検出部２１による処理と同じである。

ピーク強度算出ステップＳＴ１２では、ステップＳＴ１１で算出した１６個の広範囲エッジ指標ＡＷ_１〜ＡＷ_１６、及び広範囲エッジ強度ＡＷｍｘを用いて、先に示した式（２Ａ）及び式（２Ｂ）に従ってピーク強度ＰＲを算出する。
ピーク強度算出ステップＳＴ１２の処理は、ピーク強度算出部２３による処理と同じである。

狭範囲エッジ検出ステップＳＴ１３では、処理対象画素を中心とする第２の範囲、例えば３×３の画素の範囲内の画素の画素値と、複数組の、例えば１６組の狭範囲エッジ検出フィルタ係数ＫＮ_１〜ＫＮ_１６とを用いた積和演算を行うことで、１６個の方向ｍ（ｍ＝１〜１６）の各々について積和演算結果ＳＮ_１〜ＳＮ_１６を求める。
積和演算処理の概要は図８(ａ)〜（ｃ）に示す通りである。

狭範囲エッジ検出ステップＳＴ１３ではさらに、それぞれの方向についての積和演算結果ＳＮ_ｍの絶対値ＡＮ_ｍを、それぞれの方向についての狭範囲エッジ指標として求め、これらの狭範囲エッジ指標ＡＮ_ｍのうちの最大のものを、狭範囲エッジ強度ＡＮｍｘとして出力する。
ステップＳＴ１３の処理の内容は図１の狭範囲エッジ検出部２４による処理と同じである。

標準偏差算出ステップＳＴ１４では、処理対象画素を中心とする第３の範囲、例えば周辺の３×３画素の範囲内の画素の画素値から標準偏差ＳＤを算出する。
標準偏差ＳＤは、上記式（４）及び式（５）で求められる。
標準偏差算出ステップＳＴ１４の処理は、標準偏差算出部２６による処理と同じである。

エッジ判定ステップＳＴ１５では、ステップＳＴ１１で算出した広範囲エッジ検出結果（広範囲エッジ強度ＡＷｍｘ及びエッジ方向ｎｅ）と、ステップＳＴ１２で算出したピーク強度ＰＲと、ステップＳＴ１３で算出した狭範囲エッジ検出結果（狭範囲エッジ強度ＡＮｍｘ）と、ステップＳＴ１４で算出した標準偏差ＳＤに基づいて、エッジ判定結果ＥＪＲ及びエッジ方向ＥＧＤを算出する。
エッジ判定ステップＳＴ１５の処理は、エッジ判定部２７による処理と同じであり、図１１に示される閾値を用い、図１２に示される規則に従って判定が行われる。

ステップＳＴ１５における判定の手順について図２２を参照してさらに詳しく説明する。
最初に、広範囲エッジ強度ＡＷｍｘと広範囲エッジ強度閾値ＡＷｔｈを比較し（ＳＴ１０１）、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ未満（ＳＴ１０１でＮＯ）の場合には、エッジ箇所ではなく、平坦箇所及びその他の箇所のいずれかであると判定する（ＳＴ１０２）。
この場合、標準偏差ＳＤを標準偏差閾値ＳＤｔｈと比較し（ＳＴ１０３）、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ未満（ＳＴ１０３でＮＯ）の場合には、平坦箇所と判定し（ＳＴ１０４）、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ以上（ＳＴ１０３でＹＥＳ）の場合には、その他の箇所（エッジ箇所及び平坦箇所のいずれでもない）と判定する（ＳＴ１０５）。

ステップＳＴ１０１で広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上（ＳＴ１０１でＹＥＳ）の場合には、狭範囲エッジ強度ＡＮｍｘを狭範囲エッジ強度閾値ＡＮｔｈと比較し（ＳＴ１０６）、狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ未満（ＳＴ１０６でＮＯ）の場合には、エッジ箇所と判定する（ＳＴ１０７）。

ステップＳＴ１０６で狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ以上（ＳＴ１０６でＹＥＳ）の場合には、ピーク強度ＰＲをピーク強度閾値ＰＲｔｈと比較し（ＳＴ１０８）、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ以上（ＳＴ１０８でＹＥＳ）の場合には、エッジ箇所と判定する（ＳＴ１０７）。一方、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ未満（ＳＴ１０８でＮＯ）の場合には、ステップＳＴ１０２に進み、平坦箇所又はその他の箇所と判定した後、ステップＳＴ１０３に進み、標準偏差ＳＤを標準偏差閾値ＳＤｔｈと比較する（ＳＴ１０３）。即ち、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ未満（ＳＴ１０３でＮＯ）の場合には平坦箇所と判定し（ＳＴ１０４）、標準偏差閾値ＳＤｔｈ以上（ＳＴ１０３でＹＥＳ）の場合にはその他の箇所と判定する（ＳＴ１０５）。

ステップＳＴ１０７で、エッジ箇所との判断をした場合には、ステップＳＴ１０９に進み、広範囲エッジ検出結果のエッジ方向（広範囲エッジ方向）ｎｅを、そのままエッジ方向ＥＧＤとして出力する。

図２１に戻り、エッジ平滑化処理ステップＳＴ１６では、ステップＳＴ１５で求められたエッジ方向ｎｅに基づいて、対応するエッジ平滑化フィルタ係数ＫＳ_ｎｅを選択し、選択したエッジ平滑化フィルタ係数ＫＳ_ｎｅと、処理対象画素を中心とする第４の範囲、例えば３×３画素の範囲内の画素の画素値とを積和演算することで、エッジ平滑化結果を算出する。
積和演算処理の概要は図１４（ａ）〜（ｃ）に示す通りであり、
ステップＳＴ１６の処理は、図１のエッジ平滑化処理部３１による処理と同じである。

平均画素値算出ステップＳＴ１７では、処理対象画素を中心とする第５の範囲、例えば３×３画素の範囲内の画素の画素値の平均値Ｐａｖｂを算出し、この平均値を二次元平滑化結果として出力する。
ステップＳＴ１７の処理は、図１の平均画素値算出部３３による処理と同じである。

画素値選択ステップＳＴ１８では、ステップＳＴ１５で求められたエッジ判定結果ＥＪＲを参照して、エッジ判定結果ＥＪＲがエッジ箇所の場合はステップＳＴ１６で算出したエッジ平滑化結果を、平坦箇所の場合はステップＳＴ１７で算出した二次元平滑化結果Ｐａｖｂを、その他の箇所の場合には処理対象画素の画素値Ｐｏｒｇを選択して中間出力画素値Ｐｍｉｄとして出力する。
画素値選択ステップＳＴ１８における選択は、図１６に示す通りであり、画素値選択ステップＳＴ１８の処理は、図１５の画素値選択部３４１による処理と同じである。

画素値合成ステップＳＴ１９では、中間出力画素値Ｐｍｉｄと、処理対象画素の画素値Ｐｏｒｇとを合成比率Ｓｔｒ：（１−Ｓｔｒ）で合成して出力画素値Ｐｏｕｔを求める。
合成は式（８）で表される。
画素値合成ステップＳＴ１９の処理は、図１５の画素値合成部３４２による処理と同じである。
ステップＳＴ２０では、出力画素値Ｐｏｕｔを表す画像データＤ３０を出力する。

以上説明した、図２１の処理手順を実行することで、入力画像中の処理対象画素とその周辺画素から、エッジが滑らかになるように補正された出力画素を算出生成することができる。

以上のように、広範囲エッジ強度、狭範囲エッジ強度、標準偏差及びピーク強度を参照することで、処理対象画素がエッジ箇所、エッジ以外の箇所のいずれにあるかの判定を、少ない誤りで実現することができる。

そして、判定結果に従ってエッジ平滑化処理又は二次元平滑化処理を行い、あるいはいずれの平滑化も行わないことで、エッジ平滑化処理によってエッジが無い箇所の画質が劣化する、あるいは二次元平滑化処理によってエッジが有る箇所のエッジが鈍るといった問題を発生させることなく、エッジ平滑化処理を実現することができる。

実施の形態４．
図２３は本発明の実施の形態４の画像処理方法の処理手順を示す。
図２３の画像処理方法は、図２１に示した実施の形態３の画像処理方法に対して、標準偏差算出ステップＳＴ１４と平均画素値算出ステップＳＴ１７が取り除かれていること、及びエッジ判定ステップＳＴ１５及び画素値選択ステップＳＴ１８がエッジ判定ステップＳＴ１５ｂ及び画素値選択ステップＳＴ１８ｂに置き換わっている点で異なる。
ステップＳＴ１０からステップＳＴ１３までの処理内容は実施の形態３と同様である。

実施の形態３ではエッジ判定ステップＳＴ１５において、図１２に示される規則に従ってエッジ箇所、平坦箇所及びその他の箇所のいずれであるかの判定をしているが、実施の形態４のエッジ判定ステップＳＴ１５ｂでは、図１９に示される規則に従ってエッジ箇所及びエッジ以外のいずれであるかの判定を行う。
エッジ判定ステップＳＴ１５ｂにおける処理は、実施の形態２のエッジ判定部２７ｂによる処理と同じである。

ステップＳＴ１５ｂにおける判定の手順について図２４を参照してさらに詳しく説明する。
最初に、広範囲エッジ強度ＳＷｍｘを広範囲エッジ強度閾値ＡＷｔｈと比較し（ＳＴ１０１）、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ未満（ＳＴ１０１でＮＯ）の場合には、その他の箇所（エッジ以外の箇所）であると判定する（ＳＴ１０２ｂ）。

ステップＳＴ１０１で広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上（ＳＴ１０１でＹＥＳ）の場合には、狭範囲エッジ強度ＡＮｍｘを狭範囲エッジ強度閾値ＡＮｔｈと比較し（ＳＴ１０６）、狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ未満（ＳＴ１０６でＮＯ）の場合には、エッジ箇所と判定する（ＳＴ１０７）。

ステップＳＴ１０６で狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ以上（ＳＴ１０６でＹＥＳ）の場合には、ピーク強度ＰＲをピーク強度閾値ＰＲｔｈと比較し（ＳＴ１０８）、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ以上（ＳＴ１０８でＹＥＳ）の場合には、エッジ箇所と判定（ＳＴ１０７）。一方、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ未満（ＳＴ１０８でＮＯ）の場合にはエッジ以外の箇所と判定する（ＳＴ１０２）。

ステップＳＴ１０７で、エッジ箇所との判断をした場合には、ステップＳＴ１０９に進み、広範囲エッジ検出結果のエッジ方向（広範囲エッジ方向）ｎｅを、そのままエッジ方向ＥＧＤとして出力する。

エッジ平滑化処理ステップＳＴ１６の処理内容は、実施の形態３のエッジ平滑化処理ステップＳＴ１６と同様である。

実施の形態３では画素値選択ステップＳＴ１８において、図１６に示される規則に従ってエッジ平滑化結果、平均画素値算出結果及び処理対象画素のいずれか一つを選択して中間出力画素値Ｐｍｉｄとして出力しているが、実施の形態４の画素値選択ステップＳＴ１８ｂでは、図２０に示される規則に従ってエッジ平滑化結果及び処理対象画素のいずれか一つを選択して中間出力画素値Ｐｍｉｄとして出力する。

画素値合成ステップＳＴ１９及び画像データ出力ステップＳＴ２０は、図２２の同じ符号のステップと同じである。

以上のように、広範囲エッジ強度、狭範囲エッジ強度及びピーク強度を参照することで、処理対象画素がエッジ箇所及びエッジ以外の箇所のいずれにあるかの判定を、少ない誤りで実現することができる。

そして、判定結果に従ってエッジ平滑化処理を行うか否かの選択することで、エッジ平滑化処理によってエッジが無い箇所の画質が劣化するような問題を発生させることなく、エッジ平滑化処理を実現することができる。

変形例．
なお、上記の実施の形態１及び２では、広範囲エッジ検出部２１でエッジ指標を算出する方向の数と、狭範囲エッジ検出部２４でエッジ指標を算出する方向の数がともに１６であるが、本発明はこれに限定されず、該方向の数が互いに異なっていても良い。エッジ指標を算出する方向の数は、斜め方向が含まれることになる８以上であれば本発明の効果が発揮される。

また、実施の形態１及び２の広範囲エッジ検出部２１による広範囲エッジ強度ＡＷｍｘ、及び広範囲エッジ方向ｎｅの算出に処理対象画素の周辺１１×１１画素の範囲内の画素を参照しているが、参照される範囲は１１×１１画素の範囲に限定されない。

一般化して言えば、広範囲エッジ検出部２１は、一時記憶部１１から出力される入力画像Ｄ１１中の処理対象画素を中心とする、第１の範囲内の画素の画素値に基づいて、Ｎ個（Ｎは８以上の整数）の方向の各々について広範囲エッジ指標ＡＷ_ｎを算出し、さらに、算出されたＮ個の方向の各々についての広範囲エッジ指標のうちの最大のものを検出して、広範囲エッジ強度（第１のエッジ強度）ＡＷｍｘとして出力するとともに、広範囲エッジ指標ＡＷ_ｎが最大となる方向を広範囲エッジ方向（第１のエッジ方向）ｎｅとして出力するものであれば良い。

この場合、ピーク強度算出部２３は、広範囲エッジ検出部２１で算出されたＮ個の方向についての広範囲エッジ指標ＡＷ_ｎの平均値ＡＷａｖを算出し、上記広範囲エッジ強度ＡＷｍｘの、上記平均値ＡＷａｖに対する比をピーク強度ＰＲとして算出する。

同様に、実施の形態１及び２の狭範囲エッジ検出部２４による狭範囲エッジ指標の算出に処理対象画素の周辺３×３画素の範囲内の画素を参照しているが、参照される範囲は３×３画素の範囲に限定されず、広範囲エッジ検出部２１で参照される範囲よりも狭ければよい。

一般化して言えば、狭範囲エッジ検出部２４は、一時記憶部１１から出力される入力画像Ｄ１１中の処理対象画素を中心とする、上記第１の範囲よりも狭い、第２の範囲内の画素の画素値に基づいて、Ｍ個（Ｍは８以上の整数）の方向の各々について狭範囲エッジ指標ＡＮ_ｍを算出し、さらに、算出されたＭ個の方向の各々についての狭範囲エッジ指標のうちの最大のものを検出して、狭範囲エッジ強度（第２のエッジ強度）ＡＮｍｘとして出力するものであれば良い。

同様に、実施の形態１の標準偏差算出部２６による標準偏差ＳＤの算出に処理対象画素の周辺３×３画素の範囲内の画素を参照しているが、参照される範囲は３×３画素の範囲に限定されない。

一般化して言えば、標準偏差算出部２６は、一時記憶部１１から出力される入力画像Ｄ１１中の処理対象画素を中心とする、第３の範囲内の画素の画素値の標準偏差を算出するものであれば良い。第３の範囲は、予め定められたものでもよく、入力画像の特徴に応じて逐次定められるものであっても良い。

また、実施の形態１及び２のエッジ平滑化処理部３１によるエッジ平滑化処理に処理対象画素の周辺３×３画素の範囲内の画素を参照しているが、参照される範囲は３×３画素の範囲に限定されない。
一般化して言えば、エッジ平滑化処理部３１は、一時記憶部１１から出力される入力画像Ｄ１１中の処理対象画素を中心とする、第４の範囲内の画素の画素値を用いて平滑化を行うものであれば良い。第４の範囲は、予め定められたものでもよく、入力画像の特徴に応じて逐次定められるものであっても良い。

同様に、実施の形態１の平均画素値算出部３３による二次元平滑化処理に処理対象画素の周辺３×３画素の範囲内の画素を参照しているが、参照される範囲は３×３画素の範囲に限定されず、予め定められた範囲であれば良い。
一般化して言えば、平均画素値算出部３３は、一時記憶部１１から出力される入力画像Ｄ１１中の処理対象画素を中心とする、第５の範囲内の画素の画素値を用いて平均値を求めるものであれば良い。第５の範囲は、予め定められたものでもよく、入力画像の特徴に応じて逐次定められるものであっても良い。

また、実施の形態１及び２の狭範囲エッジ検出部２４による狭範囲エッジ指標ＡＮ_ｍの算出、及びエッジ平滑化処理部３１によるエッジ平滑化、並びに実施の形態１の標準偏差算出部２６による標準偏差ＳＤの算出、及び平均画素値算出部３３による二次元平滑化で参照される範囲がいずれも３×３画素であるが、これらは互いに異なっていても良い。

上記した実施の形態１についての変形は、実施の形態３にも適用可能であり、実施の形態２についての変形は、実施の形態４にも適用可能である。

以上本発明を画像処理装置及び画像処理方法として説明したが、画像処理装置のエッジ解析部及び画素値補正部はソフトウエアにより、即ちプログラムされたコンピュータにより実現することも可能であり、画像処理装置の諸機能をコンピュータに実行させるためのプログラム、或いは画像処理方法の各ステップをコンピュータに実行させるためのプログラム、並びに該プログラムを記録した、コンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。

１０ 画像処理装置、 １１ 一時記憶部、 ２０、２０ｂ エッジ解析部、 ２１ 広範囲エッジ検出部、 ２２ 広範囲エッジ検出フィルタ係数保持部、 ２３ ピーク強度算出部、 ２４ 狭範囲エッジ検出部、 ２５ 狭範囲エッジ検出フィルタ係数保持部、 ２６ 標準偏差算出部、 ２７、２７ｂ エッジ判定部、 ３０ 画素値補正部、 ３１ エッジ平滑化処理部、 ３２ エッジ平滑化フィルタ係数保持部、 ３３ 平均画素値算出部、 ３４、３４ｂ 出力画素値算出部、 ３４１、３４１ｂ 画素値選択部、 ３４２ 画素値合成部。

Claims (18)

1. 入力画像中の処理対象画素を中心とする第１の範囲内の画素の画素値に基づいて、
   Ｎ個(Ｎは８以上の整数)の方向の各々について第１のエッジ指標を算出し、算出された前記Ｎ個の方向の各々についての第１のエッジ指標のうちの最大のものを第１のエッジ強度として出力するとともに、前記第１のエッジ指標が最大となる方向を第１のエッジ方向として出力する第１のエッジ検出部と、
   前記第１のエッジ検出部で算出された前記Ｎ個の方向についての前記第１のエッジ指標の平均値に対する比をピーク強度として算出するピーク強度算出部と、
   前記入力画像中の前記処理対象画素を中心とし、前記第１の範囲よりも狭い第２の範囲内の画素に基づいてＭ個（Ｍは８以上の整数）の方向の各々について第２のエッジ指標を算出し、算出された前記Ｍ個の方向の各々についての前記第２のエッジ指標のうちの最大のものを第２のエッジ強度として出力する第２のエッジ検出部と、
   前記第１のエッジ検出部からの前記第１のエッジ強度と、前記第２のエッジ検出部からの前記第２のエッジ強度と、前記ピーク強度算出部からの前記ピーク強度に基づいて、前記処理対象画素がエッジ箇所にあるか、エッジ以外の箇所にあるかの判定を行って判定結果を出力し、エッジ箇所にある場合には前記第１のエッジ方向を当該処理対象画素についてのエッジの方向として出力するエッジ判定部と
   を備えたことを特徴とする画像処理装置。
2. 前記入力画像中の処理対象画素を中心とする、第３の範囲内の画素の画素値の標準偏差を算出する標準偏差算出部をさらに有し、
   前記エッジ判定部は、
   前記第１のエッジ検出部からの前記第１のエッジ強度、前記第２のエッジ検出部からの前記第２のエッジ強度、及び前記ピーク強度算出部からの前記ピーク強度のみならず、前記標準偏差算出部からの前記標準偏差にも基づいて、前記処理対象画素が、エッジ箇所にあるか、平坦箇所にあるか、それら以外の箇所にあるかの判定を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のエッジ検出部が、前記第１の範囲内のそれぞれの画素の画素値と、前記Ｎ個の方向の各々に対して予め定められたフィルタ係数の組であって、各々前記第１の範囲内の画素の各々に対応するフィルタ係数を有するフィルタ係数の組との積和演算を行い、該積和演算の結果の絶対値を、当該方向についての前記第１のエッジ指標として出力し、
   前記第２のエッジ検出部が、前記第２の範囲内のそれぞれの画素の画素値と、前記Ｍ個の方向の各々に対して予め定められたフィルタ係数の組であって、各々前記第２の範囲内の画素の各々に対応するフィルタ係数を有するフィルタ係数の組との積和演算を行い、該積和演算の結果の絶対値を、当該方向についての前記第２のエッジ指標として出力する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記入力画像中の処理対象画素を中心とする、第４の範囲内の画素の画素値を用いて、前記エッジ判定部で当該処理対象画素について検出された前記エッジの方向に応じたエッジ平滑化処理を行い、エッジ平滑化画素値を出力するエッジ平滑化処理部と、
   前記エッジ判定部での前記判定の結果に応じて、前記エッジ平滑化処理部からの前記エッジ平滑化画素値と、前記処理対象画素の画素値のいずれかを選択して中間出力画素値として出力する画素値選択部と、
   前記画素値選択部からの前記中間出力画素値と、前記処理対象画素の画素値とを、指定された合成比率で合成して出力画素値を算出する画素値合成部と
   をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
5. 前記入力画像中の処理対象画素を中心とする、第４の範囲内の画素の画素値を用いて、前記エッジ判定部で当該処理対象画素について検出された前記エッジの方向に応じたエッジ平滑化処理を行い、エッジ平滑化画素値を出力するエッジ平滑化処理部と、
   前記入力画像中の処理対象画素を中心とする、第５の範囲内の画素の画素値の平均値を算出して、平均画素値として出力する平均画素値算出部と、
   前記エッジ判定部での前記判定の結果に応じて、前記平均画素値算出部からの前記平均画素値と、前記エッジ平滑化処理部からの前記エッジ平滑化画素値と、前記処理対象画素の画素値のいずれかを選択して中間出力画素値として出力する画素値選択部と、
   前記画素値選択部からの前記中間出力画素値と、前記処理対象画素の画素値とを、指定された合成比率で合成して出力画素値を算出する画素値合成部と
   をさらに備えたことを特徴とする請求項２に記載の画像処理装置。
6. 前記エッジ平滑化処理部は、
   前記入力画像中の処理対象画素を中心とする、前記第４の範囲内のそれぞれの画素の画素値と、前記Ｎ個の方向のうちの、前記エッジ判定部で当該処理対象画素について検出されたエッジの方向に対して予め定められたフィルタ係数の組との積和演算を行うことで、前記エッジ平滑化処理を行う
   ことを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記エッジ判定部は、
   前記第１のエッジ強度が第１の閾値未満の場合には、エッジ以外の箇所であると判定し、
   前記第１のエッジ強度が前記第１の閾値以上で、かつ前記第２のエッジ強度が第２の閾値未満の場合には、エッジ箇所と判定し、
   前記第１のエッジ強度が前記第１の閾値以上で、かつ前記第２のエッジ強度が前記第２の閾値以上で、かつ前記ピーク強度が第３の閾値以上の場合には、エッジ箇所と判定し、
   前記第１のエッジ強度が前記第１の閾値以上で、かつ前記第２のエッジ強度が前記第２の閾値以上で、かつ前記ピーク強度が前記第３の閾値未満の場合には、エッジ以外の箇所と判定する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記エッジ判定部は、
   前記第１のエッジ強度が第１の閾値以上で、かつ前記第２のエッジ強度が第２の閾値未満の場合には、エッジ箇所と判定し、
   前記第１のエッジ強度が前記第１の閾値以上で、かつ前記第２のエッジ強度が前記第２の閾値以上で、かつ前記ピーク強度が第３の閾値以上の場合には、エッジ箇所と判定し、
   前記第１のエッジ強度が前記第１の閾値以上で、かつ前記第２のエッジ強度が前記第２の閾値以上で、かつ前記ピーク強度が前記第３の閾値未満で、かつ前記標準偏差が第４の閾値未満の場合には平坦箇所と判定し、
   前記第１のエッジ強度が前記第１の閾値以上で、かつ前記第２のエッジ強度が前記第２の閾値以上で、かつ前記ピーク強度が前記第３の閾値未満で、かつ前記標準偏差が前記第４の閾値以上の場合には、エッジ箇所及び平坦箇所のいずれでもないと判定し、
   前記第１のエッジ強度が前記第１の閾値未満で、かつ前記標準偏差が前記第４の閾値未満の場合には、平坦箇所と判定し、
   前記第１のエッジ強度が前記第１の閾値未満で、かつ前記標準偏差が前記第４の閾値以上の場合には、エッジ箇所及び平坦箇所のいずれでもないと判定する
   ことを特徴とする請求項２又は５に記載の画像処理装置。
9. 前記画素値選択部は、
   前記エッジ判定部での前記判定の結果がエッジ箇所であることを示す場合には前記エッジ平滑化画素値を、
   前記エッジ判定部での前記判定の結果がエッジ箇所以外の箇所であることを示す場合には前記処理対象画素の画素値を選択して前記中間出力画素値として出力する
   ことを特徴とする請求項４に記載の画像処理装置。
10. 前記画素値選択部は、
    前記エッジ判定部での前記判定の結果がエッジ箇所であることを示す場合は前記エッジ平滑化画素値を、
    前記エッジ判定部での前記判定の結果が平坦箇所であることを示す場合には前記平均画素値を、
    前記エッジ判定部での前記判定の結果がエッジ箇所及び平坦箇所のいずれでもないことを示す場合には前記処理対象画素の画素値を選択して前記中間出力画素値として出力する
    ことを特徴とする請求項５に記載の画像処理装置。
11. 入力画像中の処理対象画素を中心とする第１の範囲内の画素の画素値に基づいて、
    Ｎ個(Ｎは８以上の整数)の方向の各々について第１のエッジ指標を算出し、算出された前記Ｎ個の方向の各々についての第１のエッジ指標のうちの最大のものを第１のエッジ強度として出力するとともに、前記第１のエッジ指標が最大となる方向を第１のエッジ方向として出力する第１のエッジ検出ステップと、
    前記第１のエッジ検出ステップで算出された前記Ｎ個の方向についての前記第１のエッジ指標の平均値に対する比をピーク強度として算出するピーク強度算出ステップと、
    前記入力画像中の前記処理対象画素を中心とし、前記第１の範囲よりも狭い第２の範囲内の画素に基づいてＭ個（Ｍは８以上の整数）の方向の各々について第２のエッジ指標を算出し、算出された前記Ｍ個の方向の各々についての前記第２のエッジ指標のうちの最大のものを第２のエッジ強度として出力する第２のエッジ検出ステップと、
    前記第１のエッジ検出ステップからの前記第１のエッジ強度と、前記第２のエッジ検出ステップからの前記第２のエッジ強度と、前記ピーク強度算出ステップからの前記ピーク強度に基づいて、前記処理対象画素がエッジ箇所にあるか、エッジ以外の箇所にあるかの判定を行って判定結果を出力し、エッジ箇所にある場合には前記第１のエッジ方向を当該処理対象画素についてのエッジの方向として出力するエッジ判定ステップと
    を備えたことを特徴とする画像処理方法。
12. 前記入力画像中の処理対象画素を中心とする、第３の範囲内の画素の画素値の標準偏差を算出する標準偏差算出ステップをさらに有し、
    前記エッジ判定ステップは、
    前記第１のエッジ検出ステップからの前記第１のエッジ強度、前記第２のエッジ検出ステップからの前記第２のエッジ強度、及び前記ピーク強度算出ステップからの前記ピーク強度のみならず、前記標準偏差算出ステップからの前記標準偏差にも基づいて、前記処理対象画素が、エッジ箇所にあるか、平坦箇所にあるか、それら以外の箇所にあるかの判定を行う
    ことを特徴とする請求項１１に記載の画像処理方法。
13. 前記第１のエッジ検出ステップが、前記第１の範囲内のそれぞれの画素の画素値と、前記Ｎ個の方向の各々に対して予め定められたフィルタ係数の組であって、各々前記第１の範囲内の画素の各々に対応するフィルタ係数を有するフィルタ係数の組との積和演算を行い、該積和演算の結果の絶対値を、当該方向についての前記第１のエッジ指標として出力し、
    前記第２のエッジ検出ステップが、前記第２の範囲内のそれぞれの画素の画素値と、前記Ｍ個の方向の各々に対して予め定められたフィルタ係数の組であって、各々前記第２の範囲内の画素の各々に対応するフィルタ係数を有するフィルタ係数の組との積和演算を行い、該積和演算の結果の絶対値を、当該方向についての前記第２のエッジ指標として出力する
    ことを特徴とする請求項１１又は１２に記載の画像処理方法。
14. 前記入力画像中の処理対象画素を中心とする、第４の範囲内の画素の画素値を用いて、前記エッジ判定ステップで当該処理対象画素について検出された前記エッジの方向に応じたエッジ平滑化処理を行い、エッジ平滑化画素値を出力するエッジ平滑化処理ステップと、
    前記エッジ判定ステップでの前記判定の結果に応じて、前記エッジ平滑化処理ステップからの前記エッジ平滑化画素値と、前記処理対象画素の画素値のいずれかを選択して中間出力画素値として出力する画素値選択ステップと、
    前記画素値選択ステップからの前記中間出力画素値と、前記処理対象画素の画素値とを、指定された合成比率で合成して出力画素値を算出する画素値合成ステップと
    をさらに備えたことを特徴とする請求項１１に記載の画像処理方法。
15. 前記入力画像中の処理対象画素を中心とする、第４の範囲内の画素の画素値を用いて、前記エッジ判定ステップで当該処理対象画素について検出された前記エッジの方向に応じたエッジ平滑化処理を行い、エッジ平滑化画素値を出力するエッジ平滑化処理ステップと、
    前記入力画像中の処理対象画素を中心とする、第５の範囲内の画素の画素値の平均値を算出して、平均画素値として出力する平均画素値算出ステップと、
    前記エッジ判定ステップでの前記判定の結果に応じて、前記平均画素値算出ステップからの前記平均画素値と、前記エッジ平滑化処理ステップからの前記エッジ平滑化画素値と、前記処理対象画素の画素値のいずれかを選択して中間出力画素値として出力する画素値選択ステップと、
    前記画素値選択ステップからの前記中間出力画素値と、前記処理対象画素の画素値とを、指定された合成比率で合成して出力画素値を算出する画素値合成ステップと
    をさらに備えたことを特徴とする請求項１２に記載の画像処理方法。
16. 前記エッジ平滑化処理ステップは、
    前記入力画像中の処理対象画素を中心とする、前記第４の範囲内のそれぞれの画素の画素値と、前記Ｎ個の方向のうちの、前記エッジ判定ステップで当該処理対象画素について検出されたエッジの方向に対して予め定められたフィルタ係数の組との積和演算を行うことで、前記エッジ平滑化処理を行う
    ことを特徴とする請求項１４又は１５に記載の画像処理方法。
17. 請求項１１から１６のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
18. 請求項１７に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。

Images