JPWO2006040960A1 - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】 ノイズが少なくかつ鮮明な画像を得ることのできる画像処理装置を提供すること。【解決手段】 注目画素とその左右画素との水平方向におけるエッジ強度を算出する水平エッジ強度算出部２２と、水平方向のエッジ強度に基づいたフィルタ処理を行いノイズ低減およびエッジ強調を選択的に行うプレフィルタ２４と、注目画素とその上下画素との垂直方向におけるエッジ強度を算出する垂直エッジ強度算出部２３と、垂直方向のエッジ強度に基づいたフィルタ処理を行いノイズ低減およびエッジ強調を選択的に行うプレフィルタ２５とを設けることにより、注目画素付近での上下または左右方向における先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができる。

Description

本発明は、ディジタル画像処理において、特にノイズが少なくかつ鮮明な画像を得ることのできる画像処理装置および画像処理プログラムに関する。

従来の画像処理装置においては、画像を鮮明にするための処理としてエッジ強調処理が広く用いられている。これは画像信号にＨＰＦ（ハイパスフィルター）をかけた信号を加算することで画像信号の変化を強調し、画像のエッジを強調するものである。ところが、このような画像処理装置では、ＨＰＦにより画像信号のノイズ成分も同じように強調されてしまい、Ｓ／Ｎ感の悪い画像となってしまう。

そこで、適応的な精細度補正を実現する画像処理装置が提案されている。このような従来の画像処理装置を、図７に示し説明する。

図７に示すように、従来の画像処理装置では、入力画像データから画像特徴量としてカラーエッジ情報を算出する画像特徴量算出部１２と、ここで算出された画像特徴量が、第一の値以下の場合は、先鋭度を平滑化する強調係数を、第一の値よりも大きく第二の値以下の場合は、先鋭度を強調する強調係数を、第二の値よりも大きい場合は、先鋭度の補正を行わない強調係数を、それぞれ算出する強調係数算出部１３と、ここで算出された強調係数に基づいて入力画像データの精細度補正を行う精細度補正部１４とを備えることにより、カラーエッジ情報を算出し、この値を閾値と比較して、それぞれの場合で異なる強調係数に基づいて入力画像データの精細度補正を行っている（例えば特許文献１参照）。
特開２００２−８３２９４号公報（要約、第１図）

しかしながら、このような従来の画像処理装置においては、エッジの方向に対する考慮がなく、エッジ付近ではどの方向に対しても先鋭化されてしまうという問題があった。

本発明は、このような従来の問題を解決するためになされたもので、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることのできる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、画像データを入力する画像データ入力手段と、前記入力した画像データの注目画素とその周囲画素のレベル差から特定方向のエッジ強度を算出するエッジ強度算出手段と、前記エッジ強度算出手段に算出された特定方向のエッジ強度に基づいてフィルタを決定し、画素データに前記フィルタによるフィルタ処理を実行して選択的にノイズ低減およびエッジ強調を行うフィルタ処理手段と、前記フィルタ処理された画素データによりエッジ強調信号を生成するエッジ強調信号生成手段と、前記入力した画像データを前記エッジ強調信号に基づいて補正する画像補正手段とを備えたことを特徴とした構成を有している。

この構成により、本発明の画像処理装置は、注目画素とその周囲との特定方向におけるエッジ強度にしたがってフィルタがかけられノイズが低減されるので、注目画素付近での特定方向における先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができる。

また、本発明の画像処理装置は、前記フィルタ処理手段は、前記特定方向のエッジ強度が第１の値以下の場合には平滑化フィルタを、第２の値より大きい場合にはエッジ強調フィルタを選択することを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、特定方向のエッジ強度が低い場合には平滑化フィルタを、高い場合にはエッジ強調フィルタによるフィルタ処理を実行するので、注目画素の特定方向が平坦な場合はより滑らかで、エッジがある場合にはより鮮明にすることができ、ノイズが少なくエッジ方向には鮮明な画像を得ることができる。

さらに、本発明の画像処理装置は、前記フィルタ処理手段は、前記特定方向のエッジ強度から線形一次変換によりフィルタ係数を算出し、線形変化する前記フィルタ係数にしたがって前記注目画素データのノイズ低減およびエッジ強調を選択的に行うことを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、線形変化するフィルタ係数にしたがって注目画素データのノイズ低減もしくはエッジ強調が行われるので、注目画素付近のエッジ強度に合わせてフィルタの特性を平滑化から高域強調まで滑らかに変化させることができ、閾値による信号処理切り替えを無くし、切り替わりによる画像の不連続性を排除することができる。

さらに、本発明の画像処理装置は、前記フィルタ処理手段は、前記特定方向のエッジ強度に対して、傾き係数をかけ、画質の調整を行う画質調整値を加算して予備値を算出し、前記予備値と所定の上限値および下限値と比較をして、前記予備値が上限値を上回る場合は上限値を、前記予備値が下限値を下回る場合は下限値を、前記予備値が上限値を上回らず、かつ下限値を下回らない場合は前記予備値を重み付け係数として決定し、前記注目画素データに前記重み付け係数による重み付け加算を行ってノイズ低減およびエッジ強調を選択的に行うことを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、傾き係数によって画像の変化によるノイズ低減量もしくはエッジ強調量を調整でき、画質調整値によってソフトな画質からシャープな画質まで様々な画質を選択でき、上下限クリップによってフィルタのかけすぎによる画質劣化を防止することができ、画像の調整を容易に行うことができる。

さらに、本発明の画像処理装置は、前記フィルタ処理手段は、前記注目画素データの前後の画素データの平均値と前記注目画素データとの差分に前記重み付け係数を掛け合わせた積を前記注目画素データの前後の画素データの平均値に加えて前記重み付け加算を行うことを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、重み付け係数の値に応じてローパスフィルタおよびハイパスフィルタによるフィルタ処理を選択的に実行することができるので、特定方向のエッジ強度が低い場合には平滑化フィルタを、高い場合にはエッジ強調フィルタによるフィルタ処理を実行するので、注目画素の特定方向が平坦な場合はより滑らかで、エッジがある場合にはより鮮明にすることができ、ノイズが少なくエッジ方向には鮮明な画像を得ることができる。

さらに、本発明の画像処理装置は、前記傾き係数および前記画質調整値は画像データに含まれるノイズの量に応じて決定されることを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、画像データに含まれるノイズの量に応じて効果的にフィルタ処理を行うことができる。

さらに、本発明の画像処理装置は、前記特定方向は少なくとも水平方向と垂直方向を含み、前記エッジ強度算出手段は、前記注目画素データとその左右画素データのレベル差から水平方向のエッジ強度を算出する水平エッジ強度算出部と、前記注目画素データとその上下画素データのレベル差から垂直方向のエッジ強度を算出する垂直エッジ強度算出部とを備え、前記フィルタ処理手段は、前記水平エッジ強度算出部に算出された水平方向のエッジ強度に基づいて水平フィルタを求め、前記水平フィルタにより水平ノイズ低減および水平エッジ強調を選択的に行う水平フィルタ処理部と、前記垂直エッジ強度算出部に算出された垂直方向のエッジ強度に基づいて垂直フィルタを求め、前記垂直フィルタにより垂直ノイズ低減および垂直エッジ強調を選択的に行う垂直フィルタ処理部とを備え、前記エッジ強調信号生成手段は、前記水平フィルタ処理された画素データおよび前記垂直フィルタ処理された画素データによりエッジ強調信号を生成することを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、水平および垂直エッジがそれぞれ別々に検出され、水平および垂直方向それぞれのフィルタ処理が行われるので、水平および垂直方向それぞれの単独ノイズが低減され、一方には平滑化、一方には先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができる。

さらに、本発明の画像処理装置は、前記エッジ強度算出手段は、さらに、前記注目画素データとその第１斜め方向の前後に位置する画素データのレベル差から第１斜め方向のエッジ強度を算出する第１斜めエッジ強度算出部と、前記注目画素データとその第２斜め方向の前後に位置する画素データのレベル差から第２斜め方向のエッジ強度を算出する第２斜め方向エッジ強度算出部とを備え、前記フィルタ処理手段は、前記第１斜め方向エッジ強度算出部に算出された第１斜め方向のエッジ強度に基づいて第１斜め方向フィルタを求め、前記第１斜め方向フィルタにより第１斜め方向ノイズ低減および第１斜め方向エッジ強調を選択的に行う第１斜め方向フィルタ処理部と、前記第２斜め方向エッジ強度算出部に算出された第２斜め方向のエッジ強度に基づいて第２斜め方向フィルタを求め、前記第２斜め方向フィルタにより第２斜め方向ノイズ低減および第２斜め方向エッジ強調を選択的に行う第２斜め方向フィルタ処理部とを備え、前記エッジ強調信号生成手段は、前記第１斜め方向フィルタ処理された画素データおよび前記第２斜め方向フィルタ処理された画素データによりエッジ強調信号を生成することを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、第１斜め方向および第２斜め方向のエッジ強度がそれぞれ別々に検出され、第１斜め方向および第２斜め方向それぞれのフィルタ処理が行われるので、第１斜め方向および第２斜め方向それぞれの単独ノイズが低減され、一方には平滑化、一方には先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができる。

さらに、本発明の画像処理プログラムは、画像データを入力する画像データ入力ステップと、前記入力した画像データの注目画素とその周囲画素のレベル差から特定方向のエッジ強度を算出するエッジ強度算出ステップと、前記エッジ強度算出ステップで算出された特定方向のエッジ強度に基づいてフィルタ処理を選択し、前記選択したフィルタ処理により画素データのノイズ低減およびエッジ強調を選択的に行うフィルタ処理ステップと、前記フィルタ処理された画素データによりエッジ強調信号を生成するエッジ強調信号生成ステップと、前記入力した画像データを前記エッジ強調信号に基づいて補正する画像補正ステップとを備えたことを特徴とした構成を有している。

この構成により、本発明の画像処理プログラムは、注目画素とその周囲との特定方向におけるエッジ強度にしたがってフィルタ処理が行われノイズが低減されるので、注目画素付近での特定方向における先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができる。

本発明は、注目画素とその周囲画素との特定方向におけるエッジ強度を算出するエッジ強度算出手段と、前記特定方向のエッジ強度に基づいたフィルタ処理を行いノイズ低減およびエッジ強調を選択的に行うフィルタ処理手段とを設けることにより、注目画素付近での特定方向における先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができるという効果を有する画像処理装置を提供することができるものである。

本発明の第１の実施の形態における画像処理装置のエッジ強調信号生成処理部のブロック図 本発明の第１の実施の形態における画像処理装置のエッジ強調信号生成処理動作を示すフローチャート 本発明の第１の実施の形態におけるエッジ強調信号生成処理の水平方向プレフィルタ処理動作を示すフローチャート 本発明の第２の実施の形態における画像処理装置のエッジ強調信号生成処理部の水平方向プレフィルタ部のブロック図 本発明の第２の実施の形態における画像処理装置のエッジ強度に対する重み付け係数の関係を示したグラフ 本発明の第２の実施の形態におけるエッジ強調信号生成処理の水平方向プレフィルタ処理動作を示すフローチャート 従来の画像処理装置のブロック図

符号の説明

１１ 画像入力部
１２ 画像特徴量算出部
１３ 強調係数算出部
１４ 精細度補正部
１５ 画像出力部
２１ 画像信号入力部（画像データ入力手段）
２２ 水平エッジ強度算出部
２３ 垂直エッジ強度算出部
２４ プレフィルタ（水平フィルタ処理部）
２５ プレフィルタ（垂直フィルタ処理部）
２６ 水平垂直エッジ強調信号生成部（エッジ強調信号生成手段）
２７ 加算器（画像補正手段）
２８ 画像信号出力部
３１ 水平方向プレフィルタ部
３２ 垂直方向プレフィルタ部
４０ 水平方向プレフィルタ部
４１ 水平エッジ強度算出部
４２ プレフィルタ
５１ 垂直ＬＰＦ
５２ 遅延素子
５３ 遅延素子
５４ 減算器
５５ 減算器
５６ 絶対値算出処理部
５７ 絶対値算出処理部
５８ 加算器
７１ 傾き係数設定部
７２ 傾き係数乗算部
７３ オフセット設定部
７４ オフセット加算部
７５ 上下限クリップ調整部
８１ 遅延素子
８２ 加算器
８３ １／２乗算器
８４ 遅延素子
８５ 減算器
８６ 乗算器
８７ １／２５６乗算器
８８ 加算器

以下、本発明の実施の形態の画像処理装置について、図面を用いて説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態における画像処理装置のブロック図を図１に示し、説明する。

図１は、画像処理装置のエッジ強調信号生成処理部のブロック図であり、画像信号を入力する画像信号入力部（画像データ入力手段）２１と、水平方向のエッジ強度にしたがってフィルタ処理を行う水平方向プレフィルタ部３１と、垂直方向のエッジ強度にしたがってフィルタ処理を行う垂直方向プレフィルタ部３２と、エッジ強調信号を生成する水平垂直エッジ強調信号生成部（エッジ強調信号生成手段）２６と、信号の加算を行う加算器（画像補正手段）２７と、画像信号を出力する画像信号出力部２８とを備えている。

また、水平方向プレフィルタ部３１は、水平方向のエッジ強度を算出する水平エッジ強度算出部２２と、水平方向のフィルタ処理を行うプレフィルタ（水平フィルタ処理部）２４と、を有し、垂直方向プレフィルタ部３２は、垂直方向のエッジ強度を算出する垂直エッジ強度算出部２３と、垂直方向のフィルタ処理を行うプレフィルタ（垂直フィルタ処理部）２５と、を有している。

画像信号入力部２１は、画素単位の信号を順次入力するものである。ここで、垂直方向のエッジ強調信号を生成するためには、複数ラインの信号が必要なので、ラインメモリ等を使用して複数列の画像信号を並列に入力する。図１では、３ライン使用しているが、ライン数は３本に限定されるものではない。

水平エッジ強度算出部２２は、入力信号に対して、まず垂直方向にＬＰＦ（ローパスフィルタ）をかけてから、水平方向の差分の絶対値を算出するものである。この処理により、ノイズの影響を低減して水平方向のエッジの強度を検出することができる。

垂直エッジ強度算出部２３は、水平エッジ強度算出部２２と同様に、入力信号に対して水平ＬＰＦをかけてから、垂直方向の差分の絶対値を算出し、垂直方向のエッジの強度を検出するものである。

プレフィルタ２４は、水平エッジ強度算出部２２で求めた水平エッジ強度が弱い場合にはＬＰＦを、強い場合には高域を強調するＨＰＦなどのフィルタ処理を行うものである。この時、注目画素に単独ノイズがあったとしても水平エッジ強度が弱いためＬＰＦがかけられ、ノイズの影響は低減される。

プレフィルタ２５は、プレフィルタ２４と同様に、垂直エッジ強度算出部２３で求めた垂直エッジ強度が弱い場合にはＬＰＦを、強い場合には高域を強調するＨＰＦなどのなどのフィルタ処理を行うものである。

プレフィルタ２４とプレフィルタ２５は、それぞれが単独ノイズの低減効果を持つ。注目画素が水平エッジの場合には、水平方向には先鋭化、垂直方向には平滑化し、シャープなエッジとなる。垂直エッジの場合も同様である。

水平垂直エッジ強調信号生成部２６は、プレフィルタ２４、プレフィルタ２５の出力信号を受けエッジ強調信号を生成するものである。

加算器２７は、水平垂直エッジ強調信号生成部２６で生成されたエッジ強調信号を、画像信号入力部２１で入力された本線信号に加算するものであり、画像信号出力部２８は、加算器２７で加算された画像信号を出力するものである。

なお、図１では、水平方向と垂直方向の処理を記載したが、同様に斜め方向の処理を追加しても良い。

以上のように構成された画像処理装置のエッジ強調信号生成動作について、図２にフローチャートを示し、説明する。

まず、信号入力処理では、画像信号入力部２１が画像信号を入力する（Ｓ１１）。次に、水平方向プレフィルタ処理では、水平方向プレフィルタ部３１が画像信号入力部２１から画像信号を入力し、水平方向のエッジの強度を検出し、強度に応じてフィルタ処理を行う（Ｓ１２）。この水平方向プレフィルタ処理については、後で詳述する。また、垂直方向プレフィルタ処理では、垂直方向プレフィルタ部３２が画像信号入力部２１から画像信号を入力し、垂直方向のエッジの強度を検出し、強度に応じてフィルタ処理を行う（Ｓ１３）。このとき、水平方向プレフィルタ処理と垂直方向プレフィルタ処理は、別々の処理として用意しておいても良いし、１つの処理のみ用意しておいて、信号の水平と垂直とを入れ替えたものを入力として同じ処理を２度呼び出しても良い。

次に、水平垂直エッジ強調信号生成処理では、水平垂直エッジ強調信号生成部２６が水平方向プレフィルタ部３１と垂直方向プレフィルタ部３２とのそれぞれから出力されたプレフィルタのかかった信号を受け取り、エッジ強調信号を生成し、加算器２７が、画像信号入力部２１が入力した画像信号に、水平垂直エッジ強調信号生成部２６に生成された信号を加算し、画像信号出力部２８からエッジ強調された信号を出力する（Ｓ１４）。

以上の処理により、画像のノイズを低減しつつ、画像のエッジを強調した鮮明な画像を得ることができる。

また、図３に、水平方向プレフィルタ処理のフローチャートを示し、説明する。

まず、垂直ＬＰＦ処理では、画像信号入力部２１から入力した信号により、複数の垂直方向の画素値によって雑音の除去、低減化を行う（Ｓ２１）。次に、水平差分絶対値和算出処理では、注目画素と左右両側の画素値との差分絶対値を加算して、水平方向のエッジ強度を得る（Ｓ２２）。次に、フィルタ選択処理では、得られたエッジ強度にしたがい、エッジ強度が弱ければＬＰＦなどの平滑フィルタを、エッジ強度が強ければ高域強調となるよう、複数のフィルタからＨＰＦなどエッジを強調するフィルタを選択する（Ｓ２３）。例えば、第１のしきい値、第２のしきい値と２つのしきい値を設け、エッジ強度が第１のしきい値以下の場合には平滑フィルタを、第２のしきい値以上の場合にはエッジ強調フィルタを選択するようにしても良い。そして、選択されたフィルタにより、フィルタ処理を行い出力する（Ｓ２４）。ここで、エッジ強度が第１のしきい値と第２のしきい値の間の場合はフィルタ処理を行わず、遅延させてフィルタ処理を行った場合と同じタイミングで出力させる。

これらの処理により、画像のノイズを低減しつつ、画像のエッジを強調した鮮明な画像を得ることができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態における画像処理装置について、説明する。

本実施の形態の画像処理装置は、上記第１の実施の形態における画像処理装置に対して、水平エッジ強調信号生成処理および垂直エッジ強調信号生成処理が異なる。したがって、水平方向プレフィルタ部および垂直方向プレフィルタ部のみが異なり、他の構成作用は同一である。

図４に、本実施の形態における水平方向プレフィルタ部のブロック図を示し、説明する。また、垂直方向プレフィルタ部については、水平方向プレフィルタ部と同様のものなので、説明を省略する。

図４に示すように、水平方向プレフィルタ部４０は、水平方向のエッジ強度を算出する水平エッジ強度算出部４１と、水平方向のエッジ強度にしたがってフィルタ処理を行うプレフィルタ４２と、を備えている。

水平エッジ強度算出部４１は、垂直方向にＬＰＦをかける垂直ＬＰＦ５１、データの遅延を行う遅延素子５２、遅延素子５３、２つの信号の差分値を算出する減算器５４、減算器５５、入力値の絶対値を算出する絶対値算出処理部５６、絶対値算出処理部５７、２つの入力値を加算する加算器５８を有している。

垂直ＬＰＦ５１は、３ライン信号を入力し、それぞれ、１／４、１／２、１／４の係数を掛けて加算することにより、垂直方向にＬＰＦをかけるものである。ただし、縦方向ＬＰＦの係数はこれに限定するものではない。

遅延素子５２および遅延素子５３は、入力した画素信号を一旦蓄積し、出力タイミングを遅延するものである。ここで、遅延素子５２、５３はそれぞれ１画素データ分の時間信号を遅延させるものとする。減算器５４および減算器５５は、遅延素子５２から出力される画素信号を注目画素の画素信号として、それぞれ注目画素と右の信号、注目画素と左の信号との差分値を求めるものである。

絶対値算出処理部５６および絶対値算出処理部５７は、それぞれ減算器５４および減算器５５に算出された注目画素と左右の画素の差分値の絶対値を求めるものであり、加算器５８は、絶対値算出処理部５６および絶対値算出処理部５７に算出された注目画素と左右の画素の差分値の絶対値を加算して、注目画素部での画像変化量を求めるものであり、これを局所領域（ここでは３＊３画素の領域）の水平方向のエッジ強度とする。

プレフィルタ４２は、傾き係数を設定する傾き係数設定部７１、傾き係数設定部７１により設定された傾き係数を乗算する傾き係数乗算部７２、オフセット値を設定するオフセット設定部７３、オフセット設定部７３により設定されたオフセット値を加算するオフセット加算部７４、上限値および下限値をクリップする上下限クリップ調整部７５、２画素データ分のデータの遅延を行う遅延素子８１、加算器８２、１／２を乗算する１／２乗算器８３、１画素データ分のデータの遅延を行う遅延素子８４、減算器８５、重み付け係数を乗算する乗算器８６、１／２５６を乗算する１／２５６乗算器８７、加算器８８を有している。

傾き係数乗算部７２は、水平エッジ強度算出部４１を構成する加算器５８から出力された水平方向のエッジ強度に対して、傾き係数設定部７１により設定された傾き係数を積算するものであり、オフセット加算部７４は、オフセット設定部７３により設定されたオフセット値を加算するものである。上下限クリップ７５は、上限および下限に所定のクリップをかけるものであり、これにより、重み付け係数を求める。重み付け係数の算出については、後で改めて説明する。

遅延素子８１は、入力した画素信号を一旦蓄積し、２画素分出力タイミングを遅延するものである。加算器８２と１／２乗算器８３は、遅延素子８１に２画素分遅延された画素データと、遅延されていない画素データとを加算し、１／２を乗算することにより、１画素分遅延される注目画素の左右２画素の加算平均値を求めるものである。

遅延素子８４は、入力した画素信号を一旦蓄積し、１画素分出力タイミングを遅延するものであり、加算器８２に入力される注目画素の左右２画素を表す２つの画素信号の間の画素値、すなわち、注目画素の画素信号を出力するものである。減算器８５は、遅延素子８４に遅延された画素データから、１／２乗算器８３から出力された値を減算することにより、注目画素と、左右２画素の加算平均との差を求めるものである。

乗算器８６は、減算器８５からの出力と上下限クリップ７５からの出力とを乗算し、注目画素と、左右２画素の加算平均との差に、重み付け係数を掛けた積算ゲインを求めるものである。１／２５６乗算器８７は、乗算器８６から出力された積算ゲインを２５６で割るものであり、これは、回路での実現のために積算ゲインを２５６で１倍とするためであり、小数演算が可能ならこの必要はない。

加算器８８は、乗算器８６、１／２５６乗算器８７からの出力と、加算器８２、１／２乗算器８３からの出力とを、加算して、積算ゲインと左右２画素の加算平均値とを加算するものである。

ここで、中央の画素（注目画素）を「ＣＥＮＴＥＲ」、左右２画素の加算平均を「ＡＶＥ」、重み付け係数を「ｋ」とすると、前記処理による出力信号は、
（ＣＥＮＴＥＲ−ＡＶＥ）＊ｋ＋ＡＶＥ 式（１）
と表すことができる。これは、
ＣＥＮＴＥＲ＊ｋ＋ＡＶＥ＊（１−ｋ） 式（２）
と等価である。つまり本処理は、中央の画素と左右の画素を「ｋ」対（１−ｋ）で重み付け加算するフィルタを通すものである。

したがって、重み係数を変化させることで、フィルタの構成を変えることなくその特性を変えることができる。上記式（２）より明らかなように、「ｋ」が１より小さい場合はＬＰＦとなり、逆に「ｋ」が１より大きい場合は（１−ｋ）は負の数となり、特性は高域強調となる。

また、重み付け係数の算出について図５を用いて説明する。図５は、エッジ強度に対する重み付け係数の関係を示したグラフであり、横軸は水平方向のエッジ強度、縦軸は重み付け係数値である。本実施の形態で、重み付け係数値は重み付け係数「ｋ」に２５６を掛けた値となっている。

グラフの傾き１０１は、傾き係数設定部７１で設定される傾き係数にて定まり、画像の変化に対するフィルタ特性の変化量を調整することができる。傾き係数設定部７１は、例えば、図示されていない画像信号入力部に入力される信号に含まれるノイズの量に応じて傾き係数を設定しても良い。

オフセット１０２は、オフセット設定部７３により設定されるオフセット値にて定まり、よりソフトな画質やシャープな画質に画質調整を行うことができる。このオフセット値は画像調整値を構成する。オフセット設定部７３は、例えば、図示されていない画像信号入力部に入力される信号に含まれるノイズの量に応じてオフセット値を設定しても良い。

さらに、重み付け係数値は、上下限クリップ調整部７５により決定される。すなわち、上下限クリップ調整部７５はオフセット加算部７４から出力された値を上限クリップ値１０３および下限クリップ値１０４と比較し、オフセット加算部７４から出力された値が上限クリップ値１０３を上回る場合は上限クリップ値１０３を、オフセット加算部７４から出力された値が下限クリップ値１０４を下回る場合は下限クリップ値１０４を、オフセット加算部７４から出力された値が上限クリップ値１０３を上回らず下限クリップ値１０４を下回らない場合はオフセット加算部７４から出力された値を出力する。

上記式（２）から明らかなように重み係数「ｋ」が１／３のとき、中央の画素と左右の画素は均等に１／３ずつの重み付けで加算され、これが最も強いＬＰＦとなる。これ以下の値では逆に中央の信号の重み付けが小さくなりすぎるので、１／３を重み付け係数の下限値とする。図５では、積算ゲインを２５６で１倍として２５６＊１／３＝８５を下限クリップの値としている。

また、「ｋ」が１以上の時は（１−ｋ）が負となりフィルタの特性は高域強調となるが、あまりに強すぎるフィルタ処理を行うとかえって画質劣化の要因となるので、ｋ＝１．４（２５６倍して３６０）程度で上限クリップをかける。また、本発明はこれに限定されず、上下限クリップ調整部７５は上限クリップ値、下限クリップ値を可変として、例えば信号に含まれるノイズの量などに応じて設定しても良いことは言うまでもない。

このように、水平方向のエッジ量に合わせて重み付け係数「ｋ」を線形一次変換にて算出することで、重み付け加算によるフィルタの特性を滑らかに変化させることができ、処理の切り替え（フィルタの切り替わり）による画像の不連続性を無くすことができる。

以上のように、エッジ量の線形一次変換にて重み付け係数を算出し、重み付け加算によるフィルタを用いることで、画像の平坦な部分はより滑らかに、エッジの部分はより鮮明な画像を、処理を切り替えることなく得ることができる。

なお、本実施の形態では、水平方向エッジ強調信号処理を例に挙げて説明を行ったが、垂直方向エッジ強調信号処理に関しても同様で、垂直ＬＰＦを水平ＬＰＦに変えて、その他の処理も縦横を入れ替えれば良い。また、斜め方向の処理追加に関しても同様である。

また、本実施の形態では、エッジ量から重み付け係数の算出に線形一次変換を用いたが、変換方法はこれに限定されるものではない。さらに、本実施の形態では、３＊３画素の領域で説明を行ったが、処理領域はこれに限定されるものではない。

また、図６に、本実施の形態における水平方向プレフィルタ処理のフローチャートを示し、説明する。

本水平方向プレフィルタ処理は、上記第１の実施の形態において示した水平方向プレフィルタ処理の一部を変更したもので、変更部分についてのみ説明を行う。

本水平方向プレフィルタ処理では、フィルタ選択処理が無くなり、代わりにフィルタ係数算出処理（Ｓ３３）が存在する。また、プレフィルタ処理（Ｓ３４）も重み付け加算により実現する構成となっている。

フィルタ係数算出処理（Ｓ３３）では、加算器５８により求めたエッジ強度を元に、傾き係数乗算部７２、オフセット加算部７４、上下限クリップ７５によって重み付け係数を算出する。プレフィルタ処理（Ｓ３４）では、フィルタ係数算出処理（Ｓ３３）で求めた重み付け係数を用いて、乗算器８６、加算器８８等により、重み付け加算処理を行う。

これにより、エッジの強度に合わせてＬＰＦから高域強調までの特性を滑らかに制御することができ、処理の切り替えによる画像の不連続性を無くすことができる。

なお、本発明の実施の形態の画像処理装置は、例えば、プロセッサやメモリ等を用いて構成されてもよく、また、それぞれ電気回路等によって構成されてもよく、または上記処理をプロセッサ等によって実行させるプログラムのモジュールでも良い。

以上のように、本発明にかかる画像処理装置は、注目画素付近での特定方向における先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができるという効果を有し、ディジタル画像処理を行う画像処理装置等として有用である。

本発明は、ディジタル画像処理において、特にノイズが少なくかつ鮮明な画像を得ることのできる画像処理装置および画像処理プログラムに関する。

従来の画像処理装置においては、画像を鮮明にするための処理としてエッジ強調処理が広く用いられている。これは画像信号にＨＰＦ（ハイパスフィルター）をかけた信号を加算することで画像信号の変化を強調し、画像のエッジを強調するものである。ところが、このような画像処理装置では、ＨＰＦにより画像信号のノイズ成分も同じように強調されてしまい、Ｓ／Ｎ感の悪い画像となってしまう。

そこで、適応的な精細度補正を実現する画像処理装置が提案されている。このような従来の画像処理装置を、図７に示し説明する。

図７に示すように、従来の画像処理装置では、入力画像データから画像特徴量としてカラーエッジ情報を算出する画像特徴量算出部１２と、ここで算出された画像特徴量が、第一の値以下の場合は、先鋭度を平滑化する強調係数を、第一の値よりも大きく第二の値以下の場合は、先鋭度を強調する強調係数を、第二の値よりも大きい場合は、先鋭度の補正を行わない強調係数を、それぞれ算出する強調係数算出部１３と、ここで算出された強調係数に基づいて入力画像データの精細度補正を行う精細度補正部１４とを備えることにより、カラーエッジ情報を算出し、この値を閾値と比較して、それぞれの場合で異なる強調係数に基づいて入力画像データの精細度補正を行っている（例えば特許文献１参照）。
特開２００２−８３２９４号公報（要約、第１図）

しかしながら、このような従来の画像処理装置においては、エッジの方向に対する考慮がなく、エッジ付近ではどの方向に対しても先鋭化されてしまうという問題があった。

本発明は、このような従来の問題を解決するためになされたもので、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることのできる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、画像データを入力する画像データ入力手段と、前記入力した画像データの注目画素とその周囲画素のレベル差から特定方向のエッジ強度を算出するエッジ強度算出手段と、前記エッジ強度算出手段に算出された特定方向のエッジ強度に基づいてフィルタを決定し、画素データに前記フィルタによるフィルタ処理を実行して選択的にノイズ低減およびエッジ強調を行うフィルタ処理手段と、前記フィルタ処理された画素データによりエッジ強調信号を生成するエッジ強調信号生成手段と、前記入力した画像データを前記エッジ強調信号に基づいて補正する画像補正手段とを備えたことを特徴とした構成を有している。

この構成により、本発明の画像処理装置は、注目画素とその周囲との特定方向におけるエッジ強度にしたがってフィルタがかけられノイズが低減されるので、注目画素付近での特定方向における先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができる。

また、本発明の画像処理装置は、前記フィルタ処理手段は、前記特定方向のエッジ強度が第１の値以下の場合には平滑化フィルタを、第２の値より大きい場合にはエッジ強調フィルタを選択することを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、特定方向のエッジ強度が低い場合には平滑化フィルタを、高い場合にはエッジ強調フィルタによるフィルタ処理を実行するので、注目画素の特定方向が平坦な場合はより滑らかで、エッジがある場合にはより鮮明にすることができ、ノイズが少なくエッジ方向には鮮明な画像を得ることができる。

さらに、本発明の画像処理装置は、前記フィルタ処理手段は、前記特定方向のエッジ強度から線形一次変換によりフィルタ係数を算出し、線形変化する前記フィルタ係数にしたがって前記注目画素データのノイズ低減およびエッジ強調を選択的に行うことを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、線形変化するフィルタ係数にしたがって注目画素データのノイズ低減もしくはエッジ強調が行われるので、注目画素付近のエッジ強度に合わせてフィルタの特性を平滑化から高域強調まで滑らかに変化させることができ、閾値による信号処理切り替えを無くし、切り替わりによる画像の不連続性を排除することができる。

さらに、本発明の画像処理装置は、前記フィルタ処理手段は、前記特定方向のエッジ強度に対して、傾き係数をかけ、画質の調整を行う画質調整値を加算して予備値を算出し、前記予備値と所定の上限値および下限値と比較をして、前記予備値が上限値を上回る場合は上限値を、前記予備値が下限値を下回る場合は下限値を、前記予備値が上限値を上回らず、かつ下限値を下回らない場合は前記予備値を重み付け係数として決定し、前記注目画素データに前記重み付け係数による重み付け加算を行ってノイズ低減およびエッジ強調を選択的に行うことを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、傾き係数によって画像の変化によるノイズ低減量もしくはエッジ強調量を調整でき、画質調整値によってソフトな画質からシャープな画質まで様々な画質を選択でき、上下限クリップによってフィルタのかけすぎによる画質劣化を防止することができ、画像の調整を容易に行うことができる。

さらに、本発明の画像処理装置は、前記フィルタ処理手段は、前記注目画素データの前後の画素データの平均値と前記注目画素データとの差分に前記重み付け係数を掛け合わせた積を前記注目画素データの前後の画素データの平均値に加えて前記重み付け加算を行うことを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、重み付け係数の値に応じてローパスフィルタおよびハイパスフィルタによるフィルタ処理を選択的に実行することができるので、特定方向のエッジ強度が低い場合には平滑化フィルタを、高い場合にはエッジ強調フィルタによるフィルタ処理を実行するので、注目画素の特定方向が平坦な場合はより滑らかで、エッジがある場合にはより鮮明にすることができ、ノイズが少なくエッジ方向には鮮明な画像を得ることができる。

さらに、本発明の画像処理装置は、前記傾き係数および前記画質調整値は画像データに含まれるノイズの量に応じて決定されることを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、画像データに含まれるノイズの量に応じて効果的にフィルタ処理を行うことができる。

さらに、本発明の画像処理装置は、前記特定方向は少なくとも水平方向と垂直方向を含み、前記エッジ強度算出手段は、前記注目画素データとその左右画素データのレベル差から水平方向のエッジ強度を算出する水平エッジ強度算出部と、前記注目画素データとその上下画素データのレベル差から垂直方向のエッジ強度を算出する垂直エッジ強度算出部とを備え、前記フィルタ処理手段は、前記水平エッジ強度算出部に算出された水平方向のエッジ強度に基づいて水平フィルタを求め、前記水平フィルタにより水平ノイズ低減および水平エッジ強調を選択的に行う水平フィルタ処理部と、前記垂直エッジ強度算出部に算出された垂直方向のエッジ強度に基づいて垂直フィルタを求め、前記垂直フィルタにより垂直ノイズ低減および垂直エッジ強調を選択的に行う垂直フィルタ処理部とを備え、前記エッジ強調信号生成手段は、前記水平フィルタ処理された画素データおよび前記垂直フィルタ処理された画素データによりエッジ強調信号を生成することを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、水平および垂直エッジがそれぞれ別々に検出され、水平および垂直方向それぞれのフィルタ処理が行われるので、水平および垂直方向それぞれの単独ノイズが低減され、一方には平滑化、一方には先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができる。

さらに、本発明の画像処理装置は、前記エッジ強度算出手段は、さらに、前記注目画素データとその第１斜め方向の前後に位置する画素データのレベル差から第１斜め方向のエッジ強度を算出する第１斜めエッジ強度算出部と、前記注目画素データとその第２斜め方向の前後に位置する画素データのレベル差から第２斜め方向のエッジ強度を算出する第２斜め方向エッジ強度算出部とを備え、前記フィルタ処理手段は、前記第１斜め方向エッジ強度算出部に算出された第１斜め方向のエッジ強度に基づいて第１斜め方向フィルタを求め、前記第１斜め方向フィルタにより第１斜め方向ノイズ低減および第１斜め方向エッジ強調を選択的に行う第１斜め方向フィルタ処理部と、前記第２斜め方向エッジ強度算出部に算出された第２斜め方向のエッジ強度に基づいて第２斜め方向フィルタを求め、前記第２斜め方向フィルタにより第２斜め方向ノイズ低減および第２斜め方向エッジ強調を選択的に行う第２斜め方向フィルタ処理部とを備え、前記エッジ強調信号生成手段は、前記第１斜め方向フィルタ処理された画素データおよび前記第２斜め方向フィルタ処理された画素データによりエッジ強調信号を生成することを特徴とした構成を有しても良い。

この構成により、本発明の画像処理装置は、第１斜め方向および第２斜め方向のエッジ強度がそれぞれ別々に検出され、第１斜め方向および第２斜め方向それぞれのフィルタ処理が行われるので、第１斜め方向および第２斜め方向それぞれの単独ノイズが低減され、一方には平滑化、一方には先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができる。

さらに、本発明の画像処理プログラムは、画像データを入力する画像データ入力ステップと、前記入力した画像データの注目画素とその周囲画素のレベル差から特定方向のエッジ強度を算出するエッジ強度算出ステップと、前記エッジ強度算出ステップで算出された特定方向のエッジ強度に基づいてフィルタ処理を選択し、前記選択したフィルタ処理により画素データのノイズ低減およびエッジ強調を選択的に行うフィルタ処理ステップと、前記フィルタ処理された画素データによりエッジ強調信号を生成するエッジ強調信号生成ステップと、前記入力した画像データを前記エッジ強調信号に基づいて補正する画像補正ステップとを備えたことを特徴とした構成を有している。

この構成により、本発明の画像処理プログラムは、注目画素とその周囲との特定方向におけるエッジ強度にしたがってフィルタ処理が行われノイズが低減されるので、注目画素付近での特定方向における先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができる。

本発明は、注目画素とその周囲画素との特定方向におけるエッジ強度を算出するエッジ強度算出手段と、前記特定方向のエッジ強度に基づいたフィルタ処理を行いノイズ低減およびエッジ強調を選択的に行うフィルタ処理手段とを設けることにより、注目画素付近での特定方向における先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができるという効果を有する画像処理装置を提供することができるものである。

以下、本発明の実施の形態の画像処理装置について、図面を用いて説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態における画像処理装置のブロック図を図１に示し、説明する。

図１は、画像処理装置のエッジ強調信号生成処理部のブロック図であり、画像信号を入力する画像信号入力部（画像データ入力手段）２１と、水平方向のエッジ強度にしたがってフィルタ処理を行う水平方向プレフィルタ部３１と、垂直方向のエッジ強度にしたがってフィルタ処理を行う垂直方向プレフィルタ部３２と、エッジ強調信号を生成する水平垂直エッジ強調信号生成部（エッジ強調信号生成手段）２６と、信号の加算を行う加算器（画像補正手段）２７と、画像信号を出力する画像信号出力部２８とを備えている。

また、水平方向プレフィルタ部３１は、水平方向のエッジ強度を算出する水平エッジ強度算出部２２と、水平方向のフィルタ処理を行うプレフィルタ（水平フィルタ処理部）２４と、を有し、垂直方向プレフィルタ部３２は、垂直方向のエッジ強度を算出する垂直エッジ強度算出部２３と、垂直方向のフィルタ処理を行うプレフィルタ（垂直フィルタ処理部）２５と、を有している。

画像信号入力部２１は、画素単位の信号を順次入力するものである。ここで、垂直方向のエッジ強調信号を生成するためには、複数ラインの信号が必要なので、ラインメモリ等を使用して複数列の画像信号を並列に入力する。図１では、３ライン使用しているが、ライン数は３本に限定されるものではない。

水平エッジ強度算出部２２は、入力信号に対して、まず垂直方向にＬＰＦ（ローパスフィルタ）をかけてから、水平方向の差分の絶対値を算出するものである。この処理により、ノイズの影響を低減して水平方向のエッジの強度を検出することができる。

垂直エッジ強度算出部２３は、水平エッジ強度算出部２２と同様に、入力信号に対して水平ＬＰＦをかけてから、垂直方向の差分の絶対値を算出し、垂直方向のエッジの強度を検出するものである。

プレフィルタ２４は、水平エッジ強度算出部２２で求めた水平エッジ強度が弱い場合にはＬＰＦを、強い場合には高域を強調するＨＰＦなどのフィルタ処理を行うものである。この時、注目画素に単独ノイズがあったとしても水平エッジ強度が弱いためＬＰＦがかけられ、ノイズの影響は低減される。

プレフィルタ２５は、プレフィルタ２４と同様に、垂直エッジ強度算出部２３で求めた垂直エッジ強度が弱い場合にはＬＰＦを、強い場合には高域を強調するＨＰＦなどのなどのフィルタ処理を行うものである。

プレフィルタ２４とプレフィルタ２５は、それぞれが単独ノイズの低減効果を持つ。注目画素が水平エッジの場合には、水平方向には先鋭化、垂直方向には平滑化し、シャープなエッジとなる。垂直エッジの場合も同様である。

水平垂直エッジ強調信号生成部２６は、プレフィルタ２４、プレフィルタ２５の出力信号を受けエッジ強調信号を生成するものである。

加算器２７は、水平垂直エッジ強調信号生成部２６で生成されたエッジ強調信号を、画像信号入力部２１で入力された本線信号に加算するものであり、画像信号出力部２８は、加算器２７で加算された画像信号を出力するものである。

なお、図１では、水平方向と垂直方向の処理を記載したが、同様に斜め方向の処理を追加しても良い。

以上のように構成された画像処理装置のエッジ強調信号生成動作について、図２にフローチャートを示し、説明する。

まず、信号入力処理では、画像信号入力部２１が画像信号を入力する（Ｓ１１）。次に、水平方向プレフィルタ処理では、水平方向プレフィルタ部３１が画像信号入力部２１から画像信号を入力し、水平方向のエッジの強度を検出し、強度に応じてフィルタ処理を行う（Ｓ１２）。この水平方向プレフィルタ処理については、後で詳述する。また、垂直方向プレフィルタ処理では、垂直方向プレフィルタ部３２が画像信号入力部２１から画像信号を入力し、垂直方向のエッジの強度を検出し、強度に応じてフィルタ処理を行う（Ｓ１３）。このとき、水平方向プレフィルタ処理と垂直方向プレフィルタ処理は、別々の処理として用意しておいても良いし、１つの処理のみ用意しておいて、信号の水平と垂直とを入れ替えたものを入力として同じ処理を２度呼び出しても良い。

次に、水平垂直エッジ強調信号生成処理では、水平垂直エッジ強調信号生成部２６が水平方向プレフィルタ部３１と垂直方向プレフィルタ部３２とのそれぞれから出力されたプレフィルタのかかった信号を受け取り、エッジ強調信号を生成し、加算器２７が、画像信号入力部２１が入力した画像信号に、水平垂直エッジ強調信号生成部２６に生成された信号を加算し、画像信号出力部２８からエッジ強調された信号を出力する（Ｓ１４）。

以上の処理により、画像のノイズを低減しつつ、画像のエッジを強調した鮮明な画像を得ることができる。

また、図３に、水平方向プレフィルタ処理のフローチャートを示し、説明する。

まず、垂直ＬＰＦ処理では、画像信号入力部２１から入力した信号により、複数の垂直方向の画素値によって雑音の除去、低減化を行う（Ｓ２１）。次に、水平差分絶対値和算出処理では、注目画素と左右両側の画素値との差分絶対値を加算して、水平方向のエッジ強度を得る（Ｓ２２）。次に、フィルタ選択処理では、得られたエッジ強度にしたがい、エッジ強度が弱ければＬＰＦなどの平滑フィルタを、エッジ強度が強ければ高域強調となるよう、複数のフィルタからＨＰＦなどエッジを強調するフィルタを選択する（Ｓ２３）。例えば、第１のしきい値、第２のしきい値と２つのしきい値を設け、エッジ強度が第１のしきい値以下の場合には平滑フィルタを、第２のしきい値以上の場合にはエッジ強調フィルタを選択するようにしても良い。そして、選択されたフィルタにより、フィルタ処理を行い出力する（Ｓ２４）。ここで、エッジ強度が第１のしきい値と第２のしきい値の間の場合はフィルタ処理を行わず、遅延させてフィルタ処理を行った場合と同じタイミングで出力させる。

これらの処理により、画像のノイズを低減しつつ、画像のエッジを強調した鮮明な画像を得ることができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態における画像処理装置について、説明する。

本実施の形態の画像処理装置は、上記第１の実施の形態における画像処理装置に対して、水平エッジ強調信号生成処理および垂直エッジ強調信号生成処理が異なる。したがって、水平方向プレフィルタ部および垂直方向プレフィルタ部のみが異なり、他の構成作用は同一である。

図４に、本実施の形態における水平方向プレフィルタ部のブロック図を示し、説明する。また、垂直方向プレフィルタ部については、水平方向プレフィルタ部と同様のものなので、説明を省略する。

図４に示すように、水平方向プレフィルタ部４０は、水平方向のエッジ強度を算出する水平エッジ強度算出部４１と、水平方向のエッジ強度にしたがってフィルタ処理を行うプレフィルタ４２と、を備えている。

水平エッジ強度算出部４１は、垂直方向にＬＰＦをかける垂直ＬＰＦ５１、データの遅延を行う遅延素子５２、遅延素子５３、２つの信号の差分値を算出する減算器５４、減算器５５、入力値の絶対値を算出する絶対値算出処理部５６、絶対値算出処理部５７、２つの入力値を加算する加算器５８を有している。

垂直ＬＰＦ５１は、３ライン信号を入力し、それぞれ、１／４、１／２、１／４の係数を掛けて加算することにより、垂直方向にＬＰＦをかけるものである。ただし、縦方向ＬＰＦの係数はこれに限定するものではない。

遅延素子５２および遅延素子５３は、入力した画素信号を一旦蓄積し、出力タイミングを遅延するものである。ここで、遅延素子５２、５３はそれぞれ１画素データ分の時間信号を遅延させるものとする。減算器５４および減算器５５は、遅延素子５２から出力される画素信号を注目画素の画素信号として、それぞれ注目画素と右の信号、注目画素と左の信号との差分値を求めるものである。

絶対値算出処理部５６および絶対値算出処理部５７は、それぞれ減算器５４および減算器５５に算出された注目画素と左右の画素の差分値の絶対値を求めるものであり、加算器５８は、絶対値算出処理部５６および絶対値算出処理部５７に算出された注目画素と左右の画素の差分値の絶対値を加算して、注目画素部での画像変化量を求めるものであり、これを局所領域（ここでは３＊３画素の領域）の水平方向のエッジ強度とする。

プレフィルタ４２は、傾き係数を設定する傾き係数設定部７１、傾き係数設定部７１により設定された傾き係数を乗算する傾き係数乗算部７２、オフセット値を設定するオフセット設定部７３、オフセット設定部７３により設定されたオフセット値を加算するオフセット加算部７４、上限値および下限値をクリップする上下限クリップ調整部７５、２画素データ分のデータの遅延を行う遅延素子８１、加算器８２、１／２を乗算する１／２乗算器８３、１画素データ分のデータの遅延を行う遅延素子８４、減算器８５、重み付け係数を乗算する乗算器８６、１／２５６を乗算する１／２５６乗算器８７、加算器８８を有している。

傾き係数乗算部７２は、水平エッジ強度算出部４１を構成する加算器５８から出力された水平方向のエッジ強度に対して、傾き係数設定部７１により設定された傾き係数を積算するものであり、オフセット加算部７４は、オフセット設定部７３により設定されたオフセット値を加算するものである。上下限クリップ７５は、上限および下限に所定のクリップをかけるものであり、これにより、重み付け係数を求める。重み付け係数の算出については、後で改めて説明する。

遅延素子８１は、入力した画素信号を一旦蓄積し、２画素分出力タイミングを遅延するものである。加算器８２と１／２乗算器８３は、遅延素子８１に２画素分遅延された画素データと、遅延されていない画素データとを加算し、１／２を乗算することにより、１画素分遅延される注目画素の左右２画素の加算平均値を求めるものである。

遅延素子８４は、入力した画素信号を一旦蓄積し、１画素分出力タイミングを遅延するものであり、加算器８２に入力される注目画素の左右２画素を表す２つの画素信号の間の画素値、すなわち、注目画素の画素信号を出力するものである。減算器８５は、遅延素子８４に遅延された画素データから、１／２乗算器８３から出力された値を減算することにより、注目画素と、左右２画素の加算平均との差を求めるものである。

乗算器８６は、減算器８５からの出力と上下限クリップ７５からの出力とを乗算し、注目画素と、左右２画素の加算平均との差に、重み付け係数を掛けた積算ゲインを求めるものである。１／２５６乗算器８７は、乗算器８６から出力された積算ゲインを２５６で割るものであり、これは、回路での実現のために積算ゲインを２５６で１倍とするためであり、小数演算が可能ならこの必要はない。

加算器８８は、乗算器８６、１／２５６乗算器８７からの出力と、加算器８２、１／２乗算器８３からの出力とを、加算して、積算ゲインと左右２画素の加算平均値とを加算するものである。

ここで、中央の画素（注目画素）を「CENTER」、左右２画素の加算平均を「AVE 」、重み付け係数を「k 」とすると、前記処理による出力信号は、
( CENTER - AVE ) * k + AVE 式（１）
と表すことができる。これは、
CENTER * k + AVE * ( 1 - k ) 式（２）
と等価である。つまり本処理は、中央の画素と左右の画素を「k」 対 (1-k) で重み付け加算するフィルタを通すものである。

したがって、重み係数を変化させることで、フィルタの構成を変えることなくその特性を変えることができる。上記式（２）より明らかなように、「k」が１より小さい場合はＬＰＦとなり、逆に「k」が１より大きい場合は (1-k) は負の数となり、特性は高域強調となる。

また、重み付け係数の算出について図５を用いて説明する。図５は、エッジ強度に対する重み付け係数の関係を示したグラフであり、横軸は水平方向のエッジ強度、縦軸は重み付け係数値である。本実施の形態で、重み付け係数値は重み付け係数「ｋ」に２５６を掛けた値となっている。

グラフの傾き１０１は、傾き係数設定部７１で設定される傾き係数にて定まり、画像の変化に対するフィルタ特性の変化量を調整することができる。傾き係数設定部７１は、例えば、図示されていない画像信号入力部に入力される信号に含まれるノイズの量に応じて傾き係数を設定しても良い。

オフセット１０２は、オフセット設定部７３により設定されるオフセット値にて定まり、よりソフトな画質やシャープな画質に画質調整を行うことができる。このオフセット値は画像調整値を構成する。オフセット設定部７３は、例えば、図示されていない画像信号入力部に入力される信号に含まれるノイズの量に応じてオフセット値を設定しても良い。

さらに、重み付け係数値は、上下限クリップ調整部７５により決定される。すなわち、上下限クリップ調整部７５はオフセット加算部７４から出力された値を上限クリップ値１０３および下限クリップ値１０４と比較し、オフセット加算部７４から出力された値が上限クリップ値１０３を上回る場合は上限クリップ値１０３を、オフセット加算部７４から出力された値が下限クリップ値１０４を下回る場合は下限クリップ値１０４を、オフセット加算部７４から出力された値が上限クリップ値１０３を上回らず下限クリップ値１０４を下回らない場合はオフセット加算部７４から出力された値を出力する。

上記式（２）から明らかなように重み係数「k」が１／３のとき、中央の画素と左右の画素は均等に１／３ずつの重み付けで加算され、これが最も強いＬＰＦとなる。これ以下の値では逆に中央の信号の重み付けが小さくなりすぎるので、１／３を重み付け係数の下限値とする。図５では、積算ゲインを２５６で１倍として２５６＊１／３＝８５を下限クリップの値としている。

また、「k」が１以上の時は (1-k) が負となりフィルタの特性は高域強調となるが、あまりに強すぎるフィルタ処理を行うとかえって画質劣化の要因となるので、k=1.4（２５６倍して３６０）程度で上限クリップをかける。また、本発明はこれに限定されず、上下限クリップ調整部７５は上限クリップ値、下限クリップ値を可変として、例えば信号に含まれるノイズの量などに応じて設定しても良いことは言うまでもない。

このように、水平方向のエッジ量に合わせて重み付け係数「k」を線形一次変換にて算出することで、重み付け加算によるフィルタの特性を滑らかに変化させることができ、処理の切り替え（フィルタの切り替わり）による画像の不連続性を無くすことができる。

以上のように、エッジ量の線形一次変換にて重み付け係数を算出し、重み付け加算によるフィルタを用いることで、画像の平坦な部分はより滑らかに、エッジの部分はより鮮明な画像を、処理を切り替えることなく得ることができる。

なお、本実施の形態では、水平方向エッジ強調信号処理を例に挙げて説明を行ったが、垂直方向エッジ強調信号処理に関しても同様で、垂直ＬＰＦを水平ＬＰＦに変えて、その他の処理も縦横を入れ替えれば良い。また、斜め方向の処理追加に関しても同様である。

また、本実施の形態では、エッジ量から重み付け係数の算出に線形一次変換を用いたが、変換方法はこれに限定されるものではない。さらに、本実施の形態では、３＊３画素の領域で説明を行ったが、処理領域はこれに限定されるものではない。

また、図６に、本実施の形態における水平方向プレフィルタ処理のフローチャートを示し、説明する。

本水平方向プレフィルタ処理は、上記第１の実施の形態において示した水平方向プレフィルタ処理の一部を変更したもので、変更部分についてのみ説明を行う。

本水平方向プレフィルタ処理では、フィルタ選択処理が無くなり、代わりにフィルタ係数算出処理（Ｓ３３）が存在する。また、プレフィルタ処理（Ｓ３４）も重み付け加算により実現する構成となっている。

フィルタ係数算出処理（Ｓ３３）では、加算器５８により求めたエッジ強度を元に、傾き係数乗算部７２、オフセット加算部７４、上下限クリップ７５によって重み付け係数を算出する。プレフィルタ処理（Ｓ３４）では、フィルタ係数算出処理（Ｓ３３）で求めた重み付け係数を用いて、乗算器８６、加算器８８等により、重み付け加算処理を行う。

これにより、エッジの強度に合わせてＬＰＦから高域強調までの特性を滑らかに制御することができ、処理の切り替えによる画像の不連続性を無くすことができる。

なお、本発明の実施の形態の画像処理装置は、例えば、プロセッサやメモリ等を用いて構成されてもよく、また、それぞれ電気回路等によって構成されてもよく、または上記処理をプロセッサ等によって実行させるプログラムのモジュールでも良い。

以上のように、本発明にかかる画像処理装置は、注目画素付近での特定方向における先鋭化を行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができるという効果を有し、ディジタル画像処理を行う画像処理装置等として有用である。

本発明の第１の実施の形態における画像処理装置のエッジ強調信号生成処理部のブロック図 本発明の第１の実施の形態における画像処理装置のエッジ強調信号生成処理動作を示すフローチャート 本発明の第１の実施の形態におけるエッジ強調信号生成処理の水平方向プレフィルタ処理動作を示すフローチャート 本発明の第２の実施の形態における画像処理装置のエッジ強調信号生成処理部の水平方向プレフィルタ部のブロック図 本発明の第２の実施の形態における画像処理装置のエッジ強度に対する重み付け係数の関係を示したグラフ 本発明の第２の実施の形態におけるエッジ強調信号生成処理の水平方向プレフィルタ処理動作を示すフローチャート 従来の画像処理装置のブロック図

符号の説明

１１ 画像入力部
１２ 画像特徴量算出部
１３ 強調係数算出部
１４ 精細度補正部
１５ 画像出力部
２１ 画像信号入力部（画像データ入力手段）
２２ 水平エッジ強度算出部
２３ 垂直エッジ強度算出部
２４ プレフィルタ（水平フィルタ処理部）
２５ プレフィルタ（垂直フィルタ処理部）
２６ 水平垂直エッジ強調信号生成部（エッジ強調信号生成手段）
２７ 加算器（画像補正手段）
２８ 画像信号出力部
３１ 水平方向プレフィルタ部
３２ 垂直方向プレフィルタ部
４０ 水平方向プレフィルタ部
４１ 水平エッジ強度算出部
４２ プレフィルタ
５１ 垂直ＬＰＦ
５２ 遅延素子
５３ 遅延素子
５４ 減算器
５５ 減算器
５６ 絶対値算出処理部
５７ 絶対値算出処理部
５８ 加算器
７１ 傾き係数設定部
７２ 傾き係数乗算部
７３ オフセット設定部
７４ オフセット加算部
７５ 上下限クリップ調整部
８１ 遅延素子
８２ 加算器
８３ １／２乗算器
８４ 遅延素子
８５ 減算器
８６ 乗算器
８７ １／２５６乗算器
８８ 加算器

Claims (9)

1. 画像データを入力する画像データ入力手段と、
   前記入力した画像データの注目画素とその周囲画素のレベル差から特定方向のエッジ強度を算出するエッジ強度算出手段と、
   前記エッジ強度算出手段に算出された特定方向のエッジ強度に基づいてフィルタを決定し、画素データに前記フィルタによるフィルタ処理を実行して選択的にノイズ低減およびエッジ強調を行うフィルタ処理手段と、
   前記フィルタ処理された画素データによりエッジ強調信号を生成するエッジ強調信号生成手段と、
   前記入力した画像データを前記エッジ強調信号に基づいて補正する画像補正手段とを備えたことを特徴とする画像処理装置。
2. 前記フィルタ処理手段は、前記特定方向のエッジ強度が第１の値以下の場合には平滑化フィルタを、第２の値より大きい場合にはエッジ強調フィルタを選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタ処理手段は、前記特定方向のエッジ強度から線形一次変換によりフィルタ係数を算出し、線形変化する前記フィルタ係数にしたがって前記注目画素データのノイズ低減およびエッジ強調を選択的に行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記フィルタ処理手段は、前記特定方向のエッジ強度に対して、傾き係数をかけ、画質の調整を行う画質調整値を加算して予備値を算出し、前記予備値と所定の上限値および下限値と比較をして、前記予備値が上限値を上回る場合は上限値を、前記予備値が下限値を下回る場合は下限値を、前記予備値が上限値を上回らず、かつ下限値を下回らない場合は前記予備値を重み付け係数として決定し、前記注目画素データに前記重み付け係数による重み付け加算を行ってノイズ低減およびエッジ強調を選択的に行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記フィルタ処理手段は、前記注目画素データから前記注目画素データの前後の画素データの平均値を引いた差分に前記重み付け係数を掛け合わせた積を前記注目画素データの前後の画素データの平均値に加えて前記重み付け加算を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記傾き係数および前記画質調整値は画像データに含まれるノイズの量に応じて決定されることを特徴とする請求項４に記載の画像処理装置。
7. 前記特定方向は少なくとも水平方向と垂直方向を含み、前記エッジ強度算出手段は、前記注目画素データとその左右画素データのレベル差から水平方向のエッジ強度を算出する水平エッジ強度算出部と、前記注目画素データとその上下の画素データのレベル差から垂直方向のエッジ強度を算出する垂直エッジ強度算出部とを備え、
   前記フィルタ処理手段は、前記水平エッジ強度算出部に算出された水平方向のエッジ強度に基づいて水平フィルタを求め、前記水平フィルタにより水平ノイズ低減および水平エッジ強調を選択的に行う水平フィルタ処理部と、前記垂直エッジ強度算出部に算出された垂直方向のエッジ強度に基づいて垂直フィルタを求め、前記垂直フィルタにより垂直ノイズ低減および垂直エッジ強調を選択的に行う垂直フィルタ処理部とを備え、
   前記エッジ強調信号生成手段は、前記水平フィルタ処理された画素データおよび前記垂直フィルタ処理された画素データによりエッジ強調信号を生成することを特徴とする請求項１に記載の画像処理装置。
8. 前記エッジ強度算出手段は、さらに、前記注目画素データとその第１斜め方向の前後に位置する画素データのレベル差から第１斜め方向のエッジ強度を算出する第１斜め方向エッジ強度算出部と、前記注目画素データとその第２斜め方向の前後に位置する画素データのレベル差から第２斜め方向のエッジ強度を算出する第２斜め方向エッジ強度算出部とを備え、
   前記フィルタ処理手段は、前記第１斜め方向エッジ強度算出部に算出された第１斜め方向のエッジ強度に基づいて第１斜め方向フィルタを求め、前記第１斜め方向フィルタにより第１斜め方向ノイズ低減および第１斜め方向エッジ強調を選択的に行う第１斜め方向フィルタ処理部と、前記第２斜め方向エッジ強度算出部に算出された第２斜め方向のエッジ強度に基づいて第２斜め方向フィルタを求め、前記第２斜め方向フィルタにより第２斜め方向ノイズ低減および第２斜め方向エッジ強調を選択的に行う第２斜め方向フィルタ処理部とを備え、
   前記エッジ強調信号生成手段は、前記第１斜め方向フィルタ処理された画素データおよび前記第２斜め方向フィルタ処理された画素データによりエッジ強調信号を生成することを特徴とする請求項７に記載の画像処理装置。
9. 画像データを入力する画像データ入力ステップと、
   前記入力した画像データの注目画素とその周囲画素のレベル差から特定方向のエッジ強度を算出するエッジ強度算出ステップと、
   前記エッジ強度算出ステップで算出された特定方向のエッジ強度に基づいて実行するフィルタ処理を選択し、前記選択したフィルタ処理により画素データのノイズ低減およびエッジ強調を選択的に行うフィルタ処理ステップと、
   前記フィルタ処理された画素データによりエッジ強調信号を生成するエッジ強調信号生成ステップと、
   前記入力した画像データを前記エッジ強調信号に基づいて補正する画像補正ステップとを備えたことを特徴とする画像処理プログラム。

Images