JP4863505B2 - 画像処理装置 - Google Patents

Description

本発明は、画素信号にエッジ強調処理などのフィルタリング処理を施す画像処理装置に関する。

デジタルスチルカメラ、デジタルビデオカメラ、イメージスキャナなどにおいて、入力した画素信号に様々な画像処理が施される。たとえば、画素信号から高周波成分を抽出し、高周波成分を元の画素信号に付加することでエッジ強調処理が行われる。また、画素信号に平均値フィルタやメディアンフィルタを適用させることで、画素信号からノイズを除去することが可能である。

国際公開２００６−０４３４１４号公報

しかしながら、画素信号に一様にエッジ強調処理を行った場合、ノイズ成分までが強調されるという問題がある。また、画素信号に対して一様に低周波通過フィルタを適用してノイズ除去を行った場合、エッジ成分の鮮明度が劣化するという問題があった。

そこで、画素信号からエッジ成分領域を抽出し、エッジ成分領域以外の領域についてのみノイズ除去フィルタを適用させるという方法が従来行われている。しかし、この方法では、エッジ成分の近傍領域にノイズが残るという問題があった。

本願出願人は、上記特許文献１で、画素信号の相関方向を判定し、相関方向に関連した画素補間処理およびフィルタリング処理を実行するようにしている。具体的には、相関の高い方向の画素を用いて、画素補間処理およびフィルタリング処理を行うようにしている。これにより、シャープな画素信号が得られるという効果がある。

本発明は前記問題点に鑑み、ノイズ除去処理およびエッジ強調処理が互いに悪影響を及ぼすことなく、画素信号に適切なフィルタリング処理を施す技術を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、画像処理装置であって、画素信号を入力する入力手段と、注目画素周辺の所定領域内の画素信号を用いて、前記注目画素と第１の方向との相関、及び前記注目画素と第２方向との相関を求め、前記第１方向の相関及び前記第２方向の相関に基づいて、前記注目画素がエッジ上の画素であるか否かを判定し、前記注目画素がエッジ上の画素であると判定された場合、エッジの方向を判定するエッジ判定手段と、前記注目画素がエッジ上の画素である場合、エッジの方向と関連した特性を持つフィルタリング処理を実行するフィルタリング手段と、を備えることを特徴とする。

請求項２記載の発明は、請求項１に記載の画像処理装置において、前記第２の方向は、前記第１の方向と直交し、前記フィルタリング手段は、所定の基準に基づいて相関が高いと判定された前記第１の方向については前記第１の方向の画素を用いたノイズ除去フィルタリング処理を実行し、前記第２の方向については前記第２の方向の画素を用いたエッジ強調処理を実行することを特徴とする。

請求項３記載の発明は、請求項１に記載の画像処理装置において、前記第２の方向は、前記第１の方向と直交し、前記エッジ判定手段は、前記注目画素と第３の方向との相関、及び前記注目画素と前記第３の方向に直交する第４の方向との相関を求め、前記フィルタリング手段は、前記第１の方向ないし前記第４の方向のうち、前記第１の方向の相関が最も高いと判定され、かつ、前記第２の方向の相関が最も小さいと判定された場合、前記第１の方向については前記第１の方向の画素を用いたノイズ除去フィルタリング処理を実行し、前記第２の方向については前記第２の方向の画素を用いたエッジ強調処理を実行することを特徴とする。

請求項４記載の発明は、請求項１に記載の画像処理装置において、前記第２の方向は、前記第１の方向と直交し、前記エッジ判定手段は、前記注目画素と第３の方向との相関、及び前記注目画素と前記第３の方向に直交する第４の方向との相関を求め、前記フィルタリング手段は、前記第１の方向ないし前記第４の方向のうち、前記第１の方向の相関が最も高いと判定され、かつ、前記第２の方向の相関が最も小さいと判定された場合、前記第１の方向については前記第１の方向の画素を用いた第１のノイズ除去フィルタリング処理を実行し、前記第２の方向については前記第２の方向の画素を用いた第１のエッジ強調処理を実行し、前記フィルタリング手段は、前記第１の方向ないし前記第４の方向のうち、前記第１の方向の相関が最も高いと判定され、かつ、前記第２の方向の相関が最も小さいとは判定されなかった場合、前記第１の方向については前記第１の方向の画素を用いた第２のノイズ除去フィルタリング処理を実行し、前記第２の方向については前記第２の方向の画素を用いた第２のエッジ強調処理を実行し、前記第１のノイズ除去フィルタリング処理と前記第２のノイズ除去フィルタリング処理とは、ノイズ除去の度合いが異なり、前記第１のエッジ強調処理と前記第２のエッジ強調処理とは、エッジ強調の度合いが異なることを特徴とする。

請求項５記載の発明は、請求項１に記載の画像処理装置において、前記フィルタリング手段は、前記注目画素がエッジ上の画素でない場合には、特定の方向とは関連しない特性を持つフィルタリング処理を実行する手段、を含むことを特徴とする。

請求項６記載の発明は、請求項５に記載の画像処理装置において、前記フィルタリング手段は、前記注目画素が所定の基準に基づいて複数の方向について相関が大きいと判定された場合、特定の方向とは関連しない特性を持つフィルタリング処理を実行することを特徴とする。

請求項７記載の発明は、請求項５に記載の画像処理装置において、前記フィルタリング手段は、前記注目画素が所定の基準に基づいていずれの方向についても相関が小さいと判定された場合、特定の方向とは関連しない特性を持つフィルタリング処理を実行することを特徴とする。

請求項８記載の発明は、請求項１ないし請求項７のいずれかに記載の画像処理装置において、前記フィルタリング手段は、フィルタ係数をリアルタイムで書き換えることにより、要求される特性に応じたフィルタとして動作することを特徴とする。

請求項９記載の発明は、請求項３または請求項４に記載の画像処理装置において、前記エッジ判定手段は、垂直方向、水平方向、垂直方向と反時計周りで４５度の傾きを持つ第１斜め方向、および垂直方向と時計回りで４５度の傾きを持つ第２斜め方向を含む４方向について、前記注目画素とそれぞれの方向との相関を求めることにより、前記注目画素がエッジ上の画素であるかを判定するとともに、エッジの方向を判定することを特徴とする。

請求項１０記載の発明は、請求項１ないし請求項９のいずれかに記載の画像処理装置において、前記入力手段により入力される画素信号は、所定の色空間の一部の色成分のみを持つ信号であり、前記画像処理装置は、さらに、画素信号に色補間処理を施す補間処理手段、を備え、前記フィルタリング手段は、補間処理後の画素信号に対して、エッジの方向と関連した特性を持つフィルタリング処理を実行することを特徴とする。

本発明の画像処理装置は、注目画素がエッジ上の画素である否か、さらにはエッジの方向を判定する。そして、注目画素がエッジ上の画素であると判定した場合には、エッジの方向に関連した特性を持つフィルタリング処理を実行する。これにより、エッジをより鮮明に再現することが可能である。

本発明の画像処理装置は、エッジ方向の画素を用いてノイズ除去フィルタリング処理を実行し、エッジの方向と直行する方向の画素を用いてエッジ強調処理を実行する。これにより、エッジ方向について、より鮮明にノイズが除去されるとともに、エッジがより鮮明に再現される。

｛第１の実施の形態｝
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本発明の実施の形態にかかる画像撮像装置１のブロック図である。画像撮像装置１は、たとえばデジタルスチルカメラやデジタルビデオカメラ、イメージスキャナなどに適用可能である。画像撮像装置１は、撮像素子１０と信号処理部２０と画像処理部３０とを備えている。

撮像素子１０は、たとえば、ＣＣＤ撮像素子やＣＭＯＳセンサなどであり、本実施の形態においては、ＲＧＢ色空間に対応した単板式ベイヤ配列の色フィルタ１１を備えている。したがって、撮像素子１０から出力される画素信号は、図２に示すように、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）のいずれか１色の色成分についての信号である。あるいは、色フィルタアレイとして補色系（ＹＭＣＫ系）の色フィルタアレイが用いられても良い。

図２において、色成分を表す記号Ｒ（赤色）,Ｇ（緑色）,Ｂ（青色）に続く２桁の数字は、１桁目が画素配列の行数、２桁目が画素配列の列数を示している。この例では、偶数行のラインは、Ｒ→Ｇ→Ｒ→Ｇ・・・というように、ＲとＧが交互に読み出されるラインであり、奇数行のラインは、Ｇ→Ｂ→Ｇ→Ｂ・・・というように、ＧとＢの画素が交互に読み出されるラインである。

撮像素子１０から出力された画素信号には、信号処理部２０において、ホワイトバランス処理や、黒レベル補正処理など信号処理（前処理）が施される。信号処理部２０において前処理が施された画素信号は、次に、画像処理部３０に転送される。

画像処理部３０に入力された画素信号は、補間処理部３１および相関判定部３２に入力される。補間処理部３１において画素信号に対して画素補間処理が施され、各画素は、Ｒ，Ｇ，Ｂそれぞれの色成分を持つ完全な画素信号となる。また、相関判定部３２においては、各画素について相関方向が判定される。相関方向の判定処理については、後で詳しく説明する。

画素補間処理後の画素信号は、フィルタ部３３に出力される。そして、フィルタ部３３では、相関判定部３２における相関方向の判定処理に応じたフィルタリング処理が実行される。具体的には、フィルタ部３３は、相関判定部３２における相関方向の判定結果に応じて、注目画素がエッジ上の画素であるか否かを判定する。さらには、フィルタ部３３は、エッジの方向を判定する。そして、フィルタ部３３は、注目画素がエッジ上の画素であるか否かを考慮し、さらには、エッジの方向を考慮してフィルタリング処理を行うのである。フィルタリング処理後の画素信号は、メモリ３４に格納される。なお、信号処理部２０および画像処理部３０に含まれる各機能ブロックは、ハードウェア回路で構成されていてもよく、あるいは、これら各機能部の一部または全部がソフトウェア処理で実現されていてもよい。

＜各画素における相関値の計算方法＞
次に、相関判定部３２における相関値算定処理の内容について説明する。図３は、図２で示した画素配列に対して相関値を算出する４つの方向を示している。本実施の形態においては、垂直方向、水平方向、斜めＡ方向、斜めＢ方向の４方向の相関値が算出される。斜めＡ方向は、垂直方向から左（反時計回り）に４５度傾いた方向であり、斜めＢ方向は、垂直方向から右（時計回り）に４５度傾いた方向である。

なお、図２、図４、図５において、太実線で描かれた円はＧ信号であり、細実線で描かれた円はＲ信号であり、破線で描かれた円はＢ信号を示している。また、各図面においてＲ００,Ｇ０１等の表記は、画素を識別する名称として使用しているが、数１式〜数８式において、Ｒ００,Ｇ０１等の表記は、各画素の画素値を示すものとする。

図４（Ａ）〜（Ｄ）は、注目画素がＧ信号（ここではＧ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした５×５の周辺領域に含まれるＧ信号を相関値計算の対象領域としているが、周辺領域の範囲は特には限定されるものではない。他にも７×７領域などを利用してもよい。

図４（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数１式となる。

つまり、７つのＧ信号（Ｇ１１,Ｇ３１,Ｇ０２,Ｇ２２,Ｇ４２,Ｇ１３,Ｇ３３）の画素値を用いて、垂直方向の画素差分絶対値を４組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど垂直方向の相関が高いことを示している。

図４（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数２式となる。

つまり、７つのＧ信号（Ｇ１１,Ｇ１３,Ｇ２０,Ｇ２２,Ｇ２４,Ｇ３１,Ｇ３３）の画素値を用いて、水平方向の画素差分絶対値を４組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど水平方向の相関が高いことを示している。

図４（Ｃ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数３式となる。

つまり、５つのＧ信号（Ｇ００,Ｇ１１,Ｇ２２,Ｇ３３,Ｇ４４）の画素値を用いて、斜めＡ方向の画素差分絶対値を４組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど斜めＡ方向の相関が高いことを示している。

図４（Ｄ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数４式となる。

つまり、５つのＧ信号（Ｇ０４,Ｇ１３,Ｇ２２,Ｇ３１,Ｇ４０）の画素値を用いて、斜めＢ方向の画素差分絶対値を４組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど斜めＢ方向の相関が高いことを示している。

図５（Ａ）〜（Ｄ）は、注目画素がＲ信号（ここではＲ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした５×５の周辺領域に含まれるＧ信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。他にも３×３領域や７×７領域を利用してもよい。

図５（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数５式となる。

つまり、８つのＧ信号（Ｇ０１,Ｇ２１,Ｇ４１,Ｇ１２,Ｇ３２,Ｇ０３,Ｇ２３,Ｇ４３）の画素値を用いて、垂直方向の画素差分絶対値を５組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど垂直方向の相関が高いことを示している。

図５（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数６式となる。

つまり、８つのＧ信号（Ｇ１０,Ｇ１２,Ｇ１４,Ｇ２１,Ｇ２３,Ｇ３０,Ｇ３２,Ｇ３４）の画素値を用いて、水平方向の画素差分絶対値を５組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど水平方向の相関が高いことを示している。

図５（Ｃ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数７式となる。

つまり、８つのＧ信号（Ｇ１０,Ｇ２１,Ｇ３２,Ｇ４３,Ｇ０１,Ｇ１２,Ｇ２３,Ｇ３４）の画素値を用いて、斜めＡ方向の画素差分絶対値を６組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど斜めＡ方向の相関が高いことを示している。

図５（Ｄ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数８式となる。

つまり、８つのＧ信号（Ｇ０３,Ｇ１２,Ｇ２１,Ｇ３０,Ｇ１４,Ｇ２３,Ｇ３２,Ｇ４１）の画素値を用いて、斜めＢ方向の画素差分絶対値を６組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど斜めＢ方向の相関が高いことを示している。

Ｂ信号が注目画素である場合の相関値算出方法は、Ｒ信号が注目画素である場合と同様である。つまり、図５において、Ｒ信号とＢ信号とを入れ替え、同様に、数５式〜数８式を用いることにより、水平、垂直、斜めＡ、斜めＢ方向の相関値を算出することが可能である。

＜各画素における相関方向の判定＞
以上説明した方法により４方向の相関値を算出すると、相関判定部３２は、最も相関値の小さい方向が、注目画素の相関方向と判定する。あるいは、最も相関値の小さい方向について、相関値が所定の閾値よりも小さい場合に、注目画素の相関方向と判定する。また、相関値が所定の閾値よりも小さい方向が存在しない場合には、いずれの方向にも相関がないと判定する。逆に、相関値が所定の閾値よりも小さい方向が複数存在した場合（あるいは、全方向について相関値が所定の閾値よりも小さいような場合）には、複数の方向について相関が高いと判定する。

相関判定部３２は、上記の手順により、図６に示すような５×５の正方領域の各画素について相関方向を決定する。つまり、注目画素Ｐ２２を含む周辺２５画素（Ｐ００〜Ｐ４４）について、それぞれ相関方向を決定する。図６では、特に、Ｒ，Ｇ，Ｂの色成分を考慮しないので、各画素をＰの記号で表している。

図７は、以降の説明で使用する記号を示している。上下方向の矢印は、垂直方向に相関が高い（相関方向が垂直方向である）と判定された画素であることを示す。左右方向の矢印は、水平方向に相関が高い（相関方向が水平方向である）と判定された画素であることを示す。右下がりの矢印は、斜めＡ方向に相関が高い（相関方向が斜めＡ方向である）と判定された画素であることを示す。右上がりの矢印は、斜めＢ方向に相関が高い（相関方向が斜めＢ方向である）と判定された画素であることを示す。また、「Ｍ」の記号は、いずれの方向にも相関がないと判定された画素であることを示し、「Ａ」の記号は、複数の方向について相関が高い（全ての方向について相関が高い場合を含む）と判定された画素であることを示している。

＜周辺画素を考慮した修正相関方向の判定＞
次に、相関判定部３２は、周辺２５画素について決定された相関方向を集計して、注目画素における修正相関方向を決定する。つまり、図４、図５で説明した方法により、各画素について相関方向を判定するが、さらに、周辺２５画素の相関方向を集計することで、注目画素に関する相関方向を修正するのである。修正相関方向の決定方法について、以下に３パターンの方法を説明する。

第１の方法は、注目画素の周辺２５画素の相関方向を集計し、最も出現頻度の高い相関方向を採用する。

図８で示した例であれば、５×５正方領域内においては、垂直方向の相関が高いと判定された画素が１８画素、水平方向の相関が高いと判定された画素が１画素、斜めＡ方向の相関が高いと判定された画素が３画素、斜めＢ方向の相関が高いと判定された画素が３画素である。この場合、垂直方向の相関が高いと判定された画素の出現数が最も多いため、注目画素（Ｐ２２）における修正相関方向は、垂直方向と判定される。

また、上記においては、最も出現頻度の多い相関方向を採用するようにしたが、適当な閾値を設け、出現頻度が閾値を超える場合にのみ、その出現頻度の最も多い相関方向を採用するようにしてもよい。たとえば、出現頻度が過半数を超える場合のみ、出現頻度の最も多い相関方向を採用するようにしてもよい。そして、最も出現頻度の多い相関方向の出現頻度が閾値を超えない場合には、後で説明する第２または第３の方法を採用する方法が考えられる。

第２の方法について説明する。第２の方法は、注目画素の周辺２５画素について、相関方向の出現頻度を、注目画素との位置関係に応じて重み付けを行った上で集計し、最も出現頻度の高い相関方向を採用する方法である。

図９で示した例であれば、５×５正方領域内において、注目画素の重み付け係数を３、注目画素に隣接する周辺８個の画素の重み付け係数を２、外周の１６個の画素の重み付け係数を１としている。これにより、重み付け係数を考慮した出現頻度を集計すると、垂直方向の相関が高いと判定された画素が１０（２×３画素＋１×４画素）、水平方向の相関が高いと判定された画素が８（３×１画素＋２×２画素＋１×１画素）、斜めＡ方向の相関が高いと判定された画素が４（１×４画素）、斜めＢ方向の相関が高いと判定された画素が４（２×１画素＋１×２画素）、いずれの方向にも相関がないと判定された画素が３（１×３画素）、複数の方向について相関が高いと判定された画素が６（２×２画素＋１×２画素）である。この場合、垂直方向補間が行われた画素の重み付け出現頻度が最も多いため、注目画素（Ｐ２２）における修正相関方向は、垂直方向と判定される。

第３方法について説明する。第３の方法は、注目画素の周辺領域における複数の画素について、注目画素と当該画素を結ぶ方向と、相関方向と、が整合しているか否かを基準とし、整合している場合の出現頻度を集計する方法である。たとえば、５×５正方領域の画素を用いる場合、図１０に示すように、垂直方向の５個の画素からなる領域を垂直領域ＶＡ、水平方向の５個の画素からなる領域を水平領域ＨＡ、斜めＡ方向の５個の画素からなる領域を領域ＬＡ、斜めＢ方向の５個の画素からなる領域を領域ＲＡとし、各領域ＶＡ，ＨＡ，ＬＡ，ＲＡにおいて、領域の方向とその領域に属する画素の相関方向とが一致する数を集計するのである。

図１０で示した例であれば、領域の方向とその領域に属する画素の相関方向が一致する数を集計すると、垂直領域ＶＡが４画素（つまり、垂直領域ＶＡ内の画素で、垂直方向の相関が高いと判定された画素が４画素存在する）、水平領域ＨＡが３画素、領域ＬＡが１画素、領域ＲＡが２画素である。この場合、整合のとれる画素の数は垂直領域ＶＡが最も多いため、注目画素（Ｐ２２）における修正相関方向は、垂直方向と判定される。

あるいは、第３の方法に第２の方法の考え方を取り入れ、注目画素との位置関係に応じて各領域ＶＡ，ＨＡ，ＬＡ，ＲＡ内の画素に重み付けを行った上で集計するようにしてもよい。

＜フィルタ処理＞
以上説明した方法により各注目画素における修正相関方向が決定すると、フィルタ部３３において、修正相関方向に応じたフィルタ処理が実行される。フィルタ部３３は、各画素における相関方向の判定結果と、各画素における修正相関方向の判定結果に応じてフィルタ係数を決定し、そのフィルタ係数を各タップに設定する。すなわち、本実施の形態におけるフィルタ部３３は、単一のフィルタ回路で構成されており、フィルタ係数をリアルタイムで書き換えることにより、異なる特性を有するフィルタとして、切り替えて動作する。また、以下説明するフィルタリング処理は、画素補間後の画素信号に対して実行されるものである。つまり、各画素は、Ｒ，Ｇ，Ｂの色成分を持つ完全な信号である。したがって、以下で説明するフィルタリング処理は、Ｒ，Ｇ，Ｂの各画素信号に対して共通に実行される処理である。あるいは、Ｒ，Ｇ，Ｂの全成分でなく、いくつかの成分について以下に示すフィルタリング処理を実行するようにしてもよい。

（垂直方向のエッジ上に注目画素があると判定される場合）
注目画素についての修正相関方向が垂直方向であり、かつ、他の方向についての相関が小さい場合、注目画素は、垂直方向のエッジ上の画素であると判定される。注目画素について、他の方向の相関が小さい場合とは、水平方向、斜めＡ方向、斜めＢ方向についての相関値が所定の閾値よりも大きい場合である。つまり、垂直方向については、相関が高く、その他の方向については相関が小さい場合、注目画素は、垂直方向のエッジ上に存在すると判定される。たとえば注目画素が、垂直方向のラインの境界上にある場合などが想定される。

この場合、注目画素については、図１１に示すように、垂直方向の３画素を用いてノイズ除去処理を行う。つまり、フィルタ部３３は、数９式で示されるフィルタリング処理を実行する。

さらに、フィルタ部３３は、数１０式で示されるエッジ強調処理を実行する。数１０式中、（Ｐ２１＋Ｐ２３−２＊Ｐ２２）はラプラシアン成分であり、この成分を原信号から減算することによりエッジ成分が強調されるのである。また、数１０式中、ｋは０以上１以下の実数であり、エッジ強調の度合いを調整する係数である。係数ｋが大きい方が、よりエッジ成分が強調される。

フィルタ部３３は、数９式および数１０式で示される２種類のフィルタリング処理を実行するが、その組み合わせとしては、たとえば数１１式で示されるパターンと、数１２式で示されるパターンが考えられる。

数１１式では、垂直方向の１ラインについて、ノイズ除去処理を行った後、水平方向についてエッジ強調処理を実行する。ここで、ラプラシアン成分中、「２＊Ｐ２２」の値を減算するようにしているが、「２＊Ｑ２２」を減算するようにしてもよい。

数１２式では、垂直方向の３ラインについて、ノイズ除去処理を行う。つまり、エッジと判定されたラインに近接するラインについてもノイズ除去処理を行う。そして、水平方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「２＊Ｑ２２」の値を減算するようにしているが、「２＊Ｐ２２」を減算するようにしてもよい。

このように注目画素が垂直方向のエッジ上の画素であると判定された場合には、垂直方向のライン上の点を用いてノイズ除去処理を行うので、エッジ領域に対して適切な画素を用いてノイズ除去することができる。そして、適切な画素を用いてノイズ除去した上で、エッジ強調処理を行うので、より鮮明な画像を得ることが可能である。

また、水平方向のエッジ上に注目画素があると判定される場合の処理も同様である。水平方向の１ラインあるいは３ラインについて、水平方向の画素を用いてノイズ除去処理を実行した後、垂直方向の画素を用いてエッジ強調処理を行うようにすればよい。

（斜めＡ方向のエッジ上に注目画素があると判定される場合）
注目画素についての修正相関方向が斜めＡ方向であり、かつ、他の方向について相関が小さい場合、注目画素は、斜めＡ方向のエッジ上に画素であると判定される。注目画素について、他の方向の相関が小さい場合とは、垂直方向、水平方向、斜めＢ方向についての相関値が所定の閾値よりも大きい場合である。つまり、斜めＡ方向については、相関が高く、その他の方向については相関が小さい場合、注目画素は、斜めＡ方向のエッジ上に存在すると判定される。たとえば、注目画素が斜めＡ方向のラインの境界上にある場合などが想定される。

この場合、注目画素については、図１２に示すように、斜めＡ方向の３画素を用いてノイズ除去処理を行う。つまり、フィルタ部３３は、数１３式で示されるフィルタリング処理を実行する。

さらに、フィルタ部３３は、数１４式で示されるエッジ強調処理を実行する。数１４式中、（Ｐ１３＋Ｐ３１−２＊Ｐ２２）はラプラシアン成分である。また、数１４式中、ｋは０以上１以下の実数であり、エッジ強調の度合いを調整する係数である。

フィルタ部３３は、数１３式および数１４式で示される２種類のフィルタリング処理を実行するが、その組み合わせとしては、たとえば数１５式で示されるパターンと、数１６式で示されるパターンと、数１７式で示されるパターンが考えられる。

数１５式では、斜めＡ方向の１ラインについて、ノイズ除去処理を行った後、斜めＢ方向についてエッジ強調処理を実行する。ここで、ラプラシアン成分中、「２＊Ｐ２２」の値を減算するようにしているが、「２＊Ｑ２２」を減算するようにしてもよい。

数１６式では、斜めＡ方向の３ラインについて、ノイズ除去処理を行う。つまり、エッジと判定されたラインに近接するラインについてもノイズ除去処理を行う。そして、斜めＢ方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「２＊Ｑ２２」の値を減算するようにしているが、「２＊Ｐ２２」を減算するようにしてもよい。

数１７式においても、斜めＡ方向の３ラインについて、ノイズ除去処理を行う。ただし、数１７式で示すフィルタは、数１６式で示すフィルタに比べて、注目画素から少し離れた画素を利用している。そして、斜めＢ方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「２＊Ｑ２２」の値を減算するようにしているが、「２＊Ｐ２２」を減算するようにしてもよい。

このように注目画素が斜めＡ方向のエッジ上の画素であると判定された場合には、斜めＡ方向のライン上の点を用いてノイズ除去処理を行うので、エッジ領域に対して適切な画素を用いてノイズ除去することができる。そして、適切な画素を用いてノイズ除去した上で、斜めＢ方向の画素を用いてエッジ強調処理を行うので、より鮮明な画像を得ることが可能である。

また、斜めＢ方向のエッジ上に注目画素があると判定される場合の処理も同様である。斜めＢ方向の１ラインあるいは３ラインについて、斜めＢ方向の画素を用いたノイズ除去処理を実行した後、斜めＡ方向の画素を用いてエッジ強調処理を行うようにすればよい。

｛第２の実施の形態｝
第２の実施の形態に係る画像撮像装置１の構成などは第１の実施の形態と同様である。また、相関値の計算方法、相関方向の判定、修正相関方向の判定の方法なども第１の実施の形態と同様である。第２の実施の形態は、フィルタ処理の内容が異なる。

（垂直方向のエッジ上に注目画素があると判定される場合）
注目画素についての修正相関方向が垂直方向であり、かつ、他の方向について相関が小さい場合、注目画素は、垂直方向のエッジ上に存在すると判定される。さらに、この実施の形態においては、垂直方向と直交する水平方向の相関が最も小さいか否かも判定される。水平方向の相関が最も小さい場合とは、水平方向に関して算出した相関値が最も大きい場合である。

注目画素についての修正相関方向が垂直方向であり、かつ、水平方向の相関が全ての方向の中で最も小さい場合、注目画素については、図１３に示すように、垂直方向の５画素を用いてノイズ除去処理を行う。つまり、フィルタ部３３は、数１８式で示されるフィルタリング処理を実行する。

さらに、フィルタ部３３は、数１９式で示されるエッジ強調処理を実行する。数１９式中、（Ｐ２１＋Ｐ２３−２＊Ｐ２２）はラプラシアン成分である。また、数１８式中、ｋは０以上１以下の実数であり、エッジ強調の度合いを調整する係数である。

フィルタ部３３は、数１８式および数１９式で示される２種類のフィルタリング処理を実行するが、その組み合わせとしては、たとえば数２０式で示されるパターンと、数２１式で示されるパターンが考えられる。

数２０式では、垂直方向の１ラインについて、ノイズ除去処理を行った後、水平方向についてエッジ強調処理を実行する。このように垂直方向の５画素を利用するので、エッジ方向のノイズをより効果的に除去することが可能である。なお、ラプラシアン成分中、「２＊Ｐ２２」の値を減算するようにしているが、「２＊Ｑ２２」を減算するようにしてもよい。

数２１式では、垂直方向の３ラインについて、ノイズ除去処理を行う。つまり、エッジと判定されたラインに近接するラインについてもノイズ除去処理を行う。そして、水平方向についてエッジ強調処理を行うのである。同様に、垂直方向の５画素を利用するので、エッジ方向のノイズをより効果的に除去することが可能である。また、ラプラシアン成分中、「２＊Ｑ２２」の値を減算するようにしているが、「２＊Ｐ２２」を減算するようにしてもよい。

このように注目画素が垂直方向のエッジ上の画素であると判定され、かつ、その直交方向である水平方向の相関が最も小さいと判定された場合には、垂直方向のライン上の広い範囲の点を用いてノイズ除去処理を行うので、エッジ領域に対してより効果的にノイズ除去することができる。そして、適切な画素を用いてノイズ除去した上で、エッジ強調処理を行うので、より鮮明な画像を得ることが可能である。

一方、注目画素の修正相関方向が垂直方向であるが、水平方向の相関が最も小さくない場合、第１の実施の形態で説明したフィルタリング処理を実行する。つまり、垂直方向の３画素を用いてノイズ除去処理を行った後、水平方向のエッジ強調処理を行うのである。つまり、エッジの度合いが非常に大きい場合には、第２の実施の形態で説明した広い範囲の５画素を用いてノイズ除去処理を実行し、エッジの度合いが比較的小さい場合には、３画素を用いてノイズ除去を行うのである。

また、注目画素が、水平方向のエッジ上に画素であると判定され、かつ、垂直方向の相関が最も小さいと判定される場合の処理も同様である。水平方向の１ラインあるいは３ラインについて、水平方向のより広い範囲の画素（この実施の形態では５画素）を用いてノイズ除去処理を実行した後、垂直方向の画素を用いてエッジ強調処理を行うようにすればよい。また、注目画素の修正相関方向が水平方向であるが、垂直方向の相関が最も小さくない場合も同様である。第１の実施の形態で説明したフィルタリング処理を実行すればよい。

（斜めＡ方向のエッジ上に注目画素があると判定される場合）
注目画素についての修正相関方向が斜めＡ方向であり、かつ、他の方向について相関が小さい場合、注目画素は、斜めＡ方向のエッジ上の画素であると判定される。さらに、この実施の形態においては、斜めＡ方向と直交する斜めＢ方向の相関が最も小さいか否かも判定される。斜めＢ方向の相関が最も小さい場合とは、斜めＢ方向に関して算出した相関値が最も大きい場合である。

注目画素についての修正相関方向が斜めＡ方向であり、かつ、斜めＢ方向の相関が全ての方向の中で最も小さい場合、注目画素については、図１４に示すように、斜めＡ方向の５画素を用いてノイズ除去処理を行う。つまり、フィルタ部３３は、数２２式で示されるフィルタリング処理を実行する。

さらに、フィルタ部３３は、数２３式で示されるエッジ強調処理を実行する。数２３式中、（Ｐ１３＋Ｐ３１−２＊Ｐ２２）はラプラシアン成分である。また、数２３式中、ｋは０以上１以下の実数であり、エッジ強調の度合いを調整する係数である。

フィルタ部３３は、数２２式および数２３式で示される２種類のフィルタリング処理を実行するが、その組み合わせとしては、たとえば数２４式で示されるパターンと、数２５式で示されるパターンが考えられる。

数２４式では、斜めＡ方向の１ラインについて、ノイズ除去処理を行った後、斜めＢ方向についてエッジ強調処理を実行する。このように斜めＡ方向の５画素を利用するので、エッジ方向のノイズをより効果的に除去することが可能である。なお、ラプラシアン成分中、「２＊Ｐ２２」の値を減算するようにしているが、「２＊Ｑ２２」を減算するようにしてもよい。

数２５式では、斜めＡ方向の３ラインについて、ノイズ除去処理を行う。つまり、エッジと判定されたラインに近接するラインについてもノイズ除去処理を行う。そして、斜めＢ方向についてエッジ強調処理を行うのである。同様に、斜めＡ方向の５画素（近接するラインについては３画素）を利用するので、エッジ方向のノイズをより効果的に除去することが可能である。なお、ラプラシアン成分中、「２＊Ｑ２２」の値を減算するようにしているが、「２＊Ｐ２２」を減算するようにしてもよい。

このように注目画素が斜めＡ方向のエッジ上の画素であると判定され、かつ、その直交方向である斜めＢ方向の相関が最も小さいと判定された場合には、斜めＡ方向のライン上の広い範囲の点を用いてノイズ除去処理を行うので、エッジ領域に対してより効果的にノイズ除去することができる。そして、適切な画素を用いてノイズ除去した上で、エッジ強調処理を行うので、より鮮明な画像を得ることが可能である。

一方、注目画素の修正相関方向が斜めＡ方向であるが、斜めＢ方向の相関が最も小さくない場合、第１の実施の形態で説明したフィルタリング処理を実行する。たとえば、斜めＡ方向の３画素を用いてノイズ除去処理を行った後、斜めＢ方向のエッジ強調処理を行うのである。つまり、エッジの度合いが非常に大きい場合には、第２の実施の形態で説明したように広い範囲の画素（たとえば５画素）を用いてノイズ除去処理を実行し、エッジの度合いが比較的小さい場合には、比較的狭い範囲の画素（たとえば３画素）を用いてノイズ除去を行うのである。

また、斜めＢ方向のエッジ上に注目画素があると判定され、かつ、斜めＡ方向の相関が最も小さいと判定される場合の処理も同様である。斜めＢ方向の１ラインあるいは３ラインについて、斜めＢ方向のより広い範囲の画素を用いてノイズ除去処理を実行した後、斜めＡ方向の画素を用いてエッジ強調処理を行うようにすればよい。また、注目画素の修正相関方向が斜めＢ方向であるが、斜めＡ方向の相関が最も小さくない場合も同様である。第１の実施の形態で説明したフィルタリング処理を実行すればよい。

｛その他の実施の形態｝
第１あるいは第２の実施の形態においては、いずれかの方向に強い相関があり、注目画素がエッジ上の画素である場合に適用されるフィルタ処理について説明した。これに対して、注目画素が複数の方向あるいは全ての方向について相関が高い場合がある。つまり、垂直方向、水平方向、斜めＡ方向、斜めＢ方向について、複数の方向あるいは全ての方向の相関値が所定の閾値を下回るような場合である。このような場合には、図１５で示すように、注目画素周辺の３×３の正方領域を利用し、数２６式で示されるような平均値フィルタを適用する。あるいは、その他のＬＰＦを用いて、平滑化を行う。

あるいは、注目画素からの距離に応じた重み付けを行い、数２７式で示されるようなフィルタを適用させてもよい。

一方、注目画素がいずれの方向に関しても相関が小さい場合がある。つまり、垂直方向、水平方向、斜めＡ方向、斜めＢ方向について、全ての方向の相関値が所定の閾値よりも大きいような場合である。この場合、たとえば、数２８式で示されるように、注目画素については、特に、画素値を変更しないようにする。たとえば、細かい模様が多い画像などに対して適用させるとよい。

一方、いずれの方向に関しても相関が小さい場合には、注目画素が孤立点である場合などがある。このような場合には、数２６式や数２７式で示した平均値フィルタを用いるとよい。ノイズの多い画像などに対しても効果的である。あるいは、数２９式に示すように、３×３の正方領域の画素などを用いてメディアンフィルタを適用させるようにしてもよい。

上記実施の形態においては、画像撮像装置１において画素補間処理が行われる場合を例として説明した。つまり、撮像素子１０は、単版式の色フィルタ１１を備え、ベイヤ配列の画素信号を出力するものであった。しかし、本発明は、画像処理部３０が入力する画素信号がＲＧＢ全ての色成分を備える形態であっても、もちろん適用可能である。

図１６に示す画像撮像装置１Ａが備える撮像素子１０Ａは、各画素がＲＧＢ全ての色成分を備える画素信号を出力する。画像処理部３０Ａは、信号処理部２０を介して、ＲＧＢ全ての色成分を備える完全な画素信号を入力する。

相関判定部３２Ａは、数３０式に示す演算を行うことにより、垂直方向の相関値を求める。なお、数３０式〜数３３式中の文字Ｐを用いた画素記号は、図６の画素配列に対応している。また、数３０式〜数３３式において、相関値の演算に用いる画素は、ＲＧＢいずれの色成分の信号であってもよい。

また、相関判定部３２Ａは、数３１式に示す演算を行うことにより、水平方向の相関値を求める。

また、相関判定部３２Ａは、数３２式に示す演算を行うことにより、斜めＡ方向の相関値を求める。

また、相関判定部３２Ａは、数３３式に示す演算を行うことにより、斜めＢ方向の相関値を求める。

４方向の相関値を算出した後の処理の内容は、上記第１あるいは第２の実施の形態で説明した場合と同様である。相関方向および修正相関方向の判定を行い、さらにエッジの方向を判定した上で、フィルタ処理を行う。

以上、本発明の各実施の形態について説明したが、フィルタリング処理は、ＲＧＢ色空間の画素信号のみならず、ＹＵＶ色空間の画素信号など、あらゆる種類の色空間の画素信号に適用可能である。また、色空間の種別に応じてフィルタ係数を変化させてもよい。

また、上記実施の形態においては、相関値を求める方向として、垂直方向、水平方向、斜めＡ方向、斜めＢ方向の４つの方向を採用したが、これは一例である。６方向、８方向などさらに多数の方向について相関値を求めてもよい。また、斜め方向の角度も特に限定されるものではない。

実施の形態に係る画像撮像装置のブロック図である。 撮像素子から出力されるＲＧＢ画素信号の配列を示す図である。 相関値を算出する４つの方向を示す図である。 注目画素がＧ画素である場合の相関値の算出方法を示す図である。 注目画素がＲ画素である場合の相関値の算出方法を示す図である。 ５×５の正方領域の画素配列を示す図である。 相関方向を表す記号を示す図である。 ５×５の正方領域における相関方向の分布を示す図である。 ５×５の正方領域における相関方向の分布を示す図である。 ５×５の正方領域における相関方向の分布を示す図である。 垂直方向のエッジに適用させるフィルタに用いる画素を示す図である。 斜めＡ方向のエッジに適用させるフィルタに用いる画素を示す図である。 垂直方向のエッジに適用させるフィルタに用いる画素を示す図である。 斜めＡ方向のエッジに適用させるフィルタに用いる画素を示す図である。 複数の方向の相関が高い場合に適用させるフィルタに用いる画素を示す図である。 別の実施の形態に係る画像撮像装置のブロック図である。

符号の説明

１ 画像撮像装置
１０ 撮像素子
１１ 色フィルタ
３１ 補間処理部
３２ 相関判定部
３３ フィルタ部

Claims (10)

1. 画素信号を入力する入力手段と、
   注目画素周辺の所定領域内の画素信号を用いて、前記注目画素と第１の方向との相関、及び前記注目画素と第２方向との相関を求め、前記第１方向の相関及び前記第２方向の相関に基づいて、前記注目画素がエッジ上の画素であるか否かを判定し、前記注目画素がエッジ上の画素であると判定された場合、エッジの方向を判定するエッジ判定手段と、
   前記注目画素がエッジ上の画素である場合、エッジの方向と関連した特性を持つフィルタリング処理を実行するフィルタリング手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第２の方向は、前記第１の方向と直交し、
   前記フィルタリング手段は、所定の基準に基づいて相関が高いと判定された前記第１の方向については前記第１の方向の画素を用いたノイズ除去フィルタリング処理を実行し、前記第２の方向については前記第２の方向の画素を用いたエッジ強調処理を実行することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記第２の方向は、前記第１の方向と直交し、
   前記エッジ判定手段は、前記注目画素と第３の方向との相関、及び前記注目画素と前記第３の方向に直交する第４の方向との相関を求め、
   前記フィルタリング手段は、前記第１の方向ないし前記第４の方向のうち、前記第１の方向の相関が最も高いと判定され、かつ、前記第２の方向の相関が最も小さいと判定された場合、前記第１の方向については前記第１の方向の画素を用いたノイズ除去フィルタリング処理を実行し、前記第２の方向については前記第２の方向の画素を用いたエッジ強調処理を実行することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記第２の方向は、前記第１の方向と直交し、
   前記エッジ判定手段は、前記注目画素と第３の方向との相関、及び前記注目画素と前記第３の方向に直交する第４の方向との相関を求め、
   前記フィルタリング手段は、前記第１の方向ないし前記第４の方向のうち、前記第１の方向の相関が最も高いと判定され、かつ、前記第２の方向の相関が最も小さいと判定された場合、前記第１の方向については前記第１の方向の画素を用いた第１のノイズ除去フィルタリング処理を実行し、前記第２の方向については前記第２の方向の画素を用いた第１のエッジ強調処理を実行し、
   前記フィルタリング手段は、前記第１の方向ないし前記第４の方向のうち、前記第１の方向の相関が最も高いと判定され、かつ、前記第２の方向の相関が最も小さいとは判定されなかった場合、前記第１の方向については前記第１の方向の画素を用いた第２のノイズ除去フィルタリング処理を実行し、前記第２の方向については前記第２の方向の画素を用いた第２のエッジ強調処理を実行し、
   前記第１のノイズ除去フィルタリング処理と前記第２のノイズ除去フィルタリング処理とは、ノイズ除去の度合いが異なり、
   前記第１のエッジ強調処理と前記第２のエッジ強調処理とは、エッジ強調の度合いが異なることを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記フィルタリング手段は、
   前記注目画素がエッジ上の画素でない場合には、特定の方向とは関連しない特性を持つフィルタリング処理を実行する手段、
   を含むことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記フィルタリング手段は、前記注目画素が所定の基準に基づいて複数の方向について相関が大きいと判定された場合、特定の方向とは関連しない特性を持つフィルタリング処理を実行することを特徴とする画像処理装置。
7. 請求項５に記載の画像処理装置において、
   前記フィルタリング手段は、前記注目画素が所定の基準に基づいていずれの方向についても相関が小さいと判定された場合、特定の方向とは関連しない特性を持つフィルタリング処理を実行することを特徴とする画像処理装置。
8. 請求項１ないし請求項７のいずれかに記載の画像処理装置において、
   前記フィルタリング手段は、フィルタ係数をリアルタイムで書き換えることにより、要求される特性に応じたフィルタとして動作することを特徴とする画像処理装置。
9. 請求項３または請求項４に記載の画像処理装置において、
   前記エッジ判定手段は、垂直方向、水平方向、垂直方向と反時計周りで４５度の傾きを持つ第１斜め方向、および垂直方向と時計回りで４５度の傾きを持つ第２斜め方向を含む４方向について、前記注目画素とそれぞれの方向との相関を求めることにより、前記注目画素がエッジ上の画素であるかを判定するとともに、エッジの方向を判定することを特徴とする画像処理装置。
10. 請求項１ないし請求項９のいずれかに記載の画像処理装置において、
    前記入力手段により入力される画素信号は、所定の色空間の一部の色成分のみを持つ信号であり、
    前記画像処理装置は、さらに、
    画素信号に色補間処理を施す補間処理手段、
    を備え、
    前記フィルタリング手段は、補間処理後の画素信号に対して、エッジの方向と関連した特性を持つフィルタリング処理を実行することを特徴とする画像処理装置。

Images