JPWO2006043414A1 - 画像処理方法及び画像処理装置 - Google Patents

Abstract

本発明は、画素信号の相関関係を利用した補間方法およびフィルタリング方法に関し、相関度判定にエラーが生じた場合でもシャープで高品質な画像を提供することを目的とする。そして、上記目的を達成するために、撮像素子１０は、単板式ＲＧＢベイヤ配列の色フィルタ１１を備え、以下のように画像が処理される。撮像素子１０から出力された画素信号は、信号処理部２０を経て画像処理部３０に入力される。相関判定部３１では、画素信号の相関判定が行われ、相関結果に基づいて補間処理部３２において画素補間処理が行われる。これにより、各画素信号はＲＧＢ全ての色成分を持つ完全な信号となる。また、相関結果に基づいてフィルタ３４のフィルタ係数が決定され、画素補間後の画素信号にフィルタリング処理が施される。フィルタ係数は、画素補間処理を最もよく補うように決定される。

Description

本発明は、画素信号の相関関係を利用した補間方法およびフィルタリング方法、並びにその装置に関する。

デジタルカメラ等で利用されるＣＣＤ、ＣＭＯＳなどの撮像素子は、色フィルタを介して受光する光を光電変換して画像データを出力する。この色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の色フィルタにおいては、１画素について１色の画像データが出力される。たとえば、ＲＧＢ系色フィルタであれば、１画素についてＲ（赤色）成分、または、Ｇ（緑色）成分、または、Ｂ（青色）成分の画像データが出力される。

このように、単板式の色フィルタを備える撮像素子から出力された画像データについては、各画素について単一色の画像データしか出力されないため、他の色成分の画像データについては補間処理を行うようにしている。そして、この補間処理については様々なアルゴリズムが用いられている。

補間処理は注目画素の画像データを周囲の画像データから推測する処理であるから、画像の内容次第では誤った補間が行われる場合がある。そこで、垂直方向の同色信号の差分信号と水平方向の同色信号の差分信号を算出することにより、垂直方向および水平方向の相関度を求め、この相関度に応じて画素を補間する方法などが行われている。

また、下記特許文献１，２においては、色差信号の補間処理を２回繰り返すことにより、画像ボケとレベル変動が少ない画像を得ることを目的とした発明が開示されている。

特開２００４−１２８５６４号公報 特開２００４−１４０４９５号公報

しかしながら、上記の方法でもエッジ部分や、細線などの高周波領域（特にナイキスト周波数付近や画素をまたぐ細線などの領域）において、相関判定エラーが発生する場合がある。このような場合には、誤った補正処理が実行されるため、補間処理後の画像は、部分的にぼやけた画像となる場合があった。

そこで、本発明は前記問題点に鑑み、相関度判定にエラーが生じた場合でもシャープで高品質な画像を提供することを目的とする。

この発明の請求項１にかかる画像処理方法は、各画素が所定の色空間における一部の色成分の信号を備える画素信号を入力する工程と、前記画素信号の各画素について、当該画素周辺の所定領域内の画素信号を用いて当該画素における相関関係を判定する相関工程と、前記画素信号の各画素について、前記相関関係を考慮した画素補間処理を実行する画素補間工程と、前記画素補間工程後の画像信号の各画素について、前記相関関係を考慮したフィルタリング処理を実行するフィルタリング工程とを備えることを特徴とする。

この発明の請求項２にかかる画像処理方法は、請求項１に記載の画像処理方法において、前記画素補間工程においては、前記相関関係に対応して実行される複数のタイプの画素補間処理が予め用意されており、これら複数のタイプの画素補間処理に対して、それぞれその画素補間処理を最もよく補うフィルタが予め対応付けられており、前記フィルタリング工程は、画素補間処理のタイプに応じて対応付けられているフィルタを選択して用いることを特徴とする。

この発明の請求項３にかかる画像処理方法は、請求項２に記載の画像処理方法において、前記フィルタリング工程は、フィルタに設定するフィルタ係数をリアルタイムで書き換えることにより、前記対応付けられているフィルタを選択することを特徴とする。

この発明の請求項４にかかる画像処理方法は、所定の色空間の画素信号の各画素について、当該画素周辺の所定領域内の画素信号を用いて当該画素における相関関係を判定する相関工程と、前記画像信号の各画素について、前記相関関係を考慮したフィルタリング処理を実行するフィルタリング工程とを備えることを特徴とする。

この発明の請求項５にかかる画像処理方法は、請求項１ないし請求項４のいずれかに記載の画像処理方法において、前記フィルタリング工程は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理を実行することを特徴とする。

この発明の請求項６にかかる画像処理方法は、請求項５に記載の画像処理方法において、前記フィルタリング工程は、最も出現頻度の高い相関関係の出現頻度が所定の閾値を超えている場合に、当該相関関係を考慮したフィルタリング処理を実行することを特徴とする。

この発明の請求項７にかかる画像処理方法は、請求項１ないし請求項４のいずれかに記載の画像処理方法において、前記フィルタリング工程は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、各画素と注目画素との位置関係に応じて重み付けした上で集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理を実行することを特徴とする。

この発明の請求項８にかかる画像処理方法は、請求項１ないし請求項４のいずれかに記載の画像処理方法において、前記フィルタリング工程は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、注目画素と各画素とを結ぶ方向が前記相関関係と整合する場合のみ集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理を実行することを特徴とする。

この発明の請求項９にかかる画像処理方法は、請求項１ないし請求項４のいずれかに記載の画像処理方法において、前記フィルタリング工程は、注目画素周辺の所定領域内の各画素の前記相関関係の状況に応じて、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理と、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、各画素と注目画素との位置関係に応じて重み付けした上で集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理と、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、注目画素と各画素とを結ぶ方向が前記相関関係と整合する場合のみ集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理とを切り替えて実行することを特徴とする。

この発明の請求項１０にかかる画像処理装置は、画像処理部と、複数の画素を有し、各画素が所定の色空間における一部の色成分の信号を備える画素信号を前記画像処理部へと出力する撮像素子とを備える。前記画像処理部は、前記画素信号の各画素について、当該画素周辺の所定領域内の画素信号を用いて当該画素における相関関係を判定する相関判定部と、前記画素信号の各画素について、前記相関関係を考慮した画素補間処理を実行する補間処理部と、前記補間処理部から出力される前記画像信号の各画素について、前記相関関係を考慮したフィルタリング処理を実行するフィルタリング処理部とを有する。

この発明の請求項１１にかかる画像処理装置は、請求項１０記載の画像処理装置であって、前記フィルタリング処理部は、複数のフィルタと、前記複数のフィルタの一を選択可能なフィルタ選択部とを更に備える。前記補間処理部は、複数のタイプの前記画素補間処理を実行可能で、前記相関関係に対応して前記複数のタイプの前記画素補間処理の一を実行し、前記フィルタ選択部は、前記画素補間処理の前記一を最もよく補う前記フィルタを、前記相関関係に基づいて選択し、前記フィルタ選択部で選択された前記フィルタは、前記補間処理部から出力される前記画像信号の各画素についてフィルタリング処理を実行する。

この発明の請求項１２にかかる画像処理装置は、請求項１１記載の画像処理装置であって、前記フィルタ選択部は、前記相関関係に基づいて前記フィルタのフィルタ係数をリアルタイムで書き換えることにより、前記フィルタを選択する。

この発明の請求項１３にかかる画像処理装置は、所定の色空間の画素信号の各画素について、当該画素周辺の所定領域内の画素信号を用いて当該画素における相関関係を判定する相関判定部と、前記画像信号の各画素について、前記相関関係を考慮したフィルタリング処理を実行するフィルタリング処理部とを備える。

この発明の請求項１４にかかる画像処理装置は、請求項１０乃至請求項１３のいずれか一つに記載の画像処理装置であって、前記フィルタリング処理部は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を集計し、最も出現頻度の高い前記相関関係を考慮したフィルタリング処理を前記注目画素について実行する。

この発明の請求項１５にかかる画像処理装置は、請求項１４記載の画像処理装置であって、前記フィルタリング処理部は、最も出現頻度の高い前記相関関係の前記出現頻度が所定の閾値を超えている場合に、当該相関関係を考慮したフィルタリング処理を前記注目画素について実行する。

この発明の請求項１６にかかる画像処理装置は、請求項１０乃至請求項１３のいずれか一つに記載の画像処理装置であって、前記フィルタリング処理部は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、前記各画素と前記注目画素との位置関係に応じて重み付けした上で集計し、最も出現頻度の高い相関関係を考慮したフィルタリング処理を前記注目画素について実行する。

この発明の請求項１７にかかる画像処理装置は、請求項１０乃至請求項１３のいずれか一つに記載の画像処理装置であって、前記フィルタリング処理部は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、前記注目画素と前記各画素とを結ぶ方向が前記相関関係と整合する場合のみ集計し、最も出現頻度の高い前記相関関係を考慮したフィルタリング処理を前記注目画素について実行する。

この発明の請求項１８にかかる画像処理装置は、請求項１０乃至請求項１３のいずれか一つに記載の画像処理装置であって、前記フィルタリング処理部は、注目画素周辺の所定領域内の各画素の前記相関関係の状況に応じて、前記注目画素周辺の前記所定領域内における前記各画素の前記相関関係の出現頻度を集計して、最も出現頻度の高い前記相関関係を考慮したフィルタリング処理と、前記注目画素周辺の前記所定領域内における前記各画素の前記相関関係の出現頻度を、前記各画素と前記注目画素との位置関係に応じて重み付けした上で集計して、最も出現頻度の高い前記相関関係を考慮したフィルタリング処理と、前記注目画素周辺の前記所定領域内における前記各画素の前記相関関係の出現頻度を、前記注目画素と前記各画素とを結ぶ方向が前記相関関係と整合する場合のみ集計して、最も出現頻度の高い前記相関関係を考慮したフィルタリング処理とを切り替えて前記注目画素について実行する。

本発明の請求項１乃至請求項９のいずれか一つにかかる画像処理方法によれば、画素の相関関係を考慮した画素補間工程を備え、画素補間工程後に、さらに、相関関係を考慮したフィルタリング工程を備えるので、よりシャープな画像を得ることが可能である。

また、相関判定にエラーが生じた場合でも、フィルタリング工程時に周辺画素の相関関係を解析し、最適なフィルタを選択することで、相関判定エラーによる誤補間を補うことが可能である。

本発明の請求項１０乃至請求項１８のいずれか一つにかかる画像処理装置によれば、画素の相関関係を考慮して、画像信号の各画素について補間処理が実行され、さらにフィルタリング処理が実行されるので、よりシャープな画像を得ることが可能である。

また、相関関係の判定にエラーが生じても、注目画素の周辺画素との相関関係を解析して最適なフィルタを選択するので、当該エラーによる誤補間が補われる。

この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態に係る画像撮像装置のブロック図である。 注目画素を中心とした５×５正方領域の画素配列を示す図である。 相関結果に応じて選択される各フィルタの一例を示す図である。 補間処理方法の記号を示す図である。 第１のフィルタ選択方法の実施例を示す図である。 第２のフィルタ選択方法の実施例を示す図である。 第３のフィルタ選択方法の実施例を示す図である。 第４のフィルタ選択方法の実施例を示す図である。 第２の実施の形態における画像処理装置を示す図である。 第３の実施の形態における画像処理装置を示す図である。

第１の実施の形態．
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本発明の実施の形態にかかる画像撮像装置１のブロック図である。画像撮像装置１は、たとえばデジタルスチルカメラやデジタルビデオカメラ、イメージスキャナなどに適用可能である。画像撮像装置１は、撮像素子１０と信号処理部２０と画像処理部３０とを備えている。

撮像素子１０は、たとえば、ＣＣＤ撮像素子やＣＭＯＳセンサなどであり、本実施の形態においては、ＲＧＢ色空間に対応した単板式ベイヤ配列の色フィルタ１１を備えている。したがって、撮像素子１０から出力される画素信号は、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）のいずれか１色の色成分についての信号である。具体的には、撮像素子１０から出力される画素信号の水平方向の画素列は、たとえば奇数行の画素列がＲ，Ｇ，Ｒ，Ｇ・・・と、Ｒ信号とＧ信号が交互に出力される画素列であり、偶数行の画素列がＧ，Ｂ，Ｇ，Ｂ・・・と、Ｇ信号とＢ信号が交互に出力される画素列である。

撮像素子１０から出力された画素信号は、信号処理部２０において、ホワイトバランス処理や、黒レベル補正処理など信号処理（前処理）が施される。信号処理部２０において前処理が施された画素信号は、次に、画像処理部３０に転送される。そして、画像処理部３０においては、入力された画素信号に対して画素補間処理が施され、各画素は、Ｒ，Ｇ，Ｂそれぞれの色成分を持つ完全な画素信号となる。さらに、画像処理部３０においては、画素補間処理後の画素信号に様々な画像処理が施される。

次に、画素補間処理を含めた本発明の画像処理の内容について説明する。画像処理部３０は、画素補間処理およびフィルタリング処理に関わる機能部として、図に示すように、相関判定部３１、補間処理部３２、フィルタ係数決定部３３、フィルタ３４を備えている。また、画像処理部３０は、フィルタ処理後の画素信号を格納するメモリ３５を備えている。なお、信号処理部２０および画像処理部３０に含まれる各機能ブロックは、ハードウェア回路で構成されていてもよく、あるいは、これら各機能部の一部または全部がソフトウェア処理で実現されていてもよい。

画素補間処理に先立って、まず、相関判定部３１において相関判定処理が行われる。相関判定処理の方法は、特に限定されるものではなく、周知の方法を採用すればよい。たとえば、注目画素と周辺画素との差分信号をそれぞれ算出し、最も差分信号の小さくなるような周辺画素が存在する方向を検出し、当該画素が存在する方向を相関が強い方向と判定する一般的な方法を用いることが可能である。

そして、本実施の形態においては、相関判定部３１は、注目画素の相関関係を以下の６種類に分類する。
（Ｒ１）垂直方向の相関が強い。
（Ｒ２）水平方向の相関が強い。
（Ｒ３）斜め右方向の相関が強い。
（Ｒ４）斜め左方向の相関が強い。
（Ｒ５）全ての方向について相関がある。
（Ｒ６）特に強い相関を示す方向が存在しない。

ただし、（Ｒ３）の斜め右方向とは、右上がり（左下がり）の方向に相関が高いことを示し、（Ｒ４）の斜め左方向とは、左上がり（右下がり）の方向に相関が高いことを示している。また、相関が強いか否かの評価は、たとえば、相関度を評価する値が予め設定された閾値を上回るか否かによって判定すればよい。たとえば、差分信号を用いて相関を判定している場合、差分信号の値が所定の閾値より小さくなるような方向について相関が強いと判定される。そして、全ての方向について、差分信号の値が閾値を下回れば、（Ｒ５）の全ての方向について相関がある、と判定され、全ての方向について、差分信号の値が閾値を上回れば、（Ｒ６）の特に強い相関を示す方向が存在しない、と判定される。

また、相関を判定するために用いる画素の領域は特に限定されるものではなく、注目画素周辺の３×３正方領域の画素や、注目画素周辺の５×５正方領域の画素などを用いればよい。たとえば、注目画素周辺の５×５正方領域を用いて相関の判定を行う場合には、図２に示すように、注目画素をＰ２２とした場合に、注目画素Ｐ２２を中心とした２５個の画素Ｐ００〜Ｐ４４から構成される正方領域を用いて相関判定を行う。また、本出願人により出願された特願２００４−１９９２３３に開示されている画素補間方法を採用してもよい。

そして、相関判定部３１は、上記の判定結果（Ｒ１）〜（Ｒ６）を示す情報を補間処理部３２およびフィルタ係数決定部３３に出力する。また、補間処理部３２に対しては、画素信号が出力される。

補間処理部３２は、相関判定部３１より入力した画素信号と相関判定結果を示す情報に基づいて、画素信号に以下の（Ｃ１）〜（Ｃ１）に示す画素補間処理を実行する。
（Ｃ１）垂直方向補間
（Ｃ２）水平方向補間
（Ｃ３）斜め右方向補間
（Ｃ４）斜め左方向補間
（Ｃ５）平均値補間
（Ｃ６）メディアン補間
ここで、（Ｃ１）は、相関判定結果が（Ｒ１）であった場合に実行される補間方法であり、注目画素を垂直方向の周辺画素を用いて補間する方法である。（Ｃ２）は、相関判定結果が（Ｒ２）であった場合に実行される補間方法であり、注目画素を水平方向の周辺画素を用いて補間する方法である。（Ｃ３）は、相関判定結果が（Ｒ３）であった場合に実行される補間方法であり、注目画素を斜め右方向の周辺画素を用いて補間する方法である。（Ｃ４）は、相関判定結果が（Ｒ４）であった場合に実行される補間方法であり、注目画素を斜め左方向の周辺画素を用いて補間する方法である。（Ｃ５）は、相関判定結果が（Ｒ５）であった場合に実行される補間方法であり、注目画素を周辺画素の平均値を用いて補間する方法である。（Ｃ６）は、相関判定結果が（Ｒ６）であった場合に実行される補間方法であり、注目画素を周辺画素のメディアン値を用いて補間する方法である。

このように、補間処理部３２においては、相関判定結果に応じて、垂直方向補間、水平方向補間、斜め右・左方向補間、平均値補間、メディアン補間のいずれかの画素補間処理が実行される。なお、上述した相関判定結果（Ｒ１）〜（Ｒ６）と補間処理のタイプ（Ｃ１）〜（Ｃ６）との関係は一例である。相関判定結果と補間処理のタイプとの関係は、適宜設定することが可能である。

補間処理部３２において画素補間処理が終了すると、画素補間処理後の画素信号がフィルタ３４に対して出力される。

一方、フィルタ係数決定部３３においては、相関判定部３１より入力した相関判定結果を示す情報に基づいてフィルタ３４の処理内容を決定するフィルタ係数を決定する。フィルタ係数決定部３３は、フィルタ係数を決定すると、そのフィルタ係数をフィルタ３４に設定する。すなわち、本実施の形態におけるフィルタ３４は、単一のフィルタ回路で構成されており、フィルタ係数をリアルタイムで書き換えることにより、複数のフィルタを切り替えて動作するようにしている。

図３は、フィルタ係数決定部３３において決定されたフィルタ係数に基づいて特徴づけられるフィルタ３４のパターンを示す図である。ここでは、図２で示したものと同様に、注目画素Ｐ２２に対して、２５個の画素Ｐ００〜Ｐ４４からなる５×５正方領域を利用して、フィルタ処理を行う場合を例としている。ただし、図３に示したフィルタのパターンは一例である。

フィルタ係数決定部３３は、相関判定結果が（Ｒ１）であった場合には、フィルタ３４が図３（Ａ）で示す垂直方向フィルタとして動作するようにフィルタ係数を決定する。また、相関判定結果が（Ｒ２）であった場合には、フィルタ３４が図３（Ｂ）で示す水平方向フィルタとして動作するようにフィルタ係数を決定する。また、相関判定結果が（Ｒ３）であった場合には、フィルタ３４が図３（Ｃ）で示す斜め右方向フィルタとして動作するようにフィルタ係数を決定する。また、相関判定結果が（Ｒ４）であった場合には、フィルタ３４が図３（Ｄ）で示す斜め左方向フィルタとして動作するようにフィルタ係数を決定する。相関判定結果が（Ｒ５）であった場合には、フィルタ３４が図３（Ｅ）で示す平均値フィルタとして動作するようにフィルタ係数を決定する。また、相関判定結果が（Ｒ６）であった場合には、フィルタ３４が図３（Ｆ）で示すフィルタとして動作するようにフィルタ係数を決定する。

なお、図３に示す各フィルタの係数は、周辺画素に割り当てる係数を示している。そして、図３（Ａ）〜図３（Ｄ）のフィルタの場合には、各画素の画素値に、各画素に対応する係数を乗算した値を加算し、さらに、１２で除算することにより、注目画素の出力信号が得られる。

つまり、図３（Ａ）に示す垂直方向フィルタを用いた場合、注目画素Ｐ２２のフィルタ処理後の信号Ｑ２２は、数１式で表される。

また、図３（Ｂ）に示す水平方向フィルタを用いた場合、注目画素Ｐ２２のフィルタ処理後の信号Ｑ２２は、数２式で表される。

また、図３（Ｃ）に示す斜め右方向フィルタを用いた場合、注目画素Ｐ２２のフィルタ処理後の信号Ｑ２２は、数３式で表される。

また、図３（Ｄ）に示す斜め左方向フィルタを用いた場合、注目画素Ｐ２２のフィルタ処理後の信号Ｑ２２は、数４式で表される。

また、図３（Ｅ）のフィルタの場合には、各画素の画素値に、各画素に対応する係数を乗算した値を加算し、さらに、９で除算することにより、注目画素の出力信号が得られる。つまり、図３（Ｅ）に示す平均値フィルタを用いた場合、注目画素Ｐ２２のフィルタ処理後の信号Ｑ２２は、数５式で表される。

また、図３（Ｆ）に示すフィルタを用いた場合、注目画素Ｐ２２のフィルタ処理後の信号Ｑ２２は、数６式で表される。

なお、数１式から数６式においては、図２で示した画素を示す記号Ｐ００〜Ｐ４４が、画素信号値をも表すものとしている。

ここで、本実施の形態においては、相関判定結果が（Ｒ６）であった場合、すなわち、画素補間処理としてはメディアン補間処理を実行した場合には、フィルタ３４は、図３（Ｆ）あるいは数６式で示すように、画素信号を変化させないようにしている。これは、再び、メディアンフィルタを作用させた場合にも、フィルタ出力後の画素信号には大きな変化がでる可能性が低いため、処理の高速化を意図したものである。ただし、相関判定結果が（Ｒ６）であった場合に、フィルタ３４をメディアンフィルタとして動作させるようにしてもよい。

このように、フィルタリング工程においては、フィルタ係数を設定することにより特徴付けられる複数のフィルタを予め用意しておき、その用意されたフィルタの中で画素補間工程において用いられた画素補間方法を最もよく補うフィルタを選択するようにしている。つまり、垂直方向に補間を行った場合には、さらに、垂直方向の周辺画素を用いてフィルタ処理をすることで、垂直方向の補間を補うようにするのである。同様に、水平方向、斜め右・左方向に補間を行った場合には、さらに、水平方向、斜め右・左方向の周辺画素を用いてフィルタ処理をすることで、水平方向、斜め右・左方向の補間を補うようにするのである。また、平均値補間をした場合には、さらに、平均値フィルタを施すことで、平均値処理を補うようにしている。また、本実施の形態においては、メディアン補間をした場合には、上述した理由によりメディアンフィルタを繰り返し実行しないようにしているが、さらに、メディアンフィルタを施すことにより、メディアン処理を補うようにしてもよい。

ここで、画素補間方法を最もよく補うフィルタあるいは相関関係を考慮したフィルタをどのようにして決定するかについては、適当なアルゴリズムを用いて動的に決定する方法も可能である。しかし、相関関係の種別は、それほど多い数ではないので、本実施の形態においては、相関関係とそれに対応する画素補間処理のタイプ、あるいは、画素補間処理のタイプとそれを最もよく補うフィルタのタイプは、予め経験などにより最適なものを選定しておき、対応付けるようにしている。

なお、補間処理後の各画素信号は、ＲＧＢ全ての色成分を持つ信号である。したがって、上記のフィルタリング処理は、全ての色成分の信号に対して適用させてもよいし、一部の色成分の信号に対して適用させてもよい。

フィルタ係数決定部３３は、補間処理部３２を介して相関判定部３１から相関判定結果（Ｒ１）〜（Ｒ６）を得ても良い。この場合、相関判定結果（Ｒ１）〜（Ｒ６）に対応して補間処理部３２で実行される補間処理（Ｃ１）〜（Ｃ６）の結果が、フィルタ係数決定部３３に与えられる。そして、フィルタ係数決定部３３は、補間処理（Ｃ１）〜（Ｃ６）の結果に基づいて、フィルタを決定する。以下（図４〜図８）では、このようなフィルタ係数決定部３３の態様について説明する。

図４は、この後で説明する図５〜図８で用いる記号の説明である。前述したように、相関判定処理においては、（Ｒ１）〜（Ｒ６）の６つの判定結果が得られ、この判定結果に応じて６種類の補間処理（Ｃ１）〜（Ｃ６）が実行される。図４は、この６種類の補間処理（Ｃ１）〜（Ｃ６）に対応する記号を示している。

たとえば、図５に示すように、注目画素Ｐ２２については、左右の隣接画素Ｐ２１，Ｐ２３を用いて水平方向補間（Ｃ２）が実行されたことを示している。したがって、この注目画素Ｐ２２については、フィルタリング工程においては、水平方向フィルタ（図３（Ｂ）を施すのである。このようなフィルタリング工程を設けることにより、より強調され、はっきりとした画像を得ることが可能である。

このように、フィルタ処理工程におけるフィルタ選択方法（ここまで説明した方法を第１の選択方法とする。）は、注目画素に着目し、補間処理工程で行われた補間処理を補うフィルタを適用させる方法である。次に、第２〜第４のフィルタ選択方法について説明する。

第２のフィルタ選択方法について説明する。第２の方法は、注目画素の周辺領域における複数の画素について、補間処理工程で行われた補間処理方法を集計し、最も出現頻度の高い補間処理を補うフィルタを適用させる方法である。

図６で示した例であれば、５×５正方領域内においては、垂直方向補間が実行された画素が１８画素、水平方向補間が実行された画素が１画素、斜め右方向補間が実行された画素が３画素、斜め左方向補間が実行された画素が３画素である。この場合、垂直方向補間が行われた画素の出現数が最も多いため、フィルタリング工程においては、注目画素Ｐ２２について垂直方向フィルタを採用するのである。このように、第２の選択方法を採用した場合、注目画素において相関判定エラーが発生していた場合でも誤った画素補間処理を補正することが可能である。

また、上記においては、最も出現頻度の多い補間処理を補うフィルタを採用するようにしたが、適当な閾値を設け、出現頻度が閾値を超える場合にのみ、その出現頻度の最も多い補間処理を補うフィルタを採用するようにしてもよい。たとえば、出現頻度が過半数を超える場合のみ、出現頻度の最も多い補間処理を補うフィルタを採用するようにしてもよい。そして、最も出現頻度の多い補間処理方法の出現頻度が閾値を超えない場合には、上述した第１の選択方法あるいは後で説明する第３または第４の選択方法を採用するような方法が考えられる。

このように注目画素の周辺領域内で閾値を超える補間処理方法が存在する場合には、第２の選択方法は有効な方法であるが、周辺画素の画素補間処理方法にばらつきが多い場合には、次に説明する第３の方法が有効である。

第３のフィルタ選択方法について説明する。第３の方法は、注目画素の周辺領域における複数の画素について、補間処理工程で行われた補間処理方法を、注目画素との位置関係に応じて重み付けを行った上で集計し、最も出現頻度の高い補間処理を補うフィルタを適用させる方法である。

図７で示した例であれば、５×５正方領域内において、注目画素の重み付けを係数を３、注目画素に隣接する周辺８個の画素の重み付け係数を２、外周の１６個の画素の重み付け係数を１としている。これにより、重み付け係数を考慮した出現頻度を集計すると、垂直方向補間が実行された画素が１０（２×３画素＋１×４画素）、水平方向補間が実行された画素が８（３×１画素＋２×２画素＋１×１画素）、斜め右方向補間が実行された画素が４（２×１画素＋１×２画素）、斜め左方向補間が実行された画素が４（１×４画素）、メディアン補間が実行された画素が３（１×３画素）、平均値補間が実行された画素が６（２×２画素＋１×２画素）である。この場合、垂直方向補間が行われた画素の重み付け出現頻度が最も多いため、フィルタリング工程においては、注目画素Ｐ２２について垂直方向フィルタを採用するのである。このように、第３の選択方法を採用した場合、注目画素において相関判定エラーが発生していた場合でも誤った画素補間処理を補正することが可能である。

第４のフィルタ選択方法について説明する。第４の方法は、注目画素の周辺領域における複数の画素について、補間処理工程で行われた補間処理方法と、注目画素と当該画素を結ぶ方向が整合しているか否かを基準とし、整合している場合の出現頻度を集計する方法である。たとえば、５×５正方領域の画素を用いる場合、図８に示すように、垂直方向の５個の画素からなる領域を垂直領域ＶＡ、水平方向の５個の画素からなる領域を水平領域ＨＡ、斜め右方向の５個の画素からなる領域を斜め右領域ＲＡ、斜め左方向の５個の画素からなる領域を斜め左領域ＬＡとし、各領域ＶＡ，ＨＡ，ＲＡ，ＬＡにおいて、領域の方向とその領域に属する画素の補間方向が一致する数を集計するのである。

図８で示した例であれば、領域の方向とその領域に属する画素の補間方向が一致する数を集計すると、垂直領域ＶＡが４画素（つまり、垂直領域ＶＡ内の画素で、垂直方向補間が行われた画素が４画素存在する）、水平領域ＨＡが３画素、斜め右領域が２画素、斜め左領域が１画素である。この場合、整合のとれる画素の数は垂直領域ＶＡが最も多いため、フィルタリング工程においては、注目画素Ｐ２２について垂直方向フィルタを採用するのである。

あるいは、第４の方法に第３の方法の要素を加え、注目画素との位置関係に応じて各領域ＶＡ，ＨＡ，ＲＡ，ＬＡ内の画素に重み付けを行った上で集計するようにしてもよい。

以上、説明した第２〜第４の方法は、それぞれ特徴があり、周辺画素の状況に応じて最適な方法が選択されることが望ましい。そこで、フィルタ係数決定部３３は、注目画素の周辺領域の画素状況に応じて第２〜第４のフィルタ選択方法を切り替えることにより、最適なフィルタ処理を実行できるようにすることが好ましい。

第２の実施の形態．
次に、本発明の第２の実施の形態について説明する。上述した第１の実施の形態においては、相関判定後に相関結果に基づいて補間処理およびフィルタリング処理を実行するものであった。つまり、相関判定結果に基づいて実行された補間処理を補う目的でフィルタリング処理を実行した。

これに対して、第２の実施の形態においては、補間処理を補う目的ではなく、独立して相関判定結果に基づいてフィルタ処理を実行するものである。図９は、第２の実施の形態における画像処理部を示すブロック図である。

画像処理部は、補間処理部１００と相関判定部１０１とフィルタ係数決定部１０２とフィルタ１０３を備えている。補間処理部１００において画素補間処理が実行されることにより、各画素はＲ，Ｇ，Ｂ全ての色成分の信号を持つ完全な信号となる。

次に、相関判定部１０１において、各画素の相関判定が行われる。相関判定方法は、第１の実施の形態における処理と同様である。ただし、各画素は、Ｒ，Ｇ，Ｂ全ての色成分の信号を持つので、相関判定処理に用いる色成分はいずれかの色成分の信号が用いられる。あるいは、複数の色成分の信号について相関判定を行い、総合的に判定するようにしてもよい。

そして、フィルタ係数決定部１０２は、相関判定部１０１から入力した相関結果を示す情報に基づいて適用させるフィルタを決定し、フィルタ係数を決定するのである。つまり、相関関係を考慮して適用させるフィルタを決定するのである。フィルタ係数が決定されると、フィルタ１０３に決定されたフィルタ係数が設定される。このようにして、相関結果に基づいてフィルタ処理が実行されるのである。

このように、第２の実施の形態によれば、相関結果に基づいてフィルタリング処理が実行されるので、フィルタ処理による画像の鮮明度を向上させることが可能である。

第３の実施の形態．
次に、本発明の第３の実施の形態について説明する。第３の実施の形態においては、補間処理前および補間処理後に実行した相関判定結果に基づいてフィルタ処理を実行するものである。図１０は、第３の実施の形態における画像処理部を示すブロック図である。

画像処理部は、第１相関判定部１１０と補間処理部１１１と第２相関判定部１１２とフィルタ係数決定部１１３とフィルタ１１４を備えている。

第１相関判定部１１０において、画素の相関判定が行われる。相関処理方法は、第１の実施の形態における処理と同様である。そして、第１相関判定部１１０における相関判定結果に基づいて補間処理部１１１において画素補間処理が行われる。補間処理方法は、第１の実施の形態における処理と同様である。補間処理部１１１において画素補間処理が実行されることにより、各画素はＲ，Ｇ，Ｂ全ての色成分の信号を持つ完全な信号となる。

次に、第２相関判定部１１２において、各画素の相関判定が行われる。相関処理方法は、第１の実施の形態における処理と同様である。ただし、各画素は、Ｒ，Ｇ，Ｂ全ての色成分の信号を持つので、相関処理に用いる色成分はいずれかの色成分の信号が用いられる。あるいは、複数の色成分の信号について相関判定を行い、総合的に判定するようにしてもよい。

そして、フィルタ係数決定部１０２は、第１相関判定部１１０および第２相関判定部１１２からそれぞれ入力した相関結果を示す情報に基づいて適用させるフィルタを決定し、フィルタ係数を決定するのである。ここで、フィルタ係数決定部１０２は、第１相関判定部１１０および第２相関判定部１１２からそれぞれ入力した相関結果を総合判定する。たとえば、それぞれの相関判定結果に重み付けをして総合判定結果を得るようにする。フィルタ係数が決定されると、フィルタ１１４に決定されたフィルタ係数が設定される。このようにして、相関結果に基づいてフィルタ処理が実行されるのである。

このように、第３の実施の形態によれば、補間処理の前後において判定された相関結果に基づいてフィルタリング処理が実行されるので、より相関判定のエラーを防止することが可能であり、フィルタ処理による画像の鮮明度を向上させることが可能である。

なお、上記実施の形態においては、画素信号がＲＧＢ色空間のデータである場合を例に説明したが、これは一例であり、本発明は、画素信号が他の色空間のデータである場合にも、もちろん適用可能である。

この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

Claims (18)

1. 各画素が所定の色空間における一部の色成分の信号を備える画素信号を入力する工程と、
   前記画素信号の各画素について、当該画素周辺の所定領域内の画素信号を用いて当該画素における相関関係を判定する相関工程と、
   前記画素信号の各画素について、前記相関関係を考慮した画素補間処理を実行する画素補間工程と、
   前記画素補間工程後の画像信号の各画素について、前記相関関係を考慮したフィルタリング処理を実行するフィルタリング工程と
   を備えることを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記画素補間工程においては、前記相関関係に対応して実行される複数のタイプの画素補間処理が予め用意されており、これら複数のタイプの画素補間処理に対して、それぞれその画素補間処理を最もよく補うフィルタが予め対応付けられており、前記フィルタリング工程は、画素補間処理のタイプに応じて対応付けられているフィルタを選択して用いることを特徴とする画像処理方法。
3. 請求項２に記載の画像処理方法において、
   前記フィルタリング工程は、フィルタに設定するフィルタ係数をリアルタイムで書き換えることにより、前記対応付けられているフィルタを選択することを特徴とする画像処理方法。
4. 所定の色空間の画素信号の各画素について、当該画素周辺の所定領域内の画素信号を用いて当該画素における相関関係を判定する相関工程と、
   前記画像信号の各画素について、前記相関関係を考慮したフィルタリング処理を実行するフィルタリング工程と
   を備えることを特徴とする画像処理方法。
5. 請求項１ないし請求項４のいずれかに記載の画像処理方法において、
   前記フィルタリング工程は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理を実行することを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法において、
   前記フィルタリング工程は、最も出現頻度の高い相関関係の出現頻度が所定の閾値を超えている場合に、当該相関関係を考慮したフィルタリング処理を実行することを特徴とする画像処理方法。
7. 請求項１ないし請求項４のいずれかに記載の画像処理方法において、
   前記フィルタリング工程は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、各画素と注目画素との位置関係に応じて重み付けした上で集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理を実行することを特徴とする画像処理方法。
8. 請求項１ないし請求項４のいずれかに記載の画像処理方法において、
   前記フィルタリング工程は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、注目画素と各画素とを結ぶ方向が前記相関関係と整合する場合のみ集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理を実行することを特徴とする画像処理方法。
9. 請求項１ないし請求項４のいずれかに記載の画像処理方法において、
   前記フィルタリング工程は、注目画素周辺の所定領域内の各画素の前記相関関係の状況に応じて、
   注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理と、
   注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、各画素と注目画素との位置関係に応じて重み付けした上で集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理と、
   注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、注目画素と各画素とを結ぶ方向が前記相関関係と整合する場合のみ集計し、注目画素については、最も出現頻度の高い相関関係を考慮したフィルタリング処理と
   を切り替えて実行することを特徴とする画像処理方法。
10. 画像処理部と、
    複数の画素を有し、各画素が所定の色空間における一部の色成分の信号を備える画素信号を前記画像処理部へと出力する撮像素子と
    を備え、
    前記画像処理部は、
    前記画素信号の各画素について、当該画素周辺の所定領域内の画素信号を用いて当該画素における相関関係を判定する相関判定部と、
    前記画素信号の各画素について、前記相関関係を考慮した画素補間処理を実行する補間処理部と、
    前記補間処理部から出力される前記画像信号の各画素について、前記相関関係を考慮したフィルタリング処理を実行するフィルタリング処理部と
    を有する、画像処理装置。
11. 前記フィルタリング処理部は、
    複数のフィルタと、
    前記複数のフィルタの一を選択可能なフィルタ選択部と
    を更に備え、
    前記補間処理部は、複数のタイプの前記画素補間処理を実行可能で、前記相関関係に対応して前記複数のタイプの前記画素補間処理の一を実行し、
    前記フィルタ選択部は、前記画素補間処理の前記一を最もよく補う前記フィルタを、前記相関関係に基づいて選択し、
    前記フィルタ選択部で選択された前記フィルタは、前記補間処理部から出力される前記画像信号の各画素についてフィルタリング処理を実行する、請求項１０記載の画像処理装置。
12. 前記フィルタ選択部は、前記相関関係に基づいて前記フィルタのフィルタ係数をリアルタイムで書き換えることにより、前記フィルタを選択する、請求項１１記載の画像処理装置。
13. 所定の色空間の画素信号の各画素について、当該画素周辺の所定領域内の画素信号を用いて当該画素における相関関係を判定する相関判定部と、
    前記画像信号の各画素について、前記相関関係を考慮したフィルタリング処理を実行するフィルタリング処理部と
    を備える、画像処理装置。
14. 前記フィルタリング処理部は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を集計し、最も出現頻度の高い前記相関関係を考慮したフィルタリング処理を前記注目画素について実行する、請求項１０乃至請求項１３のいずれか一つに記載の画像処理装置。
15. 前記フィルタリング処理部は、最も出現頻度の高い前記相関関係の前記出現頻度が所定の閾値を超えている場合に、当該相関関係を考慮したフィルタリング処理を前記注目画素について実行する、請求項１４記載の画像処理装置。
16. 前記フィルタリング処理部は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、前記各画素と前記注目画素との位置関係に応じて重み付けした上で集計し、最も出現頻度の高い相関関係を考慮したフィルタリング処理を前記注目画素について実行する、請求項１０乃至請求項１３のいずれか一つに記載の画像処理装置。
17. 前記フィルタリング処理部は、注目画素周辺の所定領域内における各画素の前記相関関係の出現頻度を、前記注目画素と前記各画素とを結ぶ方向が前記相関関係と整合する場合のみ集計し、最も出現頻度の高い前記相関関係を考慮したフィルタリング処理を前記注目画素について実行する、請求項１０乃至請求項１３のいずれか一つに記載の画像処理装置。
18. 前記フィルタリング処理部は、注目画素周辺の所定領域内の各画素の前記相関関係の状況に応じて、
    前記注目画素周辺の前記所定領域内における前記各画素の前記相関関係の出現頻度を集計して、最も出現頻度の高い前記相関関係を考慮したフィルタリング処理と、
    前記注目画素周辺の前記所定領域内における前記各画素の前記相関関係の出現頻度を、前記各画素と前記注目画素との位置関係に応じて重み付けした上で集計して、最も出現頻度の高い前記相関関係を考慮したフィルタリング処理と、
    前記注目画素周辺の前記所定領域内における前記各画素の前記相関関係の出現頻度を、前記注目画素と前記各画素とを結ぶ方向が前記相関関係と整合する場合のみ集計して、最も出現頻度の高い前記相関関係を考慮したフィルタリング処理と
    を切り替えて前記注目画素について実行する、請求項１０乃至請求項１３のいずれか一つに記載の画像処理装置。
    

Images