JP4982897B2 - 画像処理装置 - Google Patents

Description

本発明は、所定の色空間における一部の色成分の信号を備える画素信号に適切な補間処理を施す画像処理装置に関する。

デジタルスチルカメラ等で利用されるＣＣＤ、ＣＭＯＳなどの撮像素子は、色フィルタを介して受光する光を光電変換して画素信号を出力する。この色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の色フィルタにおいては、１画素について１色の画素信号が出力される。たとえば、ＲＧＢ系色フィルタであれば、１画素についてＲ（赤色）成分、または、Ｇ（緑色）成分、または、Ｂ（青色）成分の画素信号が出力される。

このように、単板式の色フィルタを備える撮像素子から出力された画素信号は、各画素について単一色の画素信号しか含まれないため、他の色成分の画素信号については、補間処理を行うようにしている。そして、この補間処理については様々なアルゴリズムが用いられている。

たとえば、ＲＡＷ画像（画素補間される前の画像）について、注目画素と周辺画素との相関関係を判定する。そして、注目画素について相関の高い方向の画素を用いて色補間を行う。このようにして、ＲＡＷ画像からＲＧＢ画像へのデモザイキングが行われる。

下記特許文献１においては、注目画素に関して４方向の相関値を算出し、相関関係を考慮した画素補間処理を行うようにしている。

特開２００６−２４９９９号公報

上述したように、補間処理は、注目画素の画像データを周囲の画像データから推測する処理である。したがって、撮影感度の高い場合などで撮像センサからノイズの多いＲＡＷ画像が出力された場合、撮影感度の低い場合と同じ補間処理を行ってもノイズを低減することができない。また、ノイズが多いため、画像の相関を判定しようとしても、正しい相関が判定されるとは限らない。そして、間違った相関が判定された場合は、ノイズが強調されることがある。一方、一様に周辺画素の平均的な画素値を利用して注目画素を推測すると、ノイズを低減することはできるが、補間処理された画像の解像感が損なわれてしまう。

つまり、従来の技術では、ノイズの多いＲＡＷ画像をデモザイキングする場合、解像感を得ようとするとノイズ成分が強調されるという副作用があり、逆に、ノイズ除去をしようとすると解像感が損なわれるという副作用があった。

本発明は前記問題点に鑑み、ノイズの多い画像に対しても補間後の画像の色ノイズ成分を抑圧しつつ、且つ、輝度成分の解像感はなるべく損なわれることのない補間技術を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、各画素が一の色空間における一部の色成分の信号を備える画素信号を入力する入力手段と、注目画素周辺の所定領域内の画素信号を用いて前記注目画素における周辺画素との相関値を算出する相関値算出手段と、前記注目画素について、前記相関値算出手段が算出した前記相関値を第１の判定基準に基づいて評価した相関関係に応じて補間処理を実行する第１画素補間手段と、前記注目画素について、前記相関値算出手段が算出した前記相関値を第２の判定基準に基づいて評価した相関関係に応じて補間処理を実行する第２画素補間手段と、前記第１画素補間手段により生成された画素信号から他の色空間の一部の色成分信号を生成する第１色空間変換手段と、前記第２画素補間手段により生成された画素信号から前記他の色空間の他の色成分信号を生成する第２色空間変換手段と、を備えることを特徴とする。

請求項２記載の発明は、請求項１に記載の画像処理装置において、前記第１の判定基準は、前記第２の判定基準より相関関係を高く評価する判定基準であることを特徴とする。

請求項３記載の発明は、請求項２に記載の画像処理装置において、前記他の色空間の一部の色成分信号は、前記他の色空間における輝度信号、を含むことを特徴とする。

請求項４記載の発明は、請求項２または請求項３に記載の画像処理装置において、前記他の色空間の他の色成分信号は、前記他の色空間における色差信号、を含むことを特徴とする。

請求項５記載の発明は、請求項２に記載の画像処理装置において、所定の撮影条件下においては、前記第１色空間変換手段から、前記他の色空間の全信号が生成されることを特徴とする。

請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の画像処理装置において、前記第１画素補間手段は、撮影感度の高低に応じて、前記第１の判定基準に基づく相関関係の評価の度合いを決定することを特徴とする。

請求項７記載の発明は、請求項１ないし請求項５のいずれかに記載の画像処理装置において、前記第２画素補間手段は、撮影感度の高低に応じて、前記第２の判定基準に基づく相関関係の評価の度合いを決定することを特徴とする。

請求項８記載の発明は、各画素が一の色空間における一部の色成分の信号を備える画素信号を入力する入力手段と、注目画素周辺の所定領域内の画素信号を用いて前記注目画素における周辺画素との相関値を算出する相関値算出手段と、前記注目画素について、前記相関値算出手段が算出した前記相関値を第１の判定基準に基づいて評価した相関関係に応じて補間処理を実行する第１画素補間手段と、前記注目画素について、前記相関値算出手段が算出した前記相関値を第２の判定基準に基づいて評価した相関関係に応じて補間処理を実行する第２画素補間手段と、前記第１画素補間手段により生成された画素信号から他の色空間の画素信号を生成する第１色空間変換手段と、前記第２画素補間手段により生成された画素信号から前記他の色空間の画素信号を生成する第２色空間変換手段と、前記第１色空間変手段により生成された前記他の色空間の画素信号と、前記第２色空間変換手段により生成された前記他の色空間の画素信号とを重み付け加算することで、前記他の色空間の画素信号を出力する重み付け出力手段と、を備えることを特徴とする。

請求項９記載の発明は、請求項８に記載の画像処理装置において、前記第１の判定基準は、前記第２の判定基準より相関関係を高く評価する判定基準であることを特徴とする。

請求項１０記載の発明は、請求項９に記載の画像処理装置において、前記他の色空間の画素信号は、前記他の色空間における輝度信号、を含むことを特徴とする。

請求項１１記載の発明は、請求項９または請求項１０に記載の画像処理装置において、前記他の色空間の画素信号は、前記他の色空間における色差信号、を含むことを特徴とする。

請求項１２記載の発明は、請求項８ないし請求項１１に記載の画像処理装置において、前記重み付け出力手段は、撮影感度の高低に応じて重み付け係数を決定することを特徴とする。

本発明の画像処理装置は、注目画素に対して、相関関係を異なるレベルで評価する２つの画素補間処理を実行する。そして、それぞれの補間処理で生成された信号から、色空間変換により、別の色成分の信号を生成する。色空間変換により生成する色信号ごとに、異なる特性で補間された信号を利用することが可能であり、生成画像の特性を操作することが可能である。

また、第１画素補間処理は、第２画素補間処理と比較して相関関係を高く評価するので、第１画素補間処理により生成された画素信号について解像感を維持することが可能である。

また、相関関係を高く評価することで得られた画素信号から変換後の色空間における輝度信号を生成するので、生成画像の解像感を維持することができる。

また、相関関係を低く評価することで得られた画素信号から変換後の色空間における色差信号を生成するので、生成画像の色ノイズ成分を抑圧することができる。

また、撮影感度の高低に応じて相関関係の評価の度合いを決定するので、ノイズの発生度合いに応じて最適な補間処理を実行させることが可能である。

また、本発明の画像処理装置は、注目画素に対して、相関関係を異なるレベルで評価する２つの画素補間処理を実行する。そして、それぞれの補間処理で生成された信号から、色空間変換により他の色空間の２つの画素信号を生成し、それらを重み付け加算する。これにより、異なる特性で補間された信号を利用することが可能であり、生成画像の特性を操作することが可能である。

｛第１の実施の形態｝
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本発明の実施の形態にかかる画像撮像装置１のブロック図である。画像撮像装置１は、たとえばデジタルスチルカメラやデジタルビデオカメラ、イメージスキャナなどに適用可能である。画像撮像装置１は、撮像素子１０と信号処理部２０と画像処理部３０とを備えている。

撮像素子１０は、たとえば、ＣＣＤ撮像素子やＣＭＯＳセンサなどであり、本実施の形態においては、ＲＧＢ色空間に対応した単板式ベイヤ配列の色フィルタ１１を備えている。したがって、撮像素子１０から出力される画素信号は、図２に示すように、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）のいずれか１色の色成分についての信号である。あるいは、色フィルタアレイとして補色系（ＹＭＣＫ系）の色フィルタアレイが用いられても良い。

図２において、色成分を表す記号Ｒ（赤色）,Ｇ（緑色）,Ｂ（青色）に続く２桁の数字は、１桁目が画素配列の行数、２桁目が画素配列の列数を示している。この例では、偶数行のラインは、Ｒ→Ｇ→Ｒ→Ｇ・・・というように、ＲとＧが交互に読み出されるラインであり、奇数行のラインは、Ｇ→Ｂ→Ｇ→Ｂ・・・というように、ＧとＢの画素が交互に読み出されるラインである。

撮像素子１０から出力された画素信号には、信号処理部２０において、ホワイトバランス処理や、黒レベル補正処理など信号処理（前処理）が施される。信号処理部２０において前処理が施された画素信号は、次に、画像処理部３０に転送される。

画像処理部３０は、相関計算部３１、第１相関判定部３２１、第２相関判定部３２２、第１補間部３３１、第２補間部３３２、第１色空間変換部３４１、第２色空間変換部３４２を備えている。信号処理部２０から出力された画素信号は、相関計算部３１に入力される。相関計算部３１においては、注目画素における複数の方向に関する相関値が計算される。なお、信号処理部２０および画像処理部３０に含まれる各機能ブロックは、ハードウェア回路で構成されていてもよく、あるいは、これら各機能部の一部または全部がソフトウェア処理で実現されていてもよい。

＜各画素における相関値の計算方法＞
次に、相関計算部３１における相関値算出処理の内容について説明する。この実施の形態においては、垂直方向と水平方向の２方向について相関値を計算する。

なお、図２、図３、図４において、太実線で描かれた円はＧ信号であり、細実線で描かれた円はＲ信号であり、破線で描かれた円はＢ信号を示している。また、各図面においてＲ００,Ｇ０１等の表記は、画素を識別する名称として使用しているが、数１式〜数８式において、Ｒ００,Ｇ０１等の表記は、各画素の画素値を示すものとする。

図３（Ａ），（Ｂ）は、注目画素がＧ信号（ここではＧ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした５×５の周辺領域に含まれるＧ信号を相関値計算の対象領域としているが、周辺領域の範囲は特には限定されるものではない。他にも７×７領域などを利用してもよい。

図３（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数１式となる。

つまり、７つのＧ信号（Ｇ１１,Ｇ３１,Ｇ０２,Ｇ２２,Ｇ４２,Ｇ１３,Ｇ３３）の画素値を用いて、垂直方向の画素差分絶対値を４組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど垂直方向の相関が高いことを示している。

図３（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数２式となる。

つまり、７つのＧ信号（Ｇ１１,Ｇ１３,Ｇ２０,Ｇ２２,Ｇ２４,Ｇ３１,Ｇ３３）の画素値を用いて、水平方向の画素差分絶対値を４組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど水平方向の相関が高いことを示している。

図４（Ａ），（Ｂ）は、注目画素がＲ信号（ここではＲ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした５×５の周辺領域に含まれるＧ信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。他にも３×３領域や７×７領域を利用してもよい。

図４（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数３式となる。

つまり、８つのＧ信号（Ｇ０１,Ｇ２１,Ｇ４１,Ｇ１２,Ｇ３２,Ｇ０３,Ｇ２３,Ｇ４３）の画素値を用いて、垂直方向の画素差分絶対値を５組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど垂直方向の相関が高いことを示している。

図４（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数４式となる。

つまり、８つのＧ信号（Ｇ１０,Ｇ１２,Ｇ１４,Ｇ２１,Ｇ２３,Ｇ３０,Ｇ３２,Ｇ３４）の画素値を用いて、水平方向の画素差分絶対値を５組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど水平方向の相関が高いことを示している。

Ｂ信号が注目画素である場合の相関値算出方法は、Ｒ信号が注目画素である場合と同様である。つまり、図４において、Ｒ信号とＢ信号とを入れ替え、同様に、数３式、数４式を用いることにより、垂直、水平方向の相関値を算出することが可能である。

＜各画素における相関方向の判定＞
相関計算部３１において垂直・水平の２方向について相関値の計算が行われると、相関値の計算結果および画素信号が、第１相関判定部３２１および第２相関判定部３２２に出力される。つまり、相関計算部３１で計算された相関値の値が、第１，第２相関判定部３２１，３２２の両方に出力され、信号処理部２０から入力した画素信号も、第１，第２相関判定部３２１，３２２の両方に出力される。第１相関判定部３２１および第２相関判定部３２２は、相関値の計算結果に基づいて、注目画素における相関関係を判定する処理部である。第１相関判定部３２１は、注目画素における相関関係を高く評価して相関方向を判定する。第２相関判定部３２２は、第１相関判定部３２１と比較すると、注目画素における相関関係を低く評価して相関方向を判定する。

図５は、第１相関判定部３２１が相関方向の判定に利用する相関値の対応関係図である。縦軸が数１式あるいは数３式で算出した相関値（Ｃvertical）であり、横軸が数２式あるいは数４式で算出した相関値（Ｃhorizontal）である。

相関値（Ｃvertical）と相関値（Ｃhorizontal）の関係が、Ａ１の領域に存在するとき、第１相関判定部３２１は、注目画素の相関方向は水平方向であると判定する。相関値（Ｃvertical）と相関値（Ｃhorizontal）の関係が、Ａ２の領域に存在するとき、第１相関判定部３２１は、注目画素の相関方向は垂直方向であると判定する。相関値（Ｃvertical）と相関値（Ｃhorizontal）の関係が、Ａ３の領域に存在するとき、第１相関判定部３２１は、注目画素はいずれの方向にも相関がないと判定する。相関値（Ｃvertical）と相関値（Ｃhorizontal）の関係が、Ａ４の領域に存在するとき、第１相関判定部３２１は、注目画素は垂直、水平両方向について相関が高いと判定する。

一方、図６は、第２相関判定部３２２が相関方向の判定に利用する相関値の対応関係図である。縦軸が数１式あるいは数３式で算出した相関値（Ｃvertical）であり、横軸が数２式あるいは数４式で算出した相関値（Ｃhorizontal）である。

相関値（Ｃvertical）と相関値（Ｃhorizontal）の関係が、Ａ５の領域に存在するとき、第２相関判定部３２２は、注目画素の相関方向は水平方向であると判定する。相関値（Ｃvertical）と相関値（Ｃhorizontal）の関係が、Ａ６の領域に存在するとき、第２相関判定部３２２は、注目画素の相関方向は垂直方向であると判定する。相関値（Ｃvertical）と相関値（Ｃhorizontal）の関係が、Ａ７の領域に存在するとき、第２相関判定部３２２は、注目画素はいずれの方向にも相関がないと判定する。相関値（Ｃvertical）と相関値（Ｃhorizontal）の関係が、Ａ８の領域に存在するとき、第２相関判定部３２２は、注目画素は垂直、水平両方向について相関が高いと判定する。

このように、第１相関判定部３２１と第２相関判定部３２２は、それぞれ図５、図６で示す相関値の対応関係を利用して相関方向を決定する。この結果、第１相関判定部３２１は、注目画素における周辺画素との相関関係をより高く評価して相関方向を判定することになる。一方、第２相関判定部３２２は、第１相関判定部３２１に比べると注目画素における周辺画素との相関関係を低く評価して相関方向を決定することになる。

図５で示す領域Ａ１と図６で示す領域Ａ５は、ともに水平方向に相関が高いと判定される領域である。そして、図５と図６を比較して分かるように、領域Ａ１を定める直線Ｆ１よりも、領域Ａ５を定める直線Ｆ４の傾きが大きくなっている。さらに、直線Ｆ１が縦軸と交わる点よりも、直線Ｆ４が縦軸と交わる点の方が大きな値となっている。つまり、第１相関判定部３２１は、相関値（Ｃhorizontal）が相関値（Ｃvertical）よりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して水平方向の相関が高いと判定する。これに対して、第２相関判定部３２２は、相関値（Ｃhorizontal）が、相関値（Ｃvertical）よりも十分小さい値をとる関係にある場合に、水平方向の相関が高いと判定する。

また、領域Ａ２を定める直線Ｆ２よりも、領域Ａ６を定める直線Ｆ５の傾きが小さくなっている。さらに、直線Ｆ２が横軸と交わる点よりも、直線Ｆ５が横軸と交わる点の方が大きな値となっている。つまり、第１相関判定部３２１は、相関値（Ｃvertical）が相関値（Ｃhorizontal）よりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して垂直方向の相関が高いと判定する。これに対して、第２相関判定部３２２は、相関値（Ｃvertical）が相関値（Ｃhorizontal）よりも十分小さい値をとる関係にある場合に、垂直方向の相関が高いと判定する。

なお、領域Ａ３と領域Ａ４との境界を定める直線Ｆ３、領域Ａ７と領域Ａ８との境界を定める直線Ｆ６については、図５、図６に示した関係は一例である。つまり、直線Ｆ６と軸との交点は、直線Ｆ３と軸との交点よりも大きな値となっているが、このような関係に限定されるものではない。

＜補間処理＞
第１相関判定部３２１は、注目画素に関する相関方向を判定すると、判定結果および画素信号を第１補間部３３１に出力する。第２相関判定部３２２は、注目画素に関する相関方向を判定すると、判定結果および画素信号を第２補間部３３２に出力する。

そして、第１補間部３３１は、第１相関判定部３２１から入力した相関方向の判定結果に基づいて補間処理を実行する。たとえば、垂直方向の相関が高いという判定結果を得た場合には、注目画素に欠落している色成分の画素を、垂直方向の同色画素を用いて補間するのである。同様に、水平方向の相関が高いという判定結果を得た場合には、注目画素に欠落している色成分の画素を、水平方向の同色画素を用いて補間するのである。また、いずれの方向にも相関がないという判定結果を得た場合には、たとえばメディアン補間を行う。つまり、注目画素の周辺画素のメディアン値を補間値として採用する。また、垂直、水平両方向に相関が高いという判定結果を得た場合には、たとえば平均値補間を行う。つまり、注目画素の周辺画素の画素平均値を補間値として採用する。

第２補間部３３２についても同様である。つまり、第２補間部３３２は、第２相関判定部３２２から入力した相関方向の判定結果に基づいて補間処理を実行する。たとえば、垂直方向の相関が高いという判定結果を得た場合には、注目画素に欠落している色成分の画素を、垂直方向の同色画素を用いて補間するのである。その他の場合も同様である。

このように、第１補間部３３１は、第１相関判定部３２１の判定結果に従い、相関関係を高く評価して、相関方向の画素を積極的に利用して補間を行う。一方、第２補間部３３２は、第２相関判定部３２２の判定結果に従い、相関関係を比較的低く評価して補間を行う。言い換えると、第２補間部３３２は、積極的に、メディアン補間や平均値補間を採用する補間部である。

なお、垂直、水平方向の画素を用いて注目画素を補間する場合、垂直、水平方向のライン上に補間対象となる色成分の画素が存在する場合には、当該ライン上の画素値を用いて、平均値を算出することや、リニア補間を行うことで、画素補間処理を実行することができる。しかし、画素配列によっては、補間に利用する方向のライン上に補間対象となる色成分の画素が存在しない場合がある。このような場合には、補間に利用する方向と直角な方向の画素変化率（ラプラシアン）から、補間対象となる画素の画素値を推測するなどの方法をとればよい。

＜色空間変換処理＞
第１補間部３３１は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第１色空間変換部３４１に出力する。つまり、第１色空間変換部３４１が入力する信号は、各画素がＲＧＢ全ての色成分の信号を備えている。また、第２補間部３３２は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第２色空間変換部３４２に出力する。つまり、第２色空間変換部３４２が入力する信号は、各画素がＲＧＢ全ての色成分の信号を備えている。

そして、第１色空間変換部３４１は、各画素について、ＲＧＢの画素信号から輝度信号（Ｙ信号）を生成する。一方、第２色空間変換部３４２は、各画素について、ＲＧＢの画素信号から色差信号（Ｃｂ、Ｃｒ信号）を生成する。このようにして、撮像素子１０から出力されたベイヤ配列のＲＧＢ信号は、輝度信号（Ｙ信号）および色差信号（Ｃｂ、Ｃｒ信号）に変換されるのである。

このように、第１色空間変換部３４１から出力された輝度信号は、第１補間部３３１において補間されたＲＧＢ信号から生成される信号である。第１補間部３３１において補間されたＲＧＢ信号は、相関関係を高く評価することで画素補間された信号であり、解像度を高く保った信号である。これにより、生成されるＹＵＶ信号の解像感を高く維持することが可能である。

一方、第２色空間変換部３４２から出力された色差信号は、第２補間部３３２において補間されたＲＧＢ信号から生成される信号である。第２補間部３３２において補間されたＲＧＢ信号は、相関関係を比較的低く評価することで画素補間された信号であり、ノイズが抑圧された信号である。言い換えると、ＬＰＦ（Ｌａｗ Ｐａｓｓ Ｆｉｌｔｅｒ）が適用された状態の信号である。これにより、撮像素子１０からノイズの多いＲＡＷ画像が出力された場合であっても、生成されるＹＵＶ信号のノイズを抑圧することができる。

このように、本実施の形態に係る画像処理装置１によれば、解像感を維持しながらノイズが抑圧された画素信号を得ることができる。特に、撮影感度が高くノイズが多い画像については、解像感を維持しつつ、ノイズの少ない美しい画像を得ることが可能である。

第１色空間変換部３４１から出力された輝度信号（Ｙ信号）と、第２色空間変換部３４２から出力された色差信号（Ｃｂ，Ｃｒ信号）は、この後、図示せぬ処理部において、様々な画像処理が施され、メモリに格納される。あるいは、液晶モニタなどに表示されるのである。

｛第２の実施の形態｝
次に、本発明の第２の実施の形態について説明する。第２の実施の形態の画像撮像装置１についても、処理の流れは第１の実施の形態と同様である。ただし、第１の実施の形態と第２の実施の形態とでは、考慮する相関関係の方向の数が異なる。第２の実施の形態においては、図７に示すように、垂直方向、水平方向、斜めＡ方向、斜めＢ方向の４つの方向の相関関係が考慮される。図に示すように、斜めＡ方向は、垂直方向から反時計周りに４５度傾いた方向であり、斜めＢ方向は、垂直方向から時計周りに４５度傾いた方向である。

相関計算部３１は、図３、図４および数１〜数４式を用いて説明した垂直方向、水平方向の相関値を計算するとともに、以下に説明するように、斜め方向の相関値をも計算する。

図８（Ａ），（Ｂ）は、注目画素がＧ信号（ここではＧ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした５×５の周辺領域に含まれるＧ信号を相関値計算の対象領域としているが、周辺領域の範囲は特には限定されるものではない。他にも７×７領域などを利用してもよい。

図８（Ａ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数５式となる。

つまり、５つのＧ信号（Ｇ００,Ｇ１１,Ｇ２２,Ｇ３３,Ｇ４４）の画素値を用いて、斜めＡ方向の画素差分絶対値を４組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど斜めＡ方向の相関が高いことを示している。

図８（Ｂ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数６式となる。

つまり、５つのＧ信号（Ｇ０４,Ｇ１３,Ｇ２２,Ｇ３１,Ｇ４０）の画素値を用いて、斜めＢ方向の画素差分絶対値を４組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど斜めＢ方向の相関が高いことを示している。

図９（Ａ），（Ｂ）は、注目画素がＲ信号（ここではＲ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした５×５の周辺領域に含まれるＧ信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。他にも３×３領域や７×７領域を利用してもよい。

図９（Ａ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数７式となる。

つまり、８つのＧ信号（Ｇ１０,Ｇ２１,Ｇ３２,Ｇ４３,Ｇ０１,Ｇ１２,Ｇ２３,Ｇ３４）の画素値を用いて、斜めＡ方向の画素差分絶対値を６組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど斜めＡ方向の相関が高いことを示している。

図９（Ｂ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数８式となる。

つまり、８つのＧ信号（Ｇ０３,Ｇ１２,Ｇ２１,Ｇ３０,Ｇ１４,Ｇ２３,Ｇ３２,Ｇ４１）の画素値を用いて、斜めＢ方向の画素差分絶対値を６組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど斜めＢ方向の相関が高いことを示している。

Ｂ信号が注目画素である場合の相関値算出方法は、Ｒ信号が注目画素である場合と同様である。つまり、図９において、Ｒ信号とＢ信号とを入れ替え、同様に、数７式、数８式を用いることにより、水平、垂直、斜めＡ、斜めＢ方向の相関値を算出することが可能である。

第２の実施の形態においては、第１相関判定部３２１および第２相関判定部３２２は、相関計算部３１で計算された垂直方向、水平方向、斜めＡ方向、斜めＢ方向の４つの方向の相関値を入力する。

第２の実施の形態において、第１相関判定部３２１は、図５で示した対応関係図とあわせて、図１０で示す対応関係図を利用する。図１０で示す対応関係図は、相関値（ＣdiagonalＡおよびＣdiagonalＢ）と相関方向との対応関係を示す図である。図１０の縦軸は相関値（ＣdiagonalＡ）であり、横軸は、相関値（ＣdiagonalＢ）である。領域Ｂ１は、相関方向が斜めＢ方向と判定される領域であり、領域Ｂ２は、相関方向が斜めＡ方向と判定される領域である。また、領域Ｂ３は、いずれの方向にも相関がないと判定される領域であり、領域Ｂ４は、斜めＡ方向と斜めＢ方向の両方向について相関が高いと判定される領域である。

また、第２相関判定部３２２は、図６で示した対応関係図とあわせて、図１１で示す対応関係図を利用する。図１１で示す対応関係図は、相関値（ＣdiagonalＡおよびＣdiagonalＢ）と相関方向との対応関係を示す図である。図１１の縦軸は相関値（ＣdiagonalＡ）であり、横軸は、相関値（ＣdiagonalＢ）である。領域Ｂ５は、相関方向が斜めＢ方向と判定される領域であり、領域Ｂ６は、相関方向が斜めＡ方向と判定される領域である。また、領域Ｂ７は、いずれの方向にも相関がないと判定される領域であり、領域Ｂ８は、斜めＡ方向と斜めＢ方向の両方向について相関が高いと判定される領域である。

図１０で示す対応関係図と図１１で示す対応関係図との関係も、図５と図６の関係と同様である。第１相関判定部３２１は、図１０で示す対応関係図を利用することで、注目画素における相関関係を積極的に採用して相関方向を決定する。一方、第２相関判定部３２２は、第１相関判定部３２１と比較すると、相関関係を低く評価して相関方向を決定する。

まず、第１相関判定部３２１は、４つの相関値（Ｃvertical，Ｃhorizontal，ＣdiagonalＡ，ＣdiagonalＢ）を比較する。そして、相関値（Ｃvertical）あるいは相関値（Ｃhorizontal）の値が最も小さい場合には、図５の関係図を利用する。そして、相関値の対応関係がＡ１〜Ａ４のいずれの領域に該当するかによって相関方向を決定する。これに対して、相関値（ＣdiagonalＡ）あるいは相関値（ＣdiagonalＢ）の値が最も小さい場合には、図１０の関係図を利用する。そして、相関値の対応関係がＢ１〜Ｂ４のいずれの領域に該当するかによって相関方向を決定する。

相関方向が決定すると、第１補間部３３１において相関方向の画素を用いて画素補間処理が行われる。つまり、相関値の対応関係が領域Ａ１にあれば水平方向の画素を用いて画素補間を行い、相関値の対応関係が領域Ａ２にあれば垂直方向の画素を用いて画素補間を行い、相関値の対応関係が領域Ｂ１にあれば斜めＢ方向の画素を用いて画素補間を行い、相関値の対応関係が領域Ｂ２にあれば斜めＡ方向の画素を用いて画素補間を行う。また、相関値の対応関係がＡ３またはＢ３の領域にあれば、たとえばメディアン補間を行い、対応関係がＡ４またはＢ４の領域にあれば平均値補間を行う。

同様に、第２相関判定部３２２は、４つの相関値（Ｃvertical，Ｃhorizontal，ＣdiagonalＡ，ＣdiagonalＢ）を比較する。そして、相関値（Ｃvertical）あるいは相関値（Ｃhorizontal）の値が最も小さい場合には、図６の関係図を利用する。そして、相関値の対応関係がＡ５〜Ａ８のいずれの領域に該当するかによって相関方向を決定する。これに対して、相関値（ＣdiagonalＡ）あるいは相関値（ＣdiagonalＢ）の値が最も小さい場合には、図１１の関係図を利用する。そして、相関値の対応関係がＢ５〜Ｂ８のいずれの領域に該当するかによって相関方向を決定する。

相関方向が決定すると、第２補間部３３２において相関方向の画素を用いて画素補間処理が行われる。つまり、相関値の対応関係が領域Ａ５にあれば水平方向の画素を用いて画素補間を行い、相関値の対応関係が領域Ａ６にあれば垂直方向の画素を用いて画素補間を行い、相関値の対応関係が領域Ｂ５にあれば斜めＢ方向の画素を用いて画素補間を行い、相関値の対応関係が領域Ｂ６にあれば斜めＡ方向の画素を用いて画素補間を行う。また、相関値の対応関係がＡ７またはＢ７の領域にあれば、たとえばメディアン補間を行い、対応関係がＡ８またはＢ８の領域にあれば平均値補間を行う。

この後の処理は、第１の実施の形態と同様である。第１色空間変換部３４１は、各画素について、ＲＧＢの画素信号から輝度信号（Ｙ信号）を生成する。一方、第２色空間変換部３４２は、各画素について、ＲＧＢの画素信号から色差信号（Ｃｂ、Ｃｒ信号）を生成する。

第１の実施の形態と同様、第１色空間変換部３４１から出力された輝度信号は、第１補間部３３１において補間されたＲＧＢ信号から生成される信号であり、生成されるＹＵＶ信号の解像感を高く維持することが可能である。一方、第２色空間変換部３４２から出力された色差信号は、第２補間部３３２において補間されたＲＧＢ信号から生成される信号であり、生成されるＹＵＶ信号のノイズを抑圧することができる。このように、本実施の形態に係る画像処理装置１によれば、解像感を維持しながらノイズが抑圧された画素信号を得ることができる。

｛第３の実施の形態｝
上記第１および第２の実施の形態においては、図５、図６あるいは図１０、図１１を参照して相関関係を評価するようにした。そして、図５、図６あるいは図１０、図１１で示した対応関係は、一例であり、これら対応関係の特性は自由に設定可能である。そして、対応関係を特徴づける基準として撮影感度の高低を用いることができる。

図１２は、撮影感度と評価基準の高低との関係を示す図である。図に示すように、撮影感度が高くなるほどに、輝度信号、色差信号ともに相関関係を低く評価するような特性となっている。

たとえば、撮影感度が高い場合、色差信号をより平滑化するために、第２相関判定部３２２において相関関係をより考慮しない判定を行う。具体的には、図６において、直線Ｆ４の傾きをより大きく、直線Ｆ５の傾きをより小さく、直線Ｆ６の縦軸・横軸との交点（ｙ切片、ｘ切片）をより大きい値にする。また、輝度信号についてもノイズが発生するため、第１相関判定部３２１において相関関係をより考慮しない判定を行う。具体的には、図５において、直線Ｆ１の傾きをより大きく、直線Ｆ２の傾きをより小さく、直線Ｆ３の縦軸・横軸との交点（ｙ切片、ｘ切片）をより大きい値にする。これにより、解像感に関しては、多少の劣化を免れないが、輝度信号のノイズも低減させることが可能である。

このように、撮影感度の高低に応じて相関関係の評価の度合いを決定するので、ノイズの発生度合いに応じて最適な補間処理を実行させることが可能である。

｛第４の実施の形態｝
上記第１および第２の実施の形態においては、第１色空間変換部３４１から輝度信号を出力し、第２色空間変換部３４２から色差信号を出力するようにした。第４の実施の形態では、第１，第２色空間変換部３４１，３４２の両方の出力値を利用し、輝度信号および色差信号を生成する。

図１３は、第４の実施の形態に係る画像撮像装置１の一部を示す図である。第１色空間変換部３４１および第２色空間変換部３４２より上流側の構成は、図１と同様である。この実施の形態においては、第１色空間変換部３４１は、第１補間部３３１より出力されたＲＧＢの完全な信号から、Ｙ信号、Ｃｂ信号、Ｃｒ信号を生成する。同様に、第２色空間変換部３４２は、第２補間部３３２より出力されたＲＧＢの完全な信号から、Ｙ信号、Ｃｂ信号、Ｃｒ信号を生成する。

そして、第１色空間変換部３４１から出力されたＹ信号には重み付け係数αが、Ｃｂ信号、Ｃｒ信号には、重み付け係数βが乗算される。なお、α、βは、ともに０以上１以下の数である。また、第２色空間変換部３４２から出力されたＹ信号には重み付け係数（１−α）が、Ｃｂ信号、Ｃｒ信号には、重み付け係数（１−β）が乗算される。

さらに、各重み付け係数が乗算されたＹ信号、Ｃｂ信号、Ｃｒ信号が図に示すように加算されることで、最終的なＹ信号、Ｃｂ信号、Ｃｒ信号が出力されるのである。つまり、相関関係を高く評価した信号を生成したいのであれば、αやβの値を大きくとればよいことになる。そして、この実施の形態においても、撮影感度を基準として重み付け係数α、βの値を決定するようにしている。

図１４は、撮影感度と重み付け係数α、βの関係を示す図である。図に示すように、撮影感度が高い場合には、α、βの値が小さくなるような特性となっている。これにより、撮影感度が高い場合には、相関関係をより低く評価する第２色空間変換部３４２の出力に重みを掛け、撮影感度が低い場合には、相関関係をより高く評価する第１色空間変換部３４１の出力に重みを掛けることができる。

｛その他の実施の形態｝
上記第１および第２の実施の形態においては、相関関係を高く評価する画素補間処理と、相関関係を低く評価する画素補間処理の２種類の補間処理を使い分けるようにした。しかし、撮影感度が低く、ノイズの少ないＲＡＷ画像が画素信号として入力された場合には、第１相関判定部３２１および第２相関判定部３２２が共により相関関係を高く評価する補間処理を行うようにしてもよい。つまり、第１相関判定部３２１および第２相関判定部３２２の両方が、図５あるいは図１０で示す対応関係を利用するようにしてもよい。あるいは、ノイズの少ないＲＡＷ画像に対しては、第１色空間変換部３４１が、輝度信号および色差信号を出力するという構成でもよい。

また、第２の実施の形態において、図５あるいは図６で示す対応関係図（垂直・水平系の対応関係図）を用いるのか、図１０あるいは図１１で示す対応関係図（斜め系対応関係図）を用いるかの判断は、４方向の相関値で最小となるものを基準とした。これとは別の判断方法として、垂直・水平方向の相関値差分絶対値と、斜めＡ方向・斜めＢ方向の相関値差分絶対値とを比較してもよい。つまり、｜Ｃvertical−Ｃhorizontal｜と｜ＣdiagonalＡ−ＣdiagonalＢ｜とを比較し、その値が大きい方の系を選択するのである。たとえば、｜Ｃvertical−Ｃhorizontal｜の値が｜ＣdiagonalＡ−ＣdiagonalＢ｜より大きければ、第１相関判定部３２１は、図５の対応図を利用し、第２相関判定部３２２は、図６の対応図を利用する。つまり、垂直・水平方向の相関値に偏りが大きいので、垂直・水平方向のいずれかの方向に相関が高いと判断するのである。逆に、｜ＣdiagonalＡ−ＣdiagonalＢ｜の値が｜Ｃvertical−Ｃhorizontal｜より大きければ、第１相関判定部３２１は、図１０の対応図を利用し、第２相関判定部３２２は、図１１の対応図を利用する。

また、上記第１の実施の形態においては、相関方向が垂直・水平方向である場合には、それぞれ、垂直・水平方向のライン上の画素を用いて画素補間を行うことを説明した。これ以外の方法として、重み付けを行って両方向の画素を用いた補間を行うようにしてもよい。たとえば、図５の対応関係図を用いて垂直方向の相関が高いと判定された場合、垂直方向のライン上の画素に高い重み付けを掛け、水平方向のライン上の画素に低い重み付けを掛けて、それらを加算したものを補間値とする方法などが考えられる。同様に、第２の実施の形態であれば、図１０の対応関係図を用いて斜めＡ方向の相関が高いと判定された場合、斜めＡ方向のライン上の画素に高い重み付けを掛け、斜めＢ方向のライン上の画素に低い重み付けを掛けて、それらを加算したものを補間値とする方法などが考えられる。

また、第２の実施の形態においては、相関値を求める方向として、垂直方向、水平方向、斜めＡ方向、斜めＢ方向の４つの方向を採用したが、これは一例である。６方向、８方向などさらに多数の方向について相関値を求めてもよい。また、斜め方向の角度も特に限定されるものではない。また、上記の実施の形態においては、色フィルタ１１が、ＲＧＢ系の色フィルタであり、ＲＧＢ信号がＹＵＶ信号に変換される場合を例に説明したが、これは一例である。ＹＭＣＫ系の信号がＹＵＶ信号に変換される形態などにも本発明は適用可能である。

実施の形態に係る画像撮像装置のブロック図である。 撮像素子から出力されるＲＧＢ画素信号の配列を示す図である。 注目画素がＧ画素である場合の垂直および水平方向に関する相関値の算出方法を示す図である。 注目画素がＲ画素である場合の垂直および水平方向に関する相関値の算出方法を示す図である。 相関関係を高く評価する対応関係を示す図である。 相関関係を低く評価する対応関係を示す図である。 相関値を算出する４つの方向を示す図である。 注目画素がＧ画素である場合の斜め方向に関する相関値の算出方法を示す図である。 注目画素がＲ画素である場合の斜め方向に関する相関値の算出方法を示す図である。 相関関係を高く評価する対応関係を示す図である。 相関関係を低く評価する対応関係を示す図である。 撮影感度と評価の度合いの関係を示す図である。 色空間変換後の画素信号を重み付け加算する実施の形態のブロック図である。 撮影感度と重み付け係数の関係を示す図である。

符号の説明

１ 画像撮像装置
１０ 撮像素子
１１ 色フィルタ
３１ 相関計算部
３２１ 第１相関判定部
３２２ 第２相関判定部
３３１ 第１補間部
３３２ 第２補間部
３４１ 第１色空間変換部
３４２ 第２色空間変換部

Claims (12)

1. 各画素が一の色空間における一部の色成分の信号を備える画素信号を入力する入力手段と、
   注目画素周辺の所定領域内の画素信号を用いて前記注目画素における周辺画素との相関値を算出する相関値算出手段と、
   前記注目画素について、前記相関値算出手段が算出した前記相関値を第１の判定基準に基づいて評価した相関関係に応じて補間処理を実行する第１画素補間手段と、
   前記注目画素について、前記相関値算出手段が算出した前記相関値を第２の判定基準に基づいて評価した相関関係に応じて補間処理を実行する第２画素補間手段と、
   前記第１画素補間手段により生成された画素信号から他の色空間の一部の色成分信号を生成する第１色空間変換手段と、
   前記第２画素補間手段により生成された画素信号から前記他の色空間の他の色成分信号を生成する第２色空間変換手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１の判定基準は、前記第２の判定基準より相関関係を高く評価する判定基準であることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記他の色空間の一部の色成分信号は、前記他の色空間における輝度信号、を含むことを特徴とする画像処理装置。
4. 請求項２または請求項３に記載の画像処理装置において、
   前記他の色空間の他の色成分信号は、前記他の色空間における色差信号、を含むことを特徴とする画像処理装置。
5. 請求項２に記載の画像処理装置において、
   所定の撮影条件下においては、前記第１色空間変換手段から、前記他の色空間の全信号が生成されることを特徴とする画像処理装置。
6. 請求項１ないし請求項５のいずれかに記載の画像処理装置において、
   前記第１画素補間手段は、撮影感度の高低に応じて、前記第１の判定基準に基づく相関関係の評価の度合いを決定することを特徴とする画像処理装置。
7. 請求項１ないし請求項５のいずれかに記載の画像処理装置において、
   前記第２画素補間手段は、撮影感度の高低に応じて、前記第２の判定基準に基づく相関関係の評価の度合いを決定することを特徴とする画像処理装置。
8. 各画素が一の色空間における一部の色成分の信号を備える画素信号を入力する入力手段と、
   注目画素周辺の所定領域内の画素信号を用いて前記注目画素における周辺画素との相関値を算出する相関値算出手段と、
   前記注目画素について、前記相関値算出手段が算出した前記相関値を第１の判定基準に基づいて評価した相関関係に応じて補間処理を実行する第１画素補間手段と、
   前記注目画素について、前記相関値算出手段が算出した前記相関値を第２の判定基準に基づいて評価した相関関係に応じて補間処理を実行する第２画素補間手段と、
   前記第１画素補間手段により生成された画素信号から他の色空間の画素信号を生成する第１色空間変換手段と、
   前記第２画素補間手段により生成された画素信号から前記他の色空間の画素信号を生成する第２色空間変換手段と、
   前記第１色空間変手段により生成された前記他の色空間の画素信号と、前記第２色空間変換手段により生成された前記他の色空間の画素信号とを重み付け加算することで、前記他の色空間の画素信号を出力する重み付け出力手段と、
   を備えることを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記第１の判定基準は、前記第２の判定基準より相関関係を高く評価する判定基準であることを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記他の色空間の画素信号は、前記他の色空間における輝度信号、を含むことを特徴とする画像処理装置。
11. 請求項９または請求項１０に記載の画像処理装置において、
    前記他の色空間の画素信号は、前記他の色空間における色差信号、を含むことを特徴とする画像処理装置。
12. 請求項８ないし請求項１１に記載の画像処理装置において、
    前記重み付け出力手段は、撮影感度の高低に応じて重み付け係数を決定することを特徴とする画像処理装置。

Images