JP4708180B2 - 画像処理装置 - Google Patents

Description

この発明は、二次元撮像素子から出力される信号を画像処理する画像処理装置に関し、更に詳細には、非撮影色信号を周辺画素信号から生成する構成に関するものである。

ＣＣＤ等の二次元固体撮像素子を用いた画像入力装置においては、３原色であるＲ色フィルタ、Ｇ色フィルタ及びＢ色フィルタを各々貼り付けた二次元撮像素子を３枚用い、１回の撮影で光学系から入射される被写体像を分光プリズム等で分光し各原色用撮像素子に入射させ１画面分のフルカラー画像情報を得る３板式に代表される多板式の撮像方法が知られている。

一方で、各光電素子上にＲ色、Ｇ色、あるいはＢ色用のいずれか１種類のカラーフィルタを貼り付けた１枚の二次元撮像素子を用い、１回の撮影で得られた画像情報について各光電変換素子で得られない色信号を周辺画素信号を用いて演算により算出し、疑似的に各画素でフルカラー画像情報を得る単板式の撮影方法がある。単板式は多板式に比較して撮像素子を含む光学部品点数が少なくて済むため小型かつ低価格に装置を構成することが可能であり、民生用ディジタルスチルカメラやディジタルビデオカメラ等で主に採用されている。

このような単板式二次元撮像素子として、例えば、一般的なＢａｙｅｒ型配列で原色フィルタを構成した場合、非撮影色信号を周辺画素信号から生成するには次のように行う。今、Ｇの信号だけに着目すると、ある画素位置にのみ実際の撮像によって得られたＧ信号が存在する。そして、例えば、上下左右の４画素の信号の平均値からＧ信号の存在しない画素におけるＧ信号レベルを算出し補間することにより全画素分のＧ信号を得る。このような周辺画素信号からの補間値の算出演算を、Ｂ信号やＲ信号に対しても行うことによりフルカラー画像信号を得る。

しかしながら、上記方法によりフルカラー画像を生成する信号処理では、十分な解像度を得ることが出来ないという問題があった。特に、Ｇ信号には被写体の解像度を表現する輝度情報が多く含まれているが、補間されたＧ信号を得るために、等方的に上下左右のＧ信号レベルを平均するため、例えば被写体に髪の毛などの細線があった場合につぶれてしまい再現できないという問題があった。

そこで、従来、このような問題を解決するために、例えば、特許文献１や特許文献２において、Ｒ信号を撮像した画素（以下、Ｒ画素位置と称す）またはＢ信号を撮像した画素（以下、Ｂ画素位置と称す）におけるＧ信号を生成する際に、周辺信号の複数方向に対する勾配や相関値といった画像領域の特徴量を算出し、この特徴量に応じて複数方向のＧ信号レベルから重み付け加算することで細線等を高解像度で再現する方法が提案されている。

特許第２９３１５２０号公報 特許第３５０３３７２号公報

上記従来の特許文献１に記載される技術では、相関値に極端に偏りがある場合は一方の重み付けが非常に大きくなるため、細線が線分方向に補間されることによって、上述したような単に線形補間を行う方式に比べて高解像度に再現される。しかしながら、明らかに一方向の相関が高い場合でも相関の低い方向からの補間値が少なからず重み付け加算されることによって、再現される解像度が必ずしも十分ではなかった。

また、水平及び垂直方向のいずれも相関性が極めて低い画像領域において、本来は水平及び垂直方向から均一な重み付けで補間しノイズを低減した安定した補間結果を得たい被写体中のベタ領域に、水平または垂直方向の線分が出たり、ノイズが低減できなかったりという問題があった。あるいは、このような水平及び垂直方向のいずれも相関性が極めて低い画像領域において、画像中に斜め線分があった場合に水平方向または垂直方向の補間値からの重み付けに偏りが生じ、ジャギー（階段状のギザギザ）が発生し易いなどの解決すべき課題があった。

また、特許文献２に示された技術では、水平または垂直方向のいずれか一方の相関性が極端に高い場合には、相関性の高い方向の補間値のみを用いて補間することが可能であると共に、いずれの方向に対する相関性も低いベタ領域では水平及び垂直方向の重み付けを均等にした補間結果を得ることが可能になり、特許文献１に記載されている技術に関する問題点を解決することが可能である。

しかしながら、このような特許文献２に記載の技術では、各方向の相関値に対するしきい値を境に重み付け方向が急激に切り替わるため、しきい値近傍の相関値が分布する画像領域では補間結果に不連続性が生じて画質劣化の原因になると共に、いずれの相関性も低い領域は水平及び垂直方向の均等な重み付け補間が行われるため、例えば壁紙に描かれた薄い模様などのコントラストの低い被写体があった場合に、これらを十分な解像度で補間することが困難であるという問題があった。

この発明は上記のような課題を解決するためになされたもので、コントラストの高い被写体のみならずコントラストの低い被写体を撮影した場合にも、高解像度でかつ低ノイズな画像を得ることのできる画像処理装置を得ることを目的とする。

この発明に係る画像処理装置は、方向相関値算出手段は、配置されている色フィルタと異なる色信号を生成する際に、生成しようとする色信号について複数の方向に対して画像の相関性を算出し、方向相関値補正手段は、方向相関値算出手段で算出された方向相関値が複数の方向の一つに対して高い相関性を持つ場合はその方向に対してより相関値を増加し、複数の方向に対して同等の相関性を持つ場合は、複数の方向の一つに対して高い相関性を持つ場合に比べて微小な相関値増加とし、これらの複数方向の相関性に応じて補正の度合いを連続的に推移させるようにしたものである。

この発明の画像処理装置は、方向相関値算出手段で算出された方向相関値が複数の方向の一つに対して高い相関性を持つ場合はその方向に対してより相関値を増加し、複数の方向に対して同等の相関性を持つ場合は、複数の方向の一つに対して高い相関性を持つ場合に比べて微小な相関値増加とし、これらの複数方向の相関性に応じて補正の度合いを連続的に推移させるようにしたので、コントラストの高い被写体のみならずコントラストの低い被写体を撮影した場合にも、高解像度でかつ低ノイズな画像を得ることができる。

実施の形態１．
図１は、この発明の実施の形態１による画像処理装置を示すブロック図である。
図において、画像処理装置１００は、撮像素子２００からの画像信号に基づいて画像処理を行う装置であり、方向相関値算出手段１０１、方向相関値補正手段１０２、方向相関値リミッタ手段１０３、補間値算出手段１０４を備えている。

方向相関値算出手段１０１は、撮像素子２００における複数種類の色フィルタのうち、配置されている色フィルタとは異なる色信号を生成する際に、生成しようとする色信号について複数の方向に対して画像の相関性を算出する手段である。方向相関値補正手段１０２は、方向相関値算出手段１０１で算出した方向相関値を補正する手段である。即ち、この方向相関値補正手段１０２は、方向相関値算出手段１０１で算出された方向相関値が複数の方向の一つに対して高い相関性を持つ場合はその方向に対してより相関値を増加し、複数の方向に対して同等の相関性を持つ場合は複数の方向の一つに対して高い相関性を持つ場合に比べて微小な相関値補正を行い、これらの複数方向の相関性に応じて補正の度合いを連続的に推移させるよう構成されている。方向相関値リミッタ手段１０３は、方向相関値補正手段１０２で補正された方向相関値を制限する手段である。補間値算出手段１０４は、方向相関値リミッタ手段で制限された方向相関値に基づいて、複数方向の補間値を重み付け加算する手段である。

また、撮像素子２００は、特定色に相当する波長光を選択的に透過する複数種類の色フィルタを各素子上に１種類ずつ規則的かつ２次元的に配列し、各色の信号を送出する例えばＣＣＤ等からなる撮像素子である。

尚、以下の各実施の形態では、撮像素子２００として、Ｒ、Ｇ、Ｂの３原色の色フィルタをＢａｙｅｒ型に配列した撮像素子を用い、ディジタル静止画像を撮影可能なディジタルスチルカメラの画像処理装置に適用した場合を説明する。

次に、上記構成の画像処理装置の動作について説明する。
図２は、画像処理装置の動作を示すフローチャートである。
先ず、Ｒ画素位置及びＢ画素位置におけるＧ成分の補間についてその動作を説明する。
方向相関値算出手段１０１は、Ｇ成分を補間生成しようとする注目画素の周辺に分布するＧ画素から、例えば水平及び垂直方向の方向相関性を演算によって算出する（ステップＳＴ１）。方向相関性の算出には、従来技術に記載される方法を用いてもよく、それ以外でも１次微分フィルタを用いてＧ成分の勾配を特徴量として算出する方法等、水平及び垂直方向のＧ成分の信号変化量を数値化できる方法であればいずれの方法を用いてもよい。

図３は、水平及び垂直方向の方向相関性を算出する方法の一例を示す説明図である。
これは、特許第３５０３３７２号公報に記載されている例であり、この方法では、水平方向相関値Ｉｔｘと垂直方向相関値Ｉｔｙは次のように表される。
Ｉｔｘ＝｜Ｇ２−Ｇ３｜
Ｉｔｙ＝｜Ｇ１−Ｇ４｜

次に、方向相関値補正手段１０２は、本発明の特徴である方向相関値補正を行う（ステップＳＴ２）。具体的には、下式（１）及び下式（２）の演算を行う。ここで、ＩｔｘはステップＳＴ１で算出された水平方向の相関値、ＩｔｙはステップＳＴ１で算出された垂直方向の相関値であり、ＧｒａｄはＩｔｘ及びＩｔｙを２次元座標にとった相関値空間を表す図４の中で、Ｉｔｙ＝Ｇｒａｄ×Ｉｔｘによって示される直線の傾き（但し、Ｇｒａｄ＞１）を表している。尚、Ｇｒａｄ＞１と限定しているのは、下式（１），（２）において、図４中のＩｔｙ＝Ｉｔｘの直線よりもＩｔｙ軸寄りにあることを前提としているからである。
Ｉｔｘ２＝（Ｇｒａｄ×Ｉｔｘ−Ｉｔｙ）／（Ｇｒａｄ−１） （１）
Ｉｔｙ２＝（Ｇｒａｄ×Ｉｔｙ−Ｉｔｘ）／（Ｇｒａｄ−１） （２）

上記の式（１）及び式（２）は、点（Ｉｔｘ、Ｉｔｙ）が点（Ｉｔｘ２、Ｉｔｙ２）に写像されることを意味しており、点（Ｉｔｘ、Ｉｔｙ）の座標に応じて以下のように写像されることになる。
（１）Ｉｔｙ＞Ｇｒａｄ×Ｉｔｘの領域
Ｉｔｘ＜０の領域に写像される。
（２）Ｉｔｙ＝Ｇｒａｄ×Ｉｔｘの領域
Ｉｔｘ＝０の領域、即ちＩｔｙ軸上に写像される。
（３）１／Ｇｒａｄ×Ｉｔｘ＜Ｉｔｙ＜Ｇｒａｄ×Ｉｔｘの領域
Ｉｔｘ＞０かつＩｔｙ＞０の領域に写像される。
（４）Ｉｔｙ＝１／Ｇｒａｄ×Ｉｔｘの領域
Ｉｔｙ＝０の領域、即ち、Ｉｔｘ軸上に写像される。
（５）Ｉｔｙ＜１／Ｇｒａｄ×Ｉｔｘの領域
Ｉｔｙ＜０の領域に写像される。

つまり、図４の相関値空間における各点は、直線Ｉｔｙ＝Ｉｔｘを中心位置に直線Ｉｔｙ＝Ｇｒａｄ×Ｉｔｘと直線Ｉｔｙ＝１／Ｇｒａｄ×Ｉｔｘを両端とした扇を両座標軸方向に対して開くように写像が行われ、水平または垂直方向のいずれかの相関性が非常に高い場合は相関性の高い方向により相関性が高められ、その一部は次段のステップＳＴ３のリミッタ処理により相関性の高い方向のみの相関値が残ることになる。また、直線Ｉｔｙ＝Ｉｔｘに近い領域の点ほど写像によって移動する距離が小さく、なおかつ空間における各点を写像した際の移動量が空間座標に応じて連続的に変化することになる。

言い換えれば、ステップＳＴ２の方向相関値補正を行うことで、水平及び垂直方向の相関値に基づく水平及び垂直方向の補間値を重み付け加算する場合に、画像中の細線のようにいずれか１方向の相関値が非常に大きい場合はその方向の補間値のみを用いて補間が実行され、画像中のベタ領域のようにいずれの相関値にも大きな差異がない場合は両方向の補間値を均等に重み付け加算することでベタ領域をノイズ低減しながら安定した補間を実行することができる。更に、これらのケースがしきい値制御等により急激に切り替わることなく空間全体に渡ってアナログ的に連続性を保ちながら状態遷移していくため、従来技術における処理の切り替え時に発生する画像歪みを除去することができる。

次に、方向相関値補正によって補正された水平及び垂直相関値について、方向相関値リミッタ手段１０３は、Ｉｔｘ２≧０及びＩｔｙ２≧０でリミッタをかけ、Ｉｔｘ２及びＩｔｙ２が０または正の値になるようにする（ステップＳＴ３）。更に、補間値算出手段１０４は、補正後のＩｔｘ２及びＩｔｙ２を用いて下式（３）からＲ画素位置及びＢ画素位置におけるＧ成分補間値Ｇｏｕｔを重み付け加算し算出する（ステップＳＴ４）。
Ｇｏｕｔ＝（Ｇｘ×Ｉｔｙ２＋Ｇｙ×Ｉｔｘ２）／（Ｉｔｘ２＋Ｉｔｙ２） （３）

尚、上式（３）において、Ｇｘは水平方向のＧ成分補間値を表し、Ｇｙは垂直方向の補間値を表す。ここで、Ｇｘの算出方法は図３における注目画素の左右に位置するＧ画素位置のＧ成分値を相加平均してもよく、注目画素に対して水平方向に位置するＧ画素を用いるそれ以外の方法で算出してもよい。また、式（３）におけるＧｙについても同様に、図３における注目画素の上下に位置するＧ画素位置のＧ成分値を相加平均してもよく、注目画素に対して垂直方向に位置するＧ画素を用いるそれ以外の方法で算出してもよい。

このようにして、細線などを高解像度に再現しつつ画像のベタ領域におけるノイズを良好に低減しながら、なおかつこれらの特性の異なる処理を画像の特徴に応じて連続的に推移させることで、高解像度かつ低ノイズの安定した１画面分のＧ成分が生成されることになる。

続いて、Ｇ画素位置のＲ及びＢ成分、ＲまたはＢ画素位置のＢまたはＲ成分を補間生成する必要があるが、例えば本出願人による特開２００１−７８２１１号に開示するＧ成分の特徴に基づく他色成分生成法を用いることによって、全ての画素におけるＲ及びＧ及びＢ成分を高解像度かつ低ノイズで安定した再現を行うことが可能になる。

以上のように、実施の形態１の画像処理装置によれば、特定色に相当する波長光を選択的に透過する複数種類の色フィルタを各素子上に１種類ずつ規則的かつ２次元的に配置した撮像素子から出力される信号に基づいて画像処理を行う画像処理装置であって、配置されている色フィルタと異なる色信号を生成する際に、生成しようとする色信号について複数の方向に対して画像の相関性を算出する方向相関値算出手段と、方向相関値算出手段で算出された方向相関値を補正する方向相関値補正手段と、方向相関値補正手段で補正された方向相関値を制限する方向相関値リミッタ手段と、方向相関値リミッタ手段で制限された方向相関値に基づき複数方向の補間値を重み付け加算する補間値算出手段とを備え、方向相関値補正手段は、方向相関値算出手段で算出された方向相関値が複数の方向の一つに対して高い相関性を持つ場合はその方向に対してより相関値を増加し、複数の方向に対して同等の相関性を持つ場合は、複数の方向の一つに対して高い相関性を持つ場合に比べて微小な相関値増加とし、これらの複数方向の相関性に応じて補正の度合いを連続的に推移させるようにしたので、コントラストの高い被写体のみならずコントラストの低い被写体を撮影した場合にも、高解像度でかつ低ノイズな画像を得ることができる。

また、実施の形態１の画像処理装置によれば、方向相関値補正手段は、方向相関値の補正を複数の方向に対して行うようにしたので、より正確な相関値を算出することができる。

実施の形態２．
実施の形態２における画像処理装置の図面上の構成は、図１と同様であるため、図１を援用して説明する。実施の形態２の方向相関値補正手段１０２は、方向相関値の補正を、相関性の高い一方向のみに対して行う機能を有している。これ以外の構成は実施の形態１と同様であるため、ここでの説明は省略する。

次に、実施の形態２の動作について説明する。
方向相関値算出手段１０１〜補間値算出手段１０４におけるフローチャート上の処理は図２と同様であるため、図２を援用して説明する。実施の形態２におけるステップＳＴ１及びステップＳＴ３及びステップＳＴ４については実施の形態１と同様であるため、その説明は省略し、本実施の形態２における特徴であるステップＳＴ２の動作について詳細に記述する。

ステップＳＴ２では、方向相関値補正手段１０２は、ステップＳＴ１において算出された水平及び垂直相関値は以下の２つの場合に分けて処理を実施する。
（ｉ）Ｉｔｙ＞Ｉｔｘの場合
Ｉｔｘ２＝（Ｇｒａｄ×Ｉｔｘ−Ｉｔｙ）／（Ｇｒａｄ−１） （１）
Ｉｔｙ２＝Ｉｔｙ （４）
（ｉｉ）Ｉｔｙ＜Ｉｔｘの場合
Ｉｔｘ２＝Ｉｔｘ （５）
Ｉｔｙ２＝（Ｇｒａｄ×Ｉｔｙ−Ｉｔｘ）／（Ｇｒａｄ−１） （２）

即ち、（ｉ）の場合には垂直方向相関値の補正は実行せず、水平方向相関値のみの補正を行う。また、（ｉｉ）の場合は水平方向相関値の補正は実行せず垂直方向相関値のみの補正を行う。尚、Ｉｔｙ＝Ｉｔｘの場合はいずれの場合の処理を実行した場合にも写像が行われず（Ｉｔｘ２、Ｉｔｙ２）＝（Ｉｔｘ、Ｉｔｙ）になるため、いずれか一方のケースに含むようにしてもよい。

図５は、本実施の形態におけるステップＳＴ２によって方向相関値補正を行った場合の相関値空間における各点の写像の様子を示したものである。
図５に示す通り、本実施の形態における相関値補正を行った場合、水平または垂直方向のいずれか相関性の高い方向の相関値のみを補正することで、実施の形態１に示した方法に比べてより相関値補正を制御し易く画質調整を行い易いという特長がある。即ち、実際の画質調整では、水平線分あるいは垂直線分が存在する被写体が写った画像を色補間しながらパラメータ調整を行うが、実施の形態２では、例えば、水平線分近傍の補間パラメータ調整の際は水平相関値のみ独立して調整が可能であり、また、垂直線分近傍の補間パラメータ調整の際は垂直相関値のみ独立して調整が可能であるといったことから、画質を制御し易くなる。

また、本実施の形態における相関値補正演算は実施の形態１における相関値補正演算に比較して、それぞれの場合における演算量が少なくて済むため、処理をソフトウェアで実現した際に高速に実行できるという特長がある。

以上のように、実施の形態２の画像処理装置によれば、方向相関値補正手段は、方向相関値の補正を相関性の高い一方向のみに対して行うようにしたので、相関値補正を制御し易く画質調整を行い易いと共に、相関値補正演算における演算量が少なくて済む効果がある。

実施の形態３．
図６は、実施の形態３の画像処理装置を示すブロック図である。
図示の画像処理装置１００ａは、方向相関値算出手段１０１、方向相関値補正手段１０２、方向相関値リミッタ手段１０３、補間値算出手段１０４および方向相関値オフセット加算手段１０５を備えている。ここで、方向相関値オフセット加算手段１０５は、方向相関値補正手段１０２における方向相関値の補正処理によって補正された方向相関値に対し、予め定めた定数を加算する手段である。また、方向相関値リミッタ手段１０３は、方向相関値オフセット加算手段１０５によってオフセット加算された方向相関値に対してリミッタ処理を行うよう構成されている。これ以外の構成は実施の形態１または実施の形態２と同様であるため、ここでの説明は省略する。

次に、実施の形態３の動作について説明する。
図７は、実施の形態３の動作を示すフローチャートである。
図７に示す実施の形態３の動作と、図２に示す実施の形態１または実施の形態２の動作との差異は、ステップＳＴ５の方向相関値オフセット加算処理を追加した点である。実施の形態３において、ステップＳＴ１の方向相関値算出処理及びステップＳＴ３の方向相関値リミッタ処理及びステップＳＴ４の補間値算出処理は、実施の形態１及び実施の形態２に用いた方法をそのまま用いることができ、ステップＳＴ２の方向相関値補正は実施の形態１または実施の形態２に示したいずれかの方法を用いることができる。

次に、本実施の形態における特徴的な動作であるステップＳＴ５の方向相関値オフセット加算について図面を参照して説明する。
図８は、実施の形態３の相関値空間を示す説明図である。
この図８では、ステップＳＴ２の方向相関値補正（ここでは実施の形態２の方法を用いた場合を示す）結果に対してステップＳＴ５の方向相関値オフセットを加算しステップＳＴ３の方向相関値リミッタを実施した後の相関値空間における各写像点を示したものである。

水平及び垂直方向の補正後の相関値Ｉｔｘ２及びＩｔｙ２に対し、本実施の形態では、下式に従って予め定めた固定値を加算する（オフセット値加算を行う）ことで、オフセット値加算後の水平方向相関値Ｉｔｘ２’及び垂直方向相関値Ｉｔｙ２’を得る。
Ｉｔｘ２’＝Ｉｔｘ２＋ｋｘ （６）
Ｉｔｙ２’＝Ｉｔｙ２＋ｋｙ （７）

そして、方向相関値オフセット加算手段１０５によりオフセット値が加算された後に、方向相関値リミッタ手段１０３はステップＳＴ３の方向相関値リミッタを実施し、オリジナルの相関値空間上の各点は図８の矢印の位置に移動することになる。また、その後、ステップＳＴ４の補間値算出において、式（３）のＩｔｘ２、Ｉｔｙ２の代わりに式（６）及び式（７）で算出したＩｔｘ２’及びＩｔｙ２’を用いることで補間値を算出することができる。

本実施の形態では、水平及び垂直方向の補正後の方向相関値に対してオフセット値を加算することによって、図８に示すように、水平及び垂直方向共に相関性が低い領域のオフセット値加算後の写像点がＩｔｘ軸及びＩｔｙ軸から離れる方向に移動するため、画像中のベタ領域における重み付けの際の水平及び垂直方向の偏りが補正され均等になる方向に移動する。これによって、ステップＳＴ４の補間値算出演算によってこの領域が水平及び垂直の各方向に対して均等に近い重み付けになるため、この領域に対してノイズの少ない安定した補間結果を得つつ、双方の相関性が低い薄い線分に対しても良好な解像度で補間することができるという特長がある。

以上のように、実施の形態３の画像処理装置によれば、方向相関値補正手段における方向相関値の補正処理によって補正された方向相関値に対し、予め定めた定数を加算する方向相関値オフセット加算手段を備え、方向相関値リミッタ手段は、方向相関値オフセット加算手段によってオフセット加算された方向相関値に対して制限を行うようにしたので、画像中のベタ領域といった領域に対してもノイズの少ない安定した補間結果が得られると共に、双方の相関性が低い薄い線分に対しても良好な解像度で補間することができる。

実施の形態４．
図９は、実施の形態４の画像処理装置を示すブロック図である。
実施の形態４と実施の形態３との差異は、画像処理装置１００ｂにおいて、方向相関値オフセット加算手段１０５を、方向相関値リミッタ手段１０３の後段側に設けた点である。即ち、実施の形態４における方向相関値オフセット加算手段１０５は、方向相関値リミッタ手段１０３によって制限された方向相関値に対し予め定めた定数を加算するよう構成されている。また、補間値算出手段１０４は、方向相関値オフセット加算手段１０５で制限された方向相関値に基づいて複数方向の補間値を重み付け加算するよう構成されている。その他の各構成は、上述したいずれかの実施の形態と同様であるため、ここでの説明は省略する。

次に、実施の形態４の動作について説明する。
図１０は、実施の形態４の動作を示すフローチャートである。
実施の形態４の動作と、実施の形態３の動作との差異は、本実施の形態においてはステップＳＴ５の方向相関値オフセット加算処理を、ステップＳＴ３の方向相関値リミッタ処理の後段に追加した点である。実施の形態３と同様に、ステップＳＴ１の方向相関値算出及びステップＳＴ３の方向相関値リミッタ及びステップＳＴ４の補間値算出は実施の形態１及び実施の形態２に用いた方法をそのまま用いることができ、ステップＳＴ２の方向相関値補正は実施の形態１または実施の形態２に示したいずれかの方法を用いることができる。

また、本実施の形態におけるステップＳＴ５の方向相関値オフセット値加算方法については、実施の形態３と同様に式（６）及び式（７）を用いて演算を行う。

次に、本実施の形態と実施の形態３における処理手順の変化に伴う効果の相違について説明する。
図１１は、本実施の形態におけるステップＳＴ３の方向相関値リミッタを実施した後の相関値空間における各点が写像される様子を示したものである。図において、ステップＳＴ３の方向相関値リミッタを施した後にオフセット値を加算するため、最終的にＩｔｘ＜ｋｘまたはＩｔｙ＜ｋｙの領域には写像される点がなくなる。従って、Ｉｔｘ軸及びＩｔｙ軸上に写像された点とそれ以外の点に関して不連続になるが、細線の高解像度さとベタ領域の安定感という本方式の特長を維持したまま、式（６）及び式（７）の演算処理において負値を扱う必要がないため、処理を電子回路で実現した場合に、演算ビット長を削減でき低コスト化に貢献できるという特長がある。また、方向相関値リミッタを施すことで確実にＩｔｘ＞０かつＩｔｙ＞０の値にしておき、その後、オフセット加算するため、原点付近の相関値座標をＩｔｘ軸からもＩｔｙ軸からも確実に遠ざけることが可能になる。その結果、水平及び垂直方向共に相関性が低い領域に対して一方の相関値が非常に大きな重み付けになることを緩和できるため、斜め線のジャギーを低減することが可能になる。

以上のように、実施の形態４の画像処理装置によれば、方向相関値リミッタ手段によって制限された方向相関値に対し予め定めた定数を加算する方向相関値オフセット加算手段を備え、補間値算出手段は、方向相関値オフセット加算手段によってオフセット加算された方向相関値に基づき複数方向の補間値を重み付け加算するようにしたので、処理を電子回路で実現した場合に、演算ビット長を削減でき低コスト化に貢献できると共に、水平及び垂直方向共に相関性が低い領域に対して一方の相関値が非常に大きな重み付けになることを緩和できるため、斜め線のジャギーを低減することが可能になる。

実施の形態５．
実施の形態５の画像処理装置の図面上の構成は、図６に示した実施の形態３または図９に示した実施の形態４と同様であるため、これらの図を援用して説明する。
実施の形態５の方向相関値オフセット加算手段１０５では、図６に示した構成の場合、方向相関値補正手段１０２における方向相関値の補正処理によって補正された複数の方向相関値に対し、いずれの方向に対する相関性が低いほど大きなオフセット値を加算し、それ以外の場合は、大きなオフセット値に対して微小となるオフセット値を加算し、これらのオフセット値が複数方向の相関値に応じて連続的に変化するよう構成されている。また、この場合、方向相関値リミッタ手段１０３は、方向相関値オフセット加算手段１０５によってオフセット加算された方向相関値に対して制限を行うよう構成されている。

また、図９に示した構成の場合、方向相関値リミッタ手段１０３によって制限された複数の方向相関値に対し、いずれの方向に対する相関性が低い程大きなオフセット値を加算し、それ以外の場合は、大きなオフセット値に対して微小となるオフセット値を加算し、これらのオフセット値が複数方向の相関値に応じて連続的に変化するよう構成されている。また、この場合、補間値算出手段１０４は、方向相関値オフセット加算手段１０５によってオフセット加算された方向相関値に基づき複数方向の補間値を重み付け加算するよう構成されている。

これら以外の構成については、実施の形態３または実施の形態４と同様であるため、ここでの説明は省略する。

次に、実施の形態５の動作について説明する。ここで、動作を示すフローチャートの図面上の内容は図７に示した実施の形態３、または図１０に示した実施の形態４と同様である。
本実施の形態における実施の形態３及び実施の形態４との差異は、ステップＳＴ５における方向相関値オフセット値加算にある。また、本実施の形態においては、実施の形態３及び実施の形態４と同様に、ステップＳＴ１の方向相関値算出及びステップＳＴ３の方向相関値リミッタ及びステップＳＴ４の補間値算出は実施の形態１及び実施の形態２に用いた方法をそのまま用いることができ、ステップＳＴ２の方向相関値補正は実施の形態１または実施の形態２に示したいずれかの方法を用いることができる。

以下、本実施の形態における特徴的な動作であるステップＳＴ５の方向相関値オフセット加算について、実施の形態３における図７のフローチャートを用いて説明する。尚、ここで、説明上の都合で実施の形態３におけるフローチャートに基づいた説明を行うが、実施の形態４における図１０のフローチャートにおけるステップＳＴ５の方向相関値オフセット加算に置き換えても本方式の特長には何ら変わりはない。

図１２は、図７のステップＳＴ２の方向相関値補正（ここでは実施の形態２の方法を用いた場合を示す）結果に対してステップＳＴ５の方向相関値オフセットを加算し、ステップＳＴ３の方向相関値リミッタを実施した後の相関値空間における各写像点を示したものである。水平及び垂直方向の補正後の相関値Ｉｔｘ２及びＩｔｙ２に対し、本実施の形態では、下式に従って予め定めた固定値を加算することでオフセット値加算を行うことでオフセット値加算後の水平方向相関値Ｉｔｘ２’及び垂直方向相関値Ｉｔｙ２’を得る。
Ｉｔｘ２’＝Ｉｔｘ２＋Ｃｏｎｓｔ／（Ｉｔｘ＋Ｉｔｙ） （８）
Ｉｔｙ２’＝Ｉｔｙ２＋Ｃｏｎｓｔ／（Ｉｔｘ＋Ｉｔｙ） （９）

ここで、式（８）及び式（９）におけるＣｏｎｓｔは予め定められた定数である。上式に従ってオフセット値が加算された後、ステップＳＴ３の方向相関値リミッタを実施し、オリジナルの相関値空間上の各点は図１２中の矢印の位置に移動することになる。

本実施の形態では、水平及び垂直方向の補正後の方向相関値に対して加算するオフセット値を、相関値空間上の座標に応じて変化する関数値として与えることによって、図１２に示すように、水平及び垂直方向共に相関性が低い領域のオフセット値加算後の写像点が他の領域と比較してＩｔｘ軸及びＩｔｙ軸から大きく離れる方向に移動するため、画像中のベタ領域における重み付けの際の水平及び垂直方向の偏りのみが集中的に補正され均等になる方向に移動する。これによって、ステップＳＴ４の補間値算出演算によってこの領域が水平及び垂直の各方向に対して均等に近い重み付けになるため、この領域に対してノイズの少ない安定した補間結果を得つつ、双方の相関性が低い薄い線分に対しても良好な解像度で補間することができるという特長がある。

実施の形態５においては、オフセット値を算出する関数として１／（Ｉｔｘ＋Ｉｔｙ）を用いた場合を例にとって説明したがこの限りでなく、１／（Ｉｔｘ＋Ｉｔｙ）²など、相関値空間内の原点付近で大きく座標軸からのオフセット量が得られる関数であれば同様の効果が得られるのは言うまでもない。

以上のように、実施の形態５の画像処理装置によれば、方向相関値補正手段における方向相関値の補正処理によって補正された複数の方向相関値に対し、いずれの方向に対する相関性が低いほど大きなオフセット値を加算し、それ以外の場合は、大きなオフセット値に対して微小となるオフセット値を加算し、これらのオフセット値が複数方向の相関値に応じて連続的に変化する方向相関値オフセット加算手段を備え、方向相関値リミッタ手段は、方向相関値オフセット加算手段によってオフセット加算された方向相関値に対して制限を行うようにしたので、画像中のベタ領域といった領域に対してノイズの少ない安定した補間結果を得つつ、双方の相関性が低い薄い線分に対しても良好な解像度で補間することができる。

また、実施の形態５の画像処理装置によれば、方向相関値リミッタ手段によって制限された複数の方向相関値に対し、いずれの方向に対する相関性が低い程大きなオフセット値を加算し、それ以外の場合は、大きなオフセット値に対して微小となるオフセット値を加算し、これらのオフセット値が複数方向の相関値に応じて連続的に変化する方向相関値オフセット加算手段を備え、補間値算出手段は、方向相関値オフセット加算手段によってオフセット加算された方向相関値に基づき複数方向の補間値を重み付け加算するようにしたので、実施の形態４の効果に加えて、画像中のベタ領域といった領域に対してノイズの少ない安定した補間結果を得つつ、双方の相関性が低い薄い線分に対しても良好な解像度で補間することができるといった効果がある。

尚、上記実施の形態１〜５においては、相関値算出方向を水平及び垂直の２方向である場合について説明したがこの限りでない。即ち、図３の中心画素に対して複数の斜め方向の相関値を算出し、これを単独あるいは水平及び垂直相関値と共に用いて重み付け補間することでも、本発明を効果的に実施することができる。

また、上記各実施の形態においては、撮像素子として原色系の色フィルタをＢａｙｅｒ型に配列した単板センサを用いる構成のものについて示したが、原色系で他の配列、あるいは、補色系色フィルタを用いるものでもよく、更に、撮像素子が正方配列以外の例えばハニカム形状のものを用いた場合においても、同様の効果を得ることができる。

また、以上の全ての実施の形態においては、撮像装置の内部で色補間処理を実行可能な構成例を示したが、この構成に限定されるものではなく、パーソナルコンピュータやカラープリンタ等、撮像装置に直接あるいは記憶媒体を間接的に経由して接続可能で単板式センサを使用して入力した画像を扱ういずれの機器上で構成してもよい。

この発明の実施の形態１による画像処理装置を示すブロック図である。 この発明の実施の形態１による画像処理装置の動作を示すフローチャートである。 水平及び垂直方向の方向相関性を算出する場合の動作の一例を示す説明図である。 この発明の実施の形態１における画像処理装置の相関値空間を示す説明図である。 この発明の実施の形態２における画像処理装置の相関値空間を示す説明図である。 この発明の実施の形態３による画像処理装置を示すブロック図である。 この発明の実施の形態３による画像処理装置の動作を示すフローチャートである。 この発明の実施の形態３における画像処理装置の相関値空間を示す説明図である。 この発明の実施の形態４による画像処理装置を示すブロック図である。 この発明の実施の形態４による画像処理装置の動作を示すフローチャートである。 この発明の実施の形態４における画像処理装置の相関値空間を示す説明図である。 この発明の実施の形態５における画像処理装置の相関値空間を示す説明図である。

符号の説明

１００，１００ａ，１００ｂ 画像処理装置、１０１ 方向相関値算出手段、１０２ 方向相関値補正手段、１０３ 方向相関値リミッタ手段、１０４ 補間値算出手段、１０５ 方向相関値オフセット加算手段、２００ 撮像素子。

Claims (7)

1. 特定色に相当する波長光を選択的に透過する複数種類の色フィルタを各素子上に１種類ずつ規則的かつ２次元的に配置した撮像素子から出力される信号に基づいて画像処理を行う画像処理装置であって、
   配置されている色フィルタと異なる色信号を生成する際に、生成しようとする色信号について複数の方向に対して画像の相関性を算出する方向相関値算出手段と、
   前記方向相関値算出手段で算出された方向相関値を補正する方向相関値補正手段と、
   前記方向相関値補正手段で補正された方向相関値を制限する方向相関値リミッタ手段と、
   前記方向相関値リミッタ手段で制限された方向相関値に基づき複数方向の補間値を重み付け加算する補間値算出手段とを備え、
   前記方向相関値補正手段は、
   前記方向相関値算出手段で算出された方向相関値が前記複数の方向の一つに対して高い相関性を持つ場合はその方向に対してより相関値を増加し、複数の方向に対して同等の相関性を持つ場合は、前記複数の方向の一つに対して高い相関性を持つ場合に比べて微小な相関値増加とし、これらの複数方向の相関性に応じて補正の度合いを連続的に推移させることを特徴とする画像処理装置。
2. 方向相関値補正手段は、方向相関値の補正を複数の方向に対して行うことを特徴とする請求項１記載の画像処理装置。
3. 方向相関値補正手段は、方向相関値の補正を相関性の高い一方向のみに対して行うことを特徴とする請求項１記載の画像処理装置。
4. 方向相関値補正手段における方向相関値の補正処理によって補正された方向相関値に対し、予め定めた定数を加算する方向相関値オフセット加算手段を備え、
   方向相関値リミッタ手段は、前記方向相関値オフセット加算手段によってオフセット加算された方向相関値に対して制限を行うことを特徴とする請求項１記載の画像処理装置。
5. 方向相関値リミッタ手段によって制限された方向相関値に対し予め定めた定数を加算する方向相関値オフセット加算手段を備え、
   補間値算出手段は、前記方向相関値オフセット加算手段によってオフセット加算された方向相関値に基づき複数方向の補間値を重み付け加算することを特徴とする請求項１記載の画像処理装置。
6. 方向相関値補正手段における方向相関値の補正処理によって補正された複数の方向相関値に対し、いずれの方向に対する相関性が低いほど大きなオフセット値を加算し、それ以外の場合は、当該大きなオフセット値に対して微小となるオフセット値を加算し、これらのオフセット値が複数方向の相関値に応じて連続的に変化する方向相関値オフセット加算手段を備え、
   方向相関値リミッタ手段は、前記方向相関値オフセット加算手段によってオフセット加算された方向相関値に対して制限を行うことを特徴とする請求項１記載の画像処理装置。
7. 方向相関値リミッタ手段によって制限された複数の方向相関値に対し、いずれの方向に対する相関性が低い程大きなオフセット値を加算し、それ以外の場合は、当該大きなオフセット値に対して微小となるオフセット値を加算し、これらのオフセット値が複数方向の相関値に応じて連続的に変化する方向相関値オフセット加算手段を備え、
   補間値算出手段は、前記方向相関値オフセット加算手段によってオフセット加算された方向相関値に基づき複数方向の補間値を重み付け加算することを特徴とする請求項１記載の画像処理装置。
   

Images