JP6276569B2 - 画素補間処理装置、撮像装置、プログラムおよび集積回路 - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置で実行される信号処理に関する。特に、画素補間技術に関する。

デジタルカメラ等の撮像装置で利用されるＣＣＤ型イメージセンサ、ＣＭＯＳ型イメージセンサなどの撮像素子では、色フィルタを介して受光された光が光電変換により電気信号に変換され、画素信号として出力される。この色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の撮像素子からは１画素について１色の画素信号が出力される。たとえば、ＲＧＢ系色フィルタを用いた場合、１画素についてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）いずれかの色成分の画素信号が出力される。

このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理により取得する必要がある。そして、この補間処理には、様々なアルゴリズムが用いられている。たとえば、水平方向の相関度と垂直方向の相関度とを算出し、相関度の高い方向の画素を用いて画素補間を行う方法が行われている。また、注目画素と周辺画素の距離に応じて重み付けを行った上で画素補間を行う方法などが行われている。

下記特許文献１に開示されている技術では、ベイヤ配列（ＲＧＢ色フィルタ）の撮像素子により取得された画像の中のグレー領域とカラー領域を判別し、画像領域の特性に応じた画素補間を適用させるようにしている。特許文献１の技術では、特に、グレー領域とカラー領域との境界に位置する領域について偽色の発生を抑える工夫がなされている。具体的には、特許文献１の技術では、グレー領域とカラー領域との境界にある領域に対して、相関方向については、グレー画像用の判定方法を用いて相関方向の判定処理を行い、画素補間については、カラー画像領域用の画素補間方法を用いて、画素補間処理を行う。これにより、特許文献１の技術では、画素補間処理による偽色の発生を低減させることができる。

特開２００６−１８６９６５号公報

ところで、色フィルタとして、ＷＲＧＢ配列やＹｅ（イエロー）−Ｃｙ（シアン）−Ｇ（グリーン）−Ｍｇ（マゼンタ）配列やＲＧＢＹｅ配列等の４色フィルタを有する撮像装置がある。このような４色フィルタを有する単板式の撮像素子を用いた場合、１画素について、４色のうちのいずれか１色の画素信号が出力される。

特許文献１の技術では、ベイヤ配列（ＲＧＢ色フィルタ）の撮像素子を前提としており、色フィルタ配列のパターンの異なる４色フィルタを有する単板式の撮像素子に、特許文献１の技術をそのまま適用することは困難である。また、４色フィルタの配列がどのようなものであっても適切に画素補間処理を行うことは困難である。

そこで、本発明は、上記課題に鑑み、４色フィルタを有する単板式の撮像素子により取得された画像信号に対して、４色フィルタの配列がどのようなものであっても、適切に画素補間処理を行うことができる画素補間処理装置、撮像装置、プログラムおよび集積回路を実現することを目的とする。

上記課題を解決するために、第１の発明は、異なる４色のフィルタであって、第１色フィルタ、第２色フィルタ、第３色フィルタおよび第４色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、第１色フィルタを介して取得される第１色画素信号と、第２色フィルタを介して取得される第２色画素信号と、第３色フィルタを介して取得される第３色画素信号と、第４色フィルタを介して取得される第４色画素信号と、から構成される画像信号に対して、画素補間処理を行う画素補間処理装置である。

この画素補間処理装置は、信号補正部と、彩度評価値算出部と、グレー相関値算出部と、カラー相関値算出部と、画素補間法決定部と、補間部と、補正処理部と、を備える。

信号補正部は、第１色画素信号、第２色画素信号、第３色画素信号、および、第４色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の第１〜第４色画素信号から構成される画像信号を第１画像信号として出力する。

彩度評価値算出部は、信号補正部から出力される第１画像信号に基づいて、第１画像信号が形成する画像の所定の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。

グレー相関値算出部は、第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、画像上において直交する２方向の複数組の相関度をグレー相関度として取得する。

カラー相関値算出部は、第１〜第４色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、画像上において直交する２方向の複数組の相関度をカラー相関度として取得する。

画素補間法決定部は、彩度評価値算出部により取得された彩度評価値と、グレー相関値算出部により取得されたグレー相関度と、カラー相関値算出部により取得されたカラー相関度とに基づいて、注目画素の画素補間方法を決定する。

補間部は、画素補間法決定部により決定された画素補間方法により、注目画素に対して、画素補間処理を実行することで、画素補間処理後の画像信号である第２画像信号を取得する。

補正処理部は、補間部により取得された第２画像信号に対して、色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する。

この画素補間処理装置では、信号補正部により、撮像部の４色フィルタの配列に応じて、信号レベルの補正を行い、当該補正後の画像信号を用いて、彩度評価値算出処理、グレー相関値算出処理が実行される。したがって、この画素補間処理装置では、４色フィルタの配列がどのようなものであっても、精度の高い彩度評価値算出処理、グレー相関値算出処理により取得された結果に基づいて、画素補間方法が決定され、決定された画素補間方法により、精度の高い画素補間処理が実行される。さらに、この画素補間処理装置では、補間部により取得された第２画像信号に対して、色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得することができる。

第２の発明は、第１の発明であって、補間部は、カラー画像用補間部と、グレー画像用補間部と、信号逆補正部と、選択部と、を備える。

カラー画像用補間部は、画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、第１〜第４色画素信号から構成される画像信号により形成される画像に対して、カラー画像用の画素補間処理を実行する。

グレー画像用補間部は、画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、信号補正部から出力される第１画像信号により形成される画像に対して、グレー画像用の画素補間処理を実行する。

信号逆補正部は、グレー画像用補間部により、グレー画像用の画素補間処理が実行された画像信号に対して、信号補正部により補正された信号レベルを、当該補正前の信号レベルと略同一となるように、信号レベルの逆補正を行う。

選択部は、画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、カラー画像用補正部により処理された画像信号を第２画像信号として取得し、画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、信号逆補正部により処理された画像信号を第２画像信号として取得し、取得した第２画像信号を補正処理部に出力する。

この画素補間処理装置では、信号補正部により、撮像部の４色フィルタの配列に応じて、信号レベルの補正を行い、当該補正後の画像信号を用いて、彩度評価値算出処理、グレー相関値算出処理、グレー画像用補間処理が実行される。また、この画素補間処理装置では、カラー画像用補間処理は、信号レベル補正を行わない画像信号を用いて実行し、グレー画像用補間処理後の画像信号に対して、信号逆補正部により、元の信号レベルに戻す逆補正が実行されるため、補間部から出力される画素補間処理後の信号の信号レベルを略同一にすることができる。つまり、この画素補間処理装置では、カラー画像用補間処理を行った場合と、グレー画像用補間処理を行った場合の信号レベルの差が極端に発生することがない。したがって、画素補間処理後の画像信号に対して、後段の処理においても精度を向上させやすい。

第３の発明は、第１または第２の発明であって、補正処理部は、第１マトリックス変換部と、色空間処理部と、彩度取得部と、色差補正部と、第２マトリックス変換部と、を備える。

第１マトリックス変換部は、補間部により取得された第２画像信号に対して、色フィルタの配列パターンに応じた色空間変換を行うことで、ＲＧＢ色空間の画像信号を取得する。

色空間処理部は、第１マトリックス変換部により取得されたＲＧＢ色空間の画像信号をＹＣｂＣｒ色空間の画像信号に変換する。

彩度取得部は、第１マトリックス変換部により取得されたＲＧＢ色空間の画像信号から、彩度信号を取得する。

色差補正部は、彩度取得部により取得された彩度信号に基づいて、色空間処理部により取得されたＹＣｂＣｒ色空間の画像信号のＣｂ成分信号およびＣｒ成分信号に対して、補正処理を行う。

第２マトリックス変換部は、色空間処理部により取得されたＹＣｂＣｒ色空間の画像信号のＹ成分信号と、色差補正部により補正されたＣｂ成分信号およびＣｒ成分信号とに対して、色空間変換を行うことで、ＲＧＢ色空間の画像信号を取得する。

この画素補間処理装置では、精度の高い画素補間処理が実行された後の画像信号から、ＲＧＢ色空間の画像信号を取得し、さらに、（例えば、ＲＧＢ−ＨＳＶ変換により）彩度信号を取得する。そして、この画素補間処理装置では、取得した彩度信号に基づいて、色空間処理部により取得された色差信号であるＣｂ成分信号およびＣｒ成分信号に対して、補正処理を行う。つまり、精度の高い彩度信号に基づいて、注目画素がグレー画像領域に含まれるのか、それとも、カラー画像領域に含まれるのかを適切に判断することができるため、当該彩度信号に基づいて、Ｃｂ成分信号およびＣｒ成分信号を補正することで、偽色発生等の副作用を適切に抑制することができる。

第４の発明は、第１から第３のいずれかの発明であって、第１〜第４色画素信号から構成される画像信号により形成される画像上におけるカラー画像領域とグレー画像領域との境界部分を検出する境界検出部をさらに備える。

グレー相関値算出部は、境界検出部により検出されたカラー画像領域とグレー画像領域との境界部分が、グレー相関度算出のための画像領域に含まれる場合、グレー相関度算出の対象としている相関方向と平行なライン上であって、グレー相関度算出のための画像領域内の中央の領域に含まれる画素について、重み付けを大きくすることで、当該画素のグレー相関度算出処理における影響度を強くして、グレー相関度を取得する。

これにより、この画素補間処理装置では、カラー画像領域とグレー画像領域との境界付近で相関度算出の精度を確保することができ、その結果、カラー画像領域とグレー画像領域との境界付近で頻繁に生じる偽色発生現象を適切に抑制することができる。

第５の発明は、第１から第４のいずれかの発明であって、補間部は、相関度に基づいて、相関の高い方向があると判定される場合において、
（１）画素補間処理の対象の第１色の色成分画素と同色の色成分画素と第２色の色成分画素が、画像上において、相関の高い方向に存在する場合、第２色の色成分画素の画素値を用いて相関の高い方向の変化率を第１変化率として取得し、注目画素の第１色成分画素値を、相関の高い方向に存在する第１色の色成分画素と、取得した第１変化率とに基づいて、取得することで、注目画素に対して、画素補間処理を行い、
（２）画素補間処理の対象の色成分画素と同色の色成分画素が、画像上において、相関の高い方向に存在していない場合、相関の高い方向と直交する方向において、色空間変換して、同一色相の色成分画素値を取得し、取得した色成分画素値の相関の高い方向と直交する方向の変化率を第２変化率として取得し、取得した第２変化率に基づいて、注目画素に対して画素補間処理を行う。

この画素補間処理装置では、画素補間処理の対象の第１色の色成分画素と同色の色成分画素と第２色の色成分画素が、相関の高い方向に存在する場合、第２色の色成分画素の画素値を用いて相関の高い方向の第１変化率を取得し、注目画素の第１色成分画素値を、相関の高い方向に存在する第１色の色成分画素と、取得した第１変化率とに基づいて、取得することで、前記注目画素に対して、画素補間処理を行う。つまり、この画素補間処理装置では、画素補間対象となっている色成分画素と異なる色成分画素を用いて算出した相関方向（相関が高い方向）の変化率を考慮して、画素補間処理を行う。したがって、この画素補間処理装置では、相関方向（相関が高い方向）の同色の色成分画素値の平均値により画素補間処理を行う場合に比べて、より高精度な画素補間処理を行うことができる。

また、この画素補間処理装置では、画素補間処理の対象の色成分画素と同色の色成分画素が、相関の高い方向に存在していない場合であっても、相関の高い方向と直交する方向において、色空間変換して、同一色相の色成分画素値を取得し、取得した色成分画素値を用いて、相関の高い方向と直交する方向の第２変化率を取得し、取得した第２変化率に基づいて、注目画素に対して画素補間処理を行う。つまり、この画素補間処理装置では、色空間変換を行うことで、相関の高い方向と直交する方向の第２変化率を取得することができるので、取得した第２変化率を用いて、画素補間処理を行うことで、画素補間処理の対象の色成分画素と同色の色成分画素が、相関の高い方向に存在していない場合であっても、より高精度な画素補間処理を実行することができる。

なお、「同一色相の色成分画素値」とは、３次元色空間を規定し、所定の基底ベクトルを設定した場合において、当該色成分画素値に相当する当該３次元色空間内での点が、当該基底ベクトルの延長線上に存在する場合の画素値をいう。「同一色相の色成分画素値」の例として、Ｒ＋２Ｇ＋Ｂ色成分画素値や、Ｒ−Ｇ色成分画素値があり、さらに、加色法系の色空間における、Ｗ−Ｒ色成分画素値、Ｗ−Ｇ色成分画素値、Ｗ−Ｂ色成分画素値や、減色系色空間における、Ｗ−Ｙｅ色成分値、Ｗ−Ｍ色成分値、Ｗ−Ｃｙ色成分値等がある。なお、「Ｙｅ」はイエロー色成分値であり、「Ｍ」はマゼンタ色成分値であり、「Ｃｙ」はシアン色成分値である。

なお、Ｗ−Ｙｅ色成分画素値、Ｗ−Ｍ色成分画素値およびＷ−Ｃｙ色成分画素値は、輝度信号成分をＹ（Ｗ）とし、Ｒ色信号成分をＲとし、Ｇ色信号成分をＧとし、Ｂ色信号成分をＢとしたとき、
Ｗ＝Ｙ＝Ｒｇａｉｎ×Ｒ＋Ｇｇａｉｎ×Ｇ＋Ｂｇａｉｎ×Ｂ
Ｒｇａｉｎ＝０．２９９
Ｇｇａｉｎ＝０．５８７
Ｂｇａｉｎ＝０．１１４
Ｙｅｇａｉｎ×Ｙｅ＝Ｒｇａｉｎ×Ｒ＋Ｇｇａｉｎ×Ｇ
Ｍｇａｉｎ×Ｍ＝Ｒｇａｉｎ×Ｒ＋Ｂｇａｉｎ×Ｂ
Ｃｙｇａｉｎ×Ｃｙ＝Ｇｇａｉｎ×Ｇ＋Ｂｇａｉｎ×Ｂ
なる関係から導出されるものであり、例えば、Ｗ−Ｙｅ色成分は、上式より、Ｂ色成分と等価である。つまり、Ｗ−Ｙｅ色成分画素値は、Ｗ−Ｙｅｇａｉｎ×Ｙｅにより算出され、Ｂ色成分画素値は、Ｂｇａｉｎ×Ｂにより算出される。また、Ｗ−Ｍ色成分画素値およびＷ−Ｃｙ色成分画素値についても同様である。

第６の発明は、第５の発明であって、補間部は、色空間変換して取得した同一色相の色成分画素値の第２変化率を、色成分画素値のラプラシアン成分量に基づいて算出する。

これにより、この画素補間処理装置では、色成分画素値の相関の高い方向と直交する方向の変化率（第２変化率）を、色空間変換して取得した同一色相の色成分成分画素値のラプラシアン成分量に基づいて算出することができる。

第７の発明は、第６の発明であって、補間部は、画素補間処理の対象の第１色の色成分画素と同色の色成分画素が、相関の高い方向である相関方向に存在せず、相関方向と直交する方向において、注目画素の位置をｐｏｓ１とし、注目画素を挟む位置をｐｏｓ０およびｐｏｓ２とし、位置ｐｏｓ０の第１色成分画素値をＰ１とし、位置ｐｏｓ２の第１色成分画素値をＰ２とし、位置ｐｏｓ０、ｐｏｓ１、ｐｏｓ２から導出される第１色以外の色成分画素値から導出されるラプラシアン成分量をＬａｐとし、ラプラシアン成分量の調整ゲインをｇａｉｎとしたとき、注目画素の第１色の色成分値Ｐｏｕｔを、
Ｐｏｕｔ＝（Ｐ１＋Ｐ２）／２−Ｌａｐ×ｇａｉｎ
により取得する。

これにより、この画素補間処理装置では、注目画素を挟む位置（ｐｏｓ０およびｐｏｓ２）の画素値の平均値から、ラプラシアン成分量のゲイン調整後の値を減算することで、注目画素の画素値（画素補間対象の第１色の色成分画素値）を取得することができる。この画素補間処理装置では、例えば、撮像部の光学特性（イメージセンサの光学特性や光学フィルタの光学特性）に応じて、ラプラシアン成分量の調整ゲインを調整することで、より高精度な画素補間処理を実現することができる。

なお、「位置ｐｏｓ０」に第１色成分画素が存在しなくてもよく、存在していない場合は、相関方向に存在する画素（第１色成分画素）から内分処理等により「位置ｐｏｓ０」の第１色成分画素（第１色成分画素値）を取得するようにしてもよい。

また、「位置ｐｏｓ２」に第１色成分画素が存在しなくてもよく、存在していない場合は、相関方向に存在する画素（第１色成分画素）から内分処理等により「位置ｐｏｓ２」の第１色成分画素（第１色成分画素値）を取得するようにしてもよい。

第８の発明は、第１から第７のいずれかの発明であって、補間部は、注目画素の第１の色成分の画素値を補間する場合であって、画素補間法決定部に決定された相関度の高い方向である相関方向において、注目画素を挟むように隣接する２つの第１の色成分の画素の画素値の平均値から、相関方向に配置されている複数の第２の色成分の画素値から算出したラプラシアン成分値を減算することで、注目画素の第１の色成分の画素値を補間する。

これにより、この画素補間処理装置では、相関方向の１画素単位での変化率を考慮した画素補間処理を行うことができる。その結果、この画素補間処理装置では、より高精度な画素補間処理を実現することができる。

なお、「第１の色成分」は、ＷＲＧＢのいずれかの色成分であり、「第２の色成分」は、第１の色成分以外の色成分である。また、「第２の色成分」としては、ＷＲＧＢやＹｅ―Ｃｙ−Ｇ−Ｍｇのいずれかの色成分だけでなく、他の色成分（例えば、Ｗ−Ｒ色成分や、Ｂ＋Ｇ色成分、Ｗ−Ｇ色成分、Ｗ−Ｂ色成分等）であってもよい。

第９の発明は、第８の発明であって、補間部は、ラプラシアン成分値をゲイン調整し、ゲイン調整後のラプラシアン成分を、注目画素を挟むように隣接する２つの第１の色成分の画素の画素値の平均値から減算することで、注目画素の第１の色成分の画素値を補間する。

この画素補間処理装置では、ラプラシアン成分を調整して画素補間処理を行うことができるので、例えば、撮像部の光学特性（イメージセンサや光学フィルタの光学特性）に応じて、ラプラシアン成分を調整することで、より高精度な画素補間処理を実現することができる。

第１０の発明は、第１から第９のいずれかの発明であって、グレー相関値算出部は、画像上における水平方向の相関度と垂直方向の相関度、および、第１斜め方向の相関度と第１斜め方向に直交する第２斜め方向の相関度を取得する。

カラー相関値算出部は、画像上における水平方向の相関度と垂直方向の相関度、および、第１斜め方向の相関度と第１斜め方向に直交する第２斜め方向の相関度を取得する。

これにより、この画素補間処理装置では、水平方向の相関度と垂直方向の相関度、および、第１斜め方向の相関度と第２斜め方向の相関度を用いて、画素補間処理を行うことができる。

なお、第１斜め方向は水平方向または垂直方向と４５度の角度をなす方向であることが好ましい。

第１１の発明は、第１から第１０のいずれかの発明であって、彩度評価値算出部は、注目画素を中心とする５画素×５画素の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。

グレー相関値算出部は、注目画素を中心とする５画素×５画素の画像領域において、相関度を取得する。

カラー相関値算出部は、注目画素を中心とする５画素×５画素の画像領域において、相関度を取得する。

これにより、この画素補間処理装置では、５画素×５画素の画像領域を用いて、彩度評価、相関度取得を行うことができる。

第１２の発明は、第１１の発明であって、彩度評価値算出部は、
注目画素を中心とする５画素×５画素の画像領域に含まれる第１色の色成分画素の画素値の平均値をｐ００＿ｃｏｌｏｒ１とし、
注目画素を中心とする５画素×５画素の画像領域に含まれる第２色の色成分画素の画素値の平均値をｐ０１＿ｃｏｌｏｒ２とし、
注目画素を中心とする５画素×５画素の画像領域に含まれる第３色の色成分画素の画素値の平均値をｐ１０＿ｃｏｌｏｒ３とし、
注目画素を中心とする５画素×５画素の画像領域に含まれる第４色の色成分画素の画素値の平均値をｐ１１＿ｃｏｌｏｒ４とし、
所定の色成分差分値を取得するための係数を、ｋ０１、ｋ０２、ｋ０３、ｋ０４、ｋ１１、ｋ１２、ｋ１３、ｋ１４とし、オフセット値を、ｏｆｆｓｅｔ０、ｏｆｆｓｅｔ１とすると、

に相当する処理を実行することで、２つの色成分差分値ｃｏｌｏｒ＿ｄｉｆｆ０およびｃｏｌｏｒ＿ｄｉｆｆ１を取得する。

そして、彩度評価値算出部は、
ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
＝ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ０）＋ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ１）
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
に相当する処理を実行することで、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを取得し、取得した平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを用いて、画像領域の前記彩度評価値を取得する。

これにより、この画素補間処理装置では、５画素×５画素の画像領域を用いて取得した平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒに基づいて、画像領域の彩度評価値を取得することができる。

そして、この画素補間処理装置では、上記係数ｋ０１〜ｋ０４、ｋ１１〜ｋ１４、および、オフセット値ｏｆｆｓｅｔ０、ｏｆｆｓｅｔ１を、４色フィルタの色と、取得したい色差成分とに基づいて、設定することで、４色フィルタの色がどのようなものであっても、色空間変換処理（色成分差分値取得処理）に相当する上記処理を実行し、所望の色成分差分値を取得することができる。

第１３の発明は、第１２の発明であって、彩度評価値算出部は、以下の処理を行う。
（１）注目画素を中心とする５画素×５画素の画像領域において、注目画素と、当該注目画素と垂直方向、水平方向、および、斜め方向に隣接する８つの画素との差に基づいて、全体評価値ｇｌ＿ｃｏｌｏｒを取得する。
（２）注目画素を中心とする５画素×５画素の画像領域において、垂直方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、垂直方向評価値ｖ＿ｃｏｌｏｒを取得する。
（３）注目画素を中心とする５画素×５画素の画像領域において、水平方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、水平方向評価値ｈ＿ｃｏｌｏｒを取得する。
（４）注目画素を中心とする５画素×５画素の画像領域において、第１斜め方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、第１斜め方向評価値ｄ１＿ｃｏｌｏｒを取得する。
（５）注目画素を中心とする５画素×５画素の画像領域において、第１斜め方向と直交する第２斜め方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、第２斜め方向評価値ｄ２＿ｃｏｌｏｒを取得する。

そして、彩度評価値算出部は、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ、全体評価値ｇｌ＿ｃｏｌｏｒ、垂直方向評価値ｖ＿ｃｏｌｏｒ、水平方向評価値ｈ＿ｃｏｌｏｒ、第１斜め方向評価値ｄ１＿ｃｏｌｏｒ、および、第２斜め方向評価値ｄ２＿ｃｏｌｏｒの少なくとも１つに基づいて、画像領域の彩度評価値を取得する。

これにより、この画素補間処理装置では、５画素×５画素の画像領域を用いて取得した、（１）平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ、（２）全体評価値ｇｌ＿ｃｏｌｏｒ、（３）垂直方向評価値ｖ＿ｃｏｌｏｒ、（４）水平方向評価値ｈ＿ｃｏｌｏｒ、（５）第１斜め方向評価値ｄ１＿ｃｏｌｏｒ、および、（６）第２斜め方向評価値ｄ２＿ｃｏｌｏｒの少なくとも１つに基づいて、画像領域の彩度評価値を取得することができる。

第１４の発明は、異なる４色のフィルタが所定のパターンで配列されている色フィルタを有し、被写体光から画像信号を取得する撮像部と、第１から第１３のいずれかの発明である画素補間処理装置と、を備える撮像装置である。

これにより、第１から第１３のいずれかの発明である画素補間処理装置を搭載した撮像装置を実現することができる。

第１５の発明は、異なる４色のフィルタであって、第１色フィルタ、第２色フィルタ、第３色フィルタおよび第４色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、第１色フィルタを介して取得される第１色画素信号と、第２色フィルタを介して取得される第２色画素信号と、第３色フィルタを介して取得される第３色画素信号と、第４色フィルタを介して取得される第４色画素信号と、から構成される画像信号に対して、画素補間処理を行う画素補間処理方法を、コンピュータに実行させるプログラムである。

画素補間処理方法は、信号補正ステップと、彩度評価値算出ステップと、グレー相関値算出ステップと、カラー相関値算出ステップと、画素補間法決定ステップと、補間ステップと、補正処理ステップと、を備える。

信号補正ステップは、第１色画素信号、第２色画素信号、第３色画素信号、および、第４色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の第１〜第４色画素信号から構成される画像信号を第１画像信号として出力する。

彩度評価値算出ステップは、信号補正ステップから出力される第１画像信号に基づいて、第１画像信号が形成する画像の所定の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。

グレー相関値算出ステップは、第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、画像上において直交する２方向の複数組の相関度をグレー相関度として取得する。

カラー相関値算出ステップは、第１〜第４色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、画像上において直交する２方向の複数組の相関度をカラー相関度として取得する。

画素補間法決定ステップは、彩度評価値算出ステップにより取得された彩度評価値と、グレー相関値算出ステップにより取得されたグレー相関度と、カラー相関値算出ステップにより取得されたカラー相関度とに基づいて、注目画素の画素補間方法を決定する。

補間ステップは、画素補間法決定ステップにより決定された画素補間方法により、注目画素に対して、画素補間処理を実行することで、画素補間処理後の画像信号である第２画像信号を取得する。

補正処理ステップは、補間ステップにより取得された第２画像信号に対して、色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する。

これにより、第１の発明と同様の効果を奏する画素補間処理方法をコンピュータに実行させるプログラムを実現することができる。

第１６の発明は、異なる４色のフィルタであって、第１色フィルタ、第２色フィルタ、第３色フィルタおよび第４色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、第１色フィルタを介して取得される第１色画素信号と、第２色フィルタを介して取得される第２色画素信号と、第３色フィルタを介して取得される第３色画素信号と、第４色フィルタを介して取得される第４色画素信号と、から構成される画像信号に対して、画素補間処理を行う集積回路である。

この集積回路は、信号補正部と、彩度評価値算出部と、グレー相関値算出部と、カラー相関値算出部と、画素補間法決定部と、補間部と、補正処理部と、を備える。

信号補正部は、第１色画素信号、第２色画素信号、第３色画素信号、および、第４色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の第１〜第４色画素信号から構成される画像信号を第１画像信号として出力する。

彩度評価値算出部は、信号補正部から出力される第１画像信号に基づいて、第１画像信号が形成する画像の所定の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。

グレー相関値算出部は、第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、画像上において直交する２方向の複数組の相関度をグレー相関度として取得する。

カラー相関値算出部は、第１〜第４色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、画像上において直交する２方向の複数組の相関度をカラー相関度として取得する。

画素補間法決定部は、彩度評価値算出部により取得された彩度評価値と、グレー相関値算出部により取得されたグレー相関度と、カラー相関値算出部により取得されたカラー相関度とに基づいて、注目画素の画素補間方法を決定する。

補間部は、画素補間法決定部により決定された画素補間方法により、注目画素に対して、画素補間処理を実行することで、画素補間処理後の画像信号である第２画像信号を取得する。

補正処理部は、補間部により取得された第２画像信号に対して、色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する。

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

本発明によれば、４色フィルタを有する単板式の撮像素子により取得された画像信号に対して、４色フィルタの配列がどのようなものであっても、適切に画素補間処理を行うことができる画素補間処理装置、撮像装置、プログラムおよび集積回路を実現することができる。

第１実施形態に係る撮像装置１０００の概略構成図。 第１実施形態に係る補正処理部７の概略構成図。 第１実施形態に係る色空間処理部７２の概略構成図。 第１実施形態に係る色空間処理部７２Ａの概略構成図。 撮像部Ｃ１に設置される任意の４色配列色フィルタＣ１１における第１成分用色フィルタ、第２成分用色フィルタ、第３成分用色フィルタおよび第４成分用色フィルタの配列パターンの一例を示す図。 垂直方向評価値の取得処理を説明するための図。 水平方向評価値の取得処理を説明するための図。 第１斜め方向評価値の取得処理を説明するための図。 第２斜め方向評価値の取得処理を説明するための図。 彩度評価値Ｌと彩度評価係数ＫＬとの関係を示す図。 カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒの算出処理を説明するための図。 カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒの算出処理を説明するための図。 カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒの算出処理を説明するための図。 カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒの算出処理を説明するための図。 グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理を説明するための図。 グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理を説明するための図。 グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図。 グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理を説明するための図。 彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により選択される相関判定方法および画素補間方法の種別を示す図。 判定用相関値Ｃｖ，Ｃｈの決定方法についてのフローチャート。 判定用相関値Ｃｄ１，Ｃｄ２の決定方法についてのフローチャート。 判定用相関値Ｃｖ，Ｃｈから相関方向を決定するための関係図。 判定用相関値Ｃｄ１，Ｃｄ２から相関方向を決定するための関係図。 中心画素がＹｅ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＹｅ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＹｅ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＹｅ画素の場合の垂直方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＹｅ画素の場合の垂直方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＹｅ画素の場合の垂直方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＹｅ画素の場合の第１斜め方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＹｅ画素の場合の第１斜め方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＹｅ画素の場合の第１斜め方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＹｅ画素の場合の第２斜め方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＹｅ画素の場合の第２斜め方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＹｅ画素の場合の第２斜め方向画素補間（カラー画像領域用）を説明するための図。 第２実施形態に係る撮像装置２０００の概略構成図。 グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理を説明するための図。 グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理を説明するための図。 グレー画像領域用水平方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図。 グレー画像領域用水平方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図。

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

＜１．１：撮像装置の構成＞
図１は、第１実施形態に係る撮像装置１０００の概略構成図である。

撮像装置１０００は、図１に示すように、被写体光を光電変換により画像信号として取得する撮像部Ｃ１と、撮像部Ｃ１により取得された画像信号に対して所定の信号処理を行う信号処理部Ｃ２と、信号処理部Ｃ２により所定の信号処理が施された画像信号に対して画素補間処理を行う画素補間処理部１００（画素補間処理装置）と、を備える。

撮像部Ｃ１は、光学系と、任意の４色配列色フィルタと、撮像素子とを備える。

なお、説明便宜のために、「任意の４色配列色フィルタ」が、Ｙｅ（黄色）−Ｃｙ（シアン）−Ｇ（緑）−Ｍｇ（マゼンタ）の４色配列色フィルタである場合を一例として、以下、説明する。

光学系は、１または複数のレンズからなり、被写体光を集光し、被写体光を撮像素子面に結像させる。なお、光学系は、露光調整、フォーカス調整機能等を有するものであってもよい。

Ｙｅ−Ｃｙ−Ｇ−Ｍｇ配列色フィルタは、Ｙｅ成分用色フィルタ、Ｃｙ成分用色フィルタ、Ｇ成分用色フィルタおよびＭｇ成分用色フィルタの４つ色成分フィルタを含み、所定のパターンにより構成されている。Ｙｅ−Ｃｙ−Ｇ−Ｍｇ配列色フィルタは、撮像素子の撮像素子面上に配置される。

撮像素子は、複数の画素を有しており、光学系で集光され、Ｙｅ−Ｃｙ−Ｇ−Ｍｇ配列色フィルタを介して、撮像素子面上に結像された被写体光を光電変換により画像信号（電気信号）に変換する。撮像素子は、Ｙｅ成分取得用の画素において、Ｙｅ成分画素信号を取得し、Ｃｙ成分取得用の画素において、Ｃｙ成分画素信号を取得する。また、撮像素子は、Ｇ成分取得用の画素において、Ｇ成分画素信号を取得し、Ｍｇ成分取得用の画素において、Ｍｇ成分画素信号を取得する。撮像素子は、各画素に取得した画素信号（Ｙｅ成分画素信号、Ｃｙ成分画素信号、Ｇ成分画素信号、および、Ｍｇ成分画素信号）を、画像信号として信号処理部Ｃ２に出力する。

信号処理部Ｃ２は、撮像部Ｃ１から出力される画像信号を入力し、入力された画像信号に対して、所定の信号処理（例えば、ゲイン調整処理、ホワイトバランス調整処理、ガンマ調整処理等）を行う。信号処理部Ｃ２は、所定の信号処理を施した画像信号を、画像信号Ｄ＿ｒａｗとして、画素補間処理部１００に出力する。

画素補間処理部１００は、図１に示すように、信号補正部１と、カラー相関値算出部２と、彩度評価値算出部３と、グレー相関値算出部４と、画素補間法決定部５と、補間部６と、補正処理部７と、を備える。

信号補正部１は、信号処理部Ｃ２からの画像信号Ｄ＿ｒａｗを入力し、入力された画像信号Ｄ＿ｒａｗに対して、色成分画素信号ごとに、色フィルタの種別に応じた信号レベルの補正処理を行う。そして、当該補正処理後の画像信号を、画像信号Ｄ１として、彩度評価値算出部３と、グレー相関値算出部４と、補間部６のグレー画像用補間部６２とに出力する。

カラー相関値算出部２は、信号処理部Ｃ２から出力される画像信号Ｄ＿ｒａｗ（画像信号Ｄ＿ｒａｗにより形成される１枚の画像（１フレーム画像）を画像Ｄ＿ｒａｗと表現する。以下、同様。）を入力する。カラー相関値算出部２は、画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の４つのカラー相関値を算出する（詳細については後述する）。
（Ａ１）カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒ
（Ａ２）カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒ
（Ａ３）カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒ
（Ａ４）カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒ
カラー相関値算出部２は、画像Ｄ＿ｒａｗ上の画素ごとに取得した上記４つのカラー相関値を画素補間法決定部５に出力する。なお、上記４つのカラー相関値を総称して、「Ｃｘ＿ｃｏｌｏｒ」と表記する。

彩度評価値算出部３は、信号補正部１から出力される画像信号Ｄ１を入力する。彩度評価値算出部３は、画像Ｄ１上の注目画素（処理対象の画素）について、彩度評価値Ｌを算出し、さらに、彩度評価値Ｌを所定の関数により正規化した彩度評価係数ＫＬ（０≦ＫＬ≦１）を取得する（詳細については後述する）。そして、彩度評価値算出部３は、画像Ｄ１上の画素ごとに取得した彩度評価係数ＫＬを画素補間法決定部５に出力する。

グレー相関値算出部４は、信号補正部１から出力される画像信号Ｄ１を入力する。グレー相関値算出部４は、画像Ｄ１上の注目画素（処理対象の画素）について、以下の４つのグレー相関値を算出する（詳細については後述する）。
（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ
（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ
（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ
（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ
グレー相関値算出部４は、画像Ｄ1上の画素ごとに取得した上記４つのグレー相関値を画素補間法決定部５に出力する。

画素補間法決定部５は、彩度評価値算出部３から出力される画素ごとの彩度評価係数ＫＬと、カラー相関値算出部２から出力される画素ごとのカラー相関値Ｃｘ＿ｃｏｌｏｒと、グレー相関値算出部４から出力される画素ごとのグレー相関値Ｃｘ＿ｇｒａｙとを入力する。画素補間法決定部５は、画素ごとに、彩度評価係数ＫＬと、カラー相関値Ｃｘ＿ｃｏｌｏｒと、グレー相関値Ｃｘ＿ｇｒａｙとに基づいて、相関方向と、画素補間方法とを決定する（詳細については後述する）。そして、画素補間法決定部５は、画素ごとに決定した、相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄを、補間部６に出力する。また、画素補間法決定部５は、画素ごとに決定した相関方向に関する情報を補正処理部７に出力する。

補間部６は、信号処理部Ｃ２から出力される画像信号Ｄ＿ｒａｗと、信号補正部１から出力される画像信号Ｄ１と、画素補間法決定部５から出力される画素ごとに決定された相関方向および画素補間方法に関する情報と、を入力する。補間部６は、画像Ｄ＿ｒａｗの画素ごとに、画素補間法決定部５により決定された相関方向および画素補間方法により、全ての画素が４色の成分（本実施形態では、Ｙｅ成分、Ｃｙ成分、Ｇ成分、Ｍｇ成分）を持つように、画素補間処理を行う（詳細については後述する）。そして、補間部６は、画素補間処理後の画像信号（全ての画素が、Ｙｅ成分、Ｃｙ成分、Ｇ成分、Ｍｇ成分を有する画像信号）を、画像信号Ｄ２として、補正処理部７に出力する。

補間部６は、例えば、図１に示すように、カラー画像用補間部６１と、グレー画像用補間部６２と、信号逆補正部６３と、選択部６４とを備える。なお、図１では、図示を簡略化するため、補間部６の各機能部において、入出力を省略している部分がある。

カラー画像用補間部６１は、信号処理部Ｃ２から出力される画像信号Ｄ＿ｒａｗを入力する。カラー画像用補間部６１は、画像信号Ｄ＿ｒａｗに対して、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄに基づいて、カラー画像用補間処理を実行し、当該カラー画像用補間処理実行後の画像信号を選択部６４に出力する。

グレー画像用補間部６２は、信号補正部１から出力される画像信号Ｄ１を入力する。グレー画像用補間部６２は、画像信号Ｄ１に対して、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄに基づいて、グレー画像用補間処理を実行し、当該グレー画像用補間処理実行後の画像信号を信号逆補正部６３に出力する。

信号逆補正部６３は、グレー画像用補間部６２から出力される画像信号を入力する。信号逆補正部６３は、グレー画像用補間部６２から出力される画像信号に対して、信号補正部１で実行された補正処理と逆の補正処理を実行する。つまり、信号逆補正部６３は、グレー画像用補間部６２から出力される画像信号の信号レベルが、信号補正部１に入力される信号レベルと同等となるように、信号補正部１で実行された補正処理と逆の補正処理（逆補正処理）を実行する。そして、信号逆補正部６３は、当該逆補正処理後の画像信号を、選択部６４に出力する。

選択部６４は、カラー画像用補間部６１から出力される画像信号と、信号逆補正部６３から出力される画像信号とを入力する。選択部６４は、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄに基づいて、カラー画像用補間部６１から出力される画像信号と、信号逆補正部６３から出力される画像信号とのいずれか一方の画像信号を選択し、選択した画像信号を、画像信号Ｄ２として、補正処理部７に出力する。

補正処理部７は、補間部６から出力される画像信号Ｄ２と、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒとを入力する。補正処理部７は、画像信号Ｄ２に対して補正処理、変換処理等を実行し、ＲＧＢ色空間の信号である画像信号Ｄｏｕｔを取得する。

補正処理部７は、例えば、図２に示すように、第１マトリックス変換部７１と、色空間処理部７２と、彩度取得部７３と、色差補正部７４と、第２マトリックス変換部７５とを備える。

第１マトリックス変換部７１は、補間部６の選択部６４から出力される画像信号Ｄ２を入力する。第１マトリックス変換部７１は、画像信号Ｄ２に対して、マトリックス変換を行い、ＲＧＢ色空間の信号である画像信号Ｄ３を取得する。第１マトリックス変換部７１は、取得した画像信号Ｄ３を色空間処理部７２に出力する。なお、第１マトリックス変換部７１に入力される画像信号Ｄ２に、Ｗ成分画素信号が含まれる場合、第１マトリックス変換部７１は、当該Ｗ成分画素信号を画像信号Ｄ３に含めて出力する。

また、第１マトリックス変換部７１は、画像信号Ｄ３に含まれる画素信号のうち、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号を、彩度取得部７３に出力する。

色空間処理部７２は、第１マトリックス変換部７１から出力される画像信号Ｄ３と、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒとを入力する。色空間処理部７２は、相関方向に関する情報Ｃｏ＿Ｄｉｒに基づいて、画像信号Ｄ３からＹ成分画素信号（輝度信号）を取得する。また、色空間処理部７２は、画像信号Ｄ３のＲ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号と、上記Ｙ成分画素信号とから、Ｃｂ成分画素信号およびＣｒ成分画素信号を取得する。そして、色空間処理部７２は、取得したＹ成分画素信号、Ｃｂ成分画素信号、および、Ｃｒ成分画素信号から構成される画像信号（ＹＣｂＣｒ色空間の信号）を、画像信号Ｄ４として、出力する。

色空間処理部７２は、例えば、図３Ａに示すように、輝度信号取得部７２１と、選択信号生成部７２２と、輝度信号出力部７２３と、減算器７２４、７２６と、ゲイン調整部７２５、７２７とを備える。

輝度信号取得部７２１は、第１マトリックス変換部７１から出力されるＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号を入力とする。輝度信号取得部７２１は、入力されたＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号から輝度成分画素信号Ｙ０を取得し、輝度信号出力部７２３に出力する。

選択信号生成部７２２は、画素補間法決定部５から出力される画素ごとの相関方向に関する情報Ｃｏ＿Ｄｉｒを入力とし、当該相関方向に関する情報Ｃｏ＿Ｄｉｒに基づいて、選択信号を生成する。そして、選択信号生成部７２２は、生成した選択信号を輝度信号出力部７２３に出力する。

輝度信号出力部７２３は、輝度信号取得部７２１から出力された輝度成分画素信号Ｙ０と、第１マトリックス変換部７１から出力されたＷ成分画素信号Ｗと、選択信号生成部７２２から出力される選択信号とを入力する。輝度信号出力部７２３は、選択信号に従って、輝度成分画素信号Ｙ０およびＷ成分画素信号Ｗから輝度成分画素信号Ｙ（Ｙ成分画素信号）を生成して出力する。

減算器７２４は、輝度信号出力部７２３から出力された輝度成分画素信号Ｙ（Ｙ成分画素信号）と、第１マトリックス変換部７１から出力されたＢ成分画素信号とを入力とし、減算処理を行い、Ｂ−Ｙ信号（＝Ｂ成分画素信号−輝度成分画素信号Ｙ）を取得し、取得したＢ−Ｙ信号をゲイン調整部７２５に出力する。

ゲイン調整部７２５は、減算器７２４から出力されたＢ−Ｙ信号に対して所定のゲイン調整を行うことでＣｂ成分画素信号を取得し、取得したＣｂ成分画素信号を出力する。

減算器７２６は、輝度信号出力部７２３から出力された輝度成分画素信号Ｙ（Ｙ成分画素信号）と、第１マトリックス変換部７１から出力されたＲ成分信号とを入力とし、減算処理を行い、Ｒ−Ｙ信号（＝Ｒ成分画素信号−輝度成分画素信号Ｙ）を取得し、取得したＲ−Ｙ信号をゲイン調整部７２７に出力する。

ゲイン調整部７２７は、減算器７２６から出力されたＲ−Ｙ信号に対して所定のゲイン調整を行うことでＣｒ成分画素信号を取得し、取得したＣｒ成分画素信号を出力する。

つまり、色空間処理部７２は、取得したＹ成分画素信号、Ｃｂ成分画素信号、および、Ｃｒ成分画素信号から構成される画像信号（ＹＣｂＣｒ色空間の信号）を、画像信号Ｄ４として、出力する。なお、色空間処理部７２は、画像信号Ｄ４のうち、Ｙ成分画素信号を、第２マトリックス変換部７５に出力し、Ｃｂ成分画素信号およびＣｒ画素成分信号を色差補正部７４に出力する。

色空間処理部７２は、例えば、図３Ｂに示すように、色空間変換部７２１Ａと、選択信号生成部７２２と、輝度信号出力部７２３とを備えるものであってもよい。

色空間変換部７２１Ａは、第１マトリックス変換部７１から出力されるＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号を入力とする。色空間変換部７２１Ａは、入力されたＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号に対して、ＲＧＢ−ＹＣｂＣｒ色空間変換を行い、輝度成分画素信号Ｙ０、Ｃｂ成分画素信号、および、Ｃｒ成分画素信号を取得する。そして、色空間変換部７２１Ａは、輝度成分画素信号Ｙ０を輝度信号出力部７２３に出力し、Ｃｂ成分画素信号、および、Ｃｒ成分画素信号を色差補正部７４に出力する。

選択信号生成部７２２および輝度信号出力部７２３は、上記で説明したものと同様である。

色空間処理部７２は、取得したＹ成分画素信号、Ｃｂ成分画素信号、および、Ｃｒ成分画素信号から構成される画像信号（ＹＣｂＣｒ色空間の信号）を、画像信号Ｄ４として、出力する。なお、色空間処理部７２は、画像信号Ｄ４のうち、Ｙ成分画素信号を、第２マトリックス変換部７５に出力し、Ｃｂ成分画素信号およびＣｒ画素成分信号を色差補正部７４に出力する。

彩度取得部７３は、第１マトリックス変換部７１から出力される画像信号Ｄ３のうち、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号を入力する。彩度取得部７３は、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号から、彩度値Ｓを取得する。そして、彩度取得部７３は、取得した彩度値Ｓ（彩度信号Ｓ）を色差補正部７４に出力する。

色差補正部７４は、色空間処理部７２から出力されるＣｂ成分画素信号およびＣｒ成分画素信号と、彩度取得部７３から出力される彩度値Ｓ（彩度信号Ｓ）とを入力する。色差補正部７４は、彩度値Ｓに基づいて、色空間処理部７２から出力されるＣｂ成分画素信号およびＣｒ成分画素信号に対して、色差成分補正処理を実行し、色差成分補正処理後のＣｂ成分画素信号およびＣｒ成分画素信号を、第２マトリックス変換部７５に出力する。

第２マトリックス変換部７５は、色空間処理部７２から出力されるＹ成分画素信号と、色差補正部７４から出力される、色差成分補正処理後のＣｂ成分画素信号およびＣｒ成分画素信号とを入力する。第２マトリックス変換部７５は、入力された画素信号に対して、ＹＣｂＣｒ色空間をＲＧＢ色空間に変換する処理を行い、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号を取得する。第２マトリックス変換部７５は、取得した、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号から構成される画像信号を、画像信号Ｄｏｕｔとして出力する。

＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１０００の動作について、以下、説明する。

図４は、撮像部Ｃ１に設置される任意の４色配列色フィルタＣ１１における第１成分用色フィルタ、第２成分用色フィルタ、第３成分用色フィルタおよび第４成分用色フィルタの配列パターンの一例を示す図である。図４に示すように、４色配列色フィルタでは、ある一列において、第１成分用色フィルタ、第２成分用色フィルタ、第１成分用色フィルタ、第２成分用色フィルタ、・・・と、第１成分用色フィルタと第２成分用色フィルタとが交互に配列されていると、その次の一列において、第３成分用色フィルタ、第４成分用色フィルタ、第３成分用色フィルタ、第４成分用色フィルタ、・・・と、第３成分用色フィルタと第４成分用色フィルタとが交互に配列されている。

≪４色画素配列の画素の表記方法≫
ここで、４色配列色フィルタの画素の表記方法について説明する。まず、５×５のマトリクス領域の画素を図４の左上領域ＡＲ１のように表す。図４の左上領域ＡＲ１における記号Ｐは、画素がいずれの色成分用画素であるかを考慮しない表記である（図４に示す領域ＡＲ２〜ＡＲ４についても同様）。これに対して、各画素の色成分を区別する場合、画素を示す円の中に、色を示すアルファベットを記載した記号により表記する。例えば、Ｙｅ（黄色）−Ｃｙ（シアン）−Ｇ（緑）−Ｍｇ（マゼンタ）の４色配列色フィルタである場合、黄色成分用画素を記号Ｙと画素位置を示す２桁の数字で示し、シアン色成分用画素を記号Ｃと画素位置を示す２桁の数字で示し、緑色成分用画素を記号Ｇと画素位置を示す２桁の数字で示し、マゼンタ色成分用画素を記号Ｍと画素位置を示す２桁の数字で示す。

記号Ｐ，Ｙ，Ｃ，Ｇ，Ｍの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。なお、他の図面における画素配列の表記方法も上記と同様である。また、実施形態の説明や各数式において、記号Ｐ，Ｙ，Ｃ，Ｇ，Ｍは、画素値を表す場合もある。たとえば、記号Ｐ１１は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。

被写体からの光は、撮像部Ｃ１の光学系（不図示）で集光され、撮像素子面上に配置されたＹｅ−Ｃｙ−Ｇ−Ｍｇ配列色フィルタＣ１１を介して、撮像部Ｃ１の撮像素子（不図示）に入射される。なお、Ｙｅ−Ｃｙ−Ｇ−Ｍｇ配列色フィルタＣ１１は、図４に示す配列パターンであるものとして、以下、説明する。

撮像部Ｃ１の撮像素子では、画素ごとに、入射された被写体光は、光電変換により電気信号（画素信号）に変換される。つまり、Ｙｅ色成分用画素ではＹｅ色成分画素値が取得され、Ｃｙ色成分用画素ではＣｙ色成分画素値が取得され、Ｇ色成分用画素ではＧ色成分画素値が取得され、Ｍｇ色成分用画素ではＭｇ色成分画素値が取得される。そして、上記のようにして取得された画像信号（画素ごとにＹｅ色成分画素値、Ｃｙ色成分画素値、Ｇ色成分画素値、Ｍｇ色成分画素値のいずれか１つの画素値を有する画像信号）は、撮像部Ｃ１から信号処理部Ｃ２に出力される。

信号処理部Ｃ２では、撮像部Ｃ１から取得された画像信号に対して、所定の信号処理（例えば、ゲイン調整処理、ホワイトバランス調整処理、ガンマ調整処理等）が実行される。そして、所定の信号処理が実行された画像信号（画像信号Ｄ＿ｒａｗ）は、画素補間処理部１００の信号補正部１、カラー相関値算出部２、および、補間部６のカラー画像用補間部６１に出力される。

（１．２．１：信号補正処理）
信号補正部１では、入力された画像信号Ｄ＿ｒａｗに対して、色成分画素信号ごとに、色フィルタの種別に応じた信号レベルの補正処理が実行される。具体的には、画像信号Ｄ＿ｒａｗを構成する、Ｙｅ成分画素信号、Ｃｙ成分画素信号、Ｇ成分画素信号、および、Ｍｇ成分画素信号を、それぞれ、Ｙｅｉｎ、Ｃｙｉｎ、Ｇｉｎ、および、Ｍｇｉｎとし、Ｙｅ色フィルタ用補正ゲインをＧａｉｎ＿ｓｉｇ＿Ｙｅとし、Ｃｙ色フィルタ用補正ゲインをＧａｉｎ＿ｓｉｇ＿Ｃｙとし、Ｇ色フィルタ用補正ゲインをＧａｉｎ＿ｓｉｇ＿Ｇとし、Ｍｇ色フィルタ用補正ゲインをＧａｉｎ＿ｓｉｇ＿Ｍｇとすると、信号補正部１は、
Ｙｅｏｕｔ＝Ｙｅｉｎ×Ｇａｉｎ＿ｓｉｇ＿Ｙｅ
Ｃｙｏｕｔ＝Ｃｙｉｎ×Ｇａｉｎ＿ｓｉｇ＿Ｃｙ
Ｇｏｕｔ＝Ｇｉｎ×Ｇａｉｎ＿ｓｉｇ＿Ｇ
Ｍｇｏｕｔ＝Ｍｇｉｎ×Ｇａｉｎ＿ｓｉｇ＿Ｍｇ
に相当する処理を実行する。

なお、各色フィルタ用補正ゲイン（上記では、Ｇａｉｎ＿ｓｉｇ＿Ｙｅ、Ｇａｉｎ＿ｓｉｇ＿Ｃｙ、Ｇａｉｎ＿ｓｉｇ＿Ｇ、Ｇａｉｎ＿ｓｉｇ＿Ｍｇ）は、撮像部Ｃ１に設置された色フィルタの種別に決定されるゲインである。例えば、Ｗ１００％の無彩色の光を撮像部Ｃ１の撮像素子で受光した場合、当該Ｗ１００％の無彩色の光が、各色フィルタを通過することにより、同一レベルの電気信号（画素信号）に変換されないことがある。これは、色フィルタの種類により、エネルギー損失の程度や、所定の色成分を多く含む光に対する撮像素子の感度が異なるためである。このような光が色フィルタを通過することにより発生する光電変換後の信号のレベル差を吸収させるように、各色フィルタ用補正ゲイン（上記では、Ｇａｉｎ＿ｓｉｇ＿Ｙｅ、Ｇａｉｎ＿ｓｉｇ＿Ｃｙ、Ｇａｉｎ＿ｓｉｇ＿Ｇ、Ｇａｉｎ＿ｓｉｇ＿Ｍｇ）が設定される。

つまり、上記信号補正処理により、光が色フィルタを通過することにより発生する光電変換後の信号のレベル差を吸収することができ、その結果、信号補正処理後の各画素信号は、適切な輝度情報を有する信号となっている。したがって、信号補正処理後の各画素信号を用いて、グレー画像用補間処理や、グレー相関値算出処理や、彩度評価値算出処理を実行することで、より精度を高くすることができる。

このように、信号補正部１では、上記処理が実行されることにより、信号補正処理後のＹｅ成分画素信号Ｙｏｕｔ、信号補正処理後のＣｙ成分画素信号Ｃｙｏｕｔ、信号補正処理後のＧ成分画素信号Ｇｏｕｔ、および、信号補正処理後のＭｇ成分画素信号Ｍｇｏｕｔにより構成される画像信号Ｄ１が取得される。

そして、信号補正部１により取得された画像信号Ｄ１は、補間部６のグレー画像用補間部６２、彩度評価値算出部３、および、グレー相関値算出部４に出力される。

彩度評価値算出部３では、信号補正部１から出力された画像信号Ｄ１ (画像Ｄ１)から、画素ごとに、彩度評価値が算出され、さらに、彩度評価値Ｌを所定の関数により正規化した彩度評価係数ＫＬ（０≦ＫＬ≦１）が取得される。これについて、以下、詳細に説明する。

（１．２．２：彩度評価値算出処理）
彩度評価値算出部３は、入力された画像Ｄ１において、注目画素を中心とする５画素×５画素の画像領域（以下、「マトリクス領域」という。）を設定する。彩度評価値算出部３は、設定したマトリクス領域において、色成分のばらつき状況を分析することで、当該マトリクス領域の彩度評価値（注目画素の彩度評価値）を算出する。

具体的には、彩度評価値算出部３は、注目画素を含むマトリクス領域において、以下の（１）〜（６）の６つの評価値を算出し、算出した６つの評価値の中の最小値を彩度評価値Ｌとする。
（１）平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
（２）全体評価値ｇｌ＿ｃｏｌｏｒ
（３）垂直方向評価値ｖ＿ｃｏｌｏｒ
（４）水平方向評価値ｈ＿ｃｏｌｏｒ
（５）第１斜め方向評価値ｄ１＿ｃｏｌｏｒ
（６）第２斜め方向評価値ｄ２＿ｃｏｌｏｒ
上記（１）〜（６）の評価値の算出処理について、以下、説明する。

≪（１）平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ≫
まず、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒの算出処理について、図４を用いて、説明する。

彩度評価値算出部３は、マトリクス領域を４つのパターンに分類する。具体的には、彩度評価値算出部３は、中心画素が第１色成分用画素の場合のマトリクス領域、中心画素が第２色成分用画素の場合のマトリクス領域、中心画素が第３色成分用画素の場合のマトリクス領域、および、中心画素が第４色成分用画素の場合のマトリクス領域、の合計４つのパターンに分類する。

図４において、画素Ｐ００を第１色成分用画素とし、画素Ｐ０１を第２色成分用画素とし、画素Ｐ１０を第３色成分用画素とし、画素Ｐ１１を第４色成分用画素とすると、図４の５画素×５画素のマトリックス領域ＡＲ１〜ＡＲ４は、以下のように分類される。
（Ａ）図４の５画素×５画素のマトリックス領域ＡＲ１は、中心画素が第１色成分用画素（画素Ｐ００と同色の画素Ｐ２２）の場合のマトリクス領域に分類される。
（Ｂ）図４の５画素×５画素のマトリックス領域ＡＲ２は、中心画素が第２色成分用画素（画素Ｐ０１と同色の画素Ｐ２７）の場合のマトリクス領域に分類される。
（Ｃ）図４の５画素×５画素のマトリックス領域ＡＲ３は、中心画素が第３色成分用画素（画素Ｐ１０と同色の画素Ｐ７２）の場合のマトリクス領域に分類される。
（Ｄ）図４の５画素×５画素のマトリックス領域ＡＲ４は、中心画素が第４色成分用画素（画素Ｐ１１と同色の画素Ｐ７７）の場合のマトリクス領域に分類される。

彩度評価値算出部３は、上記のように分類した５画素×５画素のマトリックス領域について、以下のように、第１色成分用画素の画素値の平均値ｐ００＿ｃｏｌｏｒ１と、第２色成分用画素の画素値の平均値ｐ０１＿ｃｏｌｏｒ２と、第３色成分用画素の画素値の平均値ｐ１０＿ｃｏｌｏｒ３と、第４色成分用画素の画素値の平均値ｐ１１＿ｃｏｌｏｒ４と、を算出する。
（Ａ）５画素×５画素の領域の中心画素が第１色画素である場合、
ｐ００＿ｃｏｌｏｒ１＝Ｐ２２
ｐ０１＿ｃｏｌｏｒ２＝（Ｐ２１＋Ｐ２３）／２
ｐ１０＿ｃｏｌｏｒ３＝（Ｐ１２＋Ｐ３２）／２
ｐ１１＿ｃｏｌｏｒ４＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３）／４
（Ｂ）５画素×５画素の領域の中心画素が第２色画素である場合、
ｐ００＿ｃｏｌｏｒ１＝（Ｐ２１＋Ｐ２３）／２
ｐ０１＿ｃｏｌｏｒ２＝Ｐ２２
ｐ１０＿ｃｏｌｏｒ３＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３）／４
ｐ１１＿ｃｏｌｏｒ４＝（Ｐ１２＋Ｐ３２）／２
（Ｃ）５画素×５画素の領域の中心画素が第３色画素である場合、
ｐ００＿ｃｏｌｏｒ１＝（Ｐ１２＋Ｐ３２）／２
ｐ０１＿ｃｏｌｏｒ２＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３）／４
ｐ１０＿ｃｏｌｏｒ３＝Ｐ２２
ｐ１１＿ｃｏｌｏｒ４＝（Ｐ２１＋Ｐ２３）／２
（Ｄ）５画素×５画素の領域の中心画素が第４色画素である場合、
ｐ００＿ｃｏｌｏｒ１＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３）／４
ｐ０１＿ｃｏｌｏｒ２＝（Ｐ１２＋Ｐ３２）／２
ｐ１０＿ｃｏｌｏｒ３＝（Ｐ２１＋Ｐ２３）／２
ｐ１１＿ｃｏｌｏｒ４＝Ｐ２２
そして、彩度評価値算出部３は、

に相当する処理を実行することで、２つの色成分差分値ｃｏｌｏｒ＿ｄｉｆｆ０およびｃｏｌｏｒ＿ｄｉｆｆ１を取得する。

なお、上記数式において、係数ｋ０１、ｋ０２、ｋ０３、ｋ０４、ｋ１１、ｋ１２、ｋ１３、および、ｋ１４は、取得しようとする色成分差分値に合わせて、設定される係数である。また、変数ｏｆｆｓｅｔ０およびｏｆｆｓｅｔ１は、オフセットを設定するための数値（オフセット値）である。

彩度評価値算出部３は、上記係数ｋ０１〜ｋ０４、ｋ１１〜ｋ１４を、４色フィルタの色と、取得したい色差成分とに基づいて、設定することで、４色フィルタの色がどのようなものであっても、色空間変換処理（色成分差分値取得処理）に相当する上記処理を行うことで、所望の色成分差分値を取得することができる。

例えば、４色フィルタがＷＲＧＢ配列色フィルタであり、第１色画素がＧ成分用画素であり、第２色画素がＲ成分用画素であり、第３色画素がＢ成分用画素であり、第４色画素がＷ成分用画素である場合、
ｋ０１＝１
ｋ０２＝−１
ｋ０３＝０
ｋ０４＝０
ｋ１１＝１
ｋ１２＝０
ｋ１３＝−１
ｋ１４＝０
ｏｆｆｓｅｔ０＝ｏｆｆｓｅｔ１＝０
と設定することで、上記（数式）に相当する処理は、
ｃｏｌｏｒ＿ｄｉｆｆ０＝ｐ００＿ｃｏｌｏｒ１−ｐ０１＿ｃｏｌｏｒ２
ｃｏｌｏｒ＿ｄｉｆｆ１＝ｐ００＿ｃｏｌｏｒ１−ｐ１０＿ｃｏｌｏｒ３
に相当する処理となる。

つまり、この場合、彩度評価値算出部３では、上記に相当する処理を実行することで、（Ｇ−Ｒ）成分であるｃｏｌｏｒ＿ｄｉｆｆ０と、（Ｇ−Ｂ）成分であるｃｏｌｏｒ＿ｄｉｆｆ１を取得することができる。

彩度評価値算出部３は、上記のようにして取得した色成分差分値ｃｏｌｏｒ＿ｄｉｆｆ０およびｃｏｌｏｒ＿ｄｉｆｆ１を用いて、
ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
＝ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ０）＋ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ１）
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
に相当する処理を実行することで、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを算出する。

≪（２）全体評価値ｇｌ＿ｃｏｌｏｒ≫
次に、全体評価値ｇｌ＿ｃｏｌｏｒの算出処理について、説明する。

彩度評価値算出部３は、中心画素の色成分（中心画素上のカラーフィルタの色）に関係なく、以下の数式に相当する処理を行うことで、全体評価値ｇｌ＿ｃｏｌｏｒを取得する。

ｇｌ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ１２−Ｐ２２）
＋ａｂｓ（Ｐ１３−Ｐ２２）＋ａｂｓ（Ｐ２１−Ｐ２２）
＋ａｂｓ（Ｐ２３−Ｐ２２）＋ａｂｓ（Ｐ３１−Ｐ２２）
＋ａｂｓ（Ｐ３２−Ｐ２２）＋ａｂｓ（Ｐ３３−Ｐ２２））／８

≪（３）垂直方向評価値ｖ＿ｃｏｌｏｒ≫
次に、垂直方向評価値ｖ＿ｃｏｌｏｒの算出処理について、図５を用いて、説明する。

彩度評価値算出部３は、図５（ａ）に示すように、画素Ｐ２２を中心画素とする３画素×３画素の領域ＡＲ２１において、以下の数式に相当する処理を行うことで、垂直方向の第１評価値ｖＭ＿ｃｏｌｏｒを取得する。

ｖＭ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３１）
＋（ａｂｓ（Ｐ１２−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３２））×２
＋ａｂｓ（Ｐ１３−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３３））／８
なお、上式において、係数「２」が乗算されている項があるのは、画素間の差分の累積比率を均等にするためである。Ｐ１１、Ｐ３１、Ｐ１３、Ｐ３３の４つの画素が第１色の色成分の画素となり、Ｐ２１、Ｐ２３の２つの画素が第２色の色成分の画素となり、Ｐ１２、Ｐ３２の２つの画素が第３色の色成分の画素となり、Ｐ２２のみが第４色の色成分画素となる。したがって、（第１色成分画素−第２色成分画素）の演算数が「４」であり、（第３色成分画素−第４色成分画素）の演算数が「２」であるため、（ａｂｓ（Ｐ１２−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３２））に「２」が乗算されている。なお、この乗算する係数は「２」に限定されることはなく、他の値としてもよい。

また、彩度評価値算出部３は、図５（ｂ）に示すように、画素Ｐ１２を中心画素とする３画素×３画素の領域ＡＲ２２において、以下の数式に相当する処理を行うことで、垂直方向の第２評価値ｖＵ＿ｃｏｌｏｒを取得する。

ｖＵ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ０１−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２１）
＋（ａｂｓ（Ｐ０２−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２２））×２
＋ａｂｓ（Ｐ０３−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２３））／８
なお、上式において、係数２が乗算されている項があるのは、垂直方向の第１評価値ｖＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。

また、彩度評価値算出部３は、図５（ｃ）に示すように、画素Ｐ３２を中心画素とする３画素×３画素の領域ＡＲ２３において、以下の数式に相当する処理を行うことで、垂直方向の第３評価値ｖＬ＿ｃｏｌｏｒを取得する。

ｖＬ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ２１−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４１）
＋（ａｂｓ（Ｐ２２−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４２））×２
＋ａｂｓ（Ｐ２３−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４３））／８
なお、上式において、係数「２」が乗算されている項があるのは、垂直方向の第１評価値ｖＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。

彩度評価値算出部３は、上記処理により取得した垂直方向の第１〜第３の評価値に対して、以下の数式に相当する処理を行うことで、垂直方向評価値ｖ＿ｃｏｌｏｒを算出する。

ｖ＿ｃｏｌｏｒ＝ｍｉｎ（ｖＭ＿ｃｏｌｏｒ，ｖＵ＿ｃｏｌｏｒ，ｖＬ＿ｃｏｌｏｒ）
なお、関数ｍｉｎ（）は、要素の最小値を取得する関数である。

≪（４）水平方向評価値ｈ＿ｃｏｌｏｒ≫
次に、水平方向評価値ｈ＿ｃｏｌｏｒの算出処理について、図６を用いて、説明する。

彩度評価値算出部３は、図６（ａ）に示すように、画素Ｐ２２を中心画素とする３画素×３画素の領域ＡＲ３１において、以下の数式に相当する処理を行うことで、水平方向の第１評価値ｈＭ＿ｃｏｌｏｒを取得する。

ｈＭ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１１−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１３）
＋（ａｂｓ（Ｐ２１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２３））×２
＋ａｂｓ（Ｐ３１−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ３３））／８
なお、上式において、係数「２」が乗算されている項があるのは、画素間の差分の累積比率を均等にするためである。Ｐ１１、Ｐ３１、Ｐ１３、Ｐ３３の４つの画素が第１色の色成分の画素となり、Ｐ２１、Ｐ２３の２つの画素が第２色の色成分の画素となり、Ｐ１２、Ｐ３２の２つの画素が第３色の色成分の画素となり、Ｐ２２のみが第４色の色成分画素となる。したがって、（第１色成分画素−第３色成分画素）の演算数が「４」であり、（第２色成分画素−第４色成分画素）の演算数が「２」であるため、（ａｂｓ（Ｐ２１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２３））に「２」が乗算されている。なお、この乗算する係数は「２」に限定されることはなく、他の値としてもよい。

また、彩度評価値算出部３は、図６（ｂ）に示すように、画素Ｐ２１を中心画素とする３画素×３画素の領域ＡＲ３２において、以下の数式に相当する処理を行うことで、水平方向の第２評価値ｈＬ＿ｃｏｌｏｒを取得する。

ｈＬ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１０−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ１２）
＋（ａｂｓ（Ｐ２０−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ２２））×２
＋ａｂｓ（Ｐ３０−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ３２））／８
なお、上式において、係数２が乗算されている項があるのは、水平方向の第１評価値ｈＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。

また、彩度評価値算出部３は、図６（ｃ）に示すように、画素Ｐ２３を中心画素とする３画素×３画素の領域ＡＲ３３において、以下の数式に相当する処理を行うことで、水平方向の第３評価値ｈＲ＿ｃｏｌｏｒを取得する。

ｈＲ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１２−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ１４）
＋（ａｂｓ（Ｐ２２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ２４））×２
＋ａｂｓ（Ｐ３２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ３４））／８
なお、上式において、係数「２」が乗算されている項があるのは、水平方向の第１評価値ｈＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。

彩度評価値算出部３は、上記処理により取得した水平方向の第１〜第３の評価値に対して、以下の数式に相当する処理を行うことで、水平方向評価値ｈ＿ｃｏｌｏｒを算出する。

ｈ＿ｃｏｌｏｒ＝ｍｉｎ（ｈＭ＿ｃｏｌｏｒ，ｈＬ＿ｃｏｌｏｒ，ｈＲ＿ｃｏｌｏｒ）
なお、関数ｍｉｎ（）は、要素の最小値を取得する関数である。

≪（５）第１斜め方向評価値ｄ１＿ｃｏｌｏｒ≫
次に、第１斜め方向評価値ｄ１＿ｃｏｌｏｒの算出処理について、図７を用いて、説明する。

彩度評価値算出部３は、図７に示すように、中心画素Ｐ２２を囲む、画素Ｐ１１、Ｐ１２、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ３２、Ｐ３３の７つの画素により形成される領域において、以下の数式に相当する処理を行うことで、第１斜め方向評価値ｄ１＿ｃｏｌｏｒを取得する。

ｄ１＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１２−Ｐ２３）
＋ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３３）
＋ａｂｓ（Ｐ２１−Ｐ３２））／４

≪（６）第２斜め方向評価値ｄ２＿ｃｏｌｏｒ≫
次に、第２斜め方向評価値ｄ２＿ｃｏｌｏｒの算出処理について、図８を用いて、説明する。

彩度評価値算出部３は、図８に示すように、中心画素Ｐ２２を囲む、画素Ｐ１２、Ｐ１３、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ３１、Ｐ３２の７つの画素により形成される領域において、以下の数式に相当する処理を行うことで、第２斜め方向評価値ｄ２＿ｃｏｌｏｒを取得する。

ｄ２＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１２−Ｐ２１）
＋ａｂｓ（Ｐ１３−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３１）
＋ａｂｓ（Ｐ２３−Ｐ３２））／４
以上の処理を行った後、彩度評価値算出部３は、以下の数式に相当する処理を行うことで、彩度評価値Ｌを取得する。

Ｌ＝ｍｉｎ（ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ，ｇｌ＿ｃｏｌｏｒ，ｖ＿ｃｏｌｏｒ，ｈ＿ｃｏｌｏｒ，ｄ１＿ｃｏｌｏｒ，ｄ２＿ｃｏｌｏｒ）
なお、関数ｍｉｎ（）は、要素の最小値を取得する関数である。

つまり、彩度評価値算出部３は、（１）平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ、（２）全体評価値ｇｌ＿ｃｏｌｏｒ、（３）垂直方向評価値ｖ＿ｃｏｌｏｒ、（４）水平方向評価値ｈ＿ｃｏｌｏｒ、（５）第１斜め方向評価値ｄ１＿ｃｏｌｏｒ、（６）第２斜め方向評価値ｄ２＿ｃｏｌｏｒの６つの評価値の中で最小値をとる評価値を、彩度評価値Ｌとする。

彩度評価値算出部３は、上記処理により取得した、注目画素についての彩度評価値Ｌを正規化して彩度評価係数ＫＬを算出する。図９は、注目画素についての彩度評価値Ｌを正規化して彩度評価係数ＫＬを算出するための関数の一例の入出力特性を示す図である。彩度評価値算出部３は、例えば、２つの閾値Ｔ１、Ｔ２を用いて、下記に相当する処理を行うことで、彩度評価係数ＫＬを取得する。

ＫＬ＝ｆ（Ｌ）
なお、関数ｆ（ｘ）は、
ｘ≦Ｔ１のとき、ｆ（ｘ）＝０
Ｔ１≦ｘ≦Ｔ２のとき、ｆ（ｘ）＝（ｘ−Ｔ１）／（Ｔ２−Ｔ１）
ｘ≧Ｔ２のとき、ｆ（ｘ）＝１
である。なお、関数ｆ（ｘ）は、上記に限定されず、彩度評価値Ｌがとる範囲を０〜１の範囲の値に変換する関数であれば他の関数（大局的に彩度評価係数が彩度評価値Ｌについて単調増加する関数等）であってもよい。

上記処理により、彩度評価値Ｌは、０≦ＫＬ≦１を満たす彩度評価係数ＫＬに変換される。

なお、２つの閾値Ｔ１、Ｔ２は、グレー画像領域（彩度の低い画像領域）とカラー画像領域（彩度の高い画像領域）の境界近傍に設定される閾値であるので、実験結果や経験に基づいて最適な値を決定するようにすればよいが、入力画像の特性によって決定される可変パラメータとすることが好ましい。入力画像の特性は、たとえば、撮像装置１０００の露光時間、絞り値などの撮影条件により決定される。また、入力画像の特性に、撮像素子（ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）の特性やレンズの光学特性などを考慮するようにしてもよい。

以上のようにして彩度評価値算出部３により算出された彩度評価係数ＫＬは、画素補間法決定部５に出力される。

（１．２．３：カラー相関値算出処理）
次に、カラー相関値算出処理について説明する。

カラー相関値算出部２では、信号処理部Ｃ２から出力された画像信号Ｄ＿ｒａｗ(画像Ｄ＿ｒａｗ)から、画素ごとに、カラー画像領域用相関値（彩度が高い画像領域用の相関値）が算出される。これについて、以下、詳細に説明する。

カラー相関値算出部２は、信号処理部Ｃ２から出力された画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の４つのカラー画像領域用の相関値を算出する。
（Ａ１）カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒ
（Ａ２）カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒ
（Ａ３）カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒ
（Ａ４）カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒ
上記（Ａ１）〜（Ａ４）のカラー画像領域用の相関値の算出処理について、以下、説明する。

≪（Ａ１）カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒ≫
まず、カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒの算出処理について、図１０を用いて、説明する。

図１０は、カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

カラー相関値算出部２は、図１０に示すように、画素Ｐ０１〜Ｐ０３、Ｐ１１〜Ｐ１３、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３からなる領域ＡＲ４１において、垂直方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、カラー相関値算出部２は、以下の数式に相当する処理を行うことで、カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒを取得する。

ｓｕｍ＝ａｂｓ（Ｐ０２―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４２）
＋ａｂｓ（Ｐ１１−Ｐ３１）＋ａｂｓ（Ｐ１３−Ｐ３３）
＋ａｂｓ（Ｐ１２−Ｐ３２）×２
＋（ａｂｓ（Ｐ０１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ４１）＋ａｂｓ（Ｐ０３―Ｐ２３）＋ａｂｓ（Ｐ２３―Ｐ４３））／２
Ｃｖ＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１２−Ｐ３２）に係数「２」が、（ａｂｓ（Ｐ０１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ４１）＋ａｂｓ（Ｐ０３―Ｐ２３）＋ａｂｓ（Ｐ２３―Ｐ４３））に係数「１／２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

≪（Ａ２）カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒ≫
次に、カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒの算出処理について、図１１を用いて、説明する。

図１１は、カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

カラー相関値算出部２は、図１１に示すように、画素Ｐ１０〜Ｐ１４、Ｐ２０〜Ｐ２４、Ｐ３０〜Ｐ３４からなる領域ＡＲ５１において、水平方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、カラー相関値算出部２は、以下の数式に相当する処理を行うことで、カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒを取得する。

ｓｕｍ＝ａｂｓ（Ｐ２０―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２４）
＋ａｂｓ（Ｐ１１−Ｐ１３）＋ａｂｓ（Ｐ３１−Ｐ３３）
＋（ａｂｓ（Ｐ１０−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１４）＋ａｂｓ（Ｐ３０―Ｐ３２）＋ａｂｓ（Ｐ３２―Ｐ３４））／２
＋ａｂｓ（Ｐ２１−Ｐ２３）×２
Ｃｈ＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ２１−Ｐ２３）に係数「２」が、（ａｂｓ（Ｐ１０−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１４）＋ａｂｓ（Ｐ３０―Ｐ３２）＋ａｂｓ（Ｐ３２―Ｐ３４））に係数「１／２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

≪（Ａ３）カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒ≫
次に、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒの算出処理について、図１２を用いて、説明する。

図１２は、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

カラー相関値算出部２は、図１２に示すように、第１斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、カラー相関値算出部２は、以下の数式に相当する処理を行うことで、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒを取得する。

ｓｕｍ＝ａｂｓ（Ｐ００―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４４）
＋ａｂｓ（Ｐ１１−Ｐ３３）×２
＋ａｂｓ（Ｐ１２−Ｐ３４）＋ａｂｓ（Ｐ１０−Ｐ３２）
＋ａｂｓ（Ｐ０１―Ｐ２３）＋ａｂｓ（Ｐ２１―Ｐ４３））
Ｃｄ１＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１１−Ｐ３３）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

≪（Ａ４）カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒ≫
次に、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒの算出処理について、図１３を用いて、説明する。

図１３は、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

カラー相関値算出部２は、図１３に示すように、第２斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、カラー相関値算出部２は、以下の数式に相当する処理を行うことで、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒを取得する。

ｓｕｍ＝ａｂｓ（Ｐ０４―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４０）
＋ａｂｓ（Ｐ１３−Ｐ３１）×２
＋ａｂｓ（Ｐ１２−Ｐ３０）＋ａｂｓ（Ｐ１４−Ｐ３２）
＋ａｂｓ（Ｐ０３―Ｐ２１）＋ａｂｓ（Ｐ２３―Ｐ４１）
Ｃｄ２＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１３−Ｐ３１）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

以上により、カラー相関値算出部２により算出された４つのカラー相関値である、（Ａ１）カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒ、（Ａ２）カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒ、（Ａ３）カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒ、および、（Ａ４）カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒは、画素補間法決定部５に出力される。

（１．２．４：グレー画像領域用相関値算出処理）
次に、グレー画像領域用相関値算出処理について、説明する。

グレー相関値算出部４は、信号補正部１から出力された画像Ｄ１上の注目画素（処理対象の画素）について、以下の４つのグレー画像領域用の相関値を算出する。
（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ
（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ
（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ
（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ
上記（Ｂ１）〜（Ｂ４）のグレー画像領域用の相関値の算出処理について、以下、説明する。

≪（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ≫
まず、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理について、図１４を用いて、説明する。

図１４は、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

グレー相関値算出部４は、図１４に示すように、画素Ｐ０１〜Ｐ０３、Ｐ１１〜Ｐ１３、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３からなる領域ＡＲ６１において、垂直方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４は、以下の数式に相当する処理を行うことで、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙを取得する。

ｓｕｍ＝ａｂｓ（Ｐ０２―Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２２）
＋ａｂｓ（Ｐ２２−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４２）
＋ａｂｓ（Ｐ０１−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２１）
＋ａｂｓ（Ｐ２１−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４１）
＋ａｂｓ（Ｐ０３−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２３）
＋ａｂｓ（Ｐ２３−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４３）
Ｃｖ＿ｇｒａｙ＝ｓｕｍ／６
≪（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ≫
次に、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理について、図１５を用いて、説明する。

図１５は、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

グレー相関値算出部４は、図１５に示すように、画素Ｐ１０〜Ｐ１４、Ｐ２０〜Ｐ２４、Ｐ３０〜Ｐ３４からなる領域ＡＲ７１において、水平方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４は、以下の数式に相当する処理を行うことで、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙを取得する。

ｓｕｍ＝ａｂｓ（Ｐ２０―Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ２２）
＋ａｂｓ（Ｐ２２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ２４）
＋ａｂｓ（Ｐ１０−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ１２）
＋ａｂｓ（Ｐ１２−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ１４）
＋ａｂｓ（Ｐ３０−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ３２）
＋ａｂｓ（Ｐ３２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ３４）
Ｃｈ＿ｇｒａｙ＝ｓｕｍ／６
≪（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ≫
次に、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理について、図１６を用いて、説明する。

図１６は、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

グレー相関値算出部４は、図１６に示すように、第１斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４は、以下の数式に相当する処理を行うことで、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙを取得する。

ｓｕｍ＝ａｂｓ（Ｐ００―Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４４）
＋ａｂｓ（Ｐ１０−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４３）
＋ａｂｓ（Ｐ０１−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３４）
Ｃｄ１＿ｇｒａｙ＝ｓｕｍ／５
≪（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ≫
次に、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理について、図１７を用いて、説明する。

図１７は、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

グレー相関値算出部４は、図１７に示すように、第２斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４は、以下の数式に相当する処理を行うことで、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙを取得する。

ｓｕｍ＝ａｂｓ（Ｐ０４―Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４０）
＋ａｂｓ（Ｐ０３−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３０）
＋ａｂｓ（Ｐ１４−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４１）
Ｃｄ２＿ｇｒａｙ＝ｓｕｍ／５
なお、図１４（グレー画像領域用垂直方向相関値算出処理）および図１５（グレー画像領域用水平方向相関値算出処理）における場合と、図１６（グレー画像領域用第１斜め方向相関値算出処理）および図１７（グレー画像領域用第２斜め方向相関値算出処理）における場合とでは、差分演算の対象となる画素間の距離が異なる。しかし、上記では、画素間の距離を考慮した係数を乗算するようにはしていない。これは、画素間の距離の差があまり大きくないためであるが、例えば、上記処理（グレー画像領域用の相関値算出処理）において、画素差分値について、画素間の距離に応じた重み付けを行うようにしてもよい（例えば、画素差分値に２の２乗根を乗算するようにしてもよい）。

また、上記グレー画像領域用の相関値算出処理においては、カラー画像領域用の相関値との比較を容易にするためにスケールを合わせるようにしている。つまり、図１４〜図１７で示された演算対象の画素間の距離は、隣接する画素間の距離である。したがって、上記グレー画像領域用の相関値算出処理の数式においては、各画素差分値に「２」を乗算してスケールを合わせた結果、上記グレー画像領域用の相関値算出処理の数式の各式における最後の乗算値（１／６と１／５）が累積数の逆数の２倍の値となっている。ただし、グレー画像領域における相関方向は、グレー画像領域用の相関値のみを用いて判定されるため、必ずしもスケールを合わせる必要はない。

以上により、グレー相関値算出部４により取得されたグレー画像領域用相関値（Ｃｖ＿ｇｒａｙ、Ｃｈ＿ｇｒａｙ、Ｃｄ１＿ｇｒａｙ、Ｃｄ２＿ｇｒａｙ）は、画素補間法決定部５に出力される。

（１．２．５：画素補間法決定部５での処理）
≪相関判定方法と画素補間方法の選択≫
画素補間法決定部５では、彩度評価値算出部３が算出した彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２（ＴＨ１≦ＴＨ２）との関係に基づいて、画素ごとに、相関判定方法と画素補間方法とを選択する。

具体的には、相関判定方法の選択とは、（１）グレー画像領域用の相関値を採用して相関方向を判定するのか、（２）カラー画像領域用の相関値を採用して相関方向を判定するのか、あるいは、（３）グレー画像領域用とカラー画像領域用の相関値を総合判断して選択された相関値を用いて相関方向を判定するかの選択である。

また、画素補間方法の選択とは、グレー画像領域用とカラー画像領域用のうちいずれの画素補間方法を採用するかの選択である。

図１８は、彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により選択される相関判定方法および画素補間方法の種別を示している。具体的には、図１８に示すように、相関判定方法および画素補間方法は、以下の（ａ）〜（ｃ）の組み合わせに分類される。
（ａ）ＫＬ＞ＴＨ２の場合
相関判定方法：カラー画像領域用の相関値を用いて相関方向を判定する。

画素補間方法：カラー画像領域用の画素補間方法を用いる。
（ｂ）ＴＨ１＜ＫＬ≦ＴＨ２の場合
相関判定方法：カラー画像領域用の相関値とグレー画像領域用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。

画素補間方法：カラー画像領域用の画素補間方法を用いる。
（ｃ）ＫＬ≦ＴＨ１の場合
相関判定方法：グレー画像領域用の相関値を用いて相関方向を判定する。

画素補間方法：グレー画像領域用の画素補間方法を用いる。

上記により、画素ごとに決定された画素補間方法についての情報は、画素補間法決定部５から補間部６に出力される。

（１．２．５．１：相関方向判定処理）
≪判定用相関値の選択≫
画素補間法決定部５では、（１）カラー相関値算出部２により算出されたカラー画像領域用の４方向の相関値Ｃｖ＿ｃｏｌｏｒ，Ｃｈ＿ｃｏｌｏｒ，Ｃｄ１＿ｃｏｌｏｒ，Ｃｄ２＿ｃｏｌｏｒと、（２）グレー相関値算出部４により算出されたグレー画像領域用の４方向の相関値Ｃｖ＿ｇｒａｙ，Ｃｈ＿ｇｒａｙ，Ｃｄ１＿ｇｒａｙ，Ｃｄ２＿ｇｒａｙとから、次のようにして、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を選択する。なお、判定用相関値は、注目画素（処理対象画素）の相関方向（画素補間処理を実行するときに参照される相関方向）を決定するために用いられる。
（ａ）ＫＬ＞ＴＨ２の場合の判定用相関値
画素補間法決定部５は、カラー画像領域用の相関値を、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２として用いる。つまり、画素補間法決定部５は、
Ｃｖ＝Ｃｖ＿ｃｏｌｏｒ
Ｃｈ＝Ｃｈ＿ｃｏｌｏｒ
Ｃｄ１＝Ｃｄ１＿ｃｏｌｏｒ
Ｃｄ２＝Ｃｄ２＿ｃｏｌｏｒ
とする。
（ｃ）ＫＬ≦ＴＨ１の場合の判定用相関値
画素補間法決定部５は、グレー画像領域用の相関値を、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２として用いる。つまり、画素補間法決定部５は、
Ｃｖ＝Ｃｖ＿ｇｒａｙ
Ｃｈ＝Ｃｈ＿ｇｒａｙ
Ｃｄ１＝Ｃｄ１＿ｇｒａｙ
Ｃｄ２＝Ｃｄ２＿ｇｒａｙ
とする。
（ｂ）ＴＨ１＜ＫＬ≦ＴＨ２の場合の判定用相関値
この場合、画素補間法決定部５は、グレー画像領域用の相関値とカラー画像領域用の相関値とを総合判断して、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を決定する。この判断方法について、図１９、図２０のフローチャートを参照しながら、以下説明する。

まず、判定用相関値Ｃｖ，Ｃｈの決定方法について、図１９のフローチャートを参照しながら、以下、説明する。

（Ｓ１０１）：
ステップＳ１０１において、画素補間法決定部５は、下記数式に示すように、カラー画像領域用の相関値Ｃｖ＿ｃｏｌｏｒとＣｈ＿ｃｏｌｏｒとの差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒを算出する。

ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ＝ａｂｓ（Ｃｖ＿ｃｏｌｏｒ−Ｃｈ＿ｃｏｌｏｒ）
また、画素補間法決定部５は、下記数式に示すように、グレー画像領域用の相関値Ｃｖ＿ｇｒａｙとＣｈ＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙを算出する。

ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙ＝ａｂｓ（Ｃｖ＿ｇｒａｙ−Ｃｈ＿ｇｒａｙ）
（Ｓ１０２）：
ステップＳ１０２において、画素補間法決定部５は、下記数式により、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙを算出する。

ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ＝ａｂｓ（ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ−ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙ）
（Ｓ１０３）：
ステップＳ１０３において、画素補間法決定部５は、ステップＳ１０２で算出した差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙと、閾値Ｔｈｖとの大小関係を判定する。

そして、ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ≦Ｔｈｖである場合、画素補間法決定部５は、処理をステップＳ１０４に進める。それ以外の場合、画素補間法決定部５は、処理をステップＳ１０５に進める。

（Ｓ１０４）：
ステップＳ１０４において、画素補間法決定部５は、以下の数式に相当する処理を行うことで、判定用相関値Ｃｖ，Ｃｈを取得する。

Ｃｖ＝ｍｉｎ（Ｃｖ＿ｃｏｌｏｒ、Ｃｖ＿ｇｒａｙ）
Ｃｈ＝ｍｉｎ（Ｃｈ＿ｃｏｌｏｒ、Ｃｈ＿ｇｒａｙ）
なお、ｍｉｎ（）は、要素の最小値を取得する関数である。

（Ｓ１０５〜Ｓ１０７）：
ステップＳ１０５において、画素補間法決定部５は、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの大小関係を判定する。

そして、ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙの場合、画素補間法決定部５は、
Ｃｖ＝Ｃｖ＿ｃｏｌｏｒ
Ｃｈ＝Ｃｈ＿ｃｏｌｏｒ
とする（ステップＳ１０６）。

一方、ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙではない場合、画素補間法決定部５は、
Ｃｖ＝Ｃｖ＿ｇｒａｙ
Ｃｈ＝Ｃｈ＿ｇｒａｙ
とする（ステップＳ１０７）。

以上の処理により、画素補間法決定部５は、判定用相関値Ｃｖ，Ｃｈを選択（決定）する。

上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値ＴＨｖ以下の場合とは、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの差が小さいときである。つまり、この条件を満たす場合として、垂直方向、水平方向のいずれの方向にも強い相関が見られない場合が想定される。

このような場合、画素補間法決定部５は、垂直方向、水平方向それぞれについて、グレー画像領域用とカラー画像領域用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択する（ステップＳ１０４）。

また、上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値ＴＨｖより大きい場合とは、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの差が大きいときである。つまり、この条件を満たす場合として、垂直方向、水平方向のいずれかに強い相関が見られる場合が想定される。

このような場合、画素補間法決定部５は、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙの大小を比較し、差分絶対値が大きい方の相関値を選択する（ステップＳ１０５〜Ｓ１０７）。

次に、判定用相関値Ｃｄ１，Ｃｄ２の決定方法について、図２０のフローチャートを参照しながら、以下、説明する。

（Ｓ１１１）：
ステップＳ１１１において、画素補間法決定部５は、下記数式に示すように、カラー画像領域用の相関値Ｃｄ１＿ｃｏｌｏｒとＣｄ２＿ｃｏｌｏｒとの差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒを算出する。

ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ＝ａｂｓ（Ｃｄ１＿ｃｏｌｏｒ−Ｃｄ２＿ｃｏｌｏｒ）
また、画素補間法決定部５は、下記数式に示すように、グレー画像領域用の相関値Ｃｄ１＿ｇｒａｙとＣｄ２＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙを算出する。

ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙ＝ａｂｓ（Ｃｄ１＿ｇｒａｙ−Ｃｄ２＿ｇｒａｙ）
（Ｓ１１２）：
ステップＳ１１２において、画素補間法決定部５は、下記数式により、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙを算出する。

ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ＝ａｂｓ（ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ−ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙ）
（Ｓ１１３）：
ステップＳ１１３において、画素補間法決定部５は、ステップＳ１１２で算出した差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙと、閾値Ｔｈｄとの大小関係を判定する。

そして、ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ≦Ｔｈｄである場合、画素補間法決定部５は、処理をステップＳ１１４に進める。それ以外の場合、画素補間法決定部５は、処理をステップＳ１１５に進める。

（Ｓ１１４）：
ステップＳ１１４において、画素補間法決定部５は、以下の数式に相当する処理を行うことで、判定用相関値Ｃｄ１，Ｃｄ２を取得する。

Ｃｄ１＝ｍｉｎ（Ｃｄ１＿ｃｏｌｏｒ、Ｃｄ１＿ｇｒａｙ）
Ｃｄ２＝ｍｉｎ（Ｃｄ２＿ｃｏｌｏｒ、Ｃｄ２＿ｇｒａｙ）
なお、ｍｉｎ（）は、要素の最小値を取得する関数である。

（Ｓ１１５〜Ｓ１１７）：
ステップＳ１１５において、画素補間法決定部５は、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの大小関係を判定する。

そして、ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙの場合、画素補間法決定部５は、
Ｃｄ１＝Ｃｄ１＿ｃｏｌｏｒ
Ｃｄ２＝Ｃｄ２＿ｃｏｌｏｒ
とする（ステップＳ１１６）。

一方、ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙではない場合、画素補間法決定部５は、
Ｃｄ１＝Ｃｄ１＿ｇｒａｙ
Ｃｄ２＝Ｃｄ２＿ｇｒａｙ
とする（ステップＳ１１７）。

以上の処理により、画素補間法決定部５は、判定用相関値Ｃｄ１，Ｃｄ２を選択（決定）する。

上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値Ｔｈｄ以下の場合とは、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの差が小さいときである。つまり、この条件を満たす場合として、第１斜め方向、第２斜め方向のいずれの方向にも強い相関が見られない場合が想定される。

このような場合、画素補間法決定部５は、第１斜め方向、第２斜め方向それぞれについて、グレー画像領域用とカラー画像領域用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択する（ステップＳ１１４）。

また、上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値Ｔｈｄより大きい場合とは、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの差が大きいときである。つまり、この条件を満たす場合として、第１斜め方向、第２斜め方向のいずれかに強い相関が見られる場合が想定される。

このような場合、画素補間法決定部５は、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙの大小を比較し、差分絶対値が大きい方の相関値を選択する（ステップＳ１１５〜Ｓ１１７）。

以上の処理により、画素補間法決定部５は、グレー画像領域用の相関値とカラー画像領域用の相関値とを総合判断して、判定用相関値（ＴＨ１＜ＫＬ≦ＴＨ２の場合の判定用相関値）Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を決定する。

画素補間法決定部５は、以上の演算処理を実行することにより、上記（ａ），（ｂ），（ｃ）のそれぞれの場合について、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を選択（決定）する。

以上のように、本実施形態における相関判定方法と画素補間方法との組み合わせは、彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により３パターンに分類される。つまり、１つの閾値を設けて、グレー画像領域（彩度の低い画像領域）とカラー画像領域（彩度の高い画像領域）とを判定する方法ではなく、２つの閾値ＴＨ１とＴＨ２を設けることにより、グレー画像領域とカラー画像領域の境界領域において、画素補間処理方法が急激に変化することを緩和している。これにより、特に、画素補間処理後の画像上のグレー画像領域とカラー画像領域との境界付近に位置する画像領域において、視覚的違和感が生じることを効果的に抑制することができる。

つまり、グレー画像領域とカラー画像領域との境界付近に位置する画像領域は、ＲＧＢの各成分の値が略等しいが、それらの値に多少のばらつきがある。したがって、相関を判定する場合には、ＲＧＢ各成分のばらつきが小さいことに着目して、ＲＧＢを区別することなく、なるべく近接する画素を用いて相関値を算出する。あるいは、ＲＧＢ各成分が多少なりともばらついていることに注目して、ＲＧＢを区別して相関値を算出する。このような２つの考え方を総合的に判断して、最適な相関値を選択することで、相関方向の判定精度を向上させることができる。これに対して、ＲＧＢ各成分のばらつきを無視し、グレー画像領域とみなして画素補間を行った場合、偽色が発生する可能性がある。そこで、撮像装置１０００では、画素補間についてはカラー画像領域用の画素補間処理を行うこととしている。

なお、本実施形態においては、彩度評価値Ｌを正規化した彩度評価係数ＫＬを用い、彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との比較により、グレー画像領域であるか、あるいは、カラー画像領域であるかの判定を行っているが、これは、処理上の便宜のためであり、本質的には、彩度評価値Ｌと２つの閾値との比較により、グレー画像領域であるか、あるいは、カラー画像領域であるかを判定していることにほかならない。

≪各画素における相関方向の判定処理≫
次に、画素補間法決定部５は、上記処理により取得した判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図２１の関係図または図２２の関係図を用いて、相関方向を決定する。

図２１は、判定用相関値Ｃｈ、Ｃｖと、相関方向判定用領域Ａ１〜Ａ４との関係を示す図である。図２１において、横軸（Ｘ軸）は判定用相関値Ｃｈであり、縦軸（Ｙ軸）は判定用相関値Ｃｖである。また、図２１に示すように、相関方向判定用領域Ａ１〜Ａ４は、直線Ｆ１〜Ｆ３によって決定されている。つまり、相関方向判定用領域Ａ１は、Ｙ軸と直線Ｆ１とに囲まれる領域であり、相関方向判定領域Ａ２は、Ｘ軸と直線Ｆ２とに囲まれる領域であり、相関方向判定領域Ａ３は、直線Ｆ１、直線Ｆ２および直線Ｆ３に囲まれる領域であり、相関方向判定領域Ａ４は、Ｘ軸、Ｙ軸および直線Ｆ３に囲まれる領域である。

図２２は、判定用相関値Ｃｄ１、Ｃｄ２と、相関方向判定用領域Ｂ１〜Ｂ４との関係を示す図である。図２２において、横軸（Ｘ軸）は判定用相関値Ｃｄ２であり、縦軸（Ｙ軸）は判定用相関値Ｃｄ１である。また、図２２に示すように、相関方向判定用領域Ｂ１〜Ｂ４は、直線Ｆ１１〜Ｆ１３によって決定されている。つまり、相関方向判定領域Ｂ１は、Ｙ軸と直線Ｆ１１とに囲まれる領域であり、相関方向判定領域Ｂ２は、Ｘ軸と直線Ｆ１２とに囲まれる領域であり、相関方向判定領域Ｂ３は、直線Ｆ１１、直線Ｆ１２および直線Ｆ１３に囲まれる領域であり、相関方向判定領域Ｂ４は、Ｘ軸、Ｙ軸および直線Ｆ１３に囲まれる領域である。

画素補間法決定部５は、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図２１の関係図または図２２の関係図を用いて、以下の（１）、（２）により、相関方向を決定する。
（１）画素補間法決定部５は、画素ごとに、４つの判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、判定用相関値Ｃｖまたは判定用相関値Ｃｈが最小値をとる場合、つまり、
Ｃｖ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｈ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図２１の関係図を用いて、相関方向を決定する。

つまり、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ１に含まれる場合、画素補間法決定部５は、注目画素の相関方向を「水平方向」と判定する。

また、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ２に含まれる場合、画素補間法決定部５は、注目画素の相関方向を「垂直方向」と判定する。

また、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ３に含まれる場合、画素補間法決定部５は、注目画素について、「いずれの方向にも相関がない」と判定する。

また、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ４に含まれる場合、画素補間法決定部５は、注目画素について、「垂直、水平の両方向において相関が高い」と判定する。
（２）画素補間法決定部５は、画素ごとに、４つの判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、判定用相関値Ｃｄ１または判定用相関値Ｃｄ２が最小値をとる場合、つまり、
Ｃｄ１＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｄ２＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図２２の関係図を用いて、相関方向を決定する。

つまり、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ１に含まれる場合、画素補間法決定部５は、注目画素の相関方向を「第２斜め方向」（ｄ２方向）と判定する。

また、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ２に含まれる場合、画素補間法決定部５は、注目画素の相関方向を「第１斜め方向」（ｄ１方向）と判定する。

また、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ３に含まれる場合、画素補間法決定部５は、注目画素について、「いずれの方向にも相関がない」と判定する。

また、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ４に含まれる場合、画素補間法決定部５は、注目画素について、「垂直、水平の両方向において相関が高い」と判定する。

以上のようにして、画素ごとに取得された相関方向の判定結果（相関方向に関する情報Ｃｏ＿Ｄｉｒ）は、画素補間法決定部５から、補間部６および補正処理部７に出力される。

また、画素ごとに取得された画素補間方法（カラー画像領域用画素補間法／グレー画像領域用画素補間法）についての情報Ｐ＿Ｍｔｈｄは、画素補間法決定部５から補間部６に出力される。

なお、上記関係図は一例であり、他の直線により規定される領域を有する関係図であってもよい。

（１．２．６：補間部６での処理）
補間部６では、画素補間法決定部５により画素ごとに決定された、（１）相関方向の判定結果、および、（２）画素補間方法に基づいて、
（Ａ）カラー画像用補間処理では、信号処理部Ｃ２から出力される画像Ｄ＿ｒａｗに対して、画素ごとに、画素補間処理が実行され、
（Ｂ）グレー画像用補間処理では、信号補正部１から出力される画像Ｄ１に対して、画素ごとに、画素補間処理が実行される。

（１．２．６．１：グレー画像領域用画素補間処理）
画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合、補間部６のグレー画像用補間部６２は、注目画素がどの色成分用の画素であるかを区別せずに、画素補間法決定部５により決定された相関方向に存在する画素を用いて画素補間処理を行う。グレー画像用補間部６２において「グレー画像領域用画素補間法」により画素補間処理が実行される場合の具体的な処理について、以下、説明する。

≪領域Ａ１：水平方向画素補間（グレー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「水平方向」であると判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝（Ｐ２１＋２×Ｐ２２＋Ｐ２３）／４
つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＹｅ画素である場合、注目画素のＣｙ色成分値、Ｇ色成分値およびＭｇ色成分値を、それぞれ、Ｃｙ（Ｐ２２）、Ｇ（Ｐ２２）およびＭｇ（Ｐ２２）とすると、
Ｃｙ（Ｐ２２）＝Ｇ（Ｐ２２）＝Ｍｇ（Ｐ２２）＝Ｓｏｕｔ
となる。

≪領域Ａ２：垂直方向画素補間（グレー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「垂直方向」であると判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝（Ｐ１２＋２×Ｐ２２＋Ｐ３２）／４
つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＹｅ画素である場合、注目画素のＣｙ色成分値、Ｇ色成分値およびＭｇ色成分値を、それぞれ、Ｃｙ（Ｐ２２）、Ｇ（Ｐ２２）およびＭｇ（Ｐ２２）とすると、
Ｃｙ（Ｐ２２）＝Ｇ（Ｐ２２）＝Ｍｇ（Ｐ２２）＝Ｓｏｕｔ
となる。

≪領域Ｂ２：第１斜め方向画素補間（グレー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「第１斜め方向」であると判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝（Ｐ１１＋２×Ｐ２２＋Ｐ３３）／４
つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＹｅ画素である場合、注目画素のＣｙ色成分値、Ｇ色成分値およびＭｇ色成分値を、それぞれ、Ｃｙ（Ｐ２２）、Ｇ（Ｐ２２）およびＭｇ（Ｐ２２）とすると、
Ｃｙ（Ｐ２２）＝Ｇ（Ｐ２２）＝Ｍｇ（Ｐ２２）＝Ｓｏｕｔ
となる。

≪領域Ｂ１：第２斜め方向画素補間（グレー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「第２斜め方向」であると判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝（Ｐ１３＋２×Ｐ２２＋Ｐ３１）／４
つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＹｅ画素である場合、注目画素のＣｙ色成分値、Ｇ色成分値およびＭｇ色成分値を、それぞれ、Ｃｙ（Ｐ２２）、Ｇ（Ｐ２２）およびＭｇ（Ｐ２２）とすると、
Ｃｙ（Ｐ２２）＝Ｇ（Ｐ２２）＝Ｍｇ（Ｐ２２）＝Ｓｏｕｔ
となる。

≪領域Ａ３、Ｂ３：メディアン補間（グレー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素について「いずれの方向にも相関がない」と判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝Ｐ２２
つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＹｅ画素である場合、注目画素のＣｙ色成分値、Ｇ色成分値およびＭｇ色成分値を、それぞれ、Ｃｙ（Ｐ２２）、Ｇ（Ｐ２２）およびＭｇ（Ｐ２２）とすると、
Ｃｙ（Ｐ２２）＝Ｇ（Ｐ２２）＝Ｍｇ（Ｐ２２）＝Ｓｏｕｔ
となる。

≪領域Ａ４、Ｂ４：平均値補間（グレー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝（Ｐ１１＋Ｐ１２＋Ｐ１３
＋Ｐ２１＋Ｐ２２＋Ｐ２３
＋Ｐ３１＋Ｐ３２＋Ｐ３３）／９
つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＹｅ画素である場合、注目画素のＣｙ色成分値、Ｇ色成分値およびＭｇ色成分値を、それぞれ、Ｃｙ（Ｐ２２）、Ｇ（Ｐ２２）およびＭｇ（Ｐ２２）とすると、
Ｃｙ（Ｐ２２）＝Ｇ（Ｐ２２）＝Ｍｇ（Ｐ２２）＝Ｓｏｕｔ
となる。

以上のようなグレー画像用補間処理が実行された画像信号は、グレー画像用補間部６２から信号逆補正部６３に出力される。

≪信号逆補正処理≫
信号逆補正部６３では、グレー画像用補間部６２から出力される画像信号に対して、信号補正部１で実行された補正処理と逆の補正処理が実行される。

具体的には、グレー画像用補間部６２から出力される画像信号を構成する、Ｙｅ成分画素信号、Ｃｙ成分画素信号、Ｇ成分画素信号、および、Ｍｇ成分画素信号を、それぞれ、Ｙｅｉｎ１、Ｃｙｉｎ１、Ｇｉｎ１、および、Ｍｇｉｎ１とすると、信号逆補正部６３は、
Ｙｅｏｕｔ＝Ｙｅｉｎ／Ｇａｉｎ＿ｓｉｇ＿Ｙｅ
Ｃｙｏｕｔ＝Ｃｙｉｎ／Ｇａｉｎ＿ｓｉｇ＿Ｃｙ
Ｇｏｕｔ＝Ｇｉｎ／Ｇａｉｎ＿ｓｉｇ＿Ｇ
Ｍｇｏｕｔ＝Ｍｇｉｎ／Ｇａｉｎ＿ｓｉｇ＿Ｍｇ
に相当する処理を実行する。

なお、ゲイン値Ｇａｉｎ＿ｓｉｇ＿Ｙｅ、Ｇａｉｎ＿ｓｉｇ＿Ｃｙ、Ｇａｉｎ＿ｓｉｇ＿Ｇ、および、Ｇａｉｎ＿ｓｉｇ＿Ｍｇは、信号補正部１での信号補正処理に使用された補正ゲインと同一のものである。

上記処理を実行することで、グレー画像用補間処理後の画像信号の各画素信号の信号レベルを、信号補正部１で信号補正処理が実行される前の画像信号の各画素信号の信号レベルと同等にすることができる。

信号逆補正部６３により、上記の信号逆補正処理が実行された画像信号は、選択部６４に出力される。

（１．２．６．２：カラー画像領域用画素補間処理）
画素補間法決定部５により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合、補間部６のカラー画像用補間部６１は、画素補間法決定部５により決定された相関方向に存在する画素を用いて画素補間処理を行う。この具体的な処理について、以下、説明する。

≪水平方向画素補間（カラー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「水平方向」であると判定された場合、カラー画像用補間部６１は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のＹｅ色成分の画素値をＹｅｏｕｔとし、Ｃｙ色成分の画素値をＣｙｏｕｔとし、Ｇ色成分の画素値をＧｏｕｔとし、Ｍｇ色成分の画素値をＭｇｏｕｔとする。

（Ｈ−Ｙｅ：注目画素がＹｅ画素である場合）：
注目画素がＹｅ画素である場合、補間部６のカラー画像用補間部６１は、以下の処理により、Ｙｅｏｕｔ、Ｃｙｏｕｔ、Ｇｏｕｔ、Ｍｇｏｕｔを取得する。

≪Ｙｅｏｕｔ≫
カラー画像用補間部６１は、注目画素の画素値Ｐ２２を、Ｙｅ色成分の画素値Ｙｅｏｕｔとする。

つまり、カラー画像用補間部６１は、
Ｙｅｏｕｔ＝Ｐ２２
とする。

≪Ｃｙｏｕｔ≫
Ｃｙ色成分の画素値Ｃｙｏｕｔを取得するために、カラー画像用補間部６１は、以下の処理を行う。Ｃｙ色成分の画素値Ｃｙｏｕｔの取得処理（算出処理）を、図２３を用いて、説明する。

図２３は、中心画素（注目画素）がＹｅ画素である場合の５画素×５画素のマトリクス領域を示す図である。

図２３において、記号Ｙ，Ｃ，Ｇ，Ｍの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。つまり、図２３は、注目画素Ｐ２２を含む２５個の画素Ｐ００〜Ｐ４４からなるマトリクス領域の画素配列を表しており、中心画素Ｐ２２（Ｙ２２）が黄色成分用画素である場合を示している（図４の５×５画素の領域ＡＲ１に相当。）。なお、他の図面における画素配列の表記方法も上記と同様である。また、実施形態の説明や各数式において、記号Ｐ，Ｙ，Ｃ，Ｇ，Ｍは、画素値を表す場合もある。たとえば、記号Ｐ１１は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。

カラー画像用補間部６１は、注目画素Ｐ２２（Ｙｅ画素）を中心とする水平方向の５つの画素Ｐ２０〜Ｐ２４を用いて、以下の数式に相当する処理により、Ｃｙ色成分の画素値Ｃｙｏｕｔを取得する。

ｔ０＝（Ｐ２１＋Ｐ２３）／２
ｔ１＝（Ｐ２０−２×Ｐ２２＋Ｐ２４）×ｇａｉｎ０
Ｃｙｏｕｔ＝ｔ０−ｔ１
ここで、上記処理の意味について、説明する。

Ｙ２２（Ｙｅ色の画素Ｐ２２）の低周波成分Ｙ２２Ｌは、
Ｙ２２Ｌ＝（Ｙ２０＋６×Ｙ２２＋Ｙ２４）／８
である。したがって、Ｙ２２の高周波成分Ｙ２２Ｈは、
Ｙ２２Ｈ＝Ｙ２２−Ｙ２２Ｌ
＝−（Ｙ２０−２×Ｙ２２＋Ｙ２４）／８
である。

一方、Ｐ２２のＣｙ色成分値Ｃ２２の低周波成分Ｃ２２Ｌは、
Ｃ２２Ｌ＝（Ｃ２１＋２×Ｃ２２＋Ｃ２３）／４
である。したがって、Ｃ２２の高周波成分Ｃ２２Ｈは、
Ｃ２２Ｈ＝Ｃ２２―Ｃ２２Ｌ
＝Ｃ２２／２―（Ｃ２１＋Ｃ２３）／４
である。

Ｐ２２において、各色成分の高周波成分がほぼ等しいと仮定すると、
Ｙ２２Ｈ≒Ｃ２２Ｈ
より、
Ｃ２２／２―（Ｃ２１＋Ｃ２３）／４≒−（Ｙ２０−２×Ｙ２２＋Ｙ２４）／８
となる。これをＣ２２について解くと、
Ｃ２２＝（Ｃ２１＋Ｃ２３）／２−（Ｙ２０−２×Ｙ２２＋Ｙ２４）／４
となる。

この式において、（Ｙ２０−２×Ｙ２２＋Ｙ２４）は、水平方向のラプラシアン成分（２次微分成分）であり、Ｃ２１とＣ２３の平均値からラプラシアン成分の１／４倍したものを減算することで、Ｐ２２のＣｙ色成分値Ｃ２２を算出することができる。

つまり、カラー画像用補間部６１は、
ｔ０＝（Ｐ２１＋Ｐ２３）／２
ｔ１＝（Ｐ２０−２×Ｐ２２＋Ｐ２４）×ｇａｉｎ０
Ｃｙｏｕｔ＝ｔ０−ｔ１
により、Ｃｙ色成分の画素値Ｃｙｏｕｔを取得することができる。

なお、ｇａｉｎ０を「１／４」とすると、ｔ１は、ラプラシアン成分となるが、カラー画像用補間部６１において、ｇａｉｎ０の値を調整し、ラプラシアン成分を調整することで、Ｃｙｏｕｔの高周波成分量を調整することができる。例えば、撮像部Ｃ１の光学特性（例えば、撮像部Ｃ１に設けられる光学フィルタ等の特性）等に応じて、ｇａｉｎ０を調整することで（ラプラシアン成分を調整することで）、より品質の良い画素補間処理を行うことができる。

≪Ｇｏｕｔ≫
Ｇ色成分の画素値Ｇｏｕｔを取得するために、カラー画像用補間部６１は、以下の処理を行う。Ｇ色成分の画素値Ｇｏｕｔの取得処理（算出処理）を、図２４を用いて、説明する。

図２４は、図２３と同様に、中心画素（注目画素）がＹｅ画素である場合の５画素×５画素のマトリクス領域を示す図である。

カラー画像用補間部６１は、図２４に示す領域ＡＲ＿ｓ０に含まれるＰ１１〜Ｐ１３を用いて、以下の数式に相当する処理により、Ｐ１２のＭｇ＋２Ｇ色成分値ｓ０（＝Ｒ＋２Ｇ＋Ｂ色成分値ｓ０）を取得する。

なお、Ｍｇ＝Ｒ＋Ｂであるので、Ｍｇ＋２Ｇ＝（Ｒ＋Ｂ）＋２Ｇ＝Ｒ＋２Ｇ＋Ｂである。

ｓ０＝ｋｋ１×Ｐ１２＋ｋｋ２×｛（Ｐ１１＋Ｐ１３）／２｝＋ｏｆｓ１
ここで、ｋｋ１＝２、ｋｋ２＝１、ｏｆｓ１＝０とすると、上式は、
ｓ０＝２×Ｐ１２＋（Ｐ１１＋Ｐ１３）／２
となる。Ｐ１２の画素は、Ｇ成分画素であり、Ｐ１１およびＰ１３の画素は、Ｍｇ成分画素であるので、上式は、Ｐ１２のＭｇ＋２Ｇ色成分値（＝Ｒ＋２Ｇ＋Ｂ色成分値）であるとみなすことができる。

また、カラー画像用補間部６１は、図２４に示す領域ＡＲ＿ｓに含まれるＰ２１〜Ｐ２３を用いて、以下の数式に相当する処理により、Ｐ２２のＹｅ＋Ｃｙ色成分値ｓ（＝Ｒ＋２Ｇ＋Ｂ色成分値ｓ）を取得する。

なお、Ｙｅ＝Ｒ＋Ｇであり、Ｃｙ＝Ｂ＋Ｇであるので、Ｙｅ＋Ｃｙ＝（Ｒ＋Ｇ）＋（Ｂ＋Ｇ）＝Ｒ＋２Ｇ＋Ｂである。

ｓ＝ｋｋ３×Ｐ２２＋ｋｋ４×｛（Ｐ２１＋Ｐ２３）／２｝＋ｏｆｓ２
ここで、ｋｋ３＝１、ｋｋ４＝１、ｏｆｓ２＝０とすると、上式は、
ｓ０＝Ｐ２２＋（Ｐ２１＋Ｐ２３）／２
となる。Ｐ２２の画素は、Ｙｅ成分画素であり、Ｐ２１およびＰ２３の画素は、Ｃｙ成分画素であるので、上式は、Ｐ２２のＹｅ＋Ｃｙ色成分（＝Ｒ＋２Ｇ＋Ｂ色成分値）であるとみなすことができる。

また、カラー画像用補間部６１は、図２４に示す領域ＡＲ＿ｓ１に含まれるＰ３１〜Ｐ３３を用いて、以下の数式に相当する処理により、Ｐ３２のＭｇ＋２Ｇ色成分値ｓ１（＝Ｒ＋２Ｇ＋Ｂ色成分値ｓ１）を取得する。

なお、Ｍｇ＝Ｒ＋Ｂであるので、Ｍｇ＋２Ｇ＝（Ｒ＋Ｂ）＋２Ｇ＝Ｒ＋２Ｇ＋Ｂである。

ｓ０＝ｋｋ５×Ｐ３２＋ｋｋ６×｛（Ｐ３１＋Ｐ３３）／２｝＋ｏｆｓ３
ここで、ｋｋ５＝２、ｋｋ６＝１、ｏｆｓ３＝０とすると、上式は、
ｓ０＝２×Ｐ３２＋（Ｐ３１＋Ｐ３３）／２
となる。Ｐ３２の画素は、Ｇ成分画素であり、Ｐ３１およびＰ３３の画素は、Ｍｇ成分画素であるので、上式は、Ｐ３２のＭｇ＋２Ｇ色成分値（＝Ｒ＋２Ｇ＋Ｂ色成分値）であるとみなすことができる。

このように、カラー画像用補間部６１では、相関の高い水平方向の画素を利用し、同一色空間の成分値に変換されるように、係数ｋｋ１〜ｋｋ６、オフセット値ｏｆｓ１〜ｏｆｓ３を設定することで、画素Ｐ１２、Ｐ２２、Ｐ３２の同一色空間成分値（上記では、Ｒ＋２Ｇ＋Ｂ色成分値）ｓ０、ｓ、ｓ１を取得することができる。

なお、下記数式に相当する処理を行い、画素Ｐ１２、Ｐ２２、Ｐ３２の同一色空間成分値（上記では、Ｒ＋２Ｇ＋Ｂ色成分値）ｓ０、ｓ、ｓ１を所定の調整値ｇｓで調整し、調整後の値を、画素Ｐ１２、Ｐ２２、Ｐ３２の同一色空間成分値（上記では、Ｒ＋２Ｇ＋Ｂ色成分値）ｓ０、ｓ、ｓ１としてもよい。

ｓ０＝ｓ０／ｇｓ
ｓ＝ｓ／ｇｓ
ｓ１＝ｓ１／ｇｓ
なお、上記では、Ｒ＋２Ｇ＋Ｂ色成分値ｓ０、ｓ、ｓ１を取得するための色空間変換が実行されるように、係数ｋｋ１〜ｋｋ６、オフセット値ｏｆｓ１〜ｏｆｓ３を設定したが、これに限定されることはなく、他の色空間変換により、他の色成分値となるｓ０、ｓ、ｓ１を取得するようにしてもよい。

つまり、カラー画像用補間部６１では、相関の高い水平方向の画素を利用し、同一色空間の成分値に変換されるように、係数ｋｋ１〜ｋｋ６、オフセット値ｏｆｓ１〜ｏｆｓ３を設定することで、色フィルタ配列に応じて設定することで、色フィルタ配列がどのようなものであっても、画素Ｐ１２、Ｐ２２、Ｐ３２の同一色空間成分値ｓ０、ｓ、ｓ１を取得することができる。

さらに、カラー画像用補間部６１は、以下の数式に相当する処理により、Ｇ色成分の画素値Ｇｏｕｔを取得する。

ｔ０＝（Ｐ１２＋Ｐ３２）／２
ｔ１＝（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ１
Ｇｏｕｔ＝ｔ０−ｔ１
ここで、上記処理の意味について、説明する。なお、説明を簡単にするために、Ｗ２１、Ｗ２２、Ｗ２３、Ｇ２１、Ｇ２３の画素値が既知であるときに、Ｇ２２の画素値を求める場合について説明する。

Ｗ２２の低周波成分Ｗ２２Ｌは、
Ｗ２２Ｌ＝（Ｗ２１＋２×Ｗ２２＋Ｗ２３）／４
である。したがって、Ｗ２２の高周波成分Ｗ２２Ｈは、
Ｗ２２Ｈ＝Ｗ２２−Ｗ２２Ｌ
＝−（Ｗ２１−２×Ｗ２２＋Ｗ２３）／４
である。

一方、Ｐ２２の緑色成分値Ｇ２２の低周波成分Ｇ２２Ｌは、
Ｇ２２Ｌ＝（Ｇ２１＋２×Ｇ２２＋Ｇ２３）／４
である。したがって、Ｇ２２の高周波成分Ｇ２２Ｈは、
Ｇ２２Ｈ＝Ｇ２２―Ｇ２２Ｌ
＝Ｇ２２／２―（Ｇ２１＋Ｇ２３）／４
である。

Ｐ２２において、各色成分の高周波成分がほぼ等しいと仮定すると、
Ｗ２２Ｈ≒Ｇ２２Ｈ
より、
Ｇ２２／２―（Ｇ２１＋Ｇ２３）／４≒−（Ｗ２１−２×Ｗ２２＋Ｗ２３）／４
となる。これをＧ２２について解くと、
Ｇ２２＝（Ｇ２１＋Ｇ２３）／２−（Ｗ２１−２×Ｗ２２＋Ｗ２３）／２
となる。

この式において、（Ｗ２０−２×Ｗ２２＋Ｗ２４）は、水平方向のラプラシアン成分（２次微分成分）であり、Ｇ２１とＧ２３の平均値からラプラシアン成分の１／２倍したものを減算することで、Ｐ２２の緑色成分値Ｇ２２を算出することができる。

この考え方を、適用して、カラー画像用補間部６１は、Ｇ１２、Ｇ３２、ｓ０、ｓ、ｓ１から、Ｇ色成分の画素値Ｇｏｕｔを取得する。

つまり、カラー画像用補間部６１は、
ｔ０＝（Ｇ１２＋Ｇ３２）／２
ｔ１＝（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ２
Ｇｏｕｔ＝ｔ０−ｔ１
により、Ｇ色成分の画素値Ｇｏｕｔを取得する。

なお、ｇａｉｎ２を「１／２」とすると、ｔ１は、ラプラシアン成分となるが、カラー画像用補間部６１において、ｇａｉｎ２の値を調整し、ラプラシアン成分を調整することで、Ｇｏｕｔの高周波成分量を調整することができる。例えば、撮像部Ｃ１の光学特性（例えば、撮像部Ｃ１に設けられる光学フィルタ等の特性）等に応じて、ｇａｉｎ２を調整することで（ラプラシアン成分を調整することで）、より品質の良い画素補間処理を行うことができる。

≪Ｍｇｏｕｔ≫
Ｍｇ色成分の画素値Ｍｇｏｕｔを取得するために、カラー画像用補間部６１は、以下の処理を行う。Ｍｇ色成分の画素値Ｍｇｏｕｔの取得処理（算出処理）を、図２５を用いて、説明する。

図２５は、図２３と同様に、中心画素（注目画素）がＹｅ画素である場合の５画素×５画素のマトリクス領域を示す図である。

カラー画像用補間部６１は、図２５に示す領域ＡＲ＿ｑ０に含まれるＰ１０〜Ｐ１４を用いて、以下の数式に相当する処理により、Ｐ１２のＭｇ色成分値ｑ０を取得する。

ｑ０＝（Ｐ１１＋Ｐ１３）／２−（Ｐ１０−２×Ｐ１２＋Ｐ１４）×ｇａｉｎ３
なお、（Ｐ１０−２×Ｐ１２＋Ｐ１４）は、ラプラシアン成分であり、ｇａｉｎ３は、ラプラシアン成分調整用のゲインである。

また、カラー画像用補間部６１は、図２５に示す領域ＡＲ＿ｑ１に含まれるＰ３０〜Ｐ３４を用いて、以下の数式に相当する処理により、Ｐ３２のＭｇ色成分値ｑ１を取得する。

ｑ１＝（Ｐ３１＋Ｐ３３）／２−（Ｐ３０−２×Ｐ３２＋Ｐ３４）×ｇａｉｎ４
なお、（Ｐ３０−２×Ｐ３２＋Ｐ３４）は、ラプラシアン成分であり、ｇａｉｎ４は、ラプラシアン成分調整用のゲインである。

そして、カラー画像用補間部６１は、以下の数式に相当する処理を行うことで、Ｐ２２のＭｇ色成分値Ｍｇｏｕｔを取得する。

Ｍｇｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０―２×ｓ＋ｓ１）×ｇａｉｎ５
なお、（ｓ０―２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ５は、ラプラシアン成分調整用のゲインである。

つまり、カラー画像用補間部６１は、水平方向に相関が高いことを利用して取得した、Ｐ１２のＭｇ色成分値ｑ０と、Ｐ３２のＭｇ色成分値ｑ１と、Ｐ１２のＲ＋２Ｇ＋Ｂ色成分値ｓ０と、Ｐ２２のＲ＋２Ｇ＋Ｂ色成分値ｓと、Ｐ３２のＲ＋２Ｇ＋Ｂ色成分値ｓ１とを用いて、Ｐ２２のＭｇ色成分値Ｍｇｏｕｔを取得する。これにより、カラー画像用補間部６１では、水平方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２のＭｇ色成分値Ｍｇｏｕｔ）を取得することができる。

なお、注目画素がＹｅ画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

≪垂直方向画素補間（カラー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「垂直方向」であると判定された場合、カラー画像用補間部６１は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のＹｅ色成分の画素値をＹｅｏｕｔとし、Ｃｙ色成分の画素値をＣｙｏｕｔとし、Ｇ色成分の画素値をＧｏｕｔとし、Ｍｇ色成分の画素値をＭｇｏｕｔとする。

（Ｖ−Ｙｅ：注目画素がＹｅ画素である場合）：
注目画素がＹｅ画素である場合、カラー画像用補間部６１は、以下の処理により、Ｙｅｏｕｔ、Ｃｙｏｕｔ、Ｇｏｕｔ、Ｍｇｏｕｔを取得する。

≪Ｙｅｏｕｔ≫
カラー画像用補間部６１は、注目画素の画素値Ｐ２２を、Ｙｅ色成分の画素値Ｙｅｏｕｔとする。

つまり、カラー画像用補間部６１は、
Ｙｅｏｕｔ＝Ｐ２２
とする。

≪Ｇｏｕｔ≫
Ｇ色成分の画素値Ｇｏｕｔを取得するために、カラー画像用補間部６１は、以下の処理を行う。Ｇ色成分の画素値Ｇｏｕｔの取得処理（算出処理）を、図２６を用いて、説明する。

図２６は、中心画素（注目画素）がＹｅ画素である場合の５画素×５画素のマトリクス領域を示す図である。

カラー画像用補間部６１は、Ｐ０２、Ｐ１２、Ｐ２２、Ｐ３２、Ｐ４２の５つの画素を用いて、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（Ｐ１２＋Ｐ３２）／２−（Ｐ０２−２×Ｐ２２＋Ｐ４２）×ｇａｉｎ２０
なお、（Ｐ０２−２×Ｐ２２＋Ｐ４２）は、ラプラシアン成分であり、ｇａｉｎ２０は、ラプラシアン成分調整用のゲインである。

≪Ｃｙｏｕｔ≫
カラー画像用補間部６１は、以下の処理により、Ｐ２２のＣｙ色成分値Ｃｙｏｕｔを取得する。

カラー画像用補間部６１は、図２７に示す領域ＡＲ＿ｓ０に含まれるＰ１１、Ｐ２１、Ｐ３１を用いて、以下の数式に相当する処理により、Ｐ２１のＭｇ−Ｃｙ色成分値ｓ０（＝Ｒ−Ｇ色成分値ｓ０）を取得する。

なお、Ｍｇ＝Ｒ＋Ｂであり、Ｃｙ＝Ｂ＋Ｇであるので、Ｍｇ−Ｃｙ＝（Ｒ＋Ｂ）−（Ｂ＋Ｇ）＝Ｒ−Ｇである。

ｓ０＝ｋｖ１×Ｐ２１＋ｋｖ２×｛（Ｐ１１＋Ｐ３１）／２｝＋ｏｆｓｖ１
ここで、ｋｖ１＝−１、ｋｖ２＝１、ｏｆｓｖ１＝０とすると、上式は、
ｓ０＝−Ｐ２１＋（Ｐ１１＋Ｐ３１）／２
となる。Ｐ２１の画素は、Ｃｙ成分画素であり、Ｐ１１およびＰ３１の画素は、Ｍｇ成分画素であるので、上式は、Ｐ２１のＭｇ−Ｃｙ色成分値（＝Ｒ−Ｇ色成分値）であるとみなすことができる。

また、カラー画像用補間部６１は、図２７に示す領域ＡＲ＿ｓに含まれるＰ１２、Ｐ２２、Ｐ３２を用いて、以下の数式に相当する処理により、Ｐ２２のＹｅ−２Ｇ色成分値ｓ（＝Ｒ−Ｇ色成分値ｓ）を取得する。

なお、Ｙｅ＝Ｒ＋Ｇであるので、Ｙｅ−２Ｇ＝（Ｒ＋Ｇ）−２Ｇ＝Ｒ−Ｇである。

ｓ＝ｋｖ３×Ｐ２２＋ｋｖ４×｛（Ｐ１２＋Ｐ３２）／２｝＋ｏｆｓｖ２
ここで、ｋｖ３＝１、ｋｖ４＝−２、ｏｆｓｖ２＝０とすると、上式は、
ｓ＝Ｐ２２−２×（Ｐ１２＋Ｐ３２）／２
となる。Ｐ２２の画素は、Ｙｅ成分画素であり、Ｐ１２およびＰ３２の画素は、Ｇ成分画素であるので、上式は、Ｐ２２のＹｅ−２Ｇ色成分値（＝Ｒ−Ｇ色成分値）であるとみなすことができる。

カラー画像用補間部６１は、図２７に示す領域ＡＲ＿ｓ１に含まれるＰ１３、Ｐ２３、Ｐ３３を用いて、以下の数式に相当する処理により、Ｐ２３のＭｇ−Ｃｙ色成分値ｓ１（＝Ｒ−Ｇ色成分値ｓ１）を取得する。

なお、Ｍｇ＝Ｒ＋Ｂであり、Ｃｙ＝Ｂ＋Ｇであるので、Ｍｇ−Ｃｙ＝（Ｒ＋Ｂ）−（Ｂ＋Ｇ）＝Ｒ−Ｇである。

ｓ１＝ｋｖ５×Ｐ２３＋ｋｖ６×｛（Ｐ１３＋Ｐ３３）／２｝＋ｏｆｓｖ３
ここで、ｋｖ５＝−１、ｋｖ６＝１、ｏｆｓｖ３＝０とすると、上式は、
ｓ１＝−Ｐ２３＋（Ｐ１３＋Ｐ３３）／２
となる。Ｐ２３の画素は、Ｃｙ成分画素であり、Ｐ１３およびＰ３３の画素は、Ｍｇ成分画素であるので、上式は、Ｐ２３のＭｇ−Ｃｙ色成分値（＝Ｒ−Ｇ色成分値）であるとみなすことができる。

このように、カラー画像用補間部６１では、相関の高い垂直方向の画素を利用し、同一色空間の成分値に変換されるように、係数ｋｖ１〜ｋｖ６、オフセット値ｏｆｓｖ１〜ｏｆｓｖ３を設定することで、画素Ｐ２１、Ｐ２２、Ｐ２３の同一色空間成分値（上記では、Ｒ−Ｇ色成分値）ｓ０、ｓ、ｓ１を取得することができる。

なお、下記数式に相当する処理を行い、画素Ｐ２１、Ｐ２２、Ｐ２３の同一色空間成分値（上記では、Ｒ−Ｇ色成分値）ｓ０、ｓ、ｓ１を所定の調整値ｇｖｓで調整し、調整後の値を、画素Ｐ２１、Ｐ２２、Ｐ２３の同一色空間成分値（上記では、Ｒ−Ｇ色成分値）ｓ０、ｓ、ｓ１としてもよい。

ｓ０＝ｓ０／ｇｖｓ
ｓ＝ｓ／ｇｖｓ
ｓ１＝ｓ１／ｇｖｓ
なお、上記では、Ｒ−Ｇ色成分値ｓ０、ｓ、ｓ１を取得するための色空間変換が実行されるように、係数ｋｖ１〜ｋｖ６、オフセット値ｏｆｓｖ１〜ｏｆｓｖ３を設定したが、これに限定されることはなく、他の色空間変換により、他の色成分値となるｓ０、ｓ、ｓ１を取得するようにしてもよい。

つまり、カラー画像用補間部６１では、相関の高い垂直方向の画素を利用し、同一色空間の成分値に変換されるように、係数ｋｖ１〜ｋｖ６、オフセット値ｏｆｓｖ１〜ｏｆｓｖ３を設定することで、色フィルタ配列に応じて設定することで、色フィルタ配列がどのようなものであっても、画素Ｐ２１、Ｐ２２、Ｐ２３の同一色空間成分値ｓ０、ｓ、ｓ１を取得することができる。

Ｐ２１のＭｇ−Ｃｙ色成分値ｓ０（＝Ｒ−Ｇ色成分値ｓ０）と、Ｐ２２のＹｅ−２Ｇ色成分値ｓ（＝Ｒ−Ｇ色成分値ｓ）と、Ｐ３２のＭｇ−Ｃｙ色成分値ｓ１（＝Ｒ−Ｇ色成分値ｓ１）とを、以下の数式に相当する処理により算出する。

ｓ０＝−Ｐ２１＋（Ｐ１１＋Ｐ３１）／２
ｓ＝Ｐ２２−２×（Ｐ１２＋Ｐ３２）／２
ｓ１＝−Ｐ２３＋（Ｐ１３＋Ｐ３３）／２
そして、カラー画像用補間部６１は、以下の数式に相当する処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（Ｒ２１＋Ｒ２３）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ２１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ２１は、ラプラシアン成分調整用のゲインである。

≪Ｍｇｏｕｔ≫
Ｍｇ色成分の画素値Ｍｇｏｕｔを取得するために、カラー画像用補間部６１は、以下の処理を行う。Ｍｇ色成分の画素値Ｍｇｏｕｔの取得処理（算出処理）を、図２８を用いて、説明する。

図２８は、図２６と同様に、中心画素（注目画素）がＹｅ画素である場合の５画素×５画素のマトリクス領域を示す図である。

カラー画像用補間部６１は、図２８に示す領域ＡＲ＿ｑ０に含まれるＰ０１〜Ｐ４１を用いて、以下の数式に相当する処理により、Ｐ２１のＭｇ色成分値ｑ０を取得する。

ｑ０＝（Ｐ１１＋Ｐ３１）／２−（Ｐ０１−２×Ｐ２１＋Ｐ４１）×ｇａｉｎｖ３
なお、（Ｐ０１−２×Ｐ２１＋Ｐ４１）は、ラプラシアン成分であり、ｇａｉｎｖ３は、ラプラシアン成分調整用のゲインである。

また、カラー画像用補間部６１は、図２８に示す領域ＡＲ＿ｑ１に含まれるＰ０３〜Ｐ４３を用いて、以下の数式に相当する処理により、Ｐ２３のＭｇ色成分値ｑ１を取得する。

ｑ１＝（Ｐ１３＋Ｐ３３）／２−（Ｐ０３−２×Ｐ２３＋Ｐ４３）×ｇａｉｎｖ４
なお、（Ｐ０３−２×Ｐ２３＋Ｐ４３）は、ラプラシアン成分であり、ｇａｉｎｖ４は、ラプラシアン成分調整用のゲインである。

そして、カラー画像用補間部６１は、以下の数式に相当する処理を行うことで、Ｐ２２のＭｇ色成分値Ｍｇｏｕｔを取得する。

Ｍｇｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０―２×ｓ＋ｓ１）×ｇａｉｎｖ５
なお、（ｓ０―２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎｖ５は、ラプラシアン成分調整用のゲインである。

つまり、カラー画像用補間部６１は、垂直方向に相関が高いことを利用して取得した、Ｐ２１のＭｇ色成分値ｑ０と、Ｐ２３のＭｇ色成分値ｑ１と、Ｐ２１のＲ−Ｇ色成分値ｓ０と、Ｐ２２のＲ−Ｇ色成分値ｓと、Ｐ２３のＲ−Ｇ色成分値ｓ１とを用いて、Ｐ２２のＭｇ色成分値Ｍｇｏｕｔを取得する。これにより、カラー画像用補間部６１では、垂直方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２のＭｇ色成分値Ｍｇｏｕｔ）を取得することができる。

なお、注目画素がＹｅ画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

≪第１斜め方向画素補間（カラー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「第１斜め方向」であると判定された場合、カラー画像用補間部６１は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のＹｅ色成分の画素値をＹｅｏｕｔとし、Ｃｙ色成分の画素値をＣｙｏｕｔとし、Ｇ色成分の画素値をＧｏｕｔとし、Ｍｇ色成分の画素値をＭｇｏｕｔとする。

（Ｄ１−Ｙｅ：注目画素がＹｅ画素である場合）：
注目画素がＹｅ画素である場合、カラー画像用補間部６１は、以下の処理により、Ｙｅｏｕｔ、Ｃｙｏｕｔ、Ｇｏｕｔ、Ｍｇｏｕｔを取得する。

≪Ｙｅｏｕｔ≫
カラー画像用補間部６１は、注目画素の画素値Ｐ２２を、Ｙｅ色成分の画素値Ｙｅｏｕｔとする。

つまり、カラー画像用補間部６１は、
Ｙｅｏｕｔ＝Ｐ２２
とする。

≪Ｍｇｏｕｔ≫
Ｍｇ色成分の画素値Ｍｇｏｕｔを取得するために、カラー画像用補間部６１は、以下の処理を行う。Ｍｇ色成分の画素値Ｍｇｏｕｔの取得処理（算出処理）を、図２９を用いて、説明する。

図２９は、中心画素（注目画素）がＧ画素である場合の５画素×５画素のマトリクス領域を示す図である。

カラー画像用補間部６１は、Ｐ００、Ｐ１１、Ｐ２２、Ｐ３３、Ｐ４４の５つの画素を用いて、以下の処理により、Ｐ２２のＭｇ色成分値Ｍｇｏｕｔを取得する。

Ｍｇｏｕｔ＝（Ｐ１１＋Ｐ３３）／２−（Ｐ００−２×Ｐ２２＋Ｐ４４）×ｇａｉｎ４０
なお、（Ｐ００−２×Ｐ２２＋Ｐ４４）は、ラプラシアン成分であり、ｇａｉｎ４０は、ラプラシアン成分調整用のゲインである。

≪Ｇｏｕｔ≫
カラー画像用補間部６１は、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

カラー画像用補間部６１は、図３０に示すように、Ｐ１３のＹｅ色成分値ｓ０と、Ｐ２２のＹｅ色成分値ｓと、Ｐ３１のＹｅ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｐ０２＋Ｐ２４）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２０＋Ｐ４２）／２
また、カラー画像用補間部６１は、図３０に示すように、Ｐ１３とＰ２２との中点のＧ色成分ｑ０と、Ｐ２２とＰ３１との中点のＧ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｐ１２＋Ｐ３４）／４
ｑ１＝（Ｐ１０＋３×Ｐ３２）／４
そして、カラー画像用補間部６１は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４１は、ラプラシアン成分調整用のゲインである。

このように、カラー画像用補間部６１は、第１斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記ではＹｅ色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記ではＧ色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。これにより、カラー画像用補間部６１では、第１斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２のＧ色成分値Ｇｏｕｔ）を取得することができる。

≪Ｃｙｏｕｔ≫
カラー画像用補間部６１は、図３１に示すように、Ｐ１３のＹｅ色成分値ｓ０と、Ｐ２２のＹｅ色成分値ｓと、Ｐ３１のＹｅ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｐ０２＋Ｐ２４）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２０＋Ｐ４２）／２
また、カラー画像用補間部６１は、図３１に示すように、Ｐ１３とＰ２２との中点のＣｙ色成分ｑ０と、Ｐ２２とＰ３１との中点のＣｙ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（Ｐ０１＋３×Ｐ２３）／４
ｑ１＝（３×Ｐ２１＋Ｐ４３）／４
そして、カラー画像用補間部６１は、以下の数式に相当する処理により、Ｐ２２のＣｙ色成分値Ｃｙｏｕｔを取得する。

Ｃｙｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４２
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４２は、ラプラシアン成分調整用のゲインである。

このように、カラー画像用補間部６１は、第１斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記ではＹｅ色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記ではＣｙ色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２のＣｙ色成分値Ｃｙｏｕｔを取得する。これにより、カラー画像用補間部６１では、第１斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２のＣｙ色成分値Ｃｙｏｕｔ）を取得することができる。

なお、注目画素がＹｅ画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

≪第２斜め方向画素補間（カラー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「第２斜め方向」であると判定された場合、カラー画像用補間部６１は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のＹｅ色成分の画素値をＹｅｏｕｔとし、Ｃｙ色成分の画素値をＣｙｏｕｔとし、Ｇ色成分の画素値をＧｏｕｔとし、Ｍｇ色成分の画素値をＭｇｏｕｔとする。

（Ｄ２−Ｙｅ：注目画素がＹｅ画素である場合）：
注目画素がＹｅ画素である場合、カラー画像用補間部６１は、以下の処理により、Ｙｅｏｕｔ、Ｃｙｏｕｔ、Ｇｏｕｔ、Ｍｇｏｕｔを取得する。

≪Ｙｅｏｕｔ≫
カラー画像用補間部６１は、注目画素の画素値Ｐ２２を、Ｙｅ色成分の画素値Ｙｅｏｕｔとする。

つまり、カラー画像用補間部６１は、
Ｙｅｏｕｔ＝Ｐ２２
とする。

≪Ｍｇｏｕｔ≫
Ｍｇ色成分の画素値Ｍｇｏｕｔを取得するために、カラー画像用補間部６１は、以下の処理を行う。Ｍｇ色成分の画素値Ｍｇｏｕｔの取得処理（算出処理）を、図３２を用いて、説明する。

図３２は、中心画素（注目画素）がＧ画素である場合の５画素×５画素のマトリクス領域を示す図である。

カラー画像用補間部６１は、Ｐ０４、Ｐ１３、Ｐ２２、Ｐ３１、Ｐ４０の５つの画素を用いて、以下の処理により、Ｐ２２のＭｇ色成分値Ｍｇｏｕｔを取得する。

Ｍｇｏｕｔ＝（Ｐ１３＋Ｐ３１）／２−（Ｐ０４−２×Ｐ２２＋Ｐ４０）×ｇａｉｎ５０
なお、（Ｐ０４−２×Ｐ２２＋Ｐ４０）は、ラプラシアン成分であり、ｇａｉｎ５０は、ラプラシアン成分調整用のゲインである。

≪Ｇｏｕｔ≫
カラー画像用補間部６１は、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

カラー画像用補間部６１は、図３３に示すように、Ｐ１１のＹｅ色成分値ｓ０と、Ｐ２２のＹｅ色成分値ｓと、Ｐ３３のＹｅ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｐ０２＋Ｐ２０）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２４＋Ｐ４２）／２
また、カラー画像用補間部６１は、図３３に示すように、Ｐ１１とＰ２２との中点のＧ色成分ｑ０と、Ｐ２２とＰ３３との中点のＧ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｐ１２＋Ｐ３０）／４
ｑ１＝（Ｐ１４＋３×Ｐ３２）／４
そして、カラー画像用補間部６１は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ５１は、ラプラシアン成分調整用のゲインである。

このように、カラー画像用補間部６１は、第２斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記ではＹｅ色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記ではＧ色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。これにより、カラー画像用補間部６１では、第２斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２のＧ色成分値Ｇｏｕｔ）を取得することができる。

≪Ｃｙｏｕｔ≫
カラー画像用補間部６１は、図３４に示すように、Ｐ１１のＹｅ色成分値ｓ０と、Ｐ２２のＹｅ色成分値ｓと、Ｐ３３のＹｅ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｐ０２＋Ｐ２０）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２４＋Ｐ４２）／２
また、カラー画像用補間部６１は、図３４に示すように、Ｐ１１とＰ２２との中点のＣｙ色成分ｑ０と、Ｐ２２とＰ３３との中点のＣｙ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（Ｐ０３＋３×Ｐ２１）／４
ｑ１＝（３×Ｐ２３＋Ｐ４１）／４
そして、カラー画像用補間部６１は、以下の数式に相当する処理により、Ｐ２２のＣｙ色成分値Ｃｙｏｕｔを取得する。

Ｃｙｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５２
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ５２は、ラプラシアン成分調整用のゲインである。

このように、カラー画像用補間部６１は、第２斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記ではＹｅ色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記ではＣｙ色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２のＣｙ色成分値Ｃｙｏｕｔを取得する。これにより、カラー画像用補間部６１では、第２斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２のＣｙ色成分値Ｃｙｏｕｔ）を取得することができる。

なお、注目画素がＹｅ画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

≪メディアン補間（カラー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素について「いずれの方向にも相関がない」と判定された場合、カラー画像用補間部６１は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のＹｅ色成分の画素値をＹｅｏｕｔとし、Ｃｙ色成分の画素値をＣｙｏｕｔとし、Ｇ色成分の画素値をｏｕｔとし、Ｍｇ色成分の画素値をＭｇｏｕｔとする。

（Ｍ−Ｙｅ：注目画素がＹｅ画素である場合）：
注目画素（中心画素）がＹｅ画素である場合、カラー画像用補間部６１は、以下の数式に相当する処理により、Ｙｅｏｕｔ、Ｃｙｏｕｔ、Ｇｏｕｔ、Ｍｇｏｕｔを取得する。

Ｇｏｕｔ＝ｍｅｄｉｕｍ（Ｐ１２，Ｐ３２，（Ｐ１０＋Ｐ３０＋Ｐ１２＋Ｐ３２）／４，（Ｐ１２＋Ｐ３２＋Ｐ１４＋Ｐ３４）／４）
Ｃｙｏｕｔ＝ｍｅｄｉｕｍ（Ｐ２１，Ｐ２３，（Ｐ０１＋Ｐ０３＋Ｐ２１＋Ｐ２３）／４，（Ｐ２１＋Ｐ２３＋Ｐ４１＋Ｐ４３）／４）
Ｙｅｏｕｔ＝Ｐ２２
Ｍｇｏｕｔ＝ｍｅｄｉｕｍ（Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３）
なお、ｍｅｄｉｕｍ（）は、メディアン値を取得する関数である。ｍｅｄｉｕｍ（）は、要素数が偶数の場合、中央の２つの値の平均値をとるものとする。

また、注目画素がＹｅ画素以外の場合も、上記と同様の方法により処理することで、カラー画像領域用のメディアン補間処理を実行することができる。

≪平均値補間（カラー画像領域用）≫
画素補間法決定部５により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、カラー画像用補間部６１は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

（Ａｖｅ−Ｙｅ：注目画素がＹｅ画素である場合）：
注目画素（中心画素）がＹｅ画素である場合、カラー画像用補間部６１は、以下の数式に相当する処理により、Ｙｅｏｕｔ、Ｃｙｏｕｔ、Ｇｏｕｔ、Ｍｇｏｕｔを取得する。

Ｇｏｕｔ＝（Ｐ１２＋Ｐ３２）／２
Ｃｙｏｕｔ＝（Ｐ２１＋Ｐ２３）／２
Ｙｅｏｕｔ＝Ｐ２２
Ｍｇｏｕｔ＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３）／４
なお、注目画素がＹｅ画素以外の場合も、上記と同様の方法により処理することで、カラー画像領域用の平均値補間処理を実行することができる。

以上の処理により、カラー画像用補間部６１では、画素ごとに、Ｙｅｏｕｔ、Ｃｙｏｕｔ、Ｇｏｕｔ、Ｍｇｏｕｔが取得される。そして、取得されたＹｅｏｕｔ、Ｃｙｏｕｔ、Ｇｏｕｔ、Ｍｇｏｕｔにより形成される画像（画素ごとに４つの色成分値（Ｙｅ色成分値、Ｍｇ色成分値、Ｇ色成分値、Ｃｙ色成分値）を持つ画像信号）は、選択部６４に出力される。

選択部６４では、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄに基づいて、信号逆補正部６３から出力される画像信号と、カラー画像用補間部６１から出力される画像信号とのいずれか一方が選択される。そして、選択された画像信号は、画像信号Ｄ２として、補正処理部７に出力される。

例えば、相関方向が「垂直方向」であり、画素補間方法が「カラー画像領域用画素補間法」である場合、相関方向を垂直方向とするカラー画像領域用画素補間法を実行することにより取得された画像信号が、選択部６４により、選択され、当該画像信号が、補正処理部７に出力される。

なお、補間部６は、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄにより決定される相関方向および画素補間方法により実行された画像信号が、補間部６から補正処理部７に出力される構成を有していればよい。したがって、補間部６の構成は、図１に示した構成に限定されず、他の構成であってもよい。

また、補間部６は、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄにより決定される相関方向および画素補間方法による画素補間処理のみが実行されるように構成されていてもよい。

（１．２．７：補正処理部７での処理）
次に、補正処理部７での処理について、説明する。

補正処理部７の第１マトリックス変換部７１において、入力された画像信号Ｄ２は、マトリックス変換処理が実行され、ＲＧＢ色空間の画像信号Ｄ３に変換される。

具体的には、画像信号Ｄ２の第１色成分画素信号、第２色成分画素信号、第３色成分画素信号、および、第４色成分画素信号（の信号値）を、それぞれ、ｃｏｌｏｒ１、ｃｏｌｏｒ２、ｃｏｌｏｒ３、および、ｃｏｌｏｒ４とすると、第１マトリックス変換部７１は、

に相当する処理により、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号を取得する。

なお、ａ_１１〜ａ_３４は、色空間変換を行うための変換行列の要素である。また、ｏｆｆｓｅｔ＿Ｒ、ｏｆｆｓｅｔ＿Ｇ、および、ｏｆｆｓｅｔ＿Ｂは、オフセット値である。

本実施形態では、
ｃｏｌｏｒ１＝Ｙｅ
ｃｏｌｏｒ２＝Ｃｙ
ｃｏｌｏｒ３＝Ｇ
ｃｏｌｏｒ４＝Ｍｇ
であるので、Ｙｅ−Ｃｙ―Ｇ−Ｍｇ色空間を、ＲＧＢ色空間に変換するように、変換行列の要素ａ_１１〜ａ_３４が決定される。

上記色空間変換のための変換行列を、４色配列フィルタの色に応じて決定することで、４色配列フィルタを構成する色フィルタがどのようなものであっても、第１マトリックス変換部７１において、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号を取得することができる。

上記により取得されたＲ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号により構成される画像信号は、画像信号Ｄ３として、第１マトリックス変換部７１から、色空間処理部７２および彩度取得部７３に出力される。

なお、画像信号Ｄ２にＷ成分画素信号（白色成分画素信号）が含まれる場合、第１マトリックス変換部７１は、入力された当該Ｗ成分画素信号を、色空間処理部７２に出力する。

色空間処理部７２では、第１マトリックス変換部７１から出力されたＲＧＢ色空間（あるいはＷＲＧＢ色空間）の画像信号Ｄ３がＹＣｂＣｒ色空間の画像信号Ｄ４に変換される。色空間処理部７２での具体的処理について、以下、説明する。

色空間処理部７２の輝度信号取得部７２１では、図３Ａに示すように、第１マトリックス変換部７１から出力されるＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号が入力される。そして、輝度信号取得部７２１では、以下の数式に相当する処理により、輝度信号Ｙ０が取得される。

Ｙ０＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
なお、Ｒ、Ｇ、Ｂは、注目画素のＲ色成分値、Ｇ色成分値、Ｂ色成分値である。

選択信号生成部７２２では、画素補間法決定部５から出力された、画素ごとの相関方向および画素補間方法に関する情報から選択信号が生成される。具体的には、以下のようにして、選択信号が生成される。なお、図３Ａでは図示していないが、選択信号生成部７２２には、注目画素（処理対象の画素）の色成分についての情報が入力されているものとする。

４色配列フィルタにＷ色フィルタが含まれている場合、選択信号生成部７２２および輝度信号出力部７２３は、以下の処理を行う。
（１）注目画素がＷ画素以外であり、相関方向が「第１斜め方向」または「第２斜め方向」であり、「第１斜め方向」または「第２斜め方向」において、注目画素とＷ画素とが隣接するように配置されている場合、選択信号生成部７２２は、Ｗ信号の選択を指示する選択信号を輝度信号出力部７２３に出力する。一方、相関方向が上記以外の場合、選択信号生成部７２２は、Ｙ０信号の選択を指示する選択信号を輝度信号出力部７２３に出力する。
（２）注目画素がＷ画素以外であり、相関方向が「垂直方向」であり、「垂直方向」において、注目画素とＷ画素とが隣接するように配置されている場合、選択信号生成部７２２は、Ｗ信号の選択を指示する選択信号を輝度信号出力部７２３に出力する。一方、相関方向が上記以外の場合、選択信号生成部７２２は、Ｙ０信号の選択を指示する選択信号を輝度信号出力部７２３に出力する。
（３）注目画素がＷ画素以外であり、相関方向が「水平方向」であり、「水平方向」において、注目画素とＷ画素とが隣接するように配置されている場合、選択信号生成部７２２は、Ｗ信号の選択を指示する選択信号を輝度信号出力部７２３に出力する。一方、相関方向が上記以外の場合、選択信号生成部７２２は、Ｙ０信号の選択を指示する選択信号を輝度信号出力部７２３に出力する。
（４）注目画素がＷ画素である場合、選択信号生成部７２２は、常に、Ｗ信号の選択を指示する選択信号を輝度信号出力部７２３に出力する。
（５）注目画素について「いずれの方向にも相関がない」と判定された場合（メディアン補間により画素補間処理が実行された場合）、選択信号は、輝度信号出力部７２３にて、Ｗ信号と、Ｙ０信号の平均値が出力されるようにする信号とする。

以上のようにして、選択信号生成部７２２で生成された選択信号に従い、輝度信号出力部７２３では、Ｗ信号（Ｗ成分画素信号）およびＹ０信号からＹ信号（Ｙ成分画素信号）を生成し、生成したＹ信号（Ｙ成分画素信号）を第２マトリックス変換部７５に出力する。

このように、色空間処理部７２では、４色配列フィルタにＷ成分画素が含まれる場合であって、注目画素のＷ成分値が、Ｗ画素から取得された場合は、Ｗ色信号（Ｗ成分画素信号）をＹ成分信号（Ｙｏｕｔ信号）とし、それ以外の場合は、Ｒ色成分値、Ｇ色成分値およびＢ色成分値から変換により取得された輝度信号Ｙ０をＹ成分信号（Ｙ成分画素信号）とする。したがって、色空間処理部７２では、精度の高い輝度信号成分（Ｙ成分画素信号）を取得することができる。

また、色空間処理部７２では、減算器７２４、７２６、および、ゲイン調整部７２５、７２７により、Ｙ信号（Ｙ成分画素信号）と、Ｒ成分信号（Ｒ成分画素信号）と、Ｂ信号成分（Ｂ成分画素信号）とから、Ｃｂ成分信号（Ｃｂ成分画素信号）およびＣｒ成分信号（Ｃｒ成分画素信号）が取得される。つまり、Ｃｂ成分画素信号およびＣｒ成分画素信号が、精度の良いＹ成分画素信号から取得されたものであるため、Ｃｂ成分画素信号およびＣｒ成分画素信号も精度の良い信号となる。

なお、色空間処理部７２は、図３Ｂに示す構成を有するものであってもよい。この場合、第１マトリックス変換部７１から出力されるＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号が色空間変換部７２１Ａに入力される。そして、色空間変換部７２１Ａでは、以下の数式に相当する処理（ＲＧＢ−ＹＣｂＣｒ色空間変換処理）により、輝度成分画素信号Ｙ０、Ｃｂ成分画素信号、およびＣｒ成分画素信号が取得される。

Ｙ０＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｒ＝０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
Ｃｂ＝−０．１６９×Ｒ−０．３３２×Ｇ＋０．５００×Ｂ
このようにして取得された輝度成分画素信号Ｙ０は、色空間変換部７２１Ａから輝度信号出力部７２３に出力され、輝度信号出力部７２３において、上記で説明したのと同様の処理が実行される。

また、上記処理により取得された、Ｃｂ成分画素信号、およびＣｒ成分画素信号は、色空間変換部７２１Ａから色差補正部７４に出力される。

彩度取得部７３では、第１マトリックス変換部７１から出力された画像信号Ｄ３に含まれるＲ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号から、彩度値Ｓが取得される。

具体的には、彩度取得部７３は、ＲＧＢ色空間をＨＳＶ色空間（Ｈ：色相、Ｓ：彩度、Ｖ：明度）に変換する処理を利用して、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号から、（画素ごとに）彩度値Ｓを取得する。

そして、彩度取得部７３により（画素ごとに）取得された彩度値Ｓ（彩度信号Ｓ）は、色差補正部７４に出力される。

色差補正部７４では、彩度取得部７３から出力される彩度値Ｓに基づいて、色空間処理部７２から出力されるＣｂ成分画素信号およびＣｒ成分画素信号に対して、色差成分補正処理が実行される。

具体的には、彩度値Ｓを閾値ＴＨｓと比較し、
（１）Ｓ＞ＴＨｓである場合、
色差補正部７４は、
Ｃｂ’＝Ｃｂ
Ｃｒ’＝Ｃｒ
として、Ｃｂ成分画素信号Ｃｂ’およびＣｒ成分画素信号Ｃｒ’を第２マトリックス変換部７５に出力する。
（２）Ｓ≦ＴＨｓである場合、
色差補正部７４は、
Ｃｂ’＝ｋｓ×Ｃｂ
Ｃｒ’＝ｋｓ×Ｃｒ
０≦ｋｓ≦１
として、Ｃｂ成分画素信号Ｃｂ’およびＣｒ成分画素信号Ｃｒ’を第２マトリックス変換部７５に出力する。

なお、この場合（Ｓ≦ＴＨｓである場合）、
色差補正部７４は、
Ｃｂ’＝０
Ｃｒ’＝０
とし、つまり、Ｃｂ成分値およびＣｒ成分値を「０」（無彩色の信号）として、Ｃｂ成分画素信号Ｃｂ’およびＣｒ成分画素信号Ｃｒ’を第２マトリックス変換部７５に出力するようにしてもよい。

また、上記の場合（Ｓ≦ＴＨｓである場合）、
色差補正部７４は、
Ｃｂ’＝ｆ（Ｃｂ）
Ｃｒ’＝ｆ（Ｃｒ）
とし、Ｃｂ成分画素信号Ｃｂ’およびＣｒ成分画素信号Ｃｒ’を第２マトリックス変換部７５に出力するようにしてもよい。なお、関数ｆ（ｘ）は、入力信号ｘのレベルを小さくする関数であれば、どのような関数でもあってもよい。

このように、色差補正部７４において、精度の高い画素補間処理後の画像信号Ｄ３を用いて取得した精度の高い彩度値Ｓに基づいて、色差成分画素信号の補正を行うことで、より偽色発生等の副作用を適切に低減することができる。

画素補間処理部１００では、信号補正部１により、信号レベルの補正を行った画像信号Ｄ１を用いて、彩度評価値の算出、グレー相関値の算出、グレー画像用補間処理が実行される。また、画素補間処理部１００では、カラー画像用補間処理においても、相関方向を考慮し、ラプラシアン成分を用いた画素補間処理を行うため、精度の高い画素補間処理が実行される。

つまり、画素補間処理部１００では、上記のように、精度の高い画素補間処理を実行することができるので、精度の高い画素補間処理後の画像信号Ｄ２を取得することができる。

そして、この精度の高い画素補間処理後の画像信号Ｄ２を用いて、彩度取得部７３により、彩度値Ｓを算出することで、精度の高い彩度値Ｓを取得することができる。さらに、この精度の高い彩度値Ｓに基づいて、色差補正部７４により、上記のように、色差画素信号の補正処理を行うことで、注目画素が、グレー画像領域に含まれる画素である可能性が高い場合、当該注目画素の色成分を適切に低減し、偽色発生等の副作用を適切に防止することができる。

以上のようにして取得された色差補正処理後の色差成分信号Ｃｂ’、Ｃｒ’は、第２マトリックス変換部７５に出力される。

第２マトリックス変換部７５では、色空間処理部７２から出力されるＹ成分画素信号と、色差補正部７４から出力される補正後のＣｂ成分画素信号Ｃｂ’およびＣｒ成分画素信号Ｃｒ’とに対して、ＹＣｂＣｒ色空間をＲＧＢ色空間に変換する処理が実行される。つまり、第２マトリックス変換部７５では、ＹＣｂＣｒ色空間の画像信号を、ＲＧＢ色空間の画像信号に変換する処理が実行される。

そして、上記色空間変換後のＲ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号により構成される画像信号Ｄｏｕｔが、第２マトリックス変換部７５から出力される。

以上のように、撮像装置１０００では、信号補正部１により、撮像部Ｃ１の４色フィルタの配列に応じて、信号レベルの補正を行い、当該補正後の画像信号Ｄ１を用いて、彩度評価値算出処理、グレー相関値算出処理が実行される。また、撮像装置１０００では、画素補間法決定部５が、カラー相関値算出処理により取得された４つのカラー相関値Ｃｘ＿ｃｏｌｏｒと、４つのグレー相関値Ｃｘ＿ｇｒａｙと、彩度評価係数ＫＬとを用いて、相関方向および画素補間方法とを決定する。そして、撮像装置１０００では、決定された相関方向および画素補間方法により、補間部６が、カラー画像用の画素補間処理、または、グレー画像用の画素補間処理を、相関方向を考慮したラプラシアン成分を用いて、実行する。そして、このラプラシアン成分を用いた画素補間は、撮像部Ｃ１の４色フィルタの配列に応じて、色空間変換を行い、同一色空間成分を有する色成分値を取得し、相関方向の変化率を適切に考慮して実行されるため、４色フィルタの配列がどのようなものであっても、精度の高い画素補間処理を実現することができる。

このように、撮像装置１０００では、撮像部Ｃ１の４色フィルタの配列がどのようなものであっても、精度の高い画素補間処理が実行された画像信号Ｄ２を取得することができる。

さらに、撮像装置１０００では、精度の高い画素補間処理が実行された画像信号Ｄ２を用いて、精度の高い彩度値Ｓを取得し、精度の高い画素補間処理が実行された画像信号Ｄ２から取得されたＹＣｂＣｒ色空間の画像信号の色差成分画素信号を補正する。これにより、偽色発生等の副作用を適切に防止することができる。

以上のように、撮像装置１０００では、撮像部Ｃ１の４色フィルタの配列がどのようなものであっても、適切に画素補間処理を行うことができる。

［第２実施形態］
次に、第２実施形態について、説明する。

なお、本実施形態において、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

図３５は、第２実施形態の撮像装置２０００の概略構成図である。

撮像装置２０００は、第１実施形態の撮像装置１０００の画素補間処理部１００を画素補間処理部２００に置換した構成を有している。

画素補間処理部２００は、第１の画素補間処理部１００において、グレー相関値算出部４を、グレー相関値算出部４Ａに置換し、境界検出部８を追加した構成を有している。

境界検出部８は、画像信号Ｄ＿ｒａｗ（画像Ｄ＿ｒａｗ）を入力し、入力された画像Ｄ＿ｒａｗにおいて、グレー画像領域と、カラー画像領域との境界部分を検出する。そして、境界検出部８は、検出したカラー領域／グレー領域境界部分についての情報をグレー相関値算出部４Ａに出力する。

グレー相関値算出部４Ａは、信号補正部１から出力される画像信号Ｄ１と、境界検出部８から出力されるカラー領域／グレー領域境界部分についての情報とを入力する。

（２．１：グレー画像領域用相関値算出処理）
グレー相関値算出部４Ａによるグレー画像領域用相関値算出処理について、以下、説明する。

グレー相関値算出部４Ａは、信号補正部１から出力された画像Ｄ１上の注目画素（処理対象の画素）について、以下の４つのグレー画像領域用の相関値を算出する。
（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ
（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ
（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ
（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ
上記（Ｂ１）〜（Ｂ４）のグレー画像領域用の相関値の算出処理について、以下、説明する。

≪（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ≫
まず、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理について、図３６を用いて、説明する。

図３６は、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

グレー相関値算出部４Ａは、図３６に示すように、画素Ｐ０１〜Ｐ０３、Ｐ１１〜Ｐ１３、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３からなる領域ＡＲ６１において、垂直方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４Ａは、以下の数式に相当する処理を行うことで、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙを取得する。

ｓｕｍ＝｛ａｂｓ（Ｐ０２―Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２２）
＋ａｂｓ（Ｐ２２−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４２）｝×ｇｖ
＋ａｂｓ（Ｐ０１−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２１）
＋ａｂｓ（Ｐ２１−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４１）
＋ａｂｓ（Ｐ０３−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２３）
＋ａｂｓ（Ｐ２３−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４３）
Ｃｖ＿ｇｒａｙ＝ｓｕｍ／（４＋ｇｖ×２）
つまり、グレー相関値算出部４Ａは、領域ＡＲ６１の中心の列についての重み付けをゲイン値ｇｖで調整することができる。例えば、図３６に示すように、点線Ｌ１の左側の画像領域がカラー画像領域であり、点線Ｌ１の右側の画像領域がグレー画像領域である場合、グレー相関値算出部４Ａは、境界検出部８から出力されるカラー領域／グレー領域境界部分についての情報により、カラー領域／グレー領域境界部分が点線Ｌ１に相当する部分であると判断し、領域ＡＲ６１の中央列の差分値の比率（重み付け）が高くなるように、例えば、
ｇｖ＝２
に設定する。これにより、グレー相関値算出処理において、領域ＡＲ６１の中央列の重要度を上げて評価することができるようになるため、カラー領域／グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域／グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。

≪（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ≫
次に、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理について、図３７を用いて、説明する。

図３７は、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

グレー相関値算出部４Ａは、図３７に示すように、画素Ｐ１０〜Ｐ１４、Ｐ２０〜Ｐ２４、Ｐ３０〜Ｐ３４からなる領域ＡＲ７１において、水平方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４Ａは、以下の数式に相当する処理を行うことで、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙを取得する。

ｓｕｍ＝ａｂｓ｛（Ｐ２０―Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ２２）
＋ａｂｓ（Ｐ２２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ２４）｝×ｇｈ
＋ａｂｓ（Ｐ１０−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ１２）
＋ａｂｓ（Ｐ１２−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ１４）
＋ａｂｓ（Ｐ３０−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ３２）
＋ａｂｓ（Ｐ３２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ３４）
Ｃｈ＿ｇｒａｙ＝ｓｕｍ／（４＋ｇｈ×２）
つまり、グレー相関値算出部４Ａは、領域ＡＲ７１の中心の行についての重み付けをゲイン値ｇｈで調整することができる。例えば、図３７に示すように、点線Ｌ２の上側の画像領域がカラー画像領域であり、点線Ｌ２の下側の画像領域がグレー画像領域である場合、グレー相関値算出部４Ａは、境界検出部８から出力されるカラー領域／グレー領域境界部分についての情報により、カラー領域／グレー領域境界部分が点線Ｌ２に相当する部分であると判断し、領域ＡＲ７１の中央行の差分値の比率（重み付け）が高くなるように、例えば、
ｇｈ＝２
に設定する。これにより、グレー相関値算出処理において、領域ＡＲ７１の中央行の重要度を上げて評価することができるようになるため、カラー領域／グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域／グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。

≪（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ≫
次に、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理について、図３８を用いて、説明する。

図３８は、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

グレー相関値算出部４Ａは、図３８に示すように、第１斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４Ａは、以下の数式に相当する処理を行うことで、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙを取得する。

ｓｕｍ＝｛ａｂｓ（Ｐ００―Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４４）｝×ｇｄ１
＋ａｂｓ（Ｐ１０−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４３）
＋ａｂｓ（Ｐ０１−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３４）
Ｃｄ１＿ｇｒａｙ＝ｓｕｍ／（３＋ｇｄ１×２）
つまり、グレー相関値算出部４Ａは、中心ライン（図３８のＰ００〜Ｐ４４のライン）についての重み付けをゲイン値ｇｄ１で調整することができる。例えば、図３８に示すように、点線Ｌ３の左側の画像領域がカラー画像領域であり、点線Ｌ３の右側の画像領域がグレー画像領域である場合、グレー相関値算出部４Ａは、境界検出部８から出力されるカラー領域／グレー領域境界部分についての情報により、カラー領域／グレー領域境界部分が点線Ｌ３に相当する部分であると判断し、中央ライン（図３８のＰ００〜Ｐ４４のライン）の差分値の比率（重み付け）が高くなるように、例えば、
ｇｄ１＝１．５
に設定する。これにより、グレー相関値算出処理において、中央ラインの重要度を上げて評価することができるようになるため、カラー領域／グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域／グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。

≪（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ≫
次に、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理について、図３９を用いて、説明する。

図３９は、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

グレー相関値算出部４Ａは、図３９に示すように、第２斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４Ａは、以下の数式に相当する処理を行うことで、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙを取得する。

ｓｕｍ＝｛ａｂｓ（Ｐ０４―Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４０）｝×ｇｄ２
＋ａｂｓ（Ｐ０３−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３０）
＋ａｂｓ（Ｐ１４−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４１）
Ｃｄ２＿ｇｒａｙ＝ｓｕｍ／（３＋ｇｄ２×２）
つまり、グレー相関値算出部４Ａは、中心ライン（図３９のＰ０４〜Ｐ４０のライン）についての重み付けをゲイン値ｇｄ２で調整することができる。例えば、図３９に示すように、点線Ｌ４の左側の画像領域がカラー画像領域であり、点線Ｌ４の右側の画像領域がグレー画像領域である場合、グレー相関値算出部４Ａは、境界検出部８から出力されるカラー領域／グレー領域境界部分についての情報により、カラー領域／グレー領域境界部分が点線Ｌ４に相当する部分であると判断し、中央ライン（図３９のＰ０４〜Ｐ４０のライン）の差分値の比率（重み付け）が高くなるように、例えば、
ｇｄ２＝１．５
に設定する。これにより、グレー相関値算出処理において、中央ラインの重要度を上げて評価することができるようになるため、カラー領域／グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域／グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。

以上により、グレー相関値算出部４Ａにより取得されたグレー画像領域用相関値（Ｃｖ＿ｇｒａｙ、Ｃｈ＿ｇｒａｙ、Ｃｄ１＿ｇｒａｙ、Ｃｄ２＿ｇｒａｙ）は、画素補間法決定部５に出力される。

このように、第２実施形態の撮像装置２０００では、境界検出部８により検出されたカラー画像領域とグレー画像領域との境界に関する情報に基づいて、グレー相関値算出部４Ａが、中央ラインにおける相関度評価値の影響度（重み付け）を調整することができる。したがって、撮像装置２０００では、カラー画像領域とグレー画像領域との境界において生じやすい偽色発生現象を効果的に抑制することができる。

なお、偽色は、垂直方向、あるいは、水平方向に、カラー画像領域とグレー画像領域との境界が存在するときに発生しやすい。したがって、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理用の調整値ｇｖ、および、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理用の調整値ｇｈを、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理用の調整値ｇｄ１、および、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理用の調整値ｇｄ２よりも大きな値とすることが好ましい。

以上のように、撮像装置２０００では、第１実施形態と同様に、撮像部Ｃ１の４色フィルタの配列がどのようなものであっても、適切に画素補間処理を行うことができ、さらに、カラー画像領域とグレー画像領域との境界における偽色発生を効果的に抑制することができる。

［他の実施形態］
上記実施形態では、画素補間処理を実数演算により実行する場合を想定して説明している部分があるが、整数演算により、画素補間処理を実行するようにしてもよい。また、画素補間処理において、所定のビット数を使用した場合の制約や、所定のダイナミックレンジ内で処理を実行するために、適宜、ゲイン調整やクリップ処理を実行するようにしてもよい。

上記実施形態の撮像装置の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。

上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

１０００、２０００ 撮像装置
Ｃ１ 撮像部
Ｃ２ 信号処理部
１００ 画素補間処理部（画素補間処理装置）
１ 信号補正部
２ カラー相関値算出部
３ 彩度評価値算出部
４ グレー相関値算出部
５ 画素補間法決定部
６ 補間部
６１ カラー画像用補間部
６２ グレー画像用補間部
６３ 信号逆補正部
６４ 選択部
７ 補正処理部
７１ 第１マトリックス変換部
７２ 色空間処理部
７３ 彩度取得部
７４ 色差補正部
７５ 第２マトリックス変換部

Claims (16)

1. 異なる４色のフィルタであって、第１色フィルタ、第２色フィルタ、第３色フィルタおよび第４色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、前記第１色フィルタを介して取得される第１色画素信号と、前記第２色フィルタを介して取得される第２色画素信号と、前記第３色フィルタを介して取得される第３色画素信号と、前記第４色フィルタを介して取得される第４色画素信号と、から構成される前記画像信号に対して、画素補間処理を行う画素補間処理装置であって、
   前記第１色画素信号、前記第２色画素信号、前記第３色画素信号、および、前記第４色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第１〜第４色画素信号から構成される画像信号を第１画像信号として出力する信号補正部と、
   前記信号補正部から出力される前記第１画像信号に基づいて、前記第１画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出部と、
   前記第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をグレー相関度として取得するグレー相関値算出部と、
   前記第１〜第４色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をカラー相関度として取得するカラー相関値算出部と、
   前記彩度評価値算出部により取得された前記彩度評価値と、前記グレー相関値算出部により取得されたグレー相関度と、前記カラー相関値算出部により取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
   前記画素補間法決定部により決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第２画像信号を取得する補間部と、
   前記補間部により取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理部と、
   を備える画素補間処理装置。
2. 補間部は、
   前記画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記第１〜第４色画素信号から構成される画像信号により形成される画像に対して、カラー画像用の画素補間処理を実行するカラー画像用補間部と、
   前記画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記信号補正部から出力される前記第１画像信号により形成される画像に対して、グレー画像用の画素補間処理を実行するグレー画像用補間部と、
   前記グレー画像用補間部により、グレー画像用の画素補間処理が実行された画像信号に対して、前記信号補正部により補正された信号レベルを、当該補正前の信号レベルと略同一となるように、信号レベルの逆補正を行う信号逆補正部と、
   前記画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記カラー画像用の画素補間法により処理された画像信号を前記第２画像信号として取得し、前記画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記信号逆補正部により処理された画像信号を前記第２画像信号として取得し、取得した前記第２画像信号を前記補正処理部に出力する選択部と、
   を備える、
   請求項１に記載の画素補間処理装置。
3. 前記補正処理部は、
   前記補間部により取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、ＲＧＢ色空間の画像信号を取得する第１マトリックス変換部と、
   前記第１マトリックス変換部により取得された前記ＲＧＢ色空間の画像信号をＹＣｂＣｒ色空間の画像信号に変換する色空間処理部と、
   前記前記第１マトリックス変換部により取得された前記ＲＧＢ色空間の画像信号から、彩度信号を取得する彩度取得部と、
   前記彩度取得部により取得された彩度信号に基づいて、前記色空間処理部により取得された前記ＹＣｂＣｒ色空間の画像信号のＣｂ成分信号およびＣｒ成分信号に対して、補正処理を行う色差補正部と、
   前記色空間処理部により取得された前記ＹＣｂＣｒ色空間の画像信号のＹ成分信号と、前記色差補正部により補正された前記Ｃｂ成分信号および前記Ｃｒ成分信号とに対して、色空間変換を行うことで、ＲＧＢ色空間の画像信号を取得する第２マトリックス変換部と、
   を備える請求項１又は２に記載の画素補間処理装置。
4. 前記第１〜第４色画素信号から構成される画像信号により形成される画像上におけるカラー画像領域とグレー画像領域との境界部分を検出する境界検出部をさらに備え、
   前記グレー相関値算出部は、
   前記境界検出部により検出された前記カラー画像領域とグレー画像領域との境界部分が、グレー相関度算出のための画像領域に含まれる場合、グレー相関度算出の対象としている相関方向と平行なライン上であって、前記グレー相関度算出のための画像領域内の中央の領域に含まれる画素について、重み付けを大きくすることで、当該画素のグレー相関度算出処理における影響度を強くして、前記グレー相関度を取得する、
   請求項１から３のいずれかに記載の画素補間処理装置。
5. 前記補間部は、
   前記相関度に基づいて、相関の高い方向があると判定される場合において、
   （１）画素補間処理の対象の第１色の色成分画素と同色の色成分画素と第２色の色成分画素が、画像上において、前記相関の高い方向に存在する場合、前記第２色の色成分画素の画素値を用いて前記相関の高い方向の変化率を第１変化率として取得し、前記注目画素の第１色成分画素値を、前記相関の高い方向に存在する第１色の色成分画素と、取得した前記第１変化率とに基づいて、取得することで、前記注目画素に対して、画素補間処理を行い、
   （２）画素補間処理の対象の色成分画素と同色の色成分画素が、画像上において、前記相関の高い方向に存在していない場合、前記相関の高い方向と直交する方向において、色空間変換して、同一色相の色成分画素値を取得し、取得した色成分画素値の前記相関の高い方向と直交する方向の変化率を第２変化率として取得し、取得した前記第２変化率に基づいて、前記注目画素に対して画素補間処理を行う、
   請求項１から４のいずれかに記載の画素補間処理装置。
6. 前記補間部は、色空間変換して取得した同一色相の前記色成分画素値の前記第２変化率を、前記色成分画素値のラプラシアン成分量に基づいて算出する、
   請求項５に記載の画素補間処理装置。
7. 前記補間部は、
   画素補間処理の対象の第１色の色成分画素と同色の色成分画素が、前記相関の高い方向である相関方向に存在せず、前記相関方向と直交する方向において、注目画素の位置をｐｏｓ１とし、前記注目画素を挟む位置をｐｏｓ０およびｐｏｓ２とし、位置ｐｏｓ０の第１色成分画素値をＰ１とし、位置ｐｏｓ２の第１色成分画素値をＰ２とし、位置ｐｏｓ０、ｐｏｓ１、ｐｏｓ２から導出される前記第１色以外の色成分画素値から導出されるラプラシアン成分量をＬａｐとし、ラプラシアン成分量の調整ゲインをｇａｉｎとしたとき、前記注目画素の第１色の色成分値Ｐｏｕｔを、
   Ｐｏｕｔ＝（Ｐ１＋Ｐ２）／２−Ｌａｐ×ｇａｉｎ
   により取得する、
   請求項６に記載の画素補間処理装置。
8. 前記補間部は、前記注目画素の第１の色成分の画素値を補間する場合であって、前記画素補間法決定部に決定された相関度の高い方向である相関方向において、前記注目画素を挟むように隣接する２つの第１の色成分の画素の画素値の平均値から、前記相関方向に配置されている複数の第２の色成分の画素値から算出したラプラシアン成分値を減算することで、前記注目画素の前記第１の色成分の画素値を補間する、
   請求項１から７のいずれかに記載の画素補間処理装置。
9. 前記補間部は、前記ラプラシアン成分値をゲイン調整し、ゲイン調整後の前記ラプラシアン成分を、前記注目画素を挟むように隣接する２つの第１の色成分の画素の画素値の平均値から減算することで、前記注目画素の前記第１の色成分の画素値を補間する、
   請求項８に記載の画素補間処理装置。
10. 前記グレー相関値算出部は、前記画像上における水平方向の相関度と垂直方向の相関度、および、第１斜め方向の相関度と前記第１斜め方向に直交する第２斜め方向の相関度を取得し、
    前記カラー相関値算出部は、前記画像上における水平方向の相関度と垂直方向の相関度、および、第１斜め方向の相関度と前記第１斜め方向に直交する第２斜め方向の相関度を取得する、
    請求項１から９のいずれかに記載の画素補間処理装置。
11. 前記彩度評価値算出部は、注目画素を中心とする５画素×５画素の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得し、
    前記グレー相関値算出部は、注目画素を中心とする５画素×５画素の画像領域において、前記相関度を取得し、
    前記カラー相関値算出部は、注目画素を中心とする５画素×５画素の画像領域において、前記相関度を取得する、
    請求項１から１０のいずれかに記載の画素補間処理装置。
12. 前記彩度評価値算出部は、
    前記注目画素を中心とする５画素×５画素の画像領域に含まれる第１色の色成分画素の画素値の平均値をｐ００＿ｃｏｌｏｒ１とし、
    前記注目画素を中心とする５画素×５画素の画像領域に含まれる第２色の色成分画素の画素値の平均値をｐ０１＿ｃｏｌｏｒ２とし、
    前記注目画素を中心とする５画素×５画素の画像領域に含まれる第３色の色成分画素の画素値の平均値をｐ１０＿ｃｏｌｏｒ３とし、
    前記注目画素を中心とする５画素×５画素の画像領域に含まれる第４色の色成分画素の画素値の平均値をｐ１１＿ｃｏｌｏｒ４とし、
    所定の色成分差分値を取得するための係数を、ｋ０１、ｋ０２、ｋ０３、ｋ０４、ｋ１１、ｋ１２、ｋ１３、ｋ１４とし、オフセット値を、ｏｆｆｓｅｔ０、ｏｆｆｓｅｔ１とすると、
    

    

    
    に相当する処理を実行することで、２つの色成分差分値ｃｏｌｏｒ＿ｄｉｆｆ０およびｃｏｌｏｒ＿ｄｉｆｆ１を取得し、
    ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
    ＝ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ０）＋ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ１）
    ａｂｓ（ｘ）：ｘの絶対値を取得する関数
    に相当する処理を実行することで、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを取得し、
    取得した平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを用いて、前記画像領域の前記彩度評価値を取得する、
    請求項１１に記載の画素補間処理装置。
13. 前記彩度評価値算出部は、
    （１）前記注目画素を中心とする５画素×５画素の画像領域において、前記注目画素と、前記注目画素と垂直方向、水平方向、および、斜め方向に隣接する８つの画素との差に基づいて、全体評価値ｇｌ＿ｃｏｌｏｒを取得し、
    （２）前記注目画素を中心とする５画素×５画素の画像領域において、垂直方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、垂直方向評価値ｖ＿ｃｏｌｏｒを取得し、
    （３）前記注目画素を中心とする５画素×５画素の画像領域において、水平方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、水平方向評価値ｈ＿ｃｏｌｏｒを取得し、
    （４）前記注目画素を中心とする５画素×５画素の画像領域において、第１斜め方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、第１斜め方向評価値ｄ１＿ｃｏｌｏｒを取得し、
    （５）前記注目画素を中心とする５画素×５画素の画像領域において、第１斜め方向と直交する第２斜め方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、第２斜め方向評価値ｄ２＿ｃｏｌｏｒを取得し、
    前記平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ、前記全体評価値ｇｌ＿ｃｏｌｏｒ、前記垂直方向評価値ｖ＿ｃｏｌｏｒ、前記水平方向評価値ｈ＿ｃｏｌｏｒ、前記第１斜め方向評価値ｄ１＿ｃｏｌｏｒ、および、前記第２斜め方向評価値ｄ２＿ｃｏｌｏｒの少なくとも１つに基づいて、前記画像領域の前記彩度評価値を取得する、
    請求項１２に記載の画素補間処理装置。
14. 異なる４色のフィルタが所定のパターンで配列されている色フィルタを有し、被写体光から画像信号を取得する撮像部と、
    前記画像信号に対して、画素補間処理を行う、請求項１から１３のいずれかに記載の画素補間処理装置と、
    を備える撮像装置。
15. 異なる４色のフィルタであって、第１色フィルタ、第２色フィルタ、第３色フィルタおよび第４色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、前記第１色フィルタを介して取得される第１色画素信号と、前記第２色フィルタを介して取得される第２色画素信号と、前記第３色フィルタを介して取得される第３色画素信号と、前記第４色フィルタを介して取得される第４色画素信号と、から構成される前記画像信号に対して、画素補間処理を行う画素補間処理方法を、コンピュータに実行させるプログラムであって、
    前記第１色画素信号、前記第２色画素信号、前記第３色画素信号、および、前記第４色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第１〜第４色画素信号から構成される画像信号を第１画像信号として出力する信号補正ステップと、
    前記信号補正ステップから出力される前記第１画像信号に基づいて、前記第１画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出ステップと、
    前記第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をグレー相関度として取得するグレー相関値算出ステップと、
    前記第１〜第４色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をカラー相関度として取得するカラー相関値算出ステップと、
    前記彩度評価値算出ステップにより取得された前記彩度評価値と、前記グレー相関値算出ステップにより取得されたグレー相関度と、前記カラー相関値算出ステップにより取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定ステップと、
    前記画素補間法決定ステップにより決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第２画像信号を取得する補間ステップと、
    前記補間ステップにより取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理ステップと、
    を備える画素補間処理方法を、コンピュータに実行させるプログラム。
16. 異なる４色のフィルタであって、第１色フィルタ、第２色フィルタ、第３色フィルタおよび第４色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、前記第１色フィルタを介して取得される第１色画素信号と、前記第２色フィルタを介して取得される第２色画素信号と、前記第３色フィルタを介して取得される第３色画素信号と、前記第４色フィルタを介して取得される第４色画素信号と、から構成される前記画像信号に対して、画素補間処理を行う集積回路であって、
    前記第１色画素信号、前記第２色画素信号、前記第３色画素信号、および、前記第４色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第１〜第４色画素信号から構成される画像信号を第１画像信号として出力する信号補正部と、
    前記信号補正部から出力される前記第１画像信号に基づいて、前記第１画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出部と、
    前記第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をグレー相関度として取得するグレー相関値算出部と、
    前記第１〜第４色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をカラー相関度として取得するカラー相関値算出部と、
    前記彩度評価値算出部により取得された前記彩度評価値と、前記グレー相関値算出部により取得されたグレー相関度と、前記カラー相関値算出部により取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
    前記画素補間法決定部により決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第２画像信号を取得する補間部と、
    前記補間部により取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理部と、
    を備える集積回路。

Images