JP6012375B2 - 画素補間処理装置、撮像装置、プログラムおよび集積回路 - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置で実行される信号処理に関する。特に、画素補間技術に関する。

デジタルカメラ等の撮像装置で利用されるＣＣＤ型イメージセンサ、ＣＭＯＳ型イメージセンサなどの撮像素子では、色フィルタを介して受光された光が光電変換により電気信号に変換され、画素信号として出力される。この色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の撮像素子からは１画素について１色の画素信号が出力される。たとえば、ＲＧＢ系色フィルタを用いた場合、１画素についてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）いずれかの色成分の画素信号が出力される。

このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理により取得する必要がある。そして、この補間処理には、様々なアルゴリズムが用いられている。たとえば、水平方向の相関度と垂直方向の相関度とを算出し、相関度の高い方向の画素を用いて画素補間を行う方法が行われている。また、注目画素と周辺画素の距離に応じて重み付けを行った上で画素補間を行う方法などが行われている。

下記特許文献１に開示されている技術では、ベイヤ配列（ＲＧＢ色フィルタ）の撮像素子により取得された画像の中のグレー領域とカラー領域を判別し、画像領域の特性に応じた画素補間を適用させるようにしている。特許文献１の技術では、特に、グレー領域とカラー領域との境界に位置する領域について偽色の発生を抑える工夫がなされている。具体的には、特許文献１の技術では、グレー領域とカラー領域との境界にある領域に対して、相関方向については、グレー画像用の判定方法を用いて相関方向の判定処理を行い、画素補間については、カラー画像領域用の画素補間方法を用いて、画素補間処理を行う。これにより、特許文献１の技術では、画素補間処理による偽色の発生を低減させることができる。

特開２００６−１８６９６５号公報

ところで、色フィルタとしてＷＲＧＢ配列等の４色フィルタを有する撮像装置がある。ＷＲＧＢ配列の色フィルタを有する単板式の撮像素子を用いた場合、１画素について、Ｗ（無色）、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）のいずれか１つの画素信号が出力される。

特許文献１の技術では、ベイヤ配列（ＲＧＢ色フィルタ）の撮像素子を前提としており、色フィルタ配列のパターンの異なるＷＲＧＢ配列等の４色フィルタを有する単板式の撮像素子に、特許文献１の技術をそのまま適用することは困難である。

そこで、本発明は、上記課題に鑑み、ＷＲＧＢ配列等の４色フィルタを有する単板式の撮像素子により取得された画像信号に対して、適切に画素補間処理を行うことができる画素補間処理装置、撮像装置、プログラムおよび集積回路を実現することを目的とする。

上記課題を解決するために、第１の発明は、異なる４色のフィルタが所定のパターンで配列された色フィルタを有し、少なくともＷ色用画素を含む撮像部により取得される画像に対して、画素補間処理を行う画素補間処理装置であって、彩度評価値取得部と、相関度取得部と、画素補間法決定部と、補間部と、色空間変換部と、を備える。

彩度評価値取得部は、画像の所定の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。

相関度取得部は、注目画素の周辺領域の画素データを用いて、画像上において直交する２方向の複数組の相関度を取得する。

画素補間法決定部は、彩度評価値取得部により取得された彩度評価値と、相関度取得部により取得された相関度とに基づいて、注目画素の画素補間方法を決定する。

補間部は、画素補間法決定部により決定された画素補間方法により、画像に対して、画素補間処理を実行し、少なくともＷ色成分値を規定する所定の色空間の画像データを取得する。

色空間変換部は、補間部により取得された色空間の画像データにおいて、
（１）注目画素がＷ色成分画素である場合、または、注目画素のＷ色成分信号が注目画素の周辺のＷ色成分画素を用いて補間処理により取得された場合、補間部により取得された当該注目画素のＷ色成分信号を輝度信号として採用し、当該輝度信号と、補間部により取得された当該注目画素のＷ色成分信号以外の第１色成分信号、第２色成分信号とを用いて色差信号を取得し、
（２）注目画素がＷ色成分画素ではなく、かつ、注目画素のＷ色成分信号が注目画素の周辺のＷ色成分画素を用いて補間処理により取得されていない場合、補間部により取得された当該注目画素のＷ色成分信号以外の第１色成分信号、第２色成分信号および第３色成分信号から輝度信号を生成し、当該輝度信号と、補間部により取得された当該注目画素の第１色成分信号、第２色成分信号とを用いて色差信号を取得する。

この画素補間処理装置では、ＷＲＧＢ配列等の４色フィルタを有する単板式の撮像部（撮像素子）により取得された画像信号（Ｒａｗ画像）に対して、注目画素の周辺領域の画素データを用いて、直角に交わる２方向の複数組の相関度を求め、この相関度を判定基準として画素補間処理を実行する。そして、この画素補間処理装置では、第１色成分信号（例えば、Ｒ成分信号）、第２色成分信号（例えば、Ｇ成分信号）および第３色成分信号（例えば、Ｂ成分信号）から生成された輝度信号と、Ｗ色成分信号から生成された輝度信号とを適応的に選択することにより、より精度の高い画素補間処理を実行し、より精度の高い輝度信号、色差信号（例えば、ＹＣｂＣｒ信号）を取得することができる。

また、この画素補間処理装置では、注目画素の周辺領域の彩度評価値を算出し、彩度評価値に基づいて相関判定方法と画素補間方法とを選択する。そして、この画素補間処理装置では、Ｗ画素を含む４色配列（例えば、ＷＲＧＢ配列やＷＹＭＣ配列（Ｙ：イエロー、Ｍ：マゼンタ、Ｃ：シアン）等）に最適な彩度評価値の算出処理を適用することにより、相関方向の判定誤りや誤補間を防止することができ、画素補間処理における偽色の低減を図ることが可能となる。

このように、この画素補間処理装置では、ＷＲＧＢ配列等の４色フィルタを有する単板式の撮像素子により取得された画像信号に対して、適切に画素補間処理を行うことができる。

第２の発明は、第１の発明であって、色フィルタは、ＷＲＧＢ配列の色フィルタである。所定の色空間は、ＷＲＧＢ色空間である。第１色成分信号は、Ｒ色成分信号である。第２色成分信号は、Ｂ色成分信号である。第３色成分信号は、Ｇ色成分信号である。

この画素補間処理装置では、ＷＲＧＢ配列の４色フィルタを有する単板式の撮像部（撮像素子）により取得された画像信号（Ｒａｗ画像）に対して、注目画素の周辺領域の画素データを用いて、直角に交わる２方向の複数組の相関度を求め、この相関度を判定基準として画素補間処理を実行する。そして、この画素補間処理装置では、第１色成分信号（Ｒ成分信号）、第２色成分信号（Ｇ成分信号）および第３色成分信号（Ｂ成分信号）から生成された輝度信号と、Ｗ色成分信号から生成された輝度信号とを適応的に選択することにより、より精度の高い画素補間処理を実行し、より精度の高い輝度信号、色差信号（例えば、ＹＣｂＣｒ信号）を取得することができる。

また、この画素補間処理装置では、注目画素の周辺領域の彩度評価値を算出し、彩度評価値に基づいて相関判定方法と画素補間方法とを選択する。そして、この画素補間処理装置では、ＷＲＧＢ配列に最適な彩度評価値の算出処理を適用することにより、相関方向の判定誤りや誤補間を防止することができ、画素補間処理における偽色の低減を図ることが可能となる。

このように、この画素補間処理装置では、ＷＲＧＢ配列の４色フィルタを有する単板式の撮像素子により取得された画像信号に対して、適切に画素補間処理を行うことができる。

第３の発明は、第２の発明であって、相関度取得部は、画像上における水平方向、垂直方向、および、第１斜め方向と第１斜め方向に直交する第２斜め方向の相関度を取得する。

これにより、この画素補間処理装置では、画像上における水平方向、垂直方向、および、第１斜め方向と第１斜め方向に直交する第２斜め方向の相関度を用いて、画素補間処理を実行することができる。なお、第１斜め方向は水平方向または垂直方向と４５度の角度をなす方向であることが好ましい。

第４の発明は、第１から第３のいずれかの発明であって、彩度評価値取得部は、注目画素を中心とする５画素×５画素の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。相関度取得部は、注目画素を中心とする５画素×５画素の画像領域において、相関度を取得する。

これにより、この画素補間処理装置では、５画素×５画素の画像領域を用いて、彩度評価、相関度取得を行うことができる。また、５画素×５画素の画像領域を用いることで、注目画素の色成分が、Ｗ、Ｒ、Ｇ、Ｂである場合の合計４パターンに分類して、処理を実行することができる。

第５の発明は、第１から第４のいずれかの発明であって、補間部は、注目画素の第１の色成分の画素値を補間する場合であって、画素補間法決定部に決定された相関度の高い方向である相関方向において、注目画素を挟むように隣接する２つの第１の色成分の画素の画素値の平均値から、相関方向に配置されている複数の第２の色成分の画素値から算出したラプラシアン成分値を減算することで、注目画素の第１の色成分の画素値を補間する。

これにより、この画素補間処理装置では、相関方向の１画素単位での変化率を考慮した画素補間処理を行うことができる。その結果、この画素補間処理装置では、より高精度な画素補間処理を実現することができる。

なお、「第１の色成分」は、ＷＲＧＢのいずれかの色成分であり、「第２の色成分」は、第１の色成分以外の色成分である。また、「第２の色成分」としては、ＷＲＧＢのいずれかの色成分だけでなく、他の色成分（例えば、Ｗ−Ｒ色成分や、Ｂ＋Ｇ色成分、Ｗ−Ｇ色成分、Ｗ−Ｂ色成分等）であってもよい。

第６の発明は、第５の発明であって、補間部は、ラプラシアン成分値をゲイン調整し、ゲイン調整後のラプラシアン成分値を、注目画素を挟むように隣接する２つの第１の色成分の画素の画素値の平均値から減算することで、注目画素の第１の色成分の画素値を補間する。

この画素補間処理装置では、ラプラシアン成分値を調整して画素補間処理を行うことができるので、例えば、撮像部の光学特性（イメージセンサや光学フィルタの光学特性）に応じて、ラプラシアン成分値を調整することで、より高精度な画素補間処理を実現することができる。

第７の発明は、撮像部と、第１から第６のいずれかの発明である画素補間処理装置と、を備える。

撮像部は、異なる４色のフィルタが所定のパターンで配列された色フィルタを有し、少なくともＷ色用画素を含み、被写体光から画像信号を取得する。

これにより、第１から第５のいずれかの発明である画素補間処理装置を搭載した撮像装置を実現することができる。

第８の発明は、異なる４色のフィルタが所定のパターンで配列された色フィルタを有し、少なくともＷ色用画素を含む撮像部により取得される画像に対して、画素補間処理を行う画素補間処理方法を、コンピュータに実行させるプログラムである。

画素補間処理方法は、彩度評価値取得ステップと、相関度取得ステップと、画素補間法決定ステップと、補間ステップと、色空間変換ステップと、を備える。

彩度評価値取得ステップは、画像の所定の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。

相関度取得ステップは、注目画素の周辺領域の画素データを用いて、画像上において直交する２方向の複数組の相関度を取得する。

画素補間法決定ステップは、彩度評価値取得ステップにより取得された彩度評価値と、相関度取得ステップにより取得された相関度とに基づいて、注目画素の画素補間方法を決定する。

補間ステップは、画素補間法決定ステップにより決定された画素補間方法により、画像に対して、画素補間処理を実行し、少なくともＷ色成分値を規定する所定の色空間の画像データを取得する。

色空間変換ステップは、補間ステップにより取得された色空間の画像データにおいて、
（１）注目画素がＷ色成分画素である場合、または、注目画素のＷ色成分信号が注目画素の周辺のＷ色成分画素を用いて補間処理により取得された場合、補間ステップにより取得された当該注目画素のＷ色成分信号を輝度信号として採用し、当該輝度信号と、補間ステップにより取得された当該注目画素のＷ色成分信号以外の第１色成分信号、第２色成分信号とを用いて色差信号を取得し、
（２）注目画素がＷ色成分画素ではなく、かつ、注目画素のＷ色成分信号が注目画素の周辺のＷ色成分画素を用いて補間処理により取得されていない場合、補間ステップにより取得された当該注目画素のＷ色成分信号以外の第１色成分信号、第２色成分信号および第３色成分信号から輝度信号を生成し、当該輝度信号と、補間ステップにより取得された当該注目画素の第１色成分信号、第２色成分信号とを用いて色差信号を取得する。

これにより、第１の発明と同様の効果を奏するプログラムを実現することができる。

第９の発明は、異なる４色のフィルタが所定のパターンで配列された色フィルタを有し、少なくともＷ色用画素を含む撮像部により取得される画像に対して、画素補間処理を行う集積回路であって、彩度評価値取得部と、相関度取得部と、画素補間法決定部と、補間部と、色空間変換部と、を備える。

彩度評価値取得部は、画像の所定の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。

相関度取得部は、注目画素の周辺領域の画素データを用いて、画像上において直交する２方向の複数組の相関度を取得する。

画素補間法決定部は、彩度評価値取得部により取得された彩度評価値と、相関度取得部により取得された相関度とに基づいて、注目画素の画素補間方法を決定する。

補間部は、画素補間法決定部により決定された画素補間方法により、画像に対して、画素補間処理を実行し、少なくともＷ色成分値を規定する所定の色空間の画像データを取得する。

色空間変換部は、補間部により取得された色空間の画像データにおいて、
（１）注目画素がＷ色成分画素である場合、または、注目画素のＷ色成分信号が注目画素の周辺のＷ色成分画素を用いて補間処理により取得された場合、補間部により取得された当該注目画素のＷ色成分信号を輝度信号として採用し、当該輝度信号と、補間部により取得された当該注目画素のＷ色成分信号以外の第１色成分信号、第２色成分信号とを用いて色差信号を取得し、
（２）注目画素がＷ色成分画素ではなく、かつ、注目画素のＷ色成分信号が注目画素の周辺のＷ色成分画素を用いて補間処理により取得されていない場合、補間部により取得された当該注目画素の第１色成分信号、第２色成分信号および第３色成分信号から輝度信号を生成し、当該輝度信号と、補間部により取得された当該注目画素の第１色成分信号、第２色成分信号とを用いて色差信号を取得する。

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

本発明によれば、ＷＲＧＢ配列等の４色フィルタを有する単板式の撮像素子により取得された画像信号に対して、適切に画素補間処理を行うことができる画素補間処理装置、撮像装置、プログラムおよび集積回路を実現することができる。

第１実施形態に係る撮像装置１０００の概略構成図。 第１実施形態に係る色空間変換部３５の概略構成図。 ＷＲＧＢ配列の画素を模式的に示す図。 ５画素×５画素のマトリクス領域を示す図。 ５画素×５画素のマトリクス領域を示す図。 ５画素×５画素のマトリクス領域を示す図。 垂直方向評価値の取得処理を説明するための図。 水平方向評価値の取得処理を説明するための図。 第１斜め方向評価値の取得処理を説明するための図。 第２斜め方向評価値の取得処理を説明するための図。 彩度評価値Ｌと彩度評価係数ＫＬとの関係を示す図。 カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒの算出処理を説明するための図。 カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒの算出処理を説明するための図。 カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒの算出処理を説明するための図。 カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒの算出処理を説明するための図。 グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理を説明するための図。 グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理を説明するための図。 グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図。 グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理を説明するための図。 彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により選択される相関判定方法および画素補間方法の種別を示す図。 判定用相関値Ｃｖ，Ｃｈの決定方法についてのフローチャート。 判定用相関値Ｃｄ１，Ｃｄ２の決定方法についてのフローチャート。 判定用相関値Ｃｖ，Ｃｈから相関方向を決定するための関係図。 判定用相関値Ｃｄ１，Ｃｄ２から相関方向を決定するための関係図。 中心画素がＧ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＧ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＧ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＲ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＲ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＲ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＢ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＢ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＢ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＷ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＷ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＷ画素の場合の水平方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＧ画素の場合の垂直方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＧ画素の場合の垂直方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＧ画素の場合の垂直方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＧ画素の場合の第１斜め方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＧ画素の場合の第１斜め方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＧ画素の場合の第１斜め方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＧ画素の場合の第２斜め方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＧ画素の場合の第２斜め方向画素補間（カラー画像領域用）を説明するための図。 中心画素がＧ画素の場合の第２斜め方向画素補間（カラー画像領域用）を説明するための図。

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

＜１．１：撮像装置の構成＞
図１Ａは、第１実施形態に係る撮像装置１０００の概略構成図である。

撮像装置１０００は、図１Ａに示すように、被写体光を光電変換により画像信号として取得する撮像部１と、撮像部１により取得された画像信号に対して所定の信号処理を行う信号処理部２と、信号処理部２により所定の信号処理が施された画像信号に対して画素補間処理を行う画素補間処理部３と、を備える。

撮像部１は、光学系と、ＷＲＧＢ配列色フィルタと、撮像素子とを備える。

光学系は、１または複数のレンズからなり、被写体光を集光し、被写体光を撮像素子面に結像させる。なお、光学系は、露光調整、フォーカス調整機能等を有するものであってもよい。

ＷＲＧＢ配列色フィルタは、Ｗ成分用色フィルタ、Ｒ成分用色フィルタ、Ｇ成分用色フィルタおよびＢ成分用色フィルタの４つ色成分フィルタを含み、所定のパターンにより構成されている。ＷＲＧＢ配列色フィルタは、撮像素子の撮像素子面上に配置される。なお、Ｗ成分用色フィルタは、無色透明のフィルタとしてもよいが、フィルタを設けない構成としてもよい。つまり、Ｗ色成分用フィルタの下に位置する画素では、Ｗ成分用の画素信号、すなわち、輝度信号が取得されればよいので、Ｗ成分用の画素信号を取得する画素上に、色フィルタを設けない構成としてもよい。

撮像素子は、複数の画素を有しており、光学系で集光され、ＷＲＧＢ配列色フィルタを介して、撮像素子面上に結像された被写体光を光電変換により画像信号（電気信号）に変換する。撮像素子は、Ｗ成分取得用の画素において、Ｗ成分画素信号を取得し、Ｒ成分取得用の画素において、Ｒ成分画素信号を取得する。また、撮像素子は、Ｇ成分取得用の画素において、Ｇ成分画素信号を取得し、Ｂ成分取得用の画素において、Ｂ成分画素信号を取得する。撮像素子は、各画素で取得した画素信号（Ｗ成分画素信号、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号）を、画像信号として信号処理部２に出力する。

信号処理部２は、撮像部１から出力される画像信号を入力とし、入力された画像信号に対して、所定の信号処理（例えば、ゲイン調整処理、ホワイトバランス調整処理、ガンマ調整処理等）を行う。信号処理部２は、所定の信号処理を施した画像信号を、画像信号Ｄ＿ｒａｗとして、画素補間処理部３に出力する。

画素補間処理部３は、図１Ａに示すように、彩度評価値算出部３１と、相関値算出部３２と、画素補間法決定部３３と、補間部３４と、色空間変換部３５と、を備える。

彩度評価値算出部３１は、信号処理部２から出力される画像信号Ｄ＿ｒａｗ（画像信号Ｄ＿ｒａｗにより形成される１枚の画像（１フレーム画像）を画像Ｄ＿ｒａｗと表現する。以下、同様。）を入力とする。彩度評価値算出部３１は、画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、彩度評価値Ｌを算出し、さらに、彩度評価値Ｌを所定の関数により正規化した彩度評価係数ＫＬ（０≦ＫＬ≦１）を取得する（詳細については後述する）。そして、彩度評価値算出部３１は、画像Ｄ＿ｒａｗ上の画素ごとに取得した彩度評価係数ＫＬを画素補間法決定部３３に出力する。

相関値算出部３２は、信号処理部２から出力される画像信号Ｄ＿ｒａｗを入力とする。相関値算出部３２は、画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の８つの相関値を算出する（詳細については後述する）。
（Ａ１）カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒ
（Ａ２）カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒ
（Ａ３）カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒ
（Ａ４）カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒ
（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ
（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ
（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ
（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ
相関値算出部３２は、画像Ｄ＿ｒａｗ上の画素ごとに取得した上記８つの相関値を画素補間法決定部３３に出力する。

画素補間法決定部３３は、彩度評価値算出部３１から出力される画素ごとの彩度評価係数ＫＬと、相関値算出部３２から出力される画素ごとの相関値とを入力とする。画素補間法決定部３３は、画素ごとに、彩度評価係数ＫＬと、相関値とに基づいて、相関方向と、画素補間方法とを決定する（詳細については後述する）。そして、画素補間法決定部３３は、画素ごとに決定した相関方向と、画素補間方法とに関する情報を、補間部３４に出力する。また、画素補間法決定部３３は、画素ごとに決定した相関方向に関する情報を色空間変換部３５に出力する。

補間部３４は、信号処理部２から出力される画像信号Ｄ＿ｒａｗと、画素補間法決定部３３から出力される画素ごとに決定された相関方向および画素補間方法に関する情報と、を入力とする。補間部３４は、画像Ｄ＿ｒａｗの画素ごとに、画素補間法決定部３３により決定された相関方向および画素補間方法により、全ての画素がＷ成分、Ｒ成分、Ｇ成分、Ｂ成分を持つように、画素補間処理を行う（詳細については後述する）。そして、補間部３４は、画素補間処理後の画像信号（全ての画素がＷ成分、Ｒ成分、Ｇ成分、Ｂ成分を有する画像信号）を、画像信号Ｄ１として、色空間変換部３５に出力する。

色空間変換部３５は、補間部３４から出力される画像信号Ｄ１と、画素補間法決定部３３から出力される相関方向に関する情報とを入力とする。色空間変換部３５は、ＷＲＧＢ色空間の信号である画像信号Ｄ１を、ＹＣｂＣｒ色空間の信号に変換する。そして、色空間変換部３５は、色空間変換後の画像信号を、画像信号Ｄｏｕｔとして出力する。

色空間変換部３５は、図１Ｂに示すように、輝度信号取得部３５１と、選択信号生成部３５２と、輝度信号出力部３５３と、減算器３５４、３５６と、ゲイン調整部３５５、３５７とを備える。

輝度信号取得部３５１は、補間部３４から出力されるＲ成分信号、Ｇ成分信号およびＢ成分信号を入力とする。輝度信号取得部３５１は、入力されたＲ成分信号、Ｇ成分信号およびＢ成分信号から輝度信号Ｙ０を取得し、輝度信号出力部３５３に出力する。

選択信号生成部３５２は、画素補間法決定部３３から出力される画素ごとの相関方向に関する情報を入力とし、当該相関方向に関する情報に基づいて、選択信号を生成する。そして、選択信号生成部３５２は、生成した選択信号を輝度信号出力部３５３に出力する。

輝度信号出力部３５３は、輝度信号取得部３５１から出力された輝度信号Ｙ０と、補間部３４から出力されたＷ色成分信号Ｗとを入力とし、選択信号生成部３５２から出力される選択信号とを入力とする。輝度信号出力部３５３は、選択信号に従って、輝度信号Ｙ０およびＷ色成分信号Ｗから輝度信号Ｙｏｕｔを生成して出力する。

減算器３５４は、輝度信号出力部３５３から出力された輝度信号Ｙｏｕｔと、補間部３４から出力されたＢ色成分信号とを入力とし、減算処理を行い、Ｂ−Ｙ信号（＝Ｂ色成分信号−輝度信号Ｙｏｕｔ）信号を取得し、取得したＢ−Ｙ信号をゲイン調整部３５５に出力する。

ゲイン調整部３５５は、減算器３５４から出力されたＢ−Ｙ信号に対して所定のゲイン調整を行うことでＣｂ信号を取得し、取得したＣｂ信号を出力する。

減算器３５６は、輝度信号出力部３５３から出力された輝度信号Ｙｏｕｔと、補間部３４から出力されたＲ色成分信号とを入力とし、減算処理を行い、Ｒ−Ｙ信号（＝Ｒ色成分信号−輝度信号Ｙｏｕｔ）信号を取得し、取得したＲ−Ｙ信号をゲイン調整部３５７に出力する。

ゲイン調整部３５７は、減算器３５６から出力されたＲ−Ｙ信号に対して所定のゲイン調整を行うことでＣｒ信号を取得し、取得したＣｒ信号を出力する。

＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１０００の動作について、以下、説明する。

図２は、ＷＲＧＢ配列色フィルタ１１におけるＷ成分用色フィルタ、Ｒ成分用色フィルタ、Ｇ成分用色フィルタおよびＢ成分用色フィルタの配列パターンの一例を示す図である。図２に示すように、ＷＲＧＢ配列色フィルタでは、ある一列において、Ｇ、Ｒ、Ｇ、Ｒ、・・・と、緑色フィルタと赤色フィルタとが交互に配列されていると、その次の一列において、Ｂ、Ｗ、Ｂ、Ｗ、・・・と、青色フィルタと白色フィルタ（フィルタがない部分）とが交互に配列されている。

≪ＷＲＧＢ配列の画素の表記方法≫
ここで、ＷＲＧＢ配列の画素の表記方法について説明する。まず、５×５のマトリクス領域の画素を図３（ａ）のように表す。図３（ａ）における記号Ｐは、画素がＷＲＧＢのいずれの色成分用画素であるかを考慮しない表記である。これに対して、図３（ｂ）では、各画素の色成分を区別して表記している。記号Ｒは赤色成分用画素、記号Ｇは緑色成分用画素、記号Ｂは青色成分用画素、記号Ｗは白色成分用画素であることを示している。

また、記号Ｐ，Ｗ，Ｒ，Ｇ，Ｂの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。例えば、図３（ｂ）は、注目画素Ｐ２２を含む２５個の画素Ｐ００〜Ｐ４４からなるマトリクス領域の画素配列を表しており、中心画素Ｐ２２（Ｇ２２）が緑色成分用画素である場合を示している（図２の５×５画素の領域ＡＲ１に相当。）。なお、他の図面における画素配列の表記方法も上記と同様である。また、実施形態の説明や各数式において、記号Ｐ，Ｗ，Ｒ，Ｇ，Ｂは、画素値を表す場合もある。たとえば、記号Ｐ１１は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。

被写体からの光は、撮像部１の光学系（不図示）で集光され、撮像素子面上に配置されたＷＲＧＢ配列色フィルタ１１を介して、撮像部１の撮像素子（不図示）に入射される。なお、ＷＲＧＢ配列色フィルタ１１は、図２に示す配列パターンであるものとして、以下、説明する。

撮像部１の撮像素子では、画素ごとに、入射された被写体光は、光電変換により電気信号（画素信号）に変換される。つまり、Ｗ色成分用画素ではＷ色成分画素値が取得され、Ｒ色成分用画素ではＲ色成分画素値が取得され、Ｇ色成分用画素ではＧ色成分画素値が取得され、Ｂ色成分用画素ではＢ色成分画素値が取得される。そして、上記のようにして取得された画像信号（画素ごとにＷ色成分画素値、Ｒ色成分画素値、Ｇ色成分画素値、Ｂ色成分画素値のいずれか１つの画素値を有する画像信号）は、撮像部１から信号処理部２に出力される。

信号処理部２では、撮像部１から取得された画像信号に対して、所定の信号処理（例えば、ゲイン調整処理、ホワイトバランス調整処理、ガンマ調整処理等）が実行される。そして、所定の信号処理が実行された画像信号（画像信号Ｄ＿ｒａｗ）は、画素補間処理部３の彩度評価値算出部３１、相関値算出部３２、および、補間部３４に出力される。

彩度評価値算出部３１では、信号処理部２から出力された画像信号Ｄ＿ｒａｗ(画像Ｄ＿ｒａｗ)から、画素ごとに、彩度評価値が算出され、さらに、彩度評価値Ｌを所定の関数により正規化した彩度評価係数ＫＬ（０≦ＫＬ≦１）が取得される。これについて、以下、詳細に説明する。

（１．２．１：彩度評価値算出処理）
彩度評価値算出部３１は、入力された画像Ｄ＿ｒａｗにおいて、注目画素を中心とする５画素×５画素の画像領域（以下、「マトリクス領域」という。）を設定する。彩度評価値算出部３１は、設定したマトリクス領域において、色成分のばらつき状況を分析することで、当該マトリクス領域の彩度評価値（注目画素の彩度評価値）を算出する。

具体的には、彩度評価値算出部３１は、注目画素を含むマトリクス領域において、以下の（１）〜（６）の６つの評価値を算出し、算出した６つの評価値の中の最小値を彩度評価値Ｌとする。
（１）平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
（２）全体評価値ｇｌ＿ｃｏｌｏｒ
（３）垂直方向評価値ｖ＿ｃｏｌｏｒ
（４）水平方向評価値ｈ＿ｃｏｌｏｒ
（５）第１斜め方向評価値ｄ１＿ｃｏｌｏｒ
（６）第２斜め方向評価値ｄ２＿ｃｏｌｏｒ
上記（１）〜（６）の評価値の算出処理について、以下、説明する。

≪（１）平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ≫
まず、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒの算出処理について、図４、図５を用いて、説明する。

彩度評価値算出部３１は、マトリクス領域を４つのパターンに分類する。具体的には、彩度評価値算出部３１は、中心画素が緑色成分用画素（以下、「Ｇ画素」という。）の場合のマトリクス領域、中心画素が赤色成分用画素（以下、「Ｒ画素」という。）の場合のマトリクス領域、中心画素が青色成分用画素（以下、「Ｂ画素」という。）の場合のマトリクス領域、および、中心画素が白色成分用画素(以下、「Ｗ画素」という。)の場合のマトリクス領域、の合計４つのパターンに分類する。

図４（ａ）は、中心画素がＧ画素である場合のマトリクス領域を示している。図４（ｂ）は、中心画素がＲ画素である場合のマトリクス領域を示している。

図５（ａ）は、中心画素がＢ画素である場合のマトリクス領域を示している。図５（ｂ）は、中心画素がＷ画素である場合のマトリクス領域を示している。

（１−１）中心画素がＧ画素の場合
図４（ａ）に示すように、中心画素がＧ画素である場合、彩度評価値算出部３１は、中心画素を中心とする３画素×３画素の領域において、Ｗ画素の画素値の平均値Ｗａｖｅ、Ｇ画素の画素値の平均値Ｇａｖｅ、Ｒ画素の画素値の平均値Ｒａｖｅ、および、Ｂ画素の画素値の平均値Ｂａｖｅを以下の数式に相当する処理を行うことで算出する。

Ｗａｖｅ＝（Ｗ１１＋Ｗ１３＋Ｗ３１＋Ｗ３３）／４
Ｇａｖｅ＝Ｇ２２
Ｒａｖｅ＝（Ｒ２１＋Ｒ２３）／２
Ｂａｖｅ＝（Ｂ１２＋Ｂ３２）／２
そして、彩度評価値算出部３１は、以下の数式に相当する処理を行うことで、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを算出する。

ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
＝ａｂｓ（Ｇａｖｅ―Ｒａｖｅ）＋ａｂｓ（Ｇａｖｅ−Ｂａｖｅ）
なお、ａｂｓ（ｘ）は、ｘの絶対値を取得する関数である。

（１−２）中心画素がＲ画素の場合
図４（ｂ）に示すように、中心画素がＲ画素である場合、彩度評価値算出部３１は、中心画素を中心とする３画素×３画素の領域において、Ｗ画素の画素値の平均値Ｗａｖｅ、Ｇ画素の画素値の平均値Ｇａｖｅ、Ｒ画素の画素値の平均値Ｒａｖｅ、および、Ｂ画素の画素値の平均値Ｂａｖｅを以下の数式に相当する処理を行うことで算出する。

Ｗａｖｅ＝（Ｗ１２＋Ｗ３２）／２
Ｇａｖｅ＝（Ｇ２１＋Ｇ２３）／２
Ｒａｖｅ＝Ｒ２２
Ｂａｖｅ＝（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）／４
そして、彩度評価値算出部３１は、以下の数式に相当する処理を行うことで、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを算出する。

ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
＝ａｂｓ（Ｇａｖｅ―Ｒａｖｅ）＋ａｂｓ（Ｇａｖｅ−Ｂａｖｅ）
なお、ａｂｓ（ｘ）は、ｘの絶対値を取得する関数である。

（１−３）中心画素がＢ画素の場合
図５（ａ）に示すように、中心画素がＢ画素である場合、彩度評価値算出部３１は、中心画素を中心とする３画素×３画素の領域において、Ｗ画素の画素値の平均値Ｗａｖｅ、Ｇ画素の画素値の平均値Ｇａｖｅ、Ｒ画素の画素値の平均値Ｒａｖｅ、および、Ｂ画素の画素値の平均値Ｂａｖｅを以下の数式に相当する処理を行うことで算出する。

Ｗａｖｅ＝（Ｗ２１＋Ｗ２３）／２
Ｇａｖｅ＝（Ｇ１２＋Ｇ３２）／２
Ｒａｖｅ＝（Ｒ１１＋Ｒ１３＋Ｒ３１＋Ｒ３３）／４
Ｂａｖｅ＝Ｂ２２
そして、彩度評価値算出部３１は、以下の数式に相当する処理を行うことで、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを算出する。

ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
＝ａｂｓ（Ｇａｖｅ―Ｒａｖｅ）＋ａｂｓ（Ｇａｖｅ−Ｂａｖｅ）
なお、ａｂｓ（ｘ）は、ｘの絶対値を取得する関数である。

（１−４）中心画素がＷ画素の場合
図５（ｂ）に示すように、中心画素がＷ画素である場合、彩度評価値算出部３１は、中心画素を中心とする３画素×３画素の領域において、Ｗ画素の画素値の平均値Ｗａｖｅ、Ｇ画素の画素値の平均値Ｇａｖｅ、Ｒ画素の画素値の平均値Ｒａｖｅ、および、Ｂ画素の画素値の平均値Ｂａｖｅを以下の数式に相当する処理を行うことで算出する。

Ｗａｖｅ＝Ｗ２２
Ｇａｖｅ＝（Ｇ１１＋Ｇ１３＋Ｇ３１＋Ｇ３３）／４
Ｒａｖｅ＝（Ｒ１２＋Ｒ３２）／２
Ｂａｖｅ＝（Ｂ２１＋Ｂ２３）／２
そして、彩度評価値算出部３１は、以下の数式に相当する処理を行うことで、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを算出する。

ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
＝ａｂｓ（Ｇａｖｅ―Ｒａｖｅ）＋ａｂｓ（Ｇａｖｅ−Ｂａｖｅ）
なお、ａｂｓ（ｘ）は、ｘの絶対値を取得する関数である。

≪（２）全体評価値ｇｌ＿ｃｏｌｏｒ≫
次に、全体評価値ｇｌ＿ｃｏｌｏｒの算出処理について、説明する。

彩度評価値算出部３１は、中心画素の色成分（中心画素上のカラーフィルタの色）に関係なく、以下の数式に相当する処理を行うことで、全体評価値ｇｌ＿ｃｏｌｏｒを取得する。

ｇｌ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ１２−Ｐ２２）
＋ａｂｓ（Ｐ１３−Ｐ２２）＋ａｂｓ（Ｐ２１−Ｐ２２）
＋ａｂｓ（Ｐ２３−Ｐ２２）＋ａｂｓ（Ｐ３１−Ｐ２２）
＋ａｂｓ（Ｐ３２−Ｐ２２）＋ａｂｓ（Ｐ３３−Ｐ２２））／８
≪（３）垂直方向評価値ｖ＿ｃｏｌｏｒ≫
次に、垂直方向評価値ｖ＿ｃｏｌｏｒの算出処理について、図６を用いて、説明する。

彩度評価値算出部３１は、図６（ａ）に示すように、画素Ｐ２２を中心画素とする３画素×３画素の領域ＡＲ２１において、以下の数式に相当する処理を行うことで、垂直方向の第１評価値ｖＭ＿ｃｏｌｏｒを取得する。

ｖＭ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３１）
＋（ａｂｓ（Ｐ１２−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３２））×２
＋ａｂｓ（Ｐ１３−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３３））／８
なお、上式において、係数「２」が乗算されている項があるのは、画素間の差分の累積比率を均等にするためである。Ｐ１１、Ｐ３１、Ｐ１３、Ｐ３３の４つの画素が第１色の色成分の画素となり、Ｐ２１、Ｐ２３の２つの画素が第２色の色成分の画素となり、Ｐ１２、Ｐ３２の２つの画素が第３色の色成分の画素となり、Ｐ２２のみが第４色の色成分画素となる。したがって、（第１色成分画素−第２色成分画素）の演算数が「４」であり、（第３色成分画素−第４色成分画素）の演算数が「２」であるため、（ａｂｓ（Ｐ１２−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３２））に「２」が乗算されている。なお、この乗算する係数は「２」に限定されることはなく、他の値としてもよい。

また、彩度評価値算出部３１は、図６（ｂ）に示すように、画素Ｐ１２を中心画素とする３画素×３画素の領域ＡＲ２２において、以下の数式に相当する処理を行うことで、垂直方向の第２評価値ｖＭ＿ｃｏｌｏｒを取得する。

ｖＵ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ０１−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２１）
＋（ａｂｓ（Ｐ０２−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２２））×２
＋ａｂｓ（Ｐ０３−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２３））／８
なお、上式において、係数２が乗算されている項があるのは、垂直方向の第１評価値ｖＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。

また、彩度評価値算出部３１は、図６（ｃ）に示すように、画素Ｐ３２を中心画素とする３画素×３画素の領域ＡＲ２３において、以下の数式に相当する処理を行うことで、垂直方向の第３評価値ｖＬ＿ｃｏｌｏｒを取得する。

ｖＬ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ２１−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４１）
＋（ａｂｓ（Ｐ２２−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４２））×２
＋ａｂｓ（Ｐ２３−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４３））／８
なお、上式において、係数「２」が乗算されている項があるのは、垂直方向の第１評価値ｖＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。

彩度評価値算出部３１は、上記処理により取得した垂直方向の第１〜第３の評価値に対して、以下の数式に相当する処理を行うことで、垂直方向評価値ｖ＿ｃｏｌｏｒを算出する。

ｖ＿ｃｏｌｏｒ＝ｍｉｎ（ｖＭ＿ｃｏｌｏｒ，ｖＵ＿ｃｏｌｏｒ，ｖＬ＿ｃｏｌｏｒ）
なお、関数ｍｉｎ（）は、要素の最小値を取得する関数である。

≪（４）水平方向評価値ｈ＿ｃｏｌｏｒ≫
次に、水平方向評価値ｈ＿ｃｏｌｏｒの算出処理について、図７を用いて、説明する。

彩度評価値算出部３１は、図７（ａ）に示すように、画素Ｐ２２を中心画素とする３画素×３画素の領域ＡＲ３１において、以下の数式に相当する処理を行うことで、水平方向の第１評価値ｈＭ＿ｃｏｌｏｒを取得する。

ｈＭ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１１−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１３）
＋（ａｂｓ（Ｐ２１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２３））×２
＋ａｂｓ（Ｐ３１−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ３３））／８
なお、上式において、係数「２」が乗算されている項があるのは、画素間の差分の累積比率を均等にするためである。Ｐ１１、Ｐ３１、Ｐ１３、Ｐ３３の４つの画素が第１色の色成分の画素となり、Ｐ２１、Ｐ２３の２つの画素が第２色の色成分の画素となり、Ｐ１２、Ｐ３２の２つの画素が第３色の色成分の画素となり、Ｐ２２のみが第４色の色成分画素となる。したがって、（第１色成分画素−第３色成分画素）の演算数が「４」であり、（第２色成分画素−第４色成分画素）の演算数が「２」であるため、（ａｂｓ（Ｐ２１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２３））に「２」が乗算されている。なお、この乗算する係数は「２」に限定されることはなく、他の値としてもよい。

また、彩度評価値算出部３１は、図７（ｂ）に示すように、画素Ｐ２１を中心画素とする３画素×３画素の領域ＡＲ３２において、以下の数式に相当する処理を行うことで、水平方向の第２評価値ｈＬ＿ｃｏｌｏｒを取得する。

ｈＬ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１０−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ１２）
＋（ａｂｓ（Ｐ２０−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ２２））×２
＋ａｂｓ（Ｐ３０−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ３２））／８
なお、上式において、係数２が乗算されている項があるのは、水平方向の第１評価値ｈＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。

また、彩度評価値算出部３１は、図７（ｃ）に示すように、画素Ｐ２３を中心画素とする３画素×３画素の領域ＡＲ３３において、以下の数式に相当する処理を行うことで、水平方向の第３評価値ｈＲ＿ｃｏｌｏｒを取得する。

ｈＲ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１２−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ１４）
＋（ａｂｓ（Ｐ２２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ２４））×２
＋ａｂｓ（Ｐ３２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ３４））／８
なお、上式において、係数「２」が乗算されている項があるのは、水平方向の第１評価値ｈＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。

彩度評価値算出部３１は、上記処理により取得した水平方向の第１〜第３の評価値に対して、以下の数式に相当する処理を行うことで、水平方向評価値ｈ＿ｃｏｌｏｒを算出する。

ｈ＿ｃｏｌｏｒ＝ｍｉｎ（ｈＭ＿ｃｏｌｏｒ，ｈＬ＿ｃｏｌｏｒ，ｈＲ＿ｃｏｌｏｒ）
なお、関数ｍｉｎ（）は、要素の最小値を取得する関数である。

≪（５）第１斜め方向評価値ｄ１＿ｃｏｌｏｒ≫
次に、第１斜め方向評価値ｄ１＿ｃｏｌｏｒの算出処理について、図８を用いて、説明する。

彩度評価値算出部３１は、図８に示すように、中心画素Ｐ２２を囲む、画素Ｐ１１、Ｐ１２、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ３２、Ｐ３３の７つの画素により形成される領域において、以下の数式に相当する処理を行うことで、第１斜め方向評価値ｄ１＿ｃｏｌｏｒを取得する。

ｄ１＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１２−Ｐ２３）
＋ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３３）
＋ａｂｓ（Ｐ２１−Ｐ３２））／４
≪（６）第２斜め方向評価値ｄ２＿ｃｏｌｏｒ≫
次に、第２斜め方向評価値ｄ２＿ｃｏｌｏｒの算出処理について、図９を用いて、説明する。

彩度評価値算出部３１は、図９に示すように、中心画素Ｐ２２を囲む、画素Ｐ１２、Ｐ１３、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ３１、Ｐ３２の７つの画素により形成される領域において、以下の数式に相当する処理を行うことで、第２斜め方向評価値ｄ２＿ｃｏｌｏｒを取得する。

ｄ２＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１２−Ｐ２１）
＋ａｂｓ（Ｐ１３−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３１）
＋ａｂｓ（Ｐ２３−Ｐ３２））／４
以上の処理を行った後、彩度評価値算出部３１は、以下の数式に相当する処理を行うことで、彩度評価値Ｌを取得する。

Ｌ＝ｍｉｎ（ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ，ｇｌ＿ｃｏｌｏｒ，ｖ＿ｃｏｌｏｒ，ｈ＿ｃｏｌｏｒ，ｄ１＿ｃｏｌｏｒ，ｄ２＿ｃｏｌｏｒ）
なお、関数ｍｉｎ（）は、要素の最小値を取得する関数である。

つまり、彩度評価値算出部３１は、（１）平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ、（２）全体評価値ｇｌ＿ｃｏｌｏｒ、（３）垂直方向評価値ｖ＿ｃｏｌｏｒ、（４）水平方向評価値ｈ＿ｃｏｌｏｒ、（５）第１斜め方向評価値ｄ１＿ｃｏｌｏｒ、（６）第２斜め方向評価値ｄ２＿ｃｏｌｏｒの６つの評価値の中で最小値をとる評価値を、彩度評価値Ｌとする。

彩度評価値算出部３１は、上記処理により取得した、注目画素についての彩度評価値Ｌを正規化して彩度評価係数ＫＬを算出する。図１０は、注目画素についての彩度評価値Ｌを正規化して彩度評価係数ＫＬを算出するための関数の一例の入出力特性を示す図である。彩度評価値算出部３１は、例えば、２つの閾値Ｔ１、Ｔ２を用いて、下記に相当する処理を行うことで、彩度評価係数ＫＬを取得する。

ＫＬ＝ｆ（Ｌ）
なお、関数ｆ（ｘ）は、
ｘ≦Ｔ１のとき、ｆ（ｘ）＝０
Ｔ１≦ｘ≦Ｔ２のとき、ｆ（ｘ）＝（ｘ−Ｔ１）／（Ｔ２−Ｔ１）
ｘ≧Ｔ２のとき、ｆ（ｘ）＝１
である。なお、関数ｆ（ｘ）は、上記に限定されず、彩度評価値Ｌがとる範囲を０〜１の範囲の値に変換する関数であれば他の関数（大局的に彩度評価係数が彩度評価値Ｌについて単調増加する関数等）であってもよい。

上記処理により、彩度評価値Ｌは、０≦ＫＬ≦１を満たす彩度評価係数ＫＬに変換される。

なお、２つの閾値Ｔ１、Ｔ２は、グレー画像領域（彩度の低い画像領域）とカラー画像領域（彩度の高い画像領域）の境界近傍に設定される閾値であるので、実験結果や経験に基づいて最適な値を決定するようにすればよいが、入力画像の特性によって決定される可変パラメータとすることが好ましい。入力画像の特性は、たとえば、撮像装置１０００の露光時間、絞り値などの撮影条件により決定される。また、入力画像の特性に、撮像素子（ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）の特性やレンズの光学特性などを考慮するようにしてもよい。

以上のようにして彩度評価値算出部３１により算出された彩度評価係数ＫＬは、画素補間法決定部３３に出力される。

（１．２．２：相関値算出処理）
相関値算出部３２では、信号処理部２から出力された画像信号Ｄ＿ｒａｗ(画像Ｄ＿ｒａｗ)から、画素ごとに、カラー画像領域用相関値（彩度が高い画像領域用の相関値）およびグレー画像領域用相関値（彩度が低い画像領域用の相関値）が算出される。これについて、以下、詳細に説明する。

（１．２．２．１：カラー画像領域用相関値算出処理）
まず、カラー画像領域用相関値算出処理について、説明する。

相関値算出部３２は、信号処理部２から出力された画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の４つのカラー画像領域用の相関値を算出する。
（Ａ１）カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒ
（Ａ２）カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒ
（Ａ３）カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒ
（Ａ４）カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒ
上記（Ａ１）〜（Ａ４）のカラー画像領域用の相関値の算出処理について、以下、説明する。

≪（Ａ１）カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒ≫
まず、カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒの算出処理について、図１１を用いて、説明する。

図１１は、カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部３２は、図１１に示すように、画素Ｐ０１〜Ｐ０３、Ｐ１１〜Ｐ１３、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３からなる領域ＡＲ４１において、垂直方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部３２は、以下の数式に相当する処理を行うことで、カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒを取得する。

ｓｕｍ＝ａｂｓ（Ｐ０２―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４２）
＋ａｂｓ（Ｐ１１−Ｐ３１）＋ａｂｓ（Ｐ１３−Ｐ３３）
＋ａｂｓ（Ｐ１２−Ｐ３２）×２
＋（ａｂｓ（Ｐ０１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ４１）＋ａｂｓ（Ｐ０３―Ｐ２３）＋ａｂｓ（Ｐ２３―Ｐ４３））／２
Ｃｖ＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１２−Ｐ３２）に係数「２」が、（ａｂｓ（Ｐ０１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ４１）＋ａｂｓ（Ｐ０３―Ｐ２３）＋ａｂｓ（Ｐ２３―Ｐ４３））に係数「１／２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

≪（Ａ２）カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒ≫
次に、カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒの算出処理について、図１２を用いて、説明する。

図１２は、カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部３２は、図１２に示すように、画素Ｐ１０〜Ｐ１４、Ｐ２０〜Ｐ２４、Ｐ３０〜Ｐ３４からなる領域ＡＲ５１において、水平方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部３２は、以下の数式に相当する処理を行うことで、カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒを取得する。

ｓｕｍ＝ａｂｓ（Ｐ２０―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２４）
＋ａｂｓ（Ｐ１１−Ｐ１３）＋ａｂｓ（Ｐ３１−Ｐ３３）
＋（ａｂｓ（Ｐ１０−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１４）＋ａｂｓ（Ｐ３０―Ｐ３２）＋ａｂｓ（Ｐ３２―Ｐ３４））／２
＋ａｂｓ（Ｐ２１−Ｐ２３）×２
Ｃｈ＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ２１−Ｐ２３）に係数「２」が、（ａｂｓ（Ｐ１０−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１４）＋ａｂｓ（Ｐ３０―Ｐ３２）＋ａｂｓ（Ｐ３２―Ｐ３４））に係数「１／２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

≪（Ａ３）カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒ≫
次に、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒの算出処理について、図１３を用いて、説明する。

図１３は、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部３２は、図１３に示すように、第１斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部３２は、以下の数式に相当する処理を行うことで、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒを取得する。

ｓｕｍ＝ａｂｓ（Ｐ００―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４４）
＋ａｂｓ（Ｐ１１−Ｐ３３）×２
＋ａｂｓ（Ｐ１２−Ｐ３４）＋ａｂｓ（Ｐ１０−Ｐ３２）
＋ａｂｓ（Ｐ０１―Ｐ２３）＋ａｂｓ（Ｐ２１―Ｐ４３））
Ｃｄ１＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１１−Ｐ３３）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

≪（Ａ４）カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒ≫
次に、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒの算出処理について、図１４を用いて、説明する。

図１４は、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部３２は、図１４に示すように、第２斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部３２は、以下の数式に相当する処理を行うことで、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒを取得する。

ｓｕｍ＝ａｂｓ（Ｐ０４―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４０）
＋ａｂｓ（Ｐ１３−Ｐ３１）×２
＋ａｂｓ（Ｐ１２−Ｐ３０）＋ａｂｓ（Ｐ１４−Ｐ３２）
＋ａｂｓ（Ｐ０３―Ｐ２１）＋ａｂｓ（Ｐ２３―Ｐ４１）
Ｃｄ２＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１３−Ｐ３１）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

（１．２．２．２：グレー画像領域用相関値算出処理）
次に、グレー画像領域用相関値算出処理について、説明する。

相関値算出部３２は、信号処理部２から出力された画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の４つのグレー画像領域用の相関値を算出する。
（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ
（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ
（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ
（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ
上記（Ｂ１）〜（Ｂ４）のグレー画像領域用の相関値の算出処理について、以下、説明する。

≪（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ≫
まず、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理について、図１５を用いて、説明する。

図１５は、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部３２は、図１５に示すように、画素Ｐ０１〜Ｐ０３、Ｐ１１〜Ｐ１３、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３からなる領域ＡＲ６１において、垂直方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、相関値算出部３２は、以下の数式に相当する処理を行うことで、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙを取得する。

ｓｕｍ＝ａｂｓ（Ｐ０２―Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２２）
＋ａｂｓ（Ｐ２２−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４２）
＋ａｂｓ（Ｐ０１−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２１）
＋ａｂｓ（Ｐ２１−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４１）
＋ａｂｓ（Ｐ０３−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２３）
＋ａｂｓ（Ｐ２３−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４３）
Ｃｖ＿ｇｒａｙ＝ｓｕｍ／６
≪（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ≫
次に、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理について、図１６を用いて、説明する。

図１６は、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部３２は、図１６に示すように、画素Ｐ１０〜Ｐ１４、Ｐ２０〜Ｐ２４、Ｐ３０〜Ｐ３４からなる領域ＡＲ７１において、水平方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、相関値算出部３２は、以下の数式に相当する処理を行うことで、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙを取得する。

ｓｕｍ＝ａｂｓ（Ｐ２０―Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ２２）
＋ａｂｓ（Ｐ２２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ２４）
＋ａｂｓ（Ｐ１０−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ１２）
＋ａｂｓ（Ｐ１２−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ１４）
＋ａｂｓ（Ｐ３０−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ３２）
＋ａｂｓ（Ｐ３２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ３４）
Ｃｈ＿ｇｒａｙ＝ｓｕｍ／６
≪（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ≫
次に、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理について、図１７を用いて、説明する。

図１７は、グレー画像領域用水平方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部３２は、図１７に示すように、第１斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、相関値算出部３２は、以下の数式に相当する処理を行うことで、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙを取得する。

ｓｕｍ＝ａｂｓ（Ｐ００―Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４４）
＋ａｂｓ（Ｐ１０−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４３）
＋ａｂｓ（Ｐ０１−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３４）
Ｃｄ１＿ｇｒａｙ＝ｓｕｍ／５
≪（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ≫
次に、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理について、図１８を用いて、説明する。

図１８は、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部３２は、図１８に示すように、第２斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、相関値算出部３２は、以下の数式に相当する処理を行うことで、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙを取得する。

ｓｕｍ＝ａｂｓ（Ｐ０４―Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４０）
＋ａｂｓ（Ｐ０３−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３０）
＋ａｂｓ（Ｐ１４−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４１）
Ｃｄ２＿ｇｒａｙ＝ｓｕｍ／５
なお、図１５（グレー画像領域用垂直方向相関値算出処理）および図１６（グレー画像領域用水平方向相関値算出処理）における場合と、図１７（グレー画像領域用第１斜め方向相関値算出処理）および図１８（グレー画像領域用第２斜め方向相関値算出処理）における場合とでは、差分演算の対象となる画素間の距離が異なる。しかし、上記では、画素間の距離を考慮した係数を乗算するようにはしていない。これは、画素間の距離の差があまり大きくないためであるが、例えば、上記処理（グレー画像領域用の相関値算出処理）において、画素差分値について、画素間の距離に応じた重み付けを行うようにしてもよい（例えば、画素差分値に２の２乗根を乗算するようにしてもよい）。

また、上記グレー画像領域用の相関値算出処理においては、カラー画像領域用の相関値との比較を容易にするためにスケールを合わせるようにしている。つまり、図１５〜図１８で示された演算対象の画素間の距離は、隣接する画素間の距離である。したがって、上記グレー画像領域用の相関値算出処理の数式においては、各画素差分値に「２」を乗算してスケールを合わせた結果、上記グレー画像領域用の相関値算出処理の数式の各式における最後の乗算値（１／６と１／５）が累積数の逆数の２倍の値となっている。ただし、グレー画像領域における相関方向は、グレー画像領域用の相関値のみを用いて判定されるため、必ずしもスケールを合わせる必要はない。

以上により、相関値算出部３２により取得されたカラー画像領域用相関値（Ｃｖ＿ｃｏｌｏｒ、Ｃｈ＿ｃｏｌｏｒ、Ｃｄ１＿ｃｏｌｏｒ、Ｃｄ２＿ｃｏｌｏｒ）およびグレー画像領域用相関値（Ｃｖ＿ｇｒａｙ、Ｃｈ＿ｇｒａｙ、Ｃｄ１＿ｇｒａｙ、Ｃｄ２＿ｇｒａｙ）は、画素補間法決定部３３に出力される。

（１．２．３：画素補間法決定部３３での処理）
≪相関判定方法と画素補間方法の選択≫
画素補間法決定部３３では、彩度評価値算出部３１が算出した彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２（ＴＨ１≦ＴＨ２）との関係に基づいて、画素ごとに、相関判定方法と画素補間方法とを選択する。

具体的には、相関判定方法の選択とは、（１）グレー画像領域用の相関値を採用して相関方向を判定するのか、（２）カラー画像領域用の相関値を採用して相関方向を判定するのか、あるいは、（３）グレー画像領域用とカラー画像領域用の相関値を総合判断して選択された相関値を用いて相関方向を判定するかの選択である。

また、画素補間方法の選択とは、グレー画像領域用とカラー画像領域用のうちいずれの画素補間方法を採用するかの選択である。

図１９は、彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により選択される相関判定方法および画素補間方法の種別を示している。具体的には、図１５に示すように、相関判定方法および画素補間方法は、以下の（ａ）〜（ｃ）の組み合わせに分類される。
（ａ）ＫＬ＞ＴＨ２の場合
相関判定方法：カラー画像領域用の相関値を用いて相関方向を判定する。

画素補間方法：カラー画像領域用の画素補間方法を用いる。
（ｂ）ＴＨ１＜ＫＬ≦ＴＨ２の場合
相関判定方法：カラー画像領域用の相関値とグレー画像領域用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。

画素補間方法：カラー画像領域用の画素補間方法を用いる。
（ｃ）ＫＬ≦ＴＨ１の場合
相関判定方法：グレー画像領域用の相関値を用いて相関方向を判定する。

画素補間方法：グレー画像領域用の画素補間方法を用いる。

上記により、画素ごとに決定された画素補間方法についての情報は、画素補間法決定部３３から補間部３４に出力される。

（１．２．３．１：相関方向判定処理）
≪判定用相関値の選択≫
画素補間法決定部３３では、相関値算出部３２により算出された、（１）カラー画像領域用の４方向の相関値Ｃｖ＿ｃｏｌｏｒ，Ｃｈ＿ｃｏｌｏｒ，Ｃｄ１＿ｃｏｌｏｒ，Ｃｄ２＿ｃｏｌｏｒと、（２）グレー画像領域用の４方向の相関値Ｃｖ＿ｇｒａｙ，Ｃｈ＿ｇｒａｙ，Ｃｄ１＿ｇｒａｙ，Ｃｄ２＿ｇｒａｙとから、次のようにして、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を選択する。なお、判定用相関値は、注目画素（処理対象画素）の相関方向（画素補間処理を実行するときに参照される相関方向）を決定するために用いられる。
（ａ）ＫＬ＞ＴＨ２の場合の判定用相関値
画素補間法決定部３３は、カラー画像領域用の相関値を、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２として用いる。つまり、画素補間法決定部３３は、
Ｃｖ＝Ｃｖ＿ｃｏｌｏｒ
Ｃｈ＝Ｃｈ＿ｃｏｌｏｒ
Ｃｄ１＝Ｃｄ１＿ｃｏｌｏｒ
Ｃｄ２＝Ｃｄ２＿ｃｏｌｏｒ
とする。
（ｃ）ＫＬ≦ＴＨ１の場合の判定用相関値
画素補間法決定部３３は、グレー画像領域用の相関値を、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２として用いる。つまり、画素補間法決定部３３は、
Ｃｖ＝Ｃｖ＿ｇｒａｙ
Ｃｈ＝Ｃｈ＿ｇｒａｙ
Ｃｄ１＝Ｃｄ１＿ｇｒａｙ
Ｃｄ２＝Ｃｄ２＿ｇｒａｙ
とする。
（ｂ）ＴＨ１＜ＫＬ≦ＴＨ２の場合の判定用相関値
この場合、画素補間法決定部３３は、グレー画像領域用の相関値とカラー画像領域用の相関値とを総合判断して、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を決定する。この判断方法について、図２０、図２１のフローチャートを参照しながら、以下説明する。

まず、判定用相関値Ｃｖ，Ｃｈの決定方法について、図２０のフローチャートを参照しながら、以下、説明する。
（Ｓ２０１）：
ステップＳ２０１において、画素補間法決定部３３は、下記数式に示すように、カラー画像領域用の相関値Ｃｖ＿ｃｏｌｏｒとＣｈ＿ｃｏｌｏｒとの差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒを算出する。

ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ＝ａｂｓ（Ｃｖ＿ｃｏｌｏｒ−Ｃｈ＿ｃｏｌｏｒ）
また、画素補間法決定部３３は、下記数式に示すように、グレー画像領域用の相関値Ｃｖ＿ｇｒａｙとＣｈ＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙを算出する。

ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙ＝ａｂｓ（Ｃｖ＿ｇｒａｙ−Ｃｈ＿ｇｒａｙ）
（Ｓ２０２）：
ステップＳ２０２において、画素補間法決定部３３は、下記数式により、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙを算出する。

ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ＝ａｂｓ（ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ−ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙ）
（Ｓ２０３）：
ステップＳ２０３において、画素補間法決定部３３は、ステップＳ２０２で算出した差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙと、閾値Ｔｈｖとの大小関係を判定する。

そして、ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ≦Ｔｈｖである場合、画素補間法決定部３３は、処理をステップＳ２０４に進める。それ以外の場合、画素補間法決定部３３は、処理をステップＳ２０５に進める。
（Ｓ２０４）：
ステップＳ２０４において、画素補間法決定部３３は、以下の数式に相当する処理を行うことで、判定用相関値Ｃｖ，Ｃｈを取得する。

Ｃｖ＝ｍｉｎ（Ｃｖ＿ｃｏｌｏｒ、Ｃｖ＿ｇｒａｙ）
Ｃｈ＝ｍｉｎ（Ｃｈ＿ｃｏｌｏｒ、Ｃｈ＿ｇｒａｙ）
なお、ｍｉｎ（）は、要素の最小値を取得する関数である。
（Ｓ２０５〜Ｓ２０７）：
ステップＳ２０５において、画素補間法決定部３３は、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの大小関係を判定する。

そして、ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙの場合、画素補間法決定部３３は、
Ｃｖ＝Ｃｖ＿ｃｏｌｏｒ
Ｃｈ＝Ｃｈ＿ｃｏｌｏｒ
とする（ステップＳ２０６）。

一方、ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙではない場合、画素補間法決定部３３は、
Ｃｖ＝Ｃｖ＿ｇｒａｙ
Ｃｈ＝Ｃｈ＿ｇｒａｙ
とする（ステップＳ２０７）。

以上の処理により、画素補間法決定部３３は、判定用相関値Ｃｖ，Ｃｈを選択（決定）する。

上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値ＴＨｖ以下の場合とは、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの差が小さいときである。つまり、この条件を満たす場合として、垂直方向、水平方向のいずれの方向にも強い相関が見られない場合が想定される。

このような場合、画素補間法決定部３３は、垂直方向、水平方向それぞれについて、グレー画像領域用とカラー画像領域用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択する（ステップＳ２０４）。

また、上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値ＴＨｖより大きい場合とは、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの差が大きいときである。つまり、この条件を満たす場合として、垂直方向、水平方向のいずれかに強い相関が見られる場合が想定される。

このような場合、画素補間法決定部３３は、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙの大小を比較し、差分絶対値が大きい方の相関値を選択する（ステップＳ２０５〜Ｓ２０７）。

次に、判定用相関値Ｃｄ１，Ｃｄ２の決定方法について、図２１のフローチャートを参照しながら、以下、説明する。
（Ｓ２１１）：
ステップＳ２１１において、画素補間法決定部３３は、下記数式に示すように、カラー画像領域用の相関値Ｃｄ１＿ｃｏｌｏｒとＣｄ２＿ｃｏｌｏｒとの差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒを算出する。

ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ＝ａｂｓ（Ｃｄ１＿ｃｏｌｏｒ−Ｃｄ２＿ｃｏｌｏｒ）
また、画素補間法決定部３３は、下記数式に示すように、グレー画像領域用の相関値Ｃｄ１＿ｇｒａｙとＣｄ２＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙを算出する。

ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙ＝ａｂｓ（Ｃｄ１＿ｇｒａｙ−Ｃｄ２＿ｇｒａｙ）
（Ｓ２１２）：
ステップＳ２１２において、画素補間法決定部３３は、下記数式により、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙを算出する。

ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ＝ａｂｓ（ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ−ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙ）
（Ｓ２１３）：
ステップＳ２１３において、画素補間法決定部３３は、ステップＳ２１２で算出した差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙと、閾値Ｔｈｄとの大小関係を判定する。

そして、ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ≦Ｔｈｄである場合、画素補間法決定部３３は、処理をステップＳ２１４に進める。それ以外の場合、画素補間法決定部３３は、処理をステップＳ２１５に進める。
（Ｓ２１４）：
ステップＳ２１４において、画素補間法決定部３３は、以下の数式に相当する処理を行うことで、判定用相関値Ｃｄ１，Ｃｄ２を取得する。

Ｃｄ１＝ｍｉｎ（Ｃｄ１＿ｃｏｌｏｒ、Ｃｄ１＿ｇｒａｙ）
Ｃｄ２＝ｍｉｎ（Ｃｄ２＿ｃｏｌｏｒ、Ｃｄ２＿ｇｒａｙ）
なお、ｍｉｎ（）は、要素の最小値を取得する関数である。
（Ｓ２１５〜Ｓ２１７）：
ステップＳ２１５において、画素補間法決定部３３は、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの大小関係を判定する。

そして、ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙの場合、画素補間法決定部３３は、
Ｃｄ１＝Ｃｄ１＿ｃｏｌｏｒ
Ｃｄ２＝Ｃｄ２＿ｃｏｌｏｒ
とする（ステップＳ２１６）。

一方、ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙではない場合、画素補間法決定部３３は、
Ｃｄ１＝Ｃｄ１＿ｇｒａｙ
Ｃｄ２＝Ｃｄ２＿ｇｒａｙ
とする（ステップＳ２１７）。

以上の処理により、画素補間法決定部３３は、判定用相関値Ｃｄ１，Ｃｄ２を選択（決定）する。

上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値ＴＨｄ以下の場合とは、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの差が小さいときである。つまり、この条件を満たす場合として、第１斜め方向、第２斜め方向のいずれの方向にも強い相関が見られない場合が想定される。

このような場合、画素補間法決定部３３は、第１斜め方向、第２斜め方向それぞれについて、グレー画像領域用とカラー画像領域用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択する（ステップＳ２１４）。

また、上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値ＴＨｄより大きい場合とは、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの差が大きいときである。つまり、この条件を満たす場合として、第１斜め方向、第２斜め方向のいずれかに強い相関が見られる場合が想定される。

このような場合、画素補間法決定部３３は、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙの大小を比較し、差分絶対値が大きい方の相関値を選択する（ステップＳ２１５〜Ｓ２１７）。

以上の処理により、画素補間法決定部３３は、グレー画像領域用の相関値とカラー画像領域用の相関値とを総合判断して、判定用相関値（ＴＨ１＜ＫＬ≦ＴＨ２の場合の判定相関値）Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を決定する。

画素補間法決定部３３は、以上の演算処理を実行することにより、上記（ａ），（ｂ），（ｃ）のそれぞれの場合について、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を選択（決定）する。

以上のように、本実施形態における相関判定方法と画素補間方法との組み合わせは、彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により３パターンに分類される。つまり、１つの閾値を設けて、グレー画像領域（彩度の低い画像領域）とカラー画像領域（彩度の高い画像領域）とを判定する方法ではなく、２つの閾値ＴＨ１とＴＨ２を設けることにより、グレー画像領域とカラー画像領域の境界領域において、画素補間処理方法が急激に変化することを緩和している。これにより、特に、画素補間処理後の画像上のグレー画像領域とカラー画像領域との境界付近に位置する画像領域において、視覚的違和感が生じることを効果的に抑制することができる。

つまり、グレー画像領域とカラー画像領域との境界付近に位置する画像領域は、ＲＧＢの各成分の値が略等しいが、それらの値に多少のばらつきがある。したがって、相関を判定する場合には、ＲＧＢ各成分のばらつきが小さいことに着目して、ＲＧＢを区別することなく、なるべく近接する画素を用いて相関値を算出する。あるいは、ＲＧＢ各成分が多少なりともばらついていることに注目して、ＲＧＢを区別して相関値を算出する。このような２つの考え方を総合的に判断して、最適な相関値を選択することで、相関方向の判定精度を向上させることができる。これに対して、ＲＧＢ各成分のばらつきを無視し、グレー画像領域とみなして画素補間を行った場合、偽色が発生する可能性がある。そこで、撮像装置１０００では、画素補間についてはカラー画像領域用の画素補間処理を行うこととしている。

なお、本実施形態においては、彩度評価値Ｌを正規化した彩度評価係数ＫＬを用い、彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との比較により、グレー画像領域であるか、あるいは、カラー画像領域であるかの判定を行っているが、これは、処理上の便宜のためであり、本質的には、彩度評価値Ｌと２つの閾値との比較により、グレー画像領域であるか、あるいは、カラー画像領域であるかを判定していることにほかならない。

≪各画素における相関方向の判定処理≫
次に、画素補間法決定部３３は、上記処理により取得した判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図２２の関係図または図２３の関係図を用いて、相関方向を決定する。

図２２は、判定用相関値Ｃｈ、Ｃｖと、相関方向判定用領域Ａ１〜Ａ４との関係を示す図である。図２２において、横軸（Ｘ軸）は判定用相関値Ｃｈであり、縦軸（Ｙ軸）は判定用相関値Ｃｖである。また、図２２に示すように、相関方向判定用領域Ａ１〜Ａ４は、直線Ｆ１〜Ｆ４によって決定されている。つまり、相関方向判定領域Ａ１は、Ｙ軸と直線Ｆ１とに囲まれる領域であり、相関方向判定領域Ａ２は、Ｘ軸と直線Ｆ２とに囲まれる領域であり、相関方向判定領域Ａ３は、直線Ｆ１、直線Ｆ２および直線Ｆ３に囲まれる領域であり、相関方向判定領域Ａ４は、Ｘ軸、Ｙ軸および直線Ｆ３に囲まれる領域である。

図２３は、判定用相関値Ｃｄ１、Ｃｄ２と、相関方向判定用領域Ｂ１〜Ｂ４との関係を示す図である。図２３において、横軸（Ｘ軸）は判定用相関値Ｃｄ２であり、縦軸（Ｙ軸）は判定用相関値Ｃｄ１である。また、図２３に示すように、相関方向判定用領域Ｂ１〜Ｂ４は、直線Ｆ１１〜Ｆ１４によって決定されている。つまり、相関方向判定領域Ｂ１は、Ｙ軸と直線Ｆ１１とに囲まれる領域であり、相関方向判定領域Ｂ２は、Ｘ軸と直線Ｆ１２とに囲まれる領域であり、相関方向判定領域Ｂ３は、直線Ｆ１１、直線Ｆ１２および直線Ｆ１３に囲まれる領域であり、相関方向判定領域Ｂ４は、Ｘ軸、Ｙ軸および直線Ｆ１３に囲まれる領域である。

画素補間法決定部３３は、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図２２の関係図または図２３の関係図を用いて、以下の（１）、（２）により、相関方向を決定する。
（１）画素補間法決定部３３は、画素ごとに、４つの判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、判定用相関値Ｃｖまたは判定用相関値Ｃｈが最小値をとる場合、つまり、
Ｃｖ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｈ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図２２の関係図を用いて、相関方向を決定する。

つまり、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ１に含まれる場合、画素補間法決定部３３は、注目画素の相関方向を「水平方向」と判定する。

また、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ２に含まれる場合、画素補間法決定部３３は、注目画素の相関方向を「垂直方向」と判定する。

また、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ３に含まれる場合、画素補間法決定部３３は、注目画素について、「いずれの方向にも相関がない」と判定する。

また、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ４に含まれる場合、画素補間法決定部３３は、注目画素について、「垂直、水平の両方向において相関が高い」と判定する。
（２）画素補間法決定部３３は、画素ごとに、４つの判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、判定用相関値Ｃｄ１または判定用相関値Ｃｄ２が最小値をとる場合、つまり、
Ｃｄ１＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｄ２＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図２３の関係図を用いて、相関方向を決定する。

つまり、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ１に含まれる場合、画素補間法決定部３３は、注目画素の相関方向を「第２斜め方向」（ｄ２方向）と判定する。

また、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ２に含まれる場合、画素補間法決定部３３は、注目画素の相関方向を「第１斜め方向」（ｄ１方向）と判定する。

また、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ３に含まれる場合、画素補間法決定部３３は、注目画素について、「いずれの方向にも相関がない」と判定する。

また、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ４に含まれる場合、画素補間法決定部３３は、注目画素について、「垂直、水平の両方向において相関が高い」と判定する。

以上のようにして、画素ごとに取得された相関方向の判定結果は、画素補間法決定部３３から補間部３４に出力される。

また、画素ごとに取得された画素補間方法（カラー画像領域用画素補間法／グレー画像領域用画素補間法）についての情報も、画素補間法決定部３３から補間部３４に出力される。

なお、上記関係図は一例であり、他の直線により規定される領域を有する関係図であってもよい。

（１．２．４：補間部３４での処理）
補間部３４では、画素補間法決定部３３により画素ごとに決定された、（１）相関方向の判定結果、および、（２）画素補間方法に基づいて、信号処理部２から出力される画像Ｄ＿ｒａｗに対して、画素ごとに、画素補間処理を実行する。

（１．２．４．１：グレー画像領域用画素補間処理）
画素補間法決定部３３により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合、補間部３４は、注目画素がどの色成分用の画素であるかを区別せずに、画素補間法決定部３３により決定された相関方向に存在する画素を用いて画素補間処理を行う。補間部３４において「グレー画像領域用画素補間法」により画素補間処理が実行される場合の具体的な処理について、以下、説明する。

≪領域Ａ１：水平方向画素補間（グレー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素についての相関方向が「水平方向」であると判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝（Ｐ２１＋２×Ｐ２２＋Ｐ２３）／４
つまり、補間部３４は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＧ画素である場合、注目画素のＲ色成分値、Ｂ色成分値およびＷ色成分値を、それぞれ、Ｒ（Ｐ２２）、Ｂ（Ｐ２２）およびＷ（Ｐ２２）とすると、
Ｒ（Ｐ２２）＝Ｂ（Ｐ２２）＝Ｗ（Ｐ２２）＝Ｓｏｕｔ
となる。

≪領域Ａ２：垂直方向画素補間（グレー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素についての相関方向が「垂直方向」であると判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝（Ｐ１２＋２×Ｐ２２＋Ｐ３２）／４
つまり、補間部３４は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＧ画素である場合、注目画素のＲ色成分値、Ｂ色成分値およびＷ色成分値を、それぞれ、Ｒ（Ｐ２２）、Ｂ（Ｐ２２）およびＷ（Ｐ２２）とすると、
Ｒ（Ｐ２２）＝Ｂ（Ｐ２２）＝Ｗ（Ｐ２２）＝Ｓｏｕｔ
となる。

≪領域Ｂ２：第１斜め方向画素補間（グレー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素についての相関方向が「第１斜め方向」であると判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝（Ｐ１１＋２×Ｐ２２＋Ｐ３３）／４
つまり、補間部３４は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＧ画素である場合、注目画素のＲ色成分値、Ｂ色成分値およびＷ色成分値を、それぞれ、Ｒ（Ｐ２２）、Ｂ（Ｐ２２）およびＷ（Ｐ２２）とすると、
Ｒ（Ｐ２２）＝Ｂ（Ｐ２２）＝Ｗ（Ｐ２２）＝Ｓｏｕｔ
となる。

≪領域Ｂ１：第２斜め方向画素補間（グレー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素についての相関方向が「第２斜め方向」であると判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝（Ｐ１３＋２×Ｐ２２＋Ｐ３１）／４
つまり、補間部３４は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＧ画素である場合、注目画素のＲ色成分値、Ｂ色成分値およびＷ色成分値を、それぞれ、Ｒ（Ｐ２２）、Ｂ（Ｐ２２）およびＷ（Ｐ２２）とすると、
Ｒ（Ｐ２２）＝Ｂ（Ｐ２２）＝Ｗ（Ｐ２２）＝Ｓｏｕｔ
となる。

≪領域Ａ３、Ｂ３：メディアン補間（グレー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素について「いずれの方向にも相関がない」と判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝Ｐ２２
つまり、補間部３４は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＧ画素である場合、注目画素のＲ色成分値、Ｂ色成分値およびＷ色成分値を、それぞれ、Ｒ（Ｐ２２）、Ｂ（Ｐ２２）およびＷ（Ｐ２２）とすると、
Ｒ（Ｐ２２）＝Ｂ（Ｐ２２）＝Ｗ（Ｐ２２）＝Ｓｏｕｔ
となる。

≪領域Ａ４、Ｂ４：平均値補間（グレー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

Ｓｏｕｔ＝（Ｐ１１＋Ｐ１２＋Ｐ１３
＋Ｐ２１＋Ｐ２２＋Ｐ２３
＋Ｐ３１＋Ｐ３２＋Ｐ３３）／９
つまり、補間部３４は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＧ画素である場合、注目画素のＲ色成分値、Ｂ色成分値およびＷ色成分値を、それぞれ、Ｒ（Ｐ２２）、Ｂ（Ｐ２２）およびＷ（Ｐ２２）とすると、
Ｒ（Ｐ２２）＝Ｂ（Ｐ２２）＝Ｗ（Ｐ２２）＝Ｓｏｕｔ
となる。

（１．２．４．２：カラー画像領域用画素補間処理）
画素補間法決定部３３により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合、補間部３４は、画素補間法決定部３３により決定された相関方向に存在する画素を用いて画素補間処理を行う。この具体的な処理について、以下、説明する。

≪水平方向画素補間（カラー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素についての相関方向が「水平方向」であると判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のＷ色成分の画素値をＷｏｕｔとし、Ｒ色成分の画素値をＲｏｕｔとし、Ｇ色成分の画素値をＧｏｕｔとし、Ｂ色成分の画素値をＢｏｕｔとする。
（Ｈ−Ｇ：注目画素がＧ画素である場合）：
注目画素がＧ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｇｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｇ色成分の画素値Ｇｏｕｔとする。
つまり、補間部３４は、
Ｇｏｕｔ＝Ｐ２２
とする。

≪Ｒｏｕｔ≫
Ｒ色成分の画素値Ｒｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｒ色成分の画素値Ｒｏｕｔの取得処理（算出処理）を、図２４を用いて、説明する。

図２４は、中心画素（注目画素）がＧ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、注目画素Ｇ２２を中心とする水平方向の５つの画素Ｐ２０〜Ｐ２４を用いて、以下の数式に相当する処理により、Ｒ色成分の画素値Ｒｏｕｔを取得する。

ｔ０＝（Ｐ２１＋Ｐ２３）／２
ｔ１＝（Ｐ２０−２×Ｐ２２＋Ｐ２４）×ｇａｉｎ０
Ｒｏｕｔ＝ｔ０−ｔ１
ここで、上記処理の意味について、説明する。

Ｇ２２の低周波成分Ｇ２２Ｌは、
Ｇ２２Ｌ＝（Ｇ２０＋６×Ｇ２２＋Ｇ２４）／８
である。したがって、Ｇ２２の高周波成分Ｇ２２Ｈは、
Ｇ２２Ｈ＝Ｇ２２−Ｇ２２Ｌ
＝−（Ｇ２０−２×Ｇ２２＋Ｇ２４）／８
である。

一方、Ｐ２２の赤色成分値Ｒ２２の低周波成分Ｒ２２Ｌは、
Ｒ２２Ｌ＝（Ｒ２１＋２×Ｒ２２＋Ｒ２３）／４
である。したがって、Ｒ２２の高周波成分Ｒ２２Ｈは、
Ｒ２２Ｈ＝Ｒ２２―Ｒ２２Ｌ
＝Ｒ２２／２―（Ｒ２１＋Ｒ２３）／４
である。

Ｐ２２において、各色成分の高周波成分がほぼ等しいと仮定すると、
Ｇ２２Ｈ≒Ｒ２２Ｈ
より、
Ｒ２２／２―（Ｒ２１＋Ｒ２３）／４≒−（Ｇ２０−２×Ｇ２２＋Ｇ２４）／８
となる。これをＲ２２について解くと、
Ｒ２２＝（Ｒ２１＋Ｒ２３）／２−（Ｇ２０−２×Ｇ２２＋Ｇ２４）／４
となる。

この式において、（Ｇ２０−２×Ｇ２２＋Ｇ２４）は、水平方向のラプラシアン成分（２次微分成分）であり、Ｒ２１とＲ２３の平均値からラプラシアン成分の１／４倍したものを減算することで、Ｐ２２の赤色成分値Ｒ２２を算出することができる。

つまり、補間部３４は、
ｔ０＝（Ｐ２１＋Ｐ２３）／２
ｔ１＝（Ｐ２０−２×Ｐ２２＋Ｐ２４）×ｇａｉｎ０
Ｒｏｕｔ＝ｔ０−ｔ１
により、Ｒ色成分の画素値Ｒｏｕｔを取得することができる。

なお、ｇａｉｎ０を「１／４」とすると、ｔ１は、ラプラシアン成分となるが、補間部３４において、ｇａｉｎ０の値を調整し、ラプラシアン成分を調整することで、Ｒｏｕｔの高周波成分量を調整することができる。例えば、撮像部１の光学特性（例えば、撮像部１に設けられる光学フィルタ等の特性）等に応じて、ｇａｉｎ０を調整することで（ラプラシアン成分を調整することで）、より品質の良い画素補間処理を行うことができる。

≪Ｂｏｕｔ≫
Ｂ色成分の画素値Ｂｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｂ色成分の画素値Ｂｏｕｔの取得処理（算出処理）を、図２５を用いて、説明する。

図２５は、図２４と同様に、中心画素（注目画素）がＧ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、図２５に示す領域ＡＲ＿ｓ０に含まれるＰ１１〜Ｐ１３を用いて、以下の数式に相当する処理により、Ｐ１２のＷ−Ｂ色成分値ｓ０を取得する。

ｓ０＝−Ｂｇａｉｎ×Ｐ１２＋Ｗｇａｉｎ×（Ｐ１１＋Ｐ１３）／２
また、補間部３４は、図２５に示す領域ＡＲ＿ｓに含まれるＰ２１〜Ｐ２３を用いて、以下の数式に相当する処理により、Ｐ２２のＷ−Ｂ色成分値ｓ（Ｒ＋Ｇ色成分値ｓ）を取得する。

ｓ＝Ｇｇａｉｎ×Ｐ２２＋Ｒｇａｉｎ×（Ｐ２１＋Ｐ２３）／２
また、補間部３４は、図２５に示す領域ＡＲ＿ｓ１に含まれるＰ３１〜Ｐ３３を用いて、以下の数式に相当する処理により、Ｐ３２のＷ−Ｂ色成分値ｓ１を取得する。

ｓ１＝−Ｂｇａｉｎ×Ｐ３２＋Ｗｇａｉｎ×（Ｐ３１＋Ｐ３３）／２
なお、上記において、Ｒｇａｉｎ、Ｇｇａｉｎ、Ｂｇａｉｎは、Ｒ、Ｇ、ＢからＹ（輝度）を算出するときのゲイン値である。つまり、
Ｙ＝Ｒｇａｉｎ×Ｒ＋Ｇａｉｎ×Ｇ＋Ｂｇａｉｎ×Ｂ
Ｒｇａｉｎ＝０．２９９
Ｇｇａｉｎ＝０．５８７
Ｂｇａｉｎ＝０．１１４
である。なお、Ｒｇａｉｎ、Ｇｇａｉｎ、Ｂｇａｉｎは、上記値に完全に一致しなくてもよく（上記値と略同一であればよく）、ビット精度等により誤差等は、許容される。

さらに、補間部３４は、以下の数式に相当する処理により、Ｂ色成分の画素値Ｂｏｕｔを取得する。

ｔ０＝（Ｐ１２＋Ｐ３２）／２
ｔ１＝（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ１
Ｂｏｕｔ＝ｔ０−ｔ１
ここで、上記処理の意味について、説明する。なお、説明を簡単にするために、Ｗ２１、Ｗ２２、Ｗ２３、Ｇ２１、Ｇ２３の画素値が既知であるときに、Ｇ２２の画素値を求める場合について説明する。

Ｗ２２の低周波成分Ｗ２２Ｌは、
Ｗ２２Ｌ＝（Ｗ２１＋２×Ｗ２２＋Ｗ２３）／４
である。したがって、Ｗ２２の高周波成分Ｗ２２Ｈは、
Ｗ２２Ｈ＝Ｗ２２−Ｗ２２Ｌ
＝−（Ｗ２１−２×Ｗ２２＋Ｗ２３）／４
である。

一方、Ｐ２２の緑色成分値Ｇ２２の低周波成分Ｇ２２Ｌは、
Ｇ２２Ｌ＝（Ｇ２１＋２×Ｇ２２＋Ｇ２３）／４
である。したがって、Ｇ２２の高周波成分Ｇ２２Ｈは、
Ｇ２２Ｈ＝Ｇ２２―Ｇ２２Ｌ
＝Ｇ２２／２―（Ｇ２１＋Ｇ２３）／４
である。

Ｐ２２において、各色成分の高周波成分がほぼ等しいと仮定すると、
Ｗ２２Ｈ≒Ｇ２２Ｈ
より、
Ｇ２２／２―（Ｇ２１＋Ｇ２３）／４≒−（Ｗ２１−２×Ｗ２２＋Ｗ２３）／４
となる。これをＧ２２について解くと、
Ｇ２２＝（Ｇ２１＋Ｇ２３）／２−（Ｗ２１−２×Ｗ２２＋Ｗ２３）／２
となる。

この式において、（Ｗ２０−２×Ｗ２２＋Ｗ２４）は、水平方向のラプラシアン成分（２次微分成分）であり、Ｇ２１とＧ２３の平均値からラプラシアン成分の１／２倍したものを減算することで、Ｐ２２の緑色成分値Ｇ２２を算出することができる。

この考え方を、適用して、補間部３４は、Ｂ１２、Ｂ３２、ｓ０、ｓ、ｓ１から、Ｂ色成分の画素値Ｂｏｕｔを取得する。

つまり、補間部３４は、
ｔ０＝（Ｂ１２＋Ｂ３２）／２
ｔ１＝（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ２
Ｂｏｕｔ＝ｔ０−ｔ１
により、Ｂ色成分の画素値Ｂｏｕｔを取得する。

なお、ｇａｉｎ２を「１／２」とすると、ｔ１は、ラプラシアン成分となるが、補間部３４において、ｇａｉｎ２の値を調整し、ラプラシアン成分を調整することで、Ｂｏｕｔの高周波成分量を調整することができる。例えば、撮像部１の光学特性（例えば、撮像部１に設けられる光学フィルタ等の特性）等に応じて、ｇａｉｎ２を調整することで（ラプラシアン成分を調整することで）、より品質の良い画素補間処理を行うことができる。

≪Ｗｏｕｔ≫
Ｗ色成分の画素値Ｗｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｗ色成分の画素値Ｗｏｕｔの取得処理（算出処理）を、図２６を用いて、説明する。

図２６は、図２４と同様に、中心画素（注目画素）がＧ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、図２６に示す領域ＡＲ＿ｑ０に含まれるＰ１０〜Ｐ１４を用いて、以下の数式に相当する処理により、Ｐ１２のＷ色成分値ｑ０を取得する。

ｑ０＝（Ｐ１１＋Ｐ１３）／２−（Ｂ１０−２×Ｂ１２＋Ｂ１４）×ｇａｉｎ３
なお、（Ｂ１０−２×Ｂ１２＋Ｂ１４）は、ラプラシアン成分であり、ｇａｉｎ３は、ラプラシアン成分調整用のゲインである。

また、補間部３４は、図２６に示す領域ＡＲ＿ｑ１に含まれるＰ３０〜Ｐ３４を用いて、以下の数式に相当する処理により、Ｐ３２のＷ色成分値ｑ１を取得する。

ｑ１＝（Ｐ３１＋Ｐ３３）／２−（Ｂ３０−２×Ｂ３２＋Ｂ３４）×ｇａｉｎ４
なお、（Ｂ３０−２×Ｂ３２＋Ｂ３４）は、ラプラシアン成分であり、ｇａｉｎ４は、ラプラシアン成分調整用のゲインである。

そして、補間部３４は、以下の数式に相当する処理を行うことで、Ｐ２２の白色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０―２×ｓ＋ｓ１）×ｇａｉｎ５
なお、（ｓ０―２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ５は、ラプラシアン成分調整用のゲインである。

つまり、補間部３４は、水平方向に相関が高いことを利用して取得した、Ｐ１２の白色成分値ｑ０と、Ｐ３２の白色成分値ｑ１と、Ｐ１２のＷ−Ｂ色成分値ｓ０と、Ｐ２２のＷ−Ｂ色成分値ｓと、Ｐ３２のＷ−Ｂ色成分値ｓ１とを用いて、Ｐ２２の白色成分値Ｗｏｕｔを取得する。これにより、補間部３４では、水平方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２の白色成分値Ｗｏｕｔ）を取得することができる。
（Ｈ−Ｒ：注目画素がＲ画素である場合）：
注目画素がＲ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｒｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｒ色成分の画素値Ｒｏｕｔとする。
つまり、補間部３４は、
Ｒｏｕｔ＝Ｐ２２
とする。

≪Ｇｏｕｔ≫
Ｇ色成分の画素値Ｇｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｇ色成分の画素値Ｇｏｕｔの取得処理（算出処理）を、図２７を用いて、説明する。

図２７は、中心画素（注目画素）がＲ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、Ｐ２０〜Ｐ２４の５つの画素を用いて、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（Ｇ２１＋Ｇ２３）／２−（Ｒ２０−２×Ｒ２２＋Ｒ２４）×ｇａｉｎ６
なお、（Ｒ２０−２×Ｒ２２＋Ｒ２４）は、ラプラシアン成分であり、ｇａｉｎ６は、ラプラシアン成分調整用のゲインである。

≪Ｗｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

補間部３４は、図２８に示すように、Ｐ１２のＷ−Ｂ色成分値ｓ０と、Ｐ２２のＷ−Ｂ色成分値ｓと、Ｐ３２のＷ−Ｂ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｗｇａｉｎ×Ｐ１２−Ｂｇａｉｎ×（Ｐ１１＋Ｐ１３）／２
ｓ＝Ｒｇａｉｎ×Ｐ２２＋Ｇｇａｉｎ×（Ｐ２１＋Ｐ２３）／２
ｓ１＝Ｗｇａｉｎ×Ｐ３２−Ｂｇａｉｎ×（Ｐ３１＋Ｐ３３）／２
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（Ｗ１２＋Ｗ３２）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ７
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ７は、ラプラシアン成分調整用のゲインである。

≪Ｂｏｕｔ≫
Ｂ色成分の画素値Ｂｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｂ色成分の画素値Ｂｏｕｔの取得処理（算出処理）を、図２９を用いて、説明する。

図２９は、中心画素（注目画素）がＲ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、Ｐ１２のＷ−Ｂ色成分値ｓ０と、Ｐ２２のＷ−Ｂ色成分値ｓと、Ｐ３２のＷ−Ｂ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｗｇａｉｎ×Ｐ１２−Ｂｇａｉｎ×（Ｐ１１＋Ｐ１３）／２
ｓ＝Ｒｇａｉｎ×Ｐ２２−Ｇｇａｉｎ×（Ｐ２１＋Ｐ２３）／２
ｓ１＝Ｗｇａｉｎ×Ｐ３２−Ｂｇａｉｎ×（Ｐ３１＋Ｐ３３）／２
また、補間部３４は、Ｐ１２のＢ色成分ｑ０と、Ｐ３２のＢ色成分値ｑ１とを以下の数式に相当する処理により、算出する。

ｑ０＝（Ｂ１１＋Ｂ１３）／２−（Ｗ１０−２×Ｗ１２＋Ｗ１４）×ｇａｉｎ８
ｑ１＝（Ｂ３１＋Ｂ３３）／２−（Ｗ３０−２×Ｗ３２＋Ｗ３４）×ｇａｉｎ９
なお、（Ｗ１０−２×Ｗ１２＋Ｗ１４）は、ラプラシアン成分であり、ｇａｉｎ８は、ラプラシアン成分調整用のゲインである。また、（Ｗ３０−２×Ｗ３２＋Ｗ３４）は、ラプラシアン成分であり、ｇａｉｎ９は、ラプラシアン成分調整用のゲインである。

そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

Ｂｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ１０
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ１０は、ラプラシアン成分調整用のゲインである。
（Ｈ−Ｂ：注目画素がＢ画素である場合）：
注目画素がＢ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｂｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｂ色成分の画素値Ｂｏｕｔとする。
つまり、補間部３４は、
Ｂｏｕｔ＝Ｐ２２
とする。

≪Ｗｏｕｔ≫
Ｗ色成分の画素値Ｗｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｗ色成分の画素値Ｗｏｕｔの取得処理（算出処理）を、図３０を用いて、説明する。

図３０は、中心画素（注目画素）がＢ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、Ｐ２０〜Ｐ２４の５つの画素を用いて、以下の処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（Ｗ２１＋Ｗ２３）／２−（Ｂ２０−２×Ｂ２２＋Ｂ２４）×ｇａｉｎ１１
なお、（Ｂ２０−２×Ｂ２２＋Ｂ２４）は、ラプラシアン成分であり、ｇａｉｎ１１は、ラプラシアン成分調整用のゲインである。

≪Ｇｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

補間部３４は、図３１に示すように、Ｐ１２のＷ−Ｂ色成分値ｓ０（Ｒ＋Ｇ色成分値ｓ０）と、Ｐ２２のＷ−Ｂ色成分値ｓと、Ｐ３２のＷ−Ｂ色成分値ｓ１（Ｒ＋Ｇ色成分値ｓ１）とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｇｇａｉｎ×Ｐ１２＋Ｒｇａｉｎ×（Ｐ１１＋Ｐ１３）／２
ｓ＝−Ｂｇａｉｎ×Ｐ２２＋Ｗｇａｉｎ×（Ｐ２１＋Ｐ２３）／２
ｓ１＝Ｇｇａｉｎ×Ｐ３２＋Ｒｇａｉｎ×（Ｐ３１＋Ｐ３３）／２
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（Ｇ１２＋Ｇ３２）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ１２
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ１２は、ラプラシアン成分調整用のゲインである。

≪Ｒｏｕｔ≫
Ｒ色成分の画素値Ｒｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｒ色成分の画素値Ｒｏｕｔの取得処理（算出処理）を、図３２を用いて、説明する。

図３２は、中心画素（注目画素）がＲ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、Ｐ１２のＷ−Ｂ色成分値ｓ０と、Ｐ２２のＷ−Ｂ色成分値ｓと、Ｐ３２のＷ−Ｂ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｇｇａｉｎ×Ｐ１２＋Ｒｇａｉｎ×（Ｐ１１＋Ｐ１３）／２
ｓ＝−Ｂｇａｉｎ×Ｐ２２＋Ｗｇａｉｎ×（Ｐ２１＋Ｐ２３）／２
ｓ１＝Ｇｇａｉｎ×Ｐ３２＋Ｒｇａｉｎ×（Ｐ３１＋Ｐ３３）／２
また、補間部３４は、Ｐ１２のＲ色成分ｑ０と、Ｐ３２のＲ色成分値ｑ１とを以下の数式に相当する処理により、算出する。

ｑ０＝（Ｒ１１＋Ｒ１３）／２−（Ｇ１０−２×Ｇ１２＋Ｇ１４）×ｇａｉｎ１３
ｑ１＝（Ｒ３１＋Ｒ３３）／２−（Ｇ３０−２×Ｇ３２＋Ｇ３４）×ｇａｉｎ１４
なお、（Ｇ１０−２×Ｇ１２＋Ｇ１４）は、ラプラシアン成分であり、ｇａｉｎ１３は、ラプラシアン成分調整用のゲインである。また、（Ｇ３０−２×Ｇ３２＋Ｇ３４）は、ラプラシアン成分であり、ｇａｉｎ１４は、ラプラシアン成分調整用のゲインである。

そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ１５
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ１５は、ラプラシアン成分調整用のゲインである。
（Ｈ−Ｗ：注目画素がＷ画素である場合）：
注目画素がＷ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｗｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｗ色成分の画素値Ｗｏｕｔとする。
つまり、補間部３４は、
Ｗｏｕｔ＝Ｐ２２
とする。

≪Ｂｏｕｔ≫
Ｂ色成分の画素値Ｂｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｂ色成分の画素値Ｂｏｕｔの取得処理（算出処理）を、図３３を用いて、説明する。

図３３は、中心画素（注目画素）がＷ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、Ｐ２０〜Ｐ２４の５つの画素を用いて、以下の処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

Ｂｏｕｔ＝（Ｂ２１＋Ｂ２３）／２−（Ｗ２０−２×Ｗ２２＋Ｗ２４）×ｇａｉｎ１５
なお、（Ｗ２０−２×Ｗ２２＋Ｗ２４）は、ラプラシアン成分であり、ｇａｉｎ１５は、ラプラシアン成分調整用のゲインである。

≪Ｒｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

補間部３４は、図３４に示すように、Ｐ１２のＷ−Ｂ色成分値ｓ０（Ｒ＋Ｇ色成分値ｓ０）と、Ｐ２２のＷ−Ｂ色成分値ｓと、Ｐ３２のＷ−Ｂ色成分値ｓ１（Ｒ＋Ｇ色成分値ｓ１）とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｒｇａｉｎ×Ｐ１２＋Ｇｇａｉｎ×（Ｐ１１＋Ｐ１３）／２
ｓ＝Ｗｇａｉｎ×Ｐ２２−Ｂｇａｉｎ×（Ｐ２１＋Ｐ２３）／２
ｓ１＝Ｒｇａｉｎ×Ｐ３２＋Ｇｇａｉｎ×（Ｐ３１＋Ｐ３３）／２
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（Ｒ１２＋Ｒ３２）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ１６
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ１６は、ラプラシアン成分調整用のゲインである。

≪Ｇｏｕｔ≫
Ｇ色成分の画素値Ｇｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｇ色成分の画素値Ｇｏｕｔの取得処理（算出処理）を、図３５を用いて、説明する。

図３５は、中心画素（注目画素）がＲ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、Ｐ１２のＷ−Ｂ色成分値ｓ０と、Ｐ２２のＷ−Ｂ色成分値ｓと、Ｐ３２のＷ−Ｂ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｒｇａｉｎ×Ｐ１２＋Ｇｇａｉｎ×（Ｐ１１＋Ｐ１３）／２
ｓ＝Ｗｇａｉｎ×Ｐ２２−Ｂｇａｉｎ×（Ｐ２１＋Ｐ２３）／２
ｓ１＝Ｒｇａｉｎ×Ｐ３２＋Ｇｇａｉｎ×（Ｐ３１＋Ｐ３３）／２
また、補間部３４は、Ｐ１２のＧ色成分ｑ０と、Ｐ３２のＧ色成分値ｑ１とを以下の数式に相当する処理により、算出する。

ｑ０＝（Ｇ１１＋Ｇ１３）／２−（Ｒ１０−２×Ｒ１２＋Ｒ１４）×ｇａｉｎ１７
ｑ１＝（Ｇ３１＋Ｇ３３）／２−（Ｒ３０−２×Ｒ３２＋Ｒ３４）×ｇａｉｎ１８
なお、（Ｒ１０−２×Ｒ１２＋Ｒ１４）は、ラプラシアン成分であり、ｇａｉｎ１７は、ラプラシアン成分調整用のゲインである。また、（Ｒ３０−２×Ｒ３２＋Ｒ３４）は、ラプラシアン成分であり、ｇａｉｎ１８は、ラプラシアン成分調整用のゲインである。

そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ１８
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ１８は、ラプラシアン成分調整用のゲインである。

≪垂直方向画素補間（カラー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素についての相関方向が「垂直方向」であると判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のＷ色成分の画素値をＷｏｕｔとし、Ｒ色成分の画素値をＲｏｕｔとし、Ｇ色成分の画素値をＧｏｕｔとし、Ｂ色成分の画素値をＢｏｕｔとする。
（Ｖ−Ｇ：注目画素がＧ画素である場合）：
注目画素がＧ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｇｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｇ色成分の画素値Ｇｏｕｔとする。
つまり、補間部３４は、
Ｇｏｕｔ＝Ｐ２２
とする。

≪Ｂｏｕｔ≫
Ｂ色成分の画素値Ｂｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｂ色成分の画素値Ｂｏｕｔの取得処理（算出処理）を、図３６を用いて、説明する。

図３６は、中心画素（注目画素）がＧ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、Ｐ０２、Ｐ１２、Ｐ２２、Ｐ３２、Ｐ４２の５つの画素を用いて、以下の処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

Ｂｏｕｔ＝（Ｂ１２＋Ｂ３２）／２−（Ｇ０２−２×Ｇ２２＋Ｇ４２）×ｇａｉｎ２０
なお、（Ｇ０２−２×Ｇ２２＋Ｇ４２）は、ラプラシアン成分であり、ｇａｉｎ２０は、ラプラシアン成分調整用のゲインである。

≪Ｒｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

補間部３４は、図３７に示すように、Ｐ２１のＷ−Ｒ色成分値ｓ０と、Ｐ２２のＷ−Ｒ色成分値ｓ（Ｂ＋Ｇ色成分値ｓ）と、Ｐ３２のＷ−Ｒ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝−Ｒｇａｉｎ×Ｐ２１＋Ｗｇａｉｎ×（Ｐ１１＋Ｐ３１）／２
ｓ＝Ｇｇａｉｎ×Ｐ２２＋Ｂｇａｉｎ×（Ｐ１２＋Ｐ３２）／２
ｓ１＝−Ｒｇａｉｎ×Ｐ２３＋Ｗｇａｉｎ×（Ｐ１３＋Ｐ３３）／２
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（Ｒ２１＋Ｒ２３）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ２１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ２１は、ラプラシアン成分調整用のゲインである。

≪Ｗｏｕｔ≫
Ｗ色成分の画素値Ｗｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｗ色成分の画素値Ｗｏｕｔの取得処理（算出処理）を、図３８を用いて、説明する。

図３８は、中心画素（注目画素）がＲ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、Ｐ２１のＷ−Ｒ色成分値ｓ０と、Ｐ２２のＷ−Ｒ色成分値ｓ（Ｂ＋Ｇ色成分値ｓ）と、Ｐ３２のＷ−Ｒ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝−Ｒｇａｉｎ×Ｐ２１＋Ｗｇａｉｎ×（Ｐ１１＋Ｐ３１）／２
ｓ＝Ｇｇａｉｎ×Ｐ２２＋Ｂｇａｉｎ×（Ｐ１２＋Ｐ３２）／２
ｓ１＝−Ｒｇａｉｎ×Ｐ２３＋Ｗｇａｉｎ×（Ｐ１３＋Ｐ３３）／２
また、補間部３８は、Ｐ２１のＷ色成分ｑ０と、Ｐ２３のＷ色成分値ｑ１とを以下の数式に相当する処理により、算出する。

ｑ０＝（Ｗ１１＋Ｗ３１）／２−（Ｒ０１−２×Ｒ２１＋Ｒ４１）×ｇａｉｎ２２
ｑ１＝（Ｗ１３＋Ｗ３３）／２−（Ｒ０３−２×Ｒ２３＋Ｒ４３）×ｇａｉｎ２３
なお、（Ｒ０１−２×Ｒ２１＋Ｒ４１）は、ラプラシアン成分であり、ｇａｉｎ２２は、ラプラシアン成分調整用のゲインである。また、（Ｒ０３−２×Ｒ２３＋Ｒ４３）は、ラプラシアン成分であり、ｇａｉｎ２３は、ラプラシアン成分調整用のゲインである。

そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ２３
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ２３は、ラプラシアン成分調整用のゲインである。
（Ｖ−Ｒ：注目画素がＲ画素である場合）：
注目画素がＲ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｒｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｒ色成分の画素値Ｒｏｕｔとする。
つまり、補間部３４は、
Ｒｏｕｔ＝Ｐ２２
とする。

≪Ｗｏｕｔ≫
Ｗ色成分の画素値Ｗｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ０２、Ｐ１２、Ｐ２２、Ｐ３２、Ｐ４２の５つの画素を用いて、以下の処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（Ｗ１２＋Ｗ３２）／２−（Ｒ０２−２×Ｒ２２＋Ｒ４２）×ｇａｉｎ２４
なお、（Ｒ０２−２×Ｒ２２＋Ｒ４２）は、ラプラシアン成分であり、ｇａｉｎ２４は、ラプラシアン成分調整用のゲインである。

≪Ｇｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

補間部３４は、Ｐ２１のＷ−Ｒ色成分値ｓ０（Ｇ＋Ｂ色成分値ｓ０）と、Ｐ２２のＷ−Ｒ色成分値ｓと、Ｐ３２のＷ−Ｒ色成分値ｓ１（Ｇ＋Ｂ色成分値ｓ１）とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｇｇａｉｎ×Ｐ２１＋Ｂｇａｉｎ×（Ｐ１１＋Ｐ３１）／２
ｓ＝−Ｒｇａｉｎ×Ｐ２２＋Ｗｇａｉｎ×（Ｐ１２＋Ｐ３２）／２
ｓ１＝Ｇｇａｉｎ×Ｐ２３＋Ｂｇａｉｎ×（Ｐ１３＋Ｐ３３）／２
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（Ｇ２１＋Ｇ２３）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ２５
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ２５は、ラプラシアン成分調整用のゲインである。

≪Ｂｏｕｔ≫
Ｗ色成分の画素値Ｂｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ２１のＷ−Ｒ色成分値ｓ０（Ｇ＋Ｂ色成分値ｓ０）と、Ｐ２２のＷ−Ｒ色成分値ｓと、Ｐ３２のＷ−Ｒ色成分値ｓ１（Ｇ＋Ｂ色成分値ｓ１）とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｇｇａｉｎ×Ｐ２１＋Ｂｇａｉｎ×（Ｐ１１＋Ｐ３１）／２
ｓ＝−Ｒｇａｉｎ×Ｐ２２＋Ｗｇａｉｎ×（Ｐ１２＋Ｐ３２）／２
ｓ１＝Ｇｇａｉｎ×Ｐ２３＋Ｂｇａｉｎ×（Ｐ１３＋Ｐ３３）／２
また、補間部３８は、Ｐ２１のＷ色成分ｑ０と、Ｐ２３のＷ色成分値ｑ１とを以下の数式に相当する処理により、算出する。

ｑ０＝（Ｂ１１＋Ｂ３１）／２−（Ｇ０１−２×Ｇ２１＋Ｇ４１）×ｇａｉｎ２６
ｑ１＝（Ｂ１３＋Ｂ３３）／２−（Ｇ０３−２×Ｇ２３＋Ｇ４３）×ｇａｉｎ２７
なお、（Ｇ０１−２×Ｇ２１＋Ｇ４１）は、ラプラシアン成分であり、ｇａｉｎ２６は、ラプラシアン成分調整用のゲインである。また、（Ｇ０３−２×Ｇ２３＋Ｇ４３）は、ラプラシアン成分であり、ｇａｉｎ２７は、ラプラシアン成分調整用のゲインである。

そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＷ色成分値Ｂｏｕｔを取得する。

Ｂｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ２８
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ２８は、ラプラシアン成分調整用のゲインである。
（Ｖ−Ｂ：注目画素がＢ画素である場合）：
注目画素がＢ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｂｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｂ色成分の画素値Ｂｏｕｔとする。
つまり、補間部３４は、
Ｂｏｕｔ＝Ｐ２２
とする。

≪Ｇｏｕｔ≫
Ｇ色成分の画素値Ｇｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ０２、Ｐ１２、Ｐ２２、Ｐ３２、Ｐ４２の５つの画素を用いて、以下の処理により、Ｐ２２のＷ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（Ｇ１２＋Ｇ３２）／２−（Ｂ０２−２×Ｂ２２＋Ｂ４２）×ｇａｉｎ２９
なお、（Ｂ０２−２×Ｂ２２＋Ｂ４２）は、ラプラシアン成分であり、ｇａｉｎ２９は、ラプラシアン成分調整用のゲインである。

≪Ｗｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

補間部３４は、Ｐ２１のＷ−Ｒ色成分値ｓ０と、Ｐ２２のＷ−Ｒ色成分値ｓ（Ｇ＋Ｂ色成分値ｓ）と、Ｐ３２のＷ−Ｒ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｗｇａｉｎ×Ｐ２１−Ｒｇａｉｎ×（Ｐ１１＋Ｐ３１）／２
ｓ＝Ｂｇａｉｎ×Ｐ２２＋Ｇｇａｉｎ×（Ｐ１２＋Ｐ３２）／２
ｓ１＝Ｗｇａｉｎ×Ｐ２３−Ｒｇａｉｎ×（Ｐ１３＋Ｐ３３）／２
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（Ｗ２１＋Ｗ２３）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ３０
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ３０は、ラプラシアン成分調整用のゲインである。

≪Ｒｏｕｔ≫
Ｒ色成分の画素値Ｒｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ２１のＷ−Ｒ色成分値ｓ０と、Ｐ２２のＷ−Ｒ色成分値ｓ（Ｇ＋Ｂ色成分値ｓ）と、Ｐ３２のＷ−Ｒ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｗｇａｉｎ×Ｐ２１−Ｒｇａｉｎ×（Ｐ１１＋Ｐ３１）／２
ｓ＝Ｂｇａｉｎ×Ｐ２２＋Ｇｇａｉｎ×（Ｐ１２＋Ｐ３２）／２
ｓ１＝Ｗｇａｉｎ×Ｐ２３−Ｒｇａｉｎ×（Ｐ１３＋Ｐ３３）／２
また、補間部３８は、Ｐ２１のＲ色成分ｑ０と、Ｐ２３のＲ色成分値ｑ１とを以下の数式に相当する処理により、算出する。

ｑ０＝（Ｒ１１＋Ｒ３１）／２−（Ｗ０１−２×Ｗ２１＋Ｗ４１）×ｇａｉｎ３１
ｑ１＝（Ｒ１３＋Ｒ３３）／２−（Ｗ０３−２×Ｗ２３＋Ｗ４３）×ｇａｉｎ３２
なお、（Ｗ０１−２×Ｗ２１＋Ｗ４１）は、ラプラシアン成分であり、ｇａｉｎ３１は、ラプラシアン成分調整用のゲインである。また、（Ｗ０３−２×Ｗ２３＋Ｗ４３）は、ラプラシアン成分であり、ｇａｉｎ３２は、ラプラシアン成分調整用のゲインである。

そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ３３
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ３３は、ラプラシアン成分調整用のゲインである。
（Ｖ−Ｗ：注目画素がＷ画素である場合）：
注目画素がＷ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｗｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｗ色成分の画素値Ｗｏｕｔとする。
つまり、補間部３４は、
Ｗｏｕｔ＝Ｐ２２
とする。

≪Ｒｏｕｔ≫
Ｒ色成分の画素値Ｒｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ０２、Ｐ１２、Ｐ２２、Ｐ３２、Ｐ４２の５つの画素を用いて、以下の処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（Ｒ１２＋Ｒ３２）／２−（Ｗ０２−２×Ｗ２２＋Ｗ４２）×ｇａｉｎ３４
なお、（Ｗ０２−２×Ｗ２２＋Ｗ４２）は、ラプラシアン成分であり、ｇａｉｎ３４は、ラプラシアン成分調整用のゲインである。

≪Ｂｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

補間部３４は、Ｐ２１のＷ−Ｒ色成分値ｓ０（Ｂ＋Ｇ色成分値ｓ０）と、Ｐ２２のＷ−Ｒ色成分値ｓと、Ｐ３２のＷ−Ｒ色成分値ｓ１（Ｂ＋Ｇ色成分値ｓ１）とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｂｇａｉｎ×Ｐ２１＋Ｇｇａｉｎ×（Ｐ１１＋Ｐ３１）／２
ｓ＝Ｗｇａｉｎ×Ｐ２２−Ｒｇａｉｎ×（Ｐ１２＋Ｐ３２）／２
ｓ１＝Ｂｇａｉｎ×Ｐ２３＋Ｇｇａｉｎ×（Ｐ１３＋Ｐ３３）／２
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

Ｂｏｕｔ＝（Ｂ２１＋Ｂ２３）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ３５
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ３５は、ラプラシアン成分調整用のゲインである。

≪Ｇｏｕｔ≫
Ｇ色成分の画素値Ｇｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ２１のＷ−Ｒ色成分値ｓ０（Ｂ＋Ｇ色成分値ｓ０）と、Ｐ２２のＷ−Ｒ色成分値ｓと、Ｐ３２のＷ−Ｒ色成分値ｓ１（Ｂ＋Ｇ色成分値ｓ１）とを、以下の数式に相当する処理により算出する。

ｓ０＝Ｂｇａｉｎ×Ｐ２１＋Ｇｇａｉｎ×（Ｐ１１＋Ｐ３１）／２
ｓ＝Ｗｇａｉｎ×Ｐ２２−Ｒｇａｉｎ×（Ｐ１２＋Ｐ３２）／２
ｓ１＝Ｂｇａｉｎ×Ｐ２３＋Ｇｇａｉｎ×（Ｐ１３＋Ｐ３３）／２
また、補間部３８は、Ｐ２１のＧ色成分ｑ０と、Ｐ２３のＧ色成分値ｑ１とを以下の数式に相当する処理により、算出する。

ｑ０＝（Ｇ１１＋Ｇ３１）／２−（Ｂ０１−２×Ｂ２１＋Ｂ４１）×ｇａｉｎ３６
ｑ１＝（Ｇ１３＋Ｇ３３）／２−（Ｂ０３−２×Ｂ２３＋Ｂ４３）×ｇａｉｎ３７
なお、（Ｂ０１−２×Ｂ２１＋Ｂ４１）は、ラプラシアン成分であり、ｇａｉｎ３６は、ラプラシアン成分調整用のゲインである。また、（Ｂ０３−２×Ｂ２３＋Ｂ４３）は、ラプラシアン成分であり、ｇａｉｎ３７は、ラプラシアン成分調整用のゲインである。

そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ３８
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ３８は、ラプラシアン成分調整用のゲインである。

≪第１斜め方向画素補間（カラー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素についての相関方向が「第１斜め方向」であると判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のＷ色成分の画素値をＷｏｕｔとし、Ｒ色成分の画素値をＲｏｕｔとし、Ｇ色成分の画素値をＧｏｕｔとし、Ｂ色成分の画素値をＢｏｕｔとする。
（Ｄ１−Ｇ：注目画素がＧ画素である場合）：
注目画素がＧ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｇｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｇ色成分の画素値Ｇｏｕｔとする。
つまり、補間部３４は、
Ｇｏｕｔ＝Ｐ２２
とする。

≪Ｗｏｕｔ≫
Ｗ色成分の画素値Ｗｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｗ色成分の画素値Ｗｏｕｔの取得処理（算出処理）を、図３９を用いて、説明する。

図３９は、中心画素（注目画素）がＧ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、Ｐ００、Ｐ１１、Ｐ２２、Ｐ３３、Ｐ４４の５つの画素を用いて、以下の処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（Ｗ１１＋Ｗ３３）／２−（Ｇ００−２×Ｇ２２＋Ｇ４４）×ｇａｉｎ４０
なお、（Ｇ００−２×Ｇ２２＋Ｇ４４）は、ラプラシアン成分であり、ｇａｉｎ４０は、ラプラシアン成分調整用のゲインである。

≪Ｂｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

補間部３４は、図４０に示すように、Ｐ１３のＧ色成分値ｓ０と、Ｐ２２のＧ色成分値ｓと、Ｐ３１のＧ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｇ０２＋Ｇ２４）／２
ｓ＝Ｇ２２
ｓ１＝（Ｇ２０＋Ｇ４２）／２
また、補間部３４は、図４０に示すように、Ｐ１３とＰ２２との中点のＢ色成分ｑ０と、Ｐ２２とＰ３１との中点のＢ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｂ１２＋Ｂ３４）／４
ｑ１＝（Ｂ１０＋３×Ｂ３２）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

Ｂｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４１は、ラプラシアン成分調整用のゲインである。

≪Ｒｏｕｔ≫
補間部３４は、図４１に示すように、Ｐ１３のＧ色成分値ｓ０と、Ｐ２２のＧ色成分値ｓと、Ｐ３１のＧ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｇ０２＋Ｇ２４）／２
ｓ＝Ｇ２２
ｓ１＝（Ｇ２０＋Ｇ４２）／２
また、補間部３４は、図４１に示すように、Ｐ１３とＰ２２との中点のＲ色成分ｑ０と、Ｐ２２とＰ３１との中点のＲ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（Ｒ０１＋３×Ｒ２３）／４
ｑ１＝（３×Ｒ２１＋Ｒ４３）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４２
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４２は、ラプラシアン成分調整用のゲインである。
（Ｄ１−Ｒ：注目画素がＲ画素である場合）：
注目画素がＲ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｒｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｒ色成分の画素値Ｒｏｕｔとする。
つまり、補間部３４は、
Ｒｏｕｔ＝Ｐ２２
とする。

≪Ｂｏｕｔ≫
Ｂ色成分の画素値Ｂｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ００、Ｐ１１、Ｐ２２、Ｐ３３、Ｐ４４の５つの画素を用いて、以下の処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

Ｂｏｕｔ＝（Ｂ１１＋Ｂ３３）／２−（Ｒ００−２×Ｒ２２＋Ｒ４４）×ｇａｉｎ４３
なお、（Ｒ００−２×Ｒ２２＋Ｒ４４）は、ラプラシアン成分であり、ｇａｉｎ４３は、ラプラシアン成分調整用のゲインである。

≪Ｗｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

補間部３４は、Ｐ１３のＲ色成分値ｓ０と、Ｐ２２のＲ色成分値ｓと、Ｐ３１のＲ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｒ０２＋Ｒ２４）／２
ｓ＝Ｒ２２
ｓ１＝（Ｒ２０＋Ｒ４２）／２
また、補間部３４は、Ｐ１３とＰ２２との中点のＷ色成分ｑ０と、Ｐ２２とＰ３１との中点のＷ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｗ１２＋Ｗ３４）／４
ｑ１＝（Ｗ１０＋３×Ｗ３２）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４４
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４４は、ラプラシアン成分調整用のゲインである。

≪Ｇｏｕｔ≫
補間部３４は、Ｐ１３のＲ色成分値ｓ０と、Ｐ２２のＲ色成分値ｓと、Ｐ３１のＲ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｒ０２＋Ｒ２４）／２
ｓ＝Ｒ２２
ｓ１＝（Ｒ２０＋Ｒ４２）／２
また、補間部３４は、Ｐ１３とＰ２２との中点のＧ色成分ｑ０と、Ｐ２２とＰ３１との中点のＧ色成分ｑ１とを、以下の数式に相当する処理により算出する。

ｑ０＝（Ｇ０１＋３×Ｇ２３）／４
ｑ１＝（３×Ｇ２１＋Ｇ４３）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４５
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４５は、ラプラシアン成分調整用のゲインである。
（Ｄ１−Ｂ：注目画素がＢ画素である場合）：
注目画素がＢ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｂｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｂ色成分の画素値Ｂｏｕｔとする。
つまり、補間部３４は、
Ｂｏｕｔ＝Ｐ２２
とする。

≪Ｒｏｕｔ≫
Ｒ色成分の画素値Ｒｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ００、Ｐ１１、Ｐ２２、Ｐ３３、Ｐ４４の５つの画素を用いて、以下の処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（Ｒ１１＋Ｒ３３）／２−（Ｂ００−２×Ｂ２２＋Ｂ４４）×ｇａｉｎ４６
なお、（Ｂ００−２×Ｂ２２＋Ｂ４４）は、ラプラシアン成分であり、ｇａｉｎ４６は、ラプラシアン成分調整用のゲインである。

≪Ｇｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

補間部３４は、Ｐ１３のＢ色成分値ｓ０と、Ｐ２２のＢ色成分値ｓと、Ｐ３１のＢ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｂ０２＋Ｂ２４）／２
ｓ＝Ｂ２２
ｓ１＝（Ｂ２０＋Ｂ４２）／２
また、補間部３４は、Ｐ１３とＰ２２との中点のＧ色成分ｑ０と、Ｐ２２とＰ３１との中点のＧ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｇ１２＋Ｇ３４）／４
ｑ１＝（Ｇ１０＋３×Ｇ３２）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４７
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４７は、ラプラシアン成分調整用のゲインである。

≪Ｗｏｕｔ≫
補間部３４は、Ｐ１３のＢ色成分値ｓ０と、Ｐ２２のＢ色成分値ｓと、Ｐ３１のＢ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｂ０２＋Ｂ２４）／２
ｓ＝Ｂ２２
ｓ１＝（Ｂ２０＋Ｂ４２）／２
また、補間部３４は、Ｐ１３とＰ２２との中点のＷ色成分ｑ０と、Ｐ２２とＰ３１との中点のＷ色成分ｑ１とを、以下の数式に相当する処理により算出する。

ｑ０＝（Ｗ０１＋３×Ｗ２３）／４
ｑ１＝（３×Ｗ２１＋Ｗ４３）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４８
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４８は、ラプラシアン成分調整用のゲインである。
（Ｄ１−Ｗ：注目画素がＷ画素である場合）：
注目画素がＷ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｗｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｗ色成分の画素値Ｗｏｕｔとする。
つまり、補間部３４は、
Ｗｏｕｔ＝Ｐ２２
とする。

≪Ｇｏｕｔ≫
Ｇ色成分の画素値Ｇｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ００、Ｐ１１、Ｐ２２、Ｐ３３、Ｐ４４の５つの画素を用いて、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（Ｇ１１＋Ｇ３３）／２−（Ｗ００−２×Ｗ２２＋Ｗ４４）×ｇａｉｎ４９
なお、（Ｗ００−２×Ｗ２２＋Ｗ４４）は、ラプラシアン成分であり、ｇａｉｎ４９は、ラプラシアン成分調整用のゲインである。

≪Ｒｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

補間部３４は、Ｐ１３のＷ色成分値ｓ０と、Ｐ２２のＷ色成分値ｓと、Ｐ３１のＷ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｗ０２＋Ｗ２４）／２
ｓ＝Ｗ２２
ｓ１＝（Ｗ２０＋Ｗ４２）／２
また、補間部３４は、Ｐ１３とＰ２２との中点のＲ色成分ｑ０と、Ｐ２２とＰ３１との中点のＲ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｒ１２＋Ｒ３４）／４
ｑ１＝（Ｒ１０＋３×Ｒ３２）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５０
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ５０は、ラプラシアン成分調整用のゲインである。

≪Ｂｏｕｔ≫
補間部３４は、Ｐ１３のＷ色成分値ｓ０と、Ｐ２２のＷ色成分値ｓと、Ｐ３１のＷ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｗ０２＋Ｗ２４）／２
ｓ＝Ｗ２２
ｓ１＝（Ｗ２０＋Ｗ４２）／２
また、補間部３４は、Ｐ１３とＰ２２との中点のＢ色成分ｑ０と、Ｐ２２とＰ３１との中点のＢ色成分ｑ１とを、以下の数式に相当する処理により算出する。

ｑ０＝（Ｂ０１＋３×Ｂ２３）／４
ｑ１＝（３×Ｂ２１＋Ｂ４３）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

Ｂｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ５１は、ラプラシアン成分調整用のゲインである。

≪第２斜め方向画素補間（カラー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素についての相関方向が「第２斜め方向」であると判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のＷ色成分の画素値をＷｏｕｔとし、Ｒ色成分の画素値をＲｏｕｔとし、Ｇ色成分の画素値をＧｏｕｔとし、Ｂ色成分の画素値をＢｏｕｔとする。
（Ｄ２−Ｇ：注目画素がＧ画素である場合）：
注目画素がＧ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｇｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｇ色成分の画素値Ｇｏｕｔとする。
つまり、補間部３４は、
Ｇｏｕｔ＝Ｐ２２
とする。

≪Ｗｏｕｔ≫
Ｗ色成分の画素値Ｗｏｕｔを取得するために、補間部３４は、以下の処理を行う。Ｗ色成分の画素値Ｗｏｕｔの取得処理（算出処理）を、図４２を用いて、説明する。

図４２は、中心画素（注目画素）がＧ画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３４は、Ｐ０４、Ｐ１３、Ｐ２２、Ｐ３１、Ｐ４０の５つの画素を用いて、以下の処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（Ｗ１３＋Ｗ３１）／２−（Ｇ０４−２×Ｇ２２＋Ｇ４０）×ｇａｉｎ６０
なお、（Ｇ０４−２×Ｇ２２＋Ｇ４０）は、ラプラシアン成分であり、ｇａｉｎ６０は、ラプラシアン成分調整用のゲインである。

≪Ｂｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

補間部３４は、図４３に示すように、Ｐ１１のＧ色成分値ｓ０と、Ｐ２２のＧ色成分値ｓと、Ｐ３３のＧ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｇ０２＋Ｇ２０）／２
ｓ＝Ｇ２２
ｓ１＝（Ｇ２４＋Ｇ４２）／２
また、補間部３４は、図４３に示すように、Ｐ１１とＰ２２との中点のＢ色成分ｑ０と、Ｐ２２とＰ３３との中点のＢ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｂ１２＋Ｂ３０）／４
ｑ１＝（Ｂ１４＋３×Ｂ３２）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

Ｂｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ６１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ６１は、ラプラシアン成分調整用のゲインである。

≪Ｒｏｕｔ≫
補間部３４は、図４４に示すように、Ｐ１１のＧ色成分値ｓ０と、Ｐ２２のＧ色成分値ｓと、Ｐ３３のＧ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｇ０２＋Ｇ２０）／２
ｓ＝Ｇ２２
ｓ１＝（Ｇ２４＋Ｇ４２）／２
また、補間部３４は、図４４に示すように、Ｐ１１とＰ２２との中点のＲ色成分ｑ０と、Ｐ２２とＰ３３との中点のＲ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（Ｒ０３＋３×Ｒ２１）／４
ｑ１＝（３×Ｒ２３＋Ｒ４１）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ６２
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ６２は、ラプラシアン成分調整用のゲインである。
（Ｄ２−Ｒ：注目画素がＲ画素である場合）：
注目画素がＲ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｒｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｒ色成分の画素値Ｒｏｕｔとする。
つまり、補間部３４は、
Ｒｏｕｔ＝Ｐ２２
とする。

≪Ｂｏｕｔ≫
Ｂ色成分の画素値Ｂｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ０４、Ｐ１３、Ｐ２２、Ｐ３１、Ｐ４０の５つの画素を用いて、以下の処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

Ｂｏｕｔ＝（Ｂ１３＋Ｂ３１）／２−（Ｒ０４−２×Ｒ２２＋Ｒ４０）×ｇａｉｎ６３
なお、（Ｒ０４−２×Ｒ２２＋Ｒ４０）は、ラプラシアン成分であり、ｇａｉｎ６３は、ラプラシアン成分調整用のゲインである。

≪Ｗｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

補間部３４は、Ｐ１１のＲ色成分値ｓ０と、Ｐ２２のＲ色成分値ｓと、Ｐ３３のＲ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｒ０２＋Ｒ２０）／２
ｓ＝Ｒ２２
ｓ１＝（Ｒ２４＋Ｒ４２）／２
また、補間部３４は、Ｐ１１とＰ２２との中点のＷ色成分ｑ０と、Ｐ２２とＰ３３との中点のＷ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｗ１２＋Ｗ３０）／４
ｑ１＝（Ｗ１４＋３×Ｗ３２）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ６４
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ６４は、ラプラシアン成分調整用のゲインである。

≪Ｇｏｕｔ≫
補間部３４は、Ｐ１１のＲ色成分値ｓ０と、Ｐ２２のＲ色成分値ｓと、Ｐ３３のＲ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｒ０２＋Ｒ２０）／２
ｓ＝Ｒ２２
ｓ０＝（Ｒ２４＋Ｒ４２）／２
また、補間部３４は、Ｐ１１とＰ２２との中点のＧ色成分ｑ０と、Ｐ２２とＰ３３との中点のＧ色成分ｑ１とを、以下の数式に相当する処理により算出する。

ｑ０＝（Ｇ０３＋３×Ｇ２１）／４
ｑ１＝（３×Ｇ２３＋Ｇ４１）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ６５
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ６５は、ラプラシアン成分調整用のゲインである。
（Ｄ２−Ｂ：注目画素がＢ画素である場合）：
注目画素がＢ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｂｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｂ色成分の画素値Ｂｏｕｔとする。
つまり、補間部３４は、
Ｂｏｕｔ＝Ｐ２２
とする。

≪Ｒｏｕｔ≫
Ｒ色成分の画素値Ｒｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ０４、Ｐ１３、Ｐ２２、Ｐ３１、Ｐ４０の５つの画素を用いて、以下の処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（Ｒ１３＋Ｒ３１）／２−（Ｂ０４−２×Ｂ２２＋Ｂ４０）×ｇａｉｎ６６
なお、（Ｂ０４−２×Ｂ２２＋Ｂ４０）は、ラプラシアン成分であり、ｇａｉｎ６６は、ラプラシアン成分調整用のゲインである。

≪Ｇｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

補間部３４は、Ｐ１１のＢ色成分値ｓ０と、Ｐ２２のＢ色成分値ｓと、Ｐ３３のＢ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｂ０２＋Ｂ２０）／２
ｓ＝Ｂ２２
ｓ１＝（Ｂ２４＋Ｂ４２）／２
また、補間部３４は、Ｐ１１とＰ２２との中点のＧ色成分ｑ０と、Ｐ２２とＰ３３との中点のＧ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｇ１２＋Ｇ３０）／４
ｑ１＝（Ｇ１４＋３×Ｇ３２）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ６７
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ６７は、ラプラシアン成分調整用のゲインである。

≪Ｗｏｕｔ≫
補間部３４は、Ｐ１１のＢ色成分値ｓ０と、Ｐ２２のＢ色成分値ｓと、Ｐ３３のＢ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｂ０２＋Ｂ２０）／２
ｓ＝Ｂ２２
ｓ１＝（Ｂ２４＋Ｂ４２）／２
また、補間部３４は、Ｐ１１とＰ２２との中点のＷ色成分ｑ０と、Ｐ２２とＰ３３との中点のＷ色成分ｑ１とを、以下の数式に相当する処理により算出する。

ｑ０＝（Ｗ０３＋３×Ｗ２１）／４
ｑ１＝（３×Ｗ２３＋Ｗ４１）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＷ色成分値Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ６８
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ６８は、ラプラシアン成分調整用のゲインである。
（Ｄ２−Ｗ：注目画素がＷ画素である場合）：
注目画素がＷ画素である場合、補間部３４は、以下の処理により、Ｗｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを取得する。

≪Ｗｏｕｔ≫
補間部３４は、注目画素の画素値Ｐ２２を、Ｗ色成分の画素値Ｗｏｕｔとする。
つまり、補間部３４は、
Ｗｏｕｔ＝Ｐ２２
とする。

≪Ｇｏｕｔ≫
Ｇ色成分の画素値Ｇｏｕｔを取得するために、補間部３４は、以下の処理を行う。

補間部３４は、Ｐ０４、Ｐ１３、Ｐ２２、Ｐ３１、Ｐ４０の５つの画素を用いて、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。

Ｇｏｕｔ＝（Ｇ１３＋Ｇ３１）／２−（Ｗ０４−２×Ｗ２２＋Ｗ４０）×ｇａｉｎ６９
なお、（Ｗ０４−２×Ｗ２２＋Ｗ４０）は、ラプラシアン成分であり、ｇａｉｎ６９は、ラプラシアン成分調整用のゲインである。

≪Ｒｏｕｔ≫
補間部３４は、以下の処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

補間部３４は、Ｐ１１のＷ色成分値ｓ０と、Ｐ２２のＷ色成分値ｓと、Ｐ３３のＷ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｗ０２＋Ｗ２０）／２
ｓ＝Ｗ２２
ｓ１＝（Ｗ２４＋Ｗ４２）／２
また、補間部３４は、Ｐ１１とＰ２２との中点のＲ色成分ｑ０と、Ｐ２２とＰ３３との中点のＲ色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｒ１２＋Ｒ３０）／４
ｑ１＝（Ｒ１４＋３×Ｒ３２）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＲ色成分値Ｒｏｕｔを取得する。

Ｒｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ７０
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ７０は、ラプラシアン成分調整用のゲインである。

≪Ｂｏｕｔ≫
補間部３４は、Ｐ１１のＷ色成分値ｓ０と、Ｐ２２のＷ色成分値ｓと、Ｐ３３のＷ色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｗ０２＋Ｗ２０）／２
ｓ＝Ｗ２２
ｓ１＝（Ｗ２４＋Ｗ４２）／２
また、補間部３４は、Ｐ１１とＰ２２との中点のＢ色成分ｑ０と、Ｐ２２とＰ３３との中点のＢ色成分ｑ１とを、以下の数式に相当する処理により算出する。

ｑ０＝（Ｂ０３＋３×Ｂ２１）／４
ｑ１＝（３×Ｂ２３＋Ｂ４１）／４
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。

Ｂｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ７１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ７１は、ラプラシアン成分調整用のゲインである。

≪メディアン補間（カラー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素について「いずれの方向にも相関がない」と判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のＷ色成分の画素値をＷｏｕｔとし、Ｒ色成分の画素値をＲｏｕｔとし、Ｇ色成分の画素値をＧｏｕｔとし、Ｂ色成分の画素値をＢｏｕｔとする。
（Ｍ−Ｇ：注目画素がＧ画素である場合）：
注目画素（中心画素）がＧ画素である場合、補間部３４は、以下の数式に相当する処理により、Ｂｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｗｏｕｔを取得する。

Ｂｏｕｔ＝ｍｅｄｉｕｍ（Ｂ１２，Ｂ３２，（Ｂ１０＋Ｂ３０＋Ｂ１２＋Ｂ３２）／４，（Ｂ１２＋Ｂ３２＋Ｂ１４＋Ｂ３４）／４）
Ｒｏｕｔ＝ｍｅｄｉｕｍ（Ｒ２１，Ｒ２３，（Ｒ０１＋Ｒ０３＋Ｒ２１＋Ｒ２３）／４，（Ｒ２１＋Ｒ２３＋Ｒ４１＋Ｒ４３）／４）
Ｇｏｕｔ＝Ｇ２２
Ｗｏｕｔ＝ｍｅｄｉｕｍ（Ｗ１１，Ｗ１３，Ｗ３１，Ｗ３３）
なお、ｍｅｄｉｕｍ（）は、メディアン値を取得する関数である。ｍｅｄｉｕｍ（）は、要素数が偶数の場合、中央の２つの値の平均値をとるものとする。
（Ｍ−Ｒ：注目画素がＲ画素である場合）：
注目画素（中心画素）がＲ画素である場合、補間部３４は、以下の数式に相当する処理により、Ｂｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｗｏｕｔを取得する。

Ｗｏｕｔ＝ｍｅｄｉｕｍ（Ｗ１２，Ｗ３２，（Ｗ１０＋Ｗ３０＋Ｗ１２＋Ｗ３２）／４，（Ｗ１２＋Ｗ３２＋Ｗ１４＋Ｗ３４）／４）
Ｇｏｕｔ＝ｍｅｄｉｕｍ（Ｇ２１，Ｇ２３，（Ｇ０１＋Ｇ０３＋Ｇ２１＋Ｇ２３）／４，（Ｇ２１＋Ｇ２３＋Ｇ４１＋Ｇ４３）／４）
Ｇｏｕｔ＝Ｒ２２
Ｂｏｕｔ＝ｍｅｄｉｕｍ（Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３）
（Ｍ−Ｂ：注目画素がＢ画素である場合）：
注目画素（中心画素）がＢ画素である場合、補間部３４は、以下の数式に相当する処理により、Ｂｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｗｏｕｔを取得する。

Ｇｏｕｔ＝ｍｅｄｉｕｍ（Ｇ１２，Ｇ３２，（Ｇ１０＋Ｇ３０＋Ｇ１２＋Ｇ３２）／４，（Ｇ１２＋Ｇ３２＋Ｇ１４＋Ｇ３４）／４）
Ｗｏｕｔ＝ｍｅｄｉｕｍ（Ｗ２１，Ｗ２３，（Ｗ０１＋Ｗ０３＋Ｗ２１＋Ｗ２３）／４，（Ｗ２１＋Ｗ２３＋Ｗ４１＋Ｗ４３）／４）
Ｂｏｕｔ＝Ｂ２２
Ｒｏｕｔ＝ｍｅｄｉｕｍ（Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３）
（Ｍ−Ｗ：注目画素がＷ画素である場合）：
注目画素（中心画素）がＷ画素である場合、補間部３４は、以下の数式に相当する処理により、Ｂｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｗｏｕｔを取得する。

Ｒｏｕｔ＝ｍｅｄｉｕｍ（Ｒ１２，Ｒ３２，（Ｒ１０＋Ｒ３０＋Ｒ１２＋Ｒ３２）／４，（Ｒ１２＋Ｒ３２＋Ｒ１４＋Ｒ３４）／４）
Ｂｏｕｔ＝ｍｅｄｉｕｍ（Ｂ２１，Ｂ２３，（Ｂ０１＋Ｂ０３＋Ｂ２１＋Ｂ２３）／４，（Ｂ２１＋Ｂ２３＋Ｂ４１＋Ｂ４３）／４）
Ｗｏｕｔ＝Ｗ２２
Ｇｏｕｔ＝ｍｅｄｉｕｍ（Ｇ１１，Ｇ１３，Ｇ３１，Ｇ３３）
≪平均値補間（カラー画像領域用）≫
画素補間法決定部３３により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部３３により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、補間部３４は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のＷ色成分の画素値をＷｏｕｔとし、Ｒ色成分の画素値をＲｏｕｔとし、Ｇ色成分の画素値をＧｏｕｔとし、Ｂ色成分の画素値をＢｏｕｔとする。
（Ａｖｅ−Ｇ：注目画素がＧ画素である場合）：
注目画素（中心画素）がＧ画素である場合、補間部３４は、以下の数式に相当する処理により、Ｂｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｗｏｕｔを取得する。

Ｂｏｕｔ＝（Ｂ１２＋Ｂ３２）／２
Ｒｏｕｔ＝（Ｒ２１＋Ｒ２３）／２
Ｇｏｕｔ＝Ｇ２２
Ｗｏｕｔ＝（Ｗ１１＋Ｗ１３＋Ｗ３１＋Ｗ３３）／４
（Ａｖｅ−Ｒ：注目画素がＲ画素である場合）：
注目画素（中心画素）がＲ画素である場合、補間部３４は、以下の数式に相当する処理により、Ｂｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｗｏｕｔを取得する。

Ｗｏｕｔ＝（Ｗ１２＋Ｗ３２）／２
Ｇｏｕｔ＝（Ｇ２１＋Ｇ２３）／２
Ｒｏｕｔ＝Ｒ２２
Ｂｏｕｔ＝（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）／４
（Ａｖｅ−Ｂ：注目画素がＢ画素である場合）：
注目画素（中心画素）がＢ画素である場合、補間部３４は、以下の数式に相当する処理により、Ｂｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｗｏｕｔを取得する。

Ｇｏｕｔ＝（Ｇ１２＋Ｇ３２）／２
Ｗｏｕｔ＝（Ｗ２１＋Ｗ２３）／２
Ｂｏｕｔ＝Ｂ２２
Ｒｏｕｔ＝（Ｒ１１＋Ｒ１３＋Ｒ３１＋Ｒ３３）／４
（Ａｖｅ−Ｗ：注目画素がＷ画素である場合）：
注目画素（中心画素）がＧ画素である場合、補間部３４は、以下の数式に相当する処理により、Ｂｏｕｔ、Ｒｏｕｔ、Ｇｏｕｔ、Ｗｏｕｔを取得する。

Ｒｏｕｔ＝（Ｒ１２＋Ｒ３２）／２
Ｂｏｕｔ＝（Ｂ２１＋Ｂ２３）／２
Ｗｏｕｔ＝Ｗ２２
Ｇｏｕｔ＝（Ｇ１１＋Ｇ１３＋Ｇ３１＋Ｇ３３）／４
以上の処理により、補間部３４では、画素ごとに、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ、Ｗｏｕｔが取得される。そして、取得されたＲｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ、Ｗｏｕｔにより形成される画像（画素ごとに４つの色成分値（Ｗ色成分値、Ｒ色成分値、Ｇ色成分値、Ｂ色成分値）を持つ画像信号）は、画像Ｄ１として補間部３４から色空間変換部３５に出力される。

色空間変換部３５では、補間部３４から出力されたＷＲＧＢ色空間の画像信号Ｄ１がＹＣｂＣｒ色空間の画像信号Ｄｏｕｔに変換される。色空間変換部３５での具体的処理について、以下、説明する。

色空間変換部３５の輝度信号取得部３５１では、図１Ｂに示すように、補間部３４から出力されるＲ成分信号、Ｇ成分信号およびＢ成分信号が入力される。そして、輝度信号取得部３５１では、以下の数式に相当する処理により、輝度信号Ｙ０が取得される。

Ｙｏｕｔ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
なお、Ｒ、Ｇ、Ｂは、注目画素のＲ色成分値、Ｇ色成分値、Ｂ色成分値である。

選択信号生成部３５２では、画素補間法決定部３３から出力された、画素ごとの相関方向および画素補間方法に関する情報から選択信号が生成される。具体的には、以下のようにして、選択信号が生成される。なお、図１Ａでは図示していないが、選択信号生成部３５２には、注目画素（処理対象の画素）の色成分についての情報が入力されているものとする。
（１）注目画素がＧ画素である場合、相関方向が「第１斜め方向」または「第２斜め方向」であるとき、選択信号は、輝度信号出力部３５３にて、Ｗ信号を選択する信号とし、相関方向が上記以外のときは、選択信号は、輝度信号出力部３５３にて、Ｙ０信号を選択する信号とする。
（２）注目画素がＲ画素である場合、相関方向が「垂直方向」であるとき、選択信号は、輝度信号出力部３５３にて、Ｗ信号を選択する信号とし、相関方向が上記以外のときは、選択信号は、輝度信号出力部３５３にて、Ｙ０信号を選択する信号とする。
（３）注目画素がＢ画素である場合、相関方向が「水平方向」であるとき、選択信号は、輝度信号出力部３５３にて、Ｗ信号を選択する信号とし、相関方向が上記以外のときは、選択信号は、輝度信号出力部３５３にて、Ｙ０信号を選択する信号とする。
（４）注目画素がＷ画素である場合、選択信号は、輝度信号出力部３５３にて、常に、Ｗ信号を選択する信号とする。
（５）注目画素について「いずれの方向にも相関がない」と判定された場合（メディアン補間により画素補間処理が実行された場合）、選択信号は、輝度信号出力部３５３にて、Ｗ信号と、Ｙ０信号の平均値が出力されるようにする信号とする。

以上のようにして生成された選択信号に従い、輝度信号出力部３５３では、Ｗ信号およびＹ０信号からＹｏｕｔ信号を生成し、出力する。つまり、
（１）注目画素がＧ画素である場合、相関方向が「第１斜め方向」または「第２斜め方向」であるとき、輝度信号出力部３５３は、
Ｙｏｕｔ＝Ｗ
とし、相関方向が上記以外のときは、
Ｙｏｕｔ＝Ｙ０
とする。
（２）注目画素がＲ画素である場合、相関方向が「垂直方向」であるとき、輝度信号出力部３５３は、
Ｙｏｕｔ＝Ｗ
とし、相関方向が上記以外のときは、
Ｙｏｕｔ＝Ｙ０
とする。
（３）注目画素がＢ画素である場合、相関方向が「水平方向」であるとき、輝度信号出力部３５３は、
Ｙｏｕｔ＝Ｗ
とし、相関方向が上記以外のときは、
Ｙｏｕｔ＝Ｙ０
とする。
（４）注目画素がＷ画素である場合、輝度信号出力部３５３は、常に、
Ｙｏｕｔ＝Ｗ
とする。
（５）注目画素について「いずれの方向にも相関がない」と判定された場合（メディアン補間により画素補間処理が実行された場合）、輝度信号出力部３５３は、
Ｙｏｕｔ＝（Ｗ＋Ｙ０）／２
とする。

以上により、色空間変換部３５では、注目画素のＷ成分値が、Ｗ画素から取得された場合は、Ｗ色信号をＹ成分信号（Ｙｏｕｔ信号）とし、それ以外の場合は、Ｒ色成分値、Ｇ色成分値およびＢ色成分値から変換により取得された輝度信号Ｙ０をＹ成分信号（Ｙｏｕｔ信号）とする。したがって、色空間変換部３５では、精度の高い輝度信号成分（Ｙ成分信号）を取得することができる。

また、色空間変換部３５では、減算器３５４、３５６、および、ゲイン調整部３５５、３５７により、Ｙｏｕｔ信号と、Ｒ成分信号と、Ｂ信号成分とから、Ｃｂ成分信号およびＣｒ成分信号が取得される。つまり、Ｃｂ成分信号およびＣｒ成分信号が、精度の良いＹｏｕｔ信号から取得されたものであるため、Ｃｂ成分信号およびＣｒ成分信号も精度の良い信号となる。

以上の通り、撮像装置１０００では、ＷＲＧＢ配列の色フィルタを有する単板式の撮像素子により取得された画像信号（Ｒａｗ画像）に対して、注目画素の周辺領域の画素データを用いて、直角に交わる２方向の複数組の相関度を求め、この相関度を判定基準として画素補間処理を実行する。そして、撮像装置１０００では、Ｒ成分信号、Ｇ成分信号およびＢ成分信号から生成された輝度信号と、Ｗ色成分信号から生成された輝度信号とを適応的に選択することにより、より精度の高い画素補間処理を実行し、より精度の高いＹＣｂＣｒ信号を取得することができる。

また、撮像装置１０００では、注目画素の周辺領域の彩度評価値を算出し、彩度評価値に基づいて相関判定方法と画素補間方法とを選択する。そして、撮像装置１０００では、ＷＲＧＢ配列に最適な彩度評価値の算出処理を適用することにより、相関方向の判定誤りや誤補間を防止することができ、画素補間処理における偽色の低減を図ることが可能となる。

このように、撮像装置１０００では、ＷＲＧＢ配列の色フィルタを有する単板式の撮像素子により取得された画像信号に対して、適切に画素補間処理を行うことができる。

［他の実施形態］
上記実施形態では、画素補間処理を実数演算により実行する場合を想定して説明している部分があるが、整数演算により、画素補間処理を実行するようにしてもよい。また、画素補間処理において、所定のビット数を使用した場合の制約や、所定のダイナミックレンジ内で処理を実行するために、適宜、ゲイン調整やクリップ処理を実行するようにしてもよい。

また、上記実施形態では、輝度信号出力部３５３にて、選択信号に従い、輝度信号Ｙｏｕｔが生成される場合について説明したが、これに限定されることはない。例えば、輝度信号出力部３５３に制御信号を入力できる構成とし、当該制御信号により、ノイズの多い画像が入力されている場合、常に、
Ｙｏｕｔ＝（Ｙ０＋Ｗ）／２
となるようにしてもよい。

また、当該制御信号により、輝度信号出力部３５３から常にＷ信号が出力されるようにしてもよい。また、当該制御信号により、輝度信号出力部３５３から常にＹ０信号が出力されるようにしてもよい。

なお、上記実施形態において、ＷＲＧＢ配列色フィルタ１１の配列パターンとして、図２に示すように、ある一列において、Ｇ、Ｒ、Ｇ、Ｒ、・・・と、緑色フィルタと赤色フィルタとが交互に配列されていると、その次の一列において、Ｂ、Ｗ、Ｂ、Ｗ、・・・と、青色フィルタと白色フィルタ（フィルタがない部分）とが交互に配列されている場合について説明したが、これに限定されることはない。例えば、ＷＲＧＢ配列色フィルタ１１の配列パターンは、以下の配列パターンであっても良い。
（１）ある一列において、Ｇ、Ｂ、Ｇ、Ｂ、・・・と配列されており、
次の一列において、Ｒ、Ｗ、Ｒ、Ｗ、・・・と配列されているパターン。
（２）ある一列において、Ｇ、Ｒ、Ｇ、Ｒ、・・・と配列されており、
次の一列において、Ｗ、Ｂ、Ｗ、Ｂ、・・・と配列されているパターン。
（３）ある一列において、Ｇ、Ｂ、Ｇ、Ｂ、・・・と配列されており、
次の一列において、Ｗ、Ｒ、Ｗ、Ｒ、・・・と配列されているパターン。
（４）ある一列において、Ｇ、Ｗ、Ｇ、Ｗ、・・・と配列されており、
次の一列において、Ｂ、Ｒ、Ｂ、Ｒ、・・・と配列されているパターン。
（５）ある一列において、Ｇ、Ｗ、Ｇ、Ｗ、・・・と配列されており、
次の一列において、Ｒ、Ｂ、Ｒ、Ｂ、・・・と配列されているパターン。

上記ＷＲＧＢ配列色フィルタ１１の配列パターンにおいても、前述の実施形態で説明した画素補間処理を同様に適用することができる。つまり、本発明の画素補間処理装置では、図２で示したＷＲＧＢ配列色フィルタ１１の配列パターンによらず、他の配列パターンの色フィルタであっても、前述の実施形態で説明した処理と同様の処理により、画素補間処理を実現することができる。

また、上記実施形態では、ＹＲＧＢ配列のカラーフィルターを用いる場合について説明したが、これに限定されず、例えば、ＷＹＭＣ配列（Ｙ：イエロー、Ｍ：マゼンタ、Ｃ：シアン）等のＹＲＧＢ配列以外の配列のカラーフィルターを用いる場合に適用してもよい。ＷＹＭＣ配列（Ｙ：イエロー、Ｍ：マゼンタ、Ｃ：シアン）等のＹＲＧＢ配列以外の配列のカラーフィルターを用いる場合においても、上記実施形態で説明したのと同様の処理により、画素補間処理を実現することができる。

また、上記実施形態の撮像装置の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。

上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

１０００ 撮像装置
１ 撮像部
２ 信号処理部
３ 画素補間処理部（画素補間処理装置）
３１ 彩度評価値算出部（彩度評価値取得部）
３２ 相関値算出部（相関度取得部）
３３ 画素補間法決定部
３４ 補間部
３５ 色空間変換部

Claims (9)

1. 異なる４色のフィルタが所定のパターンで配列された色フィルタを有し、少なくともＷ色用画素を含む撮像部により取得される画像に対して、画素補間処理を行う画素補間処理装置であって、
   前記画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値取得部と、
   注目画素の周辺領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度を取得する相関度取得部と、
   前記彩度評価値取得部により取得された前記彩度評価値と、前記相関度取得部により取得された前記相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
   前記画素補間法決定部により決定された前記画素補間方法により、前記画像に対して、画素補間処理を実行し、少なくともＷ色成分値を規定する所定の色空間の画像データを取得する補間部と、
   前記補間部により取得された前記色空間の画像データにおいて、
   （１）前記注目画素がＷ色成分画素である場合、または、前記注目画素のＷ色成分信号が前記注目画素の周辺のＷ色成分画素を用いて補間処理により取得された場合、前記補間部により取得された当該注目画素のＷ色成分信号を輝度信号として採用し、当該輝度信号と、前記補間部により取得された当該注目画素のＷ色成分信号以外の第１色成分信号、第２色成分信号とを用いて色差信号を取得し、
   （２）前記注目画素がＷ色成分画素ではなく、かつ、前記注目画素のＷ色成分信号が前記注目画素の周辺のＷ色成分画素を用いて補間処理により取得されていない場合、前記補間部により取得された当該注目画素のＷ色成分信号以外の第１色成分信号、第２色成分信号および第３色成分信号から輝度信号を生成し、当該輝度信号と、前記補間部により取得された当該注目画素の第１色成分信号、第２色成分信号とを用いて色差信号を取得する、色空間変換部と、
   を備える画素補間処理装置。
2. 前記色フィルタは、ＷＲＧＢ配列の色フィルタであり、
   前記所定の色空間は、ＷＲＧＢ色空間であり、
   前記第１色成分信号は、Ｒ色成分信号であり、
   前記第２色成分信号は、Ｂ色成分信号であり、
   前記第３色成分信号は、Ｇ色成分信号である、
   請求項１に記載の画素補間処理装置。
3. 前記相関度取得部は、前記画像上における水平方向、垂直方向、および、第１斜め方向と前記第１斜め方向に直交する第２斜め方向の相関度を取得する、
   請求項２に記載の画素補間処理装置。
4. 前記彩度評価値取得部は、注目画素を中心とする５画素×５画素の画像領域の彩度を評価し、前記画像領域の前記彩度評価値を取得し、
   前記相関度取得部は、注目画素を中心とする５画素×５画素の画像領域において、前記相関度を取得する、
   請求項１から３のいずれかに記載の画素補間処理装置。
5. 前記補間部は、前記注目画素の第１の色成分の画素値を補間する場合であって、前記画素補間法決定部に決定された相関度の高い方向である相関方向において、前記注目画素を挟むように隣接する２つの第１の色成分の画素の画素値の平均値から、前記相関方向に配置されている複数の第２の色成分の画素値から算出したラプラシアン成分値を減算することで、前記注目画素の前記第１の色成分の画素値を補間する、
   請求項１から４のいずれかに記載の画素補間処理装置。
6. 前記補間部は、前記ラプラシアン成分値をゲイン調整し、ゲイン調整後の前記ラプラシアン成分値を、前記注目画素を挟むように隣接する２つの第１の色成分の画素の画素値の平均値から減算することで、前記注目画素の前記第１の色成分の画素値を補間する、
   請求項５に記載の画素補間処理装置。
7. 異なる４色のフィルタが所定のパターンで配列された配列の色フィルタを有し、少なくともＷ色用画素を含み、被写体光から画像信号を取得する撮像部と、
   前記画像信号に対して、画素補間処理を行う、請求項１から６のいずれかに記載の画素補間処理装置と、
   を備える撮像装置。
8. 異なる４色のフィルタが所定のパターンで配列された色フィルタを有し、少なくともＷ色用画素を含む撮像部により取得される画像に対して、画素補間処理を行う画素補間処理方法を、コンピュータに実行させるプログラムであって、
   前記画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値取得ステップと、
   注目画素の周辺領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度を取得する相関度取得ステップと、
   前記彩度評価値取得ステップにより取得された前記彩度評価値と、前記相関度取得ステップにより取得された前記相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定ステップと、
   前記画素補間法決定ステップにより決定された前記画素補間方法により、前記画像に対して、画素補間処理を実行し、少なくともＷ色成分値を規定する所定の色空間の画像データを取得する補間ステップと、
   前記補間ステップにより取得された前記色空間の画像データにおいて、
   （１）前記注目画素がＷ色成分画素である場合、または、前記注目画素のＷ色成分信号が前記注目画素の周辺のＷ色成分画素を用いて補間処理により取得された場合、前記補間ステップにより取得された当該注目画素のＷ色成分信号を輝度信号として採用し、当該輝度信号と、前記補間ステップにより取得された当該注目画素のＷ色成分信号以外の第１色成分信号、第２色成分信号とを用いて色差信号を取得し、
   （２）前記注目画素がＷ色成分画素ではなく、かつ、前記注目画素のＷ色成分信号が前記注目画素の周辺のＷ色成分画素を用いて補間処理により取得されていない場合、前記補間ステップにより取得された当該注目画素のＷ色成分信号以外の第１色成分信号、第２色成分信号および第３色成分信号から輝度信号を生成し、当該輝度信号と、前記補間ステップにより取得された当該注目画素の第１色成分信号、第２色成分信号とを用いて色差信号を取得する、色空間変換ステップと、
   を備える画素補間処理方法をコンピュータに実行させるプログラム。
9. 異なる４色のフィルタが所定のパターンで配列された色フィルタを有し、少なくともＷ色用画素を含む撮像部により取得される画像に対して、画素補間処理を行う集積回路であって、
   前記画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値取得部と、
   注目画素の周辺領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度を取得する相関度取得部と、
   前記彩度評価値取得部により取得された前記彩度評価値と、前記相関度取得部により取得された前記相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
   前記画素補間法決定部により決定された前記画素補間方法により、前記画像に対して、画素補間処理を実行し、少なくともＷ色成分値を規定する所定の色空間の画像データを取得する補間部と、
   前記補間部により取得された前記色空間の画像データにおいて、
   （１）前記注目画素がＷ色成分画素である場合、または、前記注目画素のＷ色成分信号が前記注目画素の周辺のＷ色成分画素を用いて補間処理により取得された場合、前記補間部により取得された当該注目画素のＷ色成分信号を輝度信号として採用し、当該輝度信号と、前記補間部により取得された当該注目画素のＷ色成分信号以外の第１色成分信号、第２色成分信号とを用いて色差信号を取得し、
   （２）前記注目画素がＷ色成分画素ではなく、かつ、前記注目画素のＷ色成分信号が前記注目画素の周辺のＷ色成分画素を用いて補間処理により取得されていない場合、前記補間部により取得された当該注目画素のＷ色成分信号以外の第１色成分信号、第２色成分信号および第３色成分信号から輝度信号を生成し、当該輝度信号と、前記補間部により取得された当該注目画素の第１色成分信号、第２色成分信号とを用いて色差信号を取得する、色空間変換部と、
   を備える集積回路。