JP6655218B2 - 撮像装置及び画像処理方法 - Google Patents

Description

本発明は撮像装置及び画像処理方法に係り、特に位相差検出用画素を有する撮像素子を備えた撮像装置及び画像処理方法に関する。

昨今、オートフォーカス(ＡＦ：Autofocus)の高速化のために、撮像素子に位相差検出用画素として、瞳分割用の開口部の位置が互いに異なる一対の位相差画素を配置し、一対の位相差画素から得られる２組の画像信号の位相差に基づいて位相差ＡＦを行う技術が普及している（特許文献１、２）。

位相差画素は、通常画素の開口の一部を遮光膜で覆うことで形成される。例えば、撮像素子（イメージセンサ）面上で左右（水平）方向の位相差を検出したい場合、通常画素の左側を遮光した画素（第１の位相差画素）と、右側を遮光した画素（第２の位相差画素）を形成する。これらの第１の位相差画素及び第２の位相差画素から得られた画素値を用いて位相差検出を行う。このように位相差画素は通常画素と異なり、狭開口で指向性を持つことから、イメージセンサへの入射光線角度に対する依存性が強く、像高、Ｆ値、デフォーカス量等に依存して画素値が変動する。位相差を検出するには、このような画素を像面上に一定の間隔で配置する必要がある。通常画素と位相差画素とで画素特性が異なることから、位相差画素を適切に補正した上で記録用画像や表示用画像を生成する必要がある。

特許文献１に記載の撮像素子は、緑（Ｇ）の光を検出する複数のＧ画素が所定のピッチで水平方向（Ｘ方向）に配列された第１の画素列と、青（Ｂ）の光を検出する複数のＢ画素及び赤（Ｒ）の光を検出するＲ画素が交互に所定のピッチで水平方向（Ｙ方向）に配列された第２の画素列とを有する。複数の第１の画素列及び第２の画素列は、交互に所定のピッチでＹ方向に並置されている。また、第１の画素列及び第２の画素列は、互いにＹ方向に所定のピッチの半分ずれて配置されている。更に、撮像素子の各単位画素の各辺は、Ｘ方向及びＹ方向に対して４５度傾くように配置されている（特許文献１の図５、段落００２０）。

特開２０１６−２０８０４２号公報 特開２０１５−７０４３２号公報

特許文献１に記載の撮像素子は、一対の位相差画素の画素値を加算して２倍にすることで、一対の位相差画素の中間位置にＧ画素（仮想的なＧ画素）を生成することが可能であるが、位相差画素以外の通常画素（位相差画素が割り当てられていないＧ画素、Ｒ画素及びＢ画素）も隣接する同色の２つの画素の画素値を加算する必要があり、記録用画像及び表示用画像の解像度が半減するという問題がある。

また、特許文献１に記載の撮像素子は、加算した位相差画素の水平重心と、加算した通常画素の水平重心がズレないような特殊配列であり、また、加算後に形成される仮想的なＲ画素、Ｇ画素及びＢ画素の色配列が正方配列のベイヤ配列となるため、撮像素子の各単位画素の各辺が、Ｘ方向及びＹ方向に対して４５度傾くように配置された特殊な撮像素子になる。

一方、特許文献２には、位相差画素の画素値を補間する際に、周辺の複数の通常画素の画素値を使用する平均値補間に関する記載があるものの、一対の位相差画素の画素値を加算する発想がなく、仮に一対の位相差画素の画素値を加算した場合（平均値補間に用いた場合）、特許文献２に記載の撮像素子に設けられた一対の位相差画素は隣接していないため、平均値補間の精度が低下する。

本発明はこのような事情に鑑みてなされたもので、ＡＦ性能を確保するために撮像素子に位相差検出用画素を密に配置しても、位相差検出用画素の補正精度を高くすることができる撮像装置及び画像処理方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る撮像装置は、第１の方向及び第１の方向と直交する第２の方向に二次元的に複数の位相差検出用画素と複数の通常画素とが配置された撮像素子であって、位相差検出用画素は、瞳分割用の開口部を有し、第１の方向に対する開口部の位置が互いに異なる第１の位相差画素と第２の位相差画素とからなり、かつ第１の位相差画素と第２の位相差画素とは互いに開口部が向き合って隣接配置され、複数の通常画素には第１の周期的色配列で、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の各色にそれぞれ対応する複数の第２のフィルタとが配置され、第１の位相差画素及び第２の位相差画素には、それぞれ第１のフィルタが配置され、又は第１のフィルタの透過波長帯域よりも広い波長帯域の光が入射する、撮像素子と、開口部が向き合って隣接配置された第１の位相差画素の画素値と第２の位相差画素の画素値とを加算し、第１の位相差画素と第２の位相差画素との間の画素位置における加算画素値を生成する画素値加算部と、第１の位相差画素又は第２の位相差画素を注目画素とし、注目画素の画素位置における画素値を、注目画素の画素位置の周辺の画素の画素値を使用して生成する第１の補間部であって、画素値加算部により加算された加算画素値を周辺の画素のうちの１つの画素の画素値として使用する第１の補間部と、を備える。

開口部が向き合って隣接配置された一対の第１の位相差画素の画素値と第２の位相差画素の画素値とを加算すると、一対の第１の位相差画素と第２の位相差画素との間に、仮想的な画素（第１のフィルタを有する画素）を作り出すことができる。

本発明の一の態様によれば、補正対象である第１の位相差画素又は第２の位相差画素（注目画素）の画素位置における撮像用の画素値を、注目画素の周辺の画素の画素値を使用して補間する際に、上記のように仮想的に作り出される画素の画素値（加算画素値）を使用するため、位相差検出用画素（注目画素）の補正精度を高くすることができる。これにより、ＡＦ性能を確保するために撮像素子に位相差検出用画素を密に配置しても、密に配置することで低下する補間精度を、加算画素値を用いることで補うことができる。

本発明の他の態様に係る撮像装置において、画素値加算部により加算された加算画素値に、設定されたレベル調整係数を乗算し、加算画素値を補正する加算画素レベル補正部を備え、第１の補間部は、加算画素レベル補正部により補正された加算画素値を使用することが好ましい。

本発明の他の態様によれば、一対の第１の位相差画素の画素値と第２の位相差画素の画素値とを加算した加算画素値にレベル調整係数を乗算し、加算画素値を補正するようにしたため、同じ画素位置に存在していれば得られる、第１のフィルタを有する通常画素の画素値と補正後の加算画素値とを完全に一致させることができる。

本発明の更に他の態様に係る撮像装置において、第１の補間部は、加算画素値及び第１のフィルタが配置された通常画素の画素値のうちの少なくとも一方の画素値を使用することが好ましい。即ち、第１の補間部は、加算画素値のみを補間に使用してもよいし、加算画素値及び通常画素の画素値の両方を補間に使用してもよいし、通常画素の画素値のみを補間に使用してもよく、いずれの画素値を補間に使用するかは、補間の態様やシーン等により適宜決定することができる。

本発明の更に他の態様に係る撮像装置において、注目画素の画素位置の周辺の画素の信号勾配を算出する信号勾配算出部を備え、第１の補間部は、周辺の画素のうちの算出された信号勾配に基づいて選択した画素の画素値を使用して注目画素の画素位置における画素値を補間演算することが好ましい。

本発明の更に他の態様によれば、補正対象の注目画素の画素位置の周辺の画素の信号勾配に基づいて注目画素の補間に使用する画素を選択するため、位相差画素の補正精度を高くすることができる。例えば、周辺の画素の信号勾配が最小になる信号勾配方向に存在する、注目画素の画素位置の色と同じ色の複数の画素を検出し、検出した複数の画素の画素値を補間に使用することで、誤補間を防止する（補間精度を向上させる）ことができる。尚、信号勾配方向としては、第１の方向、第２の方向、第１の方向と第２の方向との間の第３の方向及び第４の方向の４方向が考えられる。

本発明の更に他の態様に係る撮像装置において、注目画素、注目画素に隣接する第１の位相差画素又は第２の位相差画素、及び注目画素に隣接する第１のフィルタが配置された通常画素のうちの少なくとも１つの画素の飽和を判定する飽和判定部を備え、第１の補間部は、飽和判定部により画素が飽和していると判定されると、第１のフィルタが配置された通常画素の画素値のみを使用することが好ましい。

注目画素に隣接する第１のフィルタが配置された通常画素が飽和している場合、加算画素も通常飽和し、加算画素の加算画素値を飽和レベルにクリップすれば、飽和している通常画素の画素値が一致し、特段問題は起きない。一方、加算画素値を調整するレベル調整係数の値を正確に設定できない場合、レベル調整係数により調整された加算画素が飽和しない場合があり、この場合、調整された加算画素と通常画素との間に信号段差が発生する。このような場合、加算画素を補間に使用すべきではない。

また、注目画素に隣接する第１のフィルタが配置された通常画素が飽和していない場合でも、高周波の強い光が注目画素、注目画素に隣接する第１の位相差画素又は第２の位相差画素に入射すると、これらの画素が飽和する場合がある。この場合、加算画素値には信頼性がなく、加算画素を補間に使用すべきではない。尚、画素の飽和とは、予め設定した飽和レベルを超える場合をいい、必ずしも撮像素子の画素から出力可能な最大値に限らない。

本発明の更に他の態様に係る撮像装置において、第１の位相差画素又は第２の位相差画素を注目画素とし、注目画素の画素位置における画素値をゲイン補間により生成する第２の補間部であって、注目画素の画素値と注目画素の画素位置に対して設定されるゲイン補間情報とに基づいて注目画素の画素位置における画素値をゲイン補間により生成する第２の補間部を備えることが好ましい。

第１の位相差画素及び第２の位相差画素は、周辺の通常画素に入射する光量の約半分が入射するため、通常画素よりも感度が低下する。「ゲイン補間」は、位相差検出用画素の感度低下分を補填するように位相差検出用画素の画素値に所定のゲイン補間情報を掛けることで、通常画素と信号レベルを合わせる補間をいう。位相差検出用画素の補間を行う場合、撮影シーン等によっては注目画素の周辺の画素を使用する「平均値補間」よりもゲイン補間の方が適切な場合があり、この場合には「ゲイン補間」を行う。

本発明の更に他の態様に係る撮像装置において、第１の補間部により生成された注目画素の画素位置における画素値と、第２の補間部により生成された注目画素の画素位置における画素値の２つの画素値のうちのいずれか一方の画素値を選択し、又は２つの画素値を重み付け加算した画素値を生成し、注目画素の画素位置における最終の画素値を決定する最終画素値決定部を備えることが好ましい。第１の補間部により「平均値補間」された画素値と第２の補間部により「ゲイン補間」された画素値のうちの選択したいずれか一方の画素値、又は２つの画素値を重み付け加算した画素値を、注目画素の画素位置における最終の画素値とする。

本発明の更に他の態様に係る撮像装置において、第１の補間部は、注目画素の画素位置が、第２のフィルタが配置される通常画素の画素位置に対応する場合、第２のフィルタが配置された通常画素のみを使用することが好ましい。一対の第１の位相差画素の画素値と第２の位相差画素の画素値とを加算した加算画素値は、第１のフィルタを有する仮想的な画素の画素値であるため、第２のフィルタに対応する注目画素の補間には使用することができないからである。

本発明の更に他の態様に係る撮像装置において、第１のフィルタは、緑色の波長帯域を透過させる緑フィルタであり、複数の第２のフィルタは、赤色の波長帯域を透過させる赤フィルタ及び青色の波長帯域を透過させる青フィルタであり、二次元的に配置された複数の位相差検出用画素及び複数の通常画素に配置される第１の周期的色配列は、３×３画素に対応する第１の配列であって、中心と４隅に緑フィルタが配置され、中心の緑フィルタを挟んで第１の方向に赤フィルタが配列され、第２の方向に青フィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅に緑フィルタが配置され、中心の緑フィルタを挟んで第１の方向に青フィルタが配列され、第２の方向に赤フィルタが配置された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成され、撮像素子は、第１の方向に緑フィルタが隣接する位置に第１の位相差画素及び第２の位相差画素が配置された位相差画素行と、通常画素のみが第１の方向に配置された通常画素行とを有することが好ましい。

上記構成の第１の周期的色配列を有する撮像素子は、緑フィルタを有する画素（Ｇ画素）が、隣接して配置される２×２画素を有している。この２×２画素の第１の方向に隣接する２つのＧ画素の位置に、第１の位相差画素と第２の位相差画素とが配置することができる。２×２画素のうちの２つのＧ画素を、第１の位相差画素と第２の位相差画素に割り当てても、その周辺にはＧ画素（通常画素）が存在するため、補間精度の高い平均値補間が可能である。

本発明の更に他の態様に係る撮像装置において、複数の通常画素に配置される第１の周期的色配列は、ベイヤ配列であり、撮像素子は、第１の位相差画素及び第２の位相差画素と通常画素とが第１の方向に配置された位相差画素行と、通常画素のみが第１の方向に配置された通常画素行とを有し、位相差画素行は、第１の位相差画素及び第２の位相差画素と１つの通常画素の３画素を１周期として周期的に配列され、かつ第１の位相差画素及び第２の位相差画素には、緑色の波長帯域を透過させる緑フィルタが配置されることが好ましい。

ベイヤ配列を有する撮像素子において、第１の位相差画素及び第２の位相差画素と１つの通常画素の３画素を１周期として周期的に配列された位相差画素行を設けることで、ベイヤ配列の緑フィルタと青フィルタとが交互に配置される行（ＧＢ行）に位相差画素行が形成されている場合、位相差画素行には緑フィルタを有する通常画素（Ｇ画素）と青フィルタを有する通常画素（Ｂ画素）とが含まれることになり、平均値補間を精度よく行うことができる。

また、ベイヤ配列を有する撮像素子は、輝度信号を得るために最も寄与する第１の色に対応するＧ画素が、Ｂ画素又は赤フィルタを有する通常画素（Ｒ画素）に比べて多く（２倍）配置されているため、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができ、最も一般的な撮像素子であるが、第１の位相差画素及び第２の位相差画素に緑フィルタを配置することで、注目画素がＧ画素に対応する位置の場合、その注目画素の平均値補間を、周辺のＧ画素（数の多いＧ画素）の画素値及び／又は加算画素値を使用して精度よく行うことができる。

本発明の更に他の態様に係る撮像装置において、撮像素子の受光面に被写体像が結像させる撮像光学系と、撮像素子の第１の位相差画素から取得した第１の画素値と第２の位相差画素から取得した第２の画素値との位相差を検出する位相差検出部と、位相差検出部により検出された位相差に基づいて撮像光学系を制御するオートフォーカス制御部と、を備えることが好ましい。

一対の第１の位相差画素と第２の位相差画素とは互いに開口部が向き合って隣接配置されているため、一対の第１の位相差画素と第２の位相差画素との間隔は最小となっている。これにより、位相差の空間サンプリング周波数を最大にすることができ、空間周波数の高い被写体に対する位相差ＡＦを、一対の第１の位相差画素と第２の位相差画素とが通常画素を挟んで離れて配置されているものに比べて良好に（精度よく）行うことができる。

更に他の態様に係る発明は、第１の方向及び第１の方向と直交する第２の方向に二次元的に複数の位相差検出用画素と複数の通常画素とが配置された撮像素子であって、位相差検出用画素は、瞳分割用の開口部を有し、第１の方向に対する開口部の位置が互いに異なる第１の位相差画素と第２の位相差画素とからなり、かつ第１の位相差画素と第２の位相差画素とは互いに開口部が向き合って隣接配置され、複数の通常画素には第１の周期的色配列で、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の各色にそれぞれ対応する複数の第２のフィルタとが配置され、第１の位相差画素及び第２の位相差画素には、それぞれ第１のフィルタが配置され、又は第１のフィルタの透過波長帯域よりも広い波長帯域の光が入射する、撮像素子を備えた撮像装置の画像処理方法において、開口部が向き合って隣接配置された第１の位相差画素の画素値と第２の位相差画素の画素値とを加算し、第１の位相差画素と第２の位相差画素との間の画素位置における加算画素値を生成するステップと、未処理の第１の位相差画素又は第２の位相差画素を注目画素として選択するステップと、選択した注目画素の画素位置における画素値を、注目画素の画素位置の周辺の画素の画素値を使用して生成する補間ステップであって、加算画素値を周辺の画素のうちの１つの画素の画素値として使用する補間ステップと、を含む。

本発明の更に他の態様に係る画像処理方法において、加算画素値に、設定されたレベル調整係数を乗算し、加算画素値を補正するステップを含み、補間ステップは、レベル調整係数により補正された加算画素値を使用することが好ましい。

本発明の更に他の態様に係る画像処理方法において、補間ステップは、加算画素値及び第１のフィルタが配置された通常画素の画素値のうちの少なくとも一方の画素値を使用することが好ましい。

本発明の更に他の態様に係る画像処理方法において、注目画素の画素位置の周辺の画素の信号勾配を算出するステップを含み、補間ステップは、周辺の画素のうちの算出された信号勾配に基づいて選択した画素の画素値を使用して注目画素の画素位置における画素値を補間演算することが好ましい。

本発明によれば、補正対象である第１の位相差画素又は第２の位相差画素（注目画素）の画素位置における撮像用の画素値を、注目画素の周辺の画素の画素値を使用して補間する際に、互いに開口部が向き合って隣接配置された一対の第１の位相差画素の画素値と第２の位相差画素の画素値とを加算し、一対の第１の位相差画素と第２の位相差画素との間に仮想的な画素を作り出し、仮想的に作り出した画素の画素値（加算画素値）を補間に使用するため、注目画素の補正精度を高くすることができる。これにより、ＡＦ性能を確保するために撮像素子に位相差検出用画素を密に配置しても、密に配置することで低下する補間精度を、加算画素値を用いることで補うことができる。

図１は撮像装置の一例を示す斜視図である。 図２は図１に示した撮像装置の背面図である。 図３は図１に示した撮像装置の内部構成の一例を示すブロック図である。 図４は撮像素子のカラーフィルタ配列及び位相差検出用画素の配置の第１の実施形態を示す図である。 図５は図４に示した基本配列パターンＰを３×３画素に４分割した図である。 図６は一対の第１の位相差画素ＰＲ及び第２の位相差画素ＰＬを模式的に示した平面図である。 図７は第１の位相差画素ＰＲ及び第２の位相差画素ＰＬの構成を示す要部拡大図である。 図８はある条件下における撮像素子の左右方向における、通常画素（Ｇ画素）、第１の位相差画素ＰＲ及び第２の位相差画素ＰＬの感度を示すグラフである。 図９は図３に示した画像処理部２４における補間処理部の第１の実施形態を示すブロック図である。 図１０は第１の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための図である。 図１１は図３に示した画像処理部２４における補間処理部の第２の実施形態を示すブロック図である。 図１２は図３に示した画像処理部２４における補間処理部の第３の実施形態を示すブロック図である。 図１３は図３に示した画像処理部２４における補間処理部の第４の実施形態を示すブロック図である。 図１４は注目画素（第１の位相差画素ＰＲ）を中心とする５×５画素のウィンドウ及びウィンドウ内の複数のＧ画素（Ｇ１〜Ｇ１０）を示す図である。 図１５は本発明に係る画像処理方法の第１の実施形態を示すフローチャートである。 図１６は本発明に係る画像処理方法の第２の実施形態を示すフローチャートである。 図１７は撮像素子のカラーフィルタ配列及び位相差検出用画素の配置の第２の実施形態を示す図である。 図１８は第２の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための図である。 図１９は第２の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための他の図である。 図２０は撮像装置の一実施形態であるスマートフォンの外観を示す図である。 図２１は図２０に示したスマートフォン１００の内部構成を示すブロック図である。

以下、添付図面に従って本発明に係る撮像装置及び画像処理方法の好ましい実施形態について詳説する。

［撮像装置］
図１及び図２は、それぞれ本発明に係る撮像装置の外観を示す斜視図及び背面図である。この撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画又は動画の画像データとして記録メディアに記録するデジタルカメラである。

図１に示すように撮像装置１０は、その正面に撮影レンズ１２、ストロボ１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、液晶モニタ３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ３によってカメラの作動モードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ１は、主要被写体にストロボ光を照射するものである。

シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成され、撮影準備指示部として機能するとともに、画像の記録指示部として機能する。

撮像装置１０は、撮影モードとして静止画撮影モードが選択され、シャッタボタン２が「半押し」されると、ＡＦ（Autofocus）／ＡＥ（Auto Exposure)制御を行う撮影準備動作を行い、シャッタボタン２が「全押し」されると、静止画の撮像及び記録を行う。

また、撮像装置１０は、撮影モードとして動画撮影モードが選択され、シャッタボタン２が「全押し」されると、動画の録画を開始し、シャッタボタン２が再度「全押し」されると、録画を停止して待機状態になる。

電源／モードスイッチ３は、撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル４は、撮像装置１０の撮影モードを設定するモード切替部として機能し、このモードダイヤル４の設定位置により、撮像装置１０の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。

液晶モニタ３０は、撮影モード時のライブビュー画像の表示、再生モード時の静止画又は動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェースの一部として機能する。

ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

ＭＥＮＵ／ＯＫボタン７は、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作ボタンである。

再生ボタン８は、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。

ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

尚、本実施形態に係る撮像装置１０において、ボタン／スイッチ類に対して固有の部材を設けるのではなく、タッチパネルを設けこれを操作することでそれらボタン／スイッチ類の機能を実現するようにしてもよい。

［撮像装置の内部構成］
図３は撮像装置１０の内部構成の実施形態を示すブロック図である。この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ：Central Processing Unit）４０によって統括制御される。

撮像装置１０には、シャッタボタン２、電源／モードスイッチ３、モードダイヤル４、テレボタン５Ｔ、ワイドボタン５Ｗ、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、撮像素子の駆動制御、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、及び液晶モニタ３０の表示制御などを行う。

電源／モードスイッチ３により撮像装置１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、撮像装置１０の駆動が開始される。

撮影レンズ１２、絞り１４、メカシャッタ（機械的シャッタ）１５等を通過した光束は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型のカラーイメージセンサである撮像素子１６に結像される。尚、撮像素子１６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のカラーイメージセンサでもよい。

撮像素子１６は、多数の受光素子（フォトダイオード）が２次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（又は電荷）に変換され、撮像素子１６内のＡ／Ｄ（Analog/Digital）変換器を介してデジタル信号に変換されて出力される。

＜撮像素子の第１の実施形態＞
撮像素子１６は、第１の方向（水平方向）及び第１の方向と直交する第２の方向（垂直方向）に二次元的に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のカラーフィルタが、以下に例示する第１の周期的色配列で配設されている。

また、撮像素子１６は、複数の位相差検出用画素と撮像用の複数の通常画素（位相差検出用画素以外の画素）が配置されている。

図４は、撮像素子１６のカラーフィルタ配列及び位相差検出用画素の配置の第１の実施形態を示す図である。

図４に示すように撮像素子１６の複数の通常画素には、第１の色（緑色）に対応する第１のフィルタ、緑色以外の２色以上の各色（赤色及び青色）にそれぞれ対応する複数の第２のフィルタのうちのいずれかのカラーフィルタが、第１の周期的色配列で配置されている。

第１の実施形態の撮像素子１６のカラーフィルタの第１の周期的色配列は、Ｘ−Ｔｒａｎｓ（登録商標）配列である。

Ｘ−Ｔｒａｎｓ配列は、赤色（Ｒ）の波長帯域を透過させる赤フィルタ（Ｒフィルタ）、青色（Ｂ）の波長帯域を透過させる青フィルタ（Ｂフィルタ）、及び緑色（Ｇ）の波長帯域を透過させる緑フィルタ（Ｇフィルタ）が、所定の周期性をもって配列されている。尚、Ｇフィルタは、第２の色（この実施形態では、Ｒ、Ｂの色)と比較して輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタに対応し、Ｒフィルタ及びＢフィルタは、それぞれ第１の色以外の２色以上の各色に対応する複数の第２のフィルタに対応している。

Ｘ−Ｔｒａｎｓ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。

図５は、図４に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図５に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列（第１の配列）と、破線の枠で囲んだ３×３画素のＢ配列（第２の配列）とが、水平方向及び垂直方向に交互に並べられた配列となっている。

Ａ配列は、３×３画素の中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで水平方向にＲフィルタが配列され、垂直方向にＢフィルタが配置されている。

Ｂ配列は、３×３画素の中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで水平方向にＢフィルタが配列され、垂直方向にＲフィルタが配置されている。

基本配列パターンＰは、２×２画素に対応する正方配列のＧフィルタを含んでいる。これは、Ｇフィルタが、Ａ配列又はＢ配列における３×３画素において４隅と中央に配置され、この３×３画素が水平方向、垂直方向に交互に配置されることで、２×２画素に対応する正方配列のＧフィルタが形成されるためである。

撮像素子１６は、位相差検出用画素が配置された位相差画素行と、通常画素のみが配置された通常画素行とを有し、図４に示す例では、第８行が位相差画素行に対応している。尚、図４では、位相差画素行が１行のみ図示されているが、位相差画素行は一定の間隔で（複数の通常画素行を挟んで）、センサ全面又は特定のＡＦ領域に設けられている。

また、位相差画素行は、Ｇフィルタを有する画素（Ｇ画素）が２画素連続する行に設けられており、位相差検出用画素は、連続するＧ画素の位置に配置されている。

図６は、図４に示した位相差画素行（第８行）における位相差検出用画素（図４中の太枠Ａで示した位相差検出用画素）を模式的に示した平面図である。

図６に示すように、位相差検出用画素は、瞳分割用の開口部を有し、水平方向に対する開口部の位置が互いに異なる第１の位相差画素ＰＲと第２の位相差画素ＰＬとからなり、一対の第１の位相差画素ＰＲと第２の位相差画素ＰＬとは互いに開口部が向き合って隣接配置されている。

第１の位相差画素ＰＲは、画素の右半分に開口部を有する右開口画素であり、第２の位相差画素ＰＬは、画素の左半分に開口部を有する左開口画素である。

図７は第１の位相差画素ＰＲ及び第２の位相差画素ＰＬの構成を示す要部拡大図である。

図７に示すように第１の位相差画素ＰＲのフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光膜１６Ａが配設され、一方、第２の位相差画素ＰＬのフォトダイオードＰＤの前面側には、遮光膜１６Ｂが配設される。マイクロレンズＬ及び遮光膜１６Ａ、１６Ｂは瞳分割機能を有し、図６上で、遮光膜１６Ａは、フォトダイオードＰＤの受光面の左半分を遮光する。そのため、第１の位相差画素ＰＲには、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の左側を通過する光束のみが受光される。また、カラーフィルタＣＦとして、ＧフィルタがマイクロレンズＬの下方に配置されている。

遮光膜１６Ｂは、第２の位相差画素ＰＬのフォトダイオードＰＤの受光面の右半分を遮光する。そのため、第２の位相差画素ＰＬには、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の右側を通過する光束のみが受光される。このように、瞳分割機能を有するマイクロレンズＬ及び遮光膜１６Ａ、１６Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ第１の位相差画素ＰＲ及び第２の位相差画素ＰＬに入射する。

図８は、ある条件下における撮像素子１６の左右方向における、通常画素（Ｇ画素）、第１の位相差画素ＰＲ及び第２の位相差画素ＰＬの感度を示すグラフである。

図８に示すように開口部が遮光されていない通常画素（Ｇ画素）の感度が一番高く、第１の位相差画素ＰＲ及び第２の位相差画素ＰＬの感度は、Ｇ画素よりも低い。また、第１の位相差画素ＰＲと第２の位相差画素ＰＬとは、開口の左半分及び右半分が遮光膜で遮光されていることから、第１の位相差画素ＰＲと第２の位相差画素ＰＬとの感度（信号値）は、センサ（＝画像）中心を基準として左右非対称な形となる。

第１の位相差画素ＰＲと第２の位相差画素ＰＬとは、センサ中心で感度（信号値）が一致し、第１の位相差画素ＰＲは、センサ左端側に位置する程、感度が高くなり（信号値が大きくなり）、一方、第２の位相差画素ＰＬは、センサ右端側に位置する程、感度が高くなる（信号値が大きくなる）。

いま、図８上で、センサ位置ｘに着目すると、センサ位置ｘにおけるＧ画素の信号値（Ｇ）と、第１の位相差画素ＰＲ、第２の位相差画素ＰＬの信号値（ＰＲ，ＰＬ）との関係は、Ｇ＞ＰＬ＞ＰＲとなる。

一方、一対の第１の位相差画素ＰＲ及び第２の位相差画素ＰＬが設けられたセンサ位置にかかわらず、一対の第１の位相差画素ＰＲと第２の位相差画素ＰＬの信号値（画素値）を加算した加算画素値（ＰＡ（＝ＰＬ＋ＰＲ））は、同じ位置に設けられた通常画素（Ｇ画素）の信号値（Ｇ）とほぼ一致する（ＰＡ≒Ｇ）。

即ち、図６に示すように一対の第１の位相差画素ＰＲの画像信号（画素値）と第２の位相差画素ＰＬの画像信号（画素値）とを加算すると、加算した画素値（加算画素値）は、通常画素（Ｇ画素）の画素値とほぼ等しくなり、また、加算した画素（加算画素）は、一対の第１の位相差画素ＰＲと第２の位相差画素ＰＬとの中間に存在するものとして扱うことができる。

一対の第１の位相差画素ＰＲと第２の位相差画素ＰＬとの加算画素の画素値（本例では、通常画素のＧ画素の画素値に相当）は、第１の位相差画素ＰＲ又は第２の位相差画素ＰＬの注目画素の画素位置におけるＧ画素の画素値を、平均値補間により補間演算する場合に利用することができる。尚、位相差画素の補正の詳細については後述する。

図３に戻って、動画又は静止画の撮影時に撮像素子１６から読み出された画像信号（画像データ）は、画像入力コントローラ２２を介してメモリ（ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)）４８に一時的に記憶され、あるいは位相差検出部４２、ＡＥ検出部４４等に取り込まれる。

ＣＰＵ４０は、操作部３８での操作に基づいて撮像装置１０の各部を統括制御するが、ライブビュー画像の撮影（表示）、及び動画の撮影（記録）中には、常時ＡＦ動作及びＡＥ動作を行う。

位相差検出部４２は、位相差ＡＦ処理を行う部分であり、画像入力コントローラ２２を介して取得される第１の位相差画素ＰＲ、第２の位相差画素ＰＬの各出力信号を使用して位相差を検出する。尚、位相差検出部４２による位相差検出の詳細については後述する。

ＣＰＵ４０は、位相差検出部４２から位相差を示す位相差データが入力されると、位相差データに基づいて位相差ＡＦを行う焦点調節部として機能する。即ち、ＣＰＵ４０は、位相差データに基づいて撮影レンズ１２によるピント位置と撮像素子１６の結像面とのずれ量（デフォーカス量）を算出し、算出したデフォーカス量がゼロになるようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させる。尚、デフォーカス量の算出は、位相差検出部４２で行ってもよい。

ＡＥ検出部４４は、画像入力コントローラ２２を介して取得される画像データ（例えば、画面全体のＧ画素の画素値）を積算し、又は画面中央部と周辺部とで異なる重みづけをした画像データ（Ｇ画素の画素値）を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力される積算値より被写体の明るさ（撮影Ｅｖ値（exposure value））を算出する。撮影モードが静止画撮影モードの場合には、シャッタボタン２の第１段階の押下（半押し）があると、ＣＰＵ４０は、前述のＡＦ制御を再度行い、シャッタボタン２の全押しがあると、被写体の明るさ（撮影Ｅｖ値）を算出し、算出した撮影Ｅｖ値に基づいて絞り１４のＦ値及びメカシャッタ１５による露光時間（シャッタ速度）をプログラム線図にしたがって決定し、静止画の撮影（露出制御）を行う。

一方、撮影モードが動画撮影モードの場合には、シャッタボタン２の全押しがあると、ＣＰＵ４０は、動画の撮影及び記録（録画）を開始させる。尚、動画撮影時には、メカシャッタ１５を開放し、撮像素子１６から画像データを連続的に読み出し（例えば、フレームレートとして３０フレーム／秒、６０フレーム／秒）、連続的に位相差ＡＦを行うとともに、被写体の明るさを算出し、シャッタ駆動部３３によりシャッタ速度（ローリングシャッタによる電荷蓄積時間）及び／又は絞り駆動部３４による絞り１４を制御する。

ＣＰＵ４０は、ズームボタン５からのズーム指令に応じてレンズ駆動部３６を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

また、４７は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されているＲＯＭ（Read Only Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）である。本例では、このＲＯＭ４７に、撮像素子１６の位相差画素行（第１の位相差画素ＰＲ、第２の位相差画素ＰＬの画素位置を含む）、通常画素行に関する情報、後述するゲイン補間情報、及びレベル調整係数等が記憶されている。

画像処理部２４は、動画又は静止画の撮影時に画像入力コントローラ２２を介してメモリ４８に一時的に記憶された未処理の画像データ（ＲＡＷデータ）を読み出す。画像処理部２４は、読み出したＲＡＷデータに対してオフセット処理、画素補間処理（位相差検出用画素、傷画素等の補間処理）、ホワイトバランス補正、感度補正を含むゲインコントロール処理、ガンマ補正処理、同時化処理（「デモザイク処理」ともいう）、輝度及び色差信号生成処理、輪郭強調処理、及び色補正等を行う。

画像処理部２４により処理された画像データであって、ライブビュー画像として処理された画像データは、ＶＲＡＭ（Video RAM Random access memory）５０に入力される。

ＶＲＡＭ５０には、それぞれが１フレーム分の画像を表す画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１フレーム分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。

ＶＲＡＭ５０から読み出された画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力される。これにより、被写体像を示すライブビュー画像が液晶モニタ３０に表示される。

画像処理部２４により処理された画像データであって、記録用の静止画又は動画として処理された画像データ（輝度データ(Ｙ)及び色差データ(Ｃｂ),(Ｃｒ)）は、再びメモリ４８に記憶される。

圧縮伸張処理部２６は、静止画又は動画の記録時に、画像処理部２４により処理され、メモリ４８に格納された輝度データ(Ｙ)及び色差データ(Ｃｂ),(Ｃｒ)に対して圧縮処理を施す。静止画の場合には、例えばJPEG(Joint Photographic Experts Group)形式で圧縮し、動画の場合には、例えばH.264形式で圧縮する。圧縮伸張処理部２６により圧縮された圧縮画像データは、メディアコントローラ５２を介してメモリカード５４に記録される。

また、圧縮伸張処理部２６は、再生モード時にメディアコントローラ５２を介してメモリカード５４から得た圧縮画像データに対して伸張処理を施す。メディアコントローラ５２は、メモリカード５４に対する圧縮画像データの記録及び読み出しなどを行う。

［位相差ＡＦ］
オートフォーカス制御部として機能するＣＰＵ４０は、位相差ＡＦを行う場合、撮像素子１６の少なくともＡＦ領域内の位相差画素行の画像データを読み出す読出し指令をセンサ駆動部３２に出力し、撮像素子１６から対応する画像データを読み出す。

動画（ライブビュー画像を含む）の撮影及び表示時には、ＣＰＵ４０は、撮像素子１６から画像データを間引き読み出しするための間引き率を取得する。この間引き率は、予め設定された固定値でもよいし、複数の間引き率からユーザにより選択できるようにしてもよい。例えば、動画の画像サイズの選択、あるいはフレームレートの選択に連動して最適な間引き率を設定することができる。尚、間引き読み出しする行には、位相差画素行が含まれるようにすることが好ましい。

ＣＰＵ４０は、間引き率に応じた間引きパターン（抽出パターン）を示す読出し指令をセンサ駆動部３２に出力し、撮像素子１６から画像データを間引き読み出しする。

位相差検出部４２は、読み出された位相差画素行からＡＦ領域内の位相差検出用画素（第１の位相差画素ＰＲ及び第２の位相差画素ＰＬ）の出力データを抽出し、第１の位相差画素ＰＲの出力データ（第１の画素値）と第２の位相差画素ＰＬの出力データ（第２の画素値）との位相差を検出する。例えば、一対の第１の位相差画素ＰＲの第１の画素値と第２の位相差画素ＰＬの第２の画素値との相関が最大になるとき（一対の位相差画素の各画素値の差分絶対値の積算値が最小になるとき）の第１の画素値と第２の画素値との間の左右方向のシフト量から位相差を求める。

そして、求めたシフト量を、一対の第１の位相差画素ＰＲと第２の位相差画素ＰＬとの水平方向の位置ずれ分だけ補正した値を位相差データとして算出することができる。尚、位相差の算出方法は、上記の方法に限らず、種々の方法を適用することができる。

続いて、ＣＰＵ４０は、位相差検出部４２により検出された位相差データに基づいて撮影レンズ１２（撮像光学系）によるピント位置と撮像素子１６の結像面とのずれ量（デフォーカス量）を算出する。尚、デフォーカス量の算出は、位相差検出部４２で行ってもよい。

ＣＰＵ４０は、算出したデフォーカス量に基づいてデフォーカス量がゼロになるようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させ、これにより位相差ＡＦを行う。

撮像素子１６は、一対の第１の位相差画素ＰＲと第２の位相差画素ＰＬとは互いに開口部が向き合って隣接配置されているため、一対の第１の位相差画素ＰＲと第２の位相差画素ＰＬとの間隔は最小となっている。これにより、位相差の空間サンプリング周波数を最大にすることができ、空間周波数の高い被写体に対する位相差ＡＦを、一対の第１の位相差画素と第２の位相差画素とが通常画素を挟んで離れて配置されているものに比べて高精度に行うことができる。

尚、動画生成時に撮像素子１６から間引き読み出しされる行には、位相差検出用画素（第１の位相差画素ＰＲ及び第２の位相差画素ＰＬ）を有する位相差画素行を含めることができ、動画の撮影中においても適切に位相差ＡＦを行うことができる。

［補間処理部］
＜補間処理部の第１の実施形態＞
図９は、図３に示した画像処理部２４における補間処理部の第１の実施形態を示すブロック図である。

図９に示す第１の実施形態の補間処理部６０は、静止画撮影モードに切り替えられ、静止画の撮影時に撮像素子１６から読み出された画像データ（ＲＡＷデータ）に含まれる、位相差検出用画素（第１の位相差画素ＰＲ，第２の位相差画素ＰＬ）の画素値を補正（補間）する部分である。

補間処理部６０は、ゲイン補間部６１、平均値補間部６２、信号勾配算出部６３、画素値加算部６４、及び最終画素値決定部６５を含んでいる。

位相差検出用画素（第１の位相差画素ＰＲ及び第２の位相差画素ＰＬ）は、周辺の通常画素に入射する光量の約半分が入射するため、通常画素よりも感度が低下し、通常画素としては使用できない。

第２の補間部として機能するゲイン補間部６１は、位相差検出用画素の感度低下分を補填するように位相差検出用画素の画素値に所定のゲイン補間情報を掛けることで、通常画素と信号レベルを合わせる補間を行う。

ここで、補間処理部６０は、第１の位相差画素ＰＲ又は第２の位相差画素ＰＬのうちの補正対象を注目画素とすると、ＲＡＷデータ中の注目画素の画素位置に対して設定されるゲイン補間情報を取得するゲイン補間情報取得部を含んでいる。

ゲイン補間情報取得部は、注目画素の周辺のＲＡＷデータに基づいて注目画素の画素位置に対応するゲイン補間情報を算出してもよいし、注目画素の画素位置毎にゲイン補間情報を記憶する記憶部（ＲＯＭ４７）から取得してもよい。尚、ゲイン補間情報は、ＲＡＷデータ中の注目画素の画素値と、その注目画素の周辺の同色の通常画素の平均の画素値との比により算出することができる。

第１の補間部として機能する平均値補間部６２は、注目画素の画素位置の周辺の通常画素の画素値、及び一対の第１の位相差画素ＰＲ、第２の位相差画素ＰＬの加算画素の画素値のうちの少なくとも一方を使用して、注目画素の画素位置の画素値を生成する部分であり、平均値補間部６２には、信号勾配算出部６３により算出された信号勾配方向を示す情報と、画素値加算部６４により加算された加算画素の加算画素値が加えられている。

信号勾配算出部６３は、注目画素の画素位置における画素値を生成する際に、注目画素の画素位置の周辺の画素の信号勾配が最小になる信号勾配方向を算出する。

図１０は、第１の実施形態の撮像素子における位相差検出用画素（第１の位相差画素ＰＲ）に対する平均値補間を説明するための図である。

図１０において、第１の位相差画素ＰＲを注目画素とすると、注目画素を中心とする５×５画素の範囲内には、１０個のＧ画素（Ｇ１〜Ｇ１０）が存在する。また、Ｇ１１、Ｇ１２、Ｇ１３は、それぞれＧ画素に相当する加算画素を示している。

いま、図１０に示すように、注目画素（第１の位相差画素ＰＲ）の周辺の画素に基づいて信号勾配方向を算出する場合、信号勾配算出部６３は、注目画素の周辺のＧ画素の画素値を取得し、水平方向（第１の方向）の２つのＧ画素（例えば、Ｇ４とＧ５）の画素値の差分と画素間隔から水平方向の信号勾配を算出し、同様にして垂直方向（第２の方向）の２つのＧ画素（例えば、Ｇ４とＧ９）の画素値の差分と画素間隔から垂直方向の信号勾配を算出し、＋４５度方向（第３の方向）の２つのＧ画素（例えば、Ｇ２とＧ５）の画素値の差分と画素間隔から＋４５度方向の信号勾配を算出し、−４５度方向（第４の方向）の２つのＧ画素（例えば、Ｇ１とＧ４）の画素値の差分と画素間隔から−４５度方向の信号勾配を算出する。尚、信号勾配の算出に使用する画素は、上記の例に限らず、例えば、注目画素に近い２×２画素のＧ画素を使用してもよい。

信号勾配算出部６３は、上記のようにして算出した４方向の信号勾配のうちの信号勾配が最小になる信号勾配の方向を、信号勾配方向として算出する。

ここで、信号勾配方向の算出にＧ画素の画素値を使用するのは、Ｇ画素の画素値は、Ｒ画素、Ｇ画素及びＢ画素の画素値のうち、輝度信号（Ｙ）を得るために最も寄与するからであり、上記のようにして算出した信号勾配方向は、４つの方向のうちの輝度の相関が最も高い方向に相当する。

画素値加算部６４は、一対の第１の位相差画素ＰＲの画素値と第２の位相差画素ＰＬの画素値とを加算し、第１の位相差画素ＰＲと第２の位相差画素ＰＬとの間の画素位置における仮想的なＧ画素（加算画素）の画素値を生成する。

図６及び図８を用いて説明したように、一対の第１の位相差画素ＰＲの画素値と第２の位相差画素ＰＬの画素値とを加算すると、加算した画素値（加算画素値）は、同じ画素位置における通常画素（Ｇ画素）の画素値と等しくなり、また、加算画素は、一対の第１の位相差画素ＰＲと第２の位相差画素ＰＬとの中間に存在するものとして扱うことができる。画素値加算部６４により生成された加算画素の加算画素値は、平均値補間部６２に出力される。

平均値補間部６２は、注目画素の画素位置における画素値を補間演算する場合、信号勾配算出部６３により算出された信号勾配方向であって、注目画素の画素位置を基準にした信号勾配方向に存在する、注目画素の画素位置の色と同じ色の複数のＧ画素（Ｇ画素に相当する加算画素を含む）を検出し、検出した複数のＧ画素の画素値を補間して注目画素の画素位置の画素値を生成する。

図１０に示すように信号勾配方向が水平方向の場合、平均値補間部６２は、水平方向のＧ画素に相当する加算画素（Ｇ１１、Ｇ１２）の画素値を補間（距離に応じた加重平均）して注目画素の画素位置の画素値を生成する。信号勾配方向が水平方向の場合、注目画素の水平方向には、通常画素（Ｇ画素）が存在しないため、平均値補間は、加算画素のみを使用する。

一方、信号勾配方向が垂直方向の場合、平均値補間部６２は、垂直方向の２つのＧ画素（Ｇ４、Ｇ９）を補間して注目画素の画素位置の画素値を生成し、信号勾配方向が＋４５度方向の場合、平均値補間部６２は、＋４５度方向の２つのＧ画素（Ｇ５、Ｇ６）を補間して注目画素の画素位置の画素値を生成する。

また、信号勾配方向が−４５度方向の場合、平均値補間部６２は、−４５度方向の２つのＧ画素（Ｇ１４、Ｇ１５）を補間して注目画素の画素位置の画素値を生成することができる。この場合、Ｇ１４、Ｇ１５のＧ画素は、注目画素を中心とする５×５画素の範囲外の画素（比較的離れている画素）であるため、補間精度が低下することが考えられる。

信号勾配方向が−４５度方向の場合、平均値補間部６２は、Ｇ４、Ｇ１１の２つの画素、Ｇ４、Ｇ１１、Ｇ６の３つの画素、Ｇ４、Ｇ１１、Ｇ６、Ｇ９の４つの画素、又は−４５度方向の２組のＧ１とＧ７、Ｇ３とＧ１０の画素の画素値を補間して注目画素の画素位置の画素値を生成してもよいし、加算画素（Ｇ１１）の画素値をそのまま採用してもよい。

尚、平均値補間部６２は、注目画素が第２の位相差画素ＰＬの場合も上記と同様にして第２の位相差画素ＰＬの画素位置における撮像用の画素値を補間演算することができる。また、信号勾配方向に応じて平均値補間する場合、その平均値補間に使用する画素は、上記の例に限定されない。

最終画素値決定部６５は、注目画素に対して、ゲイン補間部６１により補間された画素値と平均値補間部６２により補間された画素値のうちのいずれか一方の画素値を選択し、又は２つの画素値を重み付け加算した画素値を生成し、注目画素の画素位置における最終の画素値を決定する。例えば、注目画素の周辺の画像が平坦である場合、平均値補間した画素値が好ましく、注目画素の周辺の画像の空間周波数が高い場合、ゲイン補間した画素値が好ましい。また、ピントが合っていない領域では、平均値補間した画素値が好ましい。

上記のように補間処理部６０は、静止画の撮影時に撮像素子１６から読み出されたＲＡＷデータに含まれる、位相差検出用画素の画素値を補正（補間）し、これにより位相差検出用画素の画素位置の画素値が補正された、静止画のＲＡＷデータが生成される。

＜補間処理部の第２の実施形態＞
図１１は、図３に示した画像処理部２４における補間処理部の第２の実施形態を示すブロック図である。尚、図１１において、図９に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１１に示す第２の実施形態の補間処理部６０は、図９に示した第１の実施形態と比較して加算画素レベル補正部６６が追加されている点で相違する。

図１１において、画素値加算部６４により加算された一対の第１の位相差画素ＰＲと第２の位相差画素ＰＬの画素値を加算した加算画素値（ＰＡ（＝ＰＬ＋ＰＲ））は、同じ画素位置における通常画素（Ｇ画素）の画素値（Ｇ）に近い値になるが、厳密には一致しない。

加算画素レベル補正部６６は、予めレベル調整係数を記憶する記憶部（ＲＯＭ４７）から注目画素の画素位置に対応するレベル調整係数（Ｋ）を読み出し、もしくは画像データを解析することでレベル調整係数（Ｋ）を算出し、読み出し又は算出したレベル調整係数（Ｋ）を、画素値加算部６４により加算された加算画素値（ＰＡ）に乗算し、乗算された（レベル調整された）加算画素値（（ＰＡ×Ｋ）＝Ｇ）を、通常画素のＧ画素に相当する画素値（Ｇ）として平均値補間部６２に出力する。

第２の実施形態によれば、一対の第１の位相差画素ＰＲの画素値と第２の位相差画素ＰＬの画素値とを加算した加算画素値（ＰＡ（＝ＰＬ＋ＰＲ））にレベル調整係数（Ｋ）を乗算し、加算画素値を調整するようにしたため、調整後の加算画素値（ＰＡ×Ｋ）を、同じ画素位置に存在していれば得られる通常画素（Ｇ画素）の画素値（Ｇ）と完全に一致させることができ、加算画素値を平均値補間に使用する場合に精度の高い補間を行うことができる。

＜補間処理部の第３の実施形態＞
図１２は、図３に示した画像処理部２４における補間処理部の第３の実施形態を示すブロック図である。尚、図１２において、図１１に示した第２の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１２に示す第３の実施形態の補間処理部６０は、図１１に示した第２の実施形態と比較して、主として飽和判定部６７が追加されている点で相違する。

飽和判定部６７は、補間対象である注目画素、注目画素に隣接する第１の位相差画素ＰＲ又は第２の位相差画素ＰＬ、及び注目画素に隣接する通常画素（Ｇ画素）のうちの少なくとも１つの画素の飽和を判定し、判定結果を平均値補間部６２に出力する。

いま、注目画素に隣接するＧ画素に強い光が入射し、Ｇ画素が飽和する場合を考える。

Ｇ画素は飽和するが、第１の位相差画素ＰＲと第２の位相差画素ＰＬのいずれ一方、もしくは両方が飽和していない場合、通常、Ｇ＜ＰＡ×Ｋとなる。調整後の加算画素値（ＰＡ×Ｋ）も飽和レベルを超える場合、飽和レベルでもって加算画素値をクリップすれば、加算画素とＧ画素とは一致し、特段問題は起きない。しかし、加算画素値（ＰＡ）を調整するレベル調整係数（Ｋ）の値を正確に設定できない場合、Ｇ画素が飽和していても調整後の加算画素値（ＰＡ×Ｋ）が飽和レベルを超えない場合があり、この場合には、加算画素と周辺のＧ画素との間に信号段差が発生する。このような場合、平均値補間部６２は、平均値補間に加算画素を使用しないようにすべきである。

図１４に示すように注目画素を第１の位相差画素ＰＲとしたとき、その周辺にあるＧ画素、例えばＧ４、Ｇ５、Ｇ６のいずれか、もしくは全てが飽和している場合、注目画素に隣接する加算画素を平均値補間に使用しないようにする。

また、Ｇ＝ＰＡ，又はＧ＝ＰＡ×Ｋとなる前提は、Ｇ画素への入射光量と、第１の位相差画素ＰＲ及び第２の位相差画素ＰＬへの入射光量とが一定の場合（無地の被写体を撮影した場合）である。高周波な信号パターンを撮影した場合、注目画素に隣接するＧ画素が飽和していない場合でも、高周波の強い光が注目画素、注目画素に隣接する第１の位相差画素ＰＲ又は第２の位相差画素ＰＬに入射すると、これらの画素が飽和する場合があり、この場合、加算画素値には信頼性がなく、また、Ｇ＝ＰＡ，又はＧ＝ＰＡ×Ｋとなる前提が成り立たないため、加算画素を補間に使用すべきではない。

そこで、少なくとも第１の位相差画素ＰＲ及び第２の位相差画素ＰＬのうちのいずれかが予め定める飽和レベルSATLEVを超える場合には、注目画素に隣接する加算画素を平均値補間に使用しないようにする。例えば、撮像素子１６から出力されるＲＡＷデータの画素の深度が16bit（0〜65535まで表現）であった場合に、SATLEV = 65000などと設定する。

平均値補間部６２は、補間対象である注目画素、注目画素に隣接する第１の位相差画素ＰＲ又は第２の位相差画素ＰＬ、及び注目画素に隣接する通常画素（Ｇ画素）のうちの少なくとも１つの画素が飽和しているとの判定結果を飽和判定部６７から入力すると、加算画素を平均値補間に使用しないようにする。即ち、平均値補間部６２は、飽和判定部６７により補間対象である注目画素、注目画素に隣接する第１の位相差画素ＰＲ又は第２の位相差画素ＰＬ、及び注目画素に隣接するＧ画素のうちの少なくとも１つの画素が飽和していると判定されると、通常画素（Ｇ画素）のみを平均値補間に使用する。

第３の実施形態によれば、平均値補間の精度を上げるために加算画素を用いる場合において、加算画素を用いることで画質低下を招く信号飽和が発生する条件では、加算画素を平均値補間に使用しないようにしたため、平均値補間の補間精度を維持（画質を維持）することが可能となる。

＜補間処理部の第４の実施形態＞
図１３は、図３に示した画像処理部２４における補間処理部の第４の実施形態を示すブロック図である。尚、図１３において、図１２に示した第３の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１３に示す第４の実施形態の補間処理部６０は、図１２に示した第３の実施形態と比較して、主として平坦判定部６８が追加されている点で相違する。

平坦判定部６８は、注目画素の画素位置を基準にした所定のウィンドウ内の画像の平坦度を算出し、算出した平坦度によりウィンドウ内の画像が平坦か否かを判定する。

本例の平坦判定部６８は、信号勾配算出部６３により算出された４つの方向（水平方向、垂直方向、＋４５度方向、−４５度方向）の信号勾配を示す情報を入力し、４つの方向の信号勾配のうちの最大の信号勾配を算出し、算出した最大の信号勾配が、平坦を判定する閾値（第１の閾値）以下の場合、所定のウィンドウ内の画像は平坦であると判定する。

また、平坦判定部６８は、上記の例に限らず、図１４に示すように注目画素（図１４では、第１の位相差画素ＰＲ）を中心とする５×５画素の範囲を所定のウィンドウとする場合、ウィンドウ内の複数のＧ画素（Ｇ１〜Ｇ１０の１０個のＧ画素）の画素値の標準偏差又は分散を算出し、算出した標準偏差又は分散が、平坦を判定する閾値（第２の閾値）以下の場合、ウィンドウ内の画像が平坦であると判定してもよい。尚、ウィンドウの大きさは、５×５画素の範囲に限定されず、Ｍ×Ｎ画素（Ｍ，Ｎは、３以上の奇数が好ましい）とすることができる。

平均値補間部６２は、補間対象である注目画素の画素位置を基準にした所定のウィンドウ内の画像が平坦であるとの判定結果を平坦判定部６８から入力すると、加算画素を平均値補間に使用しないようにする。即ち、平均値補間部６２は、平坦判定部６８により所定のウィンドウ内の画像が平坦であると判定されると、通常画素（Ｇ画素）のみを平均値補間に使用する。

また、平均値補間部６２は、平坦判定部６８により所定のウィンドウ内の画像が平坦であると判定されると、信号勾配算出部６３により算出される信号勾配方向により平均値補間に使用する画素を使用しなくてもよく、ウィンドウ内の全てのＧ画素、又は一部のＧ画素を使用して平均値補間してもよい。

加算画素と通常画素（本例ではＧ画素）との間に信号段差が発生している場合、加算画素を平均値補間に使用すると、平均値補間された注目画素が、平坦な画像内のＧ画素と異なる画素値となり、特に平坦な画像内で目立ちやすくなる。

そこで、平均値補間部６２は、平坦判定部６８により所定のウィンドウ内の画像が平坦であると判定されると、加算画素を用いずに平均値補間を行う。尚、通常画素と加算画素とを重み付けして平均値補間を行う場合、加算画素に対する重みを小さくするようにしてもよい。

第４の実施形態によれば、平均値補間の精度を上げるために加算画素を用いる場合において、加算画素と通常画素との間に信号段差があった場合に誤補正として目立ちやすい画像の平坦部では、通常画素のみ使用して（又は加算画素の重みを小さくした）平均値補間を行うことにより画質低下を防止することができる。

［画像処理方法］
図１５は、本発明に係る画像処理方法の第１の実施形態を示すフローチャートであり、特に図１２に示した補間処理部６０での処理手順に関して示している。

図１５において、図１２に示す加算画素レベル補正部６６は、加算画素のレベル調整係数（Ｋ）の設定を行う（ステップＳ１０）。加算画素レベル補正部６６は、予め設定されたレベル調整係数（Ｋ）、もしくはＲＡＷデータを解析することで算出したレベル調整係数（Ｋ）に設定することができる。

また、ゲイン補間部６１に含まれるゲイン補間情報取得部は、予めゲイン補間情報を記憶する記憶部（ＲＯＭ４７）からゲイン補間情報を読み出し、又は画像データを解析することでゲイン補間情報を算出し、読み出し又は算出したゲイン補間情報の設定を行う（ステップＳ１２）。

補間処理部６０は、未補間の位相差画素（第１の位相差画素ＰＲ、第２の位相差画素ＰＬ）を注目画素として選択する（ステップＳ１４）。

信号勾配算出部６３は、ステップＳ１４により選択された注目画素の周辺の信号勾配方向を、注目画素の周辺のＧ画素の画素値に基づいて算出する（ステップＳ１６）。

また、画素値加算部６４は、一対の第１の位相差画素ＰＲと第２の位相差画素ＰＬの画素値を加算し、加算画素レベル補正部６６は、加算画素の加算画素値に、ステップＳ１０で設定したレベル調整係数を乗算し、加算画素のレベル調整を行う（ステップＳ１８）。

ゲイン補間部６１は、ステップＳ１４により設定された注目画素の画素値に、ステップＳ１２で設定したゲイン補間情報を乗算し、通常画素と信号レベルを合わせるゲイン補間を行う（ステップＳ２０）。

平均値補間部６２は、飽和判定部６７から入力する判定結果により画素（注目画素、注目画素に隣接する第１の位相差画素ＰＲ又は第２の位相差画素ＰＬ、及び注目画素に隣接する通常画素（Ｇ画素）のうちの少なくとも１つの画素）が飽和しているか否かを判別し（ステップＳ２２）、飽和していないと判別すると（「No」の場合）には、注目画素の周辺の通常画素（Ｇ画素）の他、ステップＳ１８でレベル調整した加算画素も使用して注目画素の画素位置における撮像用の画素値を算出（平均値補間）する（ステップＳ２４、補間ステップ）。一方、飽和していると判別すると（「Yes」の場合）には、ステップＳ１８でレベル調整した加算画素を使用せずに、注目画素の周辺の通常画素（Ｇ画素）のみを使用して注目画素の画素位置における撮像用の画素値を算出（平均値補間）する（ステップＳ２６、補間ステップ）。

最終画素値決定部６５は、注目画素に対して、ステップＳ２０によりゲイン補間された画素値と、ステップＳ２４又はステップＳ２６により平均値補間された画素値のうちのいずれか一方の画素値を選択し、又は２つの画素値を重み付け加算した画素値を生成し、注目画素の画素位置における最終補間値（最終の画素値）を決定する（ステップＳ２８）。

補間処理部６０は、撮像素子１６内の全ての位相差画素（第１の位相差画素ＰＲ、第２の位相差画素ＰＬ）の補間（画素値の生成）が終了したか否かを判別し（ステップＳ３９）、全位相差画素の補間が終了していない場合（「No」の場合）には、ステップＳ１４に戻り、ステップＳ１４からステップＳ２８の処理を繰り返し、全位相差画素の補間が終了した場合（「Yes」の場合）には、補間処理部６０での処理を終了する。

第１の実施形態の画像処理方法によれば、加算画素を使用することにより平均値補間の精度を上げることができ、また、加算画素を用いることで画質低下を招く信号飽和が発生する条件では、加算画素を平均値補間に使用しないようにしたため、平均値補間の補間精度を維持（画質を維持）することができる。

図１６は、本発明に係る画像処理方法の第２の実施形態を示すフローチャートであり、特に図１３に示した補間処理部６０での処理手順に関して示している。

尚、図１６において、図１５に示した第１の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。

図１６に示す第２の実施形態の画像処理方法は、主として図１５に示した第１の実施形態のステップＳ２２の代わりに、ステップＳ４０及びステップＳ４２の処理を行う点で、第１の実施形態と相違する。

図１３に示す平坦判定部６８は、注目画素の画素位置を基準にした所定のウィンドウ内の画像の平坦度を算出し（ステップＳ４０）、算出した平坦度からウィンドウ内の画像が平坦か否かを示す判定結果を平均値補間部６２に出力する（ステップＳ４０）。

平均値補間部６２は、平坦判定部６８から入力する判定結果により、注目画素の画素位置の周辺（所定のウィンドウ内）の画像が平坦でないと判定されると（「No」の場合）、ステップＳ２４に遷移し、画像が平坦である判定されると（「Yes」の場合）、ステップＳ２６に遷移する（ステップＳ４２）。平均値補間部６２は、ステップＳ２４では、注目画素の周辺の通常画素（Ｇ画素）の他、加算画素も使用して注目画素の平均値補間を行い、ステップＳ２６では、加算画素を使用せずに、注目画素の周辺の通常画素（Ｇ画素）のみを使用して注目画素の平均値補間を行う。

第２の実施形態の画像処理方法によれば、加算画素を使用することにより平均値補間の精度を上げることができ、また、加算画素を用いることで誤補正（誤補間）された場合に誤補正が目立ちやすい画質低下を招く画像の平坦部では、加算画素を平均値補間に使用しないようにしたため、平均値補間の補間精度（画質）を維持することができる。

＜撮像素子の第２の実施形態＞
図１７は、撮像素子１６のカラーフィルタ配列及び位相差検出用画素の配置の第２の実施形態を示す図である。

第２の実施形態の撮像素子１６のカラーフィルタの第１の周期的色配列は、一般的なベイヤ配列である。

ベイヤ配列を有する撮像素子１６において、通常画素のみが水平方向（行方向）に配置された通常画素行は、Ｒフィルタを有する画素（Ｒ画素）とＧフィルタを有する画素（Ｇ画素）とが行方向に交互に配置されたＲＧ行と、Ｇ画素とＢフィルタを有する画素（Ｂ画素）とが行方向に交互に配置されたＧＢ行とがある。また、ＲＧ行とＧＢ行とは、垂直方向（列方向）に交互に配置されている。

また、第２の実施形態の撮像素子１６は、第１の位相差画素ＰＲ及び第２の位相差画素ＰＬが設けられた位相差画素行と、通常画素のみが設けられている通常画素行とを有している。

図１７に示す撮像素子１６の位相差画素行は、ベイヤ配列の特定のＧＢ行において、一対の第１の位相差画素ＰＲ及び第２の位相差画素ＰＬと１つの通常画素の３画素を１周期として周期的に行方向に配置されて構成されている。したがって、位相差画素行には、Ｇ画素とＢ画素とが行方向に２画素（一対の第１の位相差画素ＰＲ及び第２の位相差画素ＰＬ）置きに交互に配置されている。尚、本例の位相差画素行は、ベイヤ配列のＧＢ行に設けられているが、これに限らず、ＲＧ行に設けるようにしてもよい。

また、本例の第１の位相差画素ＰＲ及び第２の位相差画素ＰＬには、それぞれＧフィルタが配置されているが、例えば、Ｇフィルタを配置せずに、Ｇフィルタの透過波長帯域よりも広い波長帯域の光が入射できるようにしてもよい。

位相差画素行における一対の第１の位相差画素ＰＲの画素値と第２の位相差画素ＰＬの画素値とを加算すると、加算した画素の画素値（加算画素値）は、通常画素（Ｇ画素）の画素値とほぼ等しくなり、また、加算した画素（加算画素）は、一対の第１の位相差画素ＰＲと第２の位相差画素ＰＬとの中間に存在するものとして扱うことができる。

位相差画素の「平均値補間」は、Ｘ−Ｔｒａｎｓ配列を有する第２の実施形態の撮像素子１６と同様に、注目する位相差検出用画素（第１の位相差画素ＰＲ又は第２の位相差画素ＰＬ）の周辺に存在する複数の通常画素及び加算画素を使用して行うことができる。

図１８は、第２の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための図である。

図１８に示す補間対象の注目画素は、第１の位相差画素ＰＲであり、注目画素の位置は、Ｇ画素の位置に対応している。

図９に示す平均値補間部６２は、注目画素の位置がＧ画素の位置に対応している場合、画素値加算部６４により加算された加算画素の加算画素値を、その注目画素の周辺の画素うちの１つの画素の画素値として使用し、注目画素における画素値を補間演算する。

信号勾配算出部６３により算出された信号勾配方向が水平方向の場合、平均値補間部６２は、水平方向のＧ画素に相当する加算画素（図１８の太枠で示した２つの加算画素）の加算画素値を補間（距離に応じた加重平均）して注目画素の画素位置の画素値を生成する。

また、信号勾配算出部６３により算出された信号勾配方向が垂直方向の場合、平均値補間部６２は、垂直方向のＧ画素（垂直方向の矢印で示した２つのＧ画素）の画素値を補間して注目画素の画素位置の画素値を生成する。

同様に、信号勾配算出部６３により算出された信号勾配方向が＋４５度方向の場合、平均値補間部６２は、＋４５度方向のＧ画素（＋４５度方向の矢印で示した２つのＧ画素）を補間して注目画素の画素位置の画素値を生成し、信号勾配方向が−４５度方向の場合、平均値補間部６２は、−４５度方向のＧ画素（−４５度方向の矢印で示した２つのＧ画素）を補間して注目画素の画素位置の画素値を生成する。

尚、注目画素の周辺の通常画素が飽和している場合、あるいは注目画素の周辺が平坦な画像の場合等では、加算画素値を平均値補間に使用しない方が好ましい。

図１９は、第２の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための他の図である。

図１９に示す補間対象の注目画素は、第２の位相差画素ＰＬであり、注目画素の位置は、Ｂ画素の位置に対応している。

平均値補間部６２は、注目画素の位置がＢ画素の位置に対応している場合、画素値加算部６４により加算された加算画素の加算画素値は使用せず、その注目画素の周辺のＢ画素のみを使用して注目画素における画素値を補間演算する。加算画素が、仮想的なＧ画素に対応するからである。

信号勾配算出部６３により算出された信号勾配方向が水平方向の場合、平均値補間部６２は、水平方向のＢ画素（水平方向の矢印で示すした２つのＢ画素）の画素値を補間（距離に応じた加重平均）して注目画素の画素位置の画素値を生成する。

また、信号勾配算出部６３により算出された信号勾配方向が垂直方向の場合、平均値補間部６２は、垂直方向のＢ画素（垂直方向の矢印で示した２つのＢ画素）の画素値を補間して注目画素の画素位置の画素値を生成する。

同様に、信号勾配算出部６３により算出された信号勾配方向が＋４５度方向の場合、平均値補間部６２は、＋４５度方向のＢ画素（＋４５度方向の矢印で示した２つのＢ画素）を補間して注目画素の画素位置の画素値を生成し、信号勾配方向が−４５度方向の場合、平均値補間部６２は、−４５度方向のＢ画素（−４５度方向の矢印で示した２つのＢ画素）を補間して注目画素の画素位置の画素値を生成する。

本発明が適用可能な撮像装置の態様としては、図１に示した撮像装置１０には限定されず、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、及び携帯型ゲーム機等が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図２０は、撮像装置の一実施形態であるスマートフォンの外観を示す図である。

図２０に示すスマートフォン１００は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示入力部１２０が設けられる。また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１（撮像部）とを備える。尚、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２１は、図２０に示したスマートフォン１００の内部構成を示すブロック図である。図２１に示すように、スマートフォン１００の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０（出力部）と、ＧＰＳ（global positioning system）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１０１の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びウェブデータやストリーミングデータなどの受信が行われる。

表示入力部１２０は、表示パネル１２１の画面上に配設された操作パネル１２２を備えたいわゆるタッチパネルであり、主制御部１０１の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。尚、操作パネル１２２を便宜上、タッチパネルとも称す。

表示パネル１２１は、ＬＣＤ(Liquid Crystal Display)又はＯＥＬＤ(Organic Electro-Luminescence Display）などを表示デバイスとして用いる。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される１又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図２０に例示されるスマートフォン１００の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成し、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。その配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」という）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」という）とを備えていてもよい。

尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分及びそれ以外の内側部分の２つの感応領域を備えていてもよい。更に、その外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。

通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。また、図２０に示すように、例えば、スピーカ１３１及びマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図２０に示すように、操作部１４０は、スマートフォン１００の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。

また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。尚、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、ＲＡＭ(Random Access Memory)、或いはＲＯＭ(Read Only Memory)などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、無線ＬＡＮ(Local Area Network)、ブルートゥース(Bluetooth)（登録商標）、ＲＦＩＤ(Radio Frequency Identification)、赤外線通信(Infrared Data Association：ＩｒＤＡ）、ＵＷＢ(Ultra Wideband)（登録商標）、ジグビー(ZigBee)（登録商標）など）により他の外部機器に直接的又は間接的に接続する。

スマートフォン１００に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やＳＩＭ(Subscriber Identity Module)／ＵＩＭ(User Identity Module)カード、オーディオ・ビデオＩ／Ｏ(Input/Output)端子を介して接続される外部オーディオビデオ機器、有線／無線接続される外部オーディオビデオ機器、スマートフォン、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、及びイヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１００の内部の各構成要素に伝達したり、スマートフォン１００の内部のデータが外部機器に伝送されたりするように構成されてもよい。

ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１００の緯度、経度及び高度によって特定される位置情報（ＧＰＳ情報）を取得する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。その検出の結果は、主制御部１０１に出力される。

電源部１９０は、主制御部１０１の指示に従って、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御する。また、主制御部１０１は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１０１が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びウェブページを閲覧するウェブブラウジング機能の他、本発明に係る画像処理機能などがある。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。また、画像処理機能には、図３に示した画像処理部２４により行われる画像処理を含む。

更に、主制御部１０１は、表示パネル１２１に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１０１は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部１０１は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）に該当するか、或いはそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）に該当するかを判定し、操作パネル１２２の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、主制御部１０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic Experts Group）などの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図２０に示すようにスマートフォン１００において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０が設けられる筐体１０２の表面ではなく筐体１０２の背面にカメラ部１４１が搭載されてもよいし、或いは複数のカメラ部１４１が筐体１０２に搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮像に供するカメラ部１４１を切り替えて単独のカメラ部１４１によって撮像が行われてもよいし、或いは複数のカメラ部１４１を同時に使用して撮像が行われてもよい。

また、カメラ部１４１はスマートフォン１００の各種機能に利用することができる。例えば、カメラ部１４１で取得した画像が表示パネル１２１に表示されてもよいし、操作パネル１２２の操作入力手法の一つとして、カメラ部１４１で撮像取得される画像が利用されてもよい。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像が参照されて位置が検出されてもよい。更には、カメラ部１４１からの画像が参照されて、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１００のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、ＧＰＳ受信部１７０により取得された位置情報、マイクロホン１３２により取得された音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、及びモーションセンサ部１８０により取得された姿勢情報等などを静止画又は動画の画像データに付加して得られるデータを、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。

［その他］
本実施形態の撮像素子は、位相差検出用画素にはＧフィルタが配置されているが、Ｇフィルタの透過波長帯域よりも広い波長帯域の光が入射できるように位相差検出用画素を構成してもよい。例えば、位相差検出用画素にはＧフィルタを設けずに、透明フィルタとすることができる。これによれば、通常画素よりも開口部が小さい位相差検出用画素でも大きな画素値を取得する（位相差検出用画素を高感度にする）ことができる。

また、図４に示した撮像素子の第１の実施形態、及び図１７に示した撮像素子の第２の実施形態では、いずれも一対の第１の位相差画素ＰＲ及び第２の位相差画素ＰＬと１つの通常画素の３画素を１周期として周期的に配置して位相差画素行が構成されているが、これに限らず、例えば、図４に示した撮像素子の第１の実施形態の場合には、一対の第１の位相差画素ＰＲ及び第２の位相差画素ＰＬと４つの通常画素の６画素を１周期として周期的に配置して位相差画素行を構成してもよく、また、図１７に示した撮像素子の第２の実施形態の場合には、一対の第１の位相差画素ＰＲ及び第２の位相差画素ＰＬと３つの通常画素の５画素、又は第１のフィルタと前記第１の色以外の２色以上の各色にそれぞれ対応する複数の第２のフィルタと一対の第１の位相差画素ＰＲ及び第２の位相差画素ＰＬと４つの通常画素の６画素を１周期として周期的に配置して位相差画素行を構成してもよい。

更に、カラーフィルタ配列は、図４に示したＸ−Ｔｒａｎｓ配列及び図１７に示したベイヤ配列に限らず、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の各色にそれぞれ対応する複数の第２のフィルタとが周期的に配置されたものであれば、いかなるものでもよい。

また、本実施形態において、例えば、画像処理部２４及び補間処理部６０といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ ストロボ
２ シャッタボタン
３ 電源／モードスイッチ
４ モードダイヤル
５ ズームボタン
５Ｔ テレボタン
５Ｗ ワイドボタン
６ 十字ボタン
７ ＭＥＮＵ／ＯＫボタン
８ 再生ボタン
９ ＢＡＣＫボタン
１０ 撮像装置
１２ 撮影レンズ
１４ 絞り
１５ メカシャッタ
１６ 撮像素子
１６Ａ、１６Ｂ 遮光膜
２２ 画像入力コントローラ
２４ 画像処理部
２６ 圧縮伸張処理部
２８ ビデオエンコーダ
３０ 液晶モニタ
３２ センサ駆動部
３３ シャッタ駆動部
３４ 絞り駆動部
３６ レンズ駆動部
３８ 操作部
４０ ＣＰＵ
４２ 位相差検出部
４４ ＡＥ検出部
４７ ＲＯＭ
４８ メモリ
５０ ＶＲＡＭ
５２ メディアコントローラ
５４ メモリカード
６０ 補間処理部
６１ ゲイン補間部
６２ 平均値補間部
６３ 信号勾配算出部
６４ 画素値加算部
６５ 最終画素値決定部
６６ 加算画素レベル補正部
６７ 飽和判定部
６８ 平坦判定部
１００ スマートフォン
１０１ 主制御部
１０２ 筐体
１１０ 無線通信部
１２０ 表示入力部
１２１ 表示パネル
１２２ 操作パネル
１３０ 通話部
１３１ スピーカ
１３２ マイクロホン
１４０ 操作部
１４１ カメラ部
１５０ 記憶部
１５１ 内部記憶部
１５２ 外部記憶部
１６０ 外部入出力部
１７０ ＧＰＳ受信部
１８０ モーションセンサ部
１９０ 電源部
ＣＦ カラーフィルタ
Ｌ マイクロレンズ
Ｐ 基本配列パターン
ＰＤ フォトダイオード
ＰＲ 第１の位相差画素
ＰＬ 第２の位相差画素

Claims (15)

1. 第１の方向及び前記第１の方向と直交する第２の方向に二次元的に複数の位相差検出用画素と複数の通常画素とが配置された撮像素子であって、
   前記位相差検出用画素は、瞳分割用の開口部を有し、前記第１の方向に対する前記開口部の位置が互いに異なる第１の位相差画素と第２の位相差画素とからなり、かつ前記第１の位相差画素と前記第２の位相差画素とは互いに開口部が向き合って隣接配置され、
   前記複数の通常画素には第１の周期的色配列で、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の各色にそれぞれ対応する複数の第２のフィルタとが配置され、
   前記第１の位相差画素及び第２の位相差画素には、それぞれ前記第１のフィルタが配置され、又は前記第１のフィルタの透過波長帯域よりも広い波長帯域の光が入射する、撮像素子と、
   前記開口部が向き合って隣接配置された前記第１の位相差画素の画素値と前記第２の位相差画素の画素値とを加算し、前記第１の位相差画素と前記第２の位相差画素との間の画素位置における加算画素値を生成する画素値加算部と、
   前記第１の位相差画素又は前記第２の位相差画素を注目画素とし、前記注目画素の画素位置における画素値を、前記注目画素の画素位置の周辺の画素の画素値を使用して生成する第１の補間部であって、前記画素値加算部により加算された前記加算画素値を前記周辺の画素のうちの１つの画素の画素値として使用する第１の補間部と、
   を備えた撮像装置。
2. 前記画素値加算部により加算された前記加算画素値に、設定されたレベル調整係数を乗算し、前記加算画素値を補正する加算画素レベル補正部を備え、
   前記第１の補間部は、前記加算画素レベル補正部により補正された前記加算画素値を使用する請求項１に記載の撮像装置。
3. 前記第１の補間部は、前記加算画素値及び前記第１のフィルタが配置された通常画素の画素値のうちの少なくとも一方の画素値を使用する請求項１又は２に記載の撮像装置。
4. 前記注目画素の画素位置の周辺の画素の信号勾配を算出する信号勾配算出部を備え、
   前記第１の補間部は、前記周辺の画素のうちの前記算出された信号勾配に基づいて選択した画素の画素値を使用して前記注目画素の画素位置における画素値を補間演算する請求項１又は２に記載の撮像装置。
5. 前記注目画素、前記注目画素に隣接する前記第１の位相差画素又は前記第２の位相差画素、及び前記注目画素に隣接する前記第１のフィルタが配置された通常画素のうちの少なくとも１つの画素の飽和を判定する飽和判定部を備え、
   前記第１の補間部は、前記飽和判定部により前記画素が飽和していると判定されると、前記第１のフィルタが配置された通常画素の画素値のみを使用する請求項１から４のいずれか１項に記載の撮像装置。
6. 前記第１の位相差画素又は前記第２の位相差画素を注目画素とし、前記注目画素の画素位置における画素値をゲイン補間により生成する第２の補間部であって、前記注目画素の画素値と前記注目画素の画素位置に対して設定されるゲイン補間情報とに基づいて前記注目画素の画素位置における画素値をゲイン補間により生成する第２の補間部を備えた請求項１から５のいずれか１項に記載の撮像装置。
7. 前記第１の補間部により生成された前記注目画素の画素位置における画素値と、前記第２の補間部により生成された前記注目画素の画素位置における画素値の２つの画素値のうちのいずれか一方の画素値を選択し、又は前記２つの画素値を重み付け加算した画素値を生成し、前記注目画素の画素位置における最終の画素値を決定する最終画素値決定部を備えた請求項６に記載の撮像装置。
8. 前記第１の補間部は、前記注目画素の画素位置が、前記第２のフィルタが配置される通常画素の画素位置に対応する場合、前記第２のフィルタが配置された通常画素のみを使用する請求項１から７のいずれか１項に記載の撮像装置。
9. 前記第１のフィルタは、緑色の波長帯域を透過させる緑フィルタであり、前記複数の第２のフィルタは、赤色の波長帯域を透過させる赤フィルタ及び青色の波長帯域を透過させる青フィルタであり、
   前記二次元的に配置された複数の位相差検出用画素及び複数の通常画素に配置される前記第１の周期的色配列は、
   ３×３画素に対応する第１の配列であって、中心と４隅に前記緑フィルタが配置され、中心の前記緑フィルタを挟んで前記第１の方向に前記赤フィルタが配列され、前記第２の方向に前記青フィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅に前記緑フィルタが配置され、中心の前記緑フィルタを挟んで第１の方向に前記青フィルタが配列され、第２の方向に前記赤フィルタが配置された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成され、
   前記撮像素子は、前記第１の方向に前記緑フィルタが隣接する位置に前記第１の位相差画素及び第２の位相差画素が配置された位相差画素行と、前記通常画素のみが前記第１の方向に配置された通常画素行とを有する請求項１から７のいずれか１項に記載の撮像装置。
10. 前記複数の通常画素に配置される前記第１の周期的色配列は、ベイヤ配列であり、
    前記撮像素子は、前記第１の位相差画素及び第２の位相差画素と前記通常画素とが前記第１の方向に配置された位相差画素行と、前記通常画素のみが前記第１の方向に配置された通常画素行とを有し、
    前記位相差画素行は、前記第１の位相差画素及び前記第２の位相差画素と１つの前記通常画素の３画素を１周期として周期的に配列され、かつ前記第１の位相差画素及び前記第２の位相差画素には、緑色の波長帯域を透過させる緑フィルタが配置される請求項１から８のいずれか１項に記載の撮像装置。
11. 前記撮像素子の受光面に被写体像が結像させる撮像光学系と、
    前記撮像素子の前記第１の位相差画素から取得した第１の画素値と前記第２の位相差画素から取得した第２の画素値との位相差を検出する位相差検出部と、
    前記位相差検出部により検出された位相差に基づいて前記撮像光学系を制御するオートフォーカス制御部と、
    を備えた請求項１から１０のいずれか１項に記載の撮像装置。
12. 第１の方向及び前記第１の方向と直交する第２の方向に二次元的に複数の位相差検出用画素と複数の通常画素とが配置された撮像素子であって、
    前記位相差検出用画素は、瞳分割用の開口部を有し、前記第１の方向に対する前記開口部の位置が互いに異なる第１の位相差画素と第２の位相差画素とからなり、かつ前記第１の位相差画素と前記第２の位相差画素とは互いに開口部が向き合って隣接配置され、
    前記複数の通常画素には第１の周期的色配列で、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の各色にそれぞれ対応する複数の第２のフィルタとが配置され、
    前記第１の位相差画素及び第２の位相差画素には、それぞれ前記第１のフィルタが配置され、又は前記第１のフィルタの透過波長帯域よりも広い波長帯域の光が入射する、撮像素子を備えた撮像装置の画像処理方法において、
    前記開口部が向き合って隣接配置された前記第１の位相差画素の画素値と前記第２の位相差画素の画素値とを加算し、前記第１の位相差画素と前記第２の位相差画素との間の画素位置における加算画素値を生成するステップと、
    未処理の前記第１の位相差画素又は前記第２の位相差画素を注目画素として選択するステップと、
    前記選択した注目画素の画素位置における画素値を、前記注目画素の画素位置の周辺の画素の画素値を使用して生成する補間ステップであって、前記加算画素値を前記周辺の画素のうちの１つの画素の画素値として使用する補間ステップと、
    を含む画像処理方法。
13. 前記加算画素値に、設定されたレベル調整係数を乗算し、前記加算画素値を補正するステップを含み、
    前記補間ステップは、前記レベル調整係数により補正された前記加算画素値を使用する請求項１２に記載の画像処理方法。
14. 前記補間ステップは、前記加算画素値及び前記第１のフィルタが配置された通常画素の画素値のうちの少なくとも一方の画素値を使用する請求項１２又は１３に記載の画像処理方法。
15. 前記注目画素の画素位置の周辺の画素の信号勾配を算出するステップを含み、
    前記補間ステップは、前記周辺の画素のうちの前記算出された信号勾配に基づいて選択した画素の画素値を使用して前記注目画素の画素位置における画素値を補間演算する請求項１２から１４のいずれか１項に記載の画像処理方法。

Images