JPWO2012127699A1 - カラー撮像素子、撮像装置、及び撮像プログラム - Google Patents

Abstract

位相差検出用画素の補間精度を向上させることができる。撮像素子（１４）は、第１のフィルタが３×３画素の正方配列の四隅及び中央の画素上に、第２のフィルタが正方配列の水平方向における中央のラインに、第３のフィルタが、正方配列の垂直方向における中央のラインに各々配置された第１の配列パターンと、第１の配列パターンと第１のフィルタの配置が同一で第２のフィルタの配置と第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された基本配列パターンが繰り返し配置されたカラーフィルタ（３０）と、基本配列パターンを構成する２組の第１の配列パターン及び第２の配列パターンのうち、少なくとも１組のパターンの中央の位置に対応する画素に配置された位相差検出用画素と、を備える。

Description

本発明は、カラー撮像素子、撮像装置、及び撮像プログラムに係り、特に、位相差検出用画素を含むカラー撮像素子、撮像装置、及び撮像プログラムに関する。

デジタルカメラ等の撮像装置に搭載される固体撮像素子には、ＡＦ（オートフォーカス）性能を高めるために、固体撮像素子受光面上に形成される多数の画素のうちの一部画素を位相差検出用画素としたものがある（例えば特許文献１〜７参照）。

位相差検出用画素は、例えば下記の特許文献１〜７に記載されている様に、ペアとなる同色フィルタを搭載した近隣２画素で構成され、通常画素に設けられる遮光膜開口に比べて夫々小さな遮光膜開口が設けられる。そして更に、ペアを組む一方の位相差検出用画素に設ける遮光膜開口は、他方の位相差検出用画素から離れる方向（例えば左側）に偏心して設けられ、他方の位相差検出用画素の遮光膜開口は、反対方向（例えば右側）に偏心して設けられる。

撮像装置でＡＦ動作を行うとき、固体撮像素子の位相差検出用画素から信号を読み出し、遮光膜開口が右側に偏心した画素の検出信号と左側に偏心した画素の検出信号とから焦点のずれ量を求め、撮影レンズの焦点位置を調整する。

このＡＦ動作は、位相差検出用画素が多いほど精度が高くなるが、通常の被写体画像を本撮像する場合、位相差検出用画素は、遮光膜開口が狭く感度が低いため、通常画素と同じに取り扱えないという問題がある。

このため、全画素から信号を読み出して被写体画像を生成するときは、位相差検出用画素の検出信号を通常画素の感度と同程度に利得補正したり、あるいは、位相差検出用画素を欠陥画素として取り扱い、周りの通常画素の検出信号で補間演算補正したりする必要がある。
特開２０００−１５６８２３号公報 特開２００７−１５５９２９号公報 特開２００９−８９１４４号公報 特開２００９−１０５６８２号公報 特開２０１０−６６４９４号公報 特開２００８−３１２０７３号公報 特許第３５９２１４７号公報

位相差検出用画素について、周囲の通常画素の検出信号で補間演算補正する場合、位相差検出用画素の位置によっては補間の精度が劣化し、画質が劣化する場合がある。

本発明は上記問題点を解決するためになされたものであり、位相差検出用画素の補間精度を向上させることができるカラー撮像素子、撮像装置、及び撮像プログラムを提供することを目的とする。

上記課題を解決するため、請求項１記載の発明のカラー撮像素子は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンのうち、少なくとも１組のパターンの中央の位置に対応する前記画素に配置された位相差検出用画素と、を備えたことを特徴とする。

この発明によれば、基本配列パターンを構成する２組の第１の配列パターン及び第２の配列パターンのうち、少なくとも１組のパターンの中央の位置に対応する画素に配置された位相差検出用画素を備えた構成としたので、位相差検出用画素の補間精度を向上させることができる。

なお、請求項２に記載したように、前記位相差検出用画素には、当該画素の一部の領域を遮光し他の領域を透過する第１の遮光膜又は当該画素の一部を遮光し前記第１の遮光膜が透過する領域と対になる領域を透過する第２の遮光膜を含む遮光手段が設けられた構成としてもよい。

また、請求項３に記載したように、前記遮光手段における前記第１の遮光膜が画素の水平方向の左半分の領域を遮光するものであり、前記第２の遮光膜が画素の水平方向の右半分の領域を遮光するものである構成としてもよい。

また、請求項４に記載したように、前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に各々設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての前記基本配列パターンにおいて前記中央の位置に対応する画素に配置された構成としてもよい。

また、請求項５に記載したように、前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に各々設けられ、かつ、前記位相差検出用画素が配置された前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項６に記載したように、前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンのうち、前記水平方向における一方の側の組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項７に記載したように、前記位相差検出用画素が、前記基本配列パターンの一方の対角上に配置された２つの前記第１の配列パターン及び他方の対角上に配置された２つの前記第２の配列パターンのうち、何れかの対角上に配置された２つの配列パターンの中央の位置に対応する画素に設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての基本配列パターンにおいて前記中央の位置に対応する画素に配置された構成としてもよい。

また、請求項８に記載したように、前記位相差検出用画素が、前記基本配列パターンの一方の対角上に配置された２つの前記第１の配列パターン及び他方の対角上に配置された２つの前記第２の配列パターンのうち、何れかの対角上に配置された２つの配列パターンの中央の位置に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項９に記載したように、前記第１の遮光膜が前記水平方向に沿って配置された配列ラインと、前記第２の遮光膜が前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項１０に記載したように、前記第１の遮光膜及び前記第２の遮光膜の順に前記水平方向に交互に配置された配列ラインと、前記第２の遮光膜及び前記第１の遮光膜の順に前記水平方向に交互に配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項１１に記載したように、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色であり、前記第３の色は、青（Ｂ）色であり、前記第１の遮光膜の前記水平方向における左側の画素及び前記第２の遮光膜の前記水平方向における右側の画素が、前記Ｒ色の画素となるように前記遮光手段が配置されている構成としてもよい。

また、請求項１２に記載したように、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である構成としてもよい。

請求項１３記載の発明の撮像装置は、前記請求項１〜１２の何れか１項に記載のカラー撮像素子と、前記位相差検出用画素から位相差検出用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、を備えたことを特徴とする。

請求項１４記載の発明の撮像装置は、前記請求項５、６、８の何れか１項に記載のカラー撮像素子と、前記位相差検出用画素から位相差検出用画素データを読み出すと共に前記位相差検出用画素以外の通常画素から動画作成用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、前記動画作成用画素データに基づいて動画データを作成する作成手段と、を備えたことを特徴とする。

また、請求項１５記載の発明の撮像装置は、前記請求項１〜１２の何れか１項に記載のカラー撮像素子と、前記基本配列パターンの中央に２×２の第１のフィルタが配置された方向判別用画素の画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、前記方向判別用画素から読み出した画素データに基づいて、輝度の相関方向を検出する検出手段と、検出した前記相関方向に基づいて、各画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間する補間手段と、を備えたことを特徴とする。

また、請求項１６記載の発明の撮像プログラムは、コンピュータを、請求項１３〜請求項１５の何れか１項に記載の撮像装置を構成する各手段として機能させるための撮像プログラムである。

本発明によれば、位相差検出用画素の補間精度を向上させることができる、という効果を有する。

撮像装置の概略ブロック図である。 本発明に係るカラーフィルタの構成図である。 第１実施形態に係る遮光部の配置を示す図である。 制御部で実行される処理のフローチャートである。 第１実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを配置した様子を示す図である。 輝度の相関方向の判別方法と同時化処理時の画素補間方法を説明するための図である。 斜めの高周波画像がカラー撮像素子に入射した場合の相関方向の判定方法を説明するための図である。 斜めの高周波画像がカラー撮像素子に入射した場合の相関方向の判定方法を説明するための図である。 遮光膜の配置パターンについて説明するための図である。 遮光膜の配置パターンについて説明するための図である。 第２実施形態に係る遮光部の配置を示す図である。 第３実施形態に係る遮光部の配置を示す図である。 第４実施形態に係る遮光部の配置を示す図である。 第４実施形態に係る遮光部の配置を示す図である。 第５実施形態に係る遮光部の配置を示す図である。 第５実施形態に係る遮光部の配置を示す図である。 位相差検出用画素の変形例について説明するための図である。 カラーフィルタに含まれる基本配列パターンの概念を説明するための図である。 位相差検出用画素の画素データを平均値補正で補正する場合について説明するための図である。

以下、図面を参照して本発明の実施形態について説明する。

（第１実施形態）

図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。

光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。

撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。

図２には、本実施形態に係るカラーフィルタ３０の一部を示した。なお、画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２であるが、画素数及びアスペクト比はこれに限られるものではない。同図に示すように、カラーフィルタ３０は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ（以下、Ｇフィルタと称する）が、３×３画素の正方配列の四隅及び中央の画素上に配置され、Ｒ（赤）に対応する第２のフィルタＲ（以下、Ｒフィルタと称する）が、正方配列の水平方向における中央のラインに配置され、Ｂ（青）に対応する第３のフィルタＢ（以下、Ｂフィルタと称する）が、正方配列の垂直方向における中央のラインに配置された第１の配列パターンＡと、第１の基本配列パターンＡとＧフィルタの配置が同一で且つＲフィルタの配置とＢフィルタの配置とを入れ替えた第２の配列パターンＢと、が点対称で配置された６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタである。

すなわち、カラーフィルタ３０は、下記の特徴(1)、(2)、(3)、(4)、及び(5)を有している。

〔特徴(1)〕

図２に示すカラーフィルタ３０は、６×６画素に対応する正方配列パターンからなる基本配列パターンＣを含み、この基本配列パターンＣが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターにしたがって処理を行うことができる。

また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴(2)〕

図２に示すカラーフィルタ３０は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されている。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

〔特徴(3)〕

図２に示すカラーフィルタ３０は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

図２に示すように基本配列パターンＣは、破線の枠で囲んだ３×３画素の第１の配列パターンＡと、一点鎖線の枠で囲んだ３×３画素の第２の配列パターンＢとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

第１の配列パターンＡ及び第２の配列パターンＢは、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、第１の配列パターンＡは、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列され、一方、第２の配列パターンＢは、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。即ち、第１の配列パターンＡと第２の配列パターンＢとは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、第１の配列パターンＡと第２の配列パターンＢの４隅のＧフィルタは、図１６に示すように第１の配列パターンＡと第２の配列パターンＢとが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

〔特徴(4)〕

図２に示すカラーフィルタ３０は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

図５に示すように、Ｇフィルタからなる２×２画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。

即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。

〔特徴(5)〕

図２に示すカラーフィルタ３０の基本配列パターンＣは、その基本配列パターンＣの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図２に示したように、基本配列パターンＣ内の第１の配列パターンＡ及び第２の配列パターンＢも、それぞれ中心のＧフィルタに対して点対称になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。

図１６に示すように基本配列パターンＣにおいて、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＲＧＧＢＧであり、第２のラインのカラーフィルタ配列は、ＢＧＢＲＧＲであり、第４及び第６のラインのカラーフィルタ配列は、ＧＢＧＧＲＧであり、第５のラインのカラーフィルタ配列は、ＲＧＲＢＧＢとなっている。

いま、図１６において、基本配列パターンＣを水平方向、及び垂直方向にそれぞれ１画素ずつシフトした基本配列パターンをＣ’、それぞれ２画素ずつシフトした基本配列パターンをＣ”とすると、これらの基本配列パターンＣ’、Ｃ”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。

即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図１６に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。本実施形態では、基本配列パターンが点対称になっている基本配列パターンＣを、便宜上、基本配列パターンという。

撮像装置１０は、所謂位相差方式のＡＦ制御を行うため、撮像素子１４は、位相差検出用画素が予め定めたパターンで配置されている。この位相差検出用画素上には、図３に示すように、水平方向の左半分の画素を遮光する遮光膜４０Ａ及び水平方向の右半分の画素を遮光する遮光膜４０Ｂを含む遮光部４０が形成されている。位相差ＡＦ制御では、遮光膜４０Ａが設けられた位相差検出用画素の画素データと遮光膜４０Ｂが設けられた位相差検出用画素の画素データとに基づいて位相のずれ量を検出し、これに基づいて撮影レンズの焦点位置を調整する。

この遮光部４０は、本実施形態では、図３に示すように、２組の第１の配列パターンＡ及び第２の配列パターンＢの中央の位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンＣに対して配置されている。例えば、水平方向の位置をＸ、垂直方向の位置をＹとして画素位置を（Ｘ，Ｙ）で表した場合、図３において左上の基本配列パターンＣの（２，２）の位相差検出用画素には遮光膜４０Ａが設けられ、（５，５）の位相差検出用画素には遮光膜４０Ｂが設けられている。また、（５，２）の位相差検出用画素に遮光膜４０Ａが設けられ、（２，５）の位相差検出用画素に遮光膜４０Ｂが設けられている。このように、基本配列パターンＣの対角上の第１の配列パターンＡ及び第２の配列パターンＢをペアとして、２組の第１の配列パターンＡ及び第２の配列パターンＢの中央の位相差検出用画素上に各々遮光膜４０Ａ及び遮光膜４０Ｂが形成されている。このような基本配列パターンＣが水平方向及び垂直方向に並んで配置されている。なお、図３では、全ての基本配列パターンＣに遮光部４０が設けられているが、これに限らず、撮像素子の一部の所定の領域内の基本配列パターンＣにのみ設けるようにしてもよい。これは以下の実施形態でも同様である。

このように、第１の配列パターンＡ及び第２の配列パターンＢのＧフィルタが配置された中央の画素を位相差検出用画素として、この画素上に遮光膜４０Ａ又は遮光膜４０Ｂを配置している。そして、この位相差検出用画素の周囲には、４個のＧフィルタが配置されている。ここで、位相差検出用画素の画素データを画像として用いる場合、位相差検出用画素の画素データは周囲の画素から補間する必要があるが、周囲に４個のＧフィルタが配置されている。このため、例えば位相差ＡＦ制御を行いながら動画撮影するような場合や静止画撮影において、補間の精度を向上させることができる。

撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画素データとして画像処理部２０に出力する。

画像処理部２０は、撮像処理部１６から出力された画素データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画素データを生成する。そして、生成したＲ，Ｇ，Ｂの画素データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。

駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。

制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。

撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。

撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがある。

次に、本実施形態の作用として、制御部２４で実行される処理について、図４に示すフローチャートを参照して説明する。

なお、図４に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。

まず、ステップ１００では、撮影モードに応じた間引き方法で画素データを読み出すように駆動部２２に指示する。

例えば、ＨＤ動画モードやスルー動画モード等の動画モードの場合、位相差ＡＦ制御しながら、動画データを生成するので、遮光膜４０Ａ及び遮光膜４０Ｂが設けられた少なくとも一部の位相差検出用画素、すなわち、図３では垂直方向における（３ｎ＋２）番目、（ｎ＝０，１，２，・・・）のラインのうち少なくとも一部の遮光膜４０Ａ及び遮光膜４０Ｂを含むラインを読み出して、そのラインの画素データに基づいて位相差ＡＦ制御を行うと共に、それ以外のライン、すなわち通常画素のラインの少なくとも一部のラインを読み出して、動画データを作成する。この動画データを作成する際、位相差検出用画素については、その周囲の通常画素の画素データから補間する。

図３に示すように、位相差検出用画素は、第１の配列パターンＡ及び第２の配列パターンＢのＧフィルタが配置された中央の画素上に配置され、その周囲には４個のＧフィルタが配置されている。このため、例えば位相差ＡＦ制御を行いながら動画撮影するような場合や静止画撮影において、位相差検出用画素の画素データを周囲の画素から補間する場合に、補間の精度を向上させることができる。また、位相差検出用画素上に配置されたフィルタは、人間の目に敏感なＧに対応したフィルタであるので、位相差ＡＦ制御の精度を向上させることができる。

ステップ１０２では、撮影モードに応じた画像処理（同時化処理及びＹＣ変換処理）及びリサイズ処理を実行するよう画像処理部２０に指示する。

次に、画像処理部２０の同時化処理回路の処理内容について説明する。

撮像素子１４は単板式のカラー撮像素子であるため、その出力画像はＲＡＷ画像（モザイク画像）であり、欠落している色の画素を、周囲の画素から補間する処理（同時化処理）により多チャネル画像を得る必要がある。この場合に問題となるのが、高周波の画像信号の再現特性である。

また、図３に示すように、カラーフィルタ３０は、基本配列パターンＣの中央に２×２のＧフィルタが配置されており、その画素は位相差検出用画素ではなく通常画素である。

そこで、本実施形態では、モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記２×２のＧフィルタが配置された通常画素であるＧ画素の画素データに基づいて輝度の相関方向を判別し、方向判別した相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定し、高周波部の偽色の発生を抑圧する。以下、具体的に説明する。

図５に示すように、撮像素子１４から出力されるモザイク画像からＧフィルタに対応する２×２画素のＧ画素を取り出し、各Ｇ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、同時化処理回路に含まれる方向判別回路は、各方向別の差分絶対値を算出する。

即ち、垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。

方向判別回路は、これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別する。

いま、図６に示すように中央に３×３画素のＡ配列（図２参照）が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。

また、図７Ａに示すようなパターンの入力があった場合（黒が０、白が２５５）、図７Ｂに示す４隅の２×２画素のＧ画素の画素値の垂直方向の差分絶対値の総和は、｜０−２５５｜×８＝２０４０となり、水平方向の差分絶対値の総和も、｜０−２５５｜×８＝２０４０になる。一方、右上斜め方向の差分絶対値の総和は、｜２５５−２５５｜×２＋｜０−０｜×２＝０となり、左上斜め方向の差分絶対値の総和は、｜０−０｜×２＋｜２５５−２５５｜×２＝０となる。したがって、差分絶対値の総和が最小になる方向は、右上斜め方向と左上斜め方向の２方向となるが、図７Ａのパターンの場合は、斜めの最大周波数の入力であるため、斜め方向のどちらを採用しても問題はない。

上記のように互いに隣接する２×２画素のＧ画素から相関方向を判別するため、最小画素間隔で相関方向を判別することができる。即ち、高周波の影響を受けずに精度よく相関方向を判別することができる。

次に、画像処理部２０の同時化処理回路によりＲＧＢのモザイク画像を同時化処理する方法について説明する。

同時化処理の対象画素における相関方向が判別されると、同時化処理回路は、同時化処理の対象画素の画素位置における、他の色の画素値を算出する際に、前記判別された相関方向に存在する他の色の画素の画素値を使用する。

図３に示すように、水平方向及び垂直方向にはＲ画素、Ｇ画素、Ｂ画素の全ての色の画素が存在するため、水平方向又は垂直方向に相関方向があると判別されると、水平方向又は垂直方向に存在する、対象画素の近傍の他の色の画素の画素値を取得する。そして、取得した１画素の画素値、又は複数の画素の画素値の補間した値を、対象画素の画素位置における他の色の画素値とする。

例えば、相関方向が水平方向と判別された場合、図６において、Ｇ２２の画素の画素位置におけるＲの画素値は、Ｒ１２又はＲ３２の画素値をそのまま画素値とする、または、Ｒ１２及びＲ３２の画素値から補間することにより決定する。

同様に、Ｇ２２の画素の画素位置におけるＢの画素値は、Ｂ０２又はＢ４２の画素値をそのまま画素値とする、または、Ｂ０２及びＢ４２の画素値から補間することにより決定する。

また、Ｂ０２の画素の画素位置におけるＲの画素値は、Ｒ１２の画素値をそのまま画素値とする、または、Ｒ１２及びＲ３２の画素値から補間することにより決定する。

更に、Ｂ０２の画素の画素位置におけるＧの画素値は、Ｇ２２の画素値をそのまま画素値とする、または、隣接するＢ配列の同じ水平位置にあるＧ画素の画素値とＧ２２の画素値から補間することにより決定する。

尚、相関方向が垂直方向と判別された場合も、上記と同様に垂直方向に存在する他の色の画素値を使用することができる。

また、カラーフィルタ３０のフィルタ配列は、３×３画素のＡ配列のＧ画素を中心とする斜め方向（対角方向）には、Ｇ画素しか存在しないため、相関方向がＧ画素の連続する斜め方向と判別されると、Ｇの画素値が算出されている近傍のＲ，Ｂ画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出する。

図６に示すように、方向判別結果により左斜め上に相関方向があると判別された場合、Ｇ１１の画素の補間方向には、Ｒ，Ｂ画素が存在しない。そこで、Ｇ１１の画素の近傍のＲ１２，Ｂ２１の画素の画素値Ｒ１２，Ｒ２１と、これらの画素の画素位置におけるＧの画素値Ｇ１２’，Ｇ２１’の色差を用いてＧ１１の画素値Ｇ１１を補間し、Ｇ１１の画素の画素位置におけるＲ，Ｇの画素値Ｒ１１’，Ｂ１１’を算出する。

具体的には、以下の式で補間を行う。

Ｒ１１’＝Ｇ１１＋（Ｒ１２−Ｇ１２’） …（ａ）

Ｂ１１’＝Ｇ１１＋（Ｂ２１−Ｇ２１’） …（ｂ）

上記式（ａ）及び（ｂ）において、Ｇ１２’＝Ｇ０１、Ｇ２１’＝Ｇ１０である。即ち、画素値Ｇ１２’，Ｇ２１’は、左斜め方向の方向判別により推定したＲ１２，Ｂ２１の画素の画素位置におけるＧの画素値である。

同様に、Ｇ２２の画素の画素位置のＲ，Ｂ画素の画素値Ｒ２２’，Ｂ２２’は、その近傍のＲ１２，Ｒ３２の画素と，Ｂ２１，Ｂ２３の画素の各画素位置の色差を用いて、Ｇ２２の画素値Ｇ２２を補間し、Ｇ２２の画素の画素位置におけるＲ，Ｇの画素値Ｒ２２’，Ｂ２２’を算出する。

具体的には、以下の式で補間を行う。

Ｒ２２’＝Ｇ２２＋｛（Ｒ１２＋Ｒ３２）／２−（Ｇ１２’＋Ｇ３２’）／２｝ …（ｃ）

Ｂ２２’＝Ｇ２２＋｛（Ｂ２１＋Ｂ２３）／２−（Ｇ２１’＋Ｇ２３’）／２｝ …（ｄ）

尚、Ｇ３２’＝Ｇ４３，Ｇ２３’＝Ｇ３４である。

上記のようにして３×３画素（Ａ配列）の全ての画素の同時化処理が終了すると、隣接する３×３画素（Ｂ配列）の対象画素に対して、上記と同じ処理（方向判別と同時化処理）を行い、これを３×３画素単位で移動させながら繰り返す。

前述したように、カラー撮像素子１２のカラーフィルタ配列の場合、同時化処理の対象画素がＧ画素で、この画素位置におけるＲ，Ｂの画素値を算出する際に、斜め方向にＧ画素しか存在しないものがあるが、カラーフィルタ配列によっては、同時化処理の対象画素がＲ画素で、この画素位置におけるＧ，Ｂの画素値を算出する際に、斜め方向にＧ画素，又はＢ画素が存在しない場合や、同時化処理の対象画素がＢ画素で、この画素位置におけるＧ，Ｒの画素値を算出する際に、斜め方向にＧ画素，又はＲ画素が存在しない場合が考えられる。

この場合にも、上記式（ａ）〜（ｄ）と同様にして、ＲＧＢの画素値が算出された近傍の画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出することができる。

近傍の画素の色差により対象画素の画素値を補間して他の色の画素値を算出する方法をまとめると、下記のようになる。

同時化処理の対象画素がＧ画素、その画素値がＧであり、方向判別回路により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧＲ、ＧＢとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値ＲＧ，ＢＧを、次式により算出する。

ＲＧ＝Ｇ＋（Ｒ−ＧＲ），ＢＧ＝Ｇ＋（Ｂ−ＧＢ） …（１）

この式（１）は、前述した式（ａ），（ｂ）に相当するものである。

同様に、同時化処理の対象画素がＲ画素、その画素値がＲであり、方向判別回路により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲＧ、ＲＢとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値ＧＲ，ＢＲを、次式により算出する。

ＧＲ＝Ｒ＋（Ｇ−ＲＧ），ＢＲ＝Ｒ＋（Ｂ−ＲＢ） …（２）

また、同時化処理の対象画素がＢ画素、その画素値がＢであり、方向判別回路により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢＧ、ＢＲとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値ＧＢ，ＲＢを、次式により算出する。

ＧＢ＝Ｂ＋（Ｇ−ＢＧ），ＲＢ＝Ｂ＋（Ｒ−ＢＲ） …（３）

尚、上記式（１）〜（６）に限らず、同時化処理の対象画素の近傍に、補間して求めようとする色と同じ色の画素が複数存在する場合には、式（ｃ）〜（ｄ）と同様に、複数の画素の平均の色差を使用して補間してもよい。

また、本実施形態では、同時化処理の対象画素に対し、判別された相関方向に他の色の画素が存在しない場合には、近傍の他の色の画素の色差により対象画素の画素値を補間して他の色の画素値を算出するようにしたが、これに限らず、近傍の他の色の画素の色比により対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。

近傍の画素の色比により、対象画素の画素値を補間して他の色の画素値を算出する方法の具体例を下記に示す。

同時化処理の対象画素がＧ画素、その画素値がＧであり、方向判別回路により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧＲ、ＧＢとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値ＲＧ，ＢＧを、次式により算出する。

ＲＧ＝Ｇ×（Ｒ／ＧＲ），ＢＧ＝Ｇ×（Ｂ／ＧＢ） …（４）

同様に、同時化処理の対象画素がＲ画素、その画素値がＲであり、方向判別回路により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲＧ、ＲＢとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値ＧＲ，ＢＲを、次式により算出する。

ＧＲ＝Ｒ×（Ｇ／ＲＧ），ＢＲ＝Ｒ×（Ｂ／ＲＢ） …（５）

また、同時化処理の対象画素がＢ画素、その画素値がＢであり、方向判別回路により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢＧ、ＢＲとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値ＧＢ，ＲＢを、次式により算出する。

ＧＢ＝Ｂ×（Ｇ／ＢＧ），ＲＢ＝Ｂ×（Ｒ／ＢＲ） …（６）

また、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接するＧ画素の画素値の差分絶対値がそれぞれ等しい場合（差分絶対値が全ての方向で０の場合、又はほぼ０の場合）には、方向判別回路は相関方向がないと判別する。この場合、同時化処理の対象画素の画素位置における他の色の画素値は、その画素位置の近傍に存在する他の色の画素の画素値を使用する。

なお、制御部２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。

また、本実施形態では、図３、図８Ａに示すように、遮光膜４０Ａが水平方向に沿って配置された配列ラインと、遮光膜４０Ｂが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置された場合について説明したが、図８Ｂに示すように、遮光膜４０Ａ及び遮光膜４０Ｂの順に水平方向に交互に配置された配列ラインと、遮光膜４０Ｂ及び遮光膜４０Ａの順に水平方向に交互に配置された配列ラインと、が垂直方向に交互に配置された構成としてもよい。なお、図８では、位相差検出用画素のみ示している。同図Ｂに示す配置の場合、遮光膜４０Ａ及び遮光膜４０Ｂともに斜めに配置されることになるため、例えば斜め線を含む被写体を撮影した場合に、精度よくピントを合わせることが可能となる。これは、以下の実施形態でも同様である。

（第２実施形態）

次に、本発明の第２実施形態について説明する。なお、第１実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。

図９には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が第１実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。

図９に示すように、本実施形態では、遮光部４０が、基本配列パターンＣを構成する２組の第１の配列パターンＡ及び第２の配列パターンＢの中央の位相差検出用画素上に各々設けられ、かつ、遮光部４０が配置された第１の配列パターンＡ及び第２の配列パターンＢが水平方向に沿って配置された配列ラインと、遮光部４０が配置されない第１の配列パターンＡ及び第２の配列パターンＢが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。すなわち、図９の例では、垂直方向において（２ｎ＋１）番目の基本配列パターンＣのラインに遮光膜４０Ａ、４０Ｂが配置され、（２ｎ＋２）番目の基本配列パターンＣのラインには遮光膜４０Ａ、４０Ｂが配置されていない。

この場合、制御部２４は、撮影モードが動画モードの場合、垂直方向における（２ｎ＋１）番目の基本配列パターンＣのラインに遮光膜４０Ａ、４０Ｂが配置された位相差検出用画素の画素データを読み出して位相差ＡＦ制御すると共に、垂直方向における（２ｎ＋２）番目の基本配列パターンＣのラインの通常画素の画素データを読み出して動画データを作成する。

このように、本実施形態では、位相差検出用画素の画素データは位相差ＡＦ制御にのみ使用し、動画データの作成には使用しないので、周囲の画素から補間する必要がない。また、動画データは、通常画素の画素データから作成する。このため、位相差検出用画素を動画データの作成に基いる場合と比較して、位相差ＡＦ制御の処理速度を向上させることができる。また、補間して動画データを作成する場合と比較して、動画データ作成の処理速度を向上させることができる。

（第３実施形態）

次に、本発明の第３実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。

図１０には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が第１実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。間引き駆動については第２実施形態と同様である。

図１０に示すように、本実施形態では、遮光部４０が、基本配列パターンＣを構成する２組の第１の配列パターンＡ及び第２の配列パターンＢのうち、水平方向における一方の側の第１の配列パターンＣ及び第２の配列パターンＢの中央の位相差検出用画素上に設けられ、かつ、遮光部４０が配置された第１の配列パターンＡ及び第２の配列パターンＢが水平方向に沿って配置された配列ラインと、遮光部４０が配置されない第１の配列パターンＡ及び第２の配列パターンＢが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。すなわち、図１０の例では、垂直方向において（２ｎ＋１）番目の基本配列パターンＣのラインに遮光膜４０Ａ、４０Ｂが配置され、（２ｎ＋２）番目の基本配列パターンＣのラインには遮光膜４０Ａ、４０Ｂが配置されていない。また、水平方向においては、６画素おきに遮光膜４０Ａ、４０Ｂが配置されている。すなわち、水平方向においては、（６ｍ＋２）番目（ｍ＝０，１，２，・・・）のラインに遮光膜４０Ａ、４０Ｂが配置されている。

このため、第２実施形態と比較すると、位相差検出用画素の周囲に通常画素が増えるため、補間精度を向上させることができ、画質を向上させることができる。

（第４実施形態）

次に、本発明の第４実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。

図１１には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が上記実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。間引き駆動については第１実施形態と同様である。

図１１に示すように、本実施形態では、遮光部４０が、基本配列パターンＣの一方の対角上に配置された２つの第１の配列パターンＡの中央の位相差検出用画素上に設けられ、かつ、全ての基本配列パターンに対して配置されている。

この場合、動画モードにおいて、位相差ＡＦ制御しながら動画データを表示等する場合、位相差検出用画素については、周囲の画素から補間して動画データを作成する。

ところで、水平方向に隣接する画素においては、隣の画素からの光が漏れ込むことで混色が発生する場合がある。これに対し、本実施形態においては、図１１に示すように、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が共にＢ画素で同一となっている。このため、混色の影響を相殺することができ、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が同一でない場合と比較して、画質を向上させることができる。

なお、図１２に示すように、基本配列パターンＣの他方の対角上に配置された２つの第２の配列パターンＢの中央の位相差検出用画素上に設けられ、かつ、全ての基本配列パターンに対して配置された構成としてもよい。この場合、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が共にＲ画素で同一となっている。特に、Ｒの波長は隣接する画素に届きやすいため、混色をより効果的に防ぐことができ、画質を向上させることができる。

（第５実施形態）

次に、本発明の第５実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。

図１３には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が上記実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。間引き駆動については、第２、３実施形態と同様である。

図１３に示すように、本実施形態では、遮光部４０が、基本配列パターンＣの一方の対角上に配置された２つの第１の配列パターンＢの中央の位相差検出用画素上に設けられ、かつ、遮光部４０が配置された基本配列パターンＣが水平方向に沿って配置された配列ラインと、遮光部４０が配置されない基本配列パターンＣが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。

このように、本実施形態においては、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が共にＢ画素で同一となっている。このため、混色の影響を相殺することができ、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が同一でない場合と比較して、画質を向上させることができる。

また、制御部２４は、撮影モードが動画モードの場合、垂直方向における（２ｎ＋１）番目の基本配列パターンＣのラインに遮光膜４０Ａ、４０Ｂが配置された位相差検出用画素の画素データを読み出して位相差ＡＦ制御すると共に、垂直方向における（２ｎ＋２）番目の基本配列パターンＣのラインの通常画素の画素データを読み出して動画データを作成する。

このように、位相差検出用画素の画素データは位相差ＡＦ制御にのみ使用し、動画データの作成には使用しないので、周囲の画素から補間する必要がない。また、動画データは、通常画素の画素データから作成する。このため、位相差検出用画素を動画データの作成に基いる場合と比較して、位相差ＡＦ制御の処理速度を向上させることができる。また、補間して動画データを作成する場合と比較して、動画データ作成の処理速度を向上させることができる。

なお、図１４に示すように、他方の対角上に配置された２つの第２の配列パターンＢの中央の位相差検出用画素上に設けられ、かつ、遮光部４０が配置された基本配列パターンＣが水平方向に沿って配置された配列ラインと、遮光部４０が配置されない基本配列パターンＣが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置された構成としてもよい。

この場合、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が共にＲ画素で同一となっている。特に、Ｒの波長は隣接する画素に届きやすいため、混色をより効果的に防ぐことができ、画質を向上させることができる。

また、上記各実施形態では、ＲＧＢの３原色のカラーフィルタのカラーフィルタ配列について説明したが、カラーフィルタの種類は、これに限定されるものではない。

また、上記各実施形態では、位相差検出用画素に、水平方向の左半分の画素を遮光する遮光膜４０Ａ又は水平方向の右半分の画素を遮光する遮光膜４０Ｂが設けられた構成について説明したが、遮光する領域はこれに限られるものではなく、遮光膜４０Ａが位相差検出用画素の一部の領域を遮光し他の領域を透過するものであり、遮光膜４０Ｂが位相差検出用画素の一部を遮光し遮光膜４０Ａが透過する領域と対になる領域を透過するものであればよい。

また、上記各実施形態では、位相差検出用画素に遮光膜が設けられた構成について説明したが、これに限らず、例えば特願２００９−２２７３３８号に記載されたような構成とすることにより、位相差検出用画素を形成してもよい。すなわち、撮像素子を、トップマイクロレンズ、インナーマイクロレンズ、及び同一形状の受光素子で構成し、撮影レンズ瞳の全域を通る光線を受光する第１の画素Ｄ１、撮影レンズ瞳の半分の領域の一部を通る光線のみを受光する第２の画素Ｄ２、撮影レンズ瞳の半分の領域の一部で第２の画素Ｄ２とは異なる領域を通る光線のみを受光する第３の画素Ｄ３を含んで構成する。そして、図１５に示すように、第２の画素Ｄ２、第３の画素Ｄ３については、第１の画素Ｄ１のトップマイクロレンズＬ１よりも直径が小さいトップマイクロレンズＬ２、Ｌ３を、インナーマイクロレンズの光軸に対して各々異なる方向にシフトして各々配置する。また、トップマイクロレンズと受光素子とはシフトして配置する。これにより、第２の画素Ｄ２、第３のＤ３を位相差検出用画素として形成することができる。このような構成においても、本発明は適用可能である。さらに、撮像素子の構成によってはインナーレンズを設けない形態でも良い。また、位相差画素の構成としては上記構成に限られず、瞳分割できるものであれば代替可能である。

（第６実施形態）

次に、本発明の第６実施形態について説明する。

位相差検出用画素は、通常画素と比較して感度が低い等、その特性が異なるため、位相差検出用画素の画素データを静止画像や動画像の画像データとして用いる場合、位相差検出用画素の画素データは補正する必要がある。そこで、本実施形態では、位相差検出用画素の画素データの補正方法について説明する。

補正方法としては、平均値補正及びゲイン補正の２種類の方法が知られており、何れを用いてもよい。平均値補正は、位相差検出用画素の周囲の通常画素の画素値を平均し、これを位相差検出用画素の画素データとする方法である。一方、ゲイン補正は、位相差検出用画素の画素データに、通常画素と位相差検出用画素とのレベル差に相当する所定のゲインを乗じることにより、位相差検出用画素の画素データを引き上げる方法である。

以下、位相差検出用画素の画素データを平均値補正で補正する場合について具体的に説明する。

図１７には、Ａ配列及びＢ配列の中央のＧ画素を中心とした３×３画素内のＧ画素の配置を示した。同図においては、中心のＧ画素をＧ１、その周囲のＧ画素を左上から時計回りにそれぞれＧ２、Ｇ３、Ｇ４、Ｇ５としている。

図３、９〜１４に示すように、位相差検出用画素は、何れも図１７においてＧ１画素に配置されている。

従って、位相差検出用画素であるＧ１画素の画素データを画像データとして用いる場合には、その周囲の通常画素であるＧ２、Ｇ３、Ｇ４、Ｇ５の各画素の画素データの平均値をＧ１画素の画素データとする。

以上のようにして、位相差検出用画素の画素データを、周囲の通常画素の画素データに基づいて平均値補正する。

なお、撮影画像の内容によっては、ゲイン補正及び平均値補正の何れを行う方が良好な画像が得られるかが異なる場合がある。従って、撮影画像の内容に応じてゲイン補正と平均値補正とを使い分けるようにしてもよい。

１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ 撮像処理部
２０ 画像処理部
２２ 駆動部
２４ 制御部
３０ カラーフィルタ
４０ 遮光部
４０Ａ、４０Ｂ 遮光膜

また、請求項１１に記載したように、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色であり、前記第３の色は、青（Ｂ）色であり、前記第１の遮光膜の前記水平方向における左側の画素及び前記第２の遮光膜の前記水平方向における右側の画素が、前記赤（Ｒ）色の画素となるように前記遮光手段が配置されている構成としてもよい。

図２には、本実施形態に係るカラーフィルタ３０の一部を示した。なお、画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２であるが、画素数及びアスペクト比はこれに限られるものではない。同図に示すように、カラーフィルタ３０は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ（以下、Ｇフィルタと称する）が、３×３画素の正方配列の四隅及び中央の画素上に配置され、Ｒ（赤）に対応する第２のフィルタＲ（以下、Ｒフィルタと称する）が、正方配列の水平方向における中央のラインに配置され、Ｂ（青）に対応する第３のフィルタＢ（以下、Ｂフィルタと称する）が、正方配列の垂直方向における中央のラインに配置された第１の配列パターンＡと、第１の配列パターンＡとＧフィルタの配置が同一で且つＲフィルタの配置とＢフィルタの配置とを入れ替えた第２の配列パターンＢと、が点対称で配置された６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタである。

また、基本配列パターンＣの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

いま、図６に示すように中央に３×３画素のＢ配列（図２参照）が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。

図６に示すように、方向判別結果により左斜め上に相関方向があると判別された場合、Ｇ１１の画素の補間方向には、Ｒ，Ｂ画素が存在しない。そこで、Ｇ１１の画素の近傍のＲ１２，Ｂ２１の画素の画素値Ｒ１２，Ｂ２１と、これらの画素の画素位置におけるＧの画素値Ｇ１２’，Ｇ２１’の色差を用いてＧ１１の画素値Ｇ１１を補間し、Ｇ１１の画素の画素位置におけるＲ，Ｇの画素値Ｒ１１’，Ｂ１１’を算出する。

同様に、Ｇ２２の画素の画素位置のＲ，Ｂ画素の画素値Ｒ２２’，Ｂ２２’は、その近傍のＲ１２，Ｒ３２の画素と，Ｂ２１，Ｂ２３の画素の各画素位置の色差を用いて、Ｇ２２の画素値Ｇ２２を補間し、Ｇ２２の画素の画素位置におけるＲ，Ｂの画素値Ｒ２２’，Ｂ２２’を算出する。

上記のようにして３×３画素（Ｂ配列）の全ての画素の同時化処理が終了すると、隣接する３×３画素（Ａ配列）の対象画素に対して、上記と同じ処理（方向判別と同時化処理）を行い、これを３×３画素単位で移動させながら繰り返す。

前述したように、カラー撮像素子１４のカラーフィルタ配列の場合、同時化処理の対象画素がＧ画素で、この画素位置におけるＲ，Ｂの画素値を算出する際に、斜め方向にＧ画素しか存在しないものがあるが、カラーフィルタ配列によっては、同時化処理の対象画素がＲ画素で、この画素位置におけるＧ，Ｂの画素値を算出する際に、斜め方向にＧ画素，又はＢ画素が存在しない場合や、同時化処理の対象画素がＢ画素で、この画素位置におけるＧ，Ｒの画素値を算出する際に、斜め方向にＧ画素，又はＲ画素が存在しない場合が考えられる。

尚、上記式（１）〜（３）に限らず、同時化処理の対象画素の近傍に、補間して求めようとする色と同じ色の画素が複数存在する場合には、式（ｃ）〜（ｄ）と同様に、複数の画素の平均の色差を使用して補間してもよい。

また、水平、垂直、及び斜め（右上，左上）方向に隣接するＧ画素の画素値の差分絶対値がそれぞれ等しい場合（差分絶対値が全ての方向で０の場合、又はほぼ０の場合）には、方向判別回路は相関方向がないと判別する。この場合、同時化処理の対象画素の画素位置における他の色の画素値は、その画素位置の近傍に存在する他の色の画素の画素値を使用する。

図１０に示すように、本実施形態では、遮光部４０が、基本配列パターンＣを構成する２組の第１の配列パターンＡ及び第２の配列パターンＢのうち、水平方向における一方の側の第１の配列パターンＡ及び第２の配列パターンＢの中央の位相差検出用画素上に設けられ、かつ、遮光部４０が配置された第１の配列パターンＡ及び第２の配列パターンＢが水平方向に沿って配置された配列ラインと、遮光部４０が配置されない第１の配列パターンＡ及び第２の配列パターンＢが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。すなわち、図１０の例では、垂直方向において（２ｎ＋１）番目の基本配列パターンＣのラインに遮光膜４０Ａ、４０Ｂが配置され、（２ｎ＋２）番目の基本配列パターンＣのラインには遮光膜４０Ａ、４０Ｂが配置されていない。また、水平方向においては、６画素おきに遮光膜４０Ａ、４０Ｂが配置されている。すなわち、水平方向においては、（６ｍ＋２）番目（ｍ＝０，１，２，・・・）のラインに遮光膜４０Ａ、４０Ｂが配置されている。

なお、図１２に示すように、遮光部４０が、基本配列パターンＣの他方の対角上に配置された２つの第２の配列パターンＢの中央の位相差検出用画素上に設けられ、かつ、全ての基本配列パターンに対して配置された構成としてもよい。この場合、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が共にＲ画素で同一となっている。特に、Ｒの波長は隣接する画素に届きやすいため、混色をより効果的に防ぐことができ、画質を向上させることができる。

図１３に示すように、本実施形態では、遮光部４０が、基本配列パターンＣの一方の対角上に配置された２つの第１の配列パターンＡの中央の位相差検出用画素上に設けられ、かつ、遮光部４０が配置された基本配列パターンＣが水平方向に沿って配置された配列ラインと、遮光部４０が配置されない基本配列パターンＣが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。

なお、図１４に示すように、遮光部４０が、他方の対角上に配置された２つの第２の配列パターンＢの中央の位相差検出用画素上に設けられ、かつ、遮光部４０が配置された基本配列パターンＣが水平方向に沿って配置された配列ラインと、遮光部４０が配置されない基本配列パターンＣが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置された構成としてもよい。

また、上記各実施形態では、位相差検出用画素に遮光膜が設けられた構成について説明したが、これに限らず、例えば特願２００９−２２７３３８号に記載されたような構成とすることにより、位相差検出用画素を形成してもよい。すなわち、撮像素子を、トップマイクロレンズ、インナーマイクロレンズ、及び同一形状の受光素子で構成し、撮影レンズ瞳の全域を通る光線を受光する第１の画素Ｄ１、撮影レンズ瞳の半分の領域の一部を通る光線のみを受光する第２の画素Ｄ２、撮影レンズ瞳の半分の領域の一部で第２の画素Ｄ２とは異なる領域を通る光線のみを受光する第３の画素Ｄ３を含んで構成する。そして、図１５に示すように、第２の画素Ｄ２、第３の画素Ｄ３については、第１の画素Ｄ１のトップマイクロレンズＬ１よりも直径が小さいトップマイクロレンズＬ２、Ｌ３を、インナーマイクロレンズの光軸に対して各々異なる方向にシフトして各々配置する。また、トップマイクロレンズと受光素子とはシフトして配置する。これにより、第２の画素Ｄ２、第３の画素Ｄ３を位相差検出用画素として形成することができる。このような構成においても、本発明は適用可能である。さらに、撮像素子の構成によってはインナーレンズを設けない形態でも良い。また、位相差画素の構成としては上記構成に限られず、瞳分割できるものであれば代替可能である。

また、請求項４に記載したように、前記第１の遮光膜が前記水平方向に沿って配置された配列ラインと、前記第２の遮光膜が前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項５に記載したように、前記第１の遮光膜及び前記第２の遮光膜の順に前記水平方向に交互に配置された配列ラインと、前記第２の遮光膜及び前記第１の遮光膜の順に前記水平方向に交互に配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項６に記載したように、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色であり、前記第３の色は、青（Ｂ）色であり、前記第１の遮光膜の前記水平方向における左側の画素及び前記第２の遮光膜の前記水平方向における右側の画素が、前記赤（Ｒ）色の画素となるように前記遮光手段が配置されている構成としてもよい。

また、請求項７に記載したように、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である構成としてもよい。

また、請求項８に記載したように、前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に各々設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての前記基本配列パターンにおいて前記中央の位置に対応する画素に配置された構成としてもよい。

また、請求項９に記載したように、前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に各々設けられ、かつ、前記位相差検出用画素が配置された前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項１０に記載したように、前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンのうち、前記水平方向における一方の側の組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項１１に記載したように、前記位相差検出用画素が、前記基本配列パターンの一方の対角上に配置された２つの前記第１の配列パターン及び他方の対角上に配置された２つの前記第２の配列パターンのうち、何れかの対角上に配置された２つの配列パターンの中央の位置に対応する画素に設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての基本配列パターンにおいて前記中央の位置に対応する画素に配置された構成としてもよい。

また、請求項１２に記載したように、前記位相差検出用画素が、前記基本配列パターンの一方の対角上に配置された２つの前記第１の配列パターン及び他方の対角上に配置された２つの前記第２の配列パターンのうち、何れかの対角上に配置された２つの配列パターンの中央の位置に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

請求項１４記載の発明の撮像装置は、前記請求項９、１０、１２の何れか１項に記載のカラー撮像素子と、前記位相差検出用画素から位相差検出用画素データを読み出すと共に前記位相差検出用画素以外の通常画素から動画作成用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、前記動画作成用画素データに基づいて動画データを作成する作成手段と、を備えたことを特徴とする。

Claims (16)

1. 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、
   前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンのうち、少なくとも１組のパターンの中央の位置に対応する前記画素に配置された位相差検出用画素と、
   を備えたカラー撮像素子。
2. 前記位相差検出用画素には、当該画素の一部の領域を遮光し他の領域を透過する第１の遮光膜又は当該画素の一部を遮光し前記第１の遮光膜が透過する領域と対になる領域を透過する第２の遮光膜を含む遮光手段が設けられた
   請求項１記載のカラー撮像素子。
3. 前記遮光手段における前記第１の遮光膜が画素の水平方向の左半分の領域を遮光するものであり、前記第２の遮光膜が画素の水平方向の右半分の領域を遮光するものである
   請求項２記載のカラー撮像素子。
4. 前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に各々設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての前記基本配列パターンにおいて前記中央の位置に対応する画素に配置された
   請求項１〜３の何れか１項に記載のカラー撮像素子。
5. 前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に各々設けられ、かつ、前記位相差検出用画素が配置された前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
   請求項１〜３の何れか１項に記載のカラー撮像素子。
6. 前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンのうち、前記水平方向における一方の側の組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
   請求項１〜３の何れか１項に記載のカラー撮像素子。
7. 前記位相差検出用画素が、前記基本配列パターンの一方の対角上に配置された２つの前記第１の配列パターン及び他方の対角上に配置された２つの前記第２の配列パターンのうち、何れかの対角上に配置された２つの配列パターンの中央の位置に対応する画素に設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての基本配列パターンにおいて前記中央の位置に対応する画素に配置された
   請求項１〜３の何れか１項に記載のカラー撮像素子。
8. 前記位相差検出用画素が、前記基本配列パターンの一方の対角上に配置された２つの前記第１の配列パターン及び他方の対角上に配置された２つの前記第２の配列パターンのうち、何れかの対角上に配置された２つの配列パターンの中央の位置に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
   請求項１〜３の何れか１項に記載のカラー撮像素子。
9. 前記第１の遮光膜が前記水平方向に沿って配置された配列ラインと、前記第２の遮光膜が前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
   請求項２〜８の何れか１項に記載のカラー撮像素子。
10. 前記第１の遮光膜及び前記第２の遮光膜の順に前記水平方向に交互に配置された配列ラインと、前記第２の遮光膜及び前記第１の遮光膜の順に前記水平方向に交互に配置された配列ラインと、が前記垂直方向に交互に配置された
    請求項２〜８の何れか１項に記載のカラー撮像素子。
11. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色であり、前記第３の色は、青（Ｂ）色であり、
    前記第１の遮光膜の前記水平方向における左側の画素及び前記第２の遮光膜の前記水平方向における右側の画素が、前記Ｒ色の画素となるように前記遮光手段が配置されている
    請求項３〜１０の何れか１項に記載のカラー撮像素子。
12. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である
    請求項１〜１０の何れか１項に記載のカラー撮像素子。
13. 前記請求項１〜１２の何れか１項に記載のカラー撮像素子と、
    前記位相差検出用画素から位相差検出用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、
    前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、
    を備えた撮像装置。
14. 前記請求項５、６、８の何れか１項に記載のカラー撮像素子と、
    前記位相差検出用画素から位相差検出用画素データを読み出すと共に前記位相差検出用画素以外の通常画素から動画作成用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、
    前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、
    前記動画作成用画素データに基づいて動画データを作成する作成手段と、
    を備えた撮像装置。
15. 前記請求項１〜１２の何れか１項に記載のカラー撮像素子と、
    前記基本配列パターンの中央に２×２の第１のフィルタが配置された方向判別用画素の画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、
    前記方向判別用画素から読み出した画素データに基づいて、輝度の相関方向を検出する検出手段と、
    検出した前記相関方向に基づいて、各画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間する補間手段と、
    を備えた撮像装置。
16. コンピュータを、請求項１３〜請求項１５の何れか１項に記載の撮像装置を構成する各手段として機能させるための撮像プログラム。

Images