JP5539585B2 - カラー撮像素子、撮像装置、及び撮像プログラム - Google Patents

Description

本発明は、カラー撮像素子、撮像装置、及び撮像プログラムに係り、特に、位相差検出用画素を含むカラー撮像素子、撮像装置、及び撮像プログラムに関する。

デジタルカメラ等の撮像装置に搭載される固体撮像素子には、ＡＦ（オートフォーカス）性能を高めるために、固体撮像素子受光面上に形成される多数の画素のうちの一部画素を位相差検出用画素としたものがある（例えば特許文献１〜７参照）。

位相差検出用画素は、例えば下記の特許文献１〜７に記載されている様に、ペアとなる同色フィルタを搭載した近隣２画素で構成され、通常画素に設けられる遮光膜開口に比べて夫々小さな遮光膜開口が設けられる。そして更に、ペアを組む一方の位相差検出用画素に設ける遮光膜開口は、他方の位相差検出用画素から離れる方向（例えば左側）に偏心して設けられ、他方の位相差検出用画素の遮光膜開口は、反対方向（例えば右側）に偏心して設けられる。

撮像装置でＡＦ動作を行うとき、固体撮像素子の位相差検出用画素から信号を読み出し、遮光膜開口が右側に偏心した画素の検出信号と左側に偏心した画素の検出信号とから焦点のずれ量を求め、撮影レンズの焦点位置を調整する。

このＡＦ動作は、位相差検出用画素が多いほど精度が高くなるが、通常の被写体画像を本撮像する場合、位相差検出用画素は、遮光膜開口が狭く感度が低いため、通常画素と同じに取り扱えないという問題がある。

このため、全画素から信号を読み出して被写体画像を生成するときは、位相差検出用画素の検出信号を通常画素の感度と同程度に利得補正したり、あるいは、位相差検出用画素を欠陥画素として取り扱い、周りの通常画素の検出信号で補間演算補正したりする必要がある。
特開２０００−１５６８２３号公報 特開２００７−１５５９２９号公報 特開２００９−８９１４４号公報 特開２００９−１０５６８２号公報 特開２０１０−６６４９４号公報 特開２００８−３１２０７３号公報 特許第３５９２１４７号公報

位相差検出用画素について、周りの通常画素の検出信号で補間演算補正する場合、位相差検出用画素の位置によっては補間の精度が劣化し、画質が劣化する場合がある。

本発明は上記問題点を解決するためになされたものであり、位相差検出用画素の補間精度を向上させることができるカラー撮像素子、撮像装置、及び撮像プログラムを提供することを目的とする。

上記課題を解決するため、請求項１記載の発明のカラー撮像素子は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンのうち、前記垂直方向に並ぶ少なくとも１組の前記第１の配列パターン及び前記第２の配列パターンの四隅のうちの一つの角部に対応する前記画素の位置に配置された位相差検出用画素と、を備えたことを特徴とする。

この発明によれば、基本配列パターンを構成する２組の第１の配列パターン及び第２の配列パターンのうち、垂直方向に並ぶ少なくとも１組の第１の配列パターン及び第２の配列パターンの四隅のうちの一つの角部に対応する前記画素の位置に配置された位相差検出用画素を備えた構成としたので、位相差検出用画素の補間精度を向上させることができる。

なお、請求項２に記載したように、前記位相差検出用画素には、当該画素の一部の領域を遮光し他の領域を透過する第１の遮光膜又は当該画素の一部を遮光し前記第１の遮光膜が透過する領域と対になる領域を透過する第２の遮光膜を含む遮光手段が設けられた構成としてもよい。

また、請求項３に記載したように、前記遮光手段における前記第１の遮光膜が画素の水平方向の左半分の領域を遮光するものであり、前記第２の遮光膜が画素の水平方向の右半分の領域を遮光するものである構成としてもよい。
また、請求項４に記載したように、前記第１の遮光膜が前記水平方向に沿って配置された配列ラインと、前記第２の遮光膜が前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。
また、請求項５に記載したように、前記第１の遮光膜及び前記第２の遮光膜の順に前記水平方向に交互に配置された配列ラインと、前記第２の遮光膜及び前記第１の遮光膜の順に前記水平方向に交互に配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項６に記載したように、前記位相差検出用画素が、前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンの前記角部に対応する画素に各々設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての前記基本配列パターンにおいて前記角部に対応する画素の位置に配置された構成としてもよい。

また、請求項７に記載したように、前記位相差検出用画素が、前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンの前記角部に対応する画素の位置に各々設けられ、かつ、前記位相差検出用画素が配置された前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項８に記載したように、前記位相差検出用画素が、前記基本配列パターンを構成する１組の前記第１の配列パターン及び前記第２の配列パターンの前記角部に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項９に記載したように、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、

前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンのうち、前記水平方向に並ぶ１組の前記第１の配列パターン及び前記第２の配列パターンの四隅のうち前記水平方向の一方側の２つの角部に対応する前記画素の位置に配置された位相差検出用画素と、を備えた構成としてもよい。

また、請求項１０に記載したように、前記位相差検出用画素が配置された前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項１１に記載したように、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンのうち、一つの前記第１の配列パターン又は前記第２の配列パターンの四隅に対応する前記画素の位置に配置された位相差検出用画素と、を備えた構成としてもよい。

また、請求項１２に記載したように、前記位相差検出用画素には、当該画素の一部の領域を遮光し他の領域を透過する第１の遮光膜又は当該画素の一部を遮光し前記第１の遮光膜が透過する領域と対になる領域を透過する第２の遮光膜を含む遮光手段が設けられた構成としてもよい。

また、請求項１３に記載したように、前記遮光手段における前記第１の遮光膜が画素の水平方向の左半分の領域を遮光するものであり、前記第２の遮光膜が画素の水平方向の右半分の領域を遮光するものである構成としてもよい。

また、請求項１４に記載したように、前記第１の遮光膜が前記水平方向に沿って配置された配列ラインと、前記第２の遮光膜が前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項１５に記載したように、前記第１の遮光膜及び前記第２の遮光膜の順に前記水平方向に交互に配置された配列ラインと、前記第２の遮光膜及び前記第１の遮光膜の順に前記水平方向に交互に配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。

また、請求項１６に記載したように、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である構成としてもよい。

請求項１７記載の発明の撮像装置は、前記請求項１〜１６の何れか１項に記載のカラー撮像素子と、前記位相差検出用画素から位相差検出用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、を備えたことを特徴とする。

請求項１８記載の発明の撮像装置は、前記請求項７、８、１０の何れか１項に記載のカラー撮像素子と、前記位相差検出用画素から位相差検出用画素データを読み出すと共に前記位相差検出用画素以外の通常画素から動画作成用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、前記動画作成用画素データに基づいて動画データを作成する作成手段と、を備えたことを特徴とする。

請求項１９記載の発明の撮像プログラムは、コンピュータを、請求項１７又は請求項１８記載の撮像装置を構成する各手段として機能させるための撮像プログラムである。

本発明によれば、位相差検出用画素の補間精度を向上させることができる、という効果を有する。

撮像装置の概略ブロック図である。 本発明に係るカラーフィルタの構成図である。 第１実施形態に係る遮光部の配置を示す図である。 制御部で実行される処理のフローチャートである。 遮光膜の配置パターンについて説明するための図である。 遮光膜の配置パターンについて説明するための図である。 第２実施形態に係る遮光部の配置を示す図である。 第３実施形態に係る遮光部の配置を示す図である。 第４実施形態に係る遮光部の配置を示す図である。 第５実施形態に係る遮光部の配置を示す図である。 第６実施形態に係る遮光部の配置を示す図である。 位相差検出用画素の変形例について説明するための図である。 カラーフィルタに含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法を説明するための図である。 カラーフィルタに含まれる基本配列パターンの概念を説明するための図である。 位相差検出用画素の画素データを平均値補正で補正する場合について説明するための図である。

以下、図面を参照して本発明の実施形態について説明する。

（第１実施形態）

図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。

光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。

撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。

図２には、本実施形態に係るカラーフィルタ３０の一部を示した。なお、画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２であるが、画素数及びアスペクト比はこれに限られるものではない。同図に示すように、カラーフィルタ３０は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ（以下、Ｇフィルタと称する）が、３×３画素の正方配列の四隅及び中央の画素上に配置され、Ｒ（赤）に対応する第２のフィルタＲ（以下、Ｒフィルタと称する）が、正方配列の水平方向における中央のラインに配置され、Ｂ（青）に対応する第３のフィルタＢ（以下、Ｂフィルタと称する）が、正方配列の垂直方向における中央のラインに配置された第１の配列パターンＡと、第１の配列パターンＡとフィルタＧの配置が同一で且つフィルタＲの配置とフィルタＢの配置とを入れ替えた第２の配列パターンＢと、が点対称で配置された６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタである。

すなわち、カラーフィルタ３０は、下記の特徴(1)、(2)、(3)、(4)、及び(5)を有している。

〔特徴(1)〕

図２に示すカラーフィルタ３０は、６×６画素に対応する正方配列パターンからなる基本配列パターンＣを含み、この基本配列パターンＣが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターにしたがって処理を行うことができる。

また、基本配列パターンＣの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴(2)〕

図２に示すカラーフィルタ３０は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されている。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

〔特徴(3)〕

図２に示すカラーフィルタ３０は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

図２に示すように基本配列パターンＣは、破線の枠で囲んだ３×３画素の第１の配列パターンＡと、一点鎖線の枠で囲んだ３×３画素の第２の配列パターンＢとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

第１の配列パターンＡ及び第２の配列パターンＢは、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、第１の配列パターンＡは、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列され、一方、第２の配列パターンＢは、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。即ち、第１の配列パターンＡと第２の配列パターンＢとは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、第１の配列パターンＡと第２の配列パターンＢの４隅のＧフィルタは、図１２に示すように第１の配列パターンＡと第２の配列パターンＢとが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

〔特徴(4)〕

図２に示すカラーフィルタ３０は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

図１２に示すように、Ｇフィルタからなる２×２画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。

即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。

〔特徴(5)〕

図２に示すカラーフィルタ３０の基本配列パターンＣは、その基本配列パターンＣの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図２に示したように、基本配列パターンＣ内の第１の配列パターンＡ及び第２の配列パターンＢも、それぞれ中心のＧフィルタに対して点対称になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。

図１３に示すように基本配列パターンＣにおいて、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＲＧＧＢＧであり、第２のラインのカラーフィルタ配列は、ＢＧＢＲＧＲであり、第４及び第６のラインのカラーフィルタ配列は、ＧＢＧＧＲＧであり、第５のラインのカラーフィルタ配列は、ＲＧＲＢＧＢとなっている。

いま、図１３において、基本配列パターンＣを水平方向、及び垂直方向にそれぞれ１画素ずつシフトした基本配列パターンをＣ’、それぞれ２画素ずつシフトした基本配列パターンをＣ”とすると、これらの基本配列パターンＣ’、Ｃ”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。

即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図１３に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。本実施形態では、基本配列パターンが点対称になっている基本配列パターンＣを、便宜上、基本配列パターンという。

撮像装置１０は、所謂位相差方式のＡＦ制御を行うため、撮像素子１４は、位相差検出用画素が予め定めたパターンで配置されている。この位相差検出用画素上には、図３に示すように、水平方向の左半分の画素を遮光する遮光膜４０Ａ及び水平方向の右半分の画素を遮光する遮光膜４０Ｂを含む遮光部４０が形成されている。位相差ＡＦ制御では、遮光膜４０Ａが設けられた位相差検出用画素の画素データと遮光膜４０Ｂが設けられた位相差検出用画素の画素データとに基づいて位相のずれ量を検出し、これに基づいて撮影レンズの焦点位置を調整する。

この遮光部４０は、本実施形態では、図３に示すように、基本配列パターンＣを構成する２組の第１の配列パターンＡ及び第２の配列パターンＢの左上角部のＧフィルタが設けられた位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンＣに対して配置されている。すなわち、図３の例では、垂直方向において（６ｎ＋１）番目のラインに遮光膜４０Ａが配置され、（６ｎ＋４）番目のラインに遮光膜４０Ｂが配置されている。なお、図３では、全ての基本配列パターンＣに遮光部４０が設けられているが、これに限らず、撮像素子の一部の所定の領域内の基本配列パターンＣにのみ設けるようにしてもよい。これは以下の実施形態でも同様である。

このように、本実施形態に係るカラーフィルタ３０は、遮光部４０が全ての第１の配列パターンＡ及び第２の配列パターンＢの左上角部のＧフィルタが設けられた位相差検出用画素上に設けられており、垂直方向及び水平方向ともに３画素に１画素、位相差検出用画素が規則的に配置された構成となっている。このため、位相差検出用画素の周囲に通常画素が比較的多く配置されるので、通常画素の画素データから位相差検出用画素の画素データを補間する場合における補間精度を向上させることができる。

撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画素データとして画像処理部２０に出力する。

画像処理部２０は、撮像処理部１６から出力された画素データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画素データを生成する。そして、生成したＲ，Ｇ，Ｂの画素データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。

駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。

制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。

撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。

撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがある。

次に、本実施形態の作用として、制御部２４で実行される処理について、図４に示すフローチャートを参照して説明する。

なお、図４に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。

まず、ステップ１００では、撮影モードに応じた間引き方法で画素データを読み出すように駆動部２２に指示する。

例えば、ＨＤ動画モードやスルー動画モード等の動画モードの場合、位相差ＡＦ制御しながら、動画データを生成するので、遮光膜４０Ａ及び遮光膜４０Ｂが設けられた少なくとも一部の位相差検出用画素、すなわち、図３では垂直方向における（６ｎ＋１）番目、（６ｎ＋４）番目（ｎ＝０，１，２，・・・）のラインを読み出して、そのラインのの位相差検出用画素の画素データに基づいて位相差ＡＦ制御を行うと共に、それ以外の（６ｎ＋２番目）、（６ｎ＋３）番目、（６ｎ＋５番目）、（６ｎ＋６）番目のライン、すなわち通常画素のラインの少なくとも一部のラインを読み出して、動画データを作成する。この動画データを作成する際、位相差検出用画素については、その周囲の通常画素の画素データから補間する。

図３に示すように、本実施形態では、垂直方向及び水平方向ともに３画素に１画素、位相差検出用画素が規則的に配置された構成となっている。このため、位相差検出用画素の周囲に通常画素が比較的多く配置されるので、通常画素の画素データから位相差検出用画素の画素データを補間する場合における補間精度を向上させることができる、。

ステップ１０２では、撮影モードに応じた画像処理（同時化処理及びＹＣ変換処理）及びリサイズ処理を実行するよう画像処理部２０に指示する。

なお、制御部２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。

また、本実施形態では、図３、図５Ａに示すように、遮光膜４０Ａが水平方向に沿って配置された配列ラインと、遮光膜４０Ｂが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置された場合について説明したが、図５Ｂに示すように、遮光膜４０Ａ及び遮光膜４０Ｂの順に水平方向に交互に配置された配列ラインと、遮光膜４０Ｂ及び遮光膜４０Ａの順に水平方向に交互に配置された配列ラインと、が垂直方向に交互に配置された構成としてもよい。なお、図５では、位相差検出用画素のみ示している。同図Ｂに示す配置の場合、遮光膜４０Ａ及び遮光膜４０Ｂともに斜めに配置されることになるため、例えば斜め線を含む被写体を撮影した場合に、精度よくピントを合わせることが可能となる。これは、以下の実施形態でも同様である。

（第２実施形態）

次に、本発明の第２実施形態について説明する。なお、第１実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。

図６には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が第１実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。

図６に示すように、本実施形態では、遮光部４０が、基本配列パターンＣを構成する２組の第１の配列パターンＡ及び第２の配列パターンＢに各々設けられ、かつ、遮光部４０が配置された基本配列パターンＣが水平方向に沿って配置された配列ラインと、遮光膜４０が配置されない基本配列パターンＣが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。すなわち、図６の例では、垂直方向において（１２ｎ＋１）番目のラインに遮光膜４０Ａが配置され、（１２ｎ＋４）番目のラインに遮光膜４０Ｂが配置されている。

この場合、制御部２４は、撮影モードが動画モードの場合、遮光膜４０Ａ、４０Ｂが配置されたラインの位相差検出用画素の画素データを読み出して位相差ＡＦ制御すると共に、遮光膜４０Ａ、４０Ｂが配置されていない通常画素、例えば（１２ｎ＋７）番目〜（１２ｎ＋１２）番目のラインの画素データを読み出して動画データを作成する。

このように、本実施形態では、位相差検出用画素の画素データは位相差ＡＦ制御にのみ使用し、動画データの作成には使用しないので、周囲の画素から補間する必要がない。また、動画データは、通常画素の画素データから作成する。このため、位相差検出用画素を動画データの作成に基いる場合と比較して、位相差ＡＦ制御の処理速度を向上させることができる。また、補間して動画データを作成する場合と比較して、動画データ作成の処理速度を向上させることができる。

（第３実施形態）

次に、本発明の第３実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。

図７には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が第１実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。間引き駆動については第２実施形態と同様である。

図７に示すように、本実施形態では、遮光部４０が、基本配列パターンＣを構成する２組の第１の配列パターンＡ及び第２の配列パターンＢのうち、垂直方向に並ぶ１組の第１の配列パターンＡ及び第２の配列パターンＢに設けられ、かつ、遮光膜４０が配置された基本配列パターンＣが水平方向に沿って配置された配列ラインと、遮光膜４０が配置されない基本配列パターンＣが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。すなわち、図７の例では、垂直方向において（１２ｎ＋１）番目、（１２ｎ＋４）番目のラインと、水平方向において（１２ｍ＋４）番目（ｍ＝０，１，２，・・・）、（１２ｍ＋１０）番目のラインと、が交差する位置の位相差検出用画素上に遮光膜４０Ａ、４０Ｂが配置されている。

このため、第２実施形態と比較すると、位相差検出用画素の周囲に通常画素が増えるため、補間精度を向上させることができ、画質を向上させることができる。

（第４実施形態）

次に、本発明の第４実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。

図８には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が第１実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。

図８に示すように、本実施形態では、遮光膜４０が、水平方向に並ぶ１組の第１の配列パターンＡ及び第２の配列パターンＢの四隅のうち水平方向の一方側（左側）の２つの角部の位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンＣに対して配置されている。すなわち、図８の例では、垂直方向において（６ｎ＋１）番目のラインに遮光膜４０Ａが配置され、（６ｎ＋３）番目のラインに遮光膜４０Ｂが配置されている。

位相差ＡＦ制御を行う場合、位相差検出用画素が隣接していたり、位相差検出用画素が垂直方向に配置されていたりする方がＡＦ制御の精度が良い。これに対し、本実施形態では、図８に示すように、垂直方向における遮光膜４０Ａ、４０Ｂの間隔が狭く、近づいているので、位相差ＡＦ制御の精度を向上させることができる。

（第５実施形態）

次に、本発明の第５実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。

図９には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が第１実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。間引き駆動については、第２実施形態と同様である。

図９に示すように、本実施形態では、遮光部４０が、水平方向に並ぶ１組の第１の配列パターンＡ及び第２の配列パターンＢの四隅のうち水平方向の一方側（左側）の２つの角部の位相差検出用画素上に各々設けられ、かつ、遮光膜４０が配置された基本配列パターンＣが水平方向に沿って配置された配列ラインと、遮光膜４０が配置されない基本配列パターンＣが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。すなわち、図９の例では、垂直方向において（１２ｎ＋１）番目のラインに遮光膜４０Ａが配置され、（１２ｎ＋３）番目のラインに遮光膜４０Ｂが配置されている。

この場合、制御部２４は、第２実施形態と同様に、撮影モードが動画モードの場合、遮光膜４０Ａ、４０Ｂが配置されたラインの位相差検出用画素の画素データを読み出して位相差ＡＦ制御すると共に、遮光膜４０Ａ、４０Ｂが配置されていない通常画素、例えば（１２ｎ＋７）番目〜（１２ｎ＋１２）番目のラインの画素データを読み出して動画データを作成する。

このように、本実施形態では、位相差検出用画素の画素データは位相差ＡＦ制御にのみ使用し、動画データの作成には使用しないので、周囲の画素から補間する必要がない。また、動画データは、通常画素の画素データから作成する。このため、位相差検出用画素を動画データの作成に基いる場合と比較して、位相差ＡＦ制御の処理速度を向上させることができる。また、補間して動画データを作成する場合と比較して、動画データ作成の処理速度を向上させることができる。

（第６実施形態）

次に、本発明の第６実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。

図１０には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が第１実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。

図１０に示すように、本実施形態では、遮光部４０が、基本配列パターンＣを構成する２組の第１の配列パターンＡ及び第２の配列パターンＢのうち、一つの第１の配列パターン又は第２の配列パターン（図１０では右上の第２の配列パターンＢ）の四隅の位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンＣに対して配置されている。すなわち、図１０の例では、垂直方向において（６ｎ＋１）番目、（６ｎ＋３）番目のラインと、水平方向において（６ｍ＋４）番目（ｍ＝０，１，２，・・・）、（６ｍ＋６）番目のラインと、が交差する位置の位相差検出用画素上に遮光膜４０Ａ、４０Ｂが配置されている。

この場合、間引きが少なくなるため、例えばスルー動画の画質を向上させることができる。

なお、上記各実施形態では、ＲＧＢの３原色のカラーフィルタのカラーフィルタ配列について説明したが、カラーフィルタの種類は、これに限定されるものではない。

また、上記各実施形態では、位相差検出用画素に、水平方向の左半分の画素を遮光する遮光膜４０Ａ又は水平方向の右半分の画素を遮光する遮光膜４０Ｂが設けられた構成について説明したが、遮光する領域はこれに限られるものではなく、遮光膜４０Ａが位相差検出用画素の一部の領域を遮光し他の領域を透過するものであり、遮光膜４０Ｂが位相差検出用画素の一部を遮光し遮光膜４０Ａが透過する領域と対になる領域を透過するものであればよい。

また、上記各実施形態では、位相差検出用画素に遮光膜が設けられた構成について説明したが、これに限らず、例えば特願２００９−２２７３３８号に記載されたような構成とすることにより、位相差検出用画素を形成してもよい。すなわち、撮像素子を、トップマイクロレンズ、インナーマイクロレンズ、及び同一形状の受光素子で構成し、撮影レンズ瞳の全域を通る光線を受光する第１の画素Ｄ１、撮影レンズ瞳の半分の領域の一部を通る光線のみを受光する第２の画素Ｄ２、撮影レンズ瞳の半分の領域の一部で第２の画素Ｄ２とは異なる領域を通る光線のみを受光する第３の画素Ｄ３を含んで構成する。そして、図１１に示すように、第２の画素Ｄ２、第３の画素Ｄ３については、第１の画素Ｄ１のトップマイクロレンズＬ１よりも直径が小さいトップマイクロレンズＬ２、Ｌ３を、インナーマイクロレンズの光軸に対して各々異なる方向にシフトして各々配置する。また、トップマイクロレンズと受光素子とはシフトして配置する。これにより、第２の画素Ｄ２、第３の画素Ｄ３を位相差検出用画素として形成することができる。このような構成においても、本発明は適用可能である。さらに、撮像素子の構成によってはインナーレンズを設けない形態でも良い。また、位相差画素の構成としては上記構成に限られず、瞳分割できるものであれば代替可能である。

（第７実施形態）

次に、本発明の第７実施形態について説明する。

位相差検出用画素は、通常画素と比較して感度が低い等、その特性が異なるため、位相差検出用画素の画素データを静止画像や動画像の画像データとして用いる場合、位相差検出用画素の画素データは補正する必要がある。そこで、本実施形態では、位相差検出用画素の画素データの補正方法について説明する。

補正方法としては、平均値補正及びゲイン補正の２種類の方法が知られており、何れを用いてもよい。平均値補正は、位相差検出用画素の周囲の通常画素の画素値を平均し、これを位相差検出用画素の画素データとする方法である。一方、ゲイン補正は、位相差検出用画素の画素データに、通常画素と位相差検出用画素とのレベル差に相当する所定のゲインを乗じることにより、位相差検出用画素の画素データを引き上げる方法である。

以下、位相差検出用画素の画素データを平均値補正で補正する場合について具体的に説明する。

図１４には、基本配列パターンＣの中央の２×２のＧ画素を中心とした４×４画素内のＧ画素の配置を示した。同図においては、中心の２×２のＧ画素を左上から時計回りにそれぞれＧ１、Ｇ２、Ｇ３、Ｇ４とし、その周囲のＧ画素を左上から時計回りにそれぞれＧ５、Ｇ６、Ｇ７、Ｇ８としている。

位相差検出用画素が図３、６、７に示すように配置されている場合、図１４においてＧ３画素が位相差検出用画素となる。

また、位相差検出用画素が図８、９に示すように配置されている場合、図１４においてＧ２またはＧ３画素が位相差検出用画素となる。

また、位相差検出用画素が図１０に示すように配置されている場合、図１４においてＧ１、Ｇ２、Ｇ３、及びＧ４画素の何れかが位相差検出用画素となる。

位相差検出用画素であるＧ１画素の画素データを画像データとして用いる場合には、その周囲の通常画素、例えばＧ２、Ｇ４、Ｇ５の各画素の画素データの平均値をＧ１画素の画素データとする。

また、位相差検出用画素であるＧ２画素の画素データを画像データとして用いる場合には、その周囲の通常画素、例えばＧ１、Ｇ３、Ｇ６の各画素の画素データの平均値をＧ２画素の画素データとする。

また、位相差検出用画素であるＧ３画素の画素データを画像データとして用いる場合には、その周囲の通常画素、例えばＧ２、Ｇ４、Ｇ７の各画素の画素データの平均値をＧ３画素の画素データとする。

また、位相差検出用画素であるＧ４画素の画素データを画像データとして用いる場合には、その周囲の通常画素、例えばＧ１、Ｇ３、Ｇ８の各画素の画素データの平均値をＧ４画素の画素データとする。

以上のようにして、位相差検出用画素の画素データを、周囲の通常画素の画素データに基づいて平均値補正する。

なお、撮影画像の内容によっては、ゲイン補正及び平均値補正の何れを行う方が良好な画像が得られるかが異なる場合がある。従って、撮影画像の内容に応じてゲイン補正と平均値補正とを使い分けるようにしてもよい。

１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ 撮像処理部
２０ 画像処理部
２２ 駆動部
２４ 制御部
３０ カラーフィルタ

Claims (19)

1. 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、
   前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンのうち、前記垂直方向に並ぶ少なくとも１組の前記第１の配列パターン及び前記第２の配列パターンの四隅のうちの一つの角部に対応する前記画素の位置に配置された位相差検出用画素と、
   を備えたカラー撮像素子。
2. 前記位相差検出用画素には、当該画素の一部の領域を遮光し他の領域を透過する第１の遮光膜又は当該画素の一部を遮光し前記第１の遮光膜が透過する領域と対になる領域を透過する第２の遮光膜を含む遮光手段が設けられた
   請求項１記載のカラー撮像素子。
3. 前記遮光手段における前記第１の遮光膜が画素の水平方向の左半分の領域を遮光するものであり、前記第２の遮光膜が画素の水平方向の右半分の領域を遮光するものである
   請求項２記載のカラー撮像素子。
4. 前記第１の遮光膜が前記水平方向に沿って配置された配列ラインと、前記第２の遮光膜が前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
   請求項２又は請求項３記載のカラー撮像素子。
5. 前記第１の遮光膜及び前記第２の遮光膜の順に前記水平方向に交互に配置された配列ラインと、前記第２の遮光膜及び前記第１の遮光膜の順に前記水平方向に交互に配置された配列ラインと、が前記垂直方向に交互に配置された
   請求項２又は請求項３記載のカラー撮像素子。
6. 前記位相差検出用画素が、前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンの前記角部に対応する画素に各々設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての前記基本配列パターンにおいて前記角部に対応する画素の位置に配置された
   請求項１〜５の何れか１項に記載のカラー撮像素子。
7. 前記位相差検出用画素が、前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンの前記角部に対応する画素の位置に各々設けられ、かつ、前記位相差検出用画素が配置された前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
   請求項１〜５の何れか１項に記載のカラー撮像素子。
8. 前記位相差検出用画素が、前記基本配列パターンを構成する１組の前記第１の配列パターン及び前記第２の配列パターンの前記角部に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
   請求項１〜５の何れか１項に記載のカラー撮像素子。
9. 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、
   前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンのうち、前記水平方向に並ぶ１組の前記第１の配列パターン及び前記第２の配列パターンの四隅のうち前記水平方向の一方側の２つの角部に対応する前記画素の位置に配置された位相差検出用画素と、
   を備えたカラー撮像素子。
10. 前記位相差検出用画素が配置された前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
    請求項９記載のカラー撮像素子。
11. 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、
    前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンのうち、一つの前記第１の配列パターン又は前記第２の配列パターンの四隅に対応する前記画素の位置に配置された位相差検出用画素と、
    を備えたカラー撮像素子。
12. 前記位相差検出用画素には、当該画素の一部の領域を遮光し他の領域を透過する第１の遮光膜又は当該画素の一部を遮光し前記第１の遮光膜が透過する領域と対になる領域を透過する第２の遮光膜を含む遮光手段が設けられた
    請求項９〜１１の何れか１項に記載のカラー撮像素子。
13. 前記遮光手段における前記第１の遮光膜が画素の水平方向の左半分の領域を遮光するものであり、前記第２の遮光膜が画素の水平方向の右半分の領域を遮光するものである
    請求項１２記載のカラー撮像素子。
14. 前記第１の遮光膜が前記水平方向に沿って配置された配列ラインと、前記第２の遮光膜が前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
    請求項１２又は請求項１３記載のカラー撮像素子。
15. 前記第１の遮光膜及び前記第２の遮光膜の順に前記水平方向に交互に配置された配列ラインと、前記第２の遮光膜及び前記第１の遮光膜の順に前記水平方向に交互に配置された配列ラインと、が前記垂直方向に交互に配置された
    請求項１２又は請求項１３記載のカラー撮像素子。
16. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である
    請求項１〜１５の何れか１項に記載のカラー撮像素子。
17. 前記請求項１〜１６の何れか１項に記載のカラー撮像素子と、
    前記位相差検出用画素から位相差検出用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、
    前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、
    を備えた撮像装置。
18. 前記請求項７、８、１０の何れか１項に記載のカラー撮像素子と、
    前記位相差検出用画素から位相差検出用画素データを読み出すと共に前記位相差検出用画素以外の通常画素から動画作成用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、
    前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、
    前記動画作成用画素データに基づいて動画データを作成する作成手段と、
    を備えた撮像装置。
19. コンピュータを、請求項１７又は請求項１８記載の撮像装置を構成する各手段として機能させるための撮像プログラム。

Images