JPWO2012128154A1 - カラー撮像素子、撮像装置、及び撮像装置の制御プログラム - Google Patents
カラー撮像素子、撮像装置、及び撮像装置の制御プログラム Download PDFInfo
- Publication number
- JPWO2012128154A1 JPWO2012128154A1 JP2013505922A JP2013505922A JPWO2012128154A1 JP WO2012128154 A1 JPWO2012128154 A1 JP WO2012128154A1 JP 2013505922 A JP2013505922 A JP 2013505922A JP 2013505922 A JP2013505922 A JP 2013505922A JP WO2012128154 A1 JPWO2012128154 A1 JP WO2012128154A1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- pixels
- filter
- phase difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/024—Details of scanning heads ; Means for illuminating the original
- H04N1/02409—Focusing, i.e. adjusting the focus of the scanning head
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Focusing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
位相差AF制御の精度を向上させる。撮像素子は、第1のフィルタが3×3画素の正方配列の左上の2×2画素上及び右下の画素上に、第2のフィルタが正方配列の垂直方向における中央ラインの右端画素上及び下端ラインの左端画素上に、第3のフィルタが正方配列の垂直方向における上端ラインの右端画素上及び下端ラインの中央画素上に配置された第1の配列パターンと、第1の配列パターンと第1のフィルタの配置が同一で第2のフィルタの配置と第3のフィルタの配置とを入れ替えた第2の配列パターンと、が点対称で配置された基本配列パターンが繰り返し配置されたカラーフィルタ、基本配列パターンを構成する2つの第1の配列パターン及び2つの第2の配列パターンのうち、上側及び下側の少なくとも一方側の第1、第2の配列パターンの2×2画素のうち水平方向に隣接する2つの画素に対応する位置に配置された位相差検出用画素、を備える。
Description
本発明は、カラー撮像素子、撮像装置、及び撮像装置の制御プログラムに係り、特に、位相差検出用画素を含むカラー撮像素子、撮像装置、及び撮像装置の制御プログラムに関する。
デジタルカメラ等の撮像装置に搭載される固体撮像素子には、AF(オートフォーカス)性能を高めるために、固体撮像素子受光面上に形成される多数の画素のうちの一部画素を位相差検出用画素としたものがある(例えば特許文献1〜7参照)。
位相差検出用画素は、例えば下記の特許文献1〜7に記載されている様に、ペアとなる同色フィルタを搭載した近隣2画素で構成され、通常画素に設けられる遮光膜開口に比べて夫々小さな遮光膜開口が設けられる。そして更に、ペアを組む一方の位相差検出用画素に設ける遮光膜開口は、他方の位相差検出用画素から離れる方向(例えば左側)に偏心して設けられ、他方の位相差検出用画素の遮光膜開口は、反対方向(例えば右側)に偏心して設けられる。
撮像装置でAF動作を行うとき、固体撮像素子の位相差検出用画素から信号を読み出し、遮光膜開口が右側に偏心した画素の検出信号と左側に偏心した画素の検出信号とから焦点のずれ量を求め、撮影レンズの焦点位置を調整する。
このAF動作は、位相差検出用画素が多いほど精度が高くなるが、通常の被写体画像を本撮像する場合、位相差検出用画素は、遮光膜開口が狭く感度が低いため、通常画素と同じに取り扱えないという問題がある。
このため、全画素から信号を読み出して被写体画像を生成するときは、位相差検出用画素の検出信号を通常画素の感度と同程度に利得補正したり、あるいは、位相差検出用画素を欠陥画素として取り扱い、周りの通常画素の検出信号で補間演算補正したりする必要がある。
このAF動作は、位相差検出用画素が多いほど精度が高くなるが、通常の被写体画像を本撮像する場合、位相差検出用画素は、遮光膜開口が狭く感度が低いため、通常画素と同じに取り扱えないという問題があり、むやみに位相差検出用画素を多くすることはできない。そして、ペアを組む位相差検出用画素に隣接する通常画素の色が異なる場合、混色が発生し、AF精度が悪化する場合がある。
本発明は上記問題点を解決するためになされたものであり、位相差検出用画素によるAF精度を向上させることができるカラー撮像素子、撮像装置、及び撮像装置の制御プログラムを提供することを目的とする。
上記課題を解決するため、本発明のカラー撮像素子は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタが、3×3画素の正方配列の左上の2×2画素上及び右下の画素上に配置され、前記第1の色と異なる第2の色に対応する第2のフィルタが、前記正方配列の前記垂直方向における中央のラインの右端の画素上及び前記垂直方向における下端のラインの左端の画素上に配置され、前記第1の色及び前記第2の色と異なる第3の色に対応する第3のフィルタが、前記正方配列の前記垂直方向における上端のラインの右端の画素上及び前記垂直方向における下端のラインの中央の画素上に配置された第1の配列パターンと、前記第1の配列パターンと前記第1のフィルタの配置が同一で且つ前記第2のフィルタの配置と前記第3のフィルタの配置とを入れ替えた第2の配列パターンと、が点対称で配置された6×6画素の基本配列パターンが繰り返し配置されたカラーフィルタと、前記基本配列パターンを構成する2つの前記第1の配列パターン及び2つの前記第2の配列パターンのうち、上側及び下側の少なくとも一方側の前記第1の配列パターン及び前記第2の配列パターンの前記2×2画素のうち前記水平方向に隣接する2つの画素に対応する位置に配置された位相差検出用画素と、を備えたことを特徴とする。
この発明によれば、基本配列パターンを構成する2つの第1の配列パターン及び2つの第2の配列パターンのうち、上側及び下側の少なくとも一方側の第1の配列パターン及び第2の配列パターンの2×2画素のうち水平方向に隣接する2つの画素に対応する位置に配置された位相差検出用画素を備えた構成としたので、位相差検出用画素によるAF精度を向上させることができる。
なお、前記位相差検出用画素には、当該画素の一部の領域を遮光し他の領域を透過する第1の遮光膜又は当該画素の一部を遮光し前記第1の遮光膜が透過する領域と対になる領域を透過する第2の遮光膜を含む遮光手段が設けられた構成としてもよい。
また、前記遮光手段における前記第1の遮光膜が画素の水平方向の左半分の領域を遮光するものであり、前記第2の遮光膜が画素の水平方向の右半分の領域を遮光するものである構成としてもよい。
また、前記第1の遮光膜が設けられた第1の位相差検出用画素と、前記第2の遮光膜が設けられた第2の位相差検出用画素と、が前記水平方向に隣接して配置された構成としてもよい。
また、前記第1の色は、緑(G)色であり、前記第2の色は、赤(R)色及び青(B)色の一方の色であり、前記第3の色は、赤(R)色及び青(B)色の他方の色である構成としてもよい。
本発明の撮像装置は、前記カラー撮像素子と、前記位相差検出用画素から位相差検出用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、を備えたことを特徴とする。
本発明の撮像装置の制御プログラムは、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタが、3×3画素の正方配列の左上の2×2画素上及び右下の画素上に配置され、前記第1の色と異なる第2の色に対応する第2のフィルタが、前記正方配列の前記垂直方向における中央のラインの右端の画素上及び前記垂直方向における下端のラインの左端の画素上に配置され、前記第1の色及び前記第2の色と異なる第3の色に対応する第3のフィルタが、前記正方配列の前記垂直方向における上端のラインの右端の画素上及び前記垂直方向における下端のラインの中央の画素上に配置された第1の配列パターンと、前記第1の配列パターンと前記第1のフィルタの配置が同一で且つ前記第2のフィルタの配置と前記第3のフィルタの配置とを入れ替えた第2の配列パターンと、が点対称で配置された6×6画素の基本配列パターンが繰り返し配置されたカラーフィルタと、前記基本配列パターンを構成する2つの前記第1の配列パターン及び2つの前記第2の配列パターンのうち、上側及び下側の少なくとも一方側の前記第1の配列パターン及び前記第2の配列パターンの前記2×2画素のうち前記水平方向に隣接する2つの画素に対応する位置に配置された位相差検出用画素と、を備えたカラー撮像素子を備えた撮像装置を制御するコンピュータに、前記位相差検出用画素から位相差検出用画素データを読み出すように前記カラー撮像素子を駆動するステップと、前記位相差検出用画素データに基づいて焦点調整するステップと、を含む処理を実行させるための撮像装置の制御プログラムである。
本発明によれば、位相差検出用画素によるAF精度を向上させることができる、という効果を有する。
以下、図面を参照して本発明の実施形態について説明する。
(第1実施形態)
図1には、本実施形態に係る撮像装置10の概略ブロック図を示した。撮像装置10は、光学系12、撮像素子14、撮像処理部16、画像処理部20、駆動部22、及び制御部24を含んで構成されている。
光学系12は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。
撮像素子14は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。
図2には、本実施形態に係るカラーフィルタ30の一部を示した。なお、画素数は一例として(4896×3264)画素であり、アスペクト比は3:2であるが、画素数及びアスペクト比はこれに限られるものではない。同図に示すように、カラーフィルタ30は、輝度信号を得るために最も寄与するG(緑)に対応する第1のフィルタG(以下、Gフィルタと称する)が、3×3画素の正方配列の四隅及び中央の画素上に配置され、R(赤)に対応する第2のフィルタR(以下、Rフィルタと称する)が、正方配列の水平方向における中央のラインに配置され、B(青)に対応する第3のフィルタB(以下、Bフィルタと称する)が、正方配列の垂直方向における中央のラインに配置された第1の配列パターンA1と、第1の基本配列パターンA1とGフィルタの配置が同一で且つRフィルタの配置とBフィルタの配置とを入れ替えた第2の配列パターンB1と、が点対称で配置された6×6画素の基本配列パターンC1が繰り返し配置されたカラーフィルタである。
すなわち、カラーフィルタ30は、下記の特徴(1)、(2)、(3)、(4)、及び(5)を有している。
〔特徴(1)〕
図2に示すカラーフィルタ30は、6×6画素に対応する正方配列パターンからなる基本配列パターンCを含み、この基本配列パターンC1が水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
このようにRフィルタ、Gフィルタ、Bフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるR、G、B信号の同時化(補間)処理(デモザイク処理とも言う。)等を行う際に、繰り返しパターにしたがって処理を行うことができる。
また、基本配列パターンPの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
〔特徴(2)〕
図2に示すカラーフィルタ30は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されている。
輝度系画素に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
〔特徴(3)〕
図2に示すカラーフィルタ30は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
Rフィルタ、Bフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ(偽色)の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
図2に示すように基本配列パターンC1は、破線の枠で囲んだ3×3画素の第1の配列パターンA1と、一点鎖線の枠で囲んだ3×3画素の第2の配列パターンB1とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
第1の配列パターンA1及び第2の配列パターンB1は、それぞれ輝度系画素であるGフィルタが4隅と中央に配置され、両対角線上に配置されている。また、第1の配列パターンAは、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列され、一方、第2の配列パターンBは、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列されている。即ち、第1の配列パターンA1と第2の配列パターンB1とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
また、第1の配列パターンA1と第2の配列パターンB1の4隅のGフィルタは、図13に示すように第1の配列パターンA1と第2の配列パターンB1とが水平、垂直方向に交互に配置されることにより、2×2画素に対応する正方配列のGフィルタとなる。
〔特徴(4)〕
図2に示すカラーフィルタ30は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。
図13に示すように、Gフィルタからなる2×2画素を取り出し、水平方向のG画素の画素値の差分絶対値、垂直方向のG画素の画素値の差分絶対値、斜め方向(右上斜め、左上斜め)のG画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
即ち、このカラーフィルタ配列によれば、最小画素間隔のG画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理(同時化処理)に使用することができる。
〔特徴(5)〕
図2に示すカラーフィルタ30の基本配列パターンC1は、その基本配列パターンCの中心(4つのGフィルタの中心)に対して点対称になっている。また、図2に示したように、基本配列パターンC内の第1の配列パターンA1及び第2の配列パターンB1も、それぞれ中心のGフィルタに対して点対称になっている。
このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。
図14に示すように基本配列パターンC1において、水平方向の第1から第6のラインのうちの第1及び第3のラインのカラーフィルタ配列は、GRGGBGであり、第2のラインのカラーフィルタ配列は、BGBRGRであり、第4及び第6のラインのカラーフィルタ配列は、GBGGRGであり、第5のラインのカラーフィルタ配列は、RGRBGBとなっている。
いま、図14において、基本配列パターンCを水平方向、及び垂直方向にそれぞれ1画素ずつシフトした基本配列パターンをC’、それぞれ2画素ずつシフトした基本配列パターンをC1”とすると、これらの基本配列パターンC1’、C1”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図14に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。本実施形態では、基本配列パターンが点対称になっている基本配列パターンCを、便宜上、基本配列パターンという。
なお、図2に示すように、カラーフィルタ30は、Gフィルタが、3×3画素の正方配列の左上の2×2画素上及び右下の画素上に配置され、Rフィルタが、正方配列の垂直方向における中央のラインの右端の画素上及び垂直方向における下端のラインの中央の画素上に配置され、Bフィルタが、正方配列の前記垂直方向における上端のラインの右端の画素上及び垂直方向における下端のラインの中央の画素上に配置された第1の配列パターンAと、第1の配列パターンAとGフィルタの配置が同一で且つRフィルタの配置とBフィルタの配置とを入れ替えた第2の配列パターンBと、が点対称で配置された6×6画素の基本配列パターンCが繰り返し配置されたカラーフィルタとも言える。以下の説明では、カラーフィルタ30は、基本配列パターンCが繰り返し配置されたものとして説明する。
撮像装置10は、所謂位相差方式のAF制御を行うため、撮像素子14は、位相差検出用画素が予め定めたパターンで配置されている。この位相差検出用画素上には、図3に示すように、水平方向の左半分の画素を遮光する遮光膜40A及び水平方向の右半分の画素を遮光する遮光膜40Bを含む遮光部40が形成されている。位相差AF制御では、遮光膜40Aが設けられた位相差検出用画素の画素データと遮光膜40Bが設けられた位相差検出用画素の画素データとに基づいて位相のずれ量を検出し、これに基づいて撮影レンズの焦点位置を調整する。
この遮光部40は、本実施形態では、図3に示すように、基本配列パターンCを構成する全ての第1の配列パターンA及び第2の配列パターンBの左上の2×2画素のうち一方の対角上の2つの位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンCに対して配置されている。なお、図3では、全ての基本配列パターンCに遮光部40が設けられているが、これに限らず、撮像素子の一部の所定の領域内の基本配列パターンCにのみ設けるようにしてもよい。これは以下の実施形態でも同様である。
このように、本実施形態に係るカラーフィルタ30は、遮光部40を構成する遮光膜40A、40Bが図3において左斜め方向に隣接しており、かつ、全ての位相差検出用画素に設けられているため、位相差AF制御の精度を向上させることができる。
また、水平方向に隣接する画素においては、隣の画素からの光が漏れ込むことで混色が発生する場合がある。これに対し、本実施形態においては、図3に示すように、遮光膜40Aが設けられた位相差検出用画素の遮光膜40Aが設けられた側に水平方向に隣接する画素と、遮光膜40Aとペアとなる遮光膜40Bが設けられた位相差検出用画素の遮光膜40Bが設けられた側に水平方向に隣接する画素と、が共にR画素又はB画素で同一となっている。このため、混色の影響を相殺することができ、遮光膜40Aが設けられた位相差検出用画素の遮光膜40Aが設けられた側に水平方向に隣接する画素と、遮光膜40Aとペアとなる遮光膜40Bが設けられた位相差検出用画素の遮光膜40Bが設けられた側に水平方向に隣接する画素と、が同一でない場合と比較して、画質を向上させることができる。
撮像処理部16は、撮像素子14から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、A/D変換処理等の予め定めた処理を施し、画素データとして画像処理部20に出力する。
画像処理部20は、撮像処理部16から出力された画素データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間して、全画素のR,G,Bの画素データを生成する。そして、生成したR,G,Bの画素データに対して所謂YC変換処理を施し、輝度データY、色差データCr、Cbを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。
駆動部22は、制御部24からの指示に応じて撮像素子14からの撮像信号の読み出し駆動等を行う。
制御部24は、撮影モード等に応じて駆動部22及び画像処理部20等を統括制御する。詳細は後述するが、制御部24は、駆動部22に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部20に対して、撮影モードに応じた画像処理を行うよう指示したりする。
撮影モードによっては、撮像素子14からの撮像信号を間引いて読み出す必要があるため、制御部24は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部22に指示する。
撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のHD(高精細)動画データを生成して図示しないメモリーカード等の記録媒体に記録するHD動画モード、撮影した画像を間引いて比較的低解像度のスルー動画を図示しない表示部に出力するスルー動画モード(ライブビューモード)等の動画モードがある。
次に、本実施形態の作用として、制御部24で実行される処理について、図4に示すフローチャートを参照して説明する。
なお、図4に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。
まず、ステップ100では、撮影モードに応じた間引き方法で画素データを読み出すように駆動部22に指示する。
例えば、HD動画モードやスルー動画モード等の動画モードの場合、位相差AF制御しながら、動画データを生成するので、遮光膜40A及び遮光膜40Bが設けられた少なくとも一部の位相差検出用画素、すなわち、図3では垂直方向における(6n+1)番目、(6n+3)番目、(6n+4番目)、(6n+6)番目(n=0,1,2,・・・)のラインのうち遮光膜40A及び遮光膜40Bを含む少なくとも一部のラインを読み出して、そのラインの画素データに基づいて位相差AF制御を行うと共に、それ以外の(6n+2番目)、(6n+5)番目ライン、すなわち通常画素のラインの少なくとも一部のラインを読み出して、動画データを作成する。この動画データを作成する際、位相差検出用画素については、その周囲の通常画素の画素データから補間する。
図3に示すように、本実施形態では、遮光部40を構成する遮光膜40A、40Bが同図において左斜め方向に隣接しており、かつ、全ての位相差検出用画素に設けられているため、位相差AF制御の精度を向上させることができる。
遮光膜40Aが設けられた位相差検出用画素の遮光膜40Aが設けられた側に水平方向に隣接する画素と、遮光膜40Aとペアとなる遮光膜40Bが設けられた位相差検出用画素の遮光膜40Bが設けられた側に水平方向に隣接する画素と、が共にR画素又はB画素で同一となっているため、混色の影響を相殺することができ、撮影画像の画質を向上させることができる。
ステップ102では、撮影モードに応じた画像処理(同時化処理及びYC変換処理)及びリサイズ処理を実行するよう画像処理部20に指示する。
なお、制御部24は、CPU、ROM、RAM、不揮発性ROM等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ROMに記憶しておき、これをCPUが読み込んで実行することができる。
また、本実施形態では、図3、図5Aに示すように、遮光膜40Aが水平方向に沿って配置された配列ラインと、遮光膜40Bが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置された場合について説明したが、図5Bに示すように、遮光膜40A及び遮光膜40Bの順に水平方向に交互に配置された配列ラインと、遮光膜40B及び遮光膜40Aの順に水平方向に交互に配置された配列ラインと、が垂直方向に交互に配置された構成としてもよい。なお、図5では、位相差検出用画素のみ示している。同図Bに示す配置の場合、遮光膜40A及び遮光膜40Bともに斜めに配置されることになるため、例えば斜め線を含む被写体を撮影した場合に、精度よくピントを合わせることが可能となる。これは、以下の実施形態でも同様である。
(第2実施形態)
次に、本発明の第2実施形態について説明する。なお、第1実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。
図6には、本実施形態に係る遮光膜40A、40Bの配置を示した。本実施形態が第1実施形態と異なる点は、遮光膜40A、40Bの配置である。
図6に示すように、本実施形態では、遮光部40が、基本配列パターンCを構成する2つの第1の配列パターンA及び2つの第2の配列パターンBのうち、上側の第1の配列パターンA及び第2の配列パターンBの位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンCに対して配置されている。すなわち、図6の例では、垂直方向において(6n+3)番目のラインに遮光膜40Aが配置され、(6n+4)番目のラインに遮光膜40Bが配置されている。
この場合、制御部24は、撮影モードが動画モードの場合、遮光膜40A、40Bが配置されたラインの位相差検出用画素の画素データを読み出して位相差AF制御すると共に、遮光膜40A、40Bが配置されていない通常画素、すなわち(6n+1)番目、(6n+2)番目、(6n+5)番目、(6n+6)番目のラインの画素データを読み出して動画データを作成する。
このように、本実施形態では、位相差検出用画素の画素データは位相差AF制御にのみ使用し、動画データの作成には使用しないので、周囲の画素から補間する必要がない。また、動画データは、通常画素の画素データから作成する。このため、位相差検出用画素を動画データの作成に基いる場合と比較して、位相差AF制御の処理速度を向上させることができる。また、補間して動画データを作成する場合と比較して、動画データ作成の処理速度を向上させることができる。
(第3実施形態)
次に、本発明の第3実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。
図7には、本実施形態に係る遮光膜40A、40Bの配置を示した。本実施形態が第1実施形態と異なる点は、遮光膜40A、40Bの配置である。間引き駆動については第2実施形態と同様である。
図7に示すように、本実施形態では、遮光部40が、基本配列パターンCを構成する2つの第1の配列パターンA及び2つの第2の配列パターンBのうち、左上の第1の配列パターンAの左上の2×2画素のうち一方の対角上の2つの位相差検出用画素上に設けられ、かつ、全ての基本配列パターンCに対して配置されている。すなわち、図7の例では、垂直方向において(6n+3)番目、(6n+4)番目のラインと、水平方向において(6m+3)番目(m=0,1,2,・・・)、(6m+4)番目のラインと、が交差する位置の位相差検出用画素上に遮光膜40A、40Bが配置されている。
このため、第2実施形態と比較すると、位相差検出用画素の周囲に通常画素が増えるため、補間精度を向上させることができ、画質を向上させることができる。
また、遮光膜40Aが設けられた位相差検出用画素の遮光膜40Aが設けられた側に水平方向に隣接する画素と、遮光膜40Bが設けられた位相差検出用画素の遮光膜40Bが設けられた側に水平方向に隣接する画素と、が共にR画素で同一となっている。特に、Rの波長は隣接する画素に届きやすいため、混色をより効果的に防ぐことができ、画質を向上させることができる。
(第4実施形態)
次に、本発明の第4実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。
図8には、本実施形態に係る遮光膜40A、40Bの配置を示した。本実施形態が第1実施形態と異なる点は、遮光膜40A、40Bの配置である。間引き駆動については第2実施形態と同様である。
図8に示すように、本実施形態では、2つの第1の配列パターンA及び2つの第2の配列パターンBのうち、左上の第1の配列パターンAの左上の2×2画素のうち一方の対角上の2つの位相差検出用画素上に遮光部40が設けられた基本配列パターンが水平方向に沿って配置された配列ラインと、2つの第1の配列パターンA及び2つの第2の配列パターンBのうち、右上の第2の配列パターンBの左上の2×2画素のうち一方の対角上の2つの位相差検出用画素上に遮光部40が設けられた基本配列パターンCが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。すなわち、図8の例では、垂直方向において(6n+3)番目、(6n+4)番目のラインと、水平方向において(6m+1)番目、(6m+3)番目、(6m+4)番目、(6m+6)番目のラインと、が交差する位置の位相差検出用画素上に遮光膜40A、40Bが配置されている。
このため、第3実施形態と比較すると、水平方向において(6m+1)番目、(6m+6)番目のラインの位相差検出用画素上にも遮光膜40A、40Bが配置される。すなわち、水平方向にまんべんなく位相差検出用画素が配置されるため、例えば縦線が多い高周波画像に対して位相差AF制御の精度を向上させることができる。
(第5実施形態)
次に、本発明の第5実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。
図9には、本実施形態に係る遮光膜40A、40Bの配置を示した。本実施形態が第1実施形態と異なる点は、遮光膜40A、40Bの配置である。
図9に示すように、本実施形態では、遮光部40が、基本配列パターンを構成する2つの第1の配列パターン及び2つの第2の配列パターンの左上の2×2画素のうち左側の2つの位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンCに対して配置されている。
位相差AF制御を行う場合、位相差検出用画素が隣接していたり、位相差検出用画素が垂直方向に配置されていたりする方がAF制御の精度が良い。
これに対し、本実施形態では、図9に示すように、垂直方向に隣接してペアとなる遮光膜40A、40Bが配置されている。このため、位相差AF制御の精度を向上させることができる。
(第6実施形態)
次に、本発明の第6実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。
図10には、本実施形態に係る遮光膜40A、40Bの配置を示した。本実施形態が第1実施形態と異なる点は、遮光膜40A、40Bの配置である。
図10に示すように、本実施形態では、遮光部40が、基本配列パターンを構成する2つの第1の配列パターン及び2つの第2の配列パターンの左上の2×2画素のうち上側の2つの位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンCに対して配置されている。
このように、本実施形態では、図10に示すように、水平方向に隣接してペアとなる遮光膜40A、40Bが配置されている。このため、第5実施形態と比較して、位相差検出用画素を含む垂直方向のライン数が半分となり、位相差検出用画素を含むラインの読み出し時間を半分にすることができる。
(第7実施形態)
次に、本発明の第7実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。
図11には、本実施形態に係る遮光膜40A、40Bの配置を示した。本実施形態が第1実施形態と異なる点は、遮光膜40A、40Bの配置である。
図11に示すように、本実施形態では、遮光部40Aが、基本配列パターンを構成する2つの第1の配列パターン及び2つの第2の配列パターンBのうち上側の第1の配列パターンA及び第2の配列パターンBの左上の2×2画素のうち左側の2つの位相差検出用画素上に各々設けられ、遮光部40Bが、基本配列パターンを構成する2つの第1の配列パターン及び2つの第2の配列パターンBのうち下側の第1の配列パターンA及び第2の配列パターンBの左上の2×2画素のうち左側の2つの位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンCに対して遮光膜40A、40Bが配置されている。
この場合、遮光膜40Aに隣接する画素は、G画素となり、遮光膜40Bに隣接する画素は、R画素又はB画素となり、規則的な配置となる。これにより、混色の影響を相殺することができ、位相差AF制御の精度を向上させることができる。
なお、上記各実施形態では、RGBの3原色のカラーフィルタのカラーフィルタ配列について説明したが、カラーフィルタの種類は、これに限定されるものではない。
また、上記各実施形態では、位相差検出用画素に、水平方向の左半分の画素を遮光する遮光膜40A又は水平方向の右半分の画素を遮光する遮光膜40Bが設けられた構成について説明したが、遮光する領域はこれに限られるものではなく、遮光膜40Aが位相差検出用画素の一部の領域を遮光し他の領域を透過するものであり、遮光膜40Bが位相差検出用画素の一部を遮光し遮光膜40Aが透過する領域と対になる領域を透過するものであればよい。
また、上記各実施形態では、位相差検出用画素に遮光膜が設けられた構成について説明したが、これに限らず、例えば特願2009−227338号に記載されたような構成とすることにより、位相差検出用画素を形成してもよい。すなわち、撮像素子を、トップマイクロレンズ、インナーマイクロレンズ、及び同一形状の受光素子で構成し、撮影レンズ瞳の全域を通る光線を受光する第1の画素D1、撮影レンズ瞳の半分の領域の一部を通る光線のみを受光する第2の画素D2、撮影レンズ瞳の半分の領域の一部で第2の画素D2とは異なる領域を通る光線のみを受光する第3の画素D3を含んで構成する。そして、図12に示すように、第2の画素D2、第3の画素D3については、第1の画素D1のトップマイクロレンズL1よりも直径が小さいトップマイクロレンズL2、L3を、インナーマイクロレンズの光軸に対して各々異なる方向にシフトして各々配置する。また、トップマイクロレンズと受光素子とはシフトして配置する。これにより、第2の画素D2、第3のD3を位相差検出用画素として形成することができる。このような構成においても、本発明は適用可能である。さらに、撮像素子の構成によってはインナーレンズを設けない形態でも良い。また、位相差画素の構成としては上記構成に限られず、瞳分割できるものであれば代替可能である。
(第8実施形態)
次に、本発明の第8実施形態について説明する。
位相差検出用画素は、通常画素と比較して感度が低い等、その特性が異なるため、位相差検出用画素の画素データを静止画像や動画像の画像データとして用いる場合、位相差検出用画素の画素データは補正する必要がある。そこで、本実施形態では、位相差検出用画素の画素データの補正方法について説明する。
補正方法としては、平均値補正及びゲイン補正の2種類の方法が知られており、何れを用いてもよい。平均値補正は、位相差検出用画素の周囲の通常画素の画素値を平均し、これを位相差検出用画素の画素データとする方法である。一方、ゲイン補正は、位相差検出用画素の画素データに、通常画素と位相差検出用画素とのレベル差に相当する所定のゲインを乗じることにより、位相差検出用画素の画素データを引き上げる方法である。
以下、位相差検出用画素の画素データを平均値補正で補正する場合について具体的に説明する。
図15には、基本配列パターンCの中央の2×2のG画素を中心とした4×4画素内のG画素の配置を示した。同図においては、中心の2×2のG画素を左上から時計回りにそれぞれG1、G2、G3、G4とし、その周囲のG画素を左上から時計回りにそれぞれG5、G6、G7、G8としている。
位相差検出用画素が図3、6〜8に示すように配置されている場合、図15においてG1、G3画素が位相差検出用画素となる。
また、位相差検出用画素が図9、11に示すように配置されている場合、図15においてG1、G4画素が位相差検出用画素となる。
また、位相差検出用画素が図10に示すように配置されている場合、図15においてG1、G2画素が位相差検出用画素となる。
位相差検出用画素が図3、6〜8に示すように配置されている場合において、位相差検出用画素であるG1画素の画素データを画像データとして用いる場合には、その周囲の通常画素、例えばG2、G4、G5の各画素の画素データの平均値をG1画素の画素データとする。
また、位相差検出用画素が図3、6〜8に示すように配置されている場合において、位相差検出用画素であるG3画素の画素データを画像データとして用いる場合には、その周囲の通常画素、例えばG2、G4、G7の各画素の画素データの平均値をG3画素の画素データとする。
また、位相差検出用画素が図9、11に示すように配置されている場合において、位相差検出用画素であるG1画素の画素データを画像データとして用いる場合には、その周囲の通常画素、例えばG2、G3、G5の各画素の画素データの平均値をG1画素の画素データとする。
また、位相差検出用画素が図9、11に示すように配置されている場合において、位相差検出用画素であるG4画素の画素データを画像データとして用いる場合には、その周囲の通常画素、例えばG2、G3、G8の各画素の画素データの平均値をG4画素の画素データとする。
また、位相差検出用画素が図10に示すように配置されている場合において、位相差検出用画素であるG1画素の画素データを画像データとして用いる場合には、その周囲の通常画素、例えばG3、G4、G5の各画素の画素データの平均値をG1画素の画素データとする。
また、位相差検出用画素が図10に示すように配置されている場合において、位相差検出用画素であるG2画素の画素データを画像データとして用いる場合には、その周囲の通常画素、例えばG3、G4、G6の各画素の画素データの平均値をG2画素の画素データとする。
以上のようにして、位相差検出用画素の画素データを、周囲の通常画素の画素データに基づいて平均値補正する。
なお、撮影画像の内容によっては、ゲイン補正及び平均値補正の何れを行う方が良好な画像が得られるかが異なる場合がある。従って、撮影画像の内容に応じてゲイン補正と平均値補正とを使い分けるようにしてもよい。
(第9実施形態)
次に、本発明の第9実施形態について説明する。なお、第1実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。
図16には、本実施形態に係る遮光膜40A、40Bの配置を示した。本実施形態が第1実施形態と異なる点は、遮光膜40A、40Bの配置である。
図16に示すように、本実施形態では、基本配列パターンCを構成する2つの第1の配列パターンA及び2つの第2の配列パターンBのうち、上側及び下側の少なくとも一方側の第1の配列パターンA(図16では上側の第1の配列パターンA)及び第2の配列パターンB(図16では上側の第2の配列パターンB)の2×2画素のうち水平方向に隣接する2つの画素に対応する位置に遮光膜40A及び遮光膜40Bが配置されている。
なお、図16では、基本配列パターンCを構成する2つの第1の配列パターンA及び2つの第2の配列パターンBのうち、上側の第1の配列パターンA及び第2の配列パターンBに遮光膜40A及び遮光膜40Bが配置された場合を示したが、基本配列パターンCを構成する2つの第1の配列パターンA及び2つの第2の配列パターンBのうち、下側の第1の配列パターンA及び第2の配列パターンBに遮光膜40A及び遮光膜40Bを配置した構成としてもよい。
また、基本配列パターンCを構成する2つの第1の配列パターンA及び2つの第2の配列パターンBのうち、上側の第1の配列パターンA及び第2の配列パターンB、すなわち、垂直方向において6〜11ライン目の基本配列パターンCにおける6〜8ライン目の第1の配列パターンA及び第2の配列パターンBでは、2×2画素のうち下側の水平方向に隣接する2画素に遮光膜40A及び遮光膜40Bが配置されている。
また、基本配列パターンCを構成する2つの第1の配列パターンA及び2つの第2の配列パターンBのうち、下側の第1の配列パターンA及び第2の配列パターンB、すなわち、垂直方向において12〜17ライン目の基本配列パターンCにおける15〜17ライン目の第1の配列パターンA及び第2の配列パターンBでは、2×2画素のうち上側の水平方向に隣接する2画素に遮光膜40A及び遮光膜40Bが配置されている。
すなわち、図16の例では、垂直方向において(12n+3)番目(n=0,1,2,・・・)のライン及び(12n+7)番目のラインの水平方向に隣接する2つのG画素上に遮光膜40A及び遮光膜Bが配置されている。
この場合、制御部24は、撮影モードが動画モードの場合、遮光膜40A、40Bが配置されたラインを除き、遮光膜40A、40Bが配置されていない通常画素、例えば(2n+2)番目のラインの画素データを読み出して動画データを作成する。すなわち、垂直方向における偶数番目のラインのライン画像データを読み出して動画データを作成する。
このように、本実施形態では、遮光膜40A及び遮光膜40Bともに、垂直方向における奇数番目のラインに配置されているため、垂直方向における偶数番目のラインのライン画像データを読み出して動画データを作成することができる。
また、図16に示すように、遮光膜40A又は遮光膜40Bは、2×2のG画素のうち水平方向に隣接する2つのG画素上に配置されており、周囲に同じ色の通常画素であるG画素が多く配置されているため、静止画撮影モードなどで、位相差検出用画素の画素データも用いて画像データを生成する場合は、通常画素の画素データから位相差検出用画素の画素データを補間する場合における補間精度を向上させることができる。
また、ペアとなる遮光膜40A及び遮光膜40Bが水平方向に隣接して配置されているため、位相差検出用画素によるAF精度を向上させることができる。
さらに、撮像素子をCMOSイメージセンサで構成した場合、所謂ローリングシャッタ方式で各ラインのライン画像データを垂直方向に順次読み出すので、各ラインの露光タイミングがずれるが、本実施形態では、ペアとなる遮光膜40A及び遮光膜40Bが水平方向に隣接して配置しているため、ペアとなる遮光膜40A及び遮光膜40Bが設けられた画素の露光タイミングがずれることはない。これにより、位相差検出用画素によるAF精度をさらに向上させることができる。なお、ローリングシャッタ方式とは、MOS型の撮像素子において、1画面内の全画素に対して一斉にリセットを行わずに、走査ラインや画素毎に順次リセットを行い露光を開始する方式である(フォーカルプレーンシャッター方式とも言われる)。
なお、本実施形態では、ペアとなる遮光膜40A及び遮光膜40Bが水平方向に隣接して配置された構成について説明したが、これに限らず、図17に示すように、垂直方向に並ぶように配置するようにしてもよい。
また、本実施形態では、垂直方向において(12n+3)番目(n=0,1,2,・・・)のラインに遮光膜40Aが配置され、(12n+7)番目のラインに遮光膜40Bが配置された場合について説明したが、これに限られるものではない。
例えば、図18に示したように、垂直方向において(12n+3)番目のラインに遮光膜40Aが配置され、(12n+6)番目のラインに遮光膜40Bが配置された構成としてもよい。
また、図19に示したように、垂直方向において(12n+4)番目のラインに遮光膜40Aが配置され、(12n+7)番目のラインに遮光膜40Bが配置された構成としてもよい。
また、図20に示したように、垂直方向において(12n+4)番目(n=0,1,2,・・・)のラインに遮光膜40Aが配置され、(12n+6)番目のラインに遮光膜40Bが配置された構成としてもよい。
なお、図20の場合、遮光膜40A及び遮光膜40Bともに、垂直方向における偶数番目のラインに配置されているため、垂直方向における奇数番目のラインのライン画像データを読み出して動画データを作成する。
また、図16〜20の例では、基本配列パターンCの単位で見た場合、基本配列パターンCを構成する2つの第1の配列パターンA及び2つの第2の配列パターンBのうち、上側の第1の配列パターンA及び第2の配列パターンBに遮光膜40A及び遮光膜40Bが設けられた基本配列パターンCと、下側の第1の配列パターンA及び第2の配列パターンBに遮光膜40A及び遮光膜40Bが設けられた基本配列パターンCと、が交互に繰り返された構成となっているが、これに限られるものではない。
例えば、基本配列パターンCを構成する2つの第1の配列パターンA及び2つの第2の配列パターンBのうち、上側の第1の配列パターンA及び第2の配列パターンBのみに遮光膜40A及び遮光膜40Bが設けられていても良いし、下側の第1の配列パターンA及び第2の配列パターンBのみに遮光膜40A及び遮光膜40Bが設けられていても良いし、上側及び下側の第1の配列パターンA及び第2の配列パターンBの両方に遮光膜40A及び遮光膜40Bが設けられていても良い。
また、図16〜20の例では、基本配列パターンCの単位で見た場合に、全ての基本配列パターンCに遮光膜40A及び遮光膜40Bが配置された構成としているが、垂直方向において、遮光膜40A及び遮光膜40Bが配置されない基本配列パターンCが存在していてもよい。すなわち、基本配列パターンCの単位で垂直方向における遮光膜40A及び遮光膜40Bの配置を間引いても良い。さらに、基本配列パターンCの単位で水平方向における遮光膜40A及び遮光膜40Bの配置を間引いても良い。
10 撮像装置
12 光学系
14 撮像素子
16 撮像処理部
20 画像処理部
22 駆動部
24 制御部
30 カラーフィルタ
12 光学系
14 撮像素子
16 撮像処理部
20 画像処理部
22 駆動部
24 制御部
30 カラーフィルタ
図2には、本実施形態に係るカラーフィルタ30の一部を示した。なお、画素数は一例として(4896×3264)画素であり、アスペクト比は3:2であるが、画素数及びアスペクト比はこれに限られるものではない。同図に示すように、カラーフィルタ30は、輝度信号を得るために最も寄与するG(緑)に対応する第1のフィルタG(以下、Gフィルタと称する)が、3×3画素の正方配列の四隅及び中央の画素上に配置され、R(赤)に対応する第2のフィルタR(以下、Rフィルタと称する)が、正方配列の水平方向における中央のラインに配置され、B(青)に対応する第3のフィルタB(以下、Bフィルタと称する)が、正方配列の垂直方向における中央のラインに配置された第1の配列パターンA1と、第1の配列パターンA1とGフィルタの配置が同一で且つRフィルタの配置とBフィルタの配置とを入れ替えた第2の配列パターンB1と、が点対称で配置された6×6画素の基本配列パターンC1が繰り返し配置されたカラーフィルタである。
図2に示すカラーフィルタ30は、6×6画素に対応する正方配列パターンからなる基本配列パターンC1を含み、この基本配列パターンC1が水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
また、基本配列パターンCの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
第1の配列パターンA1及び第2の配列パターンB1は、それぞれ輝度系画素であるGフィルタが4隅と中央に配置され、両対角線上に配置されている。また、第1の配列パターンA1は、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列され、一方、第2の配列パターンB1は、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列されている。即ち、第1の配列パターンA1と第2の配列パターンB1とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
図2に示すカラーフィルタ30の基本配列パターンC1は、その基本配列パターンC1の中心(4つのGフィルタの中心)に対して点対称になっている。また、図2に示したように、基本配列パターンC内の第1の配列パターンA1及び第2の配列パターンB1も、それぞれ中心のGフィルタに対して点対称になっている。
いま、図14において、基本配列パターンC1を水平方向、及び垂直方向にそれぞれ1画素ずつシフトした基本配列パターンをC1’、それぞれ2画素ずつシフトした基本配列パターンをC1”とすると、これらの基本配列パターンC1’、C1”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
なお、図2に示すように、カラーフィルタ30は、Gフィルタが、3×3画素の正方配列の左上の2×2画素上及び右下の画素上に配置され、Rフィルタが、正方配列の垂直方向における中央のラインの右端の画素上及び垂直方向における下端のラインの左端の画素上に配置され、Bフィルタが、正方配列の前記垂直方向における上端のラインの右端の画素上及び垂直方向における下端のラインの中央の画素上に配置された第1の配列パターンAと、第1の配列パターンAとGフィルタの配置が同一で且つRフィルタの配置とBフィルタの配置とを入れ替えた第2の配列パターンBと、が点対称で配置された6×6画素の基本配列パターンCが繰り返し配置されたカラーフィルタとも言える。以下の説明では、カラーフィルタ30は、基本配列パターンCが繰り返し配置されたものとして説明する。
図9に示すように、本実施形態では、遮光部40が、基本配列パターンCを構成する2つの第1の配列パターンA及び2つの第2の配列パターンBの左上の2×2画素のうち左側の2つの位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンCに対して配置されている。
図10に示すように、本実施形態では、遮光部40が、基本配列パターンCを構成する2つの第1の配列パターンA及び2つの第2の配列パターンBの左上の2×2画素のうち上側の2つの位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンCに対して配置されている。
また、上記各実施形態では、位相差検出用画素に遮光膜が設けられた構成について説明したが、これに限らず、例えば特願2009−227338号に記載されたような構成とすることにより、位相差検出用画素を形成してもよい。すなわち、撮像素子を、トップマイクロレンズ、インナーマイクロレンズ、及び同一形状の受光素子で構成し、撮影レンズ瞳の全域を通る光線を受光する第1の画素D1、撮影レンズ瞳の半分の領域の一部を通る光線のみを受光する第2の画素D2、撮影レンズ瞳の半分の領域の一部で第2の画素D2とは異なる領域を通る光線のみを受光する第3の画素D3を含んで構成する。そして、図12に示すように、第2の画素D2、第3の画素D3については、第1の画素D1のトップマイクロレンズL1よりも直径が小さいトップマイクロレンズL2、L3を、インナーマイクロレンズの光軸に対して各々異なる方向にシフトして各々配置する。また、トップマイクロレンズと受光素子とはシフトして配置する。これにより、第2の画素D2、第3の画素D3を位相差検出用画素として形成することができる。このような構成においても、本発明は適用可能である。さらに、撮像素子の構成によってはインナーレンズを設けない形態でも良い。また、位相差画素の構成としては上記構成に限られず、瞳分割できるものであれば代替可能である。
図15には、基本配列パターンC1の中央の2×2のG画素を中心とした4×4画素内のG画素の配置を示した。同図においては、中心の2×2のG画素を左上から時計回りにそれぞれG1、G2、G3、G4とし、その周囲のG画素を左上から時計回りにそれぞれG5、G6、G7、G8としている。
Claims (7)
- 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタが、3×3画素の正方配列の左上の2×2画素上及び右下の画素上に配置され、前記第1の色と異なる第2の色に対応する第2のフィルタが、前記正方配列の前記垂直方向における中央のラインの右端の画素上及び前記垂直方向における下端のラインの左端の画素上に配置され、前記第1の色及び前記第2の色と異なる第3の色に対応する第3のフィルタが、前記正方配列の前記垂直方向における上端のラインの右端の画素上及び前記垂直方向における下端のラインの中央の画素上に配置された第1の配列パターンと、前記第1の配列パターンと前記第1のフィルタの配置が同一で且つ前記第2のフィルタの配置と前記第3のフィルタの配置とを入れ替えた第2の配列パターンと、が点対称で配置された6×6画素の基本配列パターンが繰り返し配置されたカラーフィルタと、
前記基本配列パターンを構成する2つの前記第1の配列パターン及び2つの前記第2の配列パターンのうち、上側及び下側の少なくとも一方側の前記第1の配列パターン及び前記第2の配列パターンの前記2×2画素のうち前記水平方向に隣接する2つの画素に対応する位置に配置された位相差検出用画素と、
を備えたカラー撮像素子。 - 前記位相差検出用画素には、当該画素の一部の領域を遮光し他の領域を透過する第1の遮光膜又は当該画素の一部を遮光し前記第1の遮光膜が透過する領域と対になる領域を透過する第2の遮光膜を含む遮光手段が設けられた
請求項1記載のカラー撮像素子。 - 前記遮光手段における前記第1の遮光膜が画素の水平方向の左半分の領域を遮光するものであり、前記第2の遮光膜が画素の水平方向の右半分の領域を遮光するものである
請求項2記載のカラー撮像素子。 - 前記第1の遮光膜が設けられた第1の位相差検出用画素と、前記第2の遮光膜が設けられた第2の位相差検出用画素と、が前記水平方向に隣接して配置された
請求項2又は請求項3記載のカラー撮像素子。 - 前記第1の色は、緑(G)色であり、前記第2の色は、赤(R)色及び青(B)色の一方の色であり、前記第3の色は、赤(R)色及び青(B)色の他方の色である
請求項1〜3の何れか1項に記載のカラー撮像素子。 - 前記請求項1〜5の何れか1項に記載のカラー撮像素子と、
前記位相差検出用画素から位相差検出用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、
前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、
を備えた撮像装置。 - 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタが、3×3画素の正方配列の左上の2×2画素上及び右下の画素上に配置され、前記第1の色と異なる第2の色に対応する第2のフィルタが、前記正方配列の前記垂直方向における中央のラインの右端の画素上及び前記垂直方向における下端のラインの左端の画素上に配置され、前記第1の色及び前記第2の色と異なる第3の色に対応する第3のフィルタが、前記正方配列の前記垂直方向における上端のラインの右端の画素上及び前記垂直方向における下端のラインの中央の画素上に配置された第1の配列パターンと、前記第1の配列パターンと前記第1のフィルタの配置が同一で且つ前記第2のフィルタの配置と前記第3のフィルタの配置とを入れ替えた第2の配列パターンと、が点対称で配置された6×6画素の基本配列パターンが繰り返し配置されたカラーフィルタと、
前記基本配列パターンを構成する2つの前記第1の配列パターン及び2つの前記第2の配列パターンのうち、上側及び下側の少なくとも一方側の前記第1の配列パターン及び前記第2の配列パターンの前記2×2画素のうち前記水平方向に隣接する2つの画素に対応する位置に配置された位相差検出用画素と、
を備えたカラー撮像素子を備えた撮像装置を制御するコンピュータに、
前記位相差検出用画素から位相差検出用画素データを読み出すように前記カラー撮像素子を駆動するステップと、
前記位相差検出用画素データに基づいて焦点調整するステップと、
を含む処理を実行させるための撮像装置の制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013505922A JP5490313B2 (ja) | 2011-03-24 | 2012-03-14 | カラー撮像素子、撮像装置、及び撮像装置の制御プログラム |
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011066632 | 2011-03-24 | ||
JP2011066632 | 2011-03-24 | ||
JP2011163310 | 2011-07-26 | ||
JP2011163310 | 2011-07-26 | ||
JP2011289043 | 2011-12-28 | ||
JP2011289043 | 2011-12-28 | ||
JP2013505922A JP5490313B2 (ja) | 2011-03-24 | 2012-03-14 | カラー撮像素子、撮像装置、及び撮像装置の制御プログラム |
PCT/JP2012/056595 WO2012128154A1 (ja) | 2011-03-24 | 2012-03-14 | カラー撮像素子、撮像装置、及び撮像装置の制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5490313B2 JP5490313B2 (ja) | 2014-05-14 |
JPWO2012128154A1 true JPWO2012128154A1 (ja) | 2014-07-24 |
Family
ID=46879305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013505922A Expired - Fee Related JP5490313B2 (ja) | 2011-03-24 | 2012-03-14 | カラー撮像素子、撮像装置、及び撮像装置の制御プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8730545B2 (ja) |
EP (1) | EP2690874A4 (ja) |
JP (1) | JP5490313B2 (ja) |
CN (1) | CN103444185B (ja) |
WO (1) | WO2012128154A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5539584B2 (ja) * | 2011-03-24 | 2014-07-02 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像プログラム |
WO2012147515A1 (ja) * | 2011-04-28 | 2012-11-01 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
US10015471B2 (en) | 2011-08-12 | 2018-07-03 | Semiconductor Components Industries, Llc | Asymmetric angular response pixels for single sensor stereo |
US9554115B2 (en) * | 2012-02-27 | 2017-01-24 | Semiconductor Components Industries, Llc | Imaging pixels with depth sensing capabilities |
JP5778873B2 (ja) * | 2012-12-07 | 2015-09-16 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及びプログラム、並びに記録媒体 |
JP2016029750A (ja) * | 2012-12-17 | 2016-03-03 | 富士フイルム株式会社 | 撮像装置、信号処理方法、信号処理プログラム |
JP2015102735A (ja) * | 2013-11-26 | 2015-06-04 | 株式会社ニコン | 焦点検出装置および撮像装置 |
JP6233188B2 (ja) * | 2013-12-12 | 2017-11-22 | ソニー株式会社 | 固体撮像素子およびその製造方法、並びに電子機器 |
US9888198B2 (en) | 2014-06-03 | 2018-02-06 | Semiconductor Components Industries, Llc | Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities |
KR102268712B1 (ko) | 2014-06-23 | 2021-06-28 | 삼성전자주식회사 | 자동 초점 이미지 센서 및 이를 포함하는 디지털 영상 처리 장치 |
US9432568B2 (en) * | 2014-06-30 | 2016-08-30 | Semiconductor Components Industries, Llc | Pixel arrangements for image sensors with phase detection pixels |
US9338380B2 (en) | 2014-06-30 | 2016-05-10 | Semiconductor Components Industries, Llc | Image processing methods for image sensors with phase detection pixels |
KR102294316B1 (ko) * | 2014-08-04 | 2021-08-26 | 엘지이노텍 주식회사 | 이미지 센서 및 이를 포함하는 촬상 장치 |
KR102283423B1 (ko) * | 2014-12-18 | 2021-07-30 | 엘지이노텍 주식회사 | 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법 |
US9749556B2 (en) | 2015-03-24 | 2017-08-29 | Semiconductor Components Industries, Llc | Imaging systems having image sensor pixel arrays with phase detection capabilities |
KR102466856B1 (ko) | 2016-04-20 | 2022-11-15 | 에스케이하이닉스 주식회사 | 비정형 육각형 모양으로 배열된 위상 차 검출 픽셀들을 갖는 이미지 센서 |
US10271037B2 (en) * | 2017-01-20 | 2019-04-23 | Semiconductor Components Industries, Llc | Image sensors with hybrid three-dimensional imaging |
KR20200037244A (ko) * | 2017-08-18 | 2020-04-08 | 소니 주식회사 | 촬상 소자 및 촬상 장치 |
KR102532003B1 (ko) | 2018-10-31 | 2023-05-15 | 에스케이하이닉스 주식회사 | 하나의 포토다이오드를 공유하는 두 색의 컬러 필터들을 가진 이미지 센서 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0823543A (ja) | 1994-07-07 | 1996-01-23 | Canon Inc | 撮像装置 |
JPH0823542A (ja) | 1994-07-11 | 1996-01-23 | Canon Inc | 撮像装置 |
EP0930789B1 (en) | 1998-01-20 | 2005-03-23 | Hewlett-Packard Company, A Delaware Corporation | Colour image pickup device |
JP3592147B2 (ja) | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
JP4098438B2 (ja) | 1999-04-15 | 2008-06-11 | オリンパス株式会社 | カラー撮像素子及びカラー撮像装置 |
WO2002056604A1 (fr) | 2001-01-09 | 2002-07-18 | Sony Corporation | Dispositif de traitement d'images |
JP4019417B2 (ja) | 2003-01-14 | 2007-12-12 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2004266369A (ja) | 2003-02-21 | 2004-09-24 | Sony Corp | 固体撮像装置およびその駆動方法 |
JP4385282B2 (ja) | 2003-10-31 | 2009-12-16 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP4797606B2 (ja) | 2005-12-01 | 2011-10-19 | 株式会社ニコン | 撮像装置 |
US7821553B2 (en) | 2005-12-30 | 2010-10-26 | International Business Machines Corporation | Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor |
US7688368B2 (en) * | 2006-01-27 | 2010-03-30 | Eastman Kodak Company | Image sensor with improved light sensitivity |
JP4662883B2 (ja) | 2006-05-15 | 2011-03-30 | 富士フイルム株式会社 | 二次元カラー固体撮像素子 |
US7769230B2 (en) | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Producing low resolution images |
US7701496B2 (en) | 2006-12-22 | 2010-04-20 | Xerox Corporation | Color filter pattern for color filter arrays including a demosaicking algorithm |
JP5082528B2 (ja) | 2007-03-23 | 2012-11-28 | ソニー株式会社 | 固体撮像装置及び撮像装置 |
JP5040458B2 (ja) | 2007-06-16 | 2012-10-03 | 株式会社ニコン | 固体撮像素子及びこれを用いた撮像装置 |
EP2181349B1 (en) * | 2007-08-06 | 2019-05-29 | Canon Kabushiki Kaisha | Image sensing apparatus |
JP5029268B2 (ja) * | 2007-10-01 | 2012-09-19 | 株式会社ニコン | 電子カメラ |
JP5092685B2 (ja) | 2007-10-23 | 2012-12-05 | 株式会社ニコン | 撮像素子および撮像装置 |
JP5219865B2 (ja) * | 2008-02-13 | 2013-06-26 | キヤノン株式会社 | 撮像装置及び焦点制御方法 |
JP5063627B2 (ja) | 2008-02-28 | 2012-10-31 | 中国電力株式会社 | 作業服類の保管袋及びこれを用いた保管方法 |
KR101733443B1 (ko) | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
JP2010020015A (ja) * | 2008-07-09 | 2010-01-28 | Canon Inc | 撮像装置 |
JP5276371B2 (ja) * | 2008-07-09 | 2013-08-28 | キヤノン株式会社 | 撮像装置 |
JP2010066494A (ja) | 2008-09-10 | 2010-03-25 | Olympus Corp | 固体撮像素子及びデジタルカメラ |
JP5472584B2 (ja) * | 2008-11-21 | 2014-04-16 | ソニー株式会社 | 撮像装置 |
JP5149143B2 (ja) | 2008-12-24 | 2013-02-20 | シャープ株式会社 | 固体撮像素子およびその製造方法、電子情報機器 |
JP5471117B2 (ja) * | 2009-07-24 | 2014-04-16 | ソニー株式会社 | 固体撮像装置とその製造方法並びにカメラ |
-
2012
- 2012-03-14 EP EP12761044.2A patent/EP2690874A4/en not_active Withdrawn
- 2012-03-14 WO PCT/JP2012/056595 patent/WO2012128154A1/ja active Application Filing
- 2012-03-14 JP JP2013505922A patent/JP5490313B2/ja not_active Expired - Fee Related
- 2012-03-14 CN CN201280015385.8A patent/CN103444185B/zh not_active Expired - Fee Related
-
2013
- 2013-09-23 US US14/034,061 patent/US8730545B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP5490313B2 (ja) | 2014-05-14 |
EP2690874A1 (en) | 2014-01-29 |
US20140022614A1 (en) | 2014-01-23 |
EP2690874A4 (en) | 2014-09-03 |
CN103444185A (zh) | 2013-12-11 |
CN103444185B (zh) | 2014-10-29 |
WO2012128154A1 (ja) | 2012-09-27 |
US8730545B2 (en) | 2014-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5490313B2 (ja) | カラー撮像素子、撮像装置、及び撮像装置の制御プログラム | |
JP5490312B2 (ja) | カラー撮像素子、撮像装置、及び撮像装置の制御プログラム | |
JP5547338B2 (ja) | カラー撮像素子、撮像装置、及び撮像プログラム | |
JP5539584B2 (ja) | カラー撮像素子、撮像装置、及び撮像プログラム | |
JP5398346B2 (ja) | 撮像装置及び信号処理装置 | |
JP5539585B2 (ja) | カラー撮像素子、撮像装置、及び撮像プログラム | |
JP5361535B2 (ja) | 撮像装置 | |
JP5680797B2 (ja) | 撮像装置、画像処理装置、及び画像処理方法 | |
WO2013099637A1 (ja) | カラー撮像素子及び撮像装置 | |
JP5539583B2 (ja) | カラー撮像素子、撮像装置、及び撮像プログラム | |
JP5624227B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
WO2022149353A1 (ja) | 受光素子、撮像装置及び補正処理方法 | |
JP2015161727A (ja) | 撮像素子および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5490313 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |