JP4500434B2 - 撮像装置及び撮像システム、並びに撮像方法 - Google Patents
撮像装置及び撮像システム、並びに撮像方法 Download PDFInfo
- Publication number
- JP4500434B2 JP4500434B2 JP2000361639A JP2000361639A JP4500434B2 JP 4500434 B2 JP4500434 B2 JP 4500434B2 JP 2000361639 A JP2000361639 A JP 2000361639A JP 2000361639 A JP2000361639 A JP 2000361639A JP 4500434 B2 JP4500434 B2 JP 4500434B2
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- signal
- conversion unit
- light beam
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003384 imaging method Methods 0.000 title claims description 231
- 238000006243 chemical reaction Methods 0.000 claims description 213
- 238000001514 detection method Methods 0.000 claims description 178
- 230000003287 optical effect Effects 0.000 claims description 128
- 210000001747 pupil Anatomy 0.000 claims description 104
- 238000009826 distribution Methods 0.000 claims description 83
- 230000010363 phase shift Effects 0.000 claims description 77
- 230000035945 sensitivity Effects 0.000 claims description 64
- 230000004907 flux Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 47
- 238000005315 distribution function Methods 0.000 description 39
- 238000000926 separation method Methods 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 22
- 238000012546 transfer Methods 0.000 description 12
- 238000009792 diffusion process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000004075 alteration Effects 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 4
- 239000000969 carrier Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000005264 electron capture Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 231100000989 no adverse effect Toxicity 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14629—Reflectors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
Description
【０００１】
【発明の属する技術分野】
本発明は、結像光学系からの光束を撮像素子にて光電変換し、画像信号を生成する撮像装置、この撮像装置を含むデジタルカメラ、ビデオカメラ、銀塩カメラなどの撮像システム、及び撮像方法に関するものである。
【０００２】
【従来の技術】
デジタルカメラでは、レリーズボタンの押下に応答して、CCDやCMOSセンサなどの固体撮像素子に被写体像を所望の時間露光し、これより得られた１つの画面の静止画像を表す画像信号をデジタル信号に変換して、YC処理などの所定の処理を施して、所定の形式の画像信号を得る。撮像された画像を表すデジタルの画像信号は、それぞれの画像毎に、半導体メモリに記憶される。記憶された画像信号は、随時読み出されて表示または印刷可能な信号に再生され、モニタなどに出力されて表示される。
【０００３】
従来より、デジタルカメラにおける撮像光学系の焦点検出では撮像装置を利用したコントラスト検出方式の焦点検出が行われており、一般に、このようなコントラスト検出方式の焦点検出においては、撮像光学系の光軸上位置を僅かに移動させながらコントラストの極値を求めていくために、合焦するまでの焦点調節にかなりの時間を要するという問題がある。
【０００４】
そこで、銀塩フィルムを使用する一眼レフカメラのなどに用いられている位相差検出方式の焦点検出をデジタルカメラの撮像素子を利用して行う焦点検出方法が提案されている。位相差検出方式の焦点検出ではデフォーカス量を求めることができるので、コントラスト検出方式に比して合焦するまでの時間を大幅に短縮することができるという利点がある。このような焦点検出方法の一例として、１対の光電変換部を2次元的に配列したマイクロレンズアレイ毎に設け、このマイクロレンズによって、１対の光電変換部よりなる画素部を撮像光学系の瞳に投影することで瞳を分離し、位相差式の焦点検出を行う方法が提案されている。更に、この受光手段として、１つのマイクロレンズ内における１対の光電変換部出力信号の加算、非加算を画素部単位で任意に行うことのできる特開平９−４６５９６号公報に記載の固体撮像素子を用いた撮像装置が提案されている。
【０００５】
図３９は、この撮像装置における画素部を示す断面図である。
同図において、１２４はＰ型ウェル、１２５、１２６はゲート酸化膜、１２７、１２８はポリＳｉ、１２９、１３０は完全空乏化できる濃度のｎ層、１３１はｎ+ フローティングディフュージョン領域（ＦＤ領域）、１３２、１３３は表面Ｐ+層である。ＦＤ領域１３１は転送ＭＯＳトランジスタの構成要素であるポリＳｉ１２７，１２８を介して第１及び第２の光電変換部であるｎ層１２９、１３０と接続される。ｎ層１２９及び１３０と表面Ｐ+層１３２及び１３３は埋め込み型フォトダイオードとして光電変換部を形成し、この構造により表面で発生する暗電流を抑制することができる。ＣＦは特定の波長域の光を透過するカラーフィルター、μＬは撮像光学系からの光束を効率的に第１及び第２の光電変換部に導くためのマイクロレンズである。このマイクロレンズμＬのパワーは、撮像光学系の射出瞳と各画素部内の一対の光電変換部が結像するように設定されており、従って、第１及び第２の光電変換部でそれぞれ射出瞳上の異なる領域を通過した光束を光電変換するよう構成されている。
【０００６】
このことから、第１及び第２の光電変換部による撮像光学系の射出瞳分離の様子は図４０のようになる。同図において、１は絞りＳＴが開放状態の場合で、絞りＳＴの開口を後方レンズ群ｇｒｐ３、ｇｒｐ４を通して見た虚像である。斜線部２は固体撮像素子１００の第１の光電変換部に入射する光束が通過する射出瞳上の第１の領域、斜線部３は固体撮像素子１００の第２の光電変換部に入射する光束が通過する射出瞳上の第２の領域である。なお、第１の領域２と第２の領域２の間にはわずかながら隙間４が存在するので、この領域を通過した光束は第１及び第２の光電変換部の何れにも光電変換されない。これは、図３８に示すように、ｎ層１２９及び１３０とＰ+層１３２及び１３３からなる埋め込み型フォトダイオードの間にｎ+ＦＤ領域を設けているためで、この部分においては光電変換が行われない。
【０００７】
以上のような構成で、固体撮像素子は、第1光電変換部と第2光電変換部で発生した電荷を別々にＦＤ領域１３３へ転送でき、このＦＤ領域１３３に接続した転送ＭＯＳトランジスタのタイミングだけで、２つの光電変換部の信号電荷の加算、非加算を実現している。従って、撮像時には第１及び第２の光電変換部の信号電荷を加算して読み出すことにより、撮像光学系の射出瞳全体の光束を光電変換する。
【０００８】
一方、焦点検出時には、第１及び第２の光電変換部の信号電荷を独立に読み出すことで、撮像光学系の射出瞳上の異なる領域を通過した光束をそれぞれ光電変換している。ここで、いま撮像光学系の射出瞳は図４０に示すように第１の領域２と第２の領域３に分離されているので、撮像光学系のデフォーカスにより物体像の位相ずれが生じる方向は図中矢印Ａで示す方向である。従って、焦点検出時には固体撮像素子上に矢印Ａで示す方向を長手方向とする画素列を設定し、独立に読み出した１対の信号電荷から１対の画像信号を生成することで、物体像の位相ずれを検出することができる。なお、位相ずれの検出には公知の相関演算などを用いればよい。以上のような構成で、固体撮像素子１００による撮像と位相差方式焦点検出の両立を実現している。
【０００９】
位相差方式焦点検出において、小デフォーカスから大デフォーカスに至るまで高精度に位相ずれを検出するには、任意のデフォーカスにおいて位相ずれ方向での１対の物体像が略相似形状であることが望ましい。こうすることにより、公知の相関演算で算出される１対の物体像の位相ずれ量と撮像光学系のデフォーカス量の関係をほぼ線形にすることができ、位相ずれ量から撮像光学系のデフォーカス量を容易に導き出すことができる。
【００１０】
いま被写体像の光量分布をｆ（ｘ，ｙ）、物体像の光量分布をｇ（ｘ，ｙ）とするとき、
【００１１】
【数１】
【００１２】
の関係（たたみこみ積分；convolution）が成立する。ここでｈ（ｘ，ｙ）は被写体が画像形成システムにおいて劣化する状態を表す伝達関数で、点像分布関数（point spread function）と呼ばれる。従って、焦点検出に用いる１対の物体像の相似性を知るには、点像分布関数を知る必要がある。
【００１３】
ここで、位相方式焦点検出においては、１対の物体像の１次元方向に注目し、その位相ずれを検出ため、点像分布関数の代わりに１次元の関数である線像分布関数（line spread function）により、焦点検出に関する画像システムを評価することができる。そこで、被写体像の光量分布をｆ（ｘ）、物体像の光量分布をｇ（ｘ）と置き換えると、上記式（１）は線像分布関数Ｌ（ａ）を用いて以下のように書き換えられる。
【００１４】
【数２】
【００１５】
従って、式（２）より任意のデフォーカス時の位相ずれ方向における１対の線像分布関数を知ることにより、１対の物体像の相似性を知ることができ、位相差方式焦点検出の基本的なデフォーカス性能を知ることができる。そして、式（２）より１対の線像分布関数の相似性が高いほど、１対の物体像の相似性も高くなることが分かる。
【００１６】
ある点光源が光学系の射出瞳を通過し結像面上に形成する点像の強度分布、いわゆる点像分布関数は、射出瞳形状が結像面上に縮小投影されていると考えられる。同様に、線像分布関数は１次元方向における射出瞳形状、即ち、射出瞳形状を１次元方向に積分したものがマイクロレンズμＬにより結像面上に縮小したものと考えることができる。実際には光学系の収差や製造誤差により、光線が射出瞳上のどこを通過したかで結像位置や強度が異なり、線像分布関数の形状は多少変化するが、ここでは、位相ずれ方向における１対の線像分布関数相似性を知ることが目的であるので、撮像光学系、マイクロレンズμＬは収差のない理想レンズとして簡略化する。また、上記従来例で説明した、撮像光学系の赤外カットフィルターF１、ローパスフィルターＬＰＦ、カラーフィルターＣＦ、光電変換部の感度分布、光電変換部のＳ/Ｎなどについても省略する。
【００１７】
いま、図４０における第１及び第２の光電変換部に入射する光束が通過する第１及び第２の領域２、３を位相ずれ方向、即ち矢印Ａ方向に積分してみる。図４１は、積分した結果を示すグラフで、原点を光軸Ｌ１としている。図中横軸が位相ずれ方向、縦軸が強度で、第１の瞳強度分布５が射出瞳上の第１の領域２、第２の瞳強度分布６が射出瞳上の第２の領域３にそれぞれ対応している。実際には、第１及び第２の瞳強度分布がマイクロレンズμＬにより結像面上に縮小されて線像分布関数となるわけだが、１対の線像分布関数の相似性を知るにはこのままで差し支えない。更に、ここでは撮像光学系のデフォーカスを考慮していないが、小デフォーカスの場合、第１及び第２の瞳強度分布５，６のそれぞれを横軸方向に縮小、縦軸方向に拡大、大デフォーカスの場合横軸方向に拡大、縦軸方向に縮小と考えることができる。
【００１８】
図４１中、第１及び第２の瞳強度分布５、６は位相ずれ方向、即ち横軸方向に互いにミラー反転したような半円形状となり、相似性は低い。従って、撮像光学系の射出瞳上で第1の領域２を通過する光束の任意のデフォーカスにおける１対の線像分布関数も位相ずれ方向において相似性が低いことが分かる。合焦近辺の線像分布関数は５、６を極端に横軸方向に縮小、縦軸方向に拡大したもの、即ちインパルス波形のような形状となるため、相似性は高くなるが、ある程度デフォーカスしてくると互いにミラー反転した半円形状が顕著に現れ、相似性は低下する。
【００１９】
従って、撮像光学系がある程度デフォーカスして、図４１の第１及び第２の瞳強度分布５，６に示すように、１対の線像分布関数の相似性が低い場合、結像面上の１対の物体像は、その線像分布関数の影響を受けて位相ずれ方向で不均一に変形し、相似性は低くなる。一方、撮像光学系の焦点が合焦近辺にある場合、線像分布関数はインパルス波形のような形状となるため、結像面上における１対の物体像もほぼ相似形となる。いま、位相ずれ方向における物体像とは、前述した位相ずれ方向を長手方向とした画素列による画像信号と等価であるので、撮像光学系がある程度デフォーカスしている場合、第1及び第2の光電変換部で得られる１対の画像信号の相似性は低く、互いに左右反転したような形状になる。
【００２０】
位相差方式の焦点検出においては、公知の相関演算によって算出される位相ずれ量と撮像光学系のデフォーカス量の関係を、実用的なデフォーカス範囲においておおよそ線形にし、検出される位相ずれ量から予想されるデフォーカス量を算出して、撮像光学系を合焦させる。上記従来例における位相ずれ量とデフォーカス量の関係は、１対の画像信号の相似性が高い小デフォーカスの範囲ではほぼ線形となるが、デフォーカス量が増大するにつれて１対の画像信号の相似性は低下し、線形とならない。従って、撮像光学系がある程度以上デフォーカスしている場合、１回の焦点検出では合焦に至ることはできない。しかしながら、小デフォーカスの範囲ではほぼ線形となるので、複数回焦点検出を行うことで、小デフォーカスを経て合焦に至ることが可能となる。
【００２１】
そこで、焦点検出時には撮像光学系の絞りＳＴを１対の開口部を有する２孔絞りとし、撮像時は退避する構成とすると、焦点検出時における１対の線像分布関数の特性を改善することができるため、大デフォーカスでも複数回の焦点検出を必要としない焦点検出を実現できる。
【００２２】
【発明が解決しようとする課題】
しかしながら、上記従来例においては、特に撮像光学系がある程度デフォーカスしている場合、複数回の焦点検出が必要となり、位相差方式焦点検出の長所である迅速な焦点調節が行えなくなる。
【００２３】
また、先ほど説明したような１対の開口部を有する２孔絞りを用いた場合、撮像光学系がある程度デフォーカスしていても複数回の焦点検出は必要ないが、撮像光学系に絞りの駆動メカなどを設け退避可能にする必要があるため撮像装置の小型化、コストを妨げる。
【００２４】
更に、１対の光電変換部に入射する光量と撮像光学系の絞りＳＴの開度との関係をおおよそ線形にすることで、被写体輝度、撮像素子の感度が与えられたときに、フィルムカメラと同様の手法で絞り値とシャッター速度を算出する、いわゆるＡＰＥＸ方式の演算が成り立つ。こうすることで、フィルムカメラと同じように一般の露出計を用いて露光量を算出することができ、撮影操作は極めて容易である。しかしながら、従来例においては、図３９に示すようにｐｎフォトダイオード１２９、１３０の間にｎ+ＦＤ領域１３１を設けたために、図４０の隙間４で示す第１及び第２の光電変換部の何れにも光電変換されない領域が存在し、撮像光学系の絞りＳＴを絞り込んでいくと、射出瞳の開口領域に対する隙間４の領域の割合は増大していくため、１対の光電変換部に入射する光量と撮像光学系の絞りＳＴの開度との関係は線形にならずに、絞り込んでいくほど誤差は増大する。従って、ＡＰＥＸ方式の露出演算にも誤差が生じ、また一般の露出計を用いることもできなくなる。
【００２５】
撮像の観点からみても、第１及び第２の光電変換部間の光電変換されない領域が存在すると、撮影した画像に不自然なボケ（２線ボケ）が生じやすくなる。
【００２６】
そこで本発明の目的は、上記のような問題に鑑みてなされたものであり、固体撮像素子による撮像と位相差方式焦点検出を両立するとともに、カメラの小型化、コストを妨げずに小デフォーカスから大デフォーカスに至るまで高精度で迅速な焦点検出が可能で、撮像時には、元々撮像光学系の射出瞳の全光束を使った画像を得るように設計された通常の固体撮像素子で得られる画像と同レベルのＳ/Ｎ的に優れた画像を得ることができる撮像装置を提供することである。
【００２７】
【課題を解決するための手段】
本発明の撮像装置は、結像光学系と、前記結像光学系の射出瞳を複数に分離した光束のうち第１の光束を光電変換する第１の光電変換部と前記第１の光束とは異なる第２の光束を光電変換する第２の光電変換部とを有する画素部が２次元領域に複数配置されてなる撮像素子と、前記複数の画素部それぞれの第１の光電変換部から第１の電気信号と前記複数の画素部それぞれの第２の光電変換部から第２の電気信号とを位相差を検出するために出力する出力部とを備え、前記第１の光電変換部における第１の電気信号には前記第１の光束に対応する信号の他に前記第２の光束に対応する信号が含まれ、前記第２の光電変換部における第２の電気信号には前記第２の光束に対応する信号の他に前記第１の光束に対応する信号が含まれ、前記第１、第２の電気信号にそれぞれ前記第２、第１の光束に対応する信号が含まれない場合よりも、相似性の高い当該第１の電気信号と当該第２の電気信号とから高精度の位相ずれを算出するとともに、当該第１の電気信号と当該第２の電気信号とを加算することで前記分離される前の射出瞳の光束に対応する信号に近い信号を取得する。
【００２８】
この構成により、位相差方式焦点検出の位相ずれ方向における１対の線像分布関数を小デフォーカスから大デフォーカスに至るまで相似形とすることができるため、高精度で迅速な焦点検出を実現できる。また、第１の光電変換と第２の光電変換部の間に入射する光束も光電変換することができるのでＡＰＥＸ方式の露出演算もほぼ成立し、元々撮像光学系の射出瞳の全光束を使った画像を得るように設計された通常の固体撮像素子で得られる画像と同レベルのＳ/Ｎ的に優れた画像を得ることができる。
【００２９】
本発明の撮像装置の一態様では、前記撮像素子は、前記第１の光電変換部及び前記第２の光電変換部による分割方向が異なる少なくとも２種類以上の前記画素部を備える。
この構成により、更に高品位な画像を得ることができると共に、焦点検出性能を向上させることができる。
【００３２】
本発明の撮像システムは、結像光学系と、前記結像光学系の射出瞳を複数に分離した光束のうち第１の光束を光電変換する第１の光電変換部と前記第１の光束とは異なる第２の光束を光電変換する第２の光電変換部とを有する画素部が２次元領域に複数配置されてなる撮像素子と、前記撮像素子からの信号に所定の処理を加える信号処理手段と、外部装置との間で信号授受を行うインターフェース手段と、当該システム全体の動作を制御する制御手段と、前記複数の画素部それぞれの第１の光電変換部から第１の電気信号と前記複数の画素部それぞれの第２の光電変換部から第２の電気信号とを位相差を検出するために出力する出力部とを備え、前記第１の光電変換部における第１の電気信号には前記第１の光束に対応する信号の他に前記第２の光束に対応する信号が含まれ、前記第２の光電変換部における第２の電気信号には前記第２の光束に対応する信号の他に前記第１の光束に対応する信号が含まれ、前記第１、第２の電気信号にそれぞれ前記第２、第１の光束に対応する信号が含まれない場合よりも、相似性の高い当該第１の電気信号と当該第２の電気信号とから高精度の位相ずれを算出するとともに、当該第１の電気信号と当該第２の電気信号とを加算することで前記分離される前の射出瞳の光束に対応する信号に近い信号を取得する。
【００３３】
この構成により、位相差方式焦点検出の位相ずれ方向における１対の線像分布関数を小デフォーカスから大デフォーカスに至るまで相似形とすることができるため、高精度で迅速な焦点検出を実現できる。また、第１の光電変換と第２の光電変換部の間に入射する光束も光電変換することができるのでＡＰＥＸ方式の露出演算もほぼ成立し、元々撮像光学系の射出瞳の全光束を使った画像を得るように設計された通常の固体撮像素子で得られる画像と同レベルのＳ/Ｎ的に優れた画像を実現する撮像システムを得ることができる。
【００３４】
本発明の撮像方法は、結像光学系からの光束を撮像素子にて光電変換し、画像信号を生成する撮像方法であって、前記結像光学系の射出瞳を複数に分離することにより、光束を第１の光束及び第２の光束に分離し、前記撮像素子を構成する複数の画素部における第１の光電変換部で前記第１の光束を、第２の光電変換部で前記第２の光束をそれぞれ光電変換するに際して、前記画素部において、前記第１の光電変換部による第１の感度分布と前記第２の光電変換部による第２の感度分布を重複させる感度領域を形成し、前記第１の光電変換部における第１の電気信号には前記第１の光束に対応する信号の他に前記第２の光束に対応する信号が含まれ、前記第２の光電変換部における第２の電気信号には前記第２の光束に対応する信号の他に前記第１の光束に対応する信号が含まれ、前記第１、第２の電気信号にそれぞれ前記第２、第１の光束に対応する信号が含まれない場合よりも、相似性の高い当該第１の電気信号と当該第２の電気信号とから高精度の位相ずれを算出するとともに、当該第１の電気信号と当該第２の電気信号とを加算することで前記分離される前の射出瞳の光束に対応する信号に近い信号を取得する。
【００３５】
この手法により、位相差方式焦点検出の位相ずれ方向における１対の線像分布関数を小デフォーカスから大デフォーカスに至るまで相似形とすることができるため、高精度で迅速な焦点検出を実現できる。また、第１の光電変換と第２の光電変換部の間に入射する光束も光電変換することができるのでＡＰＥＸ方式の露出演算もほぼ成立し、元々撮像光学系の射出瞳の全光束を使った画像を得るように設計された通常の固体撮像素子で得られる画像と同レベルのＳ/Ｎ的に優れた画像を実現することができる。
【００３６】
【発明の実施の形態】
以下、本発明を適用した具体的な諸実施形態について、図面を参照しながら詳細に説明する。
【００３７】
（第１の実施形態）
まず、第１の実施形態について述べる。なお、従来例で図示した構成部材等に対応するものについては、同符号を用いることとする。
【００３８】
初めに、本発明に用いる撮像光学系について説明する。
本実施形態の撮像光学系の構成を図３６に示す。
この撮像光学系は、固体撮像素子１００を用いるデジタルカラーカメラのズーム光学系であり、撮像光学系とカメラ本体が一体的に設けられている。同図の左手が物体側、右手が像面側となっている。同図において、撮像光学系は、負レンズ，正レンズ，正レンズからなる正の第１群（ｇｒｐ１）、負レンズ，負と正の接合レンズからなる負の第２群（ｇｒｐ２）、絞りＳＴ、正レンズからなる正の第３群（ｇｒｐ３）、負と正の接合レンズからなる第４群（ｇｒｐ４）により構成される。また、Ｆ１は赤外線（ＩＲ）カットフィルター、ＬＰＦは光学ローパスフィルター、 Ｌ１は撮像光学系の光軸である。
【００３９】
図中に矢印で示すように、ズーミングによって焦点距離が広角から望遠に向かうに従い、負の第２群ｇｒｐ２が像面側へ、正の第４群ｇｒｐ４が物体側へと同時に動く。撮像光学系は、図示しないレンズ駆動機構を持ち、モーターとギア列を用いて負の第２群ｇｒｐ２を光軸方向に移動させて、物体像が撮像素子１００上でピントを結ぶように焦点調節する。
【００４０】
固体撮像素子１００は、増幅型固体撮像装置の１つであるＣＭＯＳプロセスコンパチブルのセンサ（以降、ＣＭＯＳセンサと略す）である。このタイプのセンサはＩＥＥＥＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＥＬＥＣＴＲＯＮ ＤＥＶＩＣＥ，ＶＯＬ４１，ＰＰ４５２〜４５３，１９９４などの文献で発表されている。ＣＭＯＳセンサの特長の１つに、光電変換部のＭＯＳトランジスタと周辺回路のＭＯＳトランジスタを同一工程で形成できるため、マスク枚数、プロセス工程がＣＣＤと比較して大幅に削減できるということが挙げられる。
【００４１】
この特長を生かして、１つの画素部に２つの光電変換部を構成し、光電変換部毎に設けていたフローティングディフュージョン領域（以降、ＦＤ領域）とソースフォロワアンプを２つの光電変換部に１個だけ形成し、２つの光電変換領域をＭＯＳトランジスタスイッチを介してそのＦＤ領域に接続する。従って、２つの光電変換部の電荷を同時、または、別々にフローティングディフュージョン部へ転送でき、ＦＤ領域に接続した転送ＭＯＳトランジスタのタイミングだけで、２つの光電変換部の信号電荷加算、非加算を簡単に行うことができる。この構造を利用して、撮像光学系の射出瞳全体からの光束による光電変換出力を行う第１の出力モードと、撮像レンズの射出瞳の一部からの光束による光電変換出力を行う第２の出力モードとを切り替え可能としている。画素部レベルで信号の加算を行う第１の出力モードでは、信号を読み出した後で加算する方式に比べてノイズの少ない信号を得ることができる。
【００４２】
図３７は、前述したような２つの光電変換部の信号電荷加算、非加算を簡単に行うことができる撮像素子１００内のエリアセンサ部の回路構成図である。同図は、２列×２行の画素部による２次元エリアセンサを示したものであるが、実際は、１９２０列×１０８０行等と画素数を多くし、実用的な解像度を得る。図３７において、１０１及び１０２はｐｎフォトダイオードを用いた第１及び第２の光電変換部、１０３及び１０４は転送スイッチＭＯＳトランジスタ、１０５はリセット用ＭＯＳトランジスタ、１０６はソースフォロワアンプＭＯＳトランジスタ、１０７は垂直選択スイッチＭＯＳトランジスタ、１０８はソースフォロワの負荷ＭＯＳトランジスタ、１０９は暗出力転送ＭＯＳトランジスタ、１１０は明出力転送ＭＯＳトランジスタ、１１１は暗出力蓄積容量ＣＴＮ、１１２は明出力蓄積容量ＣＴＳ、１１３および１１４は垂直転送ＭＯＳトランジスタ、１１５および１１６は垂直出力線リセットＭＯＳトランジスタ、１１7は差動出力アンプ、１１８は垂直走査部、１１９は水平走査部で、画素部１２０を構成している。ここで、隣接した第１の光電変換部１０１と第２の光電変換部１０２をひとまとめにしたものが画素部１２０で、その他の画素部１２１〜１２３についても同様の構成である。
【００４３】
図１は、図３６に示す撮像光学系を含む撮像装置の斜視図である。
同図において、７は図３６に示す撮像光学系のうち、絞りＳＴよりも物体側にある第１群（ｇｒｐ１）と第２群（ｇｒｐ２）とをまとめて示した前方レンズ群、８は絞りＳＴよりも像面側にある第３群（ｇｒｐ３）、第４群（ｇｒｐ４）、をまとめて示した後方レンズ群であり、絞りＳＴの開口を通過した光束によって撮像素子１００上に物体像を形成する。なお、図の煩雑さを無くすため赤外線カットフィルターＦ１、光学ローパスフィルターＬＰＦは省略している。絞りＳＴは軸Ｌ２を中心にして回転し、不図示のモーターの駆動力によって選択的に４つのポジションをとり、開口９〜１２を切り替え可能である。
【００４４】
固体撮像素子１００は、増幅型固体撮像装置の１つであるＣＭＯＳプロセスコンパチブルのセンサ（以降、ＣＭＯＳセンサと略す）である。本実施形態では、従来例と同様に１つの画素部に２つの光電変換部を構成し、通常光電変換部毎に設けていたフローティングディフュージョン領域（以降、ＦＤ領域と略す）とソースフォロワアンプを２つの光電変換部に１個だけ形成し、２つの光電変換領域をＭＯＳトランジスタスイッチを介してそのＦＤ領域に接続する構成とした。従って、２つの光電変換部の電荷を同時、又は別々にＦＤ領域へ転送でき、ＦＤ領域に接続した転送ＭＯＳトランジスタのタイミングだけで、２つの光電変換部の信号電荷加算、非加算を簡単に行うことができる。
【００４５】
この構造を利用して、撮像光学系の射出瞳全体からの光束による光電変換出力を行う第１の出力モードと、撮像レンズの射出瞳の一部からの光束による光電変換出力を行う第２の出力モードとを切り替え可能としている。画素部レベルで信号の加算を行う第１の出力モードでは、信号を読み出した後で加算する方式に比べてノイズの少ない信号を得ることができる。
【００４６】
前述したような２つの光電変換部の信号電荷加算、非加算を簡単に行うことができる固体撮像素子１００内のエリアセンサ部の回路構成図は図３７と同様である。同図は、２列×２行の画素部による２次元エリアセンサを示したものであるが、実際は従来同様に１９２０列×１０８０行等と画素数を多くし、実用的な解像度を得る。
【００４７】
次に、図２及び図３を用いて本実施形態の画素部構成について説明する。
図２は図３７の画素部１２０を拡大して示す画素部上面図、図３は図２の画素部を断面Ａ−Ａで切断した画素部断面図である。
これらの図において、１２４はＰ型ウェル、１２５はゲート酸化膜、１２７、１２８はポリＳｉ、１２９、１３０は完全空乏化できる濃度のｎ層、１３１はｎ+ フローティングディフュージョン領域（ＦＤ領域）、１３２は表面Ｐ+層である。ＦＤ領域１３１は転送ＭＯＳトランジスタ１０３、１０４（図中ポリＳｉ１２７、１２８）を介して第１及び第２の光電変換部１０１、１０２（図中ｎ層１２９、１３０）と接続される。ｎ層１２９及び１３０と表面Ｐ+層１３２は埋め込み型フォトダイオードとして光電変換部を形成し、この構造により表面で発生する暗電流を抑制することができる。
【００４８】
ＣＦは特定の波長域の光を透過するカラーフィルター、μＬは図３８に示す撮像光学系からの光束を効率的に第１及び第２の光電変換部１０１、１０２に導くためのマイクロレンズである。図２の画素部上面図においては、１２４〜１３２の画素部上面にゲート酸化膜１２５、カラーフィルターＣＦ、マイクロレンズμＬが配置されるわけだが、図の煩雑さをなくすためゲート酸化膜１２５は省略し、カラーフィルターＣＦ、マイクロレンズμＬは図中点線で示している。また、二点鎖線は第1及び第2の光電変換部より構成される略正方形の画素部を理解しやすくするために図示したものであり、この１つの画素部が2次元領域に格子状に配列され、固体撮像素子１００のエリアセンサ部を形成している。
【００４９】
なお、マイクロレンズμＬのパワーは、図３６の撮像光学系の射出瞳と１対の光電変換部１２０が結像するように設定されており、従って、第１及び第２の光電変換部１０１、１０２でそれぞれ射出瞳上の異なる領域を通過した光束を光電変換するように構成されている。
【００５０】
図４は、図１に示される、１９２０列×１０８０行の画素部を有する固体撮像素子１００うち４列×４行のみを抜き出した拡大平面図である。光電変換部とＭＯＳトランジスタを含む各画素部はほぼ正方形にレイアウトされ、格子状に隣接して配置されている。図３７を用いて先に説明した画素部１２０〜１２３は、図中それぞれ画素部１1〜１4内に位置し、従って、１つの画素部がそれぞれ近接した２つの光電変換部を有する構成となっている。
【００５１】
また、このエリアセンサ部は、各画素部にＲ（赤色）Ｇ（緑色）Ｂ（青色）のカラーフィルターを交互に配して、４つの画素部が一組となる所謂ベイヤー配列を形成している。ベイヤー配列では、観察者が画像を見たときに強く感じやすいＧの画素部をＲやＢの画素部よりも多く配置する事で、総合的な像性能を上げている。
【００５２】
一般に、この方式の撮像素子では、輝度信号は主にＧから生成し、色信号はＲ，Ｇ，Ｂから生成する。前述したように画素部はそれぞれ１対の光電変換部を有している。図に付した、Ｒ、Ｇ、Ｂは赤色，緑色，青色のカラーフィルターを備えた画素部であることを、ＲＧＢに続く１あるいは２は、第１光電変換部か第２光電変換部かの区別を表している。例えば、Ｒ１は赤色カラーフィルターを備えた第１光電変換部であり、Ｇ２は緑色カラーフィルターを備えた第２光電変換部を意味する。
【００５３】
更に、各画素部において光電変換部の占める割合は少なく、撮像光学系から射出した光束を有効に利用するためには、画素部毎に集光用レンズを設けて、１対の光電変換部以外に到達しようとする光を光電変換部上に偏向することが必要で、それが図３に示されるマイクロレンズμＬである。
【００５４】
図５はこのために撮像素子前面に設けたマイクロレンズと１対の光電変換部との光学的位置関係を示す断面図で、撮影光学系L１付近の一部分を拡大したものである。
マイクロレンズμＬ−１〜μＬ−４は画素部の中心と光軸とがおおよそ一致した軸対称型の球面レンズあるいは非球面レンズであって、各々矩形の有効部を持ち、光入射側を凸形状として格子状に密に並べられている。図1に示す撮像光学系は図の左側に位置し、撮像光学系を射出した光束は、ＩＲカットフィルターＦ１、光学ローパスフィルターＬＰＦを通って、先ずマイクロレンズμL−１〜μL−４に入射する。各マイクロレンズの後方にはカラーフィルターＣＦ−１〜ＣＦ−４が配置され、ここで所望の波長域のみが選択されて各光電変換部に到達する。
【００５５】
カラーフィルターは図４を用いて説明したようにベイヤー配列を構成しており、ＲＧＢの３種がある。また、ベイヤー配列であることから、断面に現れるのはこのうちの２種であって、ＣＦ−１、ＣＦ−３が緑色透過カラーフィルター、ＣＦ−２、ＣＦ−４が赤色透過カラーフィルターである。
【００５６】
ここで、各マイクロレンズのパワーは撮像素子における各画素部内の１対の光電変換部を撮像光学系の射出瞳に投影するように設定されている。このとき、１対の光電変換部の投影像が撮像光学系の絞り開放時の射出瞳よりも大きくなるように投影倍率を設定し、１対の光電変換部に入射する光量と撮像光学系の絞りＳＴの開度との関係をおおよそ線形にする。こうすれば、被写体輝度、撮像素子の感度が与えられたときに、フィルムカメラと同様の手法で絞り値とシャッター速度を算出することができる。つまり、入射光量が絞りの開口面積に比例するようになり、ＡＰＥＸ方式の演算が成り立つ。フィルムカメラと同じように一般の露出計を用いて露光量を算出することができて、撮影操作は極めて容易である。
【００５７】
なお、撮像光学系は主光線の固体撮像素子１００への入射角が、固体撮像素子１００上のすべてのマイクロレンズにおいて０度となるようにテレセントリック系とするのがマイクロレンズによる瞳投影精度の点で望ましいが、小型化、ズーム比の高倍率化の要求から完全なテレセントリック系にするのは困難である。この際には、マイクロレンズと画素部とを僅かに偏心させ、偏心量を撮像光学系の光軸から画素部までの距離の関数とすればよい。一般には、この偏心量を距離に応じて単調に増加させれば、画面周辺の画素部においても撮像光学系の射出瞳上に正しく投影できるようになる。しかしながら、本実施形態では、１０列×１０行のブロック毎にマイクロレンズを一律に偏心させる構成としている。こうすることで、マイクロレンズの製造工程を簡略化でき、コストダウンの効果がある。
【００５８】
図６（ａ），（ｂ）は理解を容易にするために、図６に示した１つの画素部について、第１の光電変換部に入射する光束と、第２の光電変換部に入射する光束のそれぞれを分けて示した図である。
第１の光電変換部に入射する光束を示す図６（ａ）では、図の下方からの光束が第１の光電変換部に入射し、第２の光電変換部に入射する光束を示す図６（ｂ）では、図の上方からの光束が第２の光電変換部に入射していることが分かる。
【００５９】
従って、撮像素子全体では第２の光電変換部に入射する光束は図７に示すようになり、エリアセンサ部のいずれの位置に入射する光束も、絞りＳＴの上半分を通過する光束である。一方、撮像素子全体の第１光電変換部に入射する光束は撮像レンズの光軸Ｌ１を対称軸として上下を反転したものとして考えればよい。
以上のような構成で、撮像素子１００の第１及び第２光電変換部における出力信号を独立に読み出すことで、撮影光学系の異なる射出瞳を通過した光束を光電変換することを可能としている。一方、撮像時には第１及び第２の光電変換部における出力信号を加算することで撮像光学系の射出瞳全体の光束を光電変換することを可能とし、固体撮像素子１００による撮像と位相差方式焦点検出の両立を実現している。
【００６０】
次に、本実施形態の撮像装置における焦点検出の特性及び撮像の特性について述べる。位相差方式焦点検出において、小デフォーカスから大デフォーカスに至るまで高精度に位相ずれを検出するには、実用的なデフォーカス範囲において位相ずれ方向での１対の物体像が略相似形状であることが望ましく、こうすることにより、公知の相関演算で算出される１対の物体像の位相ずれ量と撮像光学系のデフォーカス量の関係をほぼ線形にすることができるため、位相ずれ量から撮像光学系のデフォーカス量を容易に導き出すことができ、高精度で迅速に焦点検出を実現できる。そこで本実施形態においても、１対の物体像の相似性を知るために位相ずれ方向における１対の線像分布関数を調べてみる。
【００６１】
１対の線像分布関数を導くためのパラメータとしては、撮像光学系の収差、赤外カットフィルターＦ１、ローパスフィルターＬＰＦ、マイクロレンズμＬの収差、カラーフィルターＣＦ、光電変換部の感度分布、光電変換部のＳ/Ｎ、射出瞳分離の様子などが必要になる。ここでは、撮像光学系、マイクロレンズμＬは収差のない理想レンズとし、赤外カットフィルターF１、ローパスフィルターＬＰＦ、カラーフィルターＣＦ、光電変換部のＳ/Ｎは省略し、計算を簡略化する。従って、本実施形態では、光電変換部の感度分布、射出瞳分離の様子から線像分布関数を求める。
【００６２】
はじめに、光電変換部の感度分布について考えてみる。図８，９は光電変換部の感度分布を説明するための画素部を示す図で、図８は図２の画素部上面図、図９は図３の画素断面図と同様である。
これらの図に示されるように、１対の光電変換部、即ち図中右上がり斜線部で示すｎ層１２９、１３０は微小な間隔ΔＬを隔てて配置され、ｎ層１２９、１３０の間、即ち図中左上がり斜線部で示す領域BはＰ型ウェルで構成されている。また、図９において点線で示される１３３はｎ層１２９、１３０の下の空乏層である。
【００６３】
いま、マイクロレンズμＬにより集光された光が光子ｈνとしてシリコン中に入るとキャリアが発生し、キャリアの１つである電子について考えると、まずｎ層で発生した電子はｎ層中に蓄えられる。またＰ型ウェル中で発生した電子については、その電子が拡散によって空乏層の端に運動してきた場合、空乏層のポテンシャル勾配によってｎ層へ運動し、ｎ層中に蓄えられる。このような法則により、例えばｎ層１２９側に近い位置のＰ型ウェル中で発生した電子はｎ層１２９へと蓄積され、また逆も真である。そして、ポテンシャル勾配に捕らえられなかった電子は、有効な電荷とならず消滅する。
【００６４】
ここで、領域Ｂについて電荷が発生した場合を考えてみると、拡散によってある地点へ電荷がやってくる可能性は距離に依存し、従って、ｎ層１２９そばの中性領域（空乏層ができていない半導体内の領域）において発生した電子はよりｎ層１２９に捕らえられやすく、ｎ層１３０近傍で発生した電子はｎ層１３０に捕らえられやすく、中間点で発生した場合は半々の確率でどちらかに捕獲される。
【００６５】
この確率は、距離との関係においてこの距離が電子の拡散長に対して十分短い場合ほぼ線形となる。拡散長のオーダーは数ミリにもおよび、一方距離、即ちΔＬは高々数ミクロンゆえ、十分短いと考えてよいので、本実施形態においては、この領域Ｂにおいて発生した電子のうち、ｎ層１２９が捕獲する確率はｎ層１２９からの距離との関係においてほぼ線形となり、ｎ層１３０においても同様である。
【００６６】
また、領域Ｂにおいては、ｎ層１２９、１３０に移動する電子のほか、Ｐ型ウェル中へ移動していき、有効な光電荷とならないキャリアがほんのわずかであるが存在する。なお、ｎ層１２９、１３０の下方の空乏層１３３が領域Ｂ付近において一部つながることがあるが、その場合も同様の現象がみられる。つながった部分においてはドリフト（空乏層によって設けられるポテンシャル勾配による電子の運動）により割合が規定されるが、繋がっていない位置においては、上記と同様に電子の捕獲される割合が決まる。
【００６７】
以上のことから、図９に示す画素部断面図における１対の光電変換部の感度分布は図１０のようになる。図１０において、縦軸は感度、横軸は断面方向、即ち図９の紙面左右方向、原点は１対の光電変換部の中心と一致している。１７はｎ層１２９による第１の光電変換部１０１に対応した感度分布、１８はｎ層１３０による第２の光電変換部１０２に対応した感度分布で、図８の領域Ｂに対応した部分、即ち図の縦軸付近で１対の感度分布１７、１８が重複する、即ち位相ずれ方向における１対の感度分布にクロストークが発生している。この感度分布１７、１８が重複するクロストーク部分は、図８、９のｎ層１２９、１３０間の間隔ΔＬにほぼ一致している。
【００６８】
図１０の感度分布は図８の断面Ａ−Ａにおける１次元方向の感度分布であるが、断面Ａ−Ａに平行な１次元方向の感度分布は１対の光電変換部どこでも同様であるので、図１０の領域Ｂに入射する光束も第１若しくは第２の光電変換部１０１、１０２のどちらかに光電変換されることが分かる。
【００６９】
図１１は、図１０の感度分布１７、１８を加算した感度分布１９を示し、従って、この感度分布１９が第１及び第２の光電変換部１０１、１０２の光電変換出力を加算する撮像時の光電変換部感度分布に相当する。感度分布１９は円で囲んだ部分Ｃにおいて感度の低下がみられるが、これは、図８の領域Ｂに対応した部分で前述したような理由により生じているが、その低下の度合いはごくわずかであるため画像信号への影響は極めて少ない。
【００７０】
従来では、この部分の感度は０であったので、それに比べると飛躍的な向上と言える。従って、本実施形態において、撮像時には撮像光学系の射出瞳全体の光束を光電変換することが可能で、前述したＡＰＥＸ式の露出演算もほぼ成立し、不自然なボケのない良質な画像信号を得ることが可能となる。
【００７１】
次に、撮像光学系の射出瞳分離の様子を説明する。図１２は本実施形態における第１及び第２の光電変換部による撮像光学系の射出瞳分離の様子を示す図である。
同図において、２０は絞りＳＴが開放状態の場合で、絞りＳＴの開口９を後方レンズ群ｇｒｐ３、ｇｒｐ４を通して見た虚像である。右上がり斜線部２１は固体撮像素子１００の第１の光電変換部に入射する光束が通過する射出瞳上の第一の領域、左上がり斜線部２２は固体撮像素子１００の第２の光電変換部に入射する光束が通過する射出瞳上の第二の領域である。点線で示す２３、２４、２５は絞りＳＴの開口１０、１１、１２にそれぞれ対応しており、同様に後方レンズ群ｇｒｐ３、ｇｒｐ４を通して見た虚像である。
【００７２】
また、矢印Ｄは射出瞳分離の方向、即ちデフォーカスにより１対の物体像に位相ずれが生じる方向を示している。第一の領域２０と第２の領域２１は中央部領域２６付近で交錯しており、これが図１０の感度分布１７、１８が重複しているクロストーク部分、図８で言うと領域Ｂに相当している。即ち、中部領域２６を通過した光束も、マイクロレンズμＬにより図８の領域Ｂ上に導かれる。従って、例えば、第１の領域２１に関する１次元方向の瞳強度分布を算出するには、図１２の右上がり斜線部を位相ずれ方向に積分した結果をＳ（Ｘ）、図１０の位相ずれ方向における第１の光電変換部の感度分布をＰ（Ｙ）とすると、積分結果Ｓ（Ｘ）のＸに対応した感度分布Ｐ（Ｙ）をＳ（Ｘ）に乗じる必要があり、最終的に以下の式（３）により位相ずれ方向における瞳強度分布が算出される。
【００７３】
【数３】
【００７４】
ここで、Ｙは図１０の感度分布の横軸で、射出瞳上の位相ずれ方向の座標Ｘに対応して１つのＹが定まる。
【００７５】
図１３は、式（３）を用いて算出した本実施形態の瞳強度分布を表すグラフである。原点は光軸Ｌ１と一致しており、横軸が位相ずれ方向、縦軸が強度、２７が射出瞳上の第1の領域２１に対応した第1の瞳強度分布、２８が射出瞳上の第２の領域２２に対応した第2の瞳強度分布を示している。実際には、第１及び第２の瞳強度分布がマイクロレンズμＬにより結像面上に縮小されて線像分布関数となるわけだが、ここでは１対の線像分布関数の相似性を知ることが目的であるのでこのままで差し支えない。更に、撮像光学系のデフォーカスも考慮していないが、小デフォーカスの場合、第１及び第２の瞳強度分布２７、２８を横軸方向に縮小、縦軸方向に拡大、大デフォーカスの場合横軸方向に拡大、縦軸方向に縮小と考えることができる。
【００７６】
図１３中、第１及び第２の瞳強度分布２７、２８は、図１０に示す感度分布１７、１８のクロストークの影響を受け、中央付近の角部２９、３０を境に重複している。しかしながら、それぞれの強度分布は左右に裾を広げた形状となり、従来例の第１及び第２の瞳強度分布５、６に比べて相似性が向上している。実際の線像分布関数は、光学系の収差やローパスフィルターＬＰＦの効果で、第１及び第２の瞳強度分布２７、２８の角部２９、３０が丸みを帯び、全体的に裾もなだらかになることが予想されるので１対の線像分布関数の相似性は更に向上していると推定される。
【００７７】
なお、ここまではマイクロレンズμＬの光軸と画素部の中心が偏心していない光軸Ｌ１付近の画素部について述べたが、固体撮像素子１００上の周辺部においても同様である。
【００７８】
従って、本実施形態においては、小デフォーカスから大デフォーカスにいたるまで、相似性の高い線像分布関数を得ることができる。また、位相ずれ検出に用いる１対の物体像は、式（２）より、図１３の線像分布関数と被写像の位相ずれ方向の光量分布とのたたみこみ積分で与えられるので、相似性の高い良質な焦点検出用画像信号を得ることが可能となる。
【００７９】
以上のことから、相似性の高い１対の物体像を得るためには、１対の線像分布関数の相似性が重要となり、本実施形態では１対の光電変換部の構成を工夫し、位相ずれ方向における感度分布にクロストークを設けることで、１対の線像分布関数の相似性を向上させた。位相ずれ方向における感度分布のクロストーク量は、図８〜１０を用いて説明したように、ｎ層１２９、１３０間の距離ΔＬによって決定され、このΔＬの量により１対の線像分布関数の相似性は変化すると言える。従って、このΔＬを位相ずれ方向におけるｎ層１２９、１３０の幅と焦点検出時の撮像光学系のＦ数（Ｆナンバー）を基に最適化する必要がある。
【００８０】
図１４は、撮像光学系のＦナンバーを変換させた場合の１対の線像分布関数を示す図であり、３１，３３，３５は図１２の第１の領域２１に、３２，３４，３６は第２の領域２２に対応しており、３１，３２が図１２における２３（図１における開口１０）に、３３，３４が図１２における２４（図１における開口１１）に、３５，３６が図１２における２５（図１における開口１２）にそれぞれ対応している。
【００８１】
この図１４から分かるように、撮像光学系のＦナンバーを変化させることによって、１対の線像分布関数の相似性が変化している様子が見られ、絞りＳＴの開口１０若しくは開口１１に対応した線像分布関数３１，３２若しくは３３，３４の相似性が高いことが分かる。位相差方式の焦点検出においては、撮像光学系のＦナンバーが明るいほど、基線長が長くなり高精細なデフォーカス検出が可能となり、低輝度時の限界性能も向上するので、本実施形態では、絞りＳＴの開口１０で焦点検出を行うこととする。
【００８２】
なお、より明るい開口９を用いて焦点検出を行いたい場合は、図９に示すｎ層１２９，１３０間の間隔ΔＬを広げて、１対の線像分布２７，２８の相似性を向上させればよい。ただし、この場合は図１１の円Ｃで示すように、撮像時の光電変換部感度分布の落ち込み部分の領域が拡大するので、ＡＰＥＸ式の露出演算に誤差が生じやすくなる。また、撮像時の画像信号にも不自然なボケが発生しやすくもなる。本実施形態では、このようなことも考慮して、ｎ層１２９，１３０間の間隔ΔＬと焦点検出時のＦナンバーを決定している。
【００８３】
それでは、本実施形態における１対の物体像を算出してみる。そのために、まず被写体像を定義する。図１６は被写体像の位相ずれ方向における光量分布を示し、４４は２つの矩形波よりなる１次元方向の被写体像光量分布である。これは、黒地に白地の２本線のチャートによる光量分布である。従って、立ち上がり、立ち下りの極端な矩形波となっている。
【００８４】
図１７（ａ）〜（ｃ）は図１６の被写体像と図１４の瞳強度分布３１，３２をデフォーカス時の線像分布関数に変換したものから前記式（２）のたたみこみ積分で得られる１対の物体像を表している。図１７（ａ）は撮像光学系が後ピン方向に１ｍｍデフォーカスして場合で、物体像４５が射出瞳上の第１の領域２１に、物体像４６が第２の領域２２にそれぞれ対応している。
【００８５】
また、図１７（ｂ），（ｃ）は、撮像光学系が後ピン方向に３ｍｍ、５ｍｍデフォーカスした場合の物体像を示し、物体像４７，４９が射出瞳上の第１の領域２１に、物体像４８，５０が第２の領域２２にそれぞれ対応している。これらの図から明らかのように、デフォーカスが１ｍｍ、３ｍｍでの１対の物体像の相似性は高く、公知の相関演算などにより高精度に位相ずれを算出することができる。
【００８６】
デフォーカスが５ｍｍの場合は、多少相似性が低下するが、デフォーカスが大きくなるに従って、１対の物体像のボケ具合は増大していくので、十分に相関演算を用いて位相ずれを検出することができる。
【００８７】
図１８は図１７（ａ）〜（ｃ）の物体像のデフォーカス量とそのとき公知の相関演算で検出される位相ずれ量の関係を表すグラフである。
図中黒丸のプロット５１、５２、５３が図１７（ａ），（ｂ），（ｃ）にそれぞれ対応している。この図からも明らかなように、実用的なデフォーカス範囲において、デフォーカス量と位相ずれ量の関係はほぼ線形となるので、検出される位相ずれ量を基に容易に撮像光学系のデフォーカス量を算出することができる。
【００８８】
以上の結果から、本実施形態では、実用的なデフォーカス範囲において相似性の高い１対の物体像で焦点検出を行うことができ、結果として高精度で迅速な焦点検出を実現できる。また撮像時は、射出瞳の全光束を光電変換するように設計された通常の固体撮像素子と同様の良質な画像信号を得ることができる。
【００８９】
それでは、実際の焦点検出方法について説明する。撮影光学系がデフォーカスした場合、物体像は瞳の分離方向に位相がシフトしたものとなるので、焦点検出領域を撮像光学系の瞳の分離方向を長手方向とした長方形として設定しておく。
【００９０】
図１５は固体撮像素子１００のエリアセンサ部に設定された焦点検出領域を説明するための図で、図中太線枠で囲まれた３７〜４３が焦点検出領域としてあらかじめ設定されている。図中焦点検出領域３７付近のみ格子状に並べられた画素部を表示しているが、その他の領域については省略している。
【００９１】
以上のような構成で、第１光電変換部と第２光電変換部における出力信号を独立に読み出した画像信号を用いて、位相シフト量検出手段である周知の相関演算などにより位相シフト量を検出する。そして、その位相シフト量をデフォーカス量に換算して撮像光学系の焦点調節を行う。なお、焦点検出時の撮像光学系のＦナンバーは、前述したように絞りＳＴの開口１０を用いることとする。また、焦点検出領域２１は２組の画素列で構成されているが、これは、図４で説明したベイヤー配列で構成される撮像素子１００から各色（緑、赤、青）の画像信号を取り出すためで、詳細は後述する。
【００９２】
次に、撮像時においては、絞りＳＴの開口９〜１２を用い、第１光電変換部と第２光電変換部における出力信号を画素部レベルで加算することで、不自然な像のボケが生じることはなく、元々撮像光学系の瞳の全光束を使った画像を得るように設計された固体撮像素子で得られる画像と同レベルのＳ／Ｎ的に優れた高品位画像を得ることができる。
【００９３】
次に、本実施形態における電気系の回路構成について説明する。図１９は、撮像素子１００の周辺回路を含む内部構成を示したブロック図である。撮像素子１００内には、タイミング発生部１３４、エリアセンサ部１３５、画素の出力を選択する垂直走査部１３６および水平走査部１３７、アナログ信号処理部１３８、アナログ／デジタル変換を行うＡ／Ｄ変換部１３９、デジタル化された信号を出力信号に変換するデジタル信号処理部１４０、デジタル画像信号を外部に出力し、また外部からのコマンドデータを受け取るインターフェイス部１４１が設けられている。また、エリアセンサ部１３５は上述したＣＭＯＳセンサである。
【００９４】
タイミング発生部１３４は、外部からの基準周波数であるマスタークロックを元に、各光電変換部で光電変換された画像信号を読み出すためのタイミング信号を発生し、垂直および水平走査部１３６、１３７が、このタイミング信号に従って所要の走査制御を行って、電荷を読み出す。
【００９５】
なお、タイミング発生部１３４から垂直同期信号と水平同期信号を外部に出力し、撮像素子外でタイミング信号が必要なシステム用に、同期信号を供給する。
【００９６】
アナログ信号処理部１３８はエリアセンサ部１３５から読み出された画像信号をノイズ低減処理、増幅処理、ガンマ処理、クランプ処理してＡ／Ｄ変換部１３９に出力するためのものである。Ａ／Ｄ変換部１３９はこの画像信号をデジタル信号に変換して出力し、デジタル信号処理部１４０は、Ａ／Ｄ変換部１３９にてデジタル変換された画像信号をインターフェイス部１４１に出力する。インターフェイス部１４１はデジタル信号処理部１３９から出力されるデジタル画像信号を撮像素子１００の外部に出力する。
【００９７】
また、撮像素子１００は、外部からコマンド対応で撮像素子１００のモードや出力信号形態、信号出力タイミングなどをコントロールでき、外部からインターフェイス部１４１に撮像画像や焦点検出用画像を得るための所要のコマンドを与えると、インターフェイス部１４１が受けたコマンド対応の制御を行うように各構成要素を制御する。
【００９８】
図２０は、デジタル信号処理部１４０の内部の構成を示すブロック図で、焦点検出用画像を簡単に得るため、信号処理１（１４０−１）、・・・、信号処理ｎ（１４０−n）として出力位置指定コマンドが用意されており、エリアセンサ部１３８の撮像領域のうち、図１５に示した焦点検出領域３７〜４３が何れかに対応しており、任意の焦点検出領域を指定することにより、第１光電変換部と第２光電変換部における１対の焦点検出用画像信号が得られるような構成となっている。
【００９９】
一方、撮像の場合も同様に、デジタル信号処理部１４０に特定の撮像用のコマンドを指定することにより、エリアセンサ部１３８の撮像領域における第１光電変換部及び第２光電変換部での画像信号を画素部レベルで加算した撮像用画像信号を得ることができる。
【０１００】
なお、これらの焦点検出領域を含むラインについては、焦点検出用として電荷蓄積レベルが最適化された画像を出力するように構成されており、焦点検出領域内で適切な信号レベルを得るため、焦点検出領域別にも電子シャッタ設定を行うことができる。
【０１０１】
一般的に、ＣＣＤ型の撮像素子は全ての画素の電荷蓄積時間が同じであるが、本実施形態における撮像素子１００はＣＭＯＳセンサの特長を生かして、画素単位、あるいはライン単位、あるいはブロック単位での読み出しを行う構造をとることが容易にでき、更に、蓄積時間の始まりと終りを単位毎に異ならせることが可能である。ここでは、垂直ライン単位に電荷蓄積時間を変えるものとし、焦点検出領域内の画像がＡ/Ｄ変換レンジを有効に使えるようになっている。
【０１０２】
なお、本実施形態において、焦点検出領域は７つのみが設定されているが、あらかじめ定められた領域から選択するのではなく、トラックボールなどのポインティングデバイスを用意し、数１００程度の焦点検出領域から幾つかを任意に指定するようにしてもよい。こうすることで、撮像領域における広い領域での焦点検出を行うこともできる。
【０１０３】
図２１は、本実施形態における撮像装置の電気回路を示すブロック図である。図２１において、図１９に示される撮像素子１００にはＩＦ部１４１を介してマイクロコンピュータ１４２が接続されマイクロコンピュータ１４２により所要のコマンドをＩＦ部１４１に与えることにより撮像素子１００の制御を行う。マイクロコンピュータ１４０はＣＰＵ（中央演算処理部）１４３、ＲＯＭ１４４、ＲＡＭ１４５、ＥＥＰＲＯＭ１４６を有し、ＲＯＭ１４４に格納されているプログラムに従って各種動作が実行される。またＥＥＰＲＯＭ１４６には画像信号補正処理情報などの情報があらかじめ格納されている。
【０１０４】
最後に、１対の画像信号による焦点検出のための信号処理について説明する。まず、撮像光学系のＦナンバーは前述したように図１の開口１０を用いて焦点検出を行う。図２２は焦点検出領域３７の拡大図である。図に示すように、焦点検出領域３７は１２個の画素部で構成された画素列５１，５２を２組備えているが、実際の焦点検出領域３７は、例えば３００行×２列の多数の画素より構成されており、ここでは図の煩雑さをなくすため１２行×２列のみを用いて説明する。
【０１０５】
エリアセンサ部１３５のカラーフィルターはベイヤー配列をなしているので、各画素列には２種類のカラーフィルターが交互に配列されることになる。そこで、焦点検出のために、各画素列をカラーフィルターの種類で分類し、更に、それぞれから、第１光電変換部からの信号と第２光電変換部からの信号とからなる１対の画像信号を生成する。従って、焦点検出領域３７からは全部で４対の画像信号ができる。
【０１０６】
なお、１つの焦点検出領域については実質的に一律の蓄積時間とする。図２３〜２６はこの４対の画像信号を示しており、図２３は画素列５１のうち緑色カラーフィルターを備えた１画素おきの１対の画像信号で、白丸のプロットで示す５３はＧ１で示した第１の光電変換部の信号、黒丸のプロット５４はＧ２で示した第２の光電変換部の信号である。同様に、図２４は画素列５２のうち緑色カラーフィルターを備えた１画素おきの１対の画像信号、図２５は画素列５１のうち赤色カラーフィルターを備えた１画素おきの１対の画像信号、図２６は画素列５２のうち青色カラーフィルターを備えた１画素おきの１対の画像信号をそれぞれ示しており、白丸のプロットで示す５５、５７、５９は第１の光電変換部による画像信号、黒丸のプロットで示す５６、５８、６０は第２の光電変換部による画像信号である。
【０１０７】
これらは、撮像光学系によって焦点検出領域３７上に成された物体像が、オレンジ色と黄色の濃淡である場合の例であり、図２３と図２４に示した緑色のコントラストが高く、図２５に示した赤色は低コントラストであるものの強度は強く、更に、図２６に示した青色はコントラストも強度も低くなっている。図は物体像がデフォーカスした状態を示し、第１光電変換部の画像信号と第２光電変換部の画像信号とは位相がシフトしていることが分かる。また、焦点検出時のＦナンバーに合わせて図８、９に示す１対の光電変換部間の間隔ΔＬを最適化し、１対の線像分布の相似性を向上させているので、図２３〜図２６における１対の画像信号の相似性は損なわれていない。
【０１０８】
物体にピントがあった状態では、第１の光電変換部の画像信号と第の２光電変換部の画像信号とは位相が一致するため、１対の信号の同一性を判定することで合焦検知を行うことができる。つまり、相関演算を用いた公知の手法を用いて位相ずれ量を検出することにより、デフォーカス量を求めることができる。得られたデフォーカス量を撮像光学系の第２群ｇｒｐ２を駆動すべき量に換算すれば、自動焦点調節が可能である。レンズの駆動量をあらかじめ知ることができるので、通常、合焦位置までのレンズ駆動はほぼ一回で済み、極めて高速な焦点調節が実現できる。
【０１０９】
また、ここでは色分解した信号を用いたが、色分解しない場合はこれらを足しあわせた信号を得ることに相当するために低コントラストになりやすく、この結果、検出不能状態に陥りやすい。これに対して、色分解した信号を用いれば、ここに示したようにＲＧＢすべての信号に高いコントラストが現れるとは限らないが、逆にＲＧＢの何れかには高コントラストな信号が得られ、ほとんどの場合焦点検出が可能となる。
【０１１０】
また、画像信号５３，５４から検出された位相ずれ量、画像信号５５，５６から検出された位相ずれ量、信号５７，５８から検出された位相ずれ量、信号５９，６０から検出された位相ずれ量のうち、信頼性が高いものだけを選択して平均すれば、より高い焦点検出精度を得ることが可能である。例えば、図２５や図２６の場合のように低コントラストな信号では、その焦点検出結果を焦点調節に用いないようにすればよい。
【０１１１】
以上のような構成により、本発明の撮像装置は、固体撮像素子１００による位相差方式焦点検出と撮像を両立するとともに、焦点検出時には小デフォーカスから大デフォーカスに至るまで相似性の高い１対の画像信号を得ることができ、高精度で迅速な焦点検出を実現できる。また、撮像時には不自然なボケのない撮像光学系の射出瞳全体の光束による高品位画像信号を得ることができる。
【０１１２】
なお、本実施形態では、画素部を上下方向に分離した１対の光電変換部を有する固体撮像素子１００を用いて説明したが、画素部を左右方向に分離した場合あっても、位相ずれ方向に光電変換部感度分布のクロストークが発生するようにすれば、上記のような効果は得られる。
【０１１３】
（第２の実施形態）
第２の実施形態は、第1実施形態の固体撮像素子１００を改良したものであり、上下方向に分離された1対の光電変換部よりなる画素部と左右方向に分離された画素部を混在させた例である。そうすることにより、撮影された画像のボケ具合をより向上させ、より高品位な画像を得ることができる。
【０１１４】
また一般的に、位相差方式焦点検出においては、位相ずれ方向にコントラストのある被写体の焦点検出は得意とするが、位相ずれ方向に平行な方向にコントラストのある被写体については焦点検出不能となることが多い。
【０１１５】
第１の実施形態のように、固体撮像素子１００の画素部を上下方向にのみ分離した構成では、上下方向にコントラストのある被写体、いわゆる横線検出は得意とするが、縦線検出は行えない。ところが、第２の実施形態は、異なる方向に分離された光電変換部よりなる画素を混在させているので、縦線検出、横線検出の両方をも実現している。なお、基本的な光学構成、マイクロレンズによる瞳結像、画素部内の構成、回路構成など第１の実施形態と同様部分についての説明は省略する。
【０１１６】
図２７は、図１に示される、１９２０列×１０８０行の画素部を有する固体撮像素子１００うち４列×４行のみを抜き出した拡大平面図であり、第1の実施形態の図４に対応する。
１対の光電変換部とＭＯＳトランジスタを含む各画素はほぼ正方形にレイアウトされ、格子状に隣接して配置されている。画素６１〜６４は１つの画素がそれぞれ近接した１対の光電変換部を有する構成となっている。また、このエリアセンサ部は、各画素にＲ（赤色）Ｇ（緑色）Ｂ（青色）のカラーフィルターを交互に配して、４画素が一組となる所謂ベイヤー配列を形成し、図２７に付した、Ｒ、Ｇ、Ｂは赤色，緑色，青色のカラーフィルターを備えた画素部であることを、ＲＧＢに続く１あるいは２は、第１光電変換部か第２光電変換部かの区別を表している。
【０１１７】
更に、各画素において１対の光電変換部の占める割合は少ないためマイクロレンズμＬによって画素部全体の光束を集光して１対の光電変換部に導く構成としている。図２７において、一組のベイヤー配列画素６１〜６４は、緑色カラーフィルターの画素６４はのみが左右方向に分離された光電変換部よりなり、その他の画素６１〜６３は上下方向に分離された光電変換部より構成されている。従って、４画素一組のベイヤー配列において緑色カラーフィルターの１画素のみが異なる方向に分離されている構成となっており、この画素による１対の画像信号で縦線検出を行うことができる。以上のような２列×２行の画素配列構成を固体撮像素子１００の１９２０列×１０８０行の2次元領域に繰り返し配置し、エリアセンサ部を形成している。
【０１１８】
マイクロレンズμLにより撮像光学系の射出瞳上に投影された１対の光電変換部が射出瞳を分離している様子は、上下方向に画素部が分離されている画素、例えば、図２７の画素６１〜６３については、図１２と同様になる。従って、上下方向に分離された画素部の位相ずれ方向における感度分布は、図１０に示すような１対の光電変換部間でクロスしている。一方、左右方向に画素部が分離された画素、例えば、図２７の画素６４は、第一の実施形態の図８に表す画素部上面図を９０度回転させたものと考えることができるので、位相ずれ方向における感度分布は図１０と同様となり、射出瞳分離の様子は図１２を９０度回転させた図２８のようになる。
【０１１９】
図２８において、図１２と同様の記号を付している部分は第１の実施形態と同様の部分であり、絞りＳＴの開口９を後方レンズ群ｇｒｐ３、ｇｒｐ４を通して見た虚像である。右上がり斜線部６５は固体撮像素子１００の左右方向に分離された画素部における第１の光電変換部に入射する光束が通過する射出瞳上の第一の領域、左上がり斜線部６６は固体撮像素子１００の左右方向に分離された画素部における第２の光電変換部に入射する光束が通過する射出瞳上の第二の領域である。また、矢印Ｅは射出瞳分離の方向、即ちデフォーカスにより１対の物体像に位相ずれが生じる方向で、図１２の位相ずれが生じる方向である矢印Ｄと直交している。更に、第一の領域６５と第２の領域６６は中央部領域６７で交錯しており、これが図１０の感度分布１７、１８が重複しているクロストーク部分、図８で言うと領域Ｂに相当している。
【０１２０】
以上のことから、画素６１〜６３のように上下方向に分離された画素部、若しくは、画素６４のように左右方向に分離された画素部の何れであっても、位相ずれ方向は互いに直交するが、位相ずれ方向における１対の線像分布関数は図１３（図１４）のようになり、小デフォーカスから大デフォーカスに至るまで相似性の高い１対の焦点検出用画像信号を得ることができる。
【０１２１】
また、１対の光電変換部の出力信号を加算する撮像時においては、ベイヤー配列において視感度の高い緑色カラーフィルターの画素部分離方向を互いに直交するように構成しているので、図１１の円Ｃで示す感度落ち込みも互いに直交する関係にあるわけで、撮影画像におけるわずかに不自然なボケ具合も目立たなくすることができ、より高品位な画像信号を得ることができる。
【０１２２】
最後に、第２の実施形態の焦点検出について説明する。
図２９は固体撮像素子１００上にあらかじめ設定された焦点検出領域７２〜７８を表す図であり、添え字ａが上下方向に分離した画素部による横線検出を目的とした焦点検出領域、添え字ｂが左右方向に分離した画素部による縦線検出を目的とした焦点検出領域である。図中焦点検出領域７４ａ、７４ｂ付近のみ格子状に並べられた画素を表示しているが、その他の領域については省略している。それぞれの焦点検出領域は、射出瞳分離による位相ずれが生じる方向を長手方向とし、位相ずれの変換を効率よく検出できるように構成されている。
【０１２３】
それでは、まず横線検出を行う添え字ａの焦点検出領域における焦点検出方法について説明する。図３０は、焦点検出領域７４ａの拡大図である。図３０に示すように、焦点検出領域７４ａは１２個の画素部で構成された画素列７５、７６を２組備えているが、実際の焦点検出領域７４ａは、例えば３００行×２列の多数の画素より構成されており、ここでは図の煩雑さをなくすため１２行×２列のみを用いて説明する。焦点検出領域７４ａは上下方向に位相ずれする１対の物体像を検出するように構成されているので、上下方向に分離された画素部による画像信号で焦点検出を行うこととなる。従って、第１の実施形態の場合と同様にカラーフィルターの色で分解した画像信号を生成すると、緑色、青色、赤色の各色１組ずつ計３組の画像信号を得ることができる。
【０１２４】
次に、縦線検出を行う添え字ｂの焦点検出領域における焦点検出方法について説明する。図３１は、焦点検出領域７５ｂの拡大図である。焦点検出領域７５ｂも同様に、実際は２行×３００列の多数の画素より構成される。焦点検出領域７５ｂは、左右方向に位相ずれする１対の物体像を検出するように構成されているので、左右方向に分離された画素部による画像信号で焦点検出を行う。
【０１２５】
従って、焦点検出領域７５ｂからは画素列７８の緑色カラーフィルターによる１対の画像信号のみが得られる。なお、４画素一組のベイヤー配列画素において、緑色カラーフィルターの１画素のみを左右方向に分離したのは、多くの被写体像はＲＧＢに色分解した場合、緑色成分を含むことが多く、実用的な被写体像においては、緑色成分だけでも十分に焦点検出を行う上でほとんど弊害がないからである。
【０１２６】
以上のような構成により、位相ずれ方向が上下方向である３対の画像信号と位相ずれ方向が左右方向である１対の画像信号が得られる。一般的に被写体像は上下若しくは左右どちらかの方向にコントラストを有する場合が多いので、前記３対の画像信号のコントラストが低くても、多くの場合前記１対の画像信号にはコントラスト成分が含まれていることから、この画像信号を用いることで、位相ずれを検出することができる。従って、本実施形態では、第１の実施形態と比較してほとんどの被写体の焦点検出を行うことが可能となる。
【０１２７】
また、上下方向に分離した画素部と左右方向に分離した画素部の両方とも、１対の光電変換部間の感度分布にクロストークを設けたので、撮像若しくは焦点検出という目的に最適な画像信号を得ることができる。
【０１２８】
なお、本実施形態では、緑色カラーフィルターの画素のみを異なる方向に分離したが、緑色、青色、赤色のすべてが上下若しくは左右方向に分離されるような画素部配列としてもよい。
【０１２９】
（第３の実施形態）
第３の実施形態は、第１の実施形態を改良した例で、図８における１対の光電変換部間の間隔ΔＬを異ならせた複数の種類の画素部を混在させた固体撮像素子１００を備えた撮像装置である。
【０１３０】
従って、複数のＦナンバーでの焦点検出を可能とし、特に交換レンズシステムにおいて、明るいＦナンバーを備えた撮影レンズが装着された場合、通常焦点検出を行うＦナンバーより明るいＦナンバーで焦点検出を行うことで、焦点検出の基線長をより長くすることができ、より高精度な焦点検出を実現できると共に、低輝度限界の性能も向上させることができる。
【０１３１】
なお、基本的な光学構成、マイクロレンズによる瞳結像、画素部内の構成、回路構成など第１の実施形態と同様部分についての説明は省略する。また、これから説明する図中、第１の実施形態と同様の符号を付した部材は、第１の実施形態と同様であるので説明は省略する。
【０１３２】
図３２は、第３の実施形態における電気系のブロック図で、交換レンズシステムにおける撮影レンズ７９と撮像装置８０が図示されている。
撮影レンズ７９はＥＥＰＲＯＭ１４７とレンズＩＦ部１４８を有している。一方、撮像装置８０は、撮像装置ＩＦ部１４９とレンズ装着検知手段１５０を有している。以上のような構成で、撮影レンズ７９を図の矢印Ｆ方向に移動させ、不図示の着脱自在なレンズ装着メカ機構により撮像装置８０に対して撮影レンズ７９が固定される。そうすると、レンズ装着検知手段１５０により撮影レンズ７９の装着が検出され、レンズＩＦ部１４８、撮像装置ＩＦ部を介して、撮影レンズ７９のＥＥＰＲＯＭ１４７にあらかじめ記憶された、撮影レンズに関する情報や光学補正値などを撮像装置８０が読み込む。
【０１３３】
図３３（ａ）、（ｂ）は本実施形態の固体撮像素子１００に配置される画素部を拡大した上面図で、異なる２種類の構成の画素部が混在する。これらの図において、1対の光電変換部を構成するｎ層１２９、１３０の間の間隔ΔＬ1、ΔＬ２は異なっており、以下の式（４）のような関係がある。
ΔＬ１＜ΔＬ２ （４）
【０１３４】
ここで、図３３（ａ）におけるｎ層１２９、１３０とその間の領域Ｇを加えた部分と、図３３（ｂ）におけるｎ層１２９、１３０とその間の領域Ｈを加えた部分は、互いに同形状、同面積としている。そして、ｎ層１２９、１３０の間の領域Ｇ、Ｈにおいても第１の実施形態と同様に光電変換は行われ、従って、一対の光電変換部における画素部分離方向の感度分布は図３４にようになる。
【０１３５】
図３４において、実線で示す１対の感度分布８１ａ、８１ｂが図３３（ａ）に、点線で示す1対の感度分布８２ａ、８２ｂが図３３（ｂ）にそれぞれ対応しており、１対の感度分布にクロストークが生じる中央部以外は互いに重なって表示されている。これらの図からも明らかなように、ｎ層１２９、１３０の間の間隔が大きい感度分布８２ａ、８２ｂの方が１対の感度分布８２ａ、８２ｂが重複するクロストーク部分が大きくなっている。
【０１３６】
第1の実施形態において、図１４を用いて説明したように、撮像光学系の１つのＦナンバーに対して１対の線像分布関数の相似性が最も高くなるようなｎ層１２９、１３０の間の間隔ΔＬは限られてくる。いま、本実施形態では、ｎ層１２９、１３０間の間隔ΔＬ１、ΔＬ２が互いに異なっており、２種類の間隔ΔＬ１、ΔＬ２を有する画素部が混在している。従って、２種類の画素部における１対の線像分布関数の相似性が高くなるＦナンバーも２種類存在することとなり、式（４）の関係からΔＬ２の画素部の方がより明るいＦナンバーで１対の線像分布関数の相似性が最も高くなるようになる。
【０１３７】
本実施形態においては、図３３（ａ）に示す画素部は、交換レンズシステムにおけるすべての撮影レンズが満たすＦナンバー、例えばＦ５．６付近において、１対の線像分布関数の相似性が最も高くなるようΔＬ１が設定され、図３３（ｂ）に示す画素部は、交換レンズシステムにおける一部の撮影レンズが備える明るいＦナンバー、例えばＦ２．８付近において、１対の線像分布関数の相似性が最も高くなるように設定されている。
【０１３８】
なお、本実施形態では、１対の光電変換部に入射する光量と撮影レンズのＦナンバーがほぼ線形となる範囲における最も明るいＦナンバーは、Ｆ２．０付近に設定されており、上記２つの焦点検出時のＦナンバーより明るいＦナンバーとなっている。従って、焦点検出時には、撮影レンズの射出瞳全体の光束を光電変換することが可能になる。
【０１３９】
以上のことから、Ｆ２．８より暗いＦナンバーを有する通常の撮影レンズが装着されている場合は、撮影レンズの絞りをＦ５．６にした上で、図３３（ａ）に示す画素部による画像信号で焦点検出を行い、Ｆ２．８以下のＦナンバーを有する一部の撮影レンズが装着されている場合は、図３３（ｂ）に示す画素部による画像信号で焦点検出を行う。そうすることで、小デフォーカスから大デフォーカスに至るまで高精度で確実な焦点検出を行えると共に、Ｆ２．８以上の明るいＦナンバーの撮影レンズが装着された際には、Ｆ２．８の光束を用いて焦点検出を行うことができるので、より敏感度の高い焦点検出を行うことができる。また、焦点検出の低輝度限界も向上させることができる。
【０１４０】
なお、撮影レンズの開放Ｆナンバーに関する情報は、図３２の撮影レンズ７９のＥＥＰＲＯＭ１４７にあらかじめ記憶し、撮影レンズが装着された際にその情報を撮像装置側がＩＦ部を介して読み込めばよい。また、撮像時の感度分布は、図３４の１対の感度分布を加算したものとなる。
【０１４１】
第１の実施形態で説明したように、分離方向における撮像時の感度分布は、１対の光電変換部間でわずかながら他の部分に比べて感度が落ちる。従って、図３３（ｂ）の画素部の方が１対の光電変換部間の間隔ΔＬ２を大きくしているため、図３３（ａ）の画素部より感度が落ちる部分が大きくなる。従って、撮像時の画像信号にもわずかではあるが感度むらが生じる。このような場合には、図１９の固体撮像素子１００のアナログ信号処理部１３８における増幅率を図３３（ａ）、（ｂ）の画素部同士を互いに異ならせておけば、ＩＦ部１４１を介して感度むらのないより良質な画像信号を得ることも可能である。
【０１４２】
最後に、本実施形態における位相方式焦点検出方法について説明する。図３５は固体撮像素子１００上に設けた焦点検出領域を示す図である。
８３〜８９は焦点検出領域を示し、添え字ａが図３３（ａ）の画素部により構成される焦点検出領域、添え字ｂが図３３（ｂ）の画素部により構成される焦点検出領域である。図中焦点検出領域８５ａ、８５ｂ付近のみ格子状に並べられた画素を表示しているが、その他の領域については省略している。それぞれの焦点検出領域は、射出瞳分離による位相ずれが生じる方向、即ち画素部における１対の光電変換部分離方向を長手方向とし、位相ずれの変換を効率よく検出できるように構成されている。
【０１４３】
いま、添え字ａの焦点検出領域８３ａ〜８９ａと添え字ｂの焦点検出領域８３ｂ〜８９ｂはそれぞれ隣接して配置されている。そして、Ｆ２．８より暗いＦナンバーを開放Ｆナンバーとする撮影レンズが装着された場合の焦点検出では、まず撮影レンズのＦナンバーをＦ５．６にセットし、焦点検出領域８３ａ〜８９ａを用いて焦点検出用の画像信号を形成する。一方、Ｆ２．８以下のＦナンバーを開放Ｆナンバーとする明るい撮影レンズが装着された場合の焦点検出では、撮影レンズのＦナンバーをＦ２．８にセットし、焦点検出領域８３ｂ〜８９ｂを用いて焦点検出用画像信号を形成する。焦点検出領域８３ａ〜８９ｂは、いずれも第１の実施形態の図２２と同様の構成で２組の画素列より形成されるので、色分解した焦点検出用画像信号としては、図２３〜２６に示すように１つの焦点検出領域あたり４対得られることとなる。そして、公知の相関演算により前記画像信号から位相ずれ量を算出し、この位相ずれ量を撮影レンズのデフォーカス量に換算することで、位相差方式焦点検出を実現している。
【０１４４】
以上のような構成により、本実施形態では撮影レンズが備える開放Ｆナンバーに応じて、２種類の焦点検出領域を選択することができ、より明るいＦナンバーにおいても焦点検出が行えるようにしているので、明るいＦナンバーが持つ高敏感、低輝度限界向上といった利点を生かした焦点検出を行うこともできる。なお、本実施形態では、基本となる焦点検出時のＦナンバーとそれより明るいＦナンバーに対応する構成としたが、基本となる焦点検出時のＦナンバーより暗いＦナンバーに対応するようにしてもよい。
【０１４５】
特に、２次結像光学系による位相差方式焦点検出においては、一般的に撮影レンズのＦナンバーが暗い場合に撮像面上において焦点検出可能な領域は撮影レンズの光軸付近に限られることが多いので、基本の焦点検出Ｆナンバーより暗いＦナンバーに対応した画素部を設けると、撮影レンズの開放Ｆナンバーが比較的暗い高倍率ズームレンズを装着した際にも、撮像面上の広い領域で焦点検出を行うことが可能となり、有効である。
【０１４６】
また、３種類以上の複数のＦナンバーに対応した画素部を設けるようにして、明るいＦナンバーから暗いＦナンバーまで焦点検出を行えるようにしてもよい。
【０１４７】
（第４の実施形態）
第４の実施形態では、第１〜第３の実施形態で示した撮像装置をスチルカメラに適用してなる撮像システムについて例示する。
【０１４８】
図３８は、本実施形態のスチルカメラの主要構成を示すブロック図である。
同図において、１はレンズのプロテクトとメインスイッチを兼ねるバリア、２は被写体の光学像を固体撮像素子４に結像させるレンズ、３はレンズ２を通った光量を可変するための絞り、４はレンズ２で結像された被写体を画像信号として取り込むための固体撮像素子であり、これが第１〜第３の実施形態の撮像素子１００に対応する。５は固体撮像素子４から出力される画像信号のアナログ−ディジタル変換を行うＡ／Ｄ変換器、６はＡ／Ｄ変換器５から出力された画像データに各種の補正やデータ圧縮処理を施す信号処理部、７は固体撮像素子４，Ａ／Ｄ変換器５，信号処理部６に各種のタイミング信号を出力するタイミング発生部、８は各種の演算と当該スチルカメラ全体の動作を統括制御する全体制御・演算部、９は画像データを一時的に記憶するためのメモリ部、１０は記憶媒体に記憶又は読み出しを行うための記憶媒体制御インターフェース（Ｉ／Ｆ）部、１１は記憶媒体に記憶又は読み出しを行うための半導体メモリ等の着脱可能な記憶媒体、１２は外部コンピュータ等と通信するための外部Ｉ／Ｆ部である。
【０１４９】
次に、上述の構成におけるスチルカメラの動作について説明する。
【０１５０】
バリア１が開くとメイン電源がオンされ、続いてコントロール系の電源がオンされ、更にＡ／Ｄ変換器５等の撮像系回路の電源がオンされる。
【０１５１】
続いて、露光量を制御するために、全体制御・演算部８は絞り３を開放とし、固体撮像素子４から出力された信号がＡ／Ｄ変換器５で変換された後、信号処理部６に入力する。そのデータを基に露出の演算を全体制御・演算部８にて行う。全体制御・演算部８はこの測光を行った結果により明るさを判断し、その結果に応じて絞り３を制御する。
【０１５２】
続いて、固体撮像素子４から出力された画像信号を基に、被写体までの距離の演算を全体制御・演算部８にて行う。その後、レンズ２を駆動して合焦したか否かを判断し、合焦していないと判断したときには、再びレンズ２を駆動して測距を行う。
【０１５３】
そして、合焦が確認された後に本露光が開始される。
露光が終了すると、固体撮像素子４から出力された画像信号はＡ／Ｄ変換器５で変換され、信号処理部６を通り全体制御・演算部８の制御によりメモリ部９に書き込まれる。
【０１５４】
その後、メモリ部９に蓄積されたデータは全体制御・演算部８の制御により記憶媒体制御Ｉ／Ｆ部１０を通り記憶媒体１１に記憶される。また、外部Ｉ／Ｆ部１３を通り直接コンピュータ等に入力して画像の加工を行ってもよい。
【０１５５】
本実施形態では、前記実施形態の撮像装置による位相差方式焦点検出を行っているので、結果として高精度で迅速な焦点検出を実現できる。また撮像時は、射出瞳の全光束を光電変換するように設計された通常の固体撮像素子と同様の良質な画像信号を得ることができる。本実施形態のスチルカメラは、上述の効果を奏する撮像装置を備えているため、優れた画像表示を実現した信頼性の高いものである。
【０１５６】
【発明の効果】
本発明によれば、以下に示す顕著な効果が得られた。
（１）焦点検出時のＦナンバーを基に、小デフォーカスから大デフォーカスに至るまで１対の画像信号の相似性が高くなるよう画素部を構成したので、高精度で迅速な焦点調節を実現できた。
（２）同時に、元々撮像光学系の瞳の全光束を使った画像を得るように設計された撮像素子で得られる画像と同等のＳ/Ｎ的に優れた高品位画像を得ることができ、画像の不自然なボケをほぼ無くすことができた。
（３）複数のＦ数で小デフォーカスから大デフォーカスに至るまで、高精度で迅速な焦点調節を実現できた。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像光学系の斜視図である。
【図２】本発明の第１の実施形態における固体撮像素子のエリアセンサ部の画素部における上面図である。
【図３】エリアセンサ部の画素部における断面図である。
【図４】カラーフィルターの配列を部分的に拡大して示す模式図である。
【図５】マイクロレンズと受光部の投影関係を示す構成図である。
【図６】第１の光電変換部に入射する光束と、第２の光電変換部に入射する光束を各々示した模式図である。
【図７】撮影光学系射出瞳の上側半分を通過する光束を示した撮影光学系の構成図である。
【図８】エリアセンサ部の画素部における光電変換の様子を説明するための平面図である。
【図９】エリアセンサ部の画素部における光電変換の様子を説明するための断面図である。
【図１０】焦点検出における１対の光電変換部の感度分布を表す特性図である。
【図１１】撮像における１対の光電変換部の感度分布を表す模式図である。
【図１２】射出瞳分離の様子を示す模式図である。
【図１３】１対の瞳強度分布を示す模式図である。
【図１４】複数の絞りＳＴの開口における１対の瞳強度分布を示す模式図である。
【図１５】撮像素子上の焦点検出領域を示す模式図である。
【図１６】１次元方向の被写体像綱領分布を示す特性図である。
【図１７】デフォーカスによる１対の画像信号を示す特性図である。
【図１８】デフォーカスと位相ずれの関係を表す特性図である。
【図１９】撮像素子の周辺回路を含む内部構成を示したブロック図である。
【図２０】出力位置指定コマンドを説明するためのブロック図である。
【図２１】撮像装置の電気系のブロック図である。
【図２２】焦点検出領域を部分的に拡大して示す模式図である。
【図２３】画素列のうち緑色カラーフィルターを備えた受光部における１対の画像信号を示す特性図である。
【図２４】画素列のうち緑色カラーフィルターを備えた受光部における１対の画像信号を示す特性図である。
【図２５】画素列のうち赤色カラーフィルターを備えた受光部における１対の画像信号を示す特性図である。
【図２６】画素列のうち青色カラーフィルターを備えた受光部における１対の画像信号を示す特性図である。
【図２７】本発明の第２の実施形態における画素分離の配列を部分的に拡大して示す模式図である。
【図２８】第２の実施形態における射出瞳分離の様子を示す模式図である。
【図２９】第２の実施形態における撮像素子上の焦点検出領域を示す模式図である。
【図３０】焦点検出領域を部分的に拡大して示す模式図である。
【図３１】焦点検出領域を部分的に拡大して示す模式図である。
【図３２】第３の実施形態の交換レンズシステムにおける電気系のブロック図である。
【図３３】第３の実施形態におけるエリアセンサ部の画素部の上面図である。
【図３４】図３３の画素部における１対の光電変換部の感度分布を表す模式図である。
【図３５】第３の実施形態における撮像素子上の焦点検出領域を示す模式図である。
【図３６】本発明の第１の実施形態における撮像光学系の構成図である。
【図３７】本発明の第１の実施形態における固体撮像素子のエリアセンサ部の回路図である。
【図３８】本発明の第４の実施形態におけるスチルカメラの主要構成を示すブロック図である。
【図３９】従来例における画素部の断面図である。
【図４０】従来例における射出瞳分離の様子を示す模式図である。
【図４１】従来における１対の瞳強度分布を表す模式図である。
【符号の説明】
Ｌ１ 撮像光学系の光軸
ＳＴ 絞り
μＬ マイクロレンズ
１００ 撮像素子
１０１，１０２ ＭＯＳトランジスタゲートとゲート下の空乏層からなる第１，第２光電変換部
１０３，１０４ フォトゲート
１０５，１０６ 転送スイッチＭＯＳトランジスタ
１７，１８ １対の光電変換部の感度分布
２１，２２ 分離された射出瞳上の領域
２７，２８ １対の瞳強度分布
３７〜４３ 焦点検出領域
５３〜６０ 焦点検出用画像信号
【発明の属する技術分野】
本発明は、結像光学系からの光束を撮像素子にて光電変換し、画像信号を生成する撮像装置、この撮像装置を含むデジタルカメラ、ビデオカメラ、銀塩カメラなどの撮像システム、及び撮像方法に関するものである。
【０００２】
【従来の技術】
デジタルカメラでは、レリーズボタンの押下に応答して、CCDやCMOSセンサなどの固体撮像素子に被写体像を所望の時間露光し、これより得られた１つの画面の静止画像を表す画像信号をデジタル信号に変換して、YC処理などの所定の処理を施して、所定の形式の画像信号を得る。撮像された画像を表すデジタルの画像信号は、それぞれの画像毎に、半導体メモリに記憶される。記憶された画像信号は、随時読み出されて表示または印刷可能な信号に再生され、モニタなどに出力されて表示される。
【０００３】
従来より、デジタルカメラにおける撮像光学系の焦点検出では撮像装置を利用したコントラスト検出方式の焦点検出が行われており、一般に、このようなコントラスト検出方式の焦点検出においては、撮像光学系の光軸上位置を僅かに移動させながらコントラストの極値を求めていくために、合焦するまでの焦点調節にかなりの時間を要するという問題がある。
【０００４】
そこで、銀塩フィルムを使用する一眼レフカメラのなどに用いられている位相差検出方式の焦点検出をデジタルカメラの撮像素子を利用して行う焦点検出方法が提案されている。位相差検出方式の焦点検出ではデフォーカス量を求めることができるので、コントラスト検出方式に比して合焦するまでの時間を大幅に短縮することができるという利点がある。このような焦点検出方法の一例として、１対の光電変換部を2次元的に配列したマイクロレンズアレイ毎に設け、このマイクロレンズによって、１対の光電変換部よりなる画素部を撮像光学系の瞳に投影することで瞳を分離し、位相差式の焦点検出を行う方法が提案されている。更に、この受光手段として、１つのマイクロレンズ内における１対の光電変換部出力信号の加算、非加算を画素部単位で任意に行うことのできる特開平９−４６５９６号公報に記載の固体撮像素子を用いた撮像装置が提案されている。
【０００５】
図３９は、この撮像装置における画素部を示す断面図である。
同図において、１２４はＰ型ウェル、１２５、１２６はゲート酸化膜、１２７、１２８はポリＳｉ、１２９、１３０は完全空乏化できる濃度のｎ層、１３１はｎ+ フローティングディフュージョン領域（ＦＤ領域）、１３２、１３３は表面Ｐ+層である。ＦＤ領域１３１は転送ＭＯＳトランジスタの構成要素であるポリＳｉ１２７，１２８を介して第１及び第２の光電変換部であるｎ層１２９、１３０と接続される。ｎ層１２９及び１３０と表面Ｐ+層１３２及び１３３は埋め込み型フォトダイオードとして光電変換部を形成し、この構造により表面で発生する暗電流を抑制することができる。ＣＦは特定の波長域の光を透過するカラーフィルター、μＬは撮像光学系からの光束を効率的に第１及び第２の光電変換部に導くためのマイクロレンズである。このマイクロレンズμＬのパワーは、撮像光学系の射出瞳と各画素部内の一対の光電変換部が結像するように設定されており、従って、第１及び第２の光電変換部でそれぞれ射出瞳上の異なる領域を通過した光束を光電変換するよう構成されている。
【０００６】
このことから、第１及び第２の光電変換部による撮像光学系の射出瞳分離の様子は図４０のようになる。同図において、１は絞りＳＴが開放状態の場合で、絞りＳＴの開口を後方レンズ群ｇｒｐ３、ｇｒｐ４を通して見た虚像である。斜線部２は固体撮像素子１００の第１の光電変換部に入射する光束が通過する射出瞳上の第１の領域、斜線部３は固体撮像素子１００の第２の光電変換部に入射する光束が通過する射出瞳上の第２の領域である。なお、第１の領域２と第２の領域２の間にはわずかながら隙間４が存在するので、この領域を通過した光束は第１及び第２の光電変換部の何れにも光電変換されない。これは、図３８に示すように、ｎ層１２９及び１３０とＰ+層１３２及び１３３からなる埋め込み型フォトダイオードの間にｎ+ＦＤ領域を設けているためで、この部分においては光電変換が行われない。
【０００７】
以上のような構成で、固体撮像素子は、第1光電変換部と第2光電変換部で発生した電荷を別々にＦＤ領域１３３へ転送でき、このＦＤ領域１３３に接続した転送ＭＯＳトランジスタのタイミングだけで、２つの光電変換部の信号電荷の加算、非加算を実現している。従って、撮像時には第１及び第２の光電変換部の信号電荷を加算して読み出すことにより、撮像光学系の射出瞳全体の光束を光電変換する。
【０００８】
一方、焦点検出時には、第１及び第２の光電変換部の信号電荷を独立に読み出すことで、撮像光学系の射出瞳上の異なる領域を通過した光束をそれぞれ光電変換している。ここで、いま撮像光学系の射出瞳は図４０に示すように第１の領域２と第２の領域３に分離されているので、撮像光学系のデフォーカスにより物体像の位相ずれが生じる方向は図中矢印Ａで示す方向である。従って、焦点検出時には固体撮像素子上に矢印Ａで示す方向を長手方向とする画素列を設定し、独立に読み出した１対の信号電荷から１対の画像信号を生成することで、物体像の位相ずれを検出することができる。なお、位相ずれの検出には公知の相関演算などを用いればよい。以上のような構成で、固体撮像素子１００による撮像と位相差方式焦点検出の両立を実現している。
【０００９】
位相差方式焦点検出において、小デフォーカスから大デフォーカスに至るまで高精度に位相ずれを検出するには、任意のデフォーカスにおいて位相ずれ方向での１対の物体像が略相似形状であることが望ましい。こうすることにより、公知の相関演算で算出される１対の物体像の位相ずれ量と撮像光学系のデフォーカス量の関係をほぼ線形にすることができ、位相ずれ量から撮像光学系のデフォーカス量を容易に導き出すことができる。
【００１０】
いま被写体像の光量分布をｆ（ｘ，ｙ）、物体像の光量分布をｇ（ｘ，ｙ）とするとき、
【００１１】
【数１】
の関係（たたみこみ積分；convolution）が成立する。ここでｈ（ｘ，ｙ）は被写体が画像形成システムにおいて劣化する状態を表す伝達関数で、点像分布関数（point spread function）と呼ばれる。従って、焦点検出に用いる１対の物体像の相似性を知るには、点像分布関数を知る必要がある。
【００１３】
ここで、位相方式焦点検出においては、１対の物体像の１次元方向に注目し、その位相ずれを検出ため、点像分布関数の代わりに１次元の関数である線像分布関数（line spread function）により、焦点検出に関する画像システムを評価することができる。そこで、被写体像の光量分布をｆ（ｘ）、物体像の光量分布をｇ（ｘ）と置き換えると、上記式（１）は線像分布関数Ｌ（ａ）を用いて以下のように書き換えられる。
【００１４】
【数２】
従って、式（２）より任意のデフォーカス時の位相ずれ方向における１対の線像分布関数を知ることにより、１対の物体像の相似性を知ることができ、位相差方式焦点検出の基本的なデフォーカス性能を知ることができる。そして、式（２）より１対の線像分布関数の相似性が高いほど、１対の物体像の相似性も高くなることが分かる。
【００１６】
ある点光源が光学系の射出瞳を通過し結像面上に形成する点像の強度分布、いわゆる点像分布関数は、射出瞳形状が結像面上に縮小投影されていると考えられる。同様に、線像分布関数は１次元方向における射出瞳形状、即ち、射出瞳形状を１次元方向に積分したものがマイクロレンズμＬにより結像面上に縮小したものと考えることができる。実際には光学系の収差や製造誤差により、光線が射出瞳上のどこを通過したかで結像位置や強度が異なり、線像分布関数の形状は多少変化するが、ここでは、位相ずれ方向における１対の線像分布関数相似性を知ることが目的であるので、撮像光学系、マイクロレンズμＬは収差のない理想レンズとして簡略化する。また、上記従来例で説明した、撮像光学系の赤外カットフィルターF１、ローパスフィルターＬＰＦ、カラーフィルターＣＦ、光電変換部の感度分布、光電変換部のＳ/Ｎなどについても省略する。
【００１７】
いま、図４０における第１及び第２の光電変換部に入射する光束が通過する第１及び第２の領域２、３を位相ずれ方向、即ち矢印Ａ方向に積分してみる。図４１は、積分した結果を示すグラフで、原点を光軸Ｌ１としている。図中横軸が位相ずれ方向、縦軸が強度で、第１の瞳強度分布５が射出瞳上の第１の領域２、第２の瞳強度分布６が射出瞳上の第２の領域３にそれぞれ対応している。実際には、第１及び第２の瞳強度分布がマイクロレンズμＬにより結像面上に縮小されて線像分布関数となるわけだが、１対の線像分布関数の相似性を知るにはこのままで差し支えない。更に、ここでは撮像光学系のデフォーカスを考慮していないが、小デフォーカスの場合、第１及び第２の瞳強度分布５，６のそれぞれを横軸方向に縮小、縦軸方向に拡大、大デフォーカスの場合横軸方向に拡大、縦軸方向に縮小と考えることができる。
【００１８】
図４１中、第１及び第２の瞳強度分布５、６は位相ずれ方向、即ち横軸方向に互いにミラー反転したような半円形状となり、相似性は低い。従って、撮像光学系の射出瞳上で第1の領域２を通過する光束の任意のデフォーカスにおける１対の線像分布関数も位相ずれ方向において相似性が低いことが分かる。合焦近辺の線像分布関数は５、６を極端に横軸方向に縮小、縦軸方向に拡大したもの、即ちインパルス波形のような形状となるため、相似性は高くなるが、ある程度デフォーカスしてくると互いにミラー反転した半円形状が顕著に現れ、相似性は低下する。
【００１９】
従って、撮像光学系がある程度デフォーカスして、図４１の第１及び第２の瞳強度分布５，６に示すように、１対の線像分布関数の相似性が低い場合、結像面上の１対の物体像は、その線像分布関数の影響を受けて位相ずれ方向で不均一に変形し、相似性は低くなる。一方、撮像光学系の焦点が合焦近辺にある場合、線像分布関数はインパルス波形のような形状となるため、結像面上における１対の物体像もほぼ相似形となる。いま、位相ずれ方向における物体像とは、前述した位相ずれ方向を長手方向とした画素列による画像信号と等価であるので、撮像光学系がある程度デフォーカスしている場合、第1及び第2の光電変換部で得られる１対の画像信号の相似性は低く、互いに左右反転したような形状になる。
【００２０】
位相差方式の焦点検出においては、公知の相関演算によって算出される位相ずれ量と撮像光学系のデフォーカス量の関係を、実用的なデフォーカス範囲においておおよそ線形にし、検出される位相ずれ量から予想されるデフォーカス量を算出して、撮像光学系を合焦させる。上記従来例における位相ずれ量とデフォーカス量の関係は、１対の画像信号の相似性が高い小デフォーカスの範囲ではほぼ線形となるが、デフォーカス量が増大するにつれて１対の画像信号の相似性は低下し、線形とならない。従って、撮像光学系がある程度以上デフォーカスしている場合、１回の焦点検出では合焦に至ることはできない。しかしながら、小デフォーカスの範囲ではほぼ線形となるので、複数回焦点検出を行うことで、小デフォーカスを経て合焦に至ることが可能となる。
【００２１】
そこで、焦点検出時には撮像光学系の絞りＳＴを１対の開口部を有する２孔絞りとし、撮像時は退避する構成とすると、焦点検出時における１対の線像分布関数の特性を改善することができるため、大デフォーカスでも複数回の焦点検出を必要としない焦点検出を実現できる。
【００２２】
【発明が解決しようとする課題】
しかしながら、上記従来例においては、特に撮像光学系がある程度デフォーカスしている場合、複数回の焦点検出が必要となり、位相差方式焦点検出の長所である迅速な焦点調節が行えなくなる。
【００２３】
また、先ほど説明したような１対の開口部を有する２孔絞りを用いた場合、撮像光学系がある程度デフォーカスしていても複数回の焦点検出は必要ないが、撮像光学系に絞りの駆動メカなどを設け退避可能にする必要があるため撮像装置の小型化、コストを妨げる。
【００２４】
更に、１対の光電変換部に入射する光量と撮像光学系の絞りＳＴの開度との関係をおおよそ線形にすることで、被写体輝度、撮像素子の感度が与えられたときに、フィルムカメラと同様の手法で絞り値とシャッター速度を算出する、いわゆるＡＰＥＸ方式の演算が成り立つ。こうすることで、フィルムカメラと同じように一般の露出計を用いて露光量を算出することができ、撮影操作は極めて容易である。しかしながら、従来例においては、図３９に示すようにｐｎフォトダイオード１２９、１３０の間にｎ+ＦＤ領域１３１を設けたために、図４０の隙間４で示す第１及び第２の光電変換部の何れにも光電変換されない領域が存在し、撮像光学系の絞りＳＴを絞り込んでいくと、射出瞳の開口領域に対する隙間４の領域の割合は増大していくため、１対の光電変換部に入射する光量と撮像光学系の絞りＳＴの開度との関係は線形にならずに、絞り込んでいくほど誤差は増大する。従って、ＡＰＥＸ方式の露出演算にも誤差が生じ、また一般の露出計を用いることもできなくなる。
【００２５】
撮像の観点からみても、第１及び第２の光電変換部間の光電変換されない領域が存在すると、撮影した画像に不自然なボケ（２線ボケ）が生じやすくなる。
【００２６】
そこで本発明の目的は、上記のような問題に鑑みてなされたものであり、固体撮像素子による撮像と位相差方式焦点検出を両立するとともに、カメラの小型化、コストを妨げずに小デフォーカスから大デフォーカスに至るまで高精度で迅速な焦点検出が可能で、撮像時には、元々撮像光学系の射出瞳の全光束を使った画像を得るように設計された通常の固体撮像素子で得られる画像と同レベルのＳ/Ｎ的に優れた画像を得ることができる撮像装置を提供することである。
【００２７】
【課題を解決するための手段】
本発明の撮像装置は、結像光学系と、前記結像光学系の射出瞳を複数に分離した光束のうち第１の光束を光電変換する第１の光電変換部と前記第１の光束とは異なる第２の光束を光電変換する第２の光電変換部とを有する画素部が２次元領域に複数配置されてなる撮像素子と、前記複数の画素部それぞれの第１の光電変換部から第１の電気信号と前記複数の画素部それぞれの第２の光電変換部から第２の電気信号とを位相差を検出するために出力する出力部とを備え、前記第１の光電変換部における第１の電気信号には前記第１の光束に対応する信号の他に前記第２の光束に対応する信号が含まれ、前記第２の光電変換部における第２の電気信号には前記第２の光束に対応する信号の他に前記第１の光束に対応する信号が含まれ、前記第１、第２の電気信号にそれぞれ前記第２、第１の光束に対応する信号が含まれない場合よりも、相似性の高い当該第１の電気信号と当該第２の電気信号とから高精度の位相ずれを算出するとともに、当該第１の電気信号と当該第２の電気信号とを加算することで前記分離される前の射出瞳の光束に対応する信号に近い信号を取得する。
【００２８】
この構成により、位相差方式焦点検出の位相ずれ方向における１対の線像分布関数を小デフォーカスから大デフォーカスに至るまで相似形とすることができるため、高精度で迅速な焦点検出を実現できる。また、第１の光電変換と第２の光電変換部の間に入射する光束も光電変換することができるのでＡＰＥＸ方式の露出演算もほぼ成立し、元々撮像光学系の射出瞳の全光束を使った画像を得るように設計された通常の固体撮像素子で得られる画像と同レベルのＳ/Ｎ的に優れた画像を得ることができる。
【００２９】
本発明の撮像装置の一態様では、前記撮像素子は、前記第１の光電変換部及び前記第２の光電変換部による分割方向が異なる少なくとも２種類以上の前記画素部を備える。
この構成により、更に高品位な画像を得ることができると共に、焦点検出性能を向上させることができる。
【００３２】
本発明の撮像システムは、結像光学系と、前記結像光学系の射出瞳を複数に分離した光束のうち第１の光束を光電変換する第１の光電変換部と前記第１の光束とは異なる第２の光束を光電変換する第２の光電変換部とを有する画素部が２次元領域に複数配置されてなる撮像素子と、前記撮像素子からの信号に所定の処理を加える信号処理手段と、外部装置との間で信号授受を行うインターフェース手段と、当該システム全体の動作を制御する制御手段と、前記複数の画素部それぞれの第１の光電変換部から第１の電気信号と前記複数の画素部それぞれの第２の光電変換部から第２の電気信号とを位相差を検出するために出力する出力部とを備え、前記第１の光電変換部における第１の電気信号には前記第１の光束に対応する信号の他に前記第２の光束に対応する信号が含まれ、前記第２の光電変換部における第２の電気信号には前記第２の光束に対応する信号の他に前記第１の光束に対応する信号が含まれ、前記第１、第２の電気信号にそれぞれ前記第２、第１の光束に対応する信号が含まれない場合よりも、相似性の高い当該第１の電気信号と当該第２の電気信号とから高精度の位相ずれを算出するとともに、当該第１の電気信号と当該第２の電気信号とを加算することで前記分離される前の射出瞳の光束に対応する信号に近い信号を取得する。
【００３３】
この構成により、位相差方式焦点検出の位相ずれ方向における１対の線像分布関数を小デフォーカスから大デフォーカスに至るまで相似形とすることができるため、高精度で迅速な焦点検出を実現できる。また、第１の光電変換と第２の光電変換部の間に入射する光束も光電変換することができるのでＡＰＥＸ方式の露出演算もほぼ成立し、元々撮像光学系の射出瞳の全光束を使った画像を得るように設計された通常の固体撮像素子で得られる画像と同レベルのＳ/Ｎ的に優れた画像を実現する撮像システムを得ることができる。
【００３４】
本発明の撮像方法は、結像光学系からの光束を撮像素子にて光電変換し、画像信号を生成する撮像方法であって、前記結像光学系の射出瞳を複数に分離することにより、光束を第１の光束及び第２の光束に分離し、前記撮像素子を構成する複数の画素部における第１の光電変換部で前記第１の光束を、第２の光電変換部で前記第２の光束をそれぞれ光電変換するに際して、前記画素部において、前記第１の光電変換部による第１の感度分布と前記第２の光電変換部による第２の感度分布を重複させる感度領域を形成し、前記第１の光電変換部における第１の電気信号には前記第１の光束に対応する信号の他に前記第２の光束に対応する信号が含まれ、前記第２の光電変換部における第２の電気信号には前記第２の光束に対応する信号の他に前記第１の光束に対応する信号が含まれ、前記第１、第２の電気信号にそれぞれ前記第２、第１の光束に対応する信号が含まれない場合よりも、相似性の高い当該第１の電気信号と当該第２の電気信号とから高精度の位相ずれを算出するとともに、当該第１の電気信号と当該第２の電気信号とを加算することで前記分離される前の射出瞳の光束に対応する信号に近い信号を取得する。
【００３５】
この手法により、位相差方式焦点検出の位相ずれ方向における１対の線像分布関数を小デフォーカスから大デフォーカスに至るまで相似形とすることができるため、高精度で迅速な焦点検出を実現できる。また、第１の光電変換と第２の光電変換部の間に入射する光束も光電変換することができるのでＡＰＥＸ方式の露出演算もほぼ成立し、元々撮像光学系の射出瞳の全光束を使った画像を得るように設計された通常の固体撮像素子で得られる画像と同レベルのＳ/Ｎ的に優れた画像を実現することができる。
【００３６】
【発明の実施の形態】
以下、本発明を適用した具体的な諸実施形態について、図面を参照しながら詳細に説明する。
【００３７】
（第１の実施形態）
まず、第１の実施形態について述べる。なお、従来例で図示した構成部材等に対応するものについては、同符号を用いることとする。
【００３８】
初めに、本発明に用いる撮像光学系について説明する。
本実施形態の撮像光学系の構成を図３６に示す。
この撮像光学系は、固体撮像素子１００を用いるデジタルカラーカメラのズーム光学系であり、撮像光学系とカメラ本体が一体的に設けられている。同図の左手が物体側、右手が像面側となっている。同図において、撮像光学系は、負レンズ，正レンズ，正レンズからなる正の第１群（ｇｒｐ１）、負レンズ，負と正の接合レンズからなる負の第２群（ｇｒｐ２）、絞りＳＴ、正レンズからなる正の第３群（ｇｒｐ３）、負と正の接合レンズからなる第４群（ｇｒｐ４）により構成される。また、Ｆ１は赤外線（ＩＲ）カットフィルター、ＬＰＦは光学ローパスフィルター、 Ｌ１は撮像光学系の光軸である。
【００３９】
図中に矢印で示すように、ズーミングによって焦点距離が広角から望遠に向かうに従い、負の第２群ｇｒｐ２が像面側へ、正の第４群ｇｒｐ４が物体側へと同時に動く。撮像光学系は、図示しないレンズ駆動機構を持ち、モーターとギア列を用いて負の第２群ｇｒｐ２を光軸方向に移動させて、物体像が撮像素子１００上でピントを結ぶように焦点調節する。
【００４０】
固体撮像素子１００は、増幅型固体撮像装置の１つであるＣＭＯＳプロセスコンパチブルのセンサ（以降、ＣＭＯＳセンサと略す）である。このタイプのセンサはＩＥＥＥＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＥＬＥＣＴＲＯＮ ＤＥＶＩＣＥ，ＶＯＬ４１，ＰＰ４５２〜４５３，１９９４などの文献で発表されている。ＣＭＯＳセンサの特長の１つに、光電変換部のＭＯＳトランジスタと周辺回路のＭＯＳトランジスタを同一工程で形成できるため、マスク枚数、プロセス工程がＣＣＤと比較して大幅に削減できるということが挙げられる。
【００４１】
この特長を生かして、１つの画素部に２つの光電変換部を構成し、光電変換部毎に設けていたフローティングディフュージョン領域（以降、ＦＤ領域）とソースフォロワアンプを２つの光電変換部に１個だけ形成し、２つの光電変換領域をＭＯＳトランジスタスイッチを介してそのＦＤ領域に接続する。従って、２つの光電変換部の電荷を同時、または、別々にフローティングディフュージョン部へ転送でき、ＦＤ領域に接続した転送ＭＯＳトランジスタのタイミングだけで、２つの光電変換部の信号電荷加算、非加算を簡単に行うことができる。この構造を利用して、撮像光学系の射出瞳全体からの光束による光電変換出力を行う第１の出力モードと、撮像レンズの射出瞳の一部からの光束による光電変換出力を行う第２の出力モードとを切り替え可能としている。画素部レベルで信号の加算を行う第１の出力モードでは、信号を読み出した後で加算する方式に比べてノイズの少ない信号を得ることができる。
【００４２】
図３７は、前述したような２つの光電変換部の信号電荷加算、非加算を簡単に行うことができる撮像素子１００内のエリアセンサ部の回路構成図である。同図は、２列×２行の画素部による２次元エリアセンサを示したものであるが、実際は、１９２０列×１０８０行等と画素数を多くし、実用的な解像度を得る。図３７において、１０１及び１０２はｐｎフォトダイオードを用いた第１及び第２の光電変換部、１０３及び１０４は転送スイッチＭＯＳトランジスタ、１０５はリセット用ＭＯＳトランジスタ、１０６はソースフォロワアンプＭＯＳトランジスタ、１０７は垂直選択スイッチＭＯＳトランジスタ、１０８はソースフォロワの負荷ＭＯＳトランジスタ、１０９は暗出力転送ＭＯＳトランジスタ、１１０は明出力転送ＭＯＳトランジスタ、１１１は暗出力蓄積容量ＣＴＮ、１１２は明出力蓄積容量ＣＴＳ、１１３および１１４は垂直転送ＭＯＳトランジスタ、１１５および１１６は垂直出力線リセットＭＯＳトランジスタ、１１7は差動出力アンプ、１１８は垂直走査部、１１９は水平走査部で、画素部１２０を構成している。ここで、隣接した第１の光電変換部１０１と第２の光電変換部１０２をひとまとめにしたものが画素部１２０で、その他の画素部１２１〜１２３についても同様の構成である。
【００４３】
図１は、図３６に示す撮像光学系を含む撮像装置の斜視図である。
同図において、７は図３６に示す撮像光学系のうち、絞りＳＴよりも物体側にある第１群（ｇｒｐ１）と第２群（ｇｒｐ２）とをまとめて示した前方レンズ群、８は絞りＳＴよりも像面側にある第３群（ｇｒｐ３）、第４群（ｇｒｐ４）、をまとめて示した後方レンズ群であり、絞りＳＴの開口を通過した光束によって撮像素子１００上に物体像を形成する。なお、図の煩雑さを無くすため赤外線カットフィルターＦ１、光学ローパスフィルターＬＰＦは省略している。絞りＳＴは軸Ｌ２を中心にして回転し、不図示のモーターの駆動力によって選択的に４つのポジションをとり、開口９〜１２を切り替え可能である。
【００４４】
固体撮像素子１００は、増幅型固体撮像装置の１つであるＣＭＯＳプロセスコンパチブルのセンサ（以降、ＣＭＯＳセンサと略す）である。本実施形態では、従来例と同様に１つの画素部に２つの光電変換部を構成し、通常光電変換部毎に設けていたフローティングディフュージョン領域（以降、ＦＤ領域と略す）とソースフォロワアンプを２つの光電変換部に１個だけ形成し、２つの光電変換領域をＭＯＳトランジスタスイッチを介してそのＦＤ領域に接続する構成とした。従って、２つの光電変換部の電荷を同時、又は別々にＦＤ領域へ転送でき、ＦＤ領域に接続した転送ＭＯＳトランジスタのタイミングだけで、２つの光電変換部の信号電荷加算、非加算を簡単に行うことができる。
【００４５】
この構造を利用して、撮像光学系の射出瞳全体からの光束による光電変換出力を行う第１の出力モードと、撮像レンズの射出瞳の一部からの光束による光電変換出力を行う第２の出力モードとを切り替え可能としている。画素部レベルで信号の加算を行う第１の出力モードでは、信号を読み出した後で加算する方式に比べてノイズの少ない信号を得ることができる。
【００４６】
前述したような２つの光電変換部の信号電荷加算、非加算を簡単に行うことができる固体撮像素子１００内のエリアセンサ部の回路構成図は図３７と同様である。同図は、２列×２行の画素部による２次元エリアセンサを示したものであるが、実際は従来同様に１９２０列×１０８０行等と画素数を多くし、実用的な解像度を得る。
【００４７】
次に、図２及び図３を用いて本実施形態の画素部構成について説明する。
図２は図３７の画素部１２０を拡大して示す画素部上面図、図３は図２の画素部を断面Ａ−Ａで切断した画素部断面図である。
これらの図において、１２４はＰ型ウェル、１２５はゲート酸化膜、１２７、１２８はポリＳｉ、１２９、１３０は完全空乏化できる濃度のｎ層、１３１はｎ+ フローティングディフュージョン領域（ＦＤ領域）、１３２は表面Ｐ+層である。ＦＤ領域１３１は転送ＭＯＳトランジスタ１０３、１０４（図中ポリＳｉ１２７、１２８）を介して第１及び第２の光電変換部１０１、１０２（図中ｎ層１２９、１３０）と接続される。ｎ層１２９及び１３０と表面Ｐ+層１３２は埋め込み型フォトダイオードとして光電変換部を形成し、この構造により表面で発生する暗電流を抑制することができる。
【００４８】
ＣＦは特定の波長域の光を透過するカラーフィルター、μＬは図３８に示す撮像光学系からの光束を効率的に第１及び第２の光電変換部１０１、１０２に導くためのマイクロレンズである。図２の画素部上面図においては、１２４〜１３２の画素部上面にゲート酸化膜１２５、カラーフィルターＣＦ、マイクロレンズμＬが配置されるわけだが、図の煩雑さをなくすためゲート酸化膜１２５は省略し、カラーフィルターＣＦ、マイクロレンズμＬは図中点線で示している。また、二点鎖線は第1及び第2の光電変換部より構成される略正方形の画素部を理解しやすくするために図示したものであり、この１つの画素部が2次元領域に格子状に配列され、固体撮像素子１００のエリアセンサ部を形成している。
【００４９】
なお、マイクロレンズμＬのパワーは、図３６の撮像光学系の射出瞳と１対の光電変換部１２０が結像するように設定されており、従って、第１及び第２の光電変換部１０１、１０２でそれぞれ射出瞳上の異なる領域を通過した光束を光電変換するように構成されている。
【００５０】
図４は、図１に示される、１９２０列×１０８０行の画素部を有する固体撮像素子１００うち４列×４行のみを抜き出した拡大平面図である。光電変換部とＭＯＳトランジスタを含む各画素部はほぼ正方形にレイアウトされ、格子状に隣接して配置されている。図３７を用いて先に説明した画素部１２０〜１２３は、図中それぞれ画素部１1〜１4内に位置し、従って、１つの画素部がそれぞれ近接した２つの光電変換部を有する構成となっている。
【００５１】
また、このエリアセンサ部は、各画素部にＲ（赤色）Ｇ（緑色）Ｂ（青色）のカラーフィルターを交互に配して、４つの画素部が一組となる所謂ベイヤー配列を形成している。ベイヤー配列では、観察者が画像を見たときに強く感じやすいＧの画素部をＲやＢの画素部よりも多く配置する事で、総合的な像性能を上げている。
【００５２】
一般に、この方式の撮像素子では、輝度信号は主にＧから生成し、色信号はＲ，Ｇ，Ｂから生成する。前述したように画素部はそれぞれ１対の光電変換部を有している。図に付した、Ｒ、Ｇ、Ｂは赤色，緑色，青色のカラーフィルターを備えた画素部であることを、ＲＧＢに続く１あるいは２は、第１光電変換部か第２光電変換部かの区別を表している。例えば、Ｒ１は赤色カラーフィルターを備えた第１光電変換部であり、Ｇ２は緑色カラーフィルターを備えた第２光電変換部を意味する。
【００５３】
更に、各画素部において光電変換部の占める割合は少なく、撮像光学系から射出した光束を有効に利用するためには、画素部毎に集光用レンズを設けて、１対の光電変換部以外に到達しようとする光を光電変換部上に偏向することが必要で、それが図３に示されるマイクロレンズμＬである。
【００５４】
図５はこのために撮像素子前面に設けたマイクロレンズと１対の光電変換部との光学的位置関係を示す断面図で、撮影光学系L１付近の一部分を拡大したものである。
マイクロレンズμＬ−１〜μＬ−４は画素部の中心と光軸とがおおよそ一致した軸対称型の球面レンズあるいは非球面レンズであって、各々矩形の有効部を持ち、光入射側を凸形状として格子状に密に並べられている。図1に示す撮像光学系は図の左側に位置し、撮像光学系を射出した光束は、ＩＲカットフィルターＦ１、光学ローパスフィルターＬＰＦを通って、先ずマイクロレンズμL−１〜μL−４に入射する。各マイクロレンズの後方にはカラーフィルターＣＦ−１〜ＣＦ−４が配置され、ここで所望の波長域のみが選択されて各光電変換部に到達する。
【００５５】
カラーフィルターは図４を用いて説明したようにベイヤー配列を構成しており、ＲＧＢの３種がある。また、ベイヤー配列であることから、断面に現れるのはこのうちの２種であって、ＣＦ−１、ＣＦ−３が緑色透過カラーフィルター、ＣＦ−２、ＣＦ−４が赤色透過カラーフィルターである。
【００５６】
ここで、各マイクロレンズのパワーは撮像素子における各画素部内の１対の光電変換部を撮像光学系の射出瞳に投影するように設定されている。このとき、１対の光電変換部の投影像が撮像光学系の絞り開放時の射出瞳よりも大きくなるように投影倍率を設定し、１対の光電変換部に入射する光量と撮像光学系の絞りＳＴの開度との関係をおおよそ線形にする。こうすれば、被写体輝度、撮像素子の感度が与えられたときに、フィルムカメラと同様の手法で絞り値とシャッター速度を算出することができる。つまり、入射光量が絞りの開口面積に比例するようになり、ＡＰＥＸ方式の演算が成り立つ。フィルムカメラと同じように一般の露出計を用いて露光量を算出することができて、撮影操作は極めて容易である。
【００５７】
なお、撮像光学系は主光線の固体撮像素子１００への入射角が、固体撮像素子１００上のすべてのマイクロレンズにおいて０度となるようにテレセントリック系とするのがマイクロレンズによる瞳投影精度の点で望ましいが、小型化、ズーム比の高倍率化の要求から完全なテレセントリック系にするのは困難である。この際には、マイクロレンズと画素部とを僅かに偏心させ、偏心量を撮像光学系の光軸から画素部までの距離の関数とすればよい。一般には、この偏心量を距離に応じて単調に増加させれば、画面周辺の画素部においても撮像光学系の射出瞳上に正しく投影できるようになる。しかしながら、本実施形態では、１０列×１０行のブロック毎にマイクロレンズを一律に偏心させる構成としている。こうすることで、マイクロレンズの製造工程を簡略化でき、コストダウンの効果がある。
【００５８】
図６（ａ），（ｂ）は理解を容易にするために、図６に示した１つの画素部について、第１の光電変換部に入射する光束と、第２の光電変換部に入射する光束のそれぞれを分けて示した図である。
第１の光電変換部に入射する光束を示す図６（ａ）では、図の下方からの光束が第１の光電変換部に入射し、第２の光電変換部に入射する光束を示す図６（ｂ）では、図の上方からの光束が第２の光電変換部に入射していることが分かる。
【００５９】
従って、撮像素子全体では第２の光電変換部に入射する光束は図７に示すようになり、エリアセンサ部のいずれの位置に入射する光束も、絞りＳＴの上半分を通過する光束である。一方、撮像素子全体の第１光電変換部に入射する光束は撮像レンズの光軸Ｌ１を対称軸として上下を反転したものとして考えればよい。
以上のような構成で、撮像素子１００の第１及び第２光電変換部における出力信号を独立に読み出すことで、撮影光学系の異なる射出瞳を通過した光束を光電変換することを可能としている。一方、撮像時には第１及び第２の光電変換部における出力信号を加算することで撮像光学系の射出瞳全体の光束を光電変換することを可能とし、固体撮像素子１００による撮像と位相差方式焦点検出の両立を実現している。
【００６０】
次に、本実施形態の撮像装置における焦点検出の特性及び撮像の特性について述べる。位相差方式焦点検出において、小デフォーカスから大デフォーカスに至るまで高精度に位相ずれを検出するには、実用的なデフォーカス範囲において位相ずれ方向での１対の物体像が略相似形状であることが望ましく、こうすることにより、公知の相関演算で算出される１対の物体像の位相ずれ量と撮像光学系のデフォーカス量の関係をほぼ線形にすることができるため、位相ずれ量から撮像光学系のデフォーカス量を容易に導き出すことができ、高精度で迅速に焦点検出を実現できる。そこで本実施形態においても、１対の物体像の相似性を知るために位相ずれ方向における１対の線像分布関数を調べてみる。
【００６１】
１対の線像分布関数を導くためのパラメータとしては、撮像光学系の収差、赤外カットフィルターＦ１、ローパスフィルターＬＰＦ、マイクロレンズμＬの収差、カラーフィルターＣＦ、光電変換部の感度分布、光電変換部のＳ/Ｎ、射出瞳分離の様子などが必要になる。ここでは、撮像光学系、マイクロレンズμＬは収差のない理想レンズとし、赤外カットフィルターF１、ローパスフィルターＬＰＦ、カラーフィルターＣＦ、光電変換部のＳ/Ｎは省略し、計算を簡略化する。従って、本実施形態では、光電変換部の感度分布、射出瞳分離の様子から線像分布関数を求める。
【００６２】
はじめに、光電変換部の感度分布について考えてみる。図８，９は光電変換部の感度分布を説明するための画素部を示す図で、図８は図２の画素部上面図、図９は図３の画素断面図と同様である。
これらの図に示されるように、１対の光電変換部、即ち図中右上がり斜線部で示すｎ層１２９、１３０は微小な間隔ΔＬを隔てて配置され、ｎ層１２９、１３０の間、即ち図中左上がり斜線部で示す領域BはＰ型ウェルで構成されている。また、図９において点線で示される１３３はｎ層１２９、１３０の下の空乏層である。
【００６３】
いま、マイクロレンズμＬにより集光された光が光子ｈνとしてシリコン中に入るとキャリアが発生し、キャリアの１つである電子について考えると、まずｎ層で発生した電子はｎ層中に蓄えられる。またＰ型ウェル中で発生した電子については、その電子が拡散によって空乏層の端に運動してきた場合、空乏層のポテンシャル勾配によってｎ層へ運動し、ｎ層中に蓄えられる。このような法則により、例えばｎ層１２９側に近い位置のＰ型ウェル中で発生した電子はｎ層１２９へと蓄積され、また逆も真である。そして、ポテンシャル勾配に捕らえられなかった電子は、有効な電荷とならず消滅する。
【００６４】
ここで、領域Ｂについて電荷が発生した場合を考えてみると、拡散によってある地点へ電荷がやってくる可能性は距離に依存し、従って、ｎ層１２９そばの中性領域（空乏層ができていない半導体内の領域）において発生した電子はよりｎ層１２９に捕らえられやすく、ｎ層１３０近傍で発生した電子はｎ層１３０に捕らえられやすく、中間点で発生した場合は半々の確率でどちらかに捕獲される。
【００６５】
この確率は、距離との関係においてこの距離が電子の拡散長に対して十分短い場合ほぼ線形となる。拡散長のオーダーは数ミリにもおよび、一方距離、即ちΔＬは高々数ミクロンゆえ、十分短いと考えてよいので、本実施形態においては、この領域Ｂにおいて発生した電子のうち、ｎ層１２９が捕獲する確率はｎ層１２９からの距離との関係においてほぼ線形となり、ｎ層１３０においても同様である。
【００６６】
また、領域Ｂにおいては、ｎ層１２９、１３０に移動する電子のほか、Ｐ型ウェル中へ移動していき、有効な光電荷とならないキャリアがほんのわずかであるが存在する。なお、ｎ層１２９、１３０の下方の空乏層１３３が領域Ｂ付近において一部つながることがあるが、その場合も同様の現象がみられる。つながった部分においてはドリフト（空乏層によって設けられるポテンシャル勾配による電子の運動）により割合が規定されるが、繋がっていない位置においては、上記と同様に電子の捕獲される割合が決まる。
【００６７】
以上のことから、図９に示す画素部断面図における１対の光電変換部の感度分布は図１０のようになる。図１０において、縦軸は感度、横軸は断面方向、即ち図９の紙面左右方向、原点は１対の光電変換部の中心と一致している。１７はｎ層１２９による第１の光電変換部１０１に対応した感度分布、１８はｎ層１３０による第２の光電変換部１０２に対応した感度分布で、図８の領域Ｂに対応した部分、即ち図の縦軸付近で１対の感度分布１７、１８が重複する、即ち位相ずれ方向における１対の感度分布にクロストークが発生している。この感度分布１７、１８が重複するクロストーク部分は、図８、９のｎ層１２９、１３０間の間隔ΔＬにほぼ一致している。
【００６８】
図１０の感度分布は図８の断面Ａ−Ａにおける１次元方向の感度分布であるが、断面Ａ−Ａに平行な１次元方向の感度分布は１対の光電変換部どこでも同様であるので、図１０の領域Ｂに入射する光束も第１若しくは第２の光電変換部１０１、１０２のどちらかに光電変換されることが分かる。
【００６９】
図１１は、図１０の感度分布１７、１８を加算した感度分布１９を示し、従って、この感度分布１９が第１及び第２の光電変換部１０１、１０２の光電変換出力を加算する撮像時の光電変換部感度分布に相当する。感度分布１９は円で囲んだ部分Ｃにおいて感度の低下がみられるが、これは、図８の領域Ｂに対応した部分で前述したような理由により生じているが、その低下の度合いはごくわずかであるため画像信号への影響は極めて少ない。
【００７０】
従来では、この部分の感度は０であったので、それに比べると飛躍的な向上と言える。従って、本実施形態において、撮像時には撮像光学系の射出瞳全体の光束を光電変換することが可能で、前述したＡＰＥＸ式の露出演算もほぼ成立し、不自然なボケのない良質な画像信号を得ることが可能となる。
【００７１】
次に、撮像光学系の射出瞳分離の様子を説明する。図１２は本実施形態における第１及び第２の光電変換部による撮像光学系の射出瞳分離の様子を示す図である。
同図において、２０は絞りＳＴが開放状態の場合で、絞りＳＴの開口９を後方レンズ群ｇｒｐ３、ｇｒｐ４を通して見た虚像である。右上がり斜線部２１は固体撮像素子１００の第１の光電変換部に入射する光束が通過する射出瞳上の第一の領域、左上がり斜線部２２は固体撮像素子１００の第２の光電変換部に入射する光束が通過する射出瞳上の第二の領域である。点線で示す２３、２４、２５は絞りＳＴの開口１０、１１、１２にそれぞれ対応しており、同様に後方レンズ群ｇｒｐ３、ｇｒｐ４を通して見た虚像である。
【００７２】
また、矢印Ｄは射出瞳分離の方向、即ちデフォーカスにより１対の物体像に位相ずれが生じる方向を示している。第一の領域２０と第２の領域２１は中央部領域２６付近で交錯しており、これが図１０の感度分布１７、１８が重複しているクロストーク部分、図８で言うと領域Ｂに相当している。即ち、中部領域２６を通過した光束も、マイクロレンズμＬにより図８の領域Ｂ上に導かれる。従って、例えば、第１の領域２１に関する１次元方向の瞳強度分布を算出するには、図１２の右上がり斜線部を位相ずれ方向に積分した結果をＳ（Ｘ）、図１０の位相ずれ方向における第１の光電変換部の感度分布をＰ（Ｙ）とすると、積分結果Ｓ（Ｘ）のＸに対応した感度分布Ｐ（Ｙ）をＳ（Ｘ）に乗じる必要があり、最終的に以下の式（３）により位相ずれ方向における瞳強度分布が算出される。
【００７３】
【数３】
ここで、Ｙは図１０の感度分布の横軸で、射出瞳上の位相ずれ方向の座標Ｘに対応して１つのＹが定まる。
【００７５】
図１３は、式（３）を用いて算出した本実施形態の瞳強度分布を表すグラフである。原点は光軸Ｌ１と一致しており、横軸が位相ずれ方向、縦軸が強度、２７が射出瞳上の第1の領域２１に対応した第1の瞳強度分布、２８が射出瞳上の第２の領域２２に対応した第2の瞳強度分布を示している。実際には、第１及び第２の瞳強度分布がマイクロレンズμＬにより結像面上に縮小されて線像分布関数となるわけだが、ここでは１対の線像分布関数の相似性を知ることが目的であるのでこのままで差し支えない。更に、撮像光学系のデフォーカスも考慮していないが、小デフォーカスの場合、第１及び第２の瞳強度分布２７、２８を横軸方向に縮小、縦軸方向に拡大、大デフォーカスの場合横軸方向に拡大、縦軸方向に縮小と考えることができる。
【００７６】
図１３中、第１及び第２の瞳強度分布２７、２８は、図１０に示す感度分布１７、１８のクロストークの影響を受け、中央付近の角部２９、３０を境に重複している。しかしながら、それぞれの強度分布は左右に裾を広げた形状となり、従来例の第１及び第２の瞳強度分布５、６に比べて相似性が向上している。実際の線像分布関数は、光学系の収差やローパスフィルターＬＰＦの効果で、第１及び第２の瞳強度分布２７、２８の角部２９、３０が丸みを帯び、全体的に裾もなだらかになることが予想されるので１対の線像分布関数の相似性は更に向上していると推定される。
【００７７】
なお、ここまではマイクロレンズμＬの光軸と画素部の中心が偏心していない光軸Ｌ１付近の画素部について述べたが、固体撮像素子１００上の周辺部においても同様である。
【００７８】
従って、本実施形態においては、小デフォーカスから大デフォーカスにいたるまで、相似性の高い線像分布関数を得ることができる。また、位相ずれ検出に用いる１対の物体像は、式（２）より、図１３の線像分布関数と被写像の位相ずれ方向の光量分布とのたたみこみ積分で与えられるので、相似性の高い良質な焦点検出用画像信号を得ることが可能となる。
【００７９】
以上のことから、相似性の高い１対の物体像を得るためには、１対の線像分布関数の相似性が重要となり、本実施形態では１対の光電変換部の構成を工夫し、位相ずれ方向における感度分布にクロストークを設けることで、１対の線像分布関数の相似性を向上させた。位相ずれ方向における感度分布のクロストーク量は、図８〜１０を用いて説明したように、ｎ層１２９、１３０間の距離ΔＬによって決定され、このΔＬの量により１対の線像分布関数の相似性は変化すると言える。従って、このΔＬを位相ずれ方向におけるｎ層１２９、１３０の幅と焦点検出時の撮像光学系のＦ数（Ｆナンバー）を基に最適化する必要がある。
【００８０】
図１４は、撮像光学系のＦナンバーを変換させた場合の１対の線像分布関数を示す図であり、３１，３３，３５は図１２の第１の領域２１に、３２，３４，３６は第２の領域２２に対応しており、３１，３２が図１２における２３（図１における開口１０）に、３３，３４が図１２における２４（図１における開口１１）に、３５，３６が図１２における２５（図１における開口１２）にそれぞれ対応している。
【００８１】
この図１４から分かるように、撮像光学系のＦナンバーを変化させることによって、１対の線像分布関数の相似性が変化している様子が見られ、絞りＳＴの開口１０若しくは開口１１に対応した線像分布関数３１，３２若しくは３３，３４の相似性が高いことが分かる。位相差方式の焦点検出においては、撮像光学系のＦナンバーが明るいほど、基線長が長くなり高精細なデフォーカス検出が可能となり、低輝度時の限界性能も向上するので、本実施形態では、絞りＳＴの開口１０で焦点検出を行うこととする。
【００８２】
なお、より明るい開口９を用いて焦点検出を行いたい場合は、図９に示すｎ層１２９，１３０間の間隔ΔＬを広げて、１対の線像分布２７，２８の相似性を向上させればよい。ただし、この場合は図１１の円Ｃで示すように、撮像時の光電変換部感度分布の落ち込み部分の領域が拡大するので、ＡＰＥＸ式の露出演算に誤差が生じやすくなる。また、撮像時の画像信号にも不自然なボケが発生しやすくもなる。本実施形態では、このようなことも考慮して、ｎ層１２９，１３０間の間隔ΔＬと焦点検出時のＦナンバーを決定している。
【００８３】
それでは、本実施形態における１対の物体像を算出してみる。そのために、まず被写体像を定義する。図１６は被写体像の位相ずれ方向における光量分布を示し、４４は２つの矩形波よりなる１次元方向の被写体像光量分布である。これは、黒地に白地の２本線のチャートによる光量分布である。従って、立ち上がり、立ち下りの極端な矩形波となっている。
【００８４】
図１７（ａ）〜（ｃ）は図１６の被写体像と図１４の瞳強度分布３１，３２をデフォーカス時の線像分布関数に変換したものから前記式（２）のたたみこみ積分で得られる１対の物体像を表している。図１７（ａ）は撮像光学系が後ピン方向に１ｍｍデフォーカスして場合で、物体像４５が射出瞳上の第１の領域２１に、物体像４６が第２の領域２２にそれぞれ対応している。
【００８５】
また、図１７（ｂ），（ｃ）は、撮像光学系が後ピン方向に３ｍｍ、５ｍｍデフォーカスした場合の物体像を示し、物体像４７，４９が射出瞳上の第１の領域２１に、物体像４８，５０が第２の領域２２にそれぞれ対応している。これらの図から明らかのように、デフォーカスが１ｍｍ、３ｍｍでの１対の物体像の相似性は高く、公知の相関演算などにより高精度に位相ずれを算出することができる。
【００８６】
デフォーカスが５ｍｍの場合は、多少相似性が低下するが、デフォーカスが大きくなるに従って、１対の物体像のボケ具合は増大していくので、十分に相関演算を用いて位相ずれを検出することができる。
【００８７】
図１８は図１７（ａ）〜（ｃ）の物体像のデフォーカス量とそのとき公知の相関演算で検出される位相ずれ量の関係を表すグラフである。
図中黒丸のプロット５１、５２、５３が図１７（ａ），（ｂ），（ｃ）にそれぞれ対応している。この図からも明らかなように、実用的なデフォーカス範囲において、デフォーカス量と位相ずれ量の関係はほぼ線形となるので、検出される位相ずれ量を基に容易に撮像光学系のデフォーカス量を算出することができる。
【００８８】
以上の結果から、本実施形態では、実用的なデフォーカス範囲において相似性の高い１対の物体像で焦点検出を行うことができ、結果として高精度で迅速な焦点検出を実現できる。また撮像時は、射出瞳の全光束を光電変換するように設計された通常の固体撮像素子と同様の良質な画像信号を得ることができる。
【００８９】
それでは、実際の焦点検出方法について説明する。撮影光学系がデフォーカスした場合、物体像は瞳の分離方向に位相がシフトしたものとなるので、焦点検出領域を撮像光学系の瞳の分離方向を長手方向とした長方形として設定しておく。
【００９０】
図１５は固体撮像素子１００のエリアセンサ部に設定された焦点検出領域を説明するための図で、図中太線枠で囲まれた３７〜４３が焦点検出領域としてあらかじめ設定されている。図中焦点検出領域３７付近のみ格子状に並べられた画素部を表示しているが、その他の領域については省略している。
【００９１】
以上のような構成で、第１光電変換部と第２光電変換部における出力信号を独立に読み出した画像信号を用いて、位相シフト量検出手段である周知の相関演算などにより位相シフト量を検出する。そして、その位相シフト量をデフォーカス量に換算して撮像光学系の焦点調節を行う。なお、焦点検出時の撮像光学系のＦナンバーは、前述したように絞りＳＴの開口１０を用いることとする。また、焦点検出領域２１は２組の画素列で構成されているが、これは、図４で説明したベイヤー配列で構成される撮像素子１００から各色（緑、赤、青）の画像信号を取り出すためで、詳細は後述する。
【００９２】
次に、撮像時においては、絞りＳＴの開口９〜１２を用い、第１光電変換部と第２光電変換部における出力信号を画素部レベルで加算することで、不自然な像のボケが生じることはなく、元々撮像光学系の瞳の全光束を使った画像を得るように設計された固体撮像素子で得られる画像と同レベルのＳ／Ｎ的に優れた高品位画像を得ることができる。
【００９３】
次に、本実施形態における電気系の回路構成について説明する。図１９は、撮像素子１００の周辺回路を含む内部構成を示したブロック図である。撮像素子１００内には、タイミング発生部１３４、エリアセンサ部１３５、画素の出力を選択する垂直走査部１３６および水平走査部１３７、アナログ信号処理部１３８、アナログ／デジタル変換を行うＡ／Ｄ変換部１３９、デジタル化された信号を出力信号に変換するデジタル信号処理部１４０、デジタル画像信号を外部に出力し、また外部からのコマンドデータを受け取るインターフェイス部１４１が設けられている。また、エリアセンサ部１３５は上述したＣＭＯＳセンサである。
【００９４】
タイミング発生部１３４は、外部からの基準周波数であるマスタークロックを元に、各光電変換部で光電変換された画像信号を読み出すためのタイミング信号を発生し、垂直および水平走査部１３６、１３７が、このタイミング信号に従って所要の走査制御を行って、電荷を読み出す。
【００９５】
なお、タイミング発生部１３４から垂直同期信号と水平同期信号を外部に出力し、撮像素子外でタイミング信号が必要なシステム用に、同期信号を供給する。
【００９６】
アナログ信号処理部１３８はエリアセンサ部１３５から読み出された画像信号をノイズ低減処理、増幅処理、ガンマ処理、クランプ処理してＡ／Ｄ変換部１３９に出力するためのものである。Ａ／Ｄ変換部１３９はこの画像信号をデジタル信号に変換して出力し、デジタル信号処理部１４０は、Ａ／Ｄ変換部１３９にてデジタル変換された画像信号をインターフェイス部１４１に出力する。インターフェイス部１４１はデジタル信号処理部１３９から出力されるデジタル画像信号を撮像素子１００の外部に出力する。
【００９７】
また、撮像素子１００は、外部からコマンド対応で撮像素子１００のモードや出力信号形態、信号出力タイミングなどをコントロールでき、外部からインターフェイス部１４１に撮像画像や焦点検出用画像を得るための所要のコマンドを与えると、インターフェイス部１４１が受けたコマンド対応の制御を行うように各構成要素を制御する。
【００９８】
図２０は、デジタル信号処理部１４０の内部の構成を示すブロック図で、焦点検出用画像を簡単に得るため、信号処理１（１４０−１）、・・・、信号処理ｎ（１４０−n）として出力位置指定コマンドが用意されており、エリアセンサ部１３８の撮像領域のうち、図１５に示した焦点検出領域３７〜４３が何れかに対応しており、任意の焦点検出領域を指定することにより、第１光電変換部と第２光電変換部における１対の焦点検出用画像信号が得られるような構成となっている。
【００９９】
一方、撮像の場合も同様に、デジタル信号処理部１４０に特定の撮像用のコマンドを指定することにより、エリアセンサ部１３８の撮像領域における第１光電変換部及び第２光電変換部での画像信号を画素部レベルで加算した撮像用画像信号を得ることができる。
【０１００】
なお、これらの焦点検出領域を含むラインについては、焦点検出用として電荷蓄積レベルが最適化された画像を出力するように構成されており、焦点検出領域内で適切な信号レベルを得るため、焦点検出領域別にも電子シャッタ設定を行うことができる。
【０１０１】
一般的に、ＣＣＤ型の撮像素子は全ての画素の電荷蓄積時間が同じであるが、本実施形態における撮像素子１００はＣＭＯＳセンサの特長を生かして、画素単位、あるいはライン単位、あるいはブロック単位での読み出しを行う構造をとることが容易にでき、更に、蓄積時間の始まりと終りを単位毎に異ならせることが可能である。ここでは、垂直ライン単位に電荷蓄積時間を変えるものとし、焦点検出領域内の画像がＡ/Ｄ変換レンジを有効に使えるようになっている。
【０１０２】
なお、本実施形態において、焦点検出領域は７つのみが設定されているが、あらかじめ定められた領域から選択するのではなく、トラックボールなどのポインティングデバイスを用意し、数１００程度の焦点検出領域から幾つかを任意に指定するようにしてもよい。こうすることで、撮像領域における広い領域での焦点検出を行うこともできる。
【０１０３】
図２１は、本実施形態における撮像装置の電気回路を示すブロック図である。図２１において、図１９に示される撮像素子１００にはＩＦ部１４１を介してマイクロコンピュータ１４２が接続されマイクロコンピュータ１４２により所要のコマンドをＩＦ部１４１に与えることにより撮像素子１００の制御を行う。マイクロコンピュータ１４０はＣＰＵ（中央演算処理部）１４３、ＲＯＭ１４４、ＲＡＭ１４５、ＥＥＰＲＯＭ１４６を有し、ＲＯＭ１４４に格納されているプログラムに従って各種動作が実行される。またＥＥＰＲＯＭ１４６には画像信号補正処理情報などの情報があらかじめ格納されている。
【０１０４】
最後に、１対の画像信号による焦点検出のための信号処理について説明する。まず、撮像光学系のＦナンバーは前述したように図１の開口１０を用いて焦点検出を行う。図２２は焦点検出領域３７の拡大図である。図に示すように、焦点検出領域３７は１２個の画素部で構成された画素列５１，５２を２組備えているが、実際の焦点検出領域３７は、例えば３００行×２列の多数の画素より構成されており、ここでは図の煩雑さをなくすため１２行×２列のみを用いて説明する。
【０１０５】
エリアセンサ部１３５のカラーフィルターはベイヤー配列をなしているので、各画素列には２種類のカラーフィルターが交互に配列されることになる。そこで、焦点検出のために、各画素列をカラーフィルターの種類で分類し、更に、それぞれから、第１光電変換部からの信号と第２光電変換部からの信号とからなる１対の画像信号を生成する。従って、焦点検出領域３７からは全部で４対の画像信号ができる。
【０１０６】
なお、１つの焦点検出領域については実質的に一律の蓄積時間とする。図２３〜２６はこの４対の画像信号を示しており、図２３は画素列５１のうち緑色カラーフィルターを備えた１画素おきの１対の画像信号で、白丸のプロットで示す５３はＧ１で示した第１の光電変換部の信号、黒丸のプロット５４はＧ２で示した第２の光電変換部の信号である。同様に、図２４は画素列５２のうち緑色カラーフィルターを備えた１画素おきの１対の画像信号、図２５は画素列５１のうち赤色カラーフィルターを備えた１画素おきの１対の画像信号、図２６は画素列５２のうち青色カラーフィルターを備えた１画素おきの１対の画像信号をそれぞれ示しており、白丸のプロットで示す５５、５７、５９は第１の光電変換部による画像信号、黒丸のプロットで示す５６、５８、６０は第２の光電変換部による画像信号である。
【０１０７】
これらは、撮像光学系によって焦点検出領域３７上に成された物体像が、オレンジ色と黄色の濃淡である場合の例であり、図２３と図２４に示した緑色のコントラストが高く、図２５に示した赤色は低コントラストであるものの強度は強く、更に、図２６に示した青色はコントラストも強度も低くなっている。図は物体像がデフォーカスした状態を示し、第１光電変換部の画像信号と第２光電変換部の画像信号とは位相がシフトしていることが分かる。また、焦点検出時のＦナンバーに合わせて図８、９に示す１対の光電変換部間の間隔ΔＬを最適化し、１対の線像分布の相似性を向上させているので、図２３〜図２６における１対の画像信号の相似性は損なわれていない。
【０１０８】
物体にピントがあった状態では、第１の光電変換部の画像信号と第の２光電変換部の画像信号とは位相が一致するため、１対の信号の同一性を判定することで合焦検知を行うことができる。つまり、相関演算を用いた公知の手法を用いて位相ずれ量を検出することにより、デフォーカス量を求めることができる。得られたデフォーカス量を撮像光学系の第２群ｇｒｐ２を駆動すべき量に換算すれば、自動焦点調節が可能である。レンズの駆動量をあらかじめ知ることができるので、通常、合焦位置までのレンズ駆動はほぼ一回で済み、極めて高速な焦点調節が実現できる。
【０１０９】
また、ここでは色分解した信号を用いたが、色分解しない場合はこれらを足しあわせた信号を得ることに相当するために低コントラストになりやすく、この結果、検出不能状態に陥りやすい。これに対して、色分解した信号を用いれば、ここに示したようにＲＧＢすべての信号に高いコントラストが現れるとは限らないが、逆にＲＧＢの何れかには高コントラストな信号が得られ、ほとんどの場合焦点検出が可能となる。
【０１１０】
また、画像信号５３，５４から検出された位相ずれ量、画像信号５５，５６から検出された位相ずれ量、信号５７，５８から検出された位相ずれ量、信号５９，６０から検出された位相ずれ量のうち、信頼性が高いものだけを選択して平均すれば、より高い焦点検出精度を得ることが可能である。例えば、図２５や図２６の場合のように低コントラストな信号では、その焦点検出結果を焦点調節に用いないようにすればよい。
【０１１１】
以上のような構成により、本発明の撮像装置は、固体撮像素子１００による位相差方式焦点検出と撮像を両立するとともに、焦点検出時には小デフォーカスから大デフォーカスに至るまで相似性の高い１対の画像信号を得ることができ、高精度で迅速な焦点検出を実現できる。また、撮像時には不自然なボケのない撮像光学系の射出瞳全体の光束による高品位画像信号を得ることができる。
【０１１２】
なお、本実施形態では、画素部を上下方向に分離した１対の光電変換部を有する固体撮像素子１００を用いて説明したが、画素部を左右方向に分離した場合あっても、位相ずれ方向に光電変換部感度分布のクロストークが発生するようにすれば、上記のような効果は得られる。
【０１１３】
（第２の実施形態）
第２の実施形態は、第1実施形態の固体撮像素子１００を改良したものであり、上下方向に分離された1対の光電変換部よりなる画素部と左右方向に分離された画素部を混在させた例である。そうすることにより、撮影された画像のボケ具合をより向上させ、より高品位な画像を得ることができる。
【０１１４】
また一般的に、位相差方式焦点検出においては、位相ずれ方向にコントラストのある被写体の焦点検出は得意とするが、位相ずれ方向に平行な方向にコントラストのある被写体については焦点検出不能となることが多い。
【０１１５】
第１の実施形態のように、固体撮像素子１００の画素部を上下方向にのみ分離した構成では、上下方向にコントラストのある被写体、いわゆる横線検出は得意とするが、縦線検出は行えない。ところが、第２の実施形態は、異なる方向に分離された光電変換部よりなる画素を混在させているので、縦線検出、横線検出の両方をも実現している。なお、基本的な光学構成、マイクロレンズによる瞳結像、画素部内の構成、回路構成など第１の実施形態と同様部分についての説明は省略する。
【０１１６】
図２７は、図１に示される、１９２０列×１０８０行の画素部を有する固体撮像素子１００うち４列×４行のみを抜き出した拡大平面図であり、第1の実施形態の図４に対応する。
１対の光電変換部とＭＯＳトランジスタを含む各画素はほぼ正方形にレイアウトされ、格子状に隣接して配置されている。画素６１〜６４は１つの画素がそれぞれ近接した１対の光電変換部を有する構成となっている。また、このエリアセンサ部は、各画素にＲ（赤色）Ｇ（緑色）Ｂ（青色）のカラーフィルターを交互に配して、４画素が一組となる所謂ベイヤー配列を形成し、図２７に付した、Ｒ、Ｇ、Ｂは赤色，緑色，青色のカラーフィルターを備えた画素部であることを、ＲＧＢに続く１あるいは２は、第１光電変換部か第２光電変換部かの区別を表している。
【０１１７】
更に、各画素において１対の光電変換部の占める割合は少ないためマイクロレンズμＬによって画素部全体の光束を集光して１対の光電変換部に導く構成としている。図２７において、一組のベイヤー配列画素６１〜６４は、緑色カラーフィルターの画素６４はのみが左右方向に分離された光電変換部よりなり、その他の画素６１〜６３は上下方向に分離された光電変換部より構成されている。従って、４画素一組のベイヤー配列において緑色カラーフィルターの１画素のみが異なる方向に分離されている構成となっており、この画素による１対の画像信号で縦線検出を行うことができる。以上のような２列×２行の画素配列構成を固体撮像素子１００の１９２０列×１０８０行の2次元領域に繰り返し配置し、エリアセンサ部を形成している。
【０１１８】
マイクロレンズμLにより撮像光学系の射出瞳上に投影された１対の光電変換部が射出瞳を分離している様子は、上下方向に画素部が分離されている画素、例えば、図２７の画素６１〜６３については、図１２と同様になる。従って、上下方向に分離された画素部の位相ずれ方向における感度分布は、図１０に示すような１対の光電変換部間でクロスしている。一方、左右方向に画素部が分離された画素、例えば、図２７の画素６４は、第一の実施形態の図８に表す画素部上面図を９０度回転させたものと考えることができるので、位相ずれ方向における感度分布は図１０と同様となり、射出瞳分離の様子は図１２を９０度回転させた図２８のようになる。
【０１１９】
図２８において、図１２と同様の記号を付している部分は第１の実施形態と同様の部分であり、絞りＳＴの開口９を後方レンズ群ｇｒｐ３、ｇｒｐ４を通して見た虚像である。右上がり斜線部６５は固体撮像素子１００の左右方向に分離された画素部における第１の光電変換部に入射する光束が通過する射出瞳上の第一の領域、左上がり斜線部６６は固体撮像素子１００の左右方向に分離された画素部における第２の光電変換部に入射する光束が通過する射出瞳上の第二の領域である。また、矢印Ｅは射出瞳分離の方向、即ちデフォーカスにより１対の物体像に位相ずれが生じる方向で、図１２の位相ずれが生じる方向である矢印Ｄと直交している。更に、第一の領域６５と第２の領域６６は中央部領域６７で交錯しており、これが図１０の感度分布１７、１８が重複しているクロストーク部分、図８で言うと領域Ｂに相当している。
【０１２０】
以上のことから、画素６１〜６３のように上下方向に分離された画素部、若しくは、画素６４のように左右方向に分離された画素部の何れであっても、位相ずれ方向は互いに直交するが、位相ずれ方向における１対の線像分布関数は図１３（図１４）のようになり、小デフォーカスから大デフォーカスに至るまで相似性の高い１対の焦点検出用画像信号を得ることができる。
【０１２１】
また、１対の光電変換部の出力信号を加算する撮像時においては、ベイヤー配列において視感度の高い緑色カラーフィルターの画素部分離方向を互いに直交するように構成しているので、図１１の円Ｃで示す感度落ち込みも互いに直交する関係にあるわけで、撮影画像におけるわずかに不自然なボケ具合も目立たなくすることができ、より高品位な画像信号を得ることができる。
【０１２２】
最後に、第２の実施形態の焦点検出について説明する。
図２９は固体撮像素子１００上にあらかじめ設定された焦点検出領域７２〜７８を表す図であり、添え字ａが上下方向に分離した画素部による横線検出を目的とした焦点検出領域、添え字ｂが左右方向に分離した画素部による縦線検出を目的とした焦点検出領域である。図中焦点検出領域７４ａ、７４ｂ付近のみ格子状に並べられた画素を表示しているが、その他の領域については省略している。それぞれの焦点検出領域は、射出瞳分離による位相ずれが生じる方向を長手方向とし、位相ずれの変換を効率よく検出できるように構成されている。
【０１２３】
それでは、まず横線検出を行う添え字ａの焦点検出領域における焦点検出方法について説明する。図３０は、焦点検出領域７４ａの拡大図である。図３０に示すように、焦点検出領域７４ａは１２個の画素部で構成された画素列７５、７６を２組備えているが、実際の焦点検出領域７４ａは、例えば３００行×２列の多数の画素より構成されており、ここでは図の煩雑さをなくすため１２行×２列のみを用いて説明する。焦点検出領域７４ａは上下方向に位相ずれする１対の物体像を検出するように構成されているので、上下方向に分離された画素部による画像信号で焦点検出を行うこととなる。従って、第１の実施形態の場合と同様にカラーフィルターの色で分解した画像信号を生成すると、緑色、青色、赤色の各色１組ずつ計３組の画像信号を得ることができる。
【０１２４】
次に、縦線検出を行う添え字ｂの焦点検出領域における焦点検出方法について説明する。図３１は、焦点検出領域７５ｂの拡大図である。焦点検出領域７５ｂも同様に、実際は２行×３００列の多数の画素より構成される。焦点検出領域７５ｂは、左右方向に位相ずれする１対の物体像を検出するように構成されているので、左右方向に分離された画素部による画像信号で焦点検出を行う。
【０１２５】
従って、焦点検出領域７５ｂからは画素列７８の緑色カラーフィルターによる１対の画像信号のみが得られる。なお、４画素一組のベイヤー配列画素において、緑色カラーフィルターの１画素のみを左右方向に分離したのは、多くの被写体像はＲＧＢに色分解した場合、緑色成分を含むことが多く、実用的な被写体像においては、緑色成分だけでも十分に焦点検出を行う上でほとんど弊害がないからである。
【０１２６】
以上のような構成により、位相ずれ方向が上下方向である３対の画像信号と位相ずれ方向が左右方向である１対の画像信号が得られる。一般的に被写体像は上下若しくは左右どちらかの方向にコントラストを有する場合が多いので、前記３対の画像信号のコントラストが低くても、多くの場合前記１対の画像信号にはコントラスト成分が含まれていることから、この画像信号を用いることで、位相ずれを検出することができる。従って、本実施形態では、第１の実施形態と比較してほとんどの被写体の焦点検出を行うことが可能となる。
【０１２７】
また、上下方向に分離した画素部と左右方向に分離した画素部の両方とも、１対の光電変換部間の感度分布にクロストークを設けたので、撮像若しくは焦点検出という目的に最適な画像信号を得ることができる。
【０１２８】
なお、本実施形態では、緑色カラーフィルターの画素のみを異なる方向に分離したが、緑色、青色、赤色のすべてが上下若しくは左右方向に分離されるような画素部配列としてもよい。
【０１２９】
（第３の実施形態）
第３の実施形態は、第１の実施形態を改良した例で、図８における１対の光電変換部間の間隔ΔＬを異ならせた複数の種類の画素部を混在させた固体撮像素子１００を備えた撮像装置である。
【０１３０】
従って、複数のＦナンバーでの焦点検出を可能とし、特に交換レンズシステムにおいて、明るいＦナンバーを備えた撮影レンズが装着された場合、通常焦点検出を行うＦナンバーより明るいＦナンバーで焦点検出を行うことで、焦点検出の基線長をより長くすることができ、より高精度な焦点検出を実現できると共に、低輝度限界の性能も向上させることができる。
【０１３１】
なお、基本的な光学構成、マイクロレンズによる瞳結像、画素部内の構成、回路構成など第１の実施形態と同様部分についての説明は省略する。また、これから説明する図中、第１の実施形態と同様の符号を付した部材は、第１の実施形態と同様であるので説明は省略する。
【０１３２】
図３２は、第３の実施形態における電気系のブロック図で、交換レンズシステムにおける撮影レンズ７９と撮像装置８０が図示されている。
撮影レンズ７９はＥＥＰＲＯＭ１４７とレンズＩＦ部１４８を有している。一方、撮像装置８０は、撮像装置ＩＦ部１４９とレンズ装着検知手段１５０を有している。以上のような構成で、撮影レンズ７９を図の矢印Ｆ方向に移動させ、不図示の着脱自在なレンズ装着メカ機構により撮像装置８０に対して撮影レンズ７９が固定される。そうすると、レンズ装着検知手段１５０により撮影レンズ７９の装着が検出され、レンズＩＦ部１４８、撮像装置ＩＦ部を介して、撮影レンズ７９のＥＥＰＲＯＭ１４７にあらかじめ記憶された、撮影レンズに関する情報や光学補正値などを撮像装置８０が読み込む。
【０１３３】
図３３（ａ）、（ｂ）は本実施形態の固体撮像素子１００に配置される画素部を拡大した上面図で、異なる２種類の構成の画素部が混在する。これらの図において、1対の光電変換部を構成するｎ層１２９、１３０の間の間隔ΔＬ1、ΔＬ２は異なっており、以下の式（４）のような関係がある。
ΔＬ１＜ΔＬ２ （４）
【０１３４】
ここで、図３３（ａ）におけるｎ層１２９、１３０とその間の領域Ｇを加えた部分と、図３３（ｂ）におけるｎ層１２９、１３０とその間の領域Ｈを加えた部分は、互いに同形状、同面積としている。そして、ｎ層１２９、１３０の間の領域Ｇ、Ｈにおいても第１の実施形態と同様に光電変換は行われ、従って、一対の光電変換部における画素部分離方向の感度分布は図３４にようになる。
【０１３５】
図３４において、実線で示す１対の感度分布８１ａ、８１ｂが図３３（ａ）に、点線で示す1対の感度分布８２ａ、８２ｂが図３３（ｂ）にそれぞれ対応しており、１対の感度分布にクロストークが生じる中央部以外は互いに重なって表示されている。これらの図からも明らかなように、ｎ層１２９、１３０の間の間隔が大きい感度分布８２ａ、８２ｂの方が１対の感度分布８２ａ、８２ｂが重複するクロストーク部分が大きくなっている。
【０１３６】
第1の実施形態において、図１４を用いて説明したように、撮像光学系の１つのＦナンバーに対して１対の線像分布関数の相似性が最も高くなるようなｎ層１２９、１３０の間の間隔ΔＬは限られてくる。いま、本実施形態では、ｎ層１２９、１３０間の間隔ΔＬ１、ΔＬ２が互いに異なっており、２種類の間隔ΔＬ１、ΔＬ２を有する画素部が混在している。従って、２種類の画素部における１対の線像分布関数の相似性が高くなるＦナンバーも２種類存在することとなり、式（４）の関係からΔＬ２の画素部の方がより明るいＦナンバーで１対の線像分布関数の相似性が最も高くなるようになる。
【０１３７】
本実施形態においては、図３３（ａ）に示す画素部は、交換レンズシステムにおけるすべての撮影レンズが満たすＦナンバー、例えばＦ５．６付近において、１対の線像分布関数の相似性が最も高くなるようΔＬ１が設定され、図３３（ｂ）に示す画素部は、交換レンズシステムにおける一部の撮影レンズが備える明るいＦナンバー、例えばＦ２．８付近において、１対の線像分布関数の相似性が最も高くなるように設定されている。
【０１３８】
なお、本実施形態では、１対の光電変換部に入射する光量と撮影レンズのＦナンバーがほぼ線形となる範囲における最も明るいＦナンバーは、Ｆ２．０付近に設定されており、上記２つの焦点検出時のＦナンバーより明るいＦナンバーとなっている。従って、焦点検出時には、撮影レンズの射出瞳全体の光束を光電変換することが可能になる。
【０１３９】
以上のことから、Ｆ２．８より暗いＦナンバーを有する通常の撮影レンズが装着されている場合は、撮影レンズの絞りをＦ５．６にした上で、図３３（ａ）に示す画素部による画像信号で焦点検出を行い、Ｆ２．８以下のＦナンバーを有する一部の撮影レンズが装着されている場合は、図３３（ｂ）に示す画素部による画像信号で焦点検出を行う。そうすることで、小デフォーカスから大デフォーカスに至るまで高精度で確実な焦点検出を行えると共に、Ｆ２．８以上の明るいＦナンバーの撮影レンズが装着された際には、Ｆ２．８の光束を用いて焦点検出を行うことができるので、より敏感度の高い焦点検出を行うことができる。また、焦点検出の低輝度限界も向上させることができる。
【０１４０】
なお、撮影レンズの開放Ｆナンバーに関する情報は、図３２の撮影レンズ７９のＥＥＰＲＯＭ１４７にあらかじめ記憶し、撮影レンズが装着された際にその情報を撮像装置側がＩＦ部を介して読み込めばよい。また、撮像時の感度分布は、図３４の１対の感度分布を加算したものとなる。
【０１４１】
第１の実施形態で説明したように、分離方向における撮像時の感度分布は、１対の光電変換部間でわずかながら他の部分に比べて感度が落ちる。従って、図３３（ｂ）の画素部の方が１対の光電変換部間の間隔ΔＬ２を大きくしているため、図３３（ａ）の画素部より感度が落ちる部分が大きくなる。従って、撮像時の画像信号にもわずかではあるが感度むらが生じる。このような場合には、図１９の固体撮像素子１００のアナログ信号処理部１３８における増幅率を図３３（ａ）、（ｂ）の画素部同士を互いに異ならせておけば、ＩＦ部１４１を介して感度むらのないより良質な画像信号を得ることも可能である。
【０１４２】
最後に、本実施形態における位相方式焦点検出方法について説明する。図３５は固体撮像素子１００上に設けた焦点検出領域を示す図である。
８３〜８９は焦点検出領域を示し、添え字ａが図３３（ａ）の画素部により構成される焦点検出領域、添え字ｂが図３３（ｂ）の画素部により構成される焦点検出領域である。図中焦点検出領域８５ａ、８５ｂ付近のみ格子状に並べられた画素を表示しているが、その他の領域については省略している。それぞれの焦点検出領域は、射出瞳分離による位相ずれが生じる方向、即ち画素部における１対の光電変換部分離方向を長手方向とし、位相ずれの変換を効率よく検出できるように構成されている。
【０１４３】
いま、添え字ａの焦点検出領域８３ａ〜８９ａと添え字ｂの焦点検出領域８３ｂ〜８９ｂはそれぞれ隣接して配置されている。そして、Ｆ２．８より暗いＦナンバーを開放Ｆナンバーとする撮影レンズが装着された場合の焦点検出では、まず撮影レンズのＦナンバーをＦ５．６にセットし、焦点検出領域８３ａ〜８９ａを用いて焦点検出用の画像信号を形成する。一方、Ｆ２．８以下のＦナンバーを開放Ｆナンバーとする明るい撮影レンズが装着された場合の焦点検出では、撮影レンズのＦナンバーをＦ２．８にセットし、焦点検出領域８３ｂ〜８９ｂを用いて焦点検出用画像信号を形成する。焦点検出領域８３ａ〜８９ｂは、いずれも第１の実施形態の図２２と同様の構成で２組の画素列より形成されるので、色分解した焦点検出用画像信号としては、図２３〜２６に示すように１つの焦点検出領域あたり４対得られることとなる。そして、公知の相関演算により前記画像信号から位相ずれ量を算出し、この位相ずれ量を撮影レンズのデフォーカス量に換算することで、位相差方式焦点検出を実現している。
【０１４４】
以上のような構成により、本実施形態では撮影レンズが備える開放Ｆナンバーに応じて、２種類の焦点検出領域を選択することができ、より明るいＦナンバーにおいても焦点検出が行えるようにしているので、明るいＦナンバーが持つ高敏感、低輝度限界向上といった利点を生かした焦点検出を行うこともできる。なお、本実施形態では、基本となる焦点検出時のＦナンバーとそれより明るいＦナンバーに対応する構成としたが、基本となる焦点検出時のＦナンバーより暗いＦナンバーに対応するようにしてもよい。
【０１４５】
特に、２次結像光学系による位相差方式焦点検出においては、一般的に撮影レンズのＦナンバーが暗い場合に撮像面上において焦点検出可能な領域は撮影レンズの光軸付近に限られることが多いので、基本の焦点検出Ｆナンバーより暗いＦナンバーに対応した画素部を設けると、撮影レンズの開放Ｆナンバーが比較的暗い高倍率ズームレンズを装着した際にも、撮像面上の広い領域で焦点検出を行うことが可能となり、有効である。
【０１４６】
また、３種類以上の複数のＦナンバーに対応した画素部を設けるようにして、明るいＦナンバーから暗いＦナンバーまで焦点検出を行えるようにしてもよい。
【０１４７】
（第４の実施形態）
第４の実施形態では、第１〜第３の実施形態で示した撮像装置をスチルカメラに適用してなる撮像システムについて例示する。
【０１４８】
図３８は、本実施形態のスチルカメラの主要構成を示すブロック図である。
同図において、１はレンズのプロテクトとメインスイッチを兼ねるバリア、２は被写体の光学像を固体撮像素子４に結像させるレンズ、３はレンズ２を通った光量を可変するための絞り、４はレンズ２で結像された被写体を画像信号として取り込むための固体撮像素子であり、これが第１〜第３の実施形態の撮像素子１００に対応する。５は固体撮像素子４から出力される画像信号のアナログ−ディジタル変換を行うＡ／Ｄ変換器、６はＡ／Ｄ変換器５から出力された画像データに各種の補正やデータ圧縮処理を施す信号処理部、７は固体撮像素子４，Ａ／Ｄ変換器５，信号処理部６に各種のタイミング信号を出力するタイミング発生部、８は各種の演算と当該スチルカメラ全体の動作を統括制御する全体制御・演算部、９は画像データを一時的に記憶するためのメモリ部、１０は記憶媒体に記憶又は読み出しを行うための記憶媒体制御インターフェース（Ｉ／Ｆ）部、１１は記憶媒体に記憶又は読み出しを行うための半導体メモリ等の着脱可能な記憶媒体、１２は外部コンピュータ等と通信するための外部Ｉ／Ｆ部である。
【０１４９】
次に、上述の構成におけるスチルカメラの動作について説明する。
【０１５０】
バリア１が開くとメイン電源がオンされ、続いてコントロール系の電源がオンされ、更にＡ／Ｄ変換器５等の撮像系回路の電源がオンされる。
【０１５１】
続いて、露光量を制御するために、全体制御・演算部８は絞り３を開放とし、固体撮像素子４から出力された信号がＡ／Ｄ変換器５で変換された後、信号処理部６に入力する。そのデータを基に露出の演算を全体制御・演算部８にて行う。全体制御・演算部８はこの測光を行った結果により明るさを判断し、その結果に応じて絞り３を制御する。
【０１５２】
続いて、固体撮像素子４から出力された画像信号を基に、被写体までの距離の演算を全体制御・演算部８にて行う。その後、レンズ２を駆動して合焦したか否かを判断し、合焦していないと判断したときには、再びレンズ２を駆動して測距を行う。
【０１５３】
そして、合焦が確認された後に本露光が開始される。
露光が終了すると、固体撮像素子４から出力された画像信号はＡ／Ｄ変換器５で変換され、信号処理部６を通り全体制御・演算部８の制御によりメモリ部９に書き込まれる。
【０１５４】
その後、メモリ部９に蓄積されたデータは全体制御・演算部８の制御により記憶媒体制御Ｉ／Ｆ部１０を通り記憶媒体１１に記憶される。また、外部Ｉ／Ｆ部１３を通り直接コンピュータ等に入力して画像の加工を行ってもよい。
【０１５５】
本実施形態では、前記実施形態の撮像装置による位相差方式焦点検出を行っているので、結果として高精度で迅速な焦点検出を実現できる。また撮像時は、射出瞳の全光束を光電変換するように設計された通常の固体撮像素子と同様の良質な画像信号を得ることができる。本実施形態のスチルカメラは、上述の効果を奏する撮像装置を備えているため、優れた画像表示を実現した信頼性の高いものである。
【０１５６】
【発明の効果】
本発明によれば、以下に示す顕著な効果が得られた。
（１）焦点検出時のＦナンバーを基に、小デフォーカスから大デフォーカスに至るまで１対の画像信号の相似性が高くなるよう画素部を構成したので、高精度で迅速な焦点調節を実現できた。
（２）同時に、元々撮像光学系の瞳の全光束を使った画像を得るように設計された撮像素子で得られる画像と同等のＳ/Ｎ的に優れた高品位画像を得ることができ、画像の不自然なボケをほぼ無くすことができた。
（３）複数のＦ数で小デフォーカスから大デフォーカスに至るまで、高精度で迅速な焦点調節を実現できた。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像光学系の斜視図である。
【図２】本発明の第１の実施形態における固体撮像素子のエリアセンサ部の画素部における上面図である。
【図３】エリアセンサ部の画素部における断面図である。
【図４】カラーフィルターの配列を部分的に拡大して示す模式図である。
【図５】マイクロレンズと受光部の投影関係を示す構成図である。
【図６】第１の光電変換部に入射する光束と、第２の光電変換部に入射する光束を各々示した模式図である。
【図７】撮影光学系射出瞳の上側半分を通過する光束を示した撮影光学系の構成図である。
【図８】エリアセンサ部の画素部における光電変換の様子を説明するための平面図である。
【図９】エリアセンサ部の画素部における光電変換の様子を説明するための断面図である。
【図１０】焦点検出における１対の光電変換部の感度分布を表す特性図である。
【図１１】撮像における１対の光電変換部の感度分布を表す模式図である。
【図１２】射出瞳分離の様子を示す模式図である。
【図１３】１対の瞳強度分布を示す模式図である。
【図１４】複数の絞りＳＴの開口における１対の瞳強度分布を示す模式図である。
【図１５】撮像素子上の焦点検出領域を示す模式図である。
【図１６】１次元方向の被写体像綱領分布を示す特性図である。
【図１７】デフォーカスによる１対の画像信号を示す特性図である。
【図１８】デフォーカスと位相ずれの関係を表す特性図である。
【図１９】撮像素子の周辺回路を含む内部構成を示したブロック図である。
【図２０】出力位置指定コマンドを説明するためのブロック図である。
【図２１】撮像装置の電気系のブロック図である。
【図２２】焦点検出領域を部分的に拡大して示す模式図である。
【図２３】画素列のうち緑色カラーフィルターを備えた受光部における１対の画像信号を示す特性図である。
【図２４】画素列のうち緑色カラーフィルターを備えた受光部における１対の画像信号を示す特性図である。
【図２５】画素列のうち赤色カラーフィルターを備えた受光部における１対の画像信号を示す特性図である。
【図２６】画素列のうち青色カラーフィルターを備えた受光部における１対の画像信号を示す特性図である。
【図２７】本発明の第２の実施形態における画素分離の配列を部分的に拡大して示す模式図である。
【図２８】第２の実施形態における射出瞳分離の様子を示す模式図である。
【図２９】第２の実施形態における撮像素子上の焦点検出領域を示す模式図である。
【図３０】焦点検出領域を部分的に拡大して示す模式図である。
【図３１】焦点検出領域を部分的に拡大して示す模式図である。
【図３２】第３の実施形態の交換レンズシステムにおける電気系のブロック図である。
【図３３】第３の実施形態におけるエリアセンサ部の画素部の上面図である。
【図３４】図３３の画素部における１対の光電変換部の感度分布を表す模式図である。
【図３５】第３の実施形態における撮像素子上の焦点検出領域を示す模式図である。
【図３６】本発明の第１の実施形態における撮像光学系の構成図である。
【図３７】本発明の第１の実施形態における固体撮像素子のエリアセンサ部の回路図である。
【図３８】本発明の第４の実施形態におけるスチルカメラの主要構成を示すブロック図である。
【図３９】従来例における画素部の断面図である。
【図４０】従来例における射出瞳分離の様子を示す模式図である。
【図４１】従来における１対の瞳強度分布を表す模式図である。
【符号の説明】
Ｌ１ 撮像光学系の光軸
ＳＴ 絞り
μＬ マイクロレンズ
１００ 撮像素子
１０１，１０２ ＭＯＳトランジスタゲートとゲート下の空乏層からなる第１，第２光電変換部
１０３，１０４ フォトゲート
１０５，１０６ 転送スイッチＭＯＳトランジスタ
１７，１８ １対の光電変換部の感度分布
２１，２２ 分離された射出瞳上の領域
２７，２８ １対の瞳強度分布
３７〜４３ 焦点検出領域
５３〜６０ 焦点検出用画像信号
Claims (9)
- 結像光学系と、
前記結像光学系の射出瞳を複数に分離した光束のうち第１の光束を光電変換する第１の光電変換部と前記第１の光束とは異なる第２の光束を光電変換する第２の光電変換部とを有する画素部が２次元領域に複数配置されてなる撮像素子と、
前記複数の画素部それぞれの第１の光電変換部から第１の電気信号と前記複数の画素部それぞれの第２の光電変換部から第２の電気信号とを位相差を検出するために出力する出力部とを備え、
前記第１の光電変換部における第１の電気信号には前記第１の光束に対応する信号の他に前記第２の光束に対応する信号が含まれ、前記第２の光電変換部における第２の電気信号には前記第２の光束に対応する信号の他に前記第１の光束に対応する信号が含まれ、前記第１、第２の電気信号にそれぞれ前記第２、第１の光束に対応する信号が含まれない場合よりも、相似性の高い当該第１の電気信号と当該第２の電気信号とから高精度の位相ずれを算出するとともに、当該第１の電気信号と当該第２の電気信号とを加算することで前記分離される前の射出瞳の光束に対応する信号に近い信号を取得することを特徴とする撮像装置。 - 前記撮像素子は、前記第１の光電変換部及び前記第２の光電変換部による分割方向が異なる少なくとも２種類以上の前記画素部を備えることを特徴とする請求項１に記載の撮像装置。
- 結像光学系と、
前記結像光学系の射出瞳を複数に分離した光束のうち第１の光束を光電変換する第１の光電変換部と前記第１の光束とは異なる第２の光束を光電変換する第２の光電変換部とを有する画素部が２次元領域に複数配置されてなる撮像素子と、
前記撮像素子からの信号に所定の処理を加える信号処理手段と、
外部装置との間で信号授受を行うインターフェース手段と、
当該システム全体の動作を制御する制御手段と、
前記複数の画素部それぞれの第１の光電変換部から第１の電気信号と前記複数の画素部それぞれの第２の光電変換部から第２の電気信号とを位相差を検出するために出力する出力部とを備え、
前記第１の光電変換部における第１の電気信号には前記第１の光束に対応する信号の他に前記第２の光束に対応する信号が含まれ、前記第２の光電変換部における第２の電気信号には前記第２の光束に対応する信号の他に前記第１の光束に対応する信号が含まれ、前記第１、第２の電気信号にそれぞれ前記第２、第１の光束に対応する信号が含まれない場合よりも、相似性の高い当該第１の電気信号と当該第２の電気信号とから高精度の位相ずれを算出するとともに、当該第１の電気信号と当該第２の電気信号とを加算することで前記分離される前の射出瞳の光束に対応する信号に近い信号を取得することを特徴とする撮像システム。 - 前記インターフェース手段からの出力信号を一時的に記憶する記憶手段を備えることを特徴とする請求項３に記載の撮像システム。
- 前記撮像素子は、前記第１の光電変換部及び前記第２の光電変換部による分割方向が異なる少なくとも２種類以上の前記画素部を備えることを特徴とする請求項３又は４に記載の撮像システム。
- 結像光学系からの光束を撮像素子にて光電変換し、画像信号を生成する撮像方法であって、
前記結像光学系の射出瞳を複数に分離することにより、光束を第１の光束及び第２の光束に分離し、前記撮像素子を構成する複数の画素部における第１の光電変換部で前記第１の光束を、第２の光電変換部で前記第２の光束をそれぞれ光電変換するに際して、
前記画素部において、前記第１の光電変換部による第１の感度分布と前記第２の光電変換部による第２の感度分布を重複させる感度領域を形成し、
前記第１の光電変換部における第１の電気信号には前記第１の光束に対応する信号の他に前記第２の光束に対応する信号が含まれ、前記第２の光電変換部における第２の電気信号には前記第２の光束に対応する信号の他に前記第１の光束に対応する信号が含まれ、前記第１、第２の電気信号にそれぞれ前記第２、第１の光束に対応する信号が含まれない場合よりも、相似性の高い当該第１の電気信号と当該第２の電気信号とから高精度の位相ずれを算出するとともに、当該第１の電気信号と当該第２の電気信号とを加算することで前記分離される前の射出瞳の光束に対応する信号に近い信号を取得することを特徴とする撮像方法。 - 前記撮像素子は、前記第１の光電変換部及び前記第２の光電変換部による分割方向が異なる少なくとも２種類以上の前記画素部を備えることを特徴とする請求項６に記載の撮像方法。
- 前記撮像素子は、前記感度領域が異なる少なくとも２種類以上の前記画素部を備えることを特徴とする請求項６に記載の撮像方法。
- 前記感度領域は、焦点検出時における前記結像光学系のＦ数に基づいて最適化されていることを特徴とする請求項６〜８のいずれか１項に記載の撮像方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000361639A JP4500434B2 (ja) | 2000-11-28 | 2000-11-28 | 撮像装置及び撮像システム、並びに撮像方法 |
| US09/994,744 US7652713B2 (en) | 2000-11-28 | 2001-11-28 | Image pickup apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000361639A JP4500434B2 (ja) | 2000-11-28 | 2000-11-28 | 撮像装置及び撮像システム、並びに撮像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002165126A JP2002165126A (ja) | 2002-06-07 |
| JP4500434B2 true JP4500434B2 (ja) | 2010-07-14 |
Family
ID=18833041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000361639A Expired - Lifetime JP4500434B2 (ja) | 2000-11-28 | 2000-11-28 | 撮像装置及び撮像システム、並びに撮像方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7652713B2 (ja) |
| JP (1) | JP4500434B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180133157A (ko) * | 2017-06-05 | 2018-12-13 | 삼성전자주식회사 | 위상 검출 픽셀을 포함하는 이미지 센서 |
| KR20190106599A (ko) * | 2018-03-09 | 2019-09-18 | 삼성전자주식회사 | 위상 검출 픽셀들을 포함하는 이미지 센서 및 이미지 촬상 장치 |
Families Citing this family (87)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3965049B2 (ja) * | 2001-12-21 | 2007-08-22 | 浜松ホトニクス株式会社 | 撮像装置 |
| US7321112B2 (en) * | 2003-08-18 | 2008-01-22 | Gentex Corporation | Optical elements, related manufacturing methods and assemblies incorporating optical elements |
| US7426065B2 (en) * | 2003-08-26 | 2008-09-16 | Hewlett-Packard Development Company, L.P. | System and method for alternating between transmitting and reducing incident light on pixel portion of an imager |
| US6903391B2 (en) | 2003-09-10 | 2005-06-07 | Fuji Photo Film Co., Ltd. | Solid state image pickup device |
| JP4347819B2 (ja) * | 2005-02-15 | 2009-10-21 | シャープ株式会社 | 固体撮像素子およびその駆動方法 |
| JP2006332226A (ja) * | 2005-05-25 | 2006-12-07 | Toshiba Corp | 半導体光センサ装置 |
| US7812299B2 (en) | 2005-07-22 | 2010-10-12 | Nikon Corporation | Image sensor having two-dimensionally arrayed pixels, focus detecting device using the sensor, and imaging system including the sensor |
| JP4935078B2 (ja) * | 2006-01-10 | 2012-05-23 | 株式会社ニコン | 固体撮像素子及びこれを用いた電子カメラ |
| US20070182723A1 (en) * | 2006-01-31 | 2007-08-09 | Toshiba Matsushita Display Technology Co., Ltd. | Display device |
| JP2007258837A (ja) * | 2006-03-20 | 2007-10-04 | Sharp Corp | 固体撮像素子、撮像処理方法、欠陥画素補正方法、撮像処理ユニット、及び欠陥画素補正ユニット |
| JP4835270B2 (ja) * | 2006-06-03 | 2011-12-14 | 株式会社ニコン | 固体撮像素子及びこれを用いた撮像装置 |
| JP4808557B2 (ja) * | 2006-07-04 | 2011-11-02 | 浜松ホトニクス株式会社 | 固体撮像装置 |
| JP5066851B2 (ja) * | 2006-07-05 | 2012-11-07 | 株式会社ニコン | 撮像装置 |
| JP4946313B2 (ja) * | 2006-09-27 | 2012-06-06 | 株式会社ニコン | 撮像装置 |
| JP4321579B2 (ja) | 2006-11-28 | 2009-08-26 | ソニー株式会社 | 撮像装置 |
| JP5003132B2 (ja) * | 2006-12-07 | 2012-08-15 | ソニー株式会社 | 撮像素子および撮像装置 |
| JP4961993B2 (ja) * | 2006-12-18 | 2012-06-27 | 株式会社ニコン | 撮像素子、焦点検出装置および撮像装置 |
| JP5076528B2 (ja) | 2007-02-06 | 2012-11-21 | 株式会社ニコン | 光電変換部の連結／分離構造、固体撮像素子及び撮像装置 |
| JP4992481B2 (ja) * | 2007-03-09 | 2012-08-08 | 株式会社ニコン | 焦点検出装置および撮像装置 |
| JP5458475B2 (ja) * | 2007-04-18 | 2014-04-02 | 株式会社ニコン | 焦点検出装置および撮像装置 |
| JP2008310072A (ja) * | 2007-06-15 | 2008-12-25 | Nikon Corp | デジタルカメラ |
| JP4967873B2 (ja) * | 2007-07-13 | 2012-07-04 | ソニー株式会社 | 撮像装置 |
| US7989745B2 (en) * | 2007-10-01 | 2011-08-02 | Nikon Corporation | Solid-state imaging device with focus detection and electronic camera with focus adjustment |
| FR2924235B1 (fr) * | 2007-11-27 | 2010-08-20 | Commissariat Energie Atomique | Dispositif d'imagerie visible a filtre colore |
| JP5050928B2 (ja) * | 2008-02-28 | 2012-10-17 | ソニー株式会社 | 撮像装置および撮像素子 |
| JP5451111B2 (ja) * | 2008-03-11 | 2014-03-26 | キヤノン株式会社 | 焦点検出装置およびそれを有する撮像装置 |
| JP5161702B2 (ja) * | 2008-08-25 | 2013-03-13 | キヤノン株式会社 | 撮像装置、撮像システム、及び焦点検出方法 |
| JP5593602B2 (ja) * | 2008-09-24 | 2014-09-24 | ソニー株式会社 | 撮像素子および撮像装置 |
| JP5311960B2 (ja) * | 2008-10-10 | 2013-10-09 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
| JP5237059B2 (ja) * | 2008-11-14 | 2013-07-17 | キヤノン株式会社 | 焦点検出装置及び方法、及び撮像装置 |
| JP5229060B2 (ja) * | 2009-03-31 | 2013-07-03 | ソニー株式会社 | 撮像装置および焦点検出方法 |
| JP5675157B2 (ja) * | 2009-05-12 | 2015-02-25 | キヤノン株式会社 | 焦点検出装置 |
| KR20100138614A (ko) * | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | 자동초점 검출장치 및 이를 적용한 카메라 |
| EP2490060B1 (en) | 2009-10-13 | 2018-06-13 | Canon Kabushiki Kaisha | Focusing device and focusing method |
| JP5387856B2 (ja) * | 2010-02-16 | 2014-01-15 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
| JP2011176715A (ja) * | 2010-02-25 | 2011-09-08 | Nikon Corp | 裏面照射型撮像素子および撮像装置 |
| JP5461343B2 (ja) * | 2010-08-24 | 2014-04-02 | 富士フイルム株式会社 | 撮像素子及び撮像装置 |
| JP5866760B2 (ja) * | 2010-12-16 | 2016-02-17 | 株式会社ニコン | 撮像装置 |
| JP5744545B2 (ja) * | 2011-01-31 | 2015-07-08 | キヤノン株式会社 | 固体撮像装置およびカメラ |
| JP5967950B2 (ja) * | 2011-04-20 | 2016-08-10 | キヤノン株式会社 | 撮像素子及び撮像装置 |
| JP5406889B2 (ja) * | 2011-07-01 | 2014-02-05 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5950514B2 (ja) | 2011-08-12 | 2016-07-13 | キヤノン株式会社 | 光電変換装置の製造方法 |
| EP2763400B1 (en) * | 2011-09-29 | 2017-04-19 | Fujifilm Corporation | Imaging element, and imaging device |
| EP2762941B1 (en) | 2011-09-30 | 2016-12-28 | Fujifilm Corporation | Imaging device and focus parameter value calculation method |
| JP6120508B2 (ja) | 2011-10-03 | 2017-04-26 | キヤノン株式会社 | 撮像素子および撮像装置 |
| JP5743837B2 (ja) | 2011-10-07 | 2015-07-01 | キヤノン株式会社 | 光電変換装置、撮像装置および撮像システム |
| KR20130038035A (ko) * | 2011-10-07 | 2013-04-17 | 삼성전자주식회사 | 촬상소자 |
| JP5936364B2 (ja) * | 2012-01-18 | 2016-06-22 | キヤノン株式会社 | 撮像装置、及び撮像装置を含む撮像システム |
| JP5963450B2 (ja) * | 2012-01-18 | 2016-08-03 | キヤノン株式会社 | 撮像装置および撮像システム |
| JP5967944B2 (ja) * | 2012-01-18 | 2016-08-10 | キヤノン株式会社 | 固体撮像装置およびカメラ |
| JP5955000B2 (ja) * | 2012-01-25 | 2016-07-20 | キヤノン株式会社 | 固体撮像素子、該固体撮像素子を備えた距離検出装置、及びカメラ |
| JP5348258B2 (ja) * | 2012-01-27 | 2013-11-20 | 株式会社ニコン | 撮像装置 |
| JP2013172210A (ja) * | 2012-02-17 | 2013-09-02 | Canon Inc | 撮像装置 |
| JP5917207B2 (ja) * | 2012-03-14 | 2016-05-11 | キヤノン株式会社 | 焦点調節装置 |
| JP6335423B2 (ja) * | 2012-08-31 | 2018-05-30 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
| JP5755204B2 (ja) * | 2012-09-12 | 2015-07-29 | キヤノン株式会社 | 撮像装置およびその制御方法、並びにレンズユニットおよびその制御方法 |
| JP2014106476A (ja) * | 2012-11-29 | 2014-06-09 | Canon Inc | 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体 |
| JP6231741B2 (ja) | 2012-12-10 | 2017-11-15 | キヤノン株式会社 | 固体撮像装置およびその製造方法 |
| JP6013247B2 (ja) * | 2013-03-26 | 2016-10-25 | オリンパス株式会社 | 撮像装置 |
| MX366000B (es) * | 2013-03-29 | 2019-06-24 | Samsung Electronics Co Ltd | Aparato de audio y metodo de provision de audio del mismo. |
| KR102028124B1 (ko) * | 2013-05-24 | 2019-10-02 | 삼성전자주식회사 | 위상차 초점검출 가능한 촬상소자 |
| JP6198485B2 (ja) * | 2013-06-28 | 2017-09-20 | キヤノン株式会社 | 光電変換装置、及び撮像システム |
| JP6164951B2 (ja) * | 2013-06-28 | 2017-07-19 | キヤノン株式会社 | 光電変換装置の製造方法、光電変換装置、及び撮像システム |
| FR3010230A1 (fr) * | 2013-09-04 | 2015-03-06 | Commissariat Energie Atomique | Dispositif photodetecteur a regions de semi-conducteurs separees par une barriere de potentiel |
| JP5664742B2 (ja) * | 2013-11-22 | 2015-02-04 | 株式会社ニコン | 撮像素子および撮像装置 |
| JP6442261B2 (ja) * | 2014-06-05 | 2018-12-19 | キヤノン株式会社 | 撮像素子及び撮像装置、及びその制御方法 |
| CN107005652B (zh) * | 2014-11-20 | 2019-12-13 | 富士胶片株式会社 | 摄像装置、摄像方法及记录介质 |
| EP3223508B1 (en) * | 2014-11-20 | 2019-08-21 | Fujifilm Corporation | Imaging device, imaging method, and image processing program |
| JP2016192467A (ja) * | 2015-03-31 | 2016-11-10 | ルネサスエレクトロニクス株式会社 | 半導体装置 |
| KR102374112B1 (ko) * | 2015-07-15 | 2022-03-14 | 삼성전자주식회사 | 오토 포커싱 픽셀을 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 시스템 |
| US10163948B2 (en) * | 2015-07-23 | 2018-12-25 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device and electronic device |
| JP2017045873A (ja) | 2015-08-27 | 2017-03-02 | ルネサスエレクトロニクス株式会社 | 半導体装置の製造方法および半導体装置 |
| US20170084650A1 (en) * | 2015-09-22 | 2017-03-23 | Qualcomm Incorporated | Color filter sensors |
| JP2017085065A (ja) * | 2015-10-30 | 2017-05-18 | ルネサスエレクトロニクス株式会社 | 半導体装置およびその製造方法 |
| JP6178835B2 (ja) * | 2015-12-22 | 2017-08-09 | キヤノン株式会社 | 固体撮像装置およびカメラ |
| US10283538B2 (en) | 2016-02-17 | 2019-05-07 | Canon Kabshiki Kaisha | Imaging device and method of driving imaging device |
| CN110352489B (zh) * | 2017-02-28 | 2020-10-16 | Bae系统成像解决方案有限公司 | 用于cmos成像传感器的自动对焦系统 |
| CN106921823B (zh) * | 2017-04-28 | 2019-09-17 | Oppo广东移动通信有限公司 | 图像传感器、摄像模组和终端设备 |
| CN106973206B (zh) | 2017-04-28 | 2020-06-05 | Oppo广东移动通信有限公司 | 摄像模组摄像处理方法、装置和终端设备 |
| JP7316764B2 (ja) | 2017-05-29 | 2023-07-28 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、及び電子機器 |
| CN117577654A (zh) | 2017-05-29 | 2024-02-20 | 索尼半导体解决方案公司 | 固态摄像装置和电子设备 |
| US11314150B2 (en) * | 2020-01-08 | 2022-04-26 | Qualcomm Incorporated | Phase detection autofocus (PDAF) optical system |
| WO2021258265A1 (zh) * | 2020-06-22 | 2021-12-30 | 深圳市汇顶科技股份有限公司 | 图像传感器、摄像头以及电子设备 |
| US11496728B2 (en) | 2020-12-15 | 2022-11-08 | Waymo Llc | Aperture health monitoring mode |
| JP2022119374A (ja) | 2021-02-04 | 2022-08-17 | キヤノン株式会社 | 光電変換装置、光電変換システム、移動体 |
| TW202236656A (zh) | 2021-02-18 | 2022-09-16 | 日商索尼半導體解決方案公司 | 固態攝像裝置及電子機器 |
| WO2023132002A1 (ja) * | 2022-01-05 | 2023-07-13 | キヤノン株式会社 | 光電変換装置、光電変換システム、移動体 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06313844A (ja) * | 1993-04-30 | 1994-11-08 | Olympus Optical Co Ltd | 光電変換装置 |
| JPH0946596A (ja) * | 1995-08-02 | 1997-02-14 | Canon Inc | 固体撮像装置と画像撮像装置 |
| JPH09200784A (ja) * | 1996-01-22 | 1997-07-31 | Sharp Corp | 撮像装置 |
| JP2000232216A (ja) * | 1998-12-31 | 2000-08-22 | Eastman Kodak Co | 配線されたフローティングディフュージョンと共通増幅器のあるアクティブピクセルセンサ |
| JP2000316117A (ja) * | 1999-04-30 | 2000-11-14 | Olympus Optical Co Ltd | 電子カメラ |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4071297A (en) * | 1973-06-18 | 1978-01-31 | Ernst Leitz Gmbh | Method and apparatus for photoelectrically determining the position of at least one image focus plane |
| US4441123A (en) * | 1981-09-30 | 1984-04-03 | Fuji Photo Film Co., Ltd. | Photosensor pattern of solid-state imaging sensors |
| US4652109A (en) * | 1982-07-22 | 1987-03-24 | Canon Kabushiki Kaisha | Camera light measuring system with aperture correction for different measuring modes |
| US5151583A (en) * | 1988-05-16 | 1992-09-29 | Canon Kabushiki Kaisha | Focus adjustment device having restricting means for restricting a selecting action according to the degree of nearness of a distance measurement |
| US5689339A (en) * | 1991-10-23 | 1997-11-18 | Nikon Corporation | Alignment apparatus |
| US5760852A (en) * | 1995-11-03 | 1998-06-02 | Hughes Electronics Corporation | Laser-hardened eye protection goggles |
| US6137535A (en) * | 1996-11-04 | 2000-10-24 | Eastman Kodak Company | Compact digital camera with segmented fields of view |
| JP3704238B2 (ja) * | 1997-03-31 | 2005-10-12 | 株式会社リコー | 撮像装置 |
| JP2000324503A (ja) * | 1999-03-11 | 2000-11-24 | Matsushita Electric Ind Co Ltd | テレビジョンカメラおよびテレビジョンカメラのホワイトバランス補正方法 |
| JP2001124982A (ja) * | 1999-10-25 | 2001-05-11 | Asahi Optical Co Ltd | 多点焦点検出装置 |
| JP5002086B2 (ja) * | 1999-10-28 | 2012-08-15 | キヤノン株式会社 | 焦点検出装置と撮像装置 |
| US6809768B1 (en) * | 2000-02-14 | 2004-10-26 | Foveon, Inc. | Double slope pixel sensor and array |
-
2000
- 2000-11-28 JP JP2000361639A patent/JP4500434B2/ja not_active Expired - Lifetime
-
2001
- 2001-11-28 US US09/994,744 patent/US7652713B2/en not_active Expired - Lifetime
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06313844A (ja) * | 1993-04-30 | 1994-11-08 | Olympus Optical Co Ltd | 光電変換装置 |
| JPH0946596A (ja) * | 1995-08-02 | 1997-02-14 | Canon Inc | 固体撮像装置と画像撮像装置 |
| JPH09200784A (ja) * | 1996-01-22 | 1997-07-31 | Sharp Corp | 撮像装置 |
| JP2000232216A (ja) * | 1998-12-31 | 2000-08-22 | Eastman Kodak Co | 配線されたフローティングディフュージョンと共通増幅器のあるアクティブピクセルセンサ |
| JP2000316117A (ja) * | 1999-04-30 | 2000-11-14 | Olympus Optical Co Ltd | 電子カメラ |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180133157A (ko) * | 2017-06-05 | 2018-12-13 | 삼성전자주식회사 | 위상 검출 픽셀을 포함하는 이미지 센서 |
| KR102398667B1 (ko) * | 2017-06-05 | 2022-05-16 | 삼성전자주식회사 | 위상 검출 픽셀을 포함하는 이미지 센서 |
| KR20190106599A (ko) * | 2018-03-09 | 2019-09-18 | 삼성전자주식회사 | 위상 검출 픽셀들을 포함하는 이미지 센서 및 이미지 촬상 장치 |
| KR102545173B1 (ko) | 2018-03-09 | 2023-06-19 | 삼성전자주식회사 | 위상 검출 픽셀들을 포함하는 이미지 센서 및 이미지 촬상 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020121652A1 (en) | 2002-09-05 |
| US7652713B2 (en) | 2010-01-26 |
| JP2002165126A (ja) | 2002-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4500434B2 (ja) | 撮像装置及び撮像システム、並びに撮像方法 | |
| JP5002086B2 (ja) | 焦点検出装置と撮像装置 | |
| JP3774597B2 (ja) | 撮像装置 | |
| JP5552214B2 (ja) | 焦点検出装置 | |
| JP3977062B2 (ja) | 撮像装置及び焦点調節方法 | |
| JP5159700B2 (ja) | 光学装置及び焦点検出方法 | |
| US9742984B2 (en) | Image capturing apparatus and method of controlling the same | |
| JP5825817B2 (ja) | 固体撮像素子及び撮像装置 | |
| JP5675157B2 (ja) | 焦点検出装置 | |
| US8634015B2 (en) | Image capturing apparatus and method and program for controlling same | |
| US9001262B2 (en) | Image sensor and image capturing apparatus | |
| US8711270B2 (en) | Focus detection device and imaging apparatus having the same | |
| US8872962B2 (en) | Focus detection apparatus and image pickup apparatus | |
| JP5276374B2 (ja) | 焦点検出装置 | |
| US8902349B2 (en) | Image pickup apparatus | |
| JP2010117679A (ja) | 焦点検出装置及び方法、及び撮像装置 | |
| JP2010020016A (ja) | 撮像装置 | |
| US10321044B2 (en) | Image pickup apparatus and image pickup system with point image intensity distribution calculation | |
| JP2002131623A (ja) | 撮像装置及び撮像システム | |
| WO2012093551A1 (en) | Image capture apparatus | |
| JP4858529B2 (ja) | 撮像素子および撮像装置 | |
| JP2012220790A (ja) | 撮像装置 | |
| JP5735784B2 (ja) | 撮像装置及びその制御方法、レンズ装置及びその制御方法 | |
| JP2002303785A (ja) | 焦点検出装置及び撮像装置 | |
| JP2020057017A (ja) | 撮像装置及びその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091116 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100315 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4500434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 4 |
|
| EXPY | Cancellation because of completion of term |