JPWO2018062559A1 - 撮像素子、焦点検出装置、及び、撮像装置 - Google Patents

撮像素子、焦点検出装置、及び、撮像装置 Download PDF

Info

Publication number
JPWO2018062559A1
JPWO2018062559A1 JP2018542059A JP2018542059A JPWO2018062559A1 JP WO2018062559 A1 JPWO2018062559 A1 JP WO2018062559A1 JP 2018542059 A JP2018542059 A JP 2018542059A JP 2018542059 A JP2018542059 A JP 2018542059A JP WO2018062559 A1 JPWO2018062559 A1 JP WO2018062559A1
Authority
JP
Japan
Prior art keywords
photoelectric conversion
conversion unit
unit
signal
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018542059A
Other languages
English (en)
Other versions
JP6693568B2 (ja
Inventor
智史 中山
智史 中山
良次 安藤
良次 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2018062559A1 publication Critical patent/JPWO2018062559A1/ja
Application granted granted Critical
Publication of JP6693568B2 publication Critical patent/JP6693568B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14618Containers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14629Reflectors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14636Interconnect structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • H01L27/14647Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像素子(22)は,結像光学系(31)を通過した第1の光束(61)及び第2の光束(62)が入射するマイクロレンズ(44)と,前記マイクロレンズを透過した前記第1の光束及び第2の光束が入射する第1の光電変換部(41)と,前記第1の光電変換部を透過した前記第1の光束を前記第1の光電変換部に向けて反射する反射部(43)と,前記第1の光電変換部を透過した前記第2の光束が入射する第2の光電変換部(42)とを有する第1画素(10G1)と,前記結像光学系を通過した第1の光束及び第2の光束が入射するマイクロレンズと,前記マイクロレンズを透過した前記第1の光束及び第2の光束が入射する第1の光電変換部と,前記第1の光電変換部を透過した前記第2の光束を前記第1の光電変換部に向けて反射する反射部と,前記第1の光電変換部を透過した前記第1の光束が入射する第2の光電変換部とを有する第2画素(10g1)が配置される。

Description

本発明は、撮像素子、焦点検出装置、及び、電子カメラに関する。
光電変換部の下に反射層を設け、この反射層によって光電変換部を透過した光を光電変換部に反射させる撮像装置が知られている(特許文献1)。この撮像装置では、被写体像の位相差情報を得ることができない。
日本国特開2010−177704号公報
本発明の第1の態様によると、撮像素子は、結像光学系を通過した第1の光束及び第2の光束が入射するマイクロレンズと、前記マイクロレンズを透過した前記第1の光束及び第2の光束が入射する第1の光電変換部と、前記第1の光電変換部を透過した前記第1の光束を前記第1の光電変換部に向けて反射する反射部と、前記第1の光電変換部を透過した前記第2の光束が入射する第2の光電変換部とを有する第1画素と、前記結像光学系を通過した第1の光束及び第2の光束が入射するマイクロレンズと、前記マイクロレンズを透過した前記第1の光束及び第2の光束が入射する第1の光電変換部と、前記第1の光電変換部を透過した前記第2の光束を前記第1の光電変換部に向けて反射する反射部と、前記第1の光電変換部を透過した前記第1の光束が入射する第2の光電変換部とを有する第2画素と、が配置される。
本発明の第2の態様によると、焦点検出装置は、第1の態様による撮像素子と、前記第1画素の第1の光電変換部の信号と前記第2画素の第1の光電変換部の信号とに基づき前記結像光学系の焦点検出を行う焦点検出部と、を備える。
本発明の第3の態様によると、電子カメラは、第1の態様による撮像素子と、前記第2の光電変換部からの信号に基づき前記第1の光電変換部からの信号を補正する補正部と、を備える。
第1の実施の形態に係る撮像装置の構成例を示す図である。 第1の実施の形態に係る撮像素子の画素の配置例を示す図である。 第1の実施の形態に係る撮像素子の画素群の構成例を示す概念図である。 第1の実施の形態に係る撮像素子の光電変換信号の一覧を示す図である。 第1の実施の形態に係る撮像素子の構成例を示す回路図である。 第1の実施の形態に係る撮像素子の断面構造の一例を示す図である。 第1の実施の形態に係る撮像素子の構成例を示す図である。 変形例1に係る撮像素子の断面構造の一例を示す図である。
(第1の実施の形態)
図1は、第1の実施の形態に係る撮像装置の一例である電子カメラ1(以下、カメラ1と称する)の構成例を示す図である。カメラ1は、カメラボディ2と交換レンズ3とにより構成される。交換レンズ3は、不図示のマウント部を介してカメラボディ2に着脱可能に装着される。カメラボディ2に交換レンズ3が装着されると、カメラボディ2側の接続部202と交換レンズ3側の接続部302とが接続され、カメラボディ2および交換レンズ3間の通信が可能となる。
図1において、被写体からの光は、図1のZ軸プラス方向に向かって入射する。また、座標軸に示すように、Z軸に直交する紙面手前方向をX軸プラス方向、Z軸およびX軸に直交する下方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きが分かるように座標軸を表示する。
交換レンズ3は、撮像光学系(結像光学系)31と、レンズ制御部32と、レンズメモリ33とを備える。撮像光学系31は、焦点調節レンズ(フォーカスレンズ)を含む複数のレンズと絞りとを含み、カメラボディ2の撮像素子22の撮像面上に被写体像を結像する。
レンズ制御部32は、カメラボディ2のボディ制御部21から出力される信号に基づき、焦点調節レンズを光軸L1方向に進退移動させて撮像光学系31の焦点位置を調節する。ボディ制御部21から出力される信号には、焦点調節レンズの移動方向や移動量、移動速度などを示す情報が含まれる。また、レンズ制御部32は、カメラボディ2のボディ制御部21から出力される信号に基づき、絞りの開口径を制御する。
レンズメモリ33は、例えば、不揮発性の記憶媒体等により構成される。レンズメモリ33には、交換レンズ3に関連する情報がレンズ情報として記憶される。レンズ情報には、例えば、撮像光学系31の射出瞳の位置に関する情報が含まれる。レンズメモリ33へのレンズ情報の書き込みや、レンズメモリ33からのレンズ情報の読み出しは、レンズ制御部32によって行われる。
カメラボディ2は、ボディ制御部21と、撮像素子22と、メモリ23と、表示部24と、操作部25とを備える。ボディ制御部21は、CPU、ROM、RAM等により構成され、制御プログラムに基づきカメラ1の各部を制御する。また、ボディ制御部21は、各種の信号処理を行う。
撮像素子22は、例えば、CMOSイメージセンサやCCDイメージセンサである。撮像素子22は、撮像光学系31の射出瞳を通過した光束を受光して、被写体像を撮像する。撮像素子22には、光電変換部を有する複数の画素が二次元状(例えば、行方向及び列方向)に配置される。光電変換部は、例えばフォトダイオード(PD)によって構成される。撮像素子22は、入射した光を光電変換して信号を生成し、生成した信号をボディ制御部21に出力する。撮像素子22は、詳細は後述するが、画像データを生成するための信号すなわち撮像信号と、撮像光学系31の焦点について位相差式焦点検出を行うための一対の焦点検出信号、即ち、第1及び第2の焦点検出信号とを、ボディ制御部21に出力する。この第1及び第2の焦点検出信号は、後に詳述するように、撮像光学系31の射出瞳の第1及び第2の領域をそれぞれ通過した第1及び第2の光束による第1及び第2の像をそれぞれ光電変換した信号である。
メモリ23は、例えば、メモリカード等の記録媒体である。メモリ23には、画像データ等が記録される。メモリ23へのデータの書き込みや、メモリ23からのデータの読み出しは、ボディ制御部21によって行われる。表示部24は、画像データに基づく画像、シャッター速度や絞り値等の撮影に関する情報、およびメニュー画面等を表示する。操作部25は、レリーズボタン、電源スイッチなどの各種設定スイッチ等を含み、それぞれの操作に応じた操作信号をボディ制御部21へ出力する。
ボディ制御部21は、画像データ生成部211aと、補正部211bと、第1の焦点検出部212aと、第2の焦点検出部212bと、第3の焦点検出部212cとを有する。なお、以下の説明では、第1の焦点検出部212a、第2の焦点検出部212b、および第3の焦点検出部212cを特に区別しない場合には、これらを単に焦点検出部212と称する場合もある。
画像データ生成部211aは、撮像素子22から出力される撮像信号に各種の画像処理を行って画像データを生成する。画像処理には、例えば、階調変換処理、色補間処理、輪郭強調処理等の公知の画像処理が含まれる。補正部211bは、撮像素子22から出力される焦点検出信号に対して補正処理を行う。詳細は後述するが、補正部211bは、焦点検出処理にとってはノイズとなる成分を、焦点検出信号から除去する処理を行う。
焦点検出部212は、撮像光学系31の自動焦点調節(AF)に必要な焦点検出処理を行う。具体的には、焦点検出部212は、一対の焦点検出信号を用いて、瞳分割型の位相差検出方式によりデフォーカス量を算出する。より具体的には、焦点検出部212は、撮像光学系31の射出瞳の第1及び第2の領域を通過した第1及び第2の光束による第1及び第2の像を光電変換して生成した第1及び第2の焦点検出信号に基づき、第1及び第2の像の像ズレ量を検出する。焦点検出部212は、検出した像ズレ量に基づいてデフォーカス量を算出する。
焦点検出部212は、デフォーカス量が許容値以内か否かを判定する。焦点検出部212は、デフォーカス量が許容値以内であれば合焦していると判断する。一方、焦点検出部212は、デフォーカス量が許容値を超えている場合は合焦していないと判断し、交換レンズ3のレンズ制御部32へデフォーカス量とレンズ駆動指示とを送信する。焦点検出部212からの指示を受けたレンズ制御部32が、デフォーカス量に応じて焦点調節レンズを駆動することにより、焦点調節が自動で行われる。
図2は、第1の実施の形態に係る撮像素子22の画素の配置例を示す図である。図2に示す例では、5行8列の計40個の画素10を図示している。なお、撮像素子22に配置される画素の数および配置は、図示した例に限られない。撮像素子22には、例えば、数百万〜数億、又はそれ以上の画素が設けられる。
各画素10には、例えばR(赤)、G(緑)、B(青)の異なる分光感度を有する3つのカラーフィルタのいずれかが設けられる。Rのカラーフィルタは主に第1の波長の光(赤色の波長域の光)を透過し、Gのカラーフィルタは主に第1の波長より短い波長の光(緑色の波長域の光)を透過し、Bのカラーフィルタは主に第2の波長より短い波長の光(青色の波長域の光)を透過する。これにより、画素10は、配置されたカラーフィルタによって異なる分光感度特性を有する。
撮像素子22は、Rのカラーフィルタを有する画素(以下、R画素と称する)10およびGのカラーフィルタを有する画素(以下、G画素と称する)10が第1の方向、即ち、行方向に交互に配置される画素群401を有する。また、撮像素子22は、G画素10およびBのカラーフィルタを有する画素(以下、B画素と称する)10が第1の方向、即ち、行方向に交互に配置される画素群402を有する。画素群401と画素群402とは、第1の方向に交差する方向である第2の方向、即ち、列方向に交互に配置される。このように、本実施の形態では、R画素10、G画素10、およびB画素10は、ベイヤー配列に従って配置される。
画素10は、撮像光学系31を介して入射した光を受光し、受光量に応じた信号を生成する。各画素10により生成される信号は、詳細は後述するが、撮像信号および第1及び第2の焦点検出信号として用いられる。
図3は、第1の実施の形態に係る撮像素子22の画素群402の構成例を示す概念図である。G画素10には、2種のG画素、即ち第1のG画素10G(図3ではG画素10G1、10G2)と第2のG画素10g(図3ではG画素10g1、10g2)とがある。第1のG画素10Gと第2のG画素10gとは、両者の間にB画素を挟んで、互いに交互に配置されている。また、B画素10は、2種のB画素、即ち第1のB画素10B(図3ではB画素10B1、10B2)と第2のB画素10b(図3ではB画素10b1、10b2)とからなり、第1のB画素10Bと第2のB画素10bとは、両者の間にG画素を挟んで、互いに交互に配置されている。
なお、図2に示す画素群401内のR画素10及びG画素10も、画素群402内の第1及び第2のB画素10B、10b及び第1及び第2のG画素10G、10gと同様の構成の第1のR画素と第2のR画素、及び第1のG画素と第2のG画素を有する。即ち、第1のG画素10Gの構成、第1のB画素10Bの構成、および第1のR画素の構成は、カラーフィルタを除いて同一である。また、第2のG画素10gの構成、第2のB画素10bの構成、および第2のR画素の構成は、カラーフィルタを除いて同一である。そこで、以下では、代表して第1のG画素10Gおよび第2のG画素10gについて説明する。
図3において、第1のG画素10Gおよび第2のG画素10gの各々は、第1の光電変換部41と、第2の光電変換部42と、反射部43と、マイクロレンズ44と、カラーフィルタ45とを有する。第1及び第2の光電変換部41、42は、互いに積層され、本実施の形態にあっては同一の大きさに構成され、互いに分離絶縁されている。反射部43は、例えば金属の反射膜であり、第1の光電変換部41と第2の光電変換部42との間に設けられる。なお、反射部43を、絶縁膜により構成するようにしてもよい。
第1のG画素10Gでは、反射部43は、第1の光電変換部41および第2の光電変換部42のそれぞれのほぼ左半分(光電変換部42のマイナスX側)の領域に対応して配置される。また、第1のG画素10Gでは、第1の光電変換部41と反射部43との間、及び第2の光電変換部42と反射部43との間には、不図示の絶縁膜がそれぞれ設けられる。また、第1のG画素10Gでは、第1の光電変換部41のほぼ右半分の領域と第2の光電変換部42のほぼ右半分の領域との間には、透明な電気的絶縁膜46が設けられている。こうして、第1及び第2の光電変換部41、42は、透明絶縁膜46と上述した不図示の絶縁膜とによって分離絶縁される。
第2のG画素10gでは、反射部43は、第1の光電変換部41および第2の光電変換部42のそれぞれのほぼ右半分(光電変換部41のプラスX側)の領域に対応して配置される。また、第2のG画素10gでは、第1の光電変換部41と反射部43との間、及び第2の光電変換部42と反射部43との間には、不図示の絶縁膜がそれぞれ設けられる。また、第2のG画素10gでは、第1の光電変換部41のほぼ左半分の領域と第2の光電変換部42のほぼ左半分の領域との間には、透明な電気的絶縁膜46が設けられている。こうして、第1及び第2の光電変換部41、42は、透明絶縁膜46と上述した不図示の絶縁膜とによって分離絶縁される。
マイクロレンズ44は、図3において上方から結像光学系3を介して入射された光を集光する。マイクロレンズ44のパワーは、反射部43の位置と結像光学系3の射出瞳の位置とがマイクロレンズ44に関して共役な位置関係となるように、定められている。上述のように、画素群402は、G画素10とB画素10がX方向、即ち行方向に交互に配置されているので、Gのカラーフィルタ45とBのカラーフィルタ45とが、X方向に交互に配置されている。
次に、画素10に入射する光束、および画素10により生成される信号について詳しく説明する。なお、以下では、マイクロレンズ44によって撮像光学系31の射出瞳位置に投影される第1のG画素10Gの反射部43の投影像および第2のG画素10gの透明絶縁膜46の投影像の領域を、撮像光学系3の射出瞳の第1の瞳領域と称する。同様に、マイクロレンズ44によって撮像光学系31の射出瞳位置に投影される第1のG画素10Gの透明絶縁膜46の投影像および第2のG画素10gの反射膜43の投影像の領域を、撮像光学系3の射出瞳の第2の瞳領域と称する。
第1のG画素10Gでは、図1の撮像光学系3の射出瞳の第1の瞳領域を通過した破線で示した第1の光束61は、マイクロレンズ44、カラーフィルタ45および第1の光電変換部41を透過した後に、反射部43で反射されて第1の光電変換部41に再入射する。撮像光学系3の射出瞳の第2の瞳領域を通過した実線で示した第2の光束62は、マイクロレンズ44、カラーフィルタ45および第1の光電変換部41を透過した後に、更に透明絶縁膜46を透過して第2の光電変換部42に入射する。第1のG画素10Gでは、透明絶縁膜46は、第1の光電変換部41を透過した第2の光束62が第2の光電変換部42に入射することを許容する開口として作用する。
このように、第1のG画素10Gでは、第1の光束61と第2の光束62との両方が、第1の光電変換部41に入射するので、第1の光電変換部41は、第1の光束61及び第2の光束62を光電変換して電荷を生成する。また、第1の光電変換部41に入射された第1の光束61は、第1の光電変換部41を透過して反射部43で反射されて第1の光電変換部41に再入射するので、第1の光電変換部41は、反射された第1の光束61を光電変換して電荷を生成する。
こうして、第1のG画素10Gの第1の光電変換部41は、第1の光束61および第2の光束62を光電変換した電荷と、反射部43によって反射された第1の光束61を光電変換した電荷とを生成する。第1のG画素10Gは、第1の光電変換部41により生成されたこれらの電荷による信号を、第1の光電変換信号S1Gとして出力する。
また、第1のG画素10Gでは、第2の光束62は、第1の光電変換部41の通過後に透明絶縁膜46を通って第2の光電変換部42に入射するので、第1のG画素10Gの第2の光電変換部42は、第2の光束62を光電変換して電荷を生成する。第1のG画素10Gは、第2の光電変換部42により生成された電荷による信号を、第2の光電変換信号S2Gとして出力する。
第2のG画素10gでは、図1の撮像光学系3の射出瞳の第1の瞳領域を通過した破線で示した第1の光束61は、マイクロレンズ44、カラーフィルタ45および第1の光電変換部41を透過し、更に透明絶縁膜46を透過して第2の光電変換部42に入射する。第2のG画素10gでは、透明絶縁膜46は、第1の光電変換部41を透過した第1の光束61が第2の光電変換部42に入射することを許容する開口として作用する。撮像光学系3の射出瞳の第2の瞳領域を通過した実線で示した第2の光束62は、マイクロレンズ44、カラーフィルタ45および第1の光電変換部41を透過した後に、反射部43で反射されて第1の光電変換部41に再入射する。
このように、第2のG画素10gでは、第1の光束61と第2の光束62との両方が、第1の光電変換部41に入射するので、第1の光電変換部41は、第1の光束61及び第2の光束62を光電変換して電荷を生成する。また、第1の光電変換部41に入射された第2の光束62は、第1の光電変換部41を透過して反射部43で反射されて第1の光電変換部41に再入射するので、第1の光電変換部41は、反射された第2の光束62を光電変換して電荷を生成する。
こうして、第2のG画素10gの第1の光電変換部41は、第1の光束61および第2の光束62を光電変換した電荷と、反射部43によって反射された第2の光束62を光電変換した電荷とを生成する。第2のG画素10gは、第1の光電変換部41により生成されたこれらの電荷による信号を、第1の光電変換信号S1gとして出力する。
また、第2のG画素10gでは、第1の光束61は、第1の光電変換部41の通過後に透明絶縁膜46を通って第2の光電変換部42に入射するので、第2の光電変換部42は、第1の光束61を光電変換して電荷を生成する。第2のG画素10gは、第2の光電変換部42により生成された電荷による信号を、第2の光電変換信号S2gとして出力する。
次に、第1のG画素10Gから出力される第1及び第2の光電変換信号S1G、S2Gの大きさを概算する。第1の光電変換部41に入射する第1の光束61の光強度(光量)をAとし、第1の光電変換部41に入射した光束を光電変換する際の変換係数をkとし、第1の光電変換部41に入射した光のうち第1の光電変換部41において吸収される割合をαとすると、第1の光電変換部41に直接入射する第1の光束61を光電変換した光電変換信号はkαAとなる。また、マイクロレンズ44を介して第1の光電変換部41に入射して吸収される第1の光束61の光強度はαAとなる。また、第1の光電変換部41を透過した第1の光束61はすべて反射部43で反射されて第1の光電変換部41に再入射されるとすると、第1の光電変換部41に再入射した光を光電変換した電荷に基づく信号はk(A−αA)となる。
また、第1の光電変換部41に入射する第2の光束62の光強度(光量)をBとすると、第1の光電変換部41に直接入射する第2の光束62を光電変換した電荷に基づく信号はkαBとなる。このため、第1の光電変換部41により変換された電荷に基づく第1の光電変換信号S1Gは、次式で表すことができる。
S1G=kαA+k(A−αA)+kαB
=k(1−α)A+kαA+kαB ……式(1)
式(1)において、k(1−α)Aは、上述のように、反射部43で反射され第1の光電変換部41に再入射した第1の光束61を光電変換して生成された光電変換信号である。
マイクロレンズ44を介して第1の光電変換部41に入射して吸収される第2の光束62の光強度はαBとなる。また、第2の光電変換部42に入射した光束を光電変換する際の変換係数を、第1の光電変換部41の変換係数と同一の値kとする。第1のG画素10Gにおいて、第1の光電変換部41を透過した第2の光束62はすべて第2の光電変換部42に入射するとする。第2の光電変換部42により第2の光束62を光電変換した電荷に基づく第2の光電変換信号S2Gは、次式で表すことができる。
S2G=k(B−αB)
=k(1−α)B ……式(2)
次に、第2のG画素10gから出力される第1及び第2の光電変換信号S1g、S2gの大きさを概算する。この第2のG画素10gの第1及び第2の光電変換信号S1g、S2gは、上記の式(1)及び式(2)でAとBとが入れ替わった以下の式(3)及び式(4)で表される。
S1g=k(1−α)B+kαA+kαB ……式(3)
S2g=k(1−α)A ……式(4)
第1及び第2のB画素、R画素の第1及び第2の光電変換信号S1、S2は、第1及び第2のG画素10G、10gの場合と同様である。
図1に示した第1の焦点検出部212a〜第3の焦点検出部212cは、第1の光束61による第1の像と第2の光束62による第2の像との像ズレを、第1の像を光電変換した第1の焦点検出信号と第2の像を光電変換した第2の焦点検出信号との位相差として検出するものである。
ところが、第1のG画素10Gの第1の光電変換部41が生成した電荷に基づく第1の光電変換信号S1Gは、上述の反射部43によって反射された第1の光束61を光電変換した信号と、第1の光電変換部41に入射した第1及び第2の光束61、62をそれぞれ光電変換した信号とを加算したものである。従って、第1の光電変換信号S1Gから、第1の光電変換部41に入射した第1及び第2の光束61、62をそれぞれ光電変換して生成された光電変換信号、すなわち式(1)に示す(kαA+kαB)を、ノイズ成分として除去する必要がある。
このため、ボディ制御部21の補正部211bは、第1の光電変換信号S1Gからノイズ成分を排除する補正処理を行う。第1の光電変換部41についての変換係数kおよび第1の光電変換部41の吸収割合αの値は、第1の光電変換部41の量子効率や基板の厚み等によって決まる既知の値である。そこで、ボディ制御部21は、式(1)及び式(2)を用いて第1及び第2の光束61、62の光強度A、Bを算出すると共に、算出した光強度A、Bに基づきノイズ成分(kαA+kαB)を算出する。
補正部211bは、算出されたノイズ成分(kαA+kαB)を、第1の光電変換信号S1Gから減算することにより、k(1−α)Aを算出する。即ち、補正部211bは、第1の光電変換信号S1Gからノイズ成分(kαA+kαB)を除去して、反射部43により反射されて第1の光電変換部41に再入射した第1の光束61による信号成分であるk(1−α)Aを、補正後の第1の光電変換信号S1G’として抽出する。即ち、補正後の第1の光電変換信号S1G’は、次式(5)で表すことができる。
S1G’=k(1−α)A ……式(5)
また、第2のG画素10gの第1の光電変換部41が生成した電荷に基づく第1の光電変換信号S1gは、上述の反射部43によって反射された第2の光束62を光電変換した信号と、第1の光電変換部41に入射した第1及び第2の光束61、62をそれぞれ光電変換した信号とを加算したものである。従って、第1の光電変換信号S1gから、第1の光電変換部41に入射した第1及び第2の光束61、62をそれぞれ光電変換して生成された光電変換信号、すなわち式(3)に示す(kαA+kαB)を、ノイズ成分として除去する必要がある。
そこで、ボディ制御部21は、式(3)及び式(4)を用いて第1及び第2の光束61、62の光強度A、Bを算出すると共に、算出した光強度A、Bに基づきノイズ成分(kαA+kαB)を算出する。補正部211bは、算出されたノイズ成分(kαA+kαB)を、第1の光電変換信号S1gから減算することにより、反射部43により反射されて第1の光電変換部41に再入射した第2の光束62による信号成分であるk(1−α)Bを、補正後の第1の光電変換信号S1g’として抽出する。即ち、補正後の第1の光電変換信号S1g’は、次式(6)で表すことができる。
S1g’=k(1−α)B ……式(6)
なお、第1及び第2の光電変換部41、42に関する変換係数kや第1の光電変換部41の吸収割合αの値は、第1及び第2の光電変換部41、42の量子効率や基板の厚み等によって決まるため、それぞれの値は予め算出することができる。変換係数kおよび吸収割合αの値は、ボディ制御部21の内部のメモリ等に記録されている。
図3において、第1及び第2のG画素10G1、10g1、10G2、10g2にそれぞれ入射する第1の光束61の光強度を、A1、A2、A3、A4とし、第2の光束62の光強度を、B1、B2、B3、B4とする。この場合には、第1のG画素10G1については、補正後の第1の光電変換信号S1G’がk(1−α)A1となり、第2の光電変換信号S2Gがk(1−α)B1となる。同様に、第2のG画素10g1については、補正後の第1の光電変換信号S1g’がk(1−α)B2となり、第2の光電変換信号S2gがk(1−α)A2となる。第1のG画素10G2については、補正後の第1の光電変換信号S1G’がk(1−α)A3となり、第2の光電変換信号S2Gがk(1−α)B3となる。第2のG画素10g2については、補正後の第1の光電変換信号S1g’がk(1−α)B4となり、第2の光電変換信号S2gがk(1−α)A4となる。
これらの第1のG画素10G1、第2のG画素10g1、第1のG画素10G2、及び第2のG画素10g2の補正後の第1の光電変換信号と第2の光電変換信号とを、図4に一覧にして示す。
第1の焦点検出部212aは、第1のG画素10G1、10G2・・・の第1の光電変換信号S1Gを第1の焦点検出信号とし、第2のG画素10g1、10g2・・・の第1の光電変換信号S1gを第2の焦点検出信号として、焦点検出を行う。
即ち、第1の焦点検出部212aは、図4において、第1の焦点検出信号として、k(1−α)A1およびk(1−α)A3を使用し、第2の焦点検出信号として、k(1−α)B2およびk(1−α)B4を使用する。
なお、第1の焦点検出部212aは、図3において、一画素置きに並んだ複数のG画素10からの第1及び第2の焦点検出信号に基づき、位相差式焦点検出を行うと共に、一画素置きに並んだ複数のB画素10からの第1及び第2の焦点検出信号に基づき、位相差式焦点検出を行う。同様に、第1の焦点検出部212aは、図2の画素群401の一画素置きに並んだ複数のR画素10からの第1及び第2の焦点検出信号に基づき、位相差式焦点検出を行うと共に、図2の画素群401の一画素置きに並んだ複数のG画素10からの第1及び第2の焦点検出信号に基づき、位相差式焦点検出を行う。
図1に示した第2の焦点検出部212bは、第2のG画素10g1、10g2・・・の第2の光電変換信号S2gを第1の焦点検出信号として、第1のG画素10G1、10G2・・・の第2の光電変換信号S2Gを第2の焦点検出信号とし、焦点検出を行う。
即ち、第2の焦点検出部212bは、図4において、第1の焦点検出信号として、k(1−α)A2およびk(1−α)A4を使用し、第2の焦点検出信号として、k(1−α)B1およびk(1−α)B3を使用する。第2の焦点検出部212bは、第1の焦点検出信号と第2の焦点検出信号とに基づき、撮像光学系31のデフォーカス量を算出する。
なお、第2の焦点検出部212bは、図3において、一画素置きに並んだ複数のG画素10からの第1及び第2の焦点検出信号に基づき、位相差式焦点検出を行うと共に、一画素置きに並んだ複数のB画素10からの第1及び第2の焦点検出信号に基づき、位相差式焦点検出を行う。同様に、第2の焦点検出部212bは、図2の画素群401の一画素置きに並んだ複数のR画素10からの第1及び第2の焦点検出信号に基づき、位相差式焦点検出を行うと共に、図2の画素群401の一画素置きに並んだ複数のG画素10からの第1及び第2の焦点検出信号に基づき、位相差式焦点検出を行う。
図1に示した第3の焦点検出部212cは、第1のG画素10G1、10G2・・・の第1の光電変換信号S1Gと、第2のG画素10g1、10g2・・・の第2の光電変換信号S2gとを第1の焦点検出信号として、焦点検出処理に使用する。また、第3の焦点検出部212cは、第1のG画素10G1、10G2・・・の第2の光電変換信号S2Gと、第2のG画素10g1、10g2・・・の第1の光電変換信号S1gとを第2の焦点検出信号として、焦点検出処理に使用する。
即ち、第3の焦点検出部212cは、図4において、第1の焦点検出信号として、k(1−α)A1、k(1−α)A2、k(1−α)A3、およびk(1−α)A4を使用し、第2の焦点検出信号として、k(1−α)B1、k(1−α)B2、k(1−α)B3、およびk(1−α)B4を使用する。第3の焦点検出部212cは、第1の焦点検出信号と第2の焦点検出信号とに基づき、撮像光学系31のデフォーカス量を算出する。
レンズ制御部32は、第1の焦点検出部212a〜第3の焦点検出部212cの各々により算出されたデフォーカス量に基づき、撮像光学系31の焦点調節レンズを合焦位置に移動して焦点調節する。例えば、レンズ制御部32は、被写体像の周波数に関する情報に基づいて、第1の焦点検出部212a〜第3の焦点検出部212cのうちいずれの焦点検出部で算出されたデフォーカス量を焦点調節に用いるかを選択する。そして、レンズ制御部32は、選択した焦点検出部により算出されたデフォーカス量を用いて焦点調節を行う。
次に、図1に示したボディ制御部21の画像データ生成部211aについて説明する。ボディ制御部21の画像データ生成部211aは、第1のG画素10Gの第1の光電変換信号S1Gと第2の光電変換信号S2Gとを加算して、撮像信号S3Gを生成する。即ち、撮像信号S3は、式(1)の第1の光電変換信号S1Gと式(2)の第2の光電変換信号S2Gとを加算することによって、次式(7)で表される。
S3G=k(A+B) ……式(7)
また、画像データ生成部211aは、第2のG画素10gの第1の光電変換信号S1gと第2の光電変換信号S2gとを加算して、撮像信号S3gを生成する。即ち、撮像信号S3gは、式(3)の第1の光電変換信号S1gと式(4)の第2の光電変換信号S2gとを加算することによって、次式(8)で表される。
S3g=k(A+B) ……式(8)
こうして、撮像信号S3Gおよび撮像信号S3gの各々は、撮像光学系3の第1及び第2の瞳領域をそれぞれ通過した第1及び第2の光束61、62の光強度A、Bを加算した値に関連した値になる。画像データ生成部211aは、撮像信号S3Gおよび撮像信号S3gに基づき、画像データを生成する。
なお、本実施の形態の光電変換信号S1G、S1gは、従来の撮像素子、即ち、反射部を有しないものと比べて、信号レベルが大幅に向上している。詳述すると、第1及び第2の光束61、62を光電変換部で受光すると、その光電変換部からの光電変換信号は、kα(A+B)になる。他方、本実施の形態の光電変換信号は、式(1)および式(3)に示したように、k(1−α)A+kαA+kαB、k(1−α)B+kαA+kαBである。本実施の形態の光電変換信号S1G、S1gは、kα(A+B)よりも、それぞれk(1−α)A、k(1−α)Bだけ大きい。
また、以上の説明では、撮像信号S3Gおよび撮像信号S3gは、ボディ制御部21の画像データ生成部211aにおいて第1の光電変換信号S1と第2の光電変換信号S2とを加算して、生成されるものであった。しかしながら、第1の光電変換信号S1と第2の光電変換信号S2との加算は、図5及び図6を用いて後に詳述するように、撮像素子22内で行ってもよい。また、画像データ生成部211aは、第1の光電変換信号S1のみを撮像信号として用いるようにしてもよい。この場合には、補正部211bが第1の光電変換信号S1Gから式(1)のk(1−α)Aの信号成分を減算し、第1の光電変換信号S1gから式(3)のk(1−α)Bの信号成分を減算するようにしてもよい。
図5は、第1の実施の形態に係る撮像素子22の構成例を示す回路図である。撮像素子22は、複数の画素10と、画素垂直駆動部70とを備える。画素10は、上述した第1の光電変換部41および第2の光電変換部42と、読み出し部20とを有する。読み出し部20は、第1の転送部11と、第2の転送部12と、第1のフローティングディフュージョン(以下、FDと称する)15と、第2のFD16と、リセット部17と、増幅部18と、第1及び第2の接続部51、52とを有する。画素垂直駆動部70は、信号TX1、信号TX2、信号RSTなどの制御信号を各画素10に供給して、各画素10の動作を制御する。なお、図5に示す例では、説明を簡略化するために1画素のみ図示している。
第1の転送部11は、信号TX1により制御され、第1の光電変換部41で光電変換された電荷を第1のFD15に転送する。すなわち、第1の転送部11は、第1の光電変換部41および第1のFD15の間に電荷転送路を形成する。第2の転送部12は、信号TX2により制御され、第2の光電変換部42で光電変換された電荷を第2のFD16に転送する。すなわち、第2の転送部12は、第2の光電変換部42および第2のFD16の間に電荷転送路を形成する。第1のFD15および第2のFD16は、図6を用いて後述するが、接続部51、52を介して電気的に接続され、電荷を保持(蓄積)する。
増幅部18は、第1のFD15および第2のFD16に保持された電荷による信号を増幅して出力する。増幅部18は、垂直信号線30に接続され、不図示の電流源を負荷電流源としてソースフォロワ回路の一部として機能する。リセット部17は、信号RSTにより制御され、第1のFD15および第2のFD16の電荷をリセットし、第1のFD15および第2のFD16の電位をリセット電位(基準電位)にリセットする。第1の転送部11、第2の転送部12、排出部17、および増幅部18は、例えば、それぞれトランジスタM1、トランジスタM2、トランジスタM3、トランジスタM4により構成される。
信号TX1をハイレベル、信号TX2をローレベルにすることで、トランジスタM1がオン状態になり、トランジスタM2がオフ状態になる。これにより、第1のFD15および第2のFD16には、第1の光電変換部41により生成された電荷が転送される。読み出し部20は、第1の光電変換部41により生成された電荷に基づく信号、すなわち第1の光電変換信号S1を垂直信号線30に読み出す。また、信号TX1をローレベル、信号TX2をハイレベルにすることで、トランジスタM1がオフ状態になり、トランジスタM2がオン状態になる。これにより、第1のFD15および第2のFD16には、第2の光電変換部42により生成された電荷が転送される。読み出し部20は、第2の光電変換部42により蓄積された電荷に基づく信号、すなわち第2の光電変換信号S2を垂直信号線30に読み出す。
さらに、信号TX1および信号TX2を共にハイレベルにすることで、第1のFD15および第2のFD16には、第1の光電変換部41および第2の光電変換部42により生成された電荷が共に転送される。これにより、読み出し部20は、第1の光電変換部41により生成された電荷と、第2の光電変換部42により生成された電荷とを加算して生成された加算信号、すなわち撮像信号S3を垂直信号線30に読み出す。このように、画素垂直駆動部70は、第1の転送部11および第2の転送部12のオンオフ制御を行うことにより、第1の光電変換信号S1および第2の光電変換信号S2を順次出力させることができる。また、画素垂直駆動部70は、第1の光電変換部41により生成された電荷と、第2の光電変換部42により生成された電荷とを加算して、撮像信号S3を出力させることができる。
なお、信号TX1および信号TX2を共にハイレベルにすることで、撮像信号S3を読み出す場合に、信号TX1と信号TX2とを必ずしも同時にハイレベルにする必要はない。即ち、信号TX1をハイレベルにするタイミングと信号TX2をハイレベルにするタイミングとをずらしても、第1の光電変換部41により生成された電荷と、第2の光電変換部42により生成された電荷とを加算することができる。
図6は、第1の実施の形態に係る撮像素子22の断面構造の一例を示す図である。図7は、第1の実施の形態に係る撮像素子22の構成例を示す図である。撮像素子22は、第1基板111と、第2基板112とを備える。第1基板111および第2基板112は、それぞれ半導体基板により構成される。第1基板111には、配線層101が積層されており、第2基板112には、配線層102が積層されている。配線層101および配線層102は、導体膜(金属膜)および絶縁膜を含み、複数の配線やビア、コンタクトなどが配置される。導体膜には、例えば、銅やアルミニウム等が用いられる。絶縁膜は、例えば、酸化膜や窒化膜などで構成される。図6および図7に示すように、各画素10が配置される画素領域210の周囲には、複数の貫通電極201が設けられる。また、貫通電極201に対応して電極PAD202が設けられる。なお、図6では、貫通電極201および電極PAD202を第1基板111に設ける例について示したが、貫通電極201および電極PAD202を第2基板112に設けるようにしてもよい。なお、図6では、4つの画素10のみを図示しているが、撮像領域210には、例えば数百万〜数億、又はそれ以上の画素10が設けられる。
画素10には、上述したように、第1の光電変換部41と、第2の光電変換部42と、反射部43と、マイクロレンズ44と、カラーフィルタ45と、読み出し部20とが設けられる。読み出し部20の第1のFD15および第2のFD16は、コンタクト53、54と、接続部51、52とを介して電気的に接続されている。接続部51および接続部52は、例えばバンプや電極等である。
読み出し部20から図5に示す垂直信号線30へ出力された各画素10の信号は、例えば、第1基板111に設けられた不図示の演算回路によってA/D変換等の信号処理が行われる。演算回路は、信号処理後の各画素10の信号を、貫通電極201および電極PAD202を介してボディ制御部21に読み出す。
次に、本実施の形態の動作を説明する。電子カメラ1は、操作部25によって電源スイッチが操作されると、撮像素子22から第1の光電変換信号S1、第2の光電変換信号S2、及び第1及び第2の光電変換信号の加算信号、即ち撮像信号S3が、順次読み出される。ボディ制御部21は、読み出された第1及び第2の光電変換信号S1、S2と、ボディ制御部21の内部のメモリ等に記録されている変換係数kや吸収割合αの値とに基づき、ノイズ成分(kαA+kαB)を算出する。
補正部211bは、読み出された第1の光電変換信号S1からノイズ成分(kαA+kαB)を減算して、補正後の第1の光電変換信号S1を生成する。第1の焦点検出部212aは、補正後の第1の光電変換信号S1(例えばS1G’、S1g’)に基づき、位相差式焦点検出演算を行ってデフォーカス量を算出する。第2の焦点検出部212bは、第2の光電変換信号S2(例えばS2G、S2g)に基づき、位相差式焦点検出演算を行ってデフォーカス量を算出する。第3の焦点検出部212cは、補正後の第1の光電変換信号S1および第2の光電変換信号S2に基づき、位相差式焦点検出演算を行ってデフォーカス量を算出する。レンズ制御部32は、第1の焦点検出部212a〜第3の焦点検出部212cにより算出されたデフォーカス量に基づき、撮像光学系31の焦点調節レンズを合焦位置に移動して焦点調節する。なお、焦点調節は、焦点調節レンズを移動する代わりに、撮像素子22を撮像光学系31の光軸方向に移動してもよい。
画像データ生成部211aは、撮像素子22から読み出された撮像信号S3に基づき、スルー画像用の画像データ、及び本撮影の記録用の画像データをそれぞれ生成する。スルー画像用の画像データは、表示部24に表示され、本撮影の記録用の画像データは、メモリ23に記録される。
画素の微細化が進むと、画素の開口が小さくなる。このため、画素の微細化が進むと、画素の開口の大きさが光の波長よりも小さく(短く)なり、位相差検出のために光の入射面において遮光膜を設けた焦点検出用画素では、光電変換部(フォトダイオード)に光が入射しない可能性がある。赤色の波長域の光は、他の色(緑色、青色)の光に比べて波長が長いため、遮光膜を用いた焦点検出用画素では、赤色の光が光電変換部に入射しないことが起こりやすい。このため、遮光膜を用いた焦点検出用画素では、光電変換部で光電変換される電荷が減り、画素の信号を用いて光学系の焦点検出を行うことが困難となる。とくに、長波長の光(赤色の光等)を光電変換して焦点検出を行うことが難しくなる。
一方、本実施の形態では、反射部(反射膜)43を設けた画素を用いるため、遮光膜を用いた焦点検出用画素と比べて、画素の開口を大きくすることができる。これにより、本実施の形態では、長波長の光が光電変換部に入射するため、長波長の光でも焦点検出を行うことができる。このため、反射膜43を設けた画素は、撮像素子22で光電変換する光の波長域のうちの長波長域に適した焦点検出用画素といえる。例えば、R、G、Bの画素の一部に反射膜43を設けて使用する場合に、R画素に反射膜43を設けるようにしてもよい。
上述した実施の形態によれば、次の作用効果が得られる。
(1)撮像素子22は、結像光学系31を通過した第1の光束61及び第2の光束62が入射するマイクロレンズ44と、マイクロレンズ44を透過した第1の光束61及び第2の光束62が入射する第1の光電変換部41と、第1の光電変換部41を透過した第1の光束61を第1の光電変換部41に向けて反射する反射部43と、第1の光電変換部41を透過した第2の光束62が入射する第2の光電変換部42とを有する第1画素10と、結像光学系31を通過した第1の光束61及び第2の光束62が入射するマイクロレンズ44と、マイクロレンズ44を透過した第1の光束61及び第2の光束62が入射する第1の光電変換部41と、第1の光電変換部41を透過した第2の光束62を第1の光電変換部41に向けて反射する反射部43と、第1の光電変換部41を透過した第1の光束61が入射する第2の光電変換部42とを有する第2画素10と、が配置される。このようにしたので、第1画素10(例えば画素10G)および第2画素10(例えば画素10g)からの光電変換信号を用いることで、第1の光束61及び第2の光束62による像の位相差情報を得ることができる。
(2)第1の光束61及び第2の光束62は、結像光学系31の瞳の第1の領域及び第2の領域をそれぞれ通過した光束であり、反射部43の位置と結像光学系31の瞳の位置とは、マイクロレンズ44に関して共役な位置関係である。このようにしたので、異なる瞳領域を介して入射された一対の光束による像の位相差情報を得ることができる。
(3)撮像素子22は、第1の光電変換部41により変換された電荷を蓄積する第1の蓄積部(第1のFD15)と、第2の光電変換部42により変換された電荷を蓄積する第2の蓄積部(第2のFD16)と、第1の蓄積部と第2の蓄積部とを接続する接続部(接続部51、52)と、を備える。このようにしたので、第1の光電変換部41により変換された電荷と、第2の光電変換部42により変換された電荷とを加算させることができる。
(4)撮像素子22は、第1の光電変換部41により変換された電荷を第1の蓄積部(第1のFD15)に転送する第1の転送部11と、第2の光電変換部42により変換された電荷を第2の蓄積部(第2のFD16)に転送する第2の転送部12と、第1の転送部11および第2の転送部12を制御して、第1の光電変換部41により変換された電荷に基づく信号と第2の光電変換部42により変換された電荷に基づく信号とを順次出力させる第1の制御と、第1の光電変換部41により変換された電荷と第2の光電変換部42により変換された電荷とを加算した電荷に基づく信号を出力させる第2の制御とを行う制御部(画素垂直駆動部70)と、を備える。このようにしたので、第1の光電変換信号S1および第2の光電変換信号S2を順次出力させることができる。また、第1の光電変換部41により生成された電荷と、第2の光電変換部42により生成された電荷とを加算して、撮像信号S3を出力させることができる。このため、撮像素子22に設けられる全ての画素10を、撮像信号を生成するための撮像用画素と、焦点検出信号を生成するための焦点検出用画素との両方に用いることができる。この結果、各画素10が撮像用画素としては欠陥画素となることを防ぐことができる。
(5)焦点検出装置は、撮像素子22と、第1画素10の第1の光電変換部41からの信号と第2画素10の第1の光電変換部41からの信号とに基づき結像光学系31の焦点検出を行う焦点検出部(第1の焦点検出部212a)と、を備える。このようにしたので、第1の光束61及び第2の光束62による像の位相差情報を得ることができ、撮像光学系31の焦点検出を行うことができる。
(6)焦点検出装置は、撮像素子22と、第1画素10の第2の光電変換部42からの信号と第2画素10の第2の光電変換部42からの信号とに基づき結像光学系31の焦点検出を行う焦点検出部(第2の焦点検出部212b)と、を備える。このようにしたので、第1の光束61及び第2の光束62による像の位相差情報を得ることができ、撮像光学系31の焦点検出を行うことができる。
(7)焦点検出装置は、撮像素子22と、第1画素10の第1の光電変換部41の信号及び第2画素10の第2の光電変換部42の信号と、第1画素10の第2の光電変換部42の信号及び第2画素10の第1の光電変換部41の信号とに基づき結像光学系31の焦点検出を行う焦点検出部(第3の焦点検出部212c)と、を備える。このようにしたので、第1の光束61及び第2の光束62による像の位相差情報を得ることができ、撮像光学系31の焦点検出を行うことができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
図8は、変形例1に係る撮像素子22の断面構造の一例を示す図である。変形例1の撮像素子は、第1の実施の形態の撮像素子とは、第1基板111および第2基板112の積層構造が異なる。第1基板111には、配線層101および配線層103が積層されており、第2基板112には、配線層102および配線層104が積層されている。配線層103には、接続部51およびコンタクト53が設けられ、配線層104には、接続部52およびコンタクト54が設けられる。
第1基板111には、n型の不純物を用いて形成される拡散層55が設けられ、第2基板112には、n型の不純物を用いて形成される拡散層56が設けられる。拡散層55および拡散層56は、それぞれ第1のFD15、第2のFD16に接続される。これにより、第1のFD15および第2のFD16は、拡散層55、56と、コンタクト53、54と、接続部51、52とを介して電気的に接続される。
第1の実施の形態では、図6および図7で示したように、各画素10の信号は、第1基板111と第2の基板112との間の配線層101に読み出される。このため、第1の実施の形態では、各画素10の信号をボディ制御部21に読み出すために、複数の貫通電極201を設ける必要がある。変形例1では、各画素10の信号は、第1基板111の上方の配線層101に読み出される。このため、貫通電極201を設ける必要がなく、各画素10の信号を、電極PAD202を介してボディ制御部21に読み出すことができる。
(変形例2)
上述の第1の実施の形態では、補正部211bが第1の光電変換信号S1からノイズ成分(kαA+kαB)を除去するために、ボディ制御部21は、第1の光電変換信号S1と第2の光電変換信号S2とに基づき、ノイズ成分(kαA+kαB)を算出した。変形例2では、撮像素子22の構成が異なるものである。変形例2の撮像素子にあっては、図2及び図3に示した画素群401、402の各々の周囲に、マイクロレンズ44及びカラーフィルタ45の下に一つの光電変換部が配置された撮像画素が散在されている。この場合には、ボディ制御部21は、撮像画素の光電変換信号に基づき式(1)の(kαA+kαB)を算出し、補正部211bは、式(1)の第1の光電変換信号S1から(kαA+kαB)を減算して、補正後の光電変換信号S1、即ちk(1−α)Aを算出する。同様に、ボディ制御部21は、撮像画素の光電変換信号に基づき式(3)の(kαA+kαB)を算出し、補正部211bは、式(3)の第1の光電変換信号S1から(kαA+kαB)を減算して、補正後の光電変換信号S1、即ちk(1−α)Bを算出する。
(変形例3)
上述した実施の形態では、図5に示したように、排出部17および増幅部18を、第1の光電変換部41および第2の光電変換部42で共有する構成例について説明した。しかし、光電変換部毎に、排出部17および増幅部18を備える構成にしてもよい。
(変形例4)
上述した実施の形態および変形例では、光電変換部としてフォトダイオードを用いる例について説明した。しかし、光電変換部として光電変換膜を用いるようにしてもよい。
(変形例5)
一般に、撮像素子22に用いられるシリコン基板等の半導体基板では、入射する光の波長の長さによって透過率が異なる特性を有する。例えば、波長が長い光(赤色の光)は、波長が短い光(緑色の光、青色の光)に比べて光電変換部を透過しやすい。波長が短い光(緑色の光、青色の光)は、波長が長い光(赤色の光)に比べて光電変換部を透過しにくい。即ち、波長が短い光は、波長が長い光に比べて光電変換部において到達する深さが浅い。このため、波長が短い光は、光が入射する方向(図3ではZ軸方向)において、半導体基板の浅い領域、即ち光電変換部の浅い部分(図3では−Z方向側)で光電変換される。波長が長い光は、光が入射する方向において、半導体基板の深い領域、即ち光電変換部の深い部分(図3では+Z方向側)で光電変換される。このため、反射膜43の位置(Z軸方向における位置)をR、G、Bの画素毎に変えてもよい。例えば、B画素には、G画素及びR画素に比べて浅い位置(G画素及びR画素に比べて−Z方向側の位置)に反射膜を配置し、G画素には、B画素に比べて深く(B画素に比べて+Z方向側の位置)R画素に比べて浅い位置(R画素に比べて−Z方向側の位置)に反射膜を配置し、R画素には、G画素及びB画素に比べて深い位置(G画素及びB画素に比べて+Z方向側の位置)に反射膜を配置してもよい。
(変形例6)
一般に、撮像素子22の撮像面の中央部には、撮像光学系31の射出瞳を通過した光がほぼ垂直に入射するのに対し、中央部より外側に位置する周辺部、即ち撮像面の中央から離れた領域には、光が斜めに入射する。このため、各画素の反射膜43の面積や位置を、撮像素子22における画素の位置(例えば像高)によって異なるように構成してもよい。また、撮像素子22の撮像面の中央部と周辺部とでは、撮像光学系31の射出瞳の位置や射出瞳距離が異なる。このため、各画素の反射膜43の面積や位置を射出瞳の位置や射出瞳距離によって異なるように構成してもよい。これにより、撮像光学系31を介して光電変換部に入射する光量を多くすることや、光が斜めに入射する場合でもその状態において瞳分割を適切に行うことができる。
(変形例7)
上述の実施の形態および変形例で説明した撮像素子22は、カメラ、スマートフォン、タブレット、PCに内臓のカメラ、車載カメラ、無人航空機(ドローン、ラジコン機等)に搭載されるカメラ等に適用されてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2016年第192252号(2016年9月29日出願)
2…カメラボディ、3…交換レンズ、21…ボディ制御部、22…撮像素子、31…撮像光学系、41…第1の光電変換部、42…第2の光電変換部、43…反射部、44…マイクロレンズ、211a…画像データ生成部、211b…補正部、212a…第1の焦点検出部、212b…第2の焦点検出部、212c…第3の焦点検出部
本発明は、撮像素子、焦点検出装置、及び、撮像装置に関する。
本発明の第1の態様によると、撮像素子は、光学系を通過した第1の光束及び第2の光束が入射する第1のマイクロレンズと、前記第1のマイクロレンズを透過した前記第1の光束及び第2の光束を光電変換して電荷を生成する第1の光電変換部と、前記第1の光電変換部を透過した前記第1の光束を前記第1の光電変換部に反射する第1の反射部と、前記第1の光電変換部を透過した前記第2の光束を光電変換して電荷を生成する第2の光電変換部と、を備える。
本発明の第2の態様によると、焦点検出装置は、第1の態様による撮像素子と、前記第1の光電変換部の信号で生成された電荷に基づく信号と前記第3の光電変換部で生成された電荷に基づく信号とに基づいて、記光学系の焦点検出を行う焦点検出部と、を備える。
本発明の第3の態様によると、撮像装置は、第1の態様による撮像素子と、前記第2の光電変換部で生成された電荷に基づく信号に基づいて、前記第1の光電変換部で生成された電荷に基づく信号を補正する補正部と、を備える。

Claims (11)

  1. 結像光学系を通過した第1の光束及び第2の光束が入射するマイクロレンズと、前記マイクロレンズを透過した前記第1の光束及び第2の光束が入射する第1の光電変換部と、前記第1の光電変換部を透過した前記第1の光束を前記第1の光電変換部に向けて反射する反射部と、前記第1の光電変換部を透過した前記第2の光束が入射する第2の光電変換部とを有する第1画素と、
    前記結像光学系を通過した第1の光束及び第2の光束が入射するマイクロレンズと、前記マイクロレンズを透過した前記第1の光束及び第2の光束が入射する第1の光電変換部と、前記第1の光電変換部を透過した前記第2の光束を前記第1の光電変換部に向けて反射する反射部と、前記第1の光電変換部を透過した前記第1の光束が入射する第2の光電変換部とを有する第2画素と、
    が配置された撮像素子。
  2. 請求項1に記載の撮像素子において、
    前記第1の光束及び前記第2の光束は、前記結像光学系の瞳の第1の領域及び第2の領域をそれぞれ通過した光束であり、
    前記第1画素及び前記第2画素について、前記反射部の位置と前記結像光学系の瞳の位置とは、前記マイクロレンズに関して共役な位置関係である撮像素子。
  3. 請求項1または請求項2に記載の撮像素子において、
    前記第1の光電変換部により変換された電荷を蓄積する第1の蓄積部と、
    前記第2の光電変換部により変換された電荷を蓄積する第2の蓄積部と、
    前記第1の蓄積部と前記第2の蓄積部とを接続する接続部と、を備える撮像素子。
  4. 請求項3に記載の撮像素子において、
    前記第1の光電変換部により変換された電荷を前記第1の蓄積部に転送する第1の転送部と、
    前記第2の光電変換部により変換された電荷を前記第2の蓄積部に転送する第2の転送部と、
    前記第1の転送部および前記第2の転送部を制御して、前記第1の光電変換部により変換された電荷に基づく信号と前記第2の光電変換部により変換された電荷に基づく信号とを順次出力させる第1の制御と、前記第1の光電変換部により変換された電荷と前記第2の光電変換部により変換された電荷とを加算した電荷に基づく信号を出力させる第2の制御とを行う制御部と、を備える撮像素子。
  5. 請求項1から請求項4までのいずれか一項に記載の撮像素子において、
    前記第1の光電変換部が設けられる第1の基板と、
    前記第1の基板に積層され、前記第2の光電変換部が設けられる第2の基板と、を備え、
    前記反射部は、前記第1の光電変換部と前記第2の光電変換部との間に設けられる撮像素子。
  6. 請求項1から請求項5までのいずれか一項に記載の撮像素子と、
    前記第1画素の第1の光電変換部の信号と前記第2画素の第1の光電変換部の信号とに基づき前記結像光学系の焦点検出を行う焦点検出部と、
    を備える焦点検出装置。
  7. 請求項1から請求項5までのいずれか一項に記載の撮像素子と、
    前記第1画素の第2の光電変換部の信号と前記第2画素の第2の光電変換部の信号とに基づき前記結像光学系の焦点検出を行う焦点検出部と、
    を備える焦点検出装置。
  8. 請求項1から請求項5までのいずれか一項に記載の撮像素子と、
    前記第1画素の第1の光電変換部の信号及び前記第2画素の第2の光電変換部の信号と、前記第1画素の第2の光電変換部の信号及び前記第2画素の第1の光電変換部の信号とに基づき前記結像光学系の焦点検出を行う焦点検出部と、
    を備える焦点検出装置。
  9. 請求項1から請求項5までのいずれか一項に記載の撮像素子と、
    前記第2の光電変換部からの信号に基づき前記第1の光電変換部からの信号を補正する補正部と、
    を備える電子カメラ。
  10. 請求項1から請求項5までのいずれか一項に記載の撮像素子と、
    前記撮像素子の前記第1の光電変換部からの信号と前記第2の光電変換部からの信号とに基づき画像データを生成する画像生成部と、
    を備える電子カメラ。
  11. 請求項10に記載の電子カメラにおいて、
    前記画像生成部は、前記撮像素子の前記第1の光電変換部からの信号と前記第2の光電変換部からの信号とを加算した加算信号を生成する電子カメラ。
JP2018542059A 2016-09-29 2017-09-29 撮像素子、焦点検出装置、及び、撮像装置 Expired - Fee Related JP6693568B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016192252 2016-09-29
JP2016192252 2016-09-29
PCT/JP2017/035750 WO2018062559A1 (ja) 2016-09-29 2017-09-29 撮像素子、焦点検出装置、及び、電子カメラ

Publications (2)

Publication Number Publication Date
JPWO2018062559A1 true JPWO2018062559A1 (ja) 2019-07-11
JP6693568B2 JP6693568B2 (ja) 2020-05-13

Family

ID=61760774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018542059A Expired - Fee Related JP6693568B2 (ja) 2016-09-29 2017-09-29 撮像素子、焦点検出装置、及び、撮像装置

Country Status (5)

Country Link
US (1) US20190371847A1 (ja)
EP (1) EP3522225A4 (ja)
JP (1) JP6693568B2 (ja)
CN (1) CN109791935A (ja)
WO (1) WO2018062559A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018056518A (ja) * 2016-09-30 2018-04-05 株式会社ニコン 撮像素子および焦点調節装置
US11409078B2 (en) * 2018-09-10 2022-08-09 Apple Inc. Reflection interface for camera module

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014130231A (ja) * 2012-12-28 2014-07-10 Canon Inc 撮像装置、その制御方法、および制御プログラム
JP2014183206A (ja) * 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
JP2015194706A (ja) * 2014-03-26 2015-11-05 キヤノン株式会社 焦点検出装置及びその制御方法
JP2016062996A (ja) * 2014-09-16 2016-04-25 株式会社東芝 光検出器
WO2016103365A1 (ja) * 2014-12-24 2016-06-30 オリンパス株式会社 固体撮像装置および撮像装置
JP2016127043A (ja) * 2014-12-26 2016-07-11 ソニー株式会社 固体撮像素子及び電子機器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5131309B2 (ja) 2010-04-16 2013-01-30 ソニー株式会社 固体撮像装置、その製造方法および撮像装置
JP5556823B2 (ja) * 2012-01-13 2014-07-23 株式会社ニコン 固体撮像装置および電子カメラ
TWI620445B (zh) * 2013-03-25 2018-04-01 Sony Corp 攝像元件及電子機器
JP2015179731A (ja) * 2014-03-19 2015-10-08 株式会社東芝 固体撮像装置
JP2016082306A (ja) * 2014-10-10 2016-05-16 キヤノン株式会社 撮像装置、撮像システム及び撮像装置の駆動方法
JP2016192252A (ja) 2015-03-30 2016-11-10 本田技研工業株式会社 車両用のハンドルスイッチ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014130231A (ja) * 2012-12-28 2014-07-10 Canon Inc 撮像装置、その制御方法、および制御プログラム
JP2014183206A (ja) * 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
JP2015194706A (ja) * 2014-03-26 2015-11-05 キヤノン株式会社 焦点検出装置及びその制御方法
JP2016062996A (ja) * 2014-09-16 2016-04-25 株式会社東芝 光検出器
WO2016103365A1 (ja) * 2014-12-24 2016-06-30 オリンパス株式会社 固体撮像装置および撮像装置
JP2016127043A (ja) * 2014-12-26 2016-07-11 ソニー株式会社 固体撮像素子及び電子機器

Also Published As

Publication number Publication date
EP3522225A4 (en) 2020-04-29
US20190371847A1 (en) 2019-12-05
CN109791935A (zh) 2019-05-21
JP6693568B2 (ja) 2020-05-13
WO2018062559A1 (ja) 2018-04-05
EP3522225A1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
JP6791243B2 (ja) 撮像素子、及び、撮像装置
JP5422889B2 (ja) 固体撮像素子及びこれを用いた撮像装置
US8063978B2 (en) Image pickup device, focus detection device, image pickup apparatus, method for manufacturing image pickup device, method for manufacturing focus detection device, and method for manufacturing image pickup apparatus
JP2013157442A (ja) 撮像素子および焦点検出装置
JP2009017152A (ja) 固体撮像素子及びこれを用いた撮像装置
JP6693567B2 (ja) 撮像素子、焦点検出装置、及び、電子カメラ
CN111479066B (zh) 摄像元件以及摄像装置
JP5834398B2 (ja) 撮像素子及び撮像装置
JP5034936B2 (ja) 固体撮像素子及びこれを用いた撮像装置
JP2011029932A (ja) 撮像素子及び撮像装置
JP2014107596A (ja) 撮像素子および撮像ユニット
JP2008072470A (ja) 光電変換素子および撮像装置
JP2016139988A (ja) 固体撮像装置
JP2009063952A (ja) 撮像素子、焦点検出装置および撮像装置
JP6693568B2 (ja) 撮像素子、焦点検出装置、及び、撮像装置
WO2018181590A1 (ja) 撮像素子および撮像装置
JP2014165778A (ja) 固体撮像素子、撮像装置及び焦点検出装置
WO2018181585A1 (ja) 撮像素子および撮像装置
JP6648666B2 (ja) 撮像素子および焦点調節装置
WO2018181591A1 (ja) 撮像素子および撮像装置
JP7383876B2 (ja) 撮像素子、及び、撮像装置
JP7419975B2 (ja) 撮像素子、及び、撮像装置
JP7283078B2 (ja) 撮像素子、及び、撮像装置
JP2010039106A (ja) 撮像素子、焦点検出装置および撮像装置
JP2015159231A (ja) 固体撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200330

R150 Certificate of patent or registration of utility model

Ref document number: 6693568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees