JPWO2014118868A1 - 撮像装置及び固体撮像装置 - Google Patents

撮像装置及び固体撮像装置 Download PDF

Info

Publication number
JPWO2014118868A1
JPWO2014118868A1 JP2014524185A JP2014524185A JPWO2014118868A1 JP WO2014118868 A1 JPWO2014118868 A1 JP WO2014118868A1 JP 2014524185 A JP2014524185 A JP 2014524185A JP 2014524185 A JP2014524185 A JP 2014524185A JP WO2014118868 A1 JPWO2014118868 A1 JP WO2014118868A1
Authority
JP
Japan
Prior art keywords
signal
light receiving
addition
unit
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014524185A
Other languages
English (en)
Other versions
JP6264616B2 (ja
Inventor
藤井　俊哉
俊哉 藤井
充彦 大谷
充彦 大谷
小野澤　和利
和利 小野澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2014118868A1 publication Critical patent/JPWO2014118868A1/ja
Application granted granted Critical
Publication of JP6264616B2 publication Critical patent/JP6264616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本発明に係る撮像装置（１００）は、光学レンズ（１１０）と、光学レンズ（１１０）を通過した光を変換した光電変換信号が非破壊読出し方式により個別に読み出される複数の受光部と、隣接する２以上の受光部ごとに配置されたマイクロレンズ（１２）と、複数の受光部から光電変換信号を個別に読み出し、上記２以上の受光部で所定の１フレーム内に変換された光電変換信号の各々が全て加算された全加算信号、上記２以上の受光部のうち一部の受光部の光電変換信号が加算された部分加算信号、及び、独立した非加算独立信号を生成する信号生成部と、部分加算信号及び非加算独立信号から位相差焦点検出を行う位相差検出部（１３０）と、全加算信号から主画像の生成を行うカメラＹＣ処理部（１４０）とを備える。

Description

本発明は、撮像装置およびそれに搭載される固体撮像装置に関する。
近年のデジタルカメラ等の撮像装置は合焦検出機能を有し、自動的に焦点調節を可能とするものが広く普及している。合焦検出の方式としては、画像信号の高周波成分の強度がピークとなる焦点位置を検出する、いわゆるコントラストＡＦ（Ａｕｔｏｆｏｃｕｓ）方式や、左右（または上下）にボケ具合に応じて位相差が発生する２種類の像を取得し、これらの像の分離間隔である位相差に基づいて合焦位置を算出する、いわゆる位相差ＡＦ方式が知られている。
コントラストＡＦ方式は、フォーカスレンズを動かしながら画像信号の高周波成分のピークを探索するもので、大ボケ状態からの焦点検出に時間を要するという課題がある。
そこで、特許文献１には、一眼レフカメラに用いられている位相差ＡＦ方式と同じ原理で、主画像撮像用イメージセンサを用いた像面位相差ＡＦを採用する従来技術の撮像装置（デジタルカメラ）を開示している。具体的には、固体撮像装置（イメージセンサ）の１画素は、１つのマイクロレンズと一色のカラーフィルタに対して２つの受光部を有する。複数画素からなる一つの絵素は、受光部の配置が異なる少なくとも１画素を含む。この構成により、光学レンズの瞳分割方向が異なる光束により焦点検出を行なうと共に、１画素内の複数の受光部の出力を加算する、及び非加算することを選択することが可能となる。例えば、１画素で同フレームに１信号出力が可能な構成で、はじめに非加算を選択して像面位相差検出によるＡＦ撮像を実施し、検出結果情報に基づいてレンズを合焦させ、次に加算を選択して記録するための本撮像を行う。
特開２００７−６５３３０号公報
特許文献１に開示された従来技術の固体撮像装置及び撮像装置では、合焦のためのＡＦ撮像と画像の記録のための本撮像とを時分割に行うことで、主画像の画質劣化を回避できることが示されている。
しかしながら、上記従来技術では、ＡＦ撮像フレームでは、同一マイクロレンズ内での同フレーム出力信号数は一つである。このため、射出瞳を通過する一部の光束の光線角の受光部の信号のみ出力され、同一マイクロレンズ内で当該射出瞳を通過する光線角と異なる角度の光線角の光束を受光する受光部信号が欠落する。これにより、位相差ＡＦの焦点検出精度が低下するという課題を有する。
本発明は、上記課題に鑑みてなされたものであり、像面位相差ＡＦ撮像と主画像撮像とを両立し、かつ、高精度な位相差検出を実現すると共に、像面位相差ＡＦに用いた画素のアドレス部においても主画像の画質劣化を伴わない撮像装置及びそれに搭載される固体撮像装置を提供することを目的とする。
上記課題を解決するために、本発明の一態様に係る撮像装置は、被写体からの光を光学的に結像させる光学レンズと、基板上に二次元状に配列され、前記光学レンズを通過した前記光を受光して光電変換信号に変換し、当該光電変換信号が非破壊読出し方式により個別に読み出される複数の受光部と、前記複数の受光部のうち隣接する２以上の受光部ごとに、かつ、当該２以上の受光部の上方に配置されたマイクロレンズと、前記複数の受光部から前記光電変換信号を個別に読み出し、１つの前記マイクロレンズに対応した前記２以上の受光部で所定の１フレーム内に変換された前記光電変換信号の各々が全て加算された全加算信号、前記２以上の受光部のうち一部の受光部の前記光電変換信号が加算された部分加算信号、及び、独立した非加算独立信号を生成する信号生成部と、前記部分加算信号及び前記非加算独立信号から前記２以上の受光部間で発生する位相差に基づいて位相差焦点検出を行う位相差検出部と、前記全加算信号から主画像の生成を行うＹＣ処理部とを備えることを特徴とする。
上記構成によれば、像面位相差ＡＦ動作において、レンズ瞳面を複数に分割した光線束の一つのマイクロレンズ内の複数の受光部信号を同一フレームで取得可能となり、像面位相差ＡＦの精度を大幅に向上させることが可能となる。また、同一フレームで取得された光電変換信号に基づいて、全加算信号、部分加算信号及び非加算独立信号が生成されるので、像面位相差ＡＦ撮像と主画像撮像とを両立し、かつ、高精度な位相差検出を実現することが可能となる。
また、例えば、前記受光部は、前記基板の上方、かつ、前記マイクロレンズの下方に光電変換膜を備える。
また、例えば、前記撮像装置は、イメージセンサと、当該イメージセンサから出力された画素信号を処理する信号処理回路とで構成され、前記イメージセンサは、前記複数の受光部と、前記複数の受光部から前記信号生成部への読み出し順序を選択的に制御する選択回路と、前記信号生成部とを備え、信号処理回路は、前記位相差検出部と、前記ＹＣ処理部とを備える。
また、例えば、前記信号生成部は、前記複数の受光部のそれぞれにおいて受光により生成される電荷がリセットされずに連続して蓄積される期間である電荷蓄積期間の初期に、前記部分加算信号及び前記非加算独立信号を、非破壊モードで前記位相差検出部へ出力し、前記電荷蓄積期間の終了時及びその後に、前記全加算信号を前記ＹＣ処理部へ出力する。
また、例えば、前記信号生成部は、前記部分加算信号及び前記非加算独立信号と前記全加算信号とのいずれかを選択する信号選択部と、前記信号選択部で選択された前記部分加算信号及び前記非加算独立信号に対して、同一の前記マイクロレンズに対応した前記２以上の受光部で変換された前記光電変換信号を加算して生成した部分加算信号を前記位相差検出部に出力し、同一の前記マイクロレンズに対応した前記２以上の受光部で変換された前記光電変換信号を加算して生成した全加算信号を前記ＹＣ処理部に出力する信号加算部とを備える。
また、例えば、前記マイクロレンズは、前記複数の受光部のうち隣接する２つの受光部ごとに、かつ、当該２つの受光部の上方に配置され、前記信号生成部は、１つの前記マイクロレンズに対応した前記２つの受光部で前記所定の１フレーム内に変換された前記光電変換信号が加算された加算信号及び独立した非加算独立信号を生成し、前記撮像装置は、さらに、前記加算信号及び前記非加算独立信号の出力タイミングを行または列単位で設定するセンサ駆動部を備え、前記位相差検出部は、前記非加算独立信号から前記焦点検出をし、前記ＹＣ処理部は、前記加算信号から主画像の生成を行う。
また、例えば、前記信号生成部は、前記複数の受光部のそれぞれにおいて受光により生成される電荷がリセットされずに連続して蓄積される期間である電荷蓄積期間の初期に、前記非加算独立信号を非破壊モードで前記位相差検出部へ出力し、前記電荷蓄積期間の終了時及びその後に、前記加算信号を前記ＹＣ処理部へ出力する。
また、例えば、１つの前記マイクロレンズに対応した２つの受光部は、前記非加算独立信号を生成すべき受光部として行指定される場合には、水平方向に並んで配置され、前記行指定された行に属する受光部の前記光電変換信号は前記信号生成部において水平加算を行い、１つの前記マイクロレンズに対応した前記２つの受光部は、前記非加算独立信号を生成すべき受光部として列指定される場合には、垂直方向に並んで配置され、前記列指定された列に属する受光部の前記光電変換信号は前記信号生成部において垂直加算を行う。
また、例えば、前記マイクロレンズは、前記複数の受光部のうち隣接する２行×２列の４つの受光部ごとに、かつ、当該４つの受光部の上方に配置され、前記部分加算信号及び前記非加算独立信号を生成すべき受光部として列指定される場合には、当該列に属する受光部の前記光電変換信号は前記信号生成部において水平加算を行い、前記部分加算信号及び前記非加算独立信号を生成すべき受光部として行指定される場合には、当該行に属する受光部の前記光電変換信号は前記信号生成部において垂直加算を行い、前記部分加算信号及び前記非加算独立信号を生成すべき受光部として行及び列の双方が指定される場合には、当該行列に属する受光部の前記光電変換信号は独立読み出しする。
また、例えば、１つの前記マイクロレンズに対応した受光部には、同色のカラーフィルタが配置されている。
また、例えば、前記カラーフィルタは、ＲＧＢベイヤー配列で配置されている。
また、例えば、前記部分加算信号及び前記非加算独立信号を生成すべき受光部として行指定または列指定される場合には、前記マイクロレンズを一単位とした行列において、それぞれ、２行単位または２列単位で指定される。
また、例えば、前記マイクロレンズを一単位として、前記信号生成部が前記マイクロレンズごとの前記全加算信号を出力する静止画撮像モードと、前記信号生成部が前記全加算信号を前記一単位間で加算して出力する、及び、前記全加算信号が前記一単位で間引きされて出力する動画撮像モードとに応じて、前記部分加算信号及び前記非加算独立信号を生成すべき受光部の行列指定を変更する。
なお、本発明は、このような特徴的な手段を備える撮像装置として実現することができるだけでなく、上記撮像装置に搭載される固体撮像装置として実現することができる。
本発明に係る撮像装置によれば、像面位相差ＡＦ動作において、１つのマイクロレンズ内の複数の受光部信号を同一フレームで取得可能となり、像面位相差ＡＦの精度を大幅に向上させることが可能となる。さらに位相差ＲＡＷデータとしてイメージセンサから出力した信号も、同一フレームで焦点検出を行いながら、後段の信号処理の信号加算部で完全な主画像の画像情報の復元が可能となる。よって、全く画質劣化を伴わない像面位相差ＡＦを用いた連写撮像及び動画撮像が可能となる。また、同一フレームで取得された光電変換信号に基づいて、全加算信号、部分加算信号及び非加算独立信号が生成される。よって、像面位相差ＡＦ撮像と主画像撮像とを両立し、かつ、高精度な位相差検出を実現することが可能となる。
図１は、第１の実施形態に係る撮像装置におけるイメージセンサの単位画素セルの断面構造を示す模式図である。 図２は、図１のＸ−Ｙ線に沿った電位を表す概念図である。 図３は、第１の実施形態に係るイメージセンサの回路図である。 図４は、第１の実施形態に係るイメージセンサ受光部のマイクロレンズに対する瞳面の分割イメージ図である。 図５は、第１の実施形態に係るイメージセンサのカラーフィルタ配列を示す平面模式図である。 図６は、第１の実施形態に係る撮像装置の構成を示すブロック図である。 図７は、第１の実施形態に係る撮像装置の静止画単写における動作フローチャートである。 図８は、ＡＦ撮像モードにおける第１の実施形態に係るイメージセンサの信号出力手順を表す概念図である。 図９は、第１の実施形態に係る撮像装置が備える位相差検出部の構成を示すブロック図である。 図１０は、第１の実施形態に係る位相差検出部の動作を詳細に説明する概念図である。 図１１は、主画像撮像モードにおける第１の実施形態に係るイメージセンサの信号出力手順を表す概念図である。 図１２は、第１の実施形態に係る撮像装置の静止画連写における動作フローチャートである。 図１３は、第２の実施形態に係るイメージセンサの回路図である。 図１４は、第２の実施形態に係るイメージセンサ受光部のマイクロレンズに対する光学レンズ瞳面の分割イメージ図である。 図１５は、第２の実施形態に係るイメージセンサのカラーフィルタ配列を示す平面模式図である。 図１６は、第２の実施形態に係る撮像装置の構成を示すブロック図である。 図１７は、第２の実施形態に係る撮像装置の静止画連写における動作フローチャートである。 図１８は、ＡＦ撮像モードにおける第２の実施形態に係るイメージセンサの信号出力手順を表す概念図である。 図１９は、第２の実施形態に係る撮像装置が備えるＲＡＷデータ選択＆信号加算部の構成を示すブロック図である。 図２０は、第２の実施形態に係る位相差検出部の動作を詳細に説明する概念図である。 図２１は、第２の実施形態に係る主画像＋ＡＦ撮像モードにおけるイメージセンサの信号出力手順を表す概念図である。 図２２は、第２の実施形態に係る主画像＋ＡＦ撮像モードにおける水平位相差ＲＡＷデータ信号の加算処理を説明する概念図である。 図２３は、第２の実施形態に係る主画像＋ＡＦ撮像モードにおける垂直位相差ＲＡＷデータ信号の加算処理を説明する概念図である。 図２４は、第２の実施形態に係る主画像＋ＡＦ撮像モードにおける加算部での主画像ＲＡＷデータ信号の加算処理を説明する概念図である。 図２５は、第２の実施形態に係る主画像＋ＡＦ撮像モードにおける主画像ＲＡＷデータ信号の加算部出力を表す概念図である。 図２６は、第３の実施形態に係る撮像装置の構成を示すブロック図である。 図２７は、第３の実施形態に係る撮像装置の静止画単写における動作フローチャートである。 図２８は、第３の実施形態に係る撮像装置が備えるＲＡＷデータ選択＆信号加算部の構成を示すブロック図である。 図２９は、第３の実施形態に係る動画＆ＡＦ撮像モードでの動画画素混合の処理内容を説明する概念図である。 図３０は、第３の実施形態に係る撮像装置の動画を記録する動作フローチャートである。
以下、図面を参照しながら説明する。なお、以下の実施形態では、半導体基板内ではなく半導体基板上に光電変換素子（光電変換膜）を備えるイメージセンサ（固体撮像装置）を積層型イメージセンサと呼ぶ。
（第１の実施形態）
［イメージセンサの構成］
図１は、第１の実施形態に係る撮像装置におけるイメージセンサの単位画素セルの断面構造を示す模式図である。同図に示された単位画素セルは、１つのマイクロレンズ１２と、左右方向に配置された２つの受光部電極７１及び７２とを有している。ｐ型シリコン基板３１及びその上方に、ｎ型ソースドレイン拡散層３２及びゲート電極３を有するアドレストランジスタ４、増幅トランジスタ５及びリセットトランジスタ６で構成されるトランジスタ群が２組形成されている。２組のトランジスタ群からなる受光部回路の上方に、受光部電極７１及び７２と、光電変換膜８と、透明電極９と、カラーフィルタ１１と、マイクロレンズ１２とが積層されている。受光部電極７１及び７２は、増幅トランジスタ５のゲート電極及びリセットトランジスタ６のｎ型ソースドレイン拡散層３２に接続されている。以下、この受光部電極７１または７２に接続されたｎ型ソースドレイン拡散層３２を、蓄積ダイオード１０と呼ぶ。また、受光部の形状は受光部電極７１及び７２の形状により決定される。本実施形態に係る受光部は、ｐ型シリコン基板３１の上に二次元状に複数配列され、被写体からの光を受光して光電変換信号に変換する。また、光電変換膜８が、ｐ型シリコン基板３１の上方かつマイクロレンズ１２の下方に配置されていることにより、光電変換信号は、非破壊読出し方式により個別に読み出されることが可能である。
なお、第１の実施形態では、シリコン基板の導電型をｐ型、トランジスタをｎチャネル型で例示するが、シリコン基板の導電型をｎ型、トランジスタをｐチャネル型としても構わない。この場合には、以降で説明する電圧電位の符号が逆となる。
図２は、図１のＸ−Ｙ線に沿った電位を表す概念図である。透明電極９には正電圧が印加される。透明電極９の上方から透明電極９を通過し光電変換膜８に入射した光は、光電変換膜８で電子正孔対に変換される。変換された電子正孔対のうち電子は透明電極９側に移送され、透明電極９に接続された透明電極電源（図示せず)に流れる。一方、正孔は蓄積ダイオード１０側に移送され蓄積ダイオード１０に蓄積されるため、蓄積ダイオード１０の電位は＋方向に変化する。
蓄積ダイオード１０に蓄積された正孔により＋側に変化した電圧は、増幅トランジスタ５のゲート電極に伝達され、増幅トランジスタ５により増幅された信号はアドレストランジスタ４を通過し画素セル外部に出力される。その後、蓄積ダイオード１０に蓄積された信号電荷は、リセットトランジスタ６をＯＮすることにより排出される。このとき、リセットトランジスタ６をＯＮしなければ、受光部に光が照射されていれば引き続き、信号電荷は蓄積ダイオード１０に継続して蓄積され、いわゆる非破壊読み出しが実現される。
図３は、第１の実施形態に係るイメージセンサの回路図である。同図に示されたイメージセンサ１は、行列状に配置された複数の単位画素セル（図１に示された構成を有する）と、列ごとに配置された垂直信号線１４に接続された負荷手段１８及びＡ／Ｄ変換器１５と、隣接する垂直信号線の出力信号同士を加算する加算部１７と、行選択手段１３と、列選択手段１６とを備える固体撮像装置である。
なお、実際には、単位画素セル上にカラーフィルタが設置されているが、図３には図示していない。カラーフィルタ配列については後述する。また、実際には、光電変換膜８は光電変換エリア全体に均一に積層されているが、図３では受光部電極毎に配置されたものとして示している。
［イメージセンサの基本動作］
以下、本実施形態に係る撮像装置におけるイメージセンサ１の基本動作について説明する。
図３において、行選択手段１３により選択された行の光電変換膜８で光電変換された信号電荷は、蓄積ダイオード１０にて電圧に変換される。その後、蓄積ダイオード１０で変換された電圧は、増幅トランジスタ５で増幅され、アドレストランジスタ４を介して垂直信号線１４に電圧信号として出力され、Ａ／Ｄ変換器１５にてディジタル信号に変換される。
次に、必要な場合は、１のマイクロレンズ１２内に配置された２つの受光部の信号値を、加算部１７で加算する。そして、加算信号もしくは非加算独立信号は、列選択手段１６により水平走査方向に順次選択され出力される。詳細動作シーケンスについては後述する。
列選択手段１６は、複数の受光部から光電変換信号の読み出し順序を選択的に制御する選択回路である。
増幅トランジスタ５と負荷手段１８とは、ソースフォロア回路を構成している。光電変換膜８には、透明電極電源１９からすべての受光部に同じ電圧が印加されている。増幅トランジスタ５には、すべての受光部に共通に、ソースフォロア電源２０からソースフォロア電源電圧が印加されている。
上記電圧信号を出力した後、必要な場合は、受光部内の蓄積ダイオード１０に蓄積された信号電荷は、リセットトランジスタ６をＯＮすることにより排出される。この信号出力直後のリセット動作が、いわゆる破壊読出し動作である。
図４は、第１の実施形態に係るイメージセンサ受光部のマイクロレンズに対する光学レンズ瞳面の分割イメージ図である。右側の受光部電極７１上の光電変換膜８、及び、左側の受光部電極７２上の光電変換膜８に入射する光を受光面側から逆に辿ると、カラーフィルタ１１を透過し、マイクロレンズ１２で屈折され、各々レンズ瞳面４１が分割された瞳面領域４２１及び４２２を通過することとなる。
受光部電極７１で検出される電荷信号に相当する光は瞳面領域４２１を通過し、受光部電極７２で検出される電荷信号に相当する光は瞳面領域４２２を通過することになり、受光部電極７１の電荷信号及び受光部電極７２の電荷信号の双方の信号レベルを比較する。これにより、光学像のボケ具合に応じた位相差成分が検出可能となる。
また、受光部電極７１の電荷信号及び受光部電極７２の電荷信号の信号レベルを加算することで、レンズ瞳面４１全体を透過する光束にほぼ等しい信号を得ることが可能となる。
図５は、第１の実施形態に係るイメージセンサのカラーフィルタ配列を示す平面模式図である。同図に示されるように、マイクロレンズ１２は、複数の受光部のうち隣接する２つの受光部ごとに、かつ、当該２つの受光部の上方に配置されている。また、１つのマイクロレンズ１２を１色とし、水平２×垂直２の４つのマイクロレンズで１単位のＲＧＢベイヤー配列のカラーフィルタが配置されている。
なお、１つのマイクロレンズ１２に配置されたカラーフィルタは、実際には分離せずに一体として成型されているが、図５では、便宜上、受光部電極７１及び７２に対応して分離して示してある。
主画像ＲＡＷデータ出力行として指定された行に属する単位画素セルについては、加算部１７で２つの受光部の信号が水平方向に加算されてイメージセンサから出力される。一方、位相差ＲＡＷデータ出力行として指定された行に属する単位画素セルについては、加算部１７を用いずに、２つの受光部の信号が独立にイメージセンサから出力される。
つまり、イメージセンサ１は、複数の受光部から光電変換信号を個別に読み出し、１つのマイクロレンズ１２に対応した２つの受光部で所定の１フレーム内に変換された光電変換信号の各々が全て加算された全加算信号、及び、独立した非加算独立信号を生成する信号生成部を有する。この信号生成部は、加算部１７を含む。また、イメージセンサ１は、複数の受光部と、マイクロレンズ１２と、上記信号生成部と、上記選択回路とを備える。
なお、マイクロレンズ１２に対応した２つの受光部は、非加算独立信号を生成すべき受光部として行指定される場合には、本実施形態のように水平方向（１行が延伸している方向）に並んで配置され、当該２つの受光部の光電変換信号は水平加算され得る。一方、マイクロレンズ１２に対応した２つの受光部は、非加算独立信号を生成すべき受光部として列指定される場合には、垂直方向（１列が延伸している方向）に並んで配置され、当該２つの受光部の光電変換信号は垂直加算され得る。
［撮像装置の静止画単写動作］
次に、本実施形態に係る撮像装置の静止画単写動作の詳細を説明する。
図６は、第１の実施形態に係る撮像装置の構成を示すブロック図である。また、図７は、第１の実施形態に係る撮像装置の静止画単写における動作フローチャートである。図６に示された撮像装置１００は、イメージセンサ１と、被写体からの光を光学的に結像させる光学レンズ１１０と、ＲＡＷデータ選択部１２０と、位相差検出部１３０と、カメラＹＣ処理部１４０と、圧縮記録部１５０と、バッファメモリ１６０と、加算信号及び非加算独立信号の出力タイミングを行または列単位で設定するセンサ駆動部１７０と、レンズ駆動部１８０と、画像認識部１９０と、ＣＰＵ４００とを備える。つまり、撮像装置１００は、イメージセンサ１と、イメージセンサ１から出力された画素信号を処理する信号処理回路とで構成される。イメージセンサ１は、複数の受光部と、上記選択回路と、上記信号生成部とを備える。また、上記信号処理回路は、位相差検出部１３０と、カメラＹＣ処理部１４０とを備える。
まず、上記構成を有する撮像装置１００における静止画の単写シーケンスについて説明する。
図７に示されるように、静止画撮影モードで起動中に、シャッターボタン半押し等のレリーズＳＷ１をＯＮする（Ｓ０１）。これにより、ＡＦ撮像モードが起動する（Ｓ０２）。ＡＦ撮像モードでは、全体行の中の一部を２行単位で行選択する。そして、当該選択行に属する単位画素セルにおいて光学レンズ１１０を介してイメージセンサ１上に瞳分割で各々の受光部に結像された光学像に対応した信号を、加算部１７を用いずに、独立に位相差ＲＡＷデータ出力信号としてイメージセンサ１から出力する。上記ＡＦ撮像モードにおける位相差ＲＡＷデータ出力順序について、図８を用いて具体的に説明する。
図８は、ＡＦ撮像モードにおける第１の実施形態に係るイメージセンサの信号出力手順を表す概念図である。同図において、実線で囲まれた最小領域は、１受光部を表し、各受光部の右上の丸囲み数字は、各受光部で生成された信号がイメージセンサ１から出力される順序を表している。また、太枠の１マスは、１つのマイクロレンズ１２がカバーする領域を表している。
図８の例では、第７行及び第８行のみが位相差行として選択されているため、第１〜６行、第９〜１６行は選択されておらず読み出し動作を行っていない。一方、第７行の信号であるＲ７ａ、Ｒ７ｂ、Ｇ７ｃ、Ｇ７ｄ、Ｒ７ｅ、Ｒ７ｆ、Ｇ７ｇ及びＧ７ｈ、ならびに、第８行の信号であるＧ８ａ、Ｇ８ｂ、Ｂ８ｃ、Ｂ８ｄ、Ｇ８ｅ、Ｇ８ｆ、Ｂ８ｇ及びＢ８ｈは、全て独立で、イメージセンサ１から出力される。ＡＦ撮像モードにおける実際の読み出し行は、１画面につき２０行程度であり、実用上出力タイミング増加の問題はない。位相差ＲＡＷデータ出力信号が読み出される行である位相差行を指定するための指定アドレスは、ＣＰＵ４００により、２行単位でセンサ駆動部１７０を制御することにより任意に設定される。なお、このときは、特に非破壊モードで読み出す必要はない。
図６及び図７に戻り、続いて撮像装置１００の動作を説明する。
イメージセンサ１から出力された位相差ＲＡＷデータ出力信号は、ＲＡＷデータ選択部１２０で選択され、位相差検出部１３０に出力され、位相差検出部１３０で焦点検出される。ここで、位相差検出部１３０の構成について説明する。
図９は、第１の実施形態に係る撮像装置が備える位相差検出部の構成を示すブロック図である。同図に示された位相差検出部１３０は、瞳面左右選択部１３１と、カラーキャリア抑圧部１３２と、左右信号位相差検出部１３３と、ＣＰＵ＿Ｉ／Ｆ部１３４とを備える。位相差検出部１３０では、瞳面左右選択部１３１により左右の瞳面に対応する信号を選択分離し、カラーキャリア抑圧部１３２にてカラーキャリアを落とすＬＰＦ処理を施し、左右信号位相差検出部１３３にて左右の信号の位相ズレを検出する。その検出結果に基づいて、位相差検出部１３０は、ＣＰＵ＿Ｉ／Ｆ部１３４を介して、ＣＰＵバスにてＣＰＵ４００と通信を行う。つまり、位相差検出部１３０は、部分加算信号及び非加算独立信号から隣接する２つの受光部間で発生する位相差に基づいて位相差焦点検出を行う。位相差検出部１３０の位相ズレ検出シーケンスについて、図１０を用いて具体的に説明する。
図１０は、第１の実施形態に係る位相差検出部の動作を詳細に説明する概念図である。同図に示されるように、まず、位相差行として選択された行に属する単位画素セルについて、瞳面の左右の信号を選択分離する。つまり、瞳面左の信号として、Ｒ７ａ、Ｇ７ｃ、Ｒ７ｅ、Ｇ７ｇ、Ｇ８ａ、Ｂ８ｃ、Ｇ８ｅ及びＢ８ｇが選択され、瞳面右の信号として、Ｒ７ｂ、Ｇ７ｄ、Ｒ７ｆ、Ｇ７ｈ、Ｇ８ｂ、Ｂ８ｄ、Ｇ８ｆ及びＢ８ｈが選択される。その後、各々についてカラーキャリアを抑圧するために、左右各々のベイヤー配列のＲＧＧＢの信号（例えば、Ｒ７ａ、Ｇ７ｃ、Ｇ８ａ及びＢ８ｃ）を加算し、左右各々の瞳面の位相差検出信号を得る。図１０では、瞳面左側位相差検出信号及び瞳面右側位相差検出信号が、それぞれ、３つずつ生成されている。
ここで、位相差ＡＦ行は、２行単位で選択されるので、上下に隣接するＲＧ行とＧＢ行が選択され、ＲＧＢ成分の全てを含む信号で高精度な位相差検出が可能となる。また、水平方向に全画素の情報が取得されるので、画素の水平ナイキスト周波数まで位相差検出が可能となる。
再び、図６及び図７に戻り、続いて撮像装置１００の動作を説明する。
次に、位相差検出結果の情報を得たＣＰＵ４００は、距離演算を施し、適切な位置に光学レンズ１１０のフォーカスレンズを、レンズ駆動部１８０を介して駆動することで、ＡＦ合焦動作が一旦完了する（Ｓ０３）。
次に、シャッターボタン全押し等のレリーズＳＷ２をＯＮする（Ｓ０４）。これにより、主画像の静止画撮像が開始される（Ｓ０５）。このとき、主画像撮像の蓄積期間の初期において、イメージセンサのリセット動作を停止して、上記ＡＦ撮像モードと同様の動作を非破壊モードで遂行する（Ｓ０６）。そして、必要であれば、取得された主画像の位相差検出結果に基づいてフォーカスモータの微調整、つまり、ＡＦ合焦点の微調整を行う（Ｓ０７）。
次に、主画像撮像の蓄積期間終了時、または、その後において主画像の読み出しを行う。主画像の読み出しは、１つのマイクロレンズ１２内の光学レンズ瞳面を左右に分割した各受光部で検出された信号が加算部１７で加算された信号をイメージセンサ１から出力することにより実行される。
上記主画像撮像モードにおける主画像データの生成について、図１１を用いて具体的に説明する。
図１１は、主画像撮像モードにおける第１の実施形態に係るイメージセンサの信号出力手順を表す概念図である。同図において、丸囲みの＋記号はイメージセンサ１内での信号加算を意味し、実線で囲まれ網掛けが付された領域は１つの信号を出力する受光部に対応している。例えば、第１行第ａ列及び第１行第ｂ列では、イメージセンサ１内で信号Ｒ１ａと信号Ｒ１ｂとが加算され、当該加算信号は、本来出力順が遅い方の第１行第ｂ列の受光部から出力されることを意味している。以降の図面においても、全て同様の概念で丸囲みの＋記号及び網掛けを用いている。
図１１に示されるように、主画像撮像モードにおける信号出力は、全画面均一に実行され、１つのマイクロレンズを１画素とした一般的な静止画ベイヤー配列と全く等価となる。以上、主画像撮像モードが終了する（Ｓ０８）。
以降の撮像装置１００の動作は、一般的なベイヤー配列のデジタルカメラの動作と基本的に同じである。具体的には、主画像として出力された主画像ＲＡＷデータは、ＲＡＷデータ選択部１２０で選択され、カメラＹＣ処理部１４０を介して、圧縮記録部１５０にて、ＪＰＥＧ等の画像圧縮を施され、メディアへ記録されて静止画撮像動作が完了する（Ｓ０９）。ここで、カメラＹＣ処理部１４０は、全加算信号から主画像の生成を行うＹＣ処理部である。
つまり、撮像装置１００の静止画単写動作では、イメージセンサ１内に配置された信号生成部が、複数の受光部のそれぞれにおいて受光により生成される電荷がリセットされずに連続して蓄積される期間である電荷蓄積期間の初期に、非加算独立信号を、非破壊モードでＲＡＷデータ選択部１２０を介して位相差検出部１３０へ出力する。また、電荷蓄積期間の終了時及びその後に、全加算信号を、ＲＡＷデータ選択部１２０を介してカメラＹＣ処理部１４０へ出力する。
以上の撮像装置１００の動作により、位相差ＡＦ行に属する全ての単位画素セルが有する受光部に対応して、光学レンズ瞳面が左右独立に分割された双方の位相差信号が得られる。これにより、左右共に、画素ナイキストの高周波信号まで位相差ＡＦの焦点検出が可能となり、大幅な焦点検出精度を向上させることが可能となる。また、ＲＧＢの全色成分を、焦点検出のために使用することが可能となり、焦点検出精度の被写体の色による影響を抑えることが可能となる。さらに、非破壊読み出しを利用して、主画像信号電荷の蓄積期間中に焦点検出が可能となり、被写体の変動に対するＡＦの信頼性を高めることも可能となる。
［撮像装置の静止画連写動作］
次に、撮像装置１００の静止画連写動作について、図６及び図１２を用いて説明する。
図１２は、第１の実施形態に係る撮像装置の静止画連写における動作フローチャートである。以下、撮像装置１００における静止画の連写シーケンスについて説明する。
図１２に示されるように、静止画撮影モードで起動中に、シャッターボタン半押し等のレリーズＳＷ１をＯＮする（Ｓ２１）。これにより、ＡＦ撮像モードが起動する（Ｓ２２）。ＡＦ撮像モードでは、全体行の中の一部を２行単位で行選択する。そして、当該選択行に属する単位画素セルおいて光学レンズ１１０を介してイメージセンサ１上に瞳分割で各々の受光部に結像された光学像に対応した信号を、加算部１７を用いずに、独立に位相差ＲＡＷデータ出力信号としてイメージセンサ１から出力する。なお、上記ＡＦ撮像モードにおける位相差ＲＡＷデータ出力順序の詳細説明については、図８に示された通りであり、撮像装置１００の静止画単写動作と同様であるので、ここでは説明を省略する。
イメージセンサ１から出力された位相差ＲＡＷデータ出力信号は、ＲＡＷデータ選択部１２０で選択され、位相差検出部１３０に出力され、位相差検出部１３０で焦点検出される。
ここで、位相差検出部１３０の構成は、図９に示された通りであり、また、位相差検出部１３０の位相ズレ検出シーケンスについては、図１０に示された通りであり、撮像装置１００の静止画単写動作と同様であるので、ここでは説明を省略する。
次に、位相差検出結果の情報を得たＣＰＵ４００は、距離演算を施し、適切な位置に光学レンズ１１０のフォーカスレンズを、レンズ駆動部１８０を介して駆動することで、ＡＦ合焦動作が一旦完了する（Ｓ２３）。
次に、シャッターボタン全押し等のレリーズＳＷ２をＯＮする（Ｓ２４）。これにより、主画像の静止画撮像が開始される（Ｓ２５）。このとき、主画像撮像の蓄積期間の初期において、イメージセンサのリセット動作を停止して、上記ＡＦ撮像モードと同様の動作を非破壊モードで遂行する（Ｓ２６）。そして、必要であれば、取得された主画像の位相差検出結果に基づいてフォーカスモータの微調整、つまり、ＡＦ合焦点の微調整を行う（Ｓ２７）。
次に、主画像撮像の蓄積期間終了時、または、その後において主画像の読み出しを行う。主画像の読み出しは、１つのマイクロレンズ１２内の光学レンズ瞳面を左右に分割した各受光部で検出された信号が加算部１７で加算された信号をイメージセンサ１から出力することにより実行される。ここで、上記主画像撮像モードにおける主画像データの生成の詳細については、図１１に示された通りであり、撮像装置１００の静止画単写動作と同様であるので、ここでは説明を省略する。以上、主画像撮像モードが終了する（Ｓ２８）。
次に、レリーズＳＷ２のＯＮ状態が維持されている場合（Ｓ２９でｏｎ）、読み出した主画像ＲＡＷデータ信号は、バッファメモリ１６０等に格納され、主画像撮像開始（Ｓ２５）に戻り、同様の動作を継続する。
一方、レリーズＳＷ２がＯＦＦとなれば、バッファメモリ１６０に格納された主画像ＲＡＷデータについて、順次以下の処理を実行する（Ｓ３０）。以降の動作は、一般的なベイヤー配列のデジタルカメラの動作と基本的に同じである。具体的には、主画像として出力された主画像ＲＡＷデータは、ＲＡＷデータ選択部１２０で選択され、カメラＹＣ処理部１４０を介して、圧縮記録部１５０にて、ＪＰＥＧ等の画像圧縮を施され、メディアへ記録される。バッファメモリ１６０に記憶された全ての主画像ＲＡＷデータの処理が完了した時点で静止画連写撮像動作が完了する。
以上の動作により、前述した静止画単写モードが有する効果が奏されるとともに、さらに、非破壊読み出しを利用して、主画像信号電荷の蓄積期間中に焦点検出が可能となる。これにより、主画像撮像が連続する高速連写モードにおいて、位相差ＡＦ機能を継続しながら、主画像の画質劣化を全く伴わない静止画連写撮像が可能となる。
（第２の実施形態）
以下、図面を参照しながら、第２の実施形態に係る撮像装置及びこれに搭載されるイメージセンサの構成及び動作について、第１の実施形態との相違点を中心に説明する。
図１３は、第２の実施形態に係るイメージセンサの回路図である。同図に示されたイメージセンサ２は、行列状に配置された複数の単位画素セル（図１に示された構成を有する）と、列ごとに配置された垂直信号線１４に接続された負荷手段１８、Ａ／Ｄ変換器１５、バッファメモリ２１、垂直加算部２２及び垂直加算信号選択スイッチ２３と、隣接する垂直信号線の出力信号同士を加算する水平加算部２４と、行選択手段１３と、列選択手段１６とを備える固体撮像装置である。本実施形態における単位画素セルの構成要素は、第１の実施形態におけるものと同一であるが、１つのマイクロレンズ１２に４つの受光部が配置されている点が第１の実施形態と異なる。なお、実際には、単位画素セル上にカラーフィルタが設置されているが、図１３には図示していない。カラーフィルタ配列については後述する。また、実際には、光電変換膜８は光電変換エリア全体に均一に積層されているが、図１３では受光部電極毎に配置されたものとして示している。
［イメージセンサの基本動作］
以下、本実施形態に係る撮像装置におけるイメージセンサ２の基本動作について説明する。
必要な場合には、１つのマイクロレンズ１２内において水平方向及び垂直方向に２分割されて配置された４つの受光部のうち、垂直方向の２つの受光部の信号が、垂直加算部２２で加算される。また、加算する際に、前行の信号が、バッファメモリ２１で一時保持される。
さらに、上記垂直加算信号、及び、垂直非加算信号の選択は、垂直加算信号選択スイッチ２３により実行される。このとき、１つのマイクロレンズである１単位画素セルにおいて、２行単位で加算及び非加算が選択される。つまり、非加算独立信号を生成すべき受光部として行指定または列指定される場合には、マイクロレンズ１２を一単位とした行列において、それぞれ、２行単位または２列単位で指定される。
さらに必要な場合には、１つのマイクロレンズ１２内における水平方向の受光部の信号同士が水平加算部２４で加算される。
次に、水平方向加算信号または水平方向非加算独立信号は、列選択手段１６により２列単位で行列独立に選択されて、水平走査方向に順次選択され出力される。
つまり、水平方向及び垂直方向の双方にて加算を選択すると、単位画素セル内の４つの受光部の信号が全て加算される。一方、水平方向及び垂直方向の双方共に非加算を選択すると、単位画素セル内の４つの受光部の信号が全て独立して、４信号として出力される。これら一連の詳細動作シーケンスについては後述する。
図１４は、第２の実施形態に係るイメージセンサ受光部のマイクロレンズに対する光学レンズ瞳面の分割イメージ図である。右上側の受光部電極７１上の光電変換膜８、左上側の受光部電極７２上の光電変換膜８、右下側の受光部電極７３上の光電変換膜８、及び、左下側の受光部電極７４上の光電変換膜８に入射する光を受光面側から逆に辿ると、以下のようになる。つまり、受光部電極７１、７２、７３及び７４上の光電変換膜８に入射する光は、それぞれ、カラーフィルタ１１を透過し、マイクロレンズ１２で屈折され、各々レンズ瞳面４１の一部である瞳面領域４２１、４２２、４２３、及び４２４を通過することとなる。
受光部電極７１で検出される電荷信号に相当する光は瞳面領域４２１を通過し、受光部電極７２で検出される電荷信号に相当する光は瞳面領域４２２を通過することになる。また、受光部電極７３で検出される電荷信号に相当する光は瞳面領域４２３を通過し、受光部電極７４で検出される電荷信号に相当する光は瞳面領域４２４を通過することになる。上記４つの受光部電極における水平方向及び垂直方向の信号レベルを比較することで、光学像のボケ具合に応じた水平方向及び垂直方向の位相差成分が検出可能となる。
また、上記４つの受光部電極の全ての信号レベルを加算することで、レンズ瞳面４１全体を透過する光束にほぼ等しい信号を得ることが可能となる。
図１５は、第２の実施形態に係るイメージセンサのカラーフィルタ配列を示す平面模式図である。同図に示されるように、１つのマイクロレンズ１２を１色とし、水平２×垂直２の４つのマイクロレンズで１単位のＲＧＢベイヤー配列のカラーフィルタが配置されている。
なお、１つのマイクロレンズ１２に配置されたカラーフィルタは、実際には分離せずに一体として成型されているが、図１５では、便宜上、受光部電極７１、７２、７３及び７４に対応して分離して示してある。
水平位相差ＲＡＷデータ出力行として指定された行に属する単位画素セルについては、当該指定行が行選択手段１３で選択され、例えば、受光部電極７１での信号が読み出されてＡ／Ｄ変換器１５でディジタル信号に変換され、バッファメモリ２１に格納される。次に、受光部電極７３での信号が読み出されてＡ／Ｄ変換器１５でディジタル信号に変換され、受光部電極７１のディジタル信号と受光部電極７３のディジタル信号とが垂直加算部２２で加算される。このとき、垂直加算信号選択スイッチ２３の右側を選択することで、マイクロレンズ１２内の２つの受光部の信号が垂直方向に加算されることとなる。
また、垂直位相差ＲＡＷデータ出力列として指定された列に属する単位画素セルについては、当該指定列が行選択手段１３で選択され、例えば、受光部電極７１及び７２の信号がそれぞれ読み出されＡ／Ｄ変換器１５でディジタル信号に変換される。このとき、垂直加算信号選択スイッチ２３の左側が選択されることで、受光部電極７１のディジタル信号と受光部電極７２のディジタル信号とが水平加算部２４で加算され、マイクロレンズ１２内の２つの受光部の信号が水平方向に加算されることとなる。
また、水平位相差ＲＡＷデータ出力行と垂直位相差ＲＡＷデータ出力列の交差部に配置された単位画素セルについては、指定行が行選択手段１３で選択され、例えば、受光部電極７１及び７２の信号がそれぞれ読み出され、Ａ／Ｄ変換器１５でディジタル信号に変換される。このとき、垂直加算信号選択スイッチ２３の左側が選択されることで受光部電極７１のディジタル信号と受光部電極７２のディジタル信号とが列選択手段１６により順次選択され出力される。次に、上記指定行に隣接する行が行選択手段１３で選択され、受光部電極７３及び７４の信号がそれぞれ読み出され、Ａ／Ｄ変換器１５でディジタル信号に変換される。このとき、垂直加算信号選択スイッチ２３の左側が選択されることで受光部電極７３のディジタル信号と受光部電極７４のディジタル信号とが列選択手段１６により順次選択され出力される。以上の動作により、垂直加算部２２及び水平加算部２４を用いずに、１つのマイクロレンズ１２内の４つの受光部の信号が独立にイメージセンサから出力される。
また、上記水平位相差ＲＡＷデータ出力行にも上記垂直位相差ＲＡＷデータ出力列にも指定されていない行列に配置された単位画素セルについては、選択対象の行が行選択手段１３で選択される。そして、例えば、受光部電極７１及び７２の信号がそれぞれ読み出され、Ａ／Ｄ変換器１５でディジタル信号に変換されて各々バッファメモリ２１に格納される。次に、上記選択行に隣接する行が行選択手段１３で選択され、受光部電極７３及び７４の信号がそれぞれ読み出され、Ａ／Ｄ変換器１５でディジタル信号に変換される。そして、受光部電極７１のディジタル信号と受光部電極７３のディジタル信号とが垂直加算部２２で加算され、受光部電極７２のディジタル信号と受光部電極７４のディジタル信号とが垂直加算部２２で加算される。このとき、垂直加算信号選択スイッチ２３の右側が選択されることで、受光部電極７１及び７３のディジタル信号と受光部電極７２及び７４のディジタル信号とが水平加算部２４で加算され、１つのマイクロレンズ１２内の４つの受光部の信号が全て加算されることとなる。最後に、列選択手段１６により水平加算部２４からの加算出力列が全て選択されることで、主画像ＲＡＷデータ信号としてイメージセンサから出力されることとなる。
［撮像装置の静止画連写動作］
次に、本実施形態に係る撮像装置の静止画連写動作の詳細を説明する。
図１６は、第２の実施形態に係る撮像装置の構成を示すブロック図である。また、図１７は、第２の実施形態に係る撮像装置の静止画連写における動作フローチャートである。図１６に示された撮像装置２００は、イメージセンサ２と、光学レンズ１１０と、ＲＡＷデータ選択＆信号加算部２２０と、位相差検出部１３０と、カメラＹＣ処理部１４０と、圧縮記録部１５０と、バッファメモリ１６０と、センサ駆動部１７０と、レンズ駆動部１８０と、画像認識部１９０と、ＣＰＵ４００とを備える。
まず、上記構成を有する撮像装置２００における静止画の連写シーケンスについて説明する。
図１７に示されるように、静止画撮影モードで起動中に、シャッターボタン半押し等のレリーズＳＷ１をＯＮする（Ｓ３１）。これにより、ＡＦ撮像モードが起動する（Ｓ３２）。ＡＦ撮像モードでは、全体行の中の一部を２行単位に行選択する。そして、当該選択行に属する単位画素セルおいて光学レンズ１１０を介してイメージセンサ２上に瞳分割され各々の受光部に結像された光学像に対応した信号を、垂直加算部２２で、垂直方向の２つの受光部の信号を加算して、順次読み出す。上記ＡＦ撮像モードにおける位相差ＲＡＷデータ出力順序について、図１８を用いて具体的に説明する。
図１８は、ＡＦ撮像モードにおける第２の実施形態に係るイメージセンサの信号出力手順を表す概念図である。同図において、実線で囲まれた最小領域は、１受光部を表し、各受光部の右上の丸囲み数字は、各受光部で生成された信号がイメージセンサ１から出力される順序を表している。また、太枠の１マスは、１つのマイクロレンズ１２がカバーする領域を表している。
図１８の例では、第７行、第８行、第９行、及び第１０行のみが位相差行として選択されているため、第１〜６行、第１１〜１６行は選択されておらず読み出し動作を行っていない。一方、第７行及び第８行の信号は、垂直方向に加算され、Ｇ７ａ＋Ｇ８ａ、Ｇ７ｂ＋Ｇ８ｂ、Ｂ７ｃ＋Ｂ８ｃ、Ｂ７ｄ＋Ｂ８ｄ、Ｇ７ｅ＋Ｇ８ｅ、Ｇ７ｆ＋Ｇ８ｆ、Ｂ７ｇ＋Ｂ８ｇ、及びＢ７ｈ＋Ｂ８ｈの順序でイメージセンサ２から出力され、次に、第９行及び第１０行の信号は、垂直方向に加算され、Ｒ９ａ＋Ｒ１０ａ、Ｒ９ｂ＋Ｒ１０ｂ、Ｇ９ｃ＋Ｇ１０ｃ、Ｇ９ｄ＋Ｇ１０ｄ、Ｒ９ｅ＋Ｒ１０ｅ、Ｒ９ｆ＋Ｒ１０ｆ、Ｇ９ｇ＋Ｇ１０ｇ、及びＧ９ｈ＋Ｇ１０ｈの順序でイメージセンサ２から出力される。ここで、行選択手段１３により指定された位相差行は、上位行（数字の小さい方）から順に読み出されるので、垂直方向の信号加算のためには、先行信号（上位行の信号）はバッファメモリ２１に一時保持される。そして、先行信号と後続信号（下位行の信号）とが、後続信号のＡＤ変換後のタイミングで加算される。ＡＦ撮像モードにおける実際の位相差行の読み出し行数は、１画面に２０行程度であり全画素を読む必要がないため、実用上出力タイミング増加の問題なく高速動作が可能である。なお、このときは特に非破壊モードで読み出す必要はない。また、位相差行の指定アドレスは２行単位でＣＰＵ４００がセンサ駆動部１７０を制御することにより任意に設定することが可能である。
図１９は、第２の実施形態に係る撮像装置が備えるＲＡＷデータ選択＆信号加算部の構成を示すブロック図である。同図に示されたＲＡＷデータ選択＆信号加算部２２０は、ＲＡＷデータ選択部２２１と、信号加算部２２２とＣＰＵ＿Ｉ／Ｆ部２２３とを備える。
光学レンズ１１０の位相差情報を含むイメージセンサ出力は、ＲＡＷデータ選択部２２１のＲＡＷデータ振り分けスイッチ２２４の下側を選択することで、位相差検出部１３０に対して、水平方向位相差ＲＡＷデータ信号として垂直２受光部加算信号の形態で出力される。これにより、位相差検出部１３０で焦点検出される。
この時、信号加算部の水平位相差ＲＡＷデータ選択スイッチ２２７は下側が選択されることで加算機能は使用されずに、スルーで水平方向位相差ＲＡＷデータ信号が位相差検出部１３０へ出力される。
次に、位相差検出部１３０では、瞳面左右選択部１３１により左右の瞳面に対応する信号を選択分離し、位相差検出を行うため、カラーキャリア抑圧部１３２にてカラーキャリアを落とすＬＰＦ処理を施し、左右信号位相差検出部１３３にて瞳面左側位相差検出信号と瞳面右側位相差検出信号を取得する。そして、瞳面左側位相差検出信号と瞳面右側位相差検出信号との波形のズレを検出することでボケ具合に応じた位相差を検出し、その検出結果に基づいて、ＣＰＵ＿Ｉ／Ｆ部１３４を介して、ＣＰＵバスにてＣＰＵ４００と通信を行う。この位相差検出部１３０の動作は、第１の実施形態と同様である。上記位相差検出部１３０の位相ズレ検出シーケンスについて、図２０を用いて具体的に説明する。
図２０は、第２の実施形態に係る位相差検出部の動作を詳細に説明する概念図である。同図に示されるように、まず、位相差行として選択された行に属する単位画素セルについて、同一単位画素セル内の受光部の信号が垂直加算される。そして、瞳面の左右の信号を選択分離する。つまり、瞳面左の信号として、Ｇ７ａ＋Ｇ８ａ、Ｂ７ｃ＋Ｂ８ｃ、Ｇ７ｅ＋Ｇ８ｅ、Ｂ７ｇ＋Ｂ８ｇ、Ｒ９ａ＋Ｒ１０ａ、Ｇ９ｃ＋Ｇ１０ｃ、Ｒ９ｅ＋Ｒ１０ｅ及びＧ９ｇ＋Ｇ１０ｇ、が選択される。また、瞳面右の信号として、Ｇ７ｂ＋Ｇ８ｂ、Ｂ７ｄ＋Ｂ８ｄ、Ｇ７ｆ＋Ｇ８ｆ、Ｂ７ｈ＋Ｂ８ｈ、Ｒ９ｂ＋Ｒ１０ｂ、Ｇ９ｄ＋Ｇ１０ｄ、Ｒ９ｆ＋Ｒ１０ｆ、Ｇ９ｈ＋Ｇ１０ｈが選択される。その後、各々についてカラーキャリアを抑圧するために、左右各々のベイヤー配列のＲＧＧＢの信号（例えば、Ｇ７ａ＋Ｇ８ａ、Ｂ７ｃ＋Ｂ８ｃ、Ｒ９ａ＋Ｒ１０ａ及びＧ９ｃ＋Ｇ１０ｃ）を加算し、左右各々の瞳面の位相差検出信号を得る。図２０では、瞳面左側位相差検出信号及び瞳面右側位相差検出信号が、それぞれ、３つずつ生成されている。
ここで、位相差ＡＦ行は、マイクロレンズ単位で２行選択されるので、上下に隣接するＲＧ行とＧＢ行が選択され、主画像ＲＧＢベイヤー配列を崩すことなく、ＲＧＢ成分の全てを含むカラー信号で高精度な位相差検出が可能となる。また、水平方向に全画素の情報が取得されるので、画素の水平ナイキスト周波数まで位相差検出が可能となる。
再び、図１６及び図１７に戻り、続いて撮像装置２００の動作を説明する。
次に、位相差検出結果の情報を得たＣＰＵ４００は、距離演算を施し、適切な位置に光学レンズ１１０のフォーカスレンズを、レンズ駆動部１８０を介して駆動することで、ＡＦ合焦動作が一旦完了する（Ｓ３３）。
次に、シャッターボタン全押し等のレリーズＳＷ２をＯＮする（Ｓ３４）。これにより、主画像の静止画連写撮像が開始される（Ｓ３５）。このとき、主画像撮像の蓄積期間の初期において、イメージセンサ２のリセット動作を停止して、上記ＡＦ撮像モードと同様の動作を非破壊モードで遂行する（Ｓ３６）。そして、必要であれば、取得された主画像の位相差検出結果に基づいて、フォーカスレンズの微調整、つまり、ＡＦ合焦点の微調整を行う（Ｓ３７）。
次に、主画像撮像の蓄積期間終了時、または、その後において主画像＋ＡＦ撮像（破壊読出し）を行う。
図２１は、第２の実施形態に係る主画像＋ＡＦ撮像モードにおけるイメージセンサの信号出力手順を表す概念図である。同図において、丸囲み＋記号は、イメージセンサ内での信号加算を表し、太枠の１マスは、１つのマイクロレンズがカバーする領域を表す。丸囲み数字は信号出力順序を表している。
図２１に示されるように、主画像＋ＡＦ撮像モードの読み出しでは、水平位相差行として選択された行では、１つのマイクロレンズ１２内の光学レンズ瞳面を４つに分割した受光部電極で検出された信号データを、垂直加算部２２を用いて、２受光部の信号を加算する。また、垂直位相差列として選択された列では、１つのマイクロレンズ１２内の光学レンズ瞳面を４つに分割した受光部電極で検出された信号データを、水平加算部２４を用いて、２受光部の信号を加算する。また、水平位相差行と垂直位相差列との交差部では、１つのマイクロレンズ１２内の光学レンズ瞳面を４つに分割した受光部電極で検出された信号データを、独立にイメージセンサ２から順次出力する。また、位相差行列として選択されていない単位画素セルの信号については、１つのマイクロレンズ１２内の光学レンズ瞳面を４つに分割した受光部電極で検出された４つの信号データを、水平加算部２４及び垂直加算部２２を用いて全て加算し、各々イメージセンサから順次出力する。
つまり、部分加算信号及び非加算独立信号を生成すべき受光部として列指定される場合には、指定された列に属する受光部の光電変換信号は信号加算部２２２において水平加算が可能である。また、部分加算信号及び非加算独立信号を生成すべき受光部として行指定される場合には、指定された行に属する受光部の光電変換信号は信号加算部２２２において垂直加算が可能である。また、部分加算信号及び非加算独立信号を生成すべき受光部として行及び列の双方が指定される場合には、指定された行列に属する受光部の光電変換信号は独立読み出しが可能である。
次に、図１６に示されたＲＡＷデータ選択＆信号加算部２２０の信号処理の詳細について説明する。
イメージセンサ２の出力は、図２１に示されるように、上位（番号の若い）の行から順次水平方向にスキャンしながら出力されるが、４受光部加算信号と水平２受光部加算信号と垂直２受光部加算信号と１受光部単独信号とが混載して出力される。よって、信号出力順が、加算のため最後に出力される受光部電極の信号出力順に律速されるので、図２１中の丸囲み数字の順序で出力されることになる。また、図２１中において網掛け模様が施されていないアドレスでは出力はスキップされることとなる。
図２１の例では、まず、第１行では、Ｇ１ｃ＋Ｇ１ｄ、Ｒ１ｅ＋Ｒ１ｆの順にイメージセンサ２から出力される。次に、第２行では、Ｒ１ａ＋Ｒ１ｂ＋Ｒ２ａ＋Ｒ２ｂ、Ｇ２ｃ＋Ｇ２ｄ、Ｒ２ｅ＋Ｒ２ｆ、Ｇ１ｇ＋Ｇ１ｈ＋Ｇ２ｇ＋Ｇ２ｈの順にイメージセンサ２から出力される。第３行〜第６行では、第１行及び第２行での上記出力順と同様の出力順が実行される。次に、第７行では、Ｂ７ｃ、Ｂ７ｄ、Ｇ７ｅ、Ｇ７ｆの順にイメージセンサ２から出力され、次に第８行では、Ｇ７ａ＋Ｇ８ａ、Ｇ７ｂ＋Ｇ８ｂ、Ｂ８ｃ、Ｂ８ｄ、Ｇ８ｅ、Ｇ８ｆ、Ｂ７ｇ＋Ｂ８ｇ、Ｂ７ｈ＋Ｂ８ｈの順にイメージセンサ２から出力される。第９行及び第１０行では、第７行及び第８行での上記出力順と同様の出力順が実行される。第１１行〜第１６行は第１行及び第２行での上記出力順と同様の出力順が実行される。
以下、第１行、第２行、第７行及び第８行について、図１９及び図２１を用いて具体的に説明する。
まず、第１行では、信号データＧ１ｃ＋Ｇ１ｄ及びＲ１ｅ＋Ｒ１ｆについては、ＲＡＷデータ選択部２２１のＲＡＷデータ振り分けスイッチ２２４の下側が選択され、位相差ＲＡＷデータ（水平２受光部加算信号）として出力される。そして、垂直位相差ＲＡＷデータ選択スイッチ２２８の下側が選択され、上記信号データＧ１ｃ＋Ｇ１ｄ及びＲ１ｅ＋Ｒ１ｆは、スルーで垂直位相差ＲＡＷデータ信号として出力されるとともに、信号加算部２２２のバッファメモリに格納される。
次に、第２行では、信号データＲ１ａ＋Ｒ１ｂ＋Ｒ２ａ＋Ｒ２ｂについては、ＲＡＷデータ振り分けスイッチ２２４の上側が選択され、主画像ＲＡＷデータ（４受光部加算信号）として出力される。そして、主画像ＲＡＷデータ選択スイッチ２２６の上側が選択され、上記信号データＲ１ａ＋Ｒ１ｂ＋Ｒ２ａ＋Ｒ２ｂは、スルーで主画像ＲＡＷデータ信号として出力される。
信号データＧ２ｃ＋Ｇ２ｄについては、ＲＡＷデータ振り分けスイッチ２２４の下側が選択され、位相差ＲＡＷデータ（水平２受光部加算信号）として出力される。そして、垂直位相差ＲＡＷデータ選択スイッチ２２８の下側が選択され、上記信号データＧ２ｃ＋Ｇ２ｄは、スルーで垂直位相差ＲＡＷデータ信号として出力される。これとともに、２受光部垂直加算信号選択スイッチ２２５の下側が選択され、バッファメモリに格納したＧ１ｃ＋Ｇ１ｄを読み出し、読み出された信号Ｇ１ｃ＋Ｇ１ｄと上記信号データＧ２ｃ＋Ｇ２ｄとが主画像信号加算部２２９で加算される。この加算された信号は、Ｇ１Ｃ＋Ｇ１ｄ＋Ｇ２ｃ＋Ｇ２ｄとなり、主画像ＲＡＷデータ選択スイッチ２２６の下側が選択され、主画像ＲＡＷデータ信号として出力される。
信号データＲ２ｅ＋Ｒ２ｆについては、ＲＡＷデータ振り分けスイッチ２２４の下側が選択され、位相差ＲＡＷデータ（水平２受光部加算信号）として出力される。そして、垂直位相差ＲＡＷデータ選択スイッチ２２８の下側が選択され、上記信号データＲ２ｅ＋Ｒ２ｆは、スルーで垂直位相差ＲＡＷデータ信号として出力される。これとともに、２受光部垂直加算信号選択スイッチ２２５の下側が選択され、バッファメモリに格納したＲ１ｅ＋Ｒ１ｆを読み出し、読み出された信号Ｒ１ｅ＋Ｒ１ｆと上記信号データＲ２ｅ＋Ｒ２ｆとが主画像信号加算部２２９で加算される。この加算された信号は、Ｒ１ｅ＋Ｒ１ｆ＋Ｒ２ｅ＋Ｒ２ｆとなり、主画像ＲＡＷデータ選択スイッチ２２６の下側が選択され、主画像ＲＡＷデータ信号として出力される。
信号データＧ１ｇ＋Ｇ１ｈ＋Ｇ２ｇ＋Ｇ２ｈについては、ＲＡＷデータ振り分けスイッチ２２４の上側が選択され、主画像ＲＡＷデータ（４受光部加算信号）として出力される。そして、主画像ＲＡＷデータ選択スイッチ２２６の上側が選択され、上記信号データＧ１ｇ＋Ｇ１ｈ＋Ｇ２ｇ＋Ｇ２ｈは、スルーで主画像ＲＡＷデータ信号として出力される。
次に、第７行では、信号データＢ７ｃについては、ＲＡＷデータ振り分けスイッチ２２４の下側が選択され、位相差ＲＡＷデータ（１受光部信号）として出力され、バッファメモリに格納される。次に、信号データＢ７ｄにつては、ＲＡＷデータ振り分けスイッチ２２４の下側が選択され、位相差ＲＡＷデータ（１受光部信号）として出力され、バッファメモリに格納される。これとともに、垂直位相差信号加算部２３１にて、上記信号データＢ７ｄとバッファメモリに格納されたＢ７ｃとが加算されてＢ７ｃ＋Ｂ７ｄとなる。そして、垂直位相差ＲＡＷデータ選択スイッチ２２８の上側が選択され、加算された信号Ｂ７ｃ＋Ｂ７ｄは、垂直位相差ＲＡＷデータ信号として出力される。
信号データＧ７ｅについては、ＲＡＷデータ振り分けスイッチ２２４の下側が選択され、位相差ＲＡＷデータ（１受光部信号）として出力され、バッファメモリに格納される。次に、信号データＧ７ｆについては、ＲＡＷデータ振り分けスイッチ２２４の下側が選択され、位相差ＲＡＷデータ（１受光部信号）として出力され、バッファメモリに格納される。これとともに、垂直位相差信号加算部２３１にて、上記信号データＧ７ｆとバッファメモリに格納されたＧ７ｅとが加算されてＧ７ｅ＋Ｇ７ｆとなる。そして、垂直位相差ＲＡＷデータ選択スイッチ２２８の上側が選択され、加算された信号Ｇ７ｅ＋Ｇ７ｆは、垂直位相差ＲＡＷデータ信号として出力される。
次に、第８行では、信号データＧ７ａ＋Ｇ８ａについては、ＲＡＷデータ振り分けスイッチ２２４の下側が選択され、位相差ＲＡＷデータ（垂直２受光部加算信号）として出力される。そして、水平位相差ＲＡＷデータ選択スイッチ２２７の下側が選択され、上記信号データＧ７ａ＋Ｇ８ａは、スルーで水平位相差ＲＡＷデータ信号として出力される。これとともに、上記信号データＧ７ａ＋Ｇ８ａは、信号加算部２２２のバッファメモリに格納される。次に、信号データＧ７ｂ＋Ｇ８ｂについては、ＲＡＷデータ振り分けスイッチ２２４の下側が選択され、位相差ＲＡＷデータ（垂直２受光部加算信号）として出力される。そして、水平位相差ＲＡＷデータ選択スイッチ２２７の下側が選択され、上記信号データＧ７ｂ＋Ｇ８ｂは、スルーで水平位相差ＲＡＷデータ信号として出力される。これとともに、２受光部垂直加算信号選択スイッチ２２５の下側が選択され、バッファメモリに格納した上記信号Ｇ７ａ＋Ｇ８ａを読み出す。主画像信号加算部２２９にて読み出された上記信号Ｇ７ａ＋Ｇ８ａと上記信号データＧ７ｂ＋Ｇ８ｂとが加算され、Ｇ７ａ＋Ｇ８ａ＋Ｇ７ｂ＋Ｇ８ｂとなる。そして、主画像ＲＡＷデータ選択スイッチ２２６の下側が選択され、加算された信号Ｇ７ａ＋Ｇ８ａ＋Ｇ７ｂ＋Ｇ８ｂは、主画像ＲＡＷデータ信号として出力される。
信号データＢ８ｃについては、ＲＡＷデータ振り分けスイッチ２２４の下側が選択され、位相差ＲＡＷデータ（１受光部信号）として出力されるとともに、バッファメモリに格納される。さらに、これとともに、バッファメモリから読み出したＢ７ｃと上記信号データＢ８ｃとは、水平位相差信号加算部２３０で加算されてＢ７ｃ＋Ｂ８ｃとなる。そして、水平位相差ＲＡＷデータ選択スイッチ２２７の上側が選択され、加算された信号Ｂ７ｃ＋Ｂ８ｃは、水平位相差ＲＡＷデータ信号として出力されるとともに、バッファメモリに書き戻される。次に、信号データＢ８ｄについては、ＲＡＷデータ振り分けスイッチ２２４の下側が選択され、位相差ＲＡＷデータ（１受光部信号）として出力される。そして、垂直位相差信号加算部２３１にてバッファメモリに格納されたＢ８ｃと上記信号データＢ８ｄとが加算されてＢ８ｃ＋Ｂ８ｄとなる。そして、垂直位相差ＲＡＷデータ選択スイッチ２２８の上側が選択され、加算された信号Ｂ８ｃ＋Ｂ８ｄは、垂直位相差ＲＡＷデータ信号として出力される。さらにこれとともに、バッファメモリから読み出されたＢ７ｄと上記信号データＢ８ｄとが水平位相差信号加算部２３０で加算されてＢ７ｄ＋Ｂ８ｄとなる。そして、水平位相差ＲＡＷデータ選択スイッチ２２７の上側が選択され、加算された信号Ｂ７ｄ＋Ｂ８ｄは、水平位相差ＲＡＷデータ信号として出力される。これとともに、加算された信号Ｂ７ｄ＋Ｂ８ｄとバッファメモリに格納されたＢ７ｃ＋Ｂ８ｃとは主画像信号加算部２２９にて加算されてＢ７ｃ＋Ｂ８ｃ＋Ｂ７ｄ＋Ｂ８ｄとなる。そして、主画像ＲＡＷデータ選択スイッチ２２６の下側が選択され、加算された信号Ｂ７ｃ＋Ｂ８ｃ＋Ｂ７ｄ＋Ｂ８ｄは、主画像ＲＡＷデータ信号として出力される。
以下同様に、信号データＧ８ｅ及びＧ８ｆについては、上述した信号データＢ８ｃ及びＢ８ｄと同様の動作となり、信号データＢ７ｇ＋Ｂ８ｇ及びＢ７ｈ＋Ｂ８ｈは、Ｇ７ａ＋Ｇ８ａ及びＧ７ｂ＋Ｇ８ｂと同様の動作となる。
また、第９行及び第１０行では、それぞれ、第７行及び第８行と同様の動作が実行され、第１１行及び第１２行以降は、第１行及び第２行と同様の動作が実行される。
図２２は、第２の実施形態に係る主画像＋ＡＦ撮像モードにおける水平位相差ＲＡＷデータ信号の加算処理を説明する概念図である。同図において、丸囲みの＋記号はイメージセンサ２内での信号加算を表し、四角囲みの＋記はイメージセンサ２の後段に配置された加算部での部分信号加算を表し、イメージセンサ２内での加算信号と加算部での部分加算信号とは等価である。また、これらの信号は、図１０に示された第１の実施形態の位相差行として選択された信号と全く同一概念であり、図２０に示されたカラーキャリア抑圧処理が実施される。これにより、水平方向の位相差検出を行うことが可能となる。
上述したように、本実施形態では、撮像装置２００は、複数の受光部から光電変換信号を個別に読み出し、１つのマイクロレンズ１２に対応した４つの受光部で所定の１フレーム内に変換された光電変換信号の各々が全て加算された全加算信号、上記４つの受光部のうち一部の受光部の光電変換信号が加算された部分加算信号、及び、独立した非加算独立信号を生成する信号生成部を備える。信号生成部は、イメージセンサ２内に配置されたバッファメモリ２１、垂直加算部２２、垂直加算信号選択スイッチ２３及び水平加算部２４と、イメージセンサ２の後段に配置されたＲＡＷデータ選択＆信号加算部２２０とを含む。ＲＡＷデータ選択＆信号加算部２２０は、部分（２受光部）加算信号及び非（１受光部）加算独立信号と全（４受光部）加算信号とのいずれかを選択する信号選択部であるＲＡＷデータ選択部２２１と、ＲＡＷデータ選択部２２１で選択された部分加算信号及び非加算独立信号に対して、同一のマイクロレンズ１２に対応した受光部の光電変換信号を加算して生成した部分加算信号を位相差検出部１３０に出力し、同一のマイクロレンズ１２に対応した受光部の光電変換信号を加算して生成した全加算信号をカメラＹＣ処理部１４０に出力する信号加算部２２２とを備える。
図２３は、第２の実施形態に係る主画像＋ＡＦ撮像モードにおける垂直位相差ＲＡＷデータ信号の加算処理を説明する概念図である。同図において、イメージセンサ２内で加算された信号とイメージセンサ２の後段に配置された部分加算信号とは等価である。また、同図に示された垂直位相差ＲＡＷデータ信号の加算処理の概念は、図２２に示された水平位相差ＲＡＷデータ信号の加算処理の概念を９０°回転したイメージであり、同様のカラーキャリア抑圧処理が実施される。これにより、垂直方向の位相差検出を行うことが可能となる。
図２４は、第２の実施形態に係る主画像＋ＡＦ撮像モードにおける加算部での主画像ＲＡＷデータ信号の加算処理を説明する概念図である。また、図２５は、第２の実施形態に係る主画像＋ＡＦ撮像モードにおける主画像ＲＡＷデータ信号の加算部出力を表す概念図である。図２４及び図２５に示されるように、イメージセンサ２内で全加算された信号とイメージセンサ２の後段に配置された加算部で全加算された信号は等価となり、位相差ＡＦ行、位相差ＡＦ列、及びその交差アドレス部も全面均一な主画像信号形態となる。また、出力画素イメージは図２５に示す通りとなり、１つのマイクロレンズ１２を１画素とした一般的な静止画ベイヤー配列と全く等価となる。
以上、主画像＋ＡＦ撮像モードが終了する（Ｓ３８）。
次に、水平及び垂直位相差検出の結果、必要があればＡＦ合焦微調整を行う（Ｓ３９）。
次に、レリーズＳＷ２がＯＮの状態が維持されていれば（Ｓ４０でｏｎ）、読み出した主画像ＲＡＷデータ信号はバッファメモリ等に格納され、主画像＋ＡＦ撮像開始（Ｓ３５）に戻り、同様の動作を継続する。
一方、レリーズＳＷ２がＯＦＦとなれば（Ｓ４０でｏｆｆ）、バッファメモリ１６０に格納された主画像ＲＡＷデータについて、順次以下の処理を実行する（Ｓ４１）。
以降の動作は、一般的なベイヤー配列のデジタルカメラの動作と基本的に同じである。具体的には、主画像として出力された主画像ＲＡＷデータは、ＲＡＷデータ選択部２２１で選択され、カメラＹＣ処理部１４０を介して、圧縮記録部１５０にてＪＰＥＧ等の画像圧縮が施され、メディアへ記録される。バッファメモリ１６０上の全ての主画像ＲＡＷデータの上記処理が完了した時点で静止画連写撮像の動作が完了する。
つまり、撮像装置２００の静止画連写動作では、イメージセンサ２内に配置された信号生成部が、複数の受光部のそれぞれにおいて受光により生成される電荷がリセットされずに連続して蓄積される期間である電荷蓄積期間の初期に、部分加算信号及び非加算独立信号を、非破壊モードでＲＡＷデータ選択＆信号加算部２２０を介して位相差検出部１３０へ出力する。また、電荷蓄積期間の終了時及びその後に、全加算信号を、ＲＡＷデータ選択＆信号加算部２２０を介してカメラＹＣ処理部１４０へ出力する。
以上の動作により、非破壊読み出しを利用して、主画像信号電荷の蓄積期間中に焦点検出が可能となる。また、さらに、主画像蓄積信号から水平・垂直双方の位相差信号を検出しながら、信号処理による加算により主画像ＲＡＷデータの完全修復が可能となる。これにより、主画像撮像が連続する高速連写モードにおいて、位相差ＡＦ機能を継続しながら、主画像の画質劣化を全く伴わない静止画連写撮像が可能となる。
このとき、画像認識部１９０によるオブジェクト認識等の処理を行うことで、アドレスを追尾して位相差ＡＦ行列に指定することで、像面位相差ＡＦを用いた連写追尾ＡＦ機能の実現も可能となる。
なお、図１７で示された「ＡＦ撮像（非破壊読み出し）」（Ｓ３６）と、それに引き続く「ＡＦ合焦微調整」（Ｓ３７）とをフローから削除して、破壊読出し撮像のみで構成すれば、非破壊読み出し機能を搭載しないイメージセンサ（例えば、半導体基板内に光電変換素子（フォトダイオード、埋込フォトダイオード）を備えるイメージセンサ）でも位相差ＡＦ機能を継続しながら、主画像の画質劣化を全く伴わない静止画連写撮像も可能となる。
また、図１５に示されるように、マイクロレンズ１２の中心部には、分離領域として無感度な領域が形成されるが、ＤＭＬ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ Ｌｅｎｓ）等を用いて、感度の減少を最小化することも可能である。
また、位相差ＡＦ行列指定の交差部のエリアを２の倍数で広く設定することで、任意の二次元領域の行列部で二次元全方位の位相差ＡＦ検出を行うことも可能である。
（第３の実施形態）
以下、図面を参照しながら、第３の実施形態に係る撮像装置及びこれに搭載されるイメージセンサの構成及び動作について、第１及び第２の実施形態との相違点を中心に説明する。
まず、本実施形態のイメージセンサ（固体撮像装置）は、図１〜図５までに示された第１の実施形態に係るイメージセンサ１（固体撮像装置）と同じである。
［撮像装置の静止画単写動作］
次に、本実施形態に係る撮像装置の静止画単写動作の詳細を説明する。
図２６は、第３の実施形態に係る撮像装置の構成を示すブロック図である。また、図２７は、第３の実施形態に係る撮像装置の静止画単写における動作フローチャートである。また、図２８は、第３の実施形態に係る撮像装置が備えるＲＡＷデータ選択＆信号加算部の構成を示すブロック図である。図２６に示された撮像装置３００は、イメージセンサ１と、光学レンズ１１０と、ＲＡＷデータ選択＆信号加算部３２０と、位相差検出部１３０と、カメラＹＣ処理部１４０と、圧縮記録部１５０と、バッファメモリ１６０と、センサ駆動部１７０と、レンズ駆動部１８０と、画像認識部１９０と、ＣＰＵ４００とを備える。
まず、上記構成を有する撮像装置３００における静止画の単写シーケンスについて説明する。
図２７に示されるように、静止画撮影モードで起動中に、シャッターボタン半押し等のレリーズＳＷ１をＯＮする（Ｓ５１）。これにより、画枠合わせのための所謂ファインダモードとして動画＆ＡＦ撮像モードが起動する（Ｓ５２）。動画＆ＡＦ撮像モードでは、全体行の中の一部を２行単位で、位相差ＡＦ行として画素混合に関わる行は全て選択する。そして、当該選択行に属する単位画素セルおいて光学レンズ１１０を介して、イメージセンサ１上に瞳分割され各々の受光部に結像された光学像に対応した信号を、非加算のモードで独立に読み出す。一方、位相差ＡＦ行として指定されない行の信号は、主画像行としてイメージセンサ１の加算部を用いて、１つのマイクロレンズ１２内の２つの受光部の信号を加算する。
図２９は、第３の実施形態に係る動画＆ＡＦ撮像モードでの動画画素混合の処理内容を説明する概念図である。図２９の左図は、１つのマイクロレンズ１２内での受光部の信号加算イメージを表している。また、図２９の中央図は、イメージセンサ１内で１つのマイクロレンズ１２を１画素単位とした動画撮像の同色画素の行間混合後のイメージセンサ出力信号の模式図である。また図２９の右図は、位相差ＡＦ行のアドレスにおける主画像の復元を説明した模式図である。
図２９の例では、位相差ＡＦ行として第５行〜第８行を指定しており、左図に示されるように、第５行〜第８行では、１つのマイクロレンズ１２内での受光部単位で信号を独立にイメージセンサ１から出力する。また、主画像行として第１行〜第４行、及び、第９行〜第１２行を指定しており、左図に示されるように、第１行〜第４行、及び、第９行〜第１２行では、１つのマイクロレンズ１２内での受光部信号を水平方向に加算してイメージセンサ１から出力する。
画素混合動画の駆動では、中央図に示されるように、第１行の信号と第３行の信号とを混合して第２行の信号として出力する。また、第２行の信号と第４行の信号とを混合して第３行の信号として出力する。また、第５行の信号と第７行の信号とを混合して第６行の信号として出力する。また、第６行の信号と第８行の信号とを混合して第７行の信号として出力する。
ここで、位相差ＡＦ行は他の行に対して、２倍の信号を出力するため、一行の出力時間は主画像行の２倍の時間を要する。しかし、位相差ＡＦ行の指定は２０行以下程度であるので、増加分は１０行以下程度となり、垂直ブランキング期間にて吸収可能であり、１フレームの時間の増加を招くものではない。
位相差ＡＦ行である第５行〜第８行では、イメージセンサ動画出力として中央図の第６行及び第７行へ位相差ＲＡＷデータ信号として出力し、以下の処理を施す。
光学レンズ１１０の位相差情報を含む位相差ＲＡＷデータ出力信号は、図２８に示されるＲＡＷデータ選択部２２１で選択され、位相差検出部１３０に位相差ＲＡＷデータ信号としてスルー出力され、位相差検出部１３０で焦点検出される。位相差検出部１３０では、図９に示された位相差検出部１３０の構成の通り、瞳面左右選択部１３１により左右の瞳面に対応する信号を選択分離し、位相差検出を行うため、カラーキャリア抑圧部１３２にてカラーキャリアを落とすＬＰＦ処理を施す。そして、左右信号位相差検出部１３３にて位相差検出し、その検出結果に基づいて、ＣＰＵ＿Ｉ／Ｆ部１３４を介して、ＣＰＵバスにてＣＰＵ４００と通信を行う。位相差検出部１３０の動作詳細は、図１０に示される通りであり、左右の瞳面の信号を選択分離し、各々についてカラーキャリアを抑圧するために、左右各々のベイヤー配列のＲＧＧＢの信号を加算し、左右各々の位相差検出信号を取得する。
このとき、位相差ＡＦ行を２行単位で選択しているので、上下に隣接するＲＧ行とＧＢ行が選択でき、主画像のＲＧＢベイヤー配列を崩すことなく、ＲＧＢ成分の全てを含む信号で位相差検出が可能となる。
一方、図２９における２受光部を加算した主画像ＲＡＷデータ出力信号は、ＲＡＷデータ選択部２２１で選択される。そして、第１行及び第３行ではＲ（１＋３）ａとＲ（１＋３）ｂとがイメージセンサ１内で加算されたものが、主画像信号加算部選択スイッチ３２６の上側を選択しそのまま主画像ＲＡＷデータ信号として出力される。
また、上記位相差ＲＡＷデータ信号は、ＲＡＷデータ選択部２２１で選択され、Ｒ（５＋７）ａは、一旦バッファメモリに格納され、主画像信号加算部３２９でＲ（５＋７）ｂと加算される。同様に、次行もＧ（６＋８）ａは、一旦バッファメモリに格納され、主画像信号加算部３２９でＧ（６＋８）ｂと加算される。このとき、主画像信号加算部選択スイッチ３２６の下側を選択し、主画像ＲＡＷデータ信号として出力される。
以上の一連の動作で、動画用主画像ＲＡＷデータが全て作成され、カメラＹＣ処理部１４０へ出力されることとなる。
次に、位相差検出結果情報を得たＣＰＵ４００は、距離演算を施し、光学レンズ１１０のフォーカスレンズを、適切な位置へとレンズ駆動部１８０を介して駆動することで、ＡＦ合焦動作が一旦完了する（Ｓ５３）。
なお、上記動画用主画像ＲＡＷデータを動画データとして直接用いることも可能である。
図３０は、第３の実施形態に係る撮像装置の動画を記録する動作フローチャートである。同図に示されるように、上記動画用主画像ＲＡＷデータについて動画圧縮及び記録を実施すれば、位相差ＡＦによる画質劣化を伴わない動画記録も可能となる。
次に、シャッターボタン全押し等のレリーズＳＷ２をＯＮする（Ｓ５４でｏｎ）。これにより、主画像の静止画撮像が開始される（Ｓ５５）。
主画像静止画＋ＡＦ撮像開始以降の動作詳細は、第１の実施形態と基本的に同一の動作となる。つまり、主画像撮像の蓄積期間の初期において、イメージセンサ１のリセット動作を停止して、上記ＡＦ撮像モードと同様の動作を非破壊モードで遂行する（Ｓ５６）。そして、必要であれば、取得された主画像の位相差検出結果に基づいてフォーカスモータの微調整、つまり、ＡＦ合焦点の微調整を行う（Ｓ５７）。
次に、主画像撮像の蓄積期間終了時、または、その後において主画像の読み出しを行う。主画像の読み出しは、１つのマイクロレンズ１２内の光学レンズ瞳面を左右に分割した各受光部で検出された信号がイメージセンサ１内の加算部で加算された信号をイメージセンサ１から出力することにより実行される。以上、主画像撮像モードが終了する（Ｓ５８）。
出力画素イメージは図１１に示される通りであり、１つのマイクロレンズ１２を１画素とした一般的な静止画ベイヤー配列と等価となる。
以降の撮像装置３００の動作は、一般的なベイヤー配列のデジタルカメラの動作と基本的に同じである。具体的には、主画像として出力された主画像ＲＡＷデータは、図２６に示されるＲＡＷデータ選択＆信号加算部３２０で選択される。そして、カメラＹＣ処理部１４０を介して、圧縮記録部１５０にて、ＪＰＥＧ等の画像圧縮を施され、メディアへ記録され静止画撮像動作が完了する（Ｓ５９）。
以上の撮像装置３００の動作により、位相差ＡＦ指定行に属する全ての単位画素セルが有する受光部に対応して、光学レンズ瞳面を左右独立に分割された双方の位相差信号が得られる。これにより、位相差ＡＦの焦点検出精度を向上させることが可能となる。またＲＧＢの全色成分を、焦点検出のために使用することが可能となり、焦点検出精度の被写体の色による影響を抑えることが可能となる。さらに、非破壊読み出しを利用して、主画像信号電荷の蓄積期間中に焦点検出が可能となり、被写体の変動に対するＡＦの信頼性を高めることが可能となる。
また、上記一連の動作の中で、動画及び静止画で位相差ＡＦ行の指定を変更する。つまり、マイクロレンズ１２を一単位として、ＲＡＷデータ選択＆信号加算部３２０がマイクロレンズ１２ごとの全加算信号を出力する静止画撮像モードと、ＲＡＷデータ選択＆信号加算部３２０が全加算信号を上記一単位間で加算して出力する、及び、全加算信号が上記一単位で間引きされて出力する動画撮像モードとに応じて、非加算独立信号を生成すべき受光部の行列指定を変更する。これにより、像面位相差ＡＦ機能を活用しながら、動画及び静止画共に、位相差ＡＦ機能設置による画質劣化を全く伴わない画像信号出力が可能となる。
（まとめ）
以上、本開示の撮像装置及び固体撮像装置によれば、像面位相差ＡＦ動作において、折り返しノイズによる誤動作を回避し、レンズ瞳面を複数に分割した光線束の一つのマイクロレンズ内の複数の受光部信号を同一フレームで取得可能となる。これにより、像面位相差ＡＦの精度を大幅に向上させることが可能となる。さらに位相差ＲＡＷデータとしてイメージセンサから出力した信号も、同一フレームで焦点検出を行いながら、後段の信号処理の信号加算部で完全な主画像の画像情報の復元が可能となる。これにより、全く画質劣化を伴わない像面位相差ＡＦを用いた連写撮像及び動画撮像が可能となる。また、動画モード等における画素行の間引き読み出しや同色画素の行間の加算読み出し時に、必要な行を位相差ＲＡＷデータ出力指定行に設定可能となる。これにより、静止画モードと位相差ＲＡＷデータ出力指定行を適宜変更することで、像面位相差ＡＦ機能搭載カメラにおける画質劣化を伴わない静止画・動画の完全切り替え対応が可能となる。
また、本開示の撮像装置及び固体撮像装置によれば、焦点調節用の信号である部分加算信号及び非加算独立信号を出力する位相差行と、画像データ生成用の信号を出力する主画像行とを有する固体撮像装置において、従来の所定混合手順上では、当該固体撮像装置から複数の画素行同士の出力を所定混合手順に則って混合出力する際に、位相差行と混合されるべき特定の主画像行の出力に対して、当該特定の主画像行の出力と、当該特定の主画像行の周囲の主画像行同士の混合出力とを用いて補間処理する場合の問題が解決する。
すなわち、イメージセンサ製造に用いられる半導体プロセスにおいて、フォトマスクで焦点調節用の信号を出力する複数の第１画素と画像データ生成用の信号を出力する複数の第２画素を作り分けることがなく、像面位相差ＡＦのアドレスを任意設定することが可能となる。さらに、上記第１画素からは瞳面の一部の光束がフォトマスクによって遮光されており、本来の信号から上記遮光分が欠落するために、正しい画像データ生成用の信号を出力することが可能となる。さらに、周辺画素の情報から画像データの補間がなく、画質劣化を防ぐことが可能となる。さらに、複数の画素行同士の出力を、所定混合手順にのっとって混合出力する動画撮像モード時において、位相差ＡＦ動作を行う場合は、該位相差ＡＦ画素アドレスの主画像の補間には、一層離れた第２画素行同士の混合による補間を余儀されることがない。よって、補間による画質劣化をより一層防ぐことが出来る。
また、フォトマスクによって受光部の開口形状が作成されることで画素により水平方向検出画素か垂直方向検出画素かが予め決定されるようなことがないので、全ての任意画素で水平垂直方向の位相差検出が可能である。
また、１絵素４画素構成において、例えば、３画素が水平方向検出に使用され、１画素が垂直方向検出に使用されるような、垂直位相差検出精度が水平位相差検出精度より劣る課題を防止することが出来る。
また、ＡＦ撮像と本撮像とを共用できるので、本撮像が連続する高速連写や動画にも像面位相差ＡＦ機能を使用できる。
以上、本発明の撮像装置及びこれに搭載される固体撮像装置について、実施形態に基づいて説明してきたが、本発明に係る撮像装置及び固体撮像装置は、上記実施形態に限定されるものではない。上記実施形態における任意の構成要素を組み合わせて実現される別の実施形態や、上記実施形態に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本発明に係る撮像装置又は固体撮像装置を内蔵した各種機器も本発明に含まれる。
本発明は、画質劣化を全く伴わずに、高速で高精度な像面位相差ＡＦ機能を提供でき、特にデジタルカメラ等の撮像装置に有効である。
１、２ イメージセンサ
３ ゲート電極
４ アドレストランジスタ
５ 増幅トランジスタ
６ リセットトランジスタ
８ 光電変換膜
９ 透明電極
１０ 蓄積ダイオード
１１ カラーフィルタ
１２ マイクロレンズ
１３ 行選択手段
１４ 垂直信号線
１５ Ａ／Ｄ変換器
１６ 列選択手段
１７ 加算部
１８ 負荷手段
１９ 透明電極電源
２０ ソースフォロア電源
２１ バッファメモリ
２２ 垂直加算部
２３ 垂直加算信号選択スイッチ
２４ 水平加算部
３１ ｐ型シリコン基板
３２ ｎ型ソースドレイン拡散層
４１ レンズ瞳面
７１、７２、７３、７４ 受光部電極
１００、２００、３００ 撮像装置
１１０ 光学レンズ
１２０ ＲＡＷデータ選択部
１３０ 位相差検出部
１３１ 瞳面左右選択部
１３２ カラーキャリア抑圧部
１３３ 左右信号位相差検出部
１３４、２２３ ＣＰＵ＿Ｉ／Ｆ部
１４０ カメラＹＣ処理部
１５０ 圧縮記録部
１６０ バッファメモリ
１７０ センサ駆動部
１８０ レンズ駆動部
１９０ 画像認識部
２２０、３２０ ＲＡＷデータ選択＆信号加算部
２２１ ＲＡＷデータ選択部
２２２、３２２ 信号加算部
２２４ ＲＡＷデータ振り分けスイッチ
２２５ ２受光部垂直加算信号選択スイッチ
２２６ 主画像ＲＡＷデータ選択スイッチ
２２７ 水平位相差ＲＡＷデータ選択スイッチ
２２８ 垂直位相差ＲＡＷデータ選択スイッチ
２２９、３２９ 主画像信号加算部
２３０ 水平位相差信号加算部
２３１ 垂直位相差信号加算部
３２６ 主画像信号加算部選択スイッチ
４００ ＣＰＵ
４２１、４２２、４２３、４２４ 瞳面領域

Claims (14)

  1. 被写体からの光を光学的に結像させる光学レンズと、
    基板上に二次元状に配列され、前記光学レンズを通過した前記光を受光して光電変換信号に変換し、当該光電変換信号が非破壊読出し方式により個別に読み出される複数の受光部と、
    前記複数の受光部のうち隣接する２以上の受光部ごとに、かつ、当該２以上の受光部の上方に配置されたマイクロレンズと、
    前記複数の受光部から前記光電変換信号を個別に読み出し、１つの前記マイクロレンズに対応した前記２以上の受光部で所定の１フレーム内に変換された前記光電変換信号の各々が全て加算された全加算信号、前記２以上の受光部のうち一部の受光部の前記光電変換信号が加算された部分加算信号、及び、独立した非加算独立信号を生成する信号生成部と、
    前記部分加算信号及び前記非加算独立信号から前記２以上の受光部間で発生する位相差に基づいて位相差焦点検出を行う位相差検出部と、
    前記全加算信号から主画像の生成を行うＹＣ処理部とを備える
    撮像装置。
  2. 前記受光部は、前記基板の上方、かつ、前記マイクロレンズの下方に光電変換膜を備える
    請求項１に記載の撮像装置。
  3. 前記撮像装置は、イメージセンサと、当該イメージセンサから出力された画素信号を処理する信号処理回路とで構成され、
    前記イメージセンサは、
    前記複数の受光部と、
    前記複数の受光部から前記信号生成部への読み出し順序を選択的に制御する選択回路と、
    前記信号生成部とを備え、
    信号処理回路は、
    前記位相差検出部と、
    前記ＹＣ処理部とを備える
    請求項１または２に記載の撮像装置。
  4. 前記信号生成部は、
    前記複数の受光部のそれぞれにおいて受光により生成される電荷がリセットされずに連続して蓄積される期間である電荷蓄積期間の初期に、前記部分加算信号及び前記非加算独立信号を、非破壊モードで前記位相差検出部へ出力し、
    前記電荷蓄積期間の終了時及びその後に、前記全加算信号を前記ＹＣ処理部へ出力する
    請求項１に記載の撮像装置。
  5. 前記信号生成部は、
    前記部分加算信号及び前記非加算独立信号と前記全加算信号とのいずれかを選択する信号選択部と、
    前記信号選択部で選択された前記部分加算信号及び前記非加算独立信号に対して、同一の前記マイクロレンズに対応した前記２以上の受光部で変換された前記光電変換信号を加算して生成した部分加算信号を前記位相差検出部に出力し、同一の前記マイクロレンズに対応した前記２以上の受光部で変換された前記光電変換信号を加算して生成した全加算信号を前記ＹＣ処理部に出力する信号加算部とを備える
    請求項１または２に記載の撮像装置。
  6. 前記マイクロレンズは、前記複数の受光部のうち隣接する２つの受光部ごとに、かつ、当該２つの受光部の上方に配置され、
    前記信号生成部は、１つの前記マイクロレンズに対応した前記２つの受光部で前記所定の１フレーム内に変換された前記光電変換信号が加算された加算信号及び独立した非加算独立信号を生成し、
    前記撮像装置は、さらに、
    前記加算信号及び前記非加算独立信号の出力タイミングを行または列単位で設定するセンサ駆動部を備え、
    前記位相差検出部は、前記非加算独立信号から前記焦点検出をし、
    前記ＹＣ処理部は、前記加算信号から主画像の生成を行う
    請求項３に記載の撮像装置。
  7. 前記信号生成部は、
    前記複数の受光部のそれぞれにおいて受光により生成される電荷がリセットされずに連続して蓄積される期間である電荷蓄積期間の初期に、前記非加算独立信号を非破壊モードで前記位相差検出部へ出力し、
    前記電荷蓄積期間の終了時及びその後に、前記加算信号を前記ＹＣ処理部へ出力する
    請求項６に記載の撮像装置。
  8. １つの前記マイクロレンズに対応した２つの受光部は、前記非加算独立信号を生成すべき受光部として行指定される場合には、水平方向に並んで配置され、前記行指定された行に属する受光部の前記光電変換信号は前記信号生成部において水平加算を行い、
    １つの前記マイクロレンズに対応した前記２つの受光部は、前記非加算独立信号を生成すべき受光部として列指定される場合には、垂直方向に並んで配置され、前記列指定された列に属する受光部の前記光電変換信号は前記信号生成部において垂直加算を行う
    請求項６または７に記載の撮像装置。
  9. 前記マイクロレンズは、前記複数の受光部のうち隣接する２行×２列の４つの受光部ごとに、かつ、当該４つの受光部の上方に配置され、
    前記部分加算信号及び前記非加算独立信号を生成すべき受光部として列指定される場合には、当該列に属する受光部の前記光電変換信号は前記信号生成部において水平加算を行い、
    前記部分加算信号及び前記非加算独立信号を生成すべき受光部として行指定される場合には、当該行に属する受光部の前記光電変換信号は前記信号生成部において垂直加算を行い、
    前記部分加算信号及び前記非加算独立信号を生成すべき受光部として行及び列の双方が指定される場合には、当該行列に属する受光部の前記光電変換信号は独立読み出しする
    請求項１〜５のいずれか１項に記載の撮像装置。
  10. １つの前記マイクロレンズに対応した受光部には、同色のカラーフィルタが配置されている
    請求項１〜９のいずれか１項に記載の撮像装置。
  11. 前記カラーフィルタは、ＲＧＢベイヤー配列で配置されている
    請求項１０に記載の撮像装置。
  12. 前記部分加算信号及び前記非加算独立信号を生成すべき受光部として行指定または列指定される場合には、前記マイクロレンズを一単位とした行列において、それぞれ、２行単位または２列単位で指定される
    請求項１１に記載の撮像装置。
  13. 前記マイクロレンズを一単位として、前記信号生成部が前記マイクロレンズごとの前記全加算信号を出力する静止画撮像モードと、前記信号生成部が前記全加算信号を前記一単位間で加算して出力する、及び、前記全加算信号が前記一単位で間引きされて出力する動画撮像モードとに応じて、前記部分加算信号及び前記非加算独立信号を生成すべき受光部の行列指定を変更する
    請求項１〜１２のいずれか１項に記載の撮像装置。
  14. 基板上に二次元状に配列され、被写体からの光を光学的に結像させる光学レンズを通過した前記光を受光して光電変換信号に変換し、当該光電変換信号が非破壊読出し方式により個別に読み出される複数の受光部と、
    前記複数の受光部のうち隣接する２以上の受光部ごとに、かつ、当該２以上の受光部の上方に配置されたマイクロレンズと、
    前記複数の受光部から前記光電変換信号を個別に読み出し、１つの前記マイクロレンズに対応した前記２以上の受光部で所定の１フレーム内に変換された前記光電変換信号の各々が全て加算された全加算信号、前記２以上の受光部のうち一部の受光部の前記光電変換信号が加算された部分加算信号、及び、独立した非加算独立信号を生成する信号生成部と、
    前記複数の受光部から前記信号生成部への前記光電変換信号の読み出し順序を選択的に制御する選択回路とを備える
    固体撮像装置。
JP2014524185A 2013-01-30 2013-12-26 撮像装置及び固体撮像装置 Active JP6264616B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013016062 2013-01-30
JP2013016062 2013-01-30
PCT/JP2013/007652 WO2014118868A1 (ja) 2013-01-30 2013-12-26 撮像装置及び固体撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017234609A Division JP2018067944A (ja) 2013-01-30 2017-12-06 撮像装置及び固体撮像装置

Publications (2)

Publication Number Publication Date
JPWO2014118868A1 true JPWO2014118868A1 (ja) 2017-01-26
JP6264616B2 JP6264616B2 (ja) 2018-01-24

Family

ID=51261618

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014524185A Active JP6264616B2 (ja) 2013-01-30 2013-12-26 撮像装置及び固体撮像装置
JP2017234609A Pending JP2018067944A (ja) 2013-01-30 2017-12-06 撮像装置及び固体撮像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017234609A Pending JP2018067944A (ja) 2013-01-30 2017-12-06 撮像装置及び固体撮像装置

Country Status (3)

Country Link
US (1) US9288382B2 (ja)
JP (2) JP6264616B2 (ja)
WO (1) WO2014118868A1 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6274788B2 (ja) * 2013-08-28 2018-02-07 キヤノン株式会社 撮像装置、撮像システム及び撮像装置の駆動方法
KR102170627B1 (ko) * 2014-01-08 2020-10-27 삼성전자주식회사 이미지 센서
JP6341675B2 (ja) * 2014-01-29 2018-06-13 キヤノン株式会社 固体撮像装置及びその駆動方法並びにそれを用いた撮像システム
JP6408372B2 (ja) * 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US9432568B2 (en) * 2014-06-30 2016-08-30 Semiconductor Components Industries, Llc Pixel arrangements for image sensors with phase detection pixels
JP6682175B2 (ja) * 2014-07-31 2020-04-15 キヤノン株式会社 固体撮像素子および撮像システム
JP2016058559A (ja) 2014-09-10 2016-04-21 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
JP6587380B2 (ja) * 2014-09-12 2019-10-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP6525539B2 (ja) * 2014-10-08 2019-06-05 キヤノン株式会社 撮像素子及び撮像装置
KR20160071203A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 이미지 신호 프로세서, 이의 작동 방법, 및 이를 포함하는 모바일 컴퓨팅 장치
JP6218799B2 (ja) * 2015-01-05 2017-10-25 キヤノン株式会社 撮像素子及び撮像装置
KR102363433B1 (ko) * 2015-01-15 2022-02-16 삼성전자주식회사 이미지 센서
JP6571939B2 (ja) * 2015-01-26 2019-09-04 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6425571B2 (ja) * 2015-02-02 2018-11-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6557499B2 (ja) * 2015-04-09 2019-08-07 キヤノン株式会社 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
JP6595797B2 (ja) * 2015-05-12 2019-10-23 キヤノン株式会社 撮像装置およびその制御方法
JP6467289B2 (ja) * 2015-05-21 2019-02-13 キヤノン株式会社 撮像装置およびその制御方法
JP6355595B2 (ja) * 2015-06-02 2018-07-11 キヤノン株式会社 撮像素子、撮像装置、撮像素子の制御方法、プログラムおよび記憶媒体
JP6412826B2 (ja) * 2015-06-04 2018-10-24 オリンパス株式会社 撮像装置
WO2016208416A1 (ja) * 2015-06-26 2016-12-29 ソニー株式会社 固体撮像装置および電子機器
KR102374112B1 (ko) * 2015-07-15 2022-03-14 삼성전자주식회사 오토 포커싱 픽셀을 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 시스템
KR102362138B1 (ko) 2015-07-23 2022-02-14 삼성전자주식회사 이미지 센서 모듈 및 그것을 포함하는 이미지 센서 장치
KR102390836B1 (ko) * 2015-10-05 2022-04-26 삼성전자주식회사 이미지 데이터를 생성하는 전자 장치 및 방법
JPWO2017119477A1 (ja) * 2016-01-08 2018-11-22 株式会社ニコン 撮像素子および撮像装置
JP6727814B2 (ja) * 2016-01-14 2020-07-22 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP2017194558A (ja) * 2016-04-20 2017-10-26 オリンパス株式会社 撮像装置および撮像方法
JP2018004689A (ja) * 2016-06-27 2018-01-11 キヤノン株式会社 画像処理装置および方法、および撮像装置
US10326925B2 (en) * 2016-08-10 2019-06-18 Canon Kabushiki Kaisha Control apparatus for performing focus detection, image capturing apparatus, control method, and non-transitory computer-readable storage medium
US10542202B2 (en) * 2016-08-24 2020-01-21 Canon Kabushiki Kaisha Control apparatus that performs focusing by imaging-plane phase difference AF, image capturing apparatus, control method, and non-transitory computer-readable storage medium
JP6741549B2 (ja) * 2016-10-14 2020-08-19 キヤノン株式会社 撮像装置及びその制御方法
JP2018072390A (ja) * 2016-10-24 2018-05-10 オリンパス株式会社 撮像装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106507069B (zh) 2016-11-29 2018-06-05 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106507019B (zh) 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置
JP2018107734A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 撮像装置、および、カメラ
JP6847669B2 (ja) * 2017-01-10 2021-03-24 オリンパス株式会社 撮像装置、撮像方法
JP6953163B2 (ja) * 2017-04-04 2021-10-27 キヤノン株式会社 撮像装置および制御方法
JP6987524B2 (ja) * 2017-04-24 2022-01-05 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP6929752B2 (ja) * 2017-10-11 2021-09-01 オリンパス株式会社 焦点検出装置及び焦点検出方法
US10847555B2 (en) * 2017-10-16 2020-11-24 Panasonic Intellectual Property Management Co., Ltd. Imaging device with microlens having particular focal point
US10687005B2 (en) 2017-12-13 2020-06-16 Analog Devices Global Unlimited Company Analog-to-digital converters for phase-detection autofocus image sensors
EP3623840A1 (en) * 2018-09-13 2020-03-18 IDT Inc. Optical sensor, particularly hybrid analog-digital optical sensor array
KR20200117729A (ko) 2019-04-05 2020-10-14 삼성전자주식회사 이미지 센서
EP3993400A4 (en) 2019-06-25 2022-08-03 Sony Semiconductor Solutions Corporation SOLID-STATE IMAGING DEVICE AND ELECTRONIC APPARATUS
KR20210047738A (ko) 2019-10-22 2021-04-30 삼성전자주식회사 복수의 af 픽셀 그룹들을 포함하는 이미지 센서
KR20230006343A (ko) * 2021-07-02 2023-01-10 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946596A (ja) * 1995-08-02 1997-02-14 Canon Inc 固体撮像装置と画像撮像装置
JP2002101341A (ja) * 2000-09-26 2002-04-05 Canon Inc 撮像装置及び撮像システム
JP2012128248A (ja) * 2010-12-16 2012-07-05 Nikon Corp 撮像装置
JP2013068759A (ja) * 2011-09-22 2013-04-18 Canon Inc 撮像装置およびその制御方法
JP2013090160A (ja) * 2011-10-18 2013-05-13 Canon Inc 撮像素子及び撮像装置
US20150264335A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
US6750437B2 (en) 2000-08-28 2004-06-15 Canon Kabushiki Kaisha Image pickup apparatus that suitably adjusts a focus
JP2007065330A (ja) 2005-08-31 2007-03-15 Canon Inc カメラ
JP4766133B2 (ja) * 2009-03-11 2011-09-07 株式会社ニコン 撮像装置
JP5744545B2 (ja) * 2011-01-31 2015-07-08 キヤノン株式会社 固体撮像装置およびカメラ
JP5743837B2 (ja) * 2011-10-07 2015-07-01 キヤノン株式会社 光電変換装置、撮像装置および撮像システム
JP6172888B2 (ja) * 2012-01-18 2017-08-02 キヤノン株式会社 撮像装置および撮像システム
JP5893572B2 (ja) * 2012-03-01 2016-03-23 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP5968102B2 (ja) * 2012-06-15 2016-08-10 キヤノン株式会社 画像記録装置および画像再生装置
JP6231741B2 (ja) * 2012-12-10 2017-11-15 キヤノン株式会社 固体撮像装置およびその製造方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946596A (ja) * 1995-08-02 1997-02-14 Canon Inc 固体撮像装置と画像撮像装置
JP2002101341A (ja) * 2000-09-26 2002-04-05 Canon Inc 撮像装置及び撮像システム
JP2012128248A (ja) * 2010-12-16 2012-07-05 Nikon Corp 撮像装置
JP2013068759A (ja) * 2011-09-22 2013-04-18 Canon Inc 撮像装置およびその制御方法
JP2013090160A (ja) * 2011-10-18 2013-05-13 Canon Inc 撮像素子及び撮像装置
US20150264335A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information

Also Published As

Publication number Publication date
US20150009383A1 (en) 2015-01-08
WO2014118868A1 (ja) 2014-08-07
JP2018067944A (ja) 2018-04-26
JP6264616B2 (ja) 2018-01-24
US9288382B2 (en) 2016-03-15

Similar Documents

Publication Publication Date Title
JP6264616B2 (ja) 撮像装置及び固体撮像装置
US11719908B2 (en) Image sensor and image capturing apparatus
US11493729B2 (en) Image sensor capable of reducing readout time and image capturing apparatus
JP6039165B2 (ja) 撮像素子及び撮像装置
US9025074B2 (en) Image capturing apparatus and method for controlling the same
JP5979849B2 (ja) 撮像素子及び撮像装置
US9277113B2 (en) Image pickup apparatus and driving method therefor
JP6238657B2 (ja) 画像処理装置及びその制御方法
JP6071333B2 (ja) 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置
US20160353043A1 (en) Image sensor and image apparatus
US10225494B2 (en) Image capturing apparatus and control method thereof
JP2021182763A (ja) 撮像素子及び撮像装置
JP6860390B2 (ja) 撮像素子及びその制御方法、撮像装置、焦点検出装置及び方法
JP2015165280A (ja) 撮像装置およびその制御方法
JP2017216649A (ja) 撮像素子、撮像装置、および撮像信号処理方法
JP2018078609A (ja) 撮像素子及び撮像装置
JP5058840B2 (ja) 撮像装置
JP7329136B2 (ja) 撮像装置
US10904424B2 (en) Image capturing apparatus
JP2017208651A (ja) 撮像装置
JP5175783B2 (ja) 撮像装置及び撮像装置の駆動方法
JP2016032207A (ja) 撮像装置
JP2015005880A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171206

R151 Written notification of patent or utility model registration

Ref document number: 6264616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151