JP6522919B2 - 撮像素子、撮像装置 - Google Patents

撮像素子、撮像装置 Download PDF

Info

Publication number
JP6522919B2
JP6522919B2 JP2014210910A JP2014210910A JP6522919B2 JP 6522919 B2 JP6522919 B2 JP 6522919B2 JP 2014210910 A JP2014210910 A JP 2014210910A JP 2014210910 A JP2014210910 A JP 2014210910A JP 6522919 B2 JP6522919 B2 JP 6522919B2
Authority
JP
Japan
Prior art keywords
pixel
unit
pixel signal
image
focus detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014210910A
Other languages
English (en)
Other versions
JP2016082354A (ja
Inventor
義尚 島田
義尚 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014210910A priority Critical patent/JP6522919B2/ja
Priority to US14/876,389 priority patent/US9628733B2/en
Priority to CN201510662546.8A priority patent/CN105530427B/zh
Publication of JP2016082354A publication Critical patent/JP2016082354A/ja
Application granted granted Critical
Publication of JP6522919B2 publication Critical patent/JP6522919B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/124Sampling or signal conditioning arrangements specially adapted for A/D converters
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/34Analogue value compared with reference values
    • H03M1/38Analogue value compared with reference values sequentially only, e.g. successive approximation type
    • H03M1/46Analogue value compared with reference values sequentially only, e.g. successive approximation type with digital/analogue converter for supplying reference values to converter
    • H03M1/466Analogue value compared with reference values sequentially only, e.g. successive approximation type with digital/analogue converter for supplying reference values to converter using switched capacitors
    • H03M1/468Analogue value compared with reference values sequentially only, e.g. successive approximation type with digital/analogue converter for supplying reference values to converter using switched capacitors in which the input S/H circuit is merged with the feedback DAC array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、画素が行列状に配置され、画像用の画素信号と焦点検出用の画素信号とを生成する撮像素子、撮像装置に関する。
近年、画素が行列状に配置され、画像用の画素信号と焦点検出用の画素信号とを生成する撮像素子が提案されている。こうした撮像素子は、例えば、行列状に配置した画像用画素の中に焦点検出用画素を離散的に配置した構成、あるいは1つの画素中に複数のフォトダイオードを設けて1つの画素から画像用の画素信号と焦点検出用の画素信号との両方を得ることができる構成などが知られている。
また、静止画像は高解像度の画像が求められるのに対して、動画像は一定の解像度(一定の画素数)の画像を例えば30fpsあるいは60fpsといったフレームレートで取得することが求められている。このために、動画像取得時等には、画素加算を行って読み出す画素数を減らすことで、読み出しに要する時間を低減し、フレームレートの向上を図ることが行われている。
そして、焦点検出用画素を備える撮像素子においても、画素加算を行う技術が提案されている。
例えば、特開2010−20055号公報には、撮像素子内の複数の画素の出力を加算して読み出す加算読み出しモードにおいて、加算対象画素群が撮像用画素のみである場合は加算し、加算対象画素群に焦点検出用画素が含まれる場合には撮像用画素群の信号と焦点検出用画素の信号とが混合しないように読み出す加算読み出しモードを有する撮像装置が記載されている。
また、特開2013−110607号公報には、マイクロレンズを有する画素と、画素毎に配置された複数の光電変換領域と、画素毎に配置された光電変換領域の信号を加算する加算手段と、を有する撮像素子において、複数の画素が水平方向および垂直方向に2次元的に配置され、複数の画素の内、光電変換領域の信号を加算手段によって加算した信号を出力する加算読出領域と、光電変換領域の信号を加算手段によって加算しないで出力する独立読出領域とを設定し、加算読出領域と独立読出領域の水平方向の画素数を同一とする技術が記載されている。
従来より行われている画素加算について、本発明の実施形態に係る図5、図7〜図9を参照して説明する。
まず、フォトダイオードを有する画素が行列状に配列された画素部21の構成が、例えば図7に示すように、基本的に原色ベイヤー配列(ここに、左上から右下への斜め線ハッチングは緑画素を、縦線ハッチングは赤画素を、横線ハッチングは青画素を、それぞれ示す)であり、その中に離散的に焦点検出用画素R,L,T,Bが配置されているものとする。また、図5に示すように、画素部21から読み出したアナログの画素信号をそれぞれ記憶するアナログのメモリ部22を備え、メモリ部22から画素信号を行毎に読み出して、列並列型AD変換器25で1行内の複数の画素信号を同時にデジタル信号に変換するものとする。
図8はV2/2H2/2加算、図9はV1/5H3/3加算の例を示している。ここに、画素加算は同色の画素信号同士で行われ、Vは垂直方向、Hは水平方向を示し、分母が配列における同色何画素毎かを、分子が加算画素数を、それぞれ示している。
図8に示すV2/2H2/2加算の場合には、全画素の同色の画素信号同士が垂直方向および水平方向に2×2画素加算され、列並列型AD変換器25によりデジタル信号に変換される。
図9に示すV1/5H3/3加算の場合には、5行に1行の割合で画素信号が列並列型AD変換器25によりデジタル信号に変換され、デジタル信号に変換された同色の画素信号同士が水平方向に3画素加算される。
ところで、画像のフレームレートには列並列型AD変換器25の動作回数が大きな影響を及ぼし、大まかにいって、画像を読み出すのに要する時間は列並列型AD変換器25の動作回数に比例する。
すると、V2/2H2/2加算の場合には、全画素読み出しの場合と同一レベルの読出時間がかかるのに対して、V1/5H3/3加算の場合には、全画素読み出しやV2/2H2/2加算の場合の約1/5の読み出し時間で済むことになるために、フレームレートを概略5倍に上げることが可能である。
特開2010−20055号公報 特開2013−110607号公報
しかし、例えばV1/5H3/3加算の場合には、5行毎に4行(図9において灰色に塗りつぶした行)がデジタル信号に変換されないために、変換されなかった行に含まれる焦点検出用画素信号を焦点検出に用いることができず、図9に示す例では焦点検出用画素Rの信号のみしか得られないために焦点検出を行うことができない。従って、例えば動画像の取得とは別途のフレームで焦点検出用画素信号の取得を行わなければならず、フレームレートを概略5倍に上げる利点を享受することができなかった。
本発明は上記事情に鑑みてなされたものであり、画像の読出時間を有効に短縮しながら、焦点検出用画素信号も読み出して焦点検出を可能とする撮像素子、撮像装置を提供することを目的としている。
本発明のある態様による撮像素子は、画素が行列状に配置されており、隣接する複数の上記画素を単位画素と見なしたときにさらに該単位画素が行列状に配置されていて、画像用の画素信号と、位相差検出による焦点検出用の画素信号と、を生成する画素部と、上記単位画素内の画素から生成される上記画像用の画素信号を少なくとも合成した画像用の画素信号を生成する画素信号合成部と、上記画素信号合成部が前段に配設されている場合には該画素信号合成部により生成された合成された上記画像用の画素信号、上記画素信号合成部が後段に配設されている場合には上記画素部から読み出された少なくとも上記画像用の画素信号、を記憶する第1アナログメモリと、上記焦点検出用の画素信号を記憶する第2アナログメモリと、上記画素信号合成部が上記第1アナログメモリの前段に配設されている場合には該第1アナログメモリから読み出された合成された画像用の画素信号、上記画素信号合成部が上記第1アナログメモリの後段に配設されている場合には該画素信号合成部により生成された合成された画像用の画素信号と、上記第2アナログメモリに記憶された上記焦点検出用の画素信号と、を画像信号として出力する画像信号出力部と、を備え、上記画素部は、上記画素信号合成部が上記第1アナログメモリの前段に配設されている場合には、上記焦点検出用の画素信号を上記画素信号合成部と上記第2アナログメモリへ出力する
本発明のある態様による撮像装置は、上記撮像素子と、上記撮像素子に光学像を結像するものであって、焦点位置を調節可能な撮像光学系と、上記撮像素子から出力された焦点検出用の画素信号に基づき、上記撮像光学系の焦点位置を調節する焦点検出制御部と、を備えている。
本発明の撮像素子、撮像装置によれば、画像の読出時間を有効に短縮しながら、焦点検出用画素信号も読み出して焦点検出を可能とすることができる。
本発明の実施形態1における撮像装置の構成を示すブロック図。 上記実施形態1における撮像素子の構成の概要を示すブロック図。 上記実施形態1において、画素部の画素から第1メモリ部のメモリピクセルへの画像用画素信号の転送の様子を示すブロック図。 上記実施形態1において、画素部の画素から第1メモリ部および第2メモリ部のメモリピクセルへの焦点検出用画素信号の転送の様子を示すブロック図。 上記実施形態1における撮像素子のより具体的な構成例を示す図。 上記実施形態1の撮像素子において基本的なグローバルシャッタ撮像動作を行ったときの各信号を示すタイミングチャート。 上記実施形態1における画素部の構成を示す図。 上記実施形態1において、第1メモリ部に記憶される画素信号の配置と、V2/2,H2/2加算読み出し時の単位画素PUの例とを示す図。 上記実施形態1において、第1メモリ部に記憶される画素信号の配置と、V1/5,H3/3加算読み出し時の単位画素PUb,PUrの例とを示す図。 上記実施形態1において、撮像素子における第1メモリ部および第2メモリ部と列並列型AD変換器の構成をより詳細に示す図。 上記実施形態1において、V2/2,H2/2加算読み出し時の第1メモリ部および第2メモリ部の画素信号の配置を示す図。 上記実施形態1において、V1/5,H3/3加算読み出し時の第1メモリ部および第2メモリ部の画素信号の配置を示す図。 上記実施形態1の撮像素子においてグローバルシャッタ撮像動作を行ったときの各信号を示す、一部拡大部分を含むタイミングチャート。 本発明の実施形態2における撮像素子の構成の概要を示すブロック図。 上記実施形態2において、画素部の画素から第1メモリ部および第2メモリ部のメモリピクセルへの画像用画素信号および焦点検出用画素信号の転送の様子を示すブロック図。 上記実施形態2において、V2/2,H2/2加算読み出し時の第1メモリ部および第2メモリ部の画素信号の配置を示す図。 上記実施形態2において、V1/5,H3/3加算読み出し時の第1メモリ部および第2メモリ部の画素信号の配置を示す図。 本発明の実施形態3における撮像素子の構成の概要を示すブロック図。 上記実施形態3における画素の構成を示す図。 上記実施形態3において、画素部の原色ベイヤーカラーフィルタ配列を示す図。 上記実施形態3において、画素部から通常の全画素読み出しを行った場合に第1メモリ部に記憶される画素信号の様子を示す図。 上記実施形態3において、画素部から全画素読み出しを行うと共に、さらに画素部から、例えば全ての緑画素に係る焦点検出用画素Rの画素信号および焦点検出用画素Lの画素信号を読み出すときのメモリ部の様子を示す図。 上記実施形態3において、AF領域を制限しながら画素部から全画素読み出しを行うときのメモリ部の様子を示す図。 上記実施形態3において、V2/2,H2/2加算読み出し時の第1メモリ部および第2メモリ部の画素信号の配置を示す図。 上記実施形態3において、V1/5,H3/3加算読み出し時の第1メモリ部および第2メモリ部の画素信号の配置を示す図。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図13は本発明の実施形態1を示したものであり、図1は撮像装置の構成を示すブロック図である。
この撮像装置は、図1に示すように、レンズ1と、撮像素子2と、画像処理部3と、AF(オートフォーカス)評価値演算部4と、表示部5と、手振検出部7と、手振補正部8と、露光制御部9と、フォーカス制御部10と、カメラ操作部11と、カメラ制御部12と、を備えている。なお、図1にはメモリカード6も記載されているが、このメモリカード6は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。
レンズ1は、被写体の光学像を撮像素子2の撮像領域に結像する撮像光学系である。このレンズ1は、焦点位置(ピント位置)を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本実施形態においては手振補正機能も備えたものとなっている。
撮像素子2は、レンズ1により結像された被写体の光学像を光電変換して画像信号として出力する。なお、本実施形態においては、撮像素子2が原色ベイヤー配列のカラーフィルタを備えたカラー撮像素子(図7参照)であるとして説明するが、もちろんその他の構成であっても構わない。そして、本実施形態の撮像素子2は、後で図7を参照して説明するように、原色ベイヤー配列の画素(画像用画素)中に、焦点検出用画素を離散的に配置して構成されている。また、撮像素子2は、レンズ1の撮影光軸に垂直な面内を移動可能に構成されていて、手振補正機能を備えたものとなっている。
画像処理部3は、撮像素子2の後述する画像用(具体的には、動画または静止画を得るための)画素から出力される画像信号に各種の画像処理を行うものである。この画像処理部3は、例えば静止画用に全画素読み出しを行う場合には、撮像素子2の後述する焦点検出用画素の画素信号を、焦点検出用画素の近傍の画像用画素の画素信号に基づいて補間演算する処理を行う。また、画像処理部3は、例えば動画用に加算読み出しを行う場合であって、画像用画素信号に加えて焦点検出用画素信号も加算する場合には、焦点検出用画素の画素開口が画像用画素よりも小さいことに起因する画素信号低下分の増幅、および非合焦位置にある焦点検出用画素に起因する画素信号変動分の補間を行う。
AF評価値演算部4は、撮像素子2から出力された画像信号に基づいてAF評価値を算出し、カメラ制御部12へ出力するものである。具体的にAF評価値演算部4は、撮像素子2の焦点検出用画素から読み出された信号に基づいて位相差を算出し、AF評価値として出力するようになっている。なお、AF評価値演算部4は、さらに、撮像素子2から出力された画像信号に基づいてコントラスト値を算出し、AF評価値として出力するものであっても構わない(つまり、位相差AFに加えて、さらにコントラストAFを行っても構わない)。
表示部5は、画像処理部3により表示用に画像処理された信号に基づき、画像を表示するものである。この表示部5は、ライブビュー表示や静止画像表示、動作再生表示等を行うとともに、この撮像装置に係る各種の情報等も表示するようになっている。
メモリカード6は、画像処理部3により記録用に画像処理された信号(静止画像信号、動画像信号など)を保存するための記録媒体である。
手振検出部7は、加速度センサや角速度センサ等を有して構成され、この撮像装置の手振れを検出してカメラ制御部12へ出力するものである。
手振補正部8は、カメラ制御部12の制御に基づいて、検出された手振れを相殺するようにレンズ1と撮像素子2との少なくとも一方を移動させ、撮像素子2の撮像領域上に結像される光学的な被写体像に手振れの影響が生じるのを軽減するものである。
露光制御部9は、カメラ制御部12により決定されたシャッタ速度(露光時間)に基づいて、該カメラ制御部12の制御の下に、撮像素子2の素子シャッタ(この素子シャッタには、グローバルシャッタやローリングシャッタが含まれている)を制御し、画像を取得させるものである。さらに、露光制御部9は、カメラ制御部12により決定された絞り値に基づいて、レンズ1に含まれる絞りの制御等も行うようになっている。ここに、シャッタ速度および絞り値は、撮像素子2から出力された画像信号に基づいて算出された測光データと、カメラ操作部11により設定された(またはカメラ制御部12により自動設定された)ISO感度と、等を用いて、例えばAPEXシステムに沿ったプログラム線図等に基づきカメラ制御部12により決定される。また、露光制御部9は、撮像素子2の駆動情報をカメラ制御部12へ出力するようになっている。
フォーカス制御部10は、焦点を調節するためにレンズ1を駆動するものである。すなわち、フォーカス制御部10は、AF評価値演算部4からAF評価値を受けたカメラ制御部12の制御に基づいて、レンズ1に含まれるフォーカスレンズを駆動し、撮像素子2に結像される被写体像が合焦に至るようにするものである。このように、AF評価値演算部4、カメラ制御部12、およびフォーカス制御部10は、撮像素子2の焦点検出用画素から読み出された信号に基づいて焦点状態を検出し制御する焦点検出制御部を構成し、本実施形態の撮像装置は焦点検出装置としての機能を備えている。また、フォーカス制御部10は、レンズ位置などのレンズ駆動情報をカメラ制御部12へ出力するようになっている。
カメラ操作部11は、この撮像装置に対する各種の操作入力を行うための操作部である。このカメラ操作部11には、撮像装置の電源をオン/オフするための電源スイッチ、静止画撮影、動画撮影などを指示入力するためのレリーズボタン、静止画撮影モードや動画撮影モード、ライブビューモードなどを設定するためのモードボタン等の操作部材が含まれている。
カメラ制御部12は、フォーカス制御部10からのレンズ駆動情報やAF評価値演算部4からのAF評価値、露光制御部9からの駆動情報、画像処理部3からの処理情報、手振検出部7からの手振情報、カメラ操作部11からの操作入力などに基づいて、画像処理部3、メモリカード6、手振補正部8、露光制御部9、フォーカス制御部10等を含むこの撮像装置全体を制御するものである。
次に、図2は、撮像素子2の構成の概要を示すブロック図である。
この撮像素子2は、画素部21と、第1メモリ部22Aおよび第2メモリ部22Bと、画素信号合成部23と、画像信号出力部24と、素子制御部26と、を備えている。
画素部21は、後述する画素31(図3〜図5等参照)が行列状に配置されており、隣接する複数の画素31を単位画素と見なしたときにさらに単位画素が行列状に配置されていて、画像用(上述したように、動画用または静止画用)の画素信号と、焦点検出用の画素信号と、を生成する。
第1メモリ部22Aは、本実施形態においては画素信号合成部23が後段に配設されており、画素部21から読み出された少なくとも画像用の画素信号を記憶する第1アナログメモリである。なお、第1メモリ部22Aは、後述する実施形態2,3においては画素信号合成部23が前段に配設されており、画素信号合成部23により生成された合成された画像用の画素信号を記憶する第1アナログメモリとなる。そして、本実施形態の第1メモリ部22Aは、さらに、画素部21から読み出された焦点検出用の画素信号も記憶するものとなっている。
第2メモリ部22Bは、画素部21から読み出された焦点検出用の画素信号を記憶する第2アナログメモリである。
なお、本実施形態においては、メモリ部22の一部が第1メモリ部22A、他の一部が第2メモリ部22Bとなっている構成例を説明するが、第1メモリ部22Aと第2メモリ部22Bとが別個に設けられている構成であっても構わない。
画素信号合成部23は、単位画素内の画素から生成される画像用の画素信号を少なくとも合成した画像用の画素信号を生成する。ここに、本実施形態の画素信号合成部23は、画像用の画素信号だけでなくさらに焦点検出用の画素信号を合成して画像用の画素信号を生成するものとなっており、第1メモリ部22Aから読み出された画素信号に基づいて合成を行う。
画像信号出力部24は、画素信号合成部23が第1メモリ部22Aの後段に配設されており、画素信号合成部23により生成された合成された画像用の画素信号と、第2メモリ部22Bに記憶された焦点検出用の画素信号と、を画像信号として出力する。
この画像信号出力部24は、各列にAD変換器であるADC33(図5、図10等参照)を配置して各列の画素信号を同時的に読み出す列並列型AD変換器25を有し、単位画素によって構成される行毎に、合成された画像用の画素信号のみが配列された画素信号群と、焦点検出用の画素信号のみが配列された画素信号群と、を直列に並べて、列並列型AD変換器25によりAD変換するようになっている。
素子制御部26は、画素部21からの画素信号の読み出し、メモリ部22からの画素信号の読み出し、画素信号合成部23による画素加算モード(例えば、後述するV2/2,H2/2加算読出モード、あるいはV1/5,H3/3加算読出モード等)、画像信号出力部24の列並列型AD変換器25に配列されている複数のADC(アナログ・デジタル・コンバータ)33(図5、図10参照)の内の、信号出力が行われないADCの動作停止、等の制御を行うものである。
図3は画素部21の画素31から第1メモリ部22Aのメモリピクセル32への画像用画素信号の転送の様子を示すブロック図である。
画素部21における画像用の画素31は、第1メモリ部22Aのメモリピクセル32に、例えば1対1に対応するように接続されていて、画像用の画素31から読み出された画像用画素信号は、対応するメモリピクセル32に記憶される。
図4は画素部21の画素31から第1メモリ部22Aおよび第2メモリ部22Bのメモリピクセル32への焦点検出用画素信号の転送の様子を示すブロック図である。
画素部21における焦点検出用の画素31は、第1メモリ部22Aのメモリピクセル32(ただし、画像用画素信号が記憶されるメモリピクセル32とは異なるメモリピクセル32)と第2メモリ部22Bのメモリピクセル32とに接続されていて、焦点検出用の画素31から読み出された焦点検出用画素信号は、第1メモリ部22Aのメモリピクセル32および第2メモリ部22Bのメモリピクセル32にそれぞれ記憶される。すなわち、ある注目する焦点検出用の画素31の出力は、第1メモリ部22Aのメモリピクセル32と第2メモリ部22Bのメモリピクセル32との2個所に転送されて記憶される。
図5は、撮像素子2のより具体的な構成例を示す図である。なお、この図5に示す各回路要素の配置は、適宜に概念化して記載されていて、実際の配置と必ずしも一致するわけではない。
画素部21は、露光量に応じた信号電荷を生成する複数の画素31が行列状に配列された撮像領域である(図7も参照)。この画素部21における画素31の、行方向の配列は「行」あるいは「ライン」などと呼ばれ、列方向の配列は「列」と呼ばれる。また、行方向は水平方向、列方向は垂直方向などとも呼ばれる。
なお、画素部21から焦点検出用の画素信号を読み出すAF領域21aは、自動設定または手動設定により所望の領域に設定可能であるが、この図5に示す例では、画素部21全体に対応する広い領域に設定されている。なお、AF領域21aの自動設定は、被写体検出等に基づいてカメラ制御部12により行われ、AF領域21aの手動設定は、カメラ操作部11を介してユーザにより行われる。従って、AF領域21aを選択する焦点検出用画素領域選択部は、自動設定時にはカメラ制御部12が対応し、手動設定時にはカメラ操作部11が対応する。
メモリ部22は、画素部21に配列された各画素31の信号電荷を一時的に蓄積する記憶部である。そして本実施形態のメモリ部22は、例えば画素部21に配列された画像用および焦点検出用の画素31と同一数かつ同一配列(同一行列数)のメモリピクセル32(図8〜図10を参照)を有する第1メモリ部22Aと、焦点検出用の画素31の画素信号を記憶する第1メモリ部22Bと、を有して構成されている。このメモリ部22は、構造としては、例えば、画素部21に対して基板厚み方向に積層された配置となっている。
上述した画像信号出力部24は、列並列型AD変換器25を備えると共に、さらに、水平信号線24aとセンスアンプ回路24bとを備えている。
上述した素子制御部26は、制御回路26aと、垂直走査回路26bと、水平読出回路26cと、DAC(デジタル・アナログ・コンバータ)26dと、を備えている。
垂直走査回路26bは、シフトレジスタ等で構成されていて、制御信号線34が行毎に接続されており、画素部21やメモリ部22への制御信号を行毎に独立して出力することができるようになっている。例えば、垂直走査回路26bは、グローバルシャッタ動作を行うときには、画素部21の全ての画素31のリセット動作を同時に終了して露光を開始させ、全ての画素31の画素信号をメモリ部22のメモリピクセル32へ一斉に転送することにより露光を終了させる。また、垂直走査回路26bは、ローリングシャッタ動作を行うときには、画素31のリセット終了による露光開始と、画素信号のメモリピクセル32への転送と、を行毎に順次行う。そして、垂直走査回路26bは、メモリ部22に配列されたメモリピクセル32を例えば行単位で読出制御する。
垂直信号線35は、全ての画素31およびメモリピクセル32の列に各対応して設けられている。
列並列型AD変換器25は、複数の垂直信号線35に各接続された複数のADC33を備えている。複数の(あるいは全ての)ADC33は同時に動作可能であるために、複数の(あるいは全ての)垂直信号線35を介して伝送されるアナログ信号が同時にデジタル信号に変換される。そして、列並列型AD変換器25は、垂直信号線35を介してメモリ部22のメモリピクセル32から列毎に出力された画素信号に対して、例えばノイズ除去や増幅等の信号処理を行い、さらに、アナログの画素信号をデジタル信号へ変換する処理を行う。
DAC26dは、制御回路26aが列並列型AD変換器25を制御するために出力するデジタル信号を、アナログ信号に変換するものである。
水平読出回路26cは、例えばシフトレジスタで構成されており、画素信号を読み出そうとする画素列に係る列並列型AD変換器25のADC33を順次選択し、列並列型AD変換器25から画素信号を順次水平信号線24aへ出力することにより画素信号を読み出すものである。
センスアンプ回路24bは、水平信号線24aへ出力された画素信号に対して増幅等の信号処理を行うものである。
制御回路26aは、露光制御部9の制御に基づいて、動作の基準となるクロック信号や、垂直同期信号VD(図13等参照)、水平同期信号HD(図13等参照)等の制御信号を生成し、上述した列並列型AD変換器25、垂直走査回路26b、水平読出回路26c、DAC26d等を制御する制御部である。この制御回路26aは、後で図10を参照して説明するように、バイアス電流制御回路36a,36bを介した撮像用読出回路40a、焦点検出用読出回路40bの垂直信号線35のバイアス電流のオン/オフと、カウンタ制御回路37a,37bを介したADC33のカウンタ33bのオン/オフと、をさらに制御するようになっている。
続いて、図6は、撮像素子2において基本的なグローバルシャッタ撮像動作を行ったときの各信号を示すタイミングチャートである。
まず、カメラ制御部12は、測光結果に基づいて、露光時間Texpを設定する。
そして、露光制御部9は、垂直同期信号VDの立ち上がりタイミングから例えば露光時間Texpだけ遡った時点で、予め行っていた撮像素子2の全画素の光電変換部(フォトダイオード)のリセット動作を、同時に終了する。このリセット終了時点から露光が開始され、光電変換部に信号電荷が蓄積されていく。この光電変換部による信号電荷の蓄積は、露光時間Texpが経過するまで行われる。
次に、露光時間Texpが経過した垂直同期信号VDの立ち上がりタイミングにおいて、全画素に蓄積されている画素信号をメモリ部22のメモリピクセル32に一斉転送する。これにより、全画素の露光が一括して(同時に)終了する。
その後に、メモリ部22から水平信号線24aへの画素信号の読み出しが、列並列型AD変換器25により複数列の画素信号を同時にAD変換しながら、1行毎に順次行われ、センスアンプ回路24bにより増幅されて出力される。
このように、画素部21からメモリ部22への画素信号の転送は一斉に行われるためにごく短い時間で終了するが、列並列型AD変換器25によるAD変換は行毎に順次行われるために(そしてAD変換自体が後述するようにクロックをカウントするという時間を要する動作であるために)、AD変換の実行回数に応じた時間を要する。こうして、画像を読み出すのに要する時間、ひいては動画のフレームレートは、大まかにいって、列並列型AD変換器25の動作回数に比例して増大するようになっている。
図7は、画素部21の構成を示す図である。
画素部21における焦点検出用画素は、一例として、この図7に示すような画素配置となっている。
画素部21に配列されている画素31には、被写体像を撮像するための画像用画素と、位相差に基づき焦点検出を行うための焦点検出用画素と、が設けられている。画像用画素群は複数の画素が行方向および列方向に配列され、焦点検出用画素群は画像用画素群内に離散的に配置されている。
本実施形態における焦点検出用画素としては、レンズ1の瞳の、右側を通過する光線を光電変換する焦点検出用画素Rと、左側を通過する光線を光電変換する焦点検出用画素Lと、上側を通過する光線を光電変換する焦点検出用画素Tと、下側を通過する光線を光電変換する焦点検出用画素Bと、がある。
これらの内の、焦点検出用画素Rで得られた画像と焦点検出用画素Lで得られた画像とに基づいて水平方向(行方向)の位相差が検出され、焦点検出用画素Tで得られた画像と焦点検出用画素Bで得られた画像とに基づいて垂直方向(列方向)の位相差が検出される。
なお、これらに限らず、右斜め方向や左斜め方向、あるいはその他の方向の位相差を検出する焦点検出用画素を設けても構わない。こうして、水平方向だけでなく、水平方向以外の方向の位相差も検出可能とすることにより、焦点検出性能の高性能化を図っている。
これらの焦点検出用画素R,L,T,Bは、画素部21内において、上述したように、行列状に配列された複数の画素31の中に離散的に複数配置されている。
具体的に、焦点検出用画素は、例えば図7に示すような基本配置パターンを画素部21内に敷き詰めることにより配置されている。なお、図7において、左上から右下への斜め線によるハッチングは画像用画素における緑画素を、縦線によるハッチングは画像用画素における赤画素を、横線によるハッチングは画像用画素における青画素を、それぞれ示している。
この図7に示す基本配置パターンにおいては、焦点検出用画素R,L,T,Bは、原色ベイヤー配列における緑画素の位置にのみ配置され、特にこの図7に示す例においては、赤画素と同じ行でかつ青画素と同じ列の緑画素の位置にのみ配置されている。そして、焦点検出用画素R,L,T,Bの何れかが4画素に1画素の割合で配置されているラインと、焦点検出用画素R,L,T,Bは何れも配置されていないラインと、が交互に存在する。
具体的に、焦点検出用画素R,L,T,Bの何れかが配置されているラインのみをライン番号順に例示すれば、焦点検出用画素Rのみが配置されているラインn、ラインnとは水平方向に2画素ずらして焦点検出用画素T,Bが交互に配置されているライン(n+2)、ライン(n+2)と水平方向の配置が同じライン(n+4)、ラインnと水平方向に同じ配置で焦点検出用画素Lのみが配置されているライン(n+6)、ライン(n+2)とは水平方向に−2画素ずらして焦点検出用画素T,Bが交互に配置されているライン(n+8)、ラインnとは水平方向に2画素ずらして焦点検出用画素Rのみが配置されているライン(n+10)、ライン(n+2)と水平方向の配置が同じライン(n+12)およびライン(n+14)、ライン(n+10)と水平方向に同じ配置で焦点検出用画素Lのみが配置されているライン(n+16)、ライン(n+8)と水平方向の配置が同じライン(n+18)、などとなっている。
こうして、図7に示す例では、2ラインに1ラインの割合、かつ水平4画素に1画素の割合で焦点検出用画素R,L,T,Bが配置されているために、全画素に占める焦点検出用画素R,L,T,Bの割合は1/8となっている。従って、例えば図7に示したような20行32列でなる640画素の内の、1/8の割合の80画素が焦点検出用画素R,L,T,Bとなっている。
図8は、第1メモリ部22Aに記憶される画素信号の配置と、V2/2,H2/2加算読み出し時の単位画素PUの例とを示す図である。
まず、図8に示す第1メモリ部22Aに転送される画素信号の配置は、図7に示した画素部21の画素配置と同一となる。
また、V2/2,H2/2加算読み出しは、次のような加算読み出しを意味している。まず、Vは画素信号の配置の垂直方向、Hは画素信号の配置の水平方向である。さらに、VまたはHに付された分数は、分母が配列における同色何画素毎かを、分子が加算画素数を、それぞれ示している。従って、V2/2は垂直方向に同色2画素毎に2画素加算することを示し、H2/2は水平方向に同色2画素毎に2画素加算することを示す。
従って、図8に示す4×4画素でなる単位画素PUから、2つの緑画素と焦点検出用画素Lと焦点検出用画素Tとが加算された合成後の緑画素(左上)と、4つの赤画素が加算された合成後の赤画素(右上)と、4つの青画素が加算された合成後の青画素(左下)と、4つの緑画素が加算された合成後の緑画素(右下)と、が生成される。
次に、図9は、第1メモリ部22Aに記憶される画素信号の配置と、V1/5,H3/3加算読み出し時の単位画素PUb,PUrの例とを示す図である。
このV1/5,H3/3加算読み出しは、垂直方向に同色5画素毎に1画素を読み出す(つまり、垂直方向の加算はせずに間引き読み出しをする)ことを意味し、水平方向に同色3画素毎に3画素加算することを意味している。
従って、図9に示す緑および青に係る6×10画素でなる単位画素PUbから、ライン(n+10)における2つの緑画素と焦点検出用画素Rとが加算された合成後の緑画素(左上)と、ライン(n+15)における3つの青画素が加算された合成後の青画素(左下)と、が生成される。
また、図9に示す緑および赤に係る6×10画素でなる単位画素PUrから、ライン(n+10)における3つの赤画素が加算された合成後の赤画素(右上)と、ライン(n+15)における3つの緑画素が加算された合成後の緑画素(右下)と、が生成される。
こうして、このV1/5,H3/3加算読み出しにおいては、画素信号を読み出さないライン(n+1)〜(n+4),(n+6)〜(n+9),(n+11)〜(n+14),(n+16)〜(n+19)が存在する。従って、垂直方向に1/5間引き読み出しをすると、仮に水平方向の加算を行わないとしても、焦点検出用画素L,T,Bの画素信号は第1メモリ部22Aから読み出されないことになり、第1メモリ部22Aからの読み出しだけでは位相差AFを行うことができない。
こうして、本実施形態においては、焦点検出用画素R,L,T,Bを別途に第2メモリ部22Bに記憶して読み出すことにより、間引きを伴う加算読み出しにおいても位相差AFを行うことができるようにしている。
次に図10は、撮像素子2における第1メモリ部22Aおよび第2メモリ部22Bと列並列型AD変換器25の構成をより詳細に示す図である。
列並列型AD変換器25内に列毎に対応して設けられたADC33は、比較器33aと、カウンタ33bと、ラッチ33cと、を備えている。
上述したDAC26dは、制御回路26aからの制御信号に基づき、参照電圧を比較器33aへ出力する。ここにDAC26dが出力する参照電圧は、スロープ状に変化するランプ波形の電圧となっている。
比較器33aは、垂直信号線35からアナログの画素信号が入力されると、入力された画素信号の電圧を参照電圧と比較する。そして比較器33aは、画素信号の電圧と参照電圧との大小関係が反転すると出力信号を反転させる。ここに比較器33aは、例えば複数のPMOSトランジスタおよび複数のNMOSトランジスタにより構成される一般的な差動増幅器の構成を有し、動作時には電力を消費する。この比較器33a内のDAC26dからの信号線が接続される部分、および垂直信号線35が接続される部分には、図示はしないが、リセットレベル(リセットノイズ)を記憶するためのコンデンサがそれぞれ接続されている。これらのコンデンサは、制御回路26aからの指示信号によりリセットされるようになっている。
カウンタ33bは、比較器33aからの出力信号が反転するまでの時間、つまり、ランプ波形の参照電圧と画素信号の電圧との大小関係が反転するまでの時間(比較時間)を、例えば入力クロックの数としてデジタル的にカウントする。
ラッチ33cは、カウンタ33bによるカウント結果を保持するデジタルメモリとして機能し、水平信号線24aを介してセンスアンプ回路24bに接続されている。また、ラッチ33cは水平読出回路26cと接続されていて、水平読出回路26cにより選択されて制御信号が入力されると、保持しているデジタル信号を出力するようになっている。
このような構成において、撮像用読出回路40aにはバイアス電流制御回路36aおよびカウンタ制御回路37aが、焦点検出用読出回路40bにはバイアス電流制御回路36bおよびカウンタ制御回路37bが、それぞれ設けられている。
バイアス電流制御回路36aは、画像用画素群に属する画素のメモリピクセル32に転送された信号のみをソースフォロア出力するために、制御回路26aの制御に基づいて、撮像用読出回路40a内の各垂直信号線35のバイアス電流のオン/オフを制御する。
同様に、バイアス電流制御回路36bは、焦点検出用画素群に属する画素のメモリピクセル32に転送された信号のみをソースフォロア出力するために、制御回路26aの制御に基づいて、焦点検出用読出回路40b内の各垂直信号線35のバイアス電流のオン/オフを制御する。
なお、ここでは詳細な図示は省略するが、バイアス電流制御回路36a,36bは、任意の垂直信号線35のバイアス電流のオン/オフを所望に制御することができるように構成されているものとする。従って、一例を挙げれば、偶数列の垂直信号線35のバイアス電流をオンし、奇数列の垂直信号線35のバイアス電流をオフする、等の制御も可能である。
また、カウンタ制御回路37aは、制御回路26aの制御に基づいて、撮像用読出回路40a内の各カウンタ33bのオン/オフを制御する。
同様に、カウンタ制御回路37bは、制御回路26aの制御に基づいて、焦点検出用読出回路40b内の各カウンタ33bのオン/オフを制御する。
そして、カウンタ制御回路37a,37bは、任意の垂直信号線35に係るカウンタ33bのオン/オフを所望に制御することができるように構成されているものとする。従って、上述した例と同様に、偶数列のカウンタ33bをオンし、奇数列のカウンタ33bをオフする、等の制御も可能である。
ここに、ソースフォロアの回路を構成する定電流回路部と、シングルスロープ(SigleSlope)型列並列ADC(Column parallel ADC)とは、本実施形態における撮像素子2において大きな消費電力を消費する回路部である。
そこで、上述したような構成により、AD変換に使用されない垂直信号線35のバイアス電流をオフしADC33の動作を停止することで、できる限り高速で低消費電力な読み出しを行うようにしている。
図11はV2/2,H2/2加算読み出し時の第1メモリ部22Aおよび第2メモリ部22Bの画素信号の配置を示す図である。
このV2/2,H2/2加算読み出し時には、第1メモリ部22Aから読み出される画素信号は、画素信号合成部23により垂直方向に2画素加算されるために、列並列型AD変換器25によりAD変換されるラインは1/2に減少し、フレームレートを全画素読み出しの場合の約2倍にすることができる。
そこで、このフレームレートを維持することができるように、第2メモリ部22Bに記憶する焦点検出用画素信号も、2ラインに1ラインの割合とし、ダミーデータDYのラインは列並列型AD変換器25へ出力しない。
具体的に、焦点検出用画素は2ラインに1ラインの割合で存在しているために、画素部21において焦点検出用画素が存在するラインと同一ライン上の第2メモリ部22Bに焦点検出用画素信号を配列している。
こうして、単位画素PUによって構成される行毎に、垂直2画素加算により合成された画像用の画素信号のみが配列された画素信号群と、焦点検出用の画素信号のみが配列された画素信号群と、を直列に並べて、列並列型AD変換器25により一斉にAD変換することで、フレームレートの増大が達成される。
また、V2/2,H2/2加算読み出し時には、第1メモリ部22Aから読み出された画素信号は水平方向にも2画素加算されるために、ADC33は2列に1列の割合で動作させれば足りる。このために、バイアス電流制御回路36aが、2列に1列の割合で垂直信号線35のバイアス電流をオフしカウンタ制御回路37aがカウンタ33bをオフすることで、消費電力の低減を図るようにしている。また、バイアス電流制御回路36bとカウンタ制御回路37bも、明示していないが、焦点検出用画素信号を読み出さない列については垂直信号線35のバイアス電流をオフしカウンタ33bをオフすることで、消費電力の更なる低減を図るようにしている。
図12はV1/5,H3/3加算読み出し時の第1メモリ部22Aおよび第2メモリ部22Bの画素信号の配置を示す図である。なお、図12では、第2メモリ部22BにおけるダミーデータDYのみのラインの図示を省略している。
このV1/5,H3/3加算読み出し時には、第1メモリ部22Aから読み出される画素信号は、画素信号合成部23により垂直方向に1/5間引きされるために、列並列型AD変換器25によりAD変換されるラインは1/5に減少し、フレームレートを全画素読み出しの場合の約5倍にすることができる。
そこで、このフレームレートを維持することができるように、第2メモリ部22Bに記憶する焦点検出用画素信号も、5ラインに1ラインの割合とし(従って、焦点検出用画素信号が記憶されるメモリピクセル32の列数も図11に示したV2/2,H2/2加算読み出し時の例えば5/2倍となる(ただし、図12に示す例では、読み出すラインにもダミーデータDYが存在するために、5/2倍よりも大きくなっている))、図示を省略した第2メモリ部22BにおけるダミーデータDYのみのラインは列並列型AD変換器25へ出力しない。
具体的に、図7に示した画素配置を5ライン毎に分割したとすると、焦点検出用画素が存在するラインが3ライン含まれる場合と2ライン含まれる場合とが交互に表れる。そこで、5ライン中に焦点検出用画素が存在するラインが3ラインである場合には、これら3ライン中の全ての焦点検出用画素を読み出し対象のライン(図12に示す例ではラインn,(n+10))に配置し、5ライン中に焦点検出用画素が存在するラインが2ラインである場合には、これら2ライン中の全ての焦点検出用画素を読み出し対象のライン(図12に示す例ではライン(n+5),(n+15))に配置するとともに余剰となるメモリピクセル32にダミーデータDYを配置している。
こうして、単位画素PUr,PUbによって構成される行毎に、垂直1/5間引きにより合成された画像用の画素信号のみが配列された画素信号群と、焦点検出用の画素信号のみが配列された画素信号群と、を直列に並べて、列並列型AD変換器25により一斉にAD変換することで、フレームレートの増大が達成される。
また、V1/5,H3/3加算読み出し時には、第1メモリ部22Aから読み出された画素信号は水平方向にも3画素加算されるために、ADC33は3列に1列の割合で動作させれば足りる。このために、バイアス電流制御回路36aが、3列に1列の割合で垂直信号線35のバイアス電流をオフしカウンタ制御回路37aがカウンタ33bをオフすることで、消費電力の低減を図るようにしている。また、バイアス電流制御回路36bとカウンタ制御回路37bも、明示していないが、焦点検出用画素信号を読み出さない列については垂直信号線35のバイアス電流をオフしカウンタ33bをオフすることで、消費電力の更なる低減を図るようにしている。
図13は、撮像素子2においてグローバルシャッタ撮像動作を行ったときの各信号を示す、一部拡大部分を含むタイミングチャートである。
このときの画素部21における露光動作、画素部21からメモリ部22への転送動作、メモリ部22から順次読み出して列並列型AD変換器25によりAD変換する動作等は、図6を参照して上述したのと同様である。そして、図13の1HD拡大部分に示したように、1つのライン読み出しにおいて、まず合成後の画像用画素信号が読み出され、その後に焦点検出用画素信号が読み出される。
また、上述したような、加算読み出しや間引き読み出しにより列並列型AD変換器25の動作回数を減少させてフレームレートを増加させる技術は、図6や図13に示したようなグローバルシャッタ撮像動作時のみに適用されるものではなく、ローリングシャッタ撮像動作時にも適用可能である。具体的に、垂直同期信号VDの立ち上がりタイミングから露光時間Texpだけ遡った時点で、例えば上端のラインから下端のラインへ向けて露光を順々に開始して行く。そして、露光時間Texpが経過したラインから順に画素信号の読み出しを行い、画素信号合成部23で画素加算等を行いながら、列並列型AD変換器25により複数列の画素信号を同時にAD変換して出力する。このとき、1つのライン読み出しにおいて、まず合成後の画像用画素信号が読み出され、その後に焦点検出用画素信号が読み出されるのは、図13の1HD拡大部分に示したのと同様である。
このような実施形態1によれば、画素信号合成部23により単位画素内の画素31から合成した画像用の画素信号と、第2メモリ部22Bに記憶された焦点検出用の画素信号と、を画像信号として出力するようにしたために、画像の読出時間を有効に短縮しながら、焦点検出用画素信号も読み出すことで焦点検出が可能となる。
また、画像信号出力部24が、合成された画像用の画素信号のみが配列された画素信号群と、焦点検出用の画素信号のみが配列された画素信号群と、を直列に並べて、列並列型AD変換器25によりAD変換するようにしたために、AD変換の回数が合成された画像用画素信号のライン数と同一となって増加せず、AD変換に要する時間を増大させることなくフレームレートを有効に向上することができる。
さらに、素子制御部26の制御に基づいて、画像信号出力部24がAD変換に用いられないAD変換器25の動作を停止させるようにしたために、撮像素子2の消費電力を有効に低減することができる。このときさらに、バイアス電流制御回路36aが、AD変換に用いられない垂直信号線35のバイアス電流をオフするようにしたために、より一層の低消費電力化を図ることができる。
そして、画素信号合成部23が単位画素内の画素31から生成される画像用の画素信号に加えて、さらに該単位画素内の画素31から生成される焦点検出用の画素信号を合成して画像用の画素信号を生成するようにしたために、空間サンプリング情報を増やすこと、および、適切な画像処理による補正技術と合わせて、モアレ低減等の総合画質を向上することができる。
加えて、画像用の画素信号を生成する画素31と、焦点検出用の画素信号を生成する画素31と、が行列状に配置された構成の画素部21に対して、上述した効果を奏することができる。
また、上述した撮像素子を備える撮像装置において、フレームレートを高いレートに維持しながら位相差AFを行うことが可能となる。
[実施形態2]
図14から図17は本発明の実施形態2を示したものであり、図14は撮像素子2の構成の概要を示すブロック図である。
この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
上述した実施形態1の図2では画素信号合成部23を第1アナログメモリである第1メモリ部22Aの後段に配置したが、本実施形態は第1メモリ部22Aの前段に配置したものとなっている。
すなわち、図14に示すように、画素部21から出力された画像用画素信号および焦点検出用画素信号は、画素信号合成部23に入力され、まず画素加算等により合成が行われる。従って、本実施形態において間引き読み出しを行う場合には、画素部21からの読み出し時に行うことになる。
そして、第1メモリ部22Aは画素信号合成部23により生成された合成された画像用の画素信号を記憶し、画像信号出力部24は、第1メモリ部22Aから読み出された合成された画像用の画素信号と、第2メモリ部22Bに記憶された焦点検出用の画素信号と、を画像信号として出力する。
次に、図15は、画素部21の画素31から第1メモリ部22Aおよび第2メモリ部22Bのメモリピクセル32への画像用画素信号および焦点検出用画素信号の転送の様子を示すブロック図である。
画素部21における画像用の画素31から読み出された画像用画素信号は、画素信号合成部23に入力される。さらに、画素部21における焦点検出用の画素31から読み出された焦点検出用画素信号の内の、画像用画素信号と合成される焦点検出用画素信号も画素信号合成部23に入力される。こうして、画素信号合成部23に入力された画像用画素信号および焦点検出用画素信号は、合成されて、第1メモリ部22のメモリピクセル32に記憶される。
また、画素部21における焦点検出用の画素31から読み出された焦点検出用画素信号は、第2メモリ部22Bのメモリピクセル32に記憶される。従って、ある注目する焦点検出用の画素31の出力は、第1メモリ部22Aのメモリピクセル32と第2メモリ部22Bのメモリピクセル32との2個所に転送されて記憶される。
ここで、画素信号合成部23から出力される合成後の画像用画素信号は、加算や間引きが行われているために、画素部21の全画素数よりも少ない。従って、加算や間引きのモードに応じて、第1メモリ部22Aが必要とするメモリ容量が変化する。
そこで本実施形態においては、第1メモリ部22Aおよび第2メモリ部22Bをメモリ部22の一部および他の一部として構成し、メモリ部22において第1メモリ部22Aと第2メモリ部22Bとを区分する区分線を可変とし、単位画素に含まれる画素数(ひいては合成後の画像用画素信号の数)に応じて、区分線を変更するようにしている。この点について、図16および図17を参照して説明する。
まず、図16はV2/2,H2/2加算読み出し時の第1メモリ部22Aおよび第2メモリ部22Bの画素信号の配置を示す図である。
図8に示したような4×4画素でなる単位画素PUの画素信号を、同色同士でV2/2,H2/2加算して得られた2×2画素の画素信号が、第1メモリ部22Aに、例えば4行に2行の割合で順次記憶される。ここに、同色同士の加算対象位置に焦点検出用画素が含まれている場合には、上述したように、第1メモリ部22Aにおいて斜め線や縦線、横線のハッチングを付して示している合成後の画像用画素信号に焦点検出用画素信号も合成要素として含まれている。
このV2/2,H2/2加算の場合には、合成後の画像用画素信号の列数は、全画素読み出し時の画像用画素信号の列数の半分となる。従って、図8に示した32列の画素信号は、図16に示すように16列となり、この16列分が第1メモリ部22A、17列目以降は第2メモリ部22Bで、第1メモリ部22Aと第2メモリ部22Bとの区分線が全画素読み出しのときとは変更されている。
また、焦点検出用画素信号が合成後の画像用画素信号と同一のラインに記憶され、フレームレートを全画素読み出しの場合の約2倍にすることができるのは上述と同様である。
次に、図17はV1/5,H3/3加算読み出し時の第1メモリ部22Aおよび第2メモリ部22Bの画素信号の配置を示す図である。なお、図17では、第2メモリ部22BにおけるダミーデータDYのみのラインの図示を省略している(以下、適宜同様)。
図9に示したような6×10画素でなる単位画素PUb,PUrの画素信号を、同色同士でV1/5,H3/3加算して得られた2×2画素の画素信号が、第1メモリ部22Aに、例えば10行に2行の割合(より詳しくは、5行に1行の割合)で順次記憶される。ここに、同色同士の加算対象位置に焦点検出用画素が含まれている場合には、上述と同様に、第1メモリ部22Aにおいて斜め線や縦線、横線のハッチングを付して示している合成後の画像用画素信号に焦点検出用画素信号も合成要素として含まれている。このV1/5,H3/3加算の場合には、合成後の画像用画素信号の列数は、全画素読み出し時の画像用画素信号の列数の1/3となる。従って、図9に示した32列の画素信号は、図17に示すように10列となり(単位画素PUbと単位画素PUrとは図9に示したように水平方向に2画素ずれているために、(32−2)/3=10列となる)、この10列分が第1メモリ部22A、11列目以降は第2メモリ部22Bで、第1メモリ部22Aと第2メモリ部22Bとの区分線が全画素読み出しのときおよびV2/2,H2/2加算読み出しのときとは変更されている。
また、焦点検出用画素信号が合成後の画像用画素信号と同一のラインに記憶され、フレームレートを全画素読み出しの場合の約5倍にすることができるのは上述と同様である。
このような実施形態2によれば、上述した実施形態1とほぼ同様の効果を奏するとともに、画素信号合成部23を第1メモリ部22Aの前段に配設して、メモリ部22において第1メモリ部22Aと第2メモリ部22Bとを区分する区分線を、単位画素に含まれる画素数(ひいては合成後の画像用画素信号の数)に応じて変更するようにしたために、メモリ部22に必要なメモリ容量を有効に削減することができる。
[実施形態3]
図18から図25は本発明の実施形態3を示したものであり、図18は撮像素子2の構成の概要を示すブロック図、図19は画素31の構成を示す図である。
この実施形態3において、上述の実施形態1,2と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
上述した実施形態1,2は、画素部21の画素31に、画像用と焦点検出用との2種類があった。これに対して本実施形態は、1つの画素が画像用と焦点検出用との両方の機能を備えるものとなっている。
まず、図19に示すように、画素31は、レンズ1の瞳の、右側を通過する光線を光電変換するフォトダイオードPDRと、左側を通過する光線を光電変換するフォトダイオードPDLと、レンズ1からの光線をフォトダイオードPDR,PDLに集光するマイクロレンズMLと、を備えている。また、各画素31の周辺は、金属配線MWによって囲われ、画素開口の大きさが規制されている。
なお、ここでは一例として、水平方向の位相差を検出するフォトダイオードPDR,PDLを設けたが、これらに加えてさらに、レンズ1の瞳の、上側を通過する光線を光電変換するフォトダイオードおよび下側を通過する光線を光電変換するフォトダイオードを設けても良いし、これらに限らず、右斜め方向や左斜め方向、あるいはその他の方向の位相差を検出する焦点検出用画素を設けても構わない。
そして、図18に示すように、画素部21内には画素内合成部21bが設けられている。なお、この図18には、上述した実施形態2と同様に、画素信号合成部23を第1メモリ部22Aの前段に配設する例を示しているが、実施形態1と同様に第1メモリ部22Aの後段に配設することも可能である。
フォトダイオードPDRとフォトダイオードPDLとは、電気的に独立して読み出すことができる。従って、画素31を焦点検出用画素Rとして機能させる場合には、画素内合成部21bは、フォトダイオードPDRに蓄積された画素信号のみを読み出すように制御する。また、画素31を焦点検出用画素Lとして機能させる場合には、画素内合成部21bは、フォトダイオードPDLに蓄積された画素信号のみを読み出すように制御する。
一方、画素31を通常の画像用画素として機能させる場合には、フォトダイオードPDRに蓄積された画素信号と、フォトダイオードPDLに蓄積された画素信号と、を画素部21内の画素内合成部21bで合成して読み出すように制御することも可能である。ただし、この場合には、合成後の画素信号から焦点検出用画素Rの画素信号と焦点検出用画素Lの画素信号とを再び分離して読み出すことができない。従って、焦点検出用画素Rの画素信号と焦点検出用画素Lの画素信号とを通常の画像用画素信号として合成する必要がある場合には、画素部21から焦点検出用画素Rの画素信号と焦点検出用画素Lの画素信号とをそれぞれ読み出した後に、図18に示す画素信号合成部23において合成することを基本とする。このような構成により、1つの画素31が複数の機能を果たすようになっている。
図20は画素部21の原色ベイヤーカラーフィルタ配列を示す図である。
1つの画素31がフォトダイオードPDRとフォトダイオードPDLとに分割されている以外は、1つの画素31に対して赤、青、緑の何れかのカラーフィルタが配列される一般的な原色ベイヤー配列と同様である。
図21は、画素部21から通常の全画素読み出しを行った場合に第1メモリ部22Aに記憶される画素信号の様子を示す図である。この図21に示す場合は、例えば静止画像を読み出す際などの、焦点検出用画素信号の読み出しが不要な場合を示している。従って、第2メモリ部22Bへの焦点検出用画素信号の記憶は、例えば行われない。
また、図22は、画素部21から全画素読み出しを行うと共に、さらに画素部21から、例えば全ての緑画素に係る焦点検出用画素Rの画素信号および焦点検出用画素Lの画素信号を読み出すときのメモリ部22の様子を示す図である。ここでは例えば、nラインおよび(n+1)ラインの緑画素のフォトダイオードPDRから焦点検出用画素Rの画素信号を読み出して第2メモリ部22Bのnラインに記憶し、nラインおよび(n+1)ラインの緑画素の上述したフォトダイオードPDRに各対応する(つまり、各同一画素31内の)フォトダイオードPDLから焦点検出用画素Lの画素信号を読み出して第2メモリ部22Bの(n+1)ラインに記憶する、等を行っている。従って、第1メモリ部22Aのメモリピクセル32の数と第2メモリ部22Bのメモリピクセル32の数とは同一となっている。
また、図23は、AF領域21aを制限しながら画素部21から全画素読み出しを行うときのメモリ部22の様子を示す図である。
まず、AF領域21aの設定(画素部21における特定の部分領域への制限)は、上述したように、被写体検出等に基づいたカメラ制御部12により自動で、またはカメラ操作部11を介してユーザにより手動で、行われる。
そして、全画素読み出しされる画像用画素信号が記憶される第1メモリ部22Aは図22に示した例と同様であるが、焦点検出用画素は制限されたAF領域21aのみから読み出されているために、第1メモリ部22Aに記憶されている焦点検出用画素信号の数は図22に示した例よりも大幅に減少している。
次に、図24はV2/2,H2/2加算読み出し時の第1メモリ部22Aおよび第2メモリ部22Bの画素信号の配置を示す図である。
この場合に第1メモリ部22Aに記憶される合成後の画像用画素信号は、上述した実施形態2の図16に示した配列と同様である。ただし、焦点検出用画素Rや焦点検出用画素Lは遮光構造で構成したものではないために、焦点検出用画素を合成することで生じる出力低下や焦点位置ずれによる画像の乱れは発生しない。
また、焦点検出用画素信号を合成後の画像用画素信号と同一のラインに記憶するのも図16に示した例と同様であるが、本実施形態においては全ての画素31が焦点検出用画素となり得るために、図16に示した例よりも第2メモリ部22Bに記憶される焦点検出用画素信号の数が多くなっている。具体的に、ここでは赤画素と同一ライン上の緑画素のみから焦点検出用画素R,Lの各画素信号を取得するか、あるいは、対角方向に隣接する2つの緑画素のフォトダイオードPDRの画素信号同士を加算したものを焦点検出用画素R、フォトダイオードPDLの画素信号同士を加算したものを焦点検出用画素Lとするか、等を行っている。
このとき、焦点検出が、例えばライブビューや動画撮影等の合成画像用の焦点検出である場合は、画素部21により生成される画像用の画素信号の空間周波数が、画素信号合成部23により生成される合成された画像用の画素信号の空間周波数に減少するのに応じて、画素部21により生成される焦点検出用の画素信号の数よりも、第2メモリ部22Bに記憶される焦点検出用の画素信号の数を低減すると良い(この低減の程度を、焦点検出に必要十分な程度にするとさらに良い)。画素信号の空間周波数の減少は、素子制御部26による画素部21の読出制御により行われるか、もしくは画素信号合成部23の処理により行われる。これにより、焦点検出用の画素信号の空間周波数が、画像用の画素信号の空間周波数に応じた空間周波数となって、必要以上に高精細な焦点検出用画素信号を取得するのを抑制し、第2メモリ部22Bのメモリ容量を有効に低減することができる。また、動作するAD変換器25の数も減らすことができるために、撮像素子2の消費電力もより低減することができる。一方、焦点検出が静止画撮影用の焦点検出である場合(例えば、ライブビュー時であっても、静止画像を取得するために2段式操作ボタンでなるレリーズボタンの1段目が押圧された場合)には、静止画用の画素信号の空間周波数に応じた空間周波数の焦点検出用の画素信号を撮像素子2から出力することが好ましい。このような撮像素子2から出力する画素信号の空間周波数の制御は、カメラ制御部12や露光制御部9からの指令を受けた素子制御部26により行われる。
こうして、焦点検出用の画素信号の用途(静止画用か動画等用かなど)に応じて、画素部21により生成される焦点検出用の画素信号の空間周波数よりも、撮像素子2から出力する焦点検出用の画素信号の空間周波数を低減すると良い。
続いて、図25はV1/5,H3/3加算読み出し時の第1メモリ部22Aおよび第2メモリ部22Bの画素信号の配置を示す図である。
この場合に第1メモリ部22Aに記憶される合成後の画像用画素信号は、上述した実施形態2の図17に示した配列と同様である。ただし、焦点検出用画素Rや焦点検出用画素Lは遮光構造で構成したものではないために、焦点検出用画素を合成することで生じる出力低下や焦点位置ずれによる画像の乱れは発生しない。
また、この図25に示す例ではAF領域21aが制限されていて、制限されたAF領域21aの緑画素から読み出された焦点検出用画素信号が、5ラインに1ラインの割合で第2メモリ部22Bに記憶されている。
このような実施形態3によれば、上述した実施形態1,2とほぼ同様の効果を奏するとともに、用途(静止画用か動画等用かなど)に応じて撮像素子2から出力する焦点検出用の画素信号の空間周波数を低減するようにしたために、例えばライブビュー時であっても静止画像を取得するためにレリーズボタンの1段目が押圧された場合には、空間周波数が高い焦点検出用の画素信号を撮像素子2から出力することができる。そして、合成による画像用画素信号の空間周波数の減少に応じて、第2メモリ部22Bに記憶する焦点検出用の画素信号の数を低減するようにしたために、第2メモリ部22Bのメモリ容量を有効に低減し、撮像素子2の消費電力を低減することができる。
また、第2メモリ部22Bに、選択されたAF領域21aから読み出された焦点検出用の画素信号のみを記憶するようにしたために、同様に、第2メモリ部22Bのメモリ容量を有効に低減し、撮像素子2の消費電力を低減することができる。
さらに、画像用の画素信号および焦点検出用の画素信号を生成するフォトダイオードPDR,PDLを備えた画素31が行列状に配置された画素部21において、上述した効果を奏することができる。
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
1…レンズ(撮像光学系)
2…撮像素子
3…画像処理部
4…AF評価値演算部(焦点検出制御部)
5…表示部
6…メモリカード
7…手振検出部
8…手振補正部
9…露光制御部
10…フォーカス制御部(焦点検出制御部)
11…カメラ操作部(焦点検出用画素領域選択部)
12…カメラ制御部(焦点検出用画素領域選択部,焦点検出制御部)
21…画素部
21a…AF領域
21b…画素内合成部
22…メモリ部
22A…第1メモリ部(第1アナログメモリ)
22B…第2メモリ部(第2アナログメモリ)
23…画素信号合成部
24…画像信号出力部
24a…水平信号線
24b…センスアンプ回路
25…列並列型AD変換器
26…素子制御部
26a…制御回路
26b…垂直走査回路
26c…水平読出回路
26d…DAC(デジタル・アナログ・コンバータ)
31…画素
32…メモリピクセル
33…ADC(AD変換器)
33a…比較器
33b…カウンタ
33c…ラッチ
34…制御信号線
35…垂直信号線
36a,36b…バイアス電流制御回路
37a,37b…カウンタ制御回路
40a…撮像用読出回路
40b…焦点検出用読出回路
ML…マイクロレンズ
MW…金属配線
PDR,PDL…フォトダイオード
PU,PUb,PUr…単位画素
R,L,T,B…焦点検出用画素

Claims (15)

  1. 画素が行列状に配置されており、隣接する複数の上記画素を単位画素と見なしたときにさらに該単位画素が行列状に配置されていて、画像用の画素信号と、位相差検出による焦点検出用の画素信号と、を生成する画素部と、
    上記単位画素内の画素から生成される上記画像用の画素信号を少なくとも合成した画像用の画素信号を生成する画素信号合成部と、
    上記画素信号合成部が前段に配設されている場合には該画素信号合成部により生成された合成された上記画像用の画素信号、上記画素信号合成部が後段に配設されている場合には上記画素部から読み出された少なくとも上記画像用の画素信号、を記憶する第1アナログメモリと、
    上記焦点検出用の画素信号を記憶する第2アナログメモリと、
    上記画素信号合成部が上記第1アナログメモリの前段に配設されている場合には該第1アナログメモリから読み出された合成された画像用の画素信号、上記画素信号合成部が上記第1アナログメモリの後段に配設されている場合には該画素信号合成部により生成された合成された画像用の画素信号と、上記第2アナログメモリに記憶された上記焦点検出用の画素信号と、を画像信号として出力する画像信号出力部と、
    を備え
    上記画素部は、上記画素信号合成部が上記第1アナログメモリの前段に配設されている場合には、上記焦点検出用の画素信号を上記画素信号合成部と上記第2アナログメモリへ出力することを特徴とする撮像素子。
  2. 上記画像信号出力部は、画素信号を同時的に読み出す各列にAD変換器を配置した列並列型AD変換器を有し、上記単位画素によって構成される行毎に、上記合成された画像用の画素信号のみが配列された画素信号群と、上記焦点検出用の画素信号のみが配列された画素信号群と、を直列に並べて、上記列並列型AD変換器によりAD変換することを特徴とする請求項1に記載の撮像素子。
  3. 上記第1アナログメモリおよび上記第2アナログメモリはメモリ部の一部および他の一部として構成されており、上記メモリ部において第1アナログメモリと第2アナログメモリとを区分する区分線は可変であって、
    上記画素信号合成部が上記第1アナログメモリの前段に配設されている場合には、上記単位画素に含まれる画素数に応じて、上記区分線を変更することを特徴とする請求項2に記載の撮像素子。
  4. 上記焦点検出用の画素信号の用途に応じて、上記画素部により生成される上記焦点検出用の画素信号の空間周波数よりも、撮像素子から出力する上記焦点検出用の画素信号の空間周波数を低減することを特徴とする請求項2に記載の撮像素子。
  5. 上記画素部により生成される画像用の画素信号の空間周波数が、上記画素信号合成部により生成される合成された画像用の画素信号の空間周波数に減少するのに応じて、上記画素部により生成される上記焦点検出用の画素信号の数よりも、上記第2アナログメモリに記憶される上記焦点検出用の画素信号の数を低減することを特徴とする請求項4に記載の撮像素子。
  6. 上記画素部から上記焦点検出用の画素信号を読み出すAF領域を選択する焦点検出用画素領域選択部をさらに備え、
    上記第2アナログメモリには、選択されたAF領域から読み出された上記焦点検出用の画素信号のみが記憶されることを特徴とする請求項2に記載の撮像素子。
  7. 上記画像信号出力部は、上記列並列型AD変換器に配置されたAD変換器の内の、画素信号のAD変換に用いられないAD変換器の動作を停止させることを特徴とする請求項2に記載の撮像素子。
  8. 上記画素信号合成部は、上記単位画素内の画素から生成される上記画像用の画素信号に加えて、さらに該単位画素内の画素から生成される上記焦点検出用の画素信号を合成して画像用の画素信号を生成し、
    上記画素信号合成部が上記第1アナログメモリの後段に配設されている場合には、該第1アナログメモリは、上記画素部から読み出された上記焦点検出用の画素信号をさらに記憶することを特徴とする請求項1に記載の撮像素子。
  9. 上記画素部は、画像用の画素信号を生成する画素と、焦点検出用の画素信号を生成する画素と、が行列状に配置されていることを特徴とする請求項1に記載の撮像素子。
  10. 上記画素部は、画像用の画素信号および焦点検出用の画素信号を生成する画素が行列状に配置されていることを特徴とする請求項1に記載の撮像素子。
  11. 請求項1に記載の撮像素子と、
    上記撮像素子に光学像を結像するものであって、焦点位置を調節可能な撮像光学系と、
    上記撮像素子から出力された焦点検出用の画素信号に基づき、上記撮像光学系の焦点位置を調節する焦点検出制御部と、
    を備えたことを特徴とする撮像装置。
  12. 上記第1アナログメモリは、上記画素信号合成部が後段に配設されている場合には上記画素部から読み出された上記画像用の画素信号を記憶するとともに、上記焦点検出用の画素信号を記憶することを特徴とする請求項1に記載の撮像素子。
  13. 上記画素信号合成部は、上記単位画素内の画素から生成される上記画像用の画素信号と上記焦点検出用の画素信号を合成した画像用の画素信号を生成することを特徴とする請求項1に記載の撮像素子。
  14. 上記画素部は、上記画素信号合成部が前段に配設されている場合には該画素信号合成部により生成された合成された上記画像用の画素信号、を上記第1アナログメモリへ、かつ、上記焦点検出用の画素信号を上記第2アナログメモリへ、一斉に転送し、上記画素信号合成部が後段に配設されている場合には上記画素部から読み出された少なくとも上記画像用の画素信号、を上記第1アナログメモリへ、かつ、上記焦点検出用の画素信号を上記第2アナログメモリへ、一斉に転送することを特徴とする請求項1に記載の撮像素子。
  15. 上記画素部は、上記画像用の画素信号を生成するための画像用画素と、上記画像用画素とは異なる位置に配置され、上記焦点検出用の画素信号を生成するために上記画像用画素が光電変換する光線に対する一部の光線だけを光電変換する焦点検出用画素と、を有することを特徴とする請求項1に記載の撮像素子。
JP2014210910A 2014-10-15 2014-10-15 撮像素子、撮像装置 Active JP6522919B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014210910A JP6522919B2 (ja) 2014-10-15 2014-10-15 撮像素子、撮像装置
US14/876,389 US9628733B2 (en) 2014-10-15 2015-10-06 Image pickup device, image pickup apparatus
CN201510662546.8A CN105530427B (zh) 2014-10-15 2015-10-14 摄像元件、摄像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014210910A JP6522919B2 (ja) 2014-10-15 2014-10-15 撮像素子、撮像装置

Publications (2)

Publication Number Publication Date
JP2016082354A JP2016082354A (ja) 2016-05-16
JP6522919B2 true JP6522919B2 (ja) 2019-05-29

Family

ID=55750073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014210910A Active JP6522919B2 (ja) 2014-10-15 2014-10-15 撮像素子、撮像装置

Country Status (3)

Country Link
US (1) US9628733B2 (ja)
JP (1) JP6522919B2 (ja)
CN (1) CN105530427B (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6442261B2 (ja) * 2014-06-05 2018-12-19 キヤノン株式会社 撮像素子及び撮像装置、及びその制御方法
US9866770B2 (en) * 2015-10-21 2018-01-09 Massachusetts Institute Of Technology Methods and apparatus for true high dynamic range (THDR) time-delay-and-integrate (TDI) imaging
US9955096B2 (en) * 2016-03-22 2018-04-24 Taiwan Semiconductor Manufacturing Co., Ltd. System and method for high-speed down-sampled CMOS image sensor readout
JP6806473B2 (ja) * 2016-06-17 2021-01-06 キヤノン株式会社 撮像装置およびその制御方法
JP6432005B2 (ja) * 2016-09-23 2018-11-28 富士フイルム株式会社 撮像装置、撮像装置の作動方法、撮像装置の作動プログラム
JP2018081224A (ja) * 2016-11-17 2018-05-24 キヤノン株式会社 撮像装置およびその制御方法
JP2018125730A (ja) * 2017-02-01 2018-08-09 キヤノン株式会社 撮像装置およびその制御方法
US10419701B2 (en) * 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10917589B2 (en) 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
JP6947590B2 (ja) * 2017-09-08 2021-10-13 オリンパス株式会社 撮像装置、撮像装置の制御方法
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
JP7322552B2 (ja) * 2019-07-01 2023-08-08 株式会社リコー 光電変換装置、ラインセンサ、画像読取装置、及び画像形成装置
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
JP7538618B2 (ja) 2020-05-01 2024-08-22 キヤノン株式会社 光電変換装置及び光電変換システム
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4519080A (en) * 1982-10-29 1985-05-21 Communications Satellite Corporation Analog threshold decoder
US6861634B2 (en) * 2002-08-13 2005-03-01 Micron Technology, Inc. CMOS active pixel sensor with a sample and hold circuit having multiple injection capacitors and a fully differential charge mode linear synthesizer with skew control
US20050018060A1 (en) * 2003-07-23 2005-01-27 Isao Takayanagi On-chip image processing
US7236415B2 (en) * 2004-09-01 2007-06-26 Micron Technology, Inc. Sample and hold memory sense amplifier
US7525349B2 (en) * 2006-08-14 2009-04-28 University Of Washington Circuit for classifying signals
US7706201B2 (en) * 2007-07-16 2010-04-27 Qimonda Ag Integrated circuit with Resistivity changing memory cells and methods of operating the same
JP5241355B2 (ja) 2008-07-10 2013-07-17 キヤノン株式会社 撮像装置とその制御方法
JP5215262B2 (ja) * 2009-02-03 2013-06-19 オリンパスイメージング株式会社 撮像装置
JP5226552B2 (ja) * 2009-02-03 2013-07-03 オリンパスイメージング株式会社 撮像装置
JP5746496B2 (ja) * 2010-12-03 2015-07-08 キヤノン株式会社 撮像装置
JP2012165168A (ja) * 2011-02-07 2012-08-30 Sony Corp 半導体装置、物理情報取得装置、及び、信号読出し方法
JP5806511B2 (ja) * 2011-05-31 2015-11-10 オリンパス株式会社 撮像装置、撮像方法
JP5835996B2 (ja) * 2011-08-08 2015-12-24 オリンパス株式会社 撮像装置
JP5979849B2 (ja) 2011-11-21 2016-08-31 キヤノン株式会社 撮像素子及び撮像装置
JP5893572B2 (ja) * 2012-03-01 2016-03-23 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP6149369B2 (ja) * 2012-09-27 2017-06-21 株式会社ニコン 撮像素子
JP2014109767A (ja) * 2012-12-04 2014-06-12 Canon Inc 画像処理装置およびその制御方法、並びに撮像装置およびその制御方法

Also Published As

Publication number Publication date
CN105530427B (zh) 2018-11-06
US9628733B2 (en) 2017-04-18
US20160112626A1 (en) 2016-04-21
CN105530427A (zh) 2016-04-27
JP2016082354A (ja) 2016-05-16

Similar Documents

Publication Publication Date Title
JP6522919B2 (ja) 撮像素子、撮像装置
JP6315776B2 (ja) 撮像素子、撮像装置
JP5739640B2 (ja) 撮像素子及び撮像装置
US8525917B2 (en) Image sensing apparatus with plural focus detection pixel groups
US9578229B2 (en) Imaging apparatus and method for controlling same
JP5422745B2 (ja) 撮像装置及び撮像方法
JP6124717B2 (ja) 撮像素子、焦点検出装置
JP6099904B2 (ja) 撮像装置
JP6944846B2 (ja) 撮像装置、撮像装置の制御方法
JP5156148B2 (ja) 撮像装置及び撮像方法
JP6368128B2 (ja) 撮像素子及び撮像装置
US11290648B2 (en) Image capture apparatus and control method thereof
US20170041563A1 (en) Image sensor, control method for the same, and image capture apparatus
JP6070301B2 (ja) 固体撮像素子及びこれを用いた撮像装置
JP5885431B2 (ja) 撮像素子及び撮像装置
JP2016225774A (ja) 撮像素子および撮像装置
JP2019106634A (ja) 撮像素子及び撮像装置
JP2013183380A (ja) 撮像素子、撮像素子の駆動方法及び撮像システム
JP6579614B2 (ja) 撮像素子、撮像装置
JP6393087B2 (ja) 撮像素子及び撮像装置
JP7329136B2 (ja) 撮像装置
US10880477B2 (en) Image capturing apparatus and multi-readout mode control method for carrying out a live view display
JP2011114786A (ja) 固体撮像装置およびカメラシステム
JP2020136965A (ja) 撮像装置およびその制御方法
JP2019095593A (ja) 焦点検出装置及び焦点検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190425

R151 Written notification of patent or utility model registration

Ref document number: 6522919

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250