JP5542250B2 - 固体撮像素子、撮像装置、及び固体撮像素子の駆動方法 - Google Patents

固体撮像素子、撮像装置、及び固体撮像素子の駆動方法 Download PDF

Info

Publication number
JP5542250B2
JP5542250B2 JP2014507497A JP2014507497A JP5542250B2 JP 5542250 B2 JP5542250 B2 JP 5542250B2 JP 2014507497 A JP2014507497 A JP 2014507497A JP 2014507497 A JP2014507497 A JP 2014507497A JP 5542250 B2 JP5542250 B2 JP 5542250B2
Authority
JP
Japan
Prior art keywords
pixel
pixel cell
solid
unit
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014507497A
Other languages
English (en)
Other versions
JPWO2013145888A1 (ja
Inventor
智行 河合
満 沖川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014507497A priority Critical patent/JP5542250B2/ja
Application granted granted Critical
Publication of JP5542250B2 publication Critical patent/JP5542250B2/ja
Publication of JPWO2013145888A1 publication Critical patent/JPWO2013145888A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、固体撮像素子、撮像装置、及び固体撮像素子の駆動方法に関する。
近年、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、PDA(Personal Digital Assistant,携帯情報端末)等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。
このような撮像装置において、高画質の静止画撮影を実現するには、画素セルの数を増やす必要がある。一方で、高画質の動画撮影を実現するには、撮像素子からの信号の読み出しを高速化する必要がある。
しかし、画素セルの数を増やすと、信号の読み出し数が増えるため、読み出し速度を向上させることが難しくなる。つまり、高画質の静止画撮影と動画撮影を両立させるには、画素セルの数を増やしながら、信号の読み出し速度を高速化するという、相反する課題を解決する必要がある。
信号の読み出し速度を高速化するための撮像素子の駆動方法としては、撮像素子内で複数の画素セルの出力信号を加算して出力させる所謂画素加算読み出しや、信号を読み出す画素セルを間引く間引き読み出し等が知られている。
例えば、特許文献1及び特許文献2は、2×2の4画素セルのブロックが同色で、このブロックを単位とした場合の配列がベイヤ配列である撮像素子を用い、各ブロックの画素セルの信号を加算して読み出しを行う撮像装置を開示している。
日本国特開2002−10276号公報 日本国特開2009−17152号公報
特許文献1,2に記載の固体撮像素子の各ブロックにおいて、上下2つの画素セルの出力信号を加算したり、左右2つの画素セルの出力信号を加算したりすることも考えられるが、いずれの加算方法でも、固体撮像素子から出力される撮像信号の配列は正方格子配列となるため、解像度を上げることができない。
また、各ブロックにおいて、斜め2つの画素セルの出力信号を加算することも考えられるが、この加算方法では、各ブロックにおいて加算後の信号が空間上で同位置に配置されることになり、同じく解像度を上げることができない。
本発明は、上記事情に鑑みてなされたものであり、高画質の動画撮影と静止画撮影を両立させることのできる撮像装置を提供することを目的とする。
本発明の固体撮像素子は、緑色光を検出する光電変換部を含むG画素セル、赤色光を検出する光電変換部を含むR画素セル、及び青色光を検出する光電変換部を含むB画素セルの3種類の画素セルを含む複数の画素セルが二次元状に配置された固体撮像素子であって、前記複数の画素セルの配置は、行方向に一定ピッチで配列された複数の画素セルからなる画素セル行が前記行方向に直交する列方向に並べられた配置であり、奇数行の前記画素セル行と偶数行の前記画素セル行は、前記行方向における前記画素セルの配列ピッチ分、前記行方向にずれており、奇数行にある第一画素セル群と偶数行にある第二画素セル群は、それぞれ、G画素セルとR画素セルが2つずつ交互に前記行方向に並べられた第一画素セル行と、B画素セルとG画素セルが2つずつ交互に前記行方向に並べられた第二画素セル行とが、前記列方向に交互に並べられた構成であり、前記第一画素セル群と前記第二画素セル群の各々において、前記第二画素セル行に含まれる画素セルのうち、前記第一画素セル行における前記R画素セルの位置と対応する位置にある画素セルは前記G画素セルであり、前記第一画素セル行における前記G画素セルの位置と対応する位置にある画素セルは前記B画素セルであり、前記列方向で隣り合う2つの前記第一画素セル行、及び、前記列方向で隣り合う2つの前記第二画素セル行の各々において、各画素セルの位置から、前記行方向における前記画素セルの配列ピッチ分前記行方向にずれ、更に前記列方向における前記画素セルの配列ピッチ分前記列方向にずれた位置には、当該各画素セルと同一種類の画素セルが配置されており、当該各画素セルと、当該各画素セルと同一種類の画素セルとにより画素セルのペアが構成され、前記画素セルに対応して設けられ、前記画素セル内の前記光電変換部で発生した電荷が蓄積される電荷蓄積部及び当該電荷蓄積部に蓄積される電荷に応じた信号を出力する信号出力回路を備え、前記第一画素セル群の各画素セルに対応する前記電荷蓄積部及び前記信号出力回路と、当該各画素セルとペアを構成する画素セルに対応する前記電荷蓄積部及び前記信号出力回路とは共通化されているものである。
この構成によれば、第一画素セル群の各画素セルの信号と、当該各画素セルの位置から行方向における前記画素セルの配列ピッチ分前記行方向にずれ、更に前記列方向における前記画素セルの配列ピッチ分前記列方向にずれた位置にある画素セルの信号とを加算しても、各加算後の信号の空間位置は重複しないため、高解像度の撮像画像データを生成することが可能になる。
また、第一画素セル群の各画素セルの信号と、当該各画素セルの位置から、行方向に1画素セルピッチずれた位置にある画素セルの信号とを加算した場合は、ハニカム配列の撮像画像信号を得ることが可能になる。この結果、高解像度の撮像画像データを生成することが可能になる。
また、上記加算を固体撮像素子内で行うことで撮像画像信号の読み出しの高速化も図ることが可能になる。
また、第一画素セル群の各画素セルと、当該各画素セルとペアを構成する画素セルの信号同士を電荷の状態で加算することができ、高感度低ノイズの撮像画像データを生成することが可能になる。また、撮像画像信号の読み出しの高速化も図ることができる。
本発明によれば、高画質の動画撮影と静止画撮影を両立させることのできる撮像装置を提供することができる。
本発明の一実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図 図1に示す固体撮像素子5の概略構成を示す平面模式図 図2に示す固体撮像素子5の画素セル領域50における破線で示した部分の拡大図 全画素読み出し駆動のタイミングチャートを示す図 2フィールド読み出し駆動のタイミングチャートを示す図 斜め2画素加算読み出し駆動のタイミングチャートを示す図 斜め2画素加算読み出し駆動時を説明するための図 水平2画素加算平均読み出し駆動のタイミングチャートを示す図 水平2画素加算平均読み出し駆動を説明するための図 4画素加算平均読み出し駆動のタイミングチャートを示す図 4画素加算平均読み出し駆動を説明するための図 図1に示すデジタルカメラの静止画撮影時の動作を説明するためのフローチャート 図1に示すデジタルカメラの静止画撮影時の動作の変形例を説明するためのフローチャート 図1に示すデジタルカメラにおける固体撮像素子5の変形例である固体撮像素子5aの平面図 図14に示す固体撮像素子5aの変形例である固体撮像素子5bの平面図 図1に示す固体撮像素子5として固体撮像素子5aや固体撮像素子5bを搭載するデジタルカメラの動作を説明するためのフローチャート 図16に示すフローチャートのステップS37の変形例を示す図 図16に示すフローチャートのステップS46の変形例を示す図 撮像装置としてスマートフォンを説明する図 図19のスマートフォンの内部ブロック図
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図である。
図示するデジタルカメラの撮像系は、フォーカスレンズ、ズームレンズ等を含む単一の撮影光学系1と、CCDイメージセンサやCMOSイメージセンサ等の固体撮像素子5と、この両者の間に設けられた絞り2と、赤外線カットフィルタ3と、光学ローパスフィルタ4とを備える。
デジタルカメラの電気制御系全体を統括制御するシステム制御部11は、フラッシュ発光部12を制御する。また、システム制御部11は、レンズ駆動部8を制御して、撮影光学系1に含まれるフォーカスレンズの位置を調整したり、撮影光学系に含まれるズームレンズの位置を調整したりする。また、システム制御部11は、絞り駆動部9を介し絞り2の開口量を制御して露光量調整を行う。
また、システム制御部11は、撮像素子駆動部10を介して固体撮像素子5を駆動し、撮影光学系1を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部11には、操作部14を通してユーザからの指示信号が入力される。
デジタルカメラの電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、デジタル信号処理部17と、圧縮伸張処理部18と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、カメラ背面等に搭載された液晶表示部23が接続される表示制御部22とを備える。
デジタル信号処理部17は、固体撮像素子5から出力された撮像画像信号に対し、補間演算やガンマ補正演算,RGB/YC変換処理等を行って撮影画像データを生成する。
圧縮伸張処理部18は、デジタル信号処理部17で生成された撮影画像データをJPEG形式に圧縮したり圧縮画像データを伸張したりする。
メモリ制御部15、デジタル信号処理部17、圧縮伸張処理部18、外部メモリ制御部20、及び表示制御部22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
図2は、図1に示す固体撮像素子5の概略構成を示す平面模式図である。
固体撮像素子5は、フォトダイオード等の光電変換部を含む複数の画素セル53(1)〜53(4)が行方向Xとこれに直交する列方向Yに二次元状に配置された画素セル領域50と、垂直走査回路51と、水平走査回路52とを備える。以下では、画素セル53(1)〜53(4)をそれぞれ区別しないで画素セル53ということもある。
画素セル領域50には、行方向Xに一定のピッチで並ぶ画素セル53からなる画素セル行が列方向Yに一定のピッチで4個以上並べられている。
この4個以上の画素セル行のうち、奇数行と偶数行は、各画素セル行における画素セル53の配列ピッチ分、行方向Xに互いにずれている。
画素セル領域50に配置される多数の画素セル53は、赤色の波長域の光を検出する光電変換部を含む画素セル53(以下、R画素セル53という)と、緑色の波長域の光を検出する光電変換部を含む画素セル53(以下、G画素セル53という)と、青色の波長域の光を検出する光電変換部を含む画素セル53(以下、B画素セル53という)との3種類を含む。
光電変換部の検出波長域は、例えば光電変換部上方に設けられたカラーフィルタによって制御される。
図2では、R画素セル53を示すブロックについてはブロック中に“R”の文字を記し、G画素セル53を示すブロックについてはブロック中に“G”の文字を記し、B画素セル53を示すブロックについてはブロック中に“B”の文字を記している。
画素セル領域50にある画素セルのうち、奇数行かつ奇数列にある画素セル53を画素セル53(1)としている。画素セル53(1)は全体としてベイヤ状に配置されている。
各画素セル53(1)の行方向Xの隣(右隣)には、当該各画素セル53(1)と同一種類の画素セル53(2)が配置されている。つまり、画素セル53(2)も全体としてベイヤ状に配置されている。
各画素セル53(2)の列方向Yの隣(下隣)には、当該各画素セル53(2)と同一種類の画素セル53(3)が配置されている。つまり、画素セル53(3)も全体としてベイヤ状に配置されている。
各画素セル53(3)の行方向Xの隣(右隣)には、当該各画素セル53(3)と同一種類の画素セル53(4)が配置されている。つまり、画素セル53(4)も全体としてベイヤ状に配置されている。
このように、固体撮像素子5の画素セル領域50には、中心同士を結ぶ4角形が平行四辺形となる同一種類の4つの画素セル53のユニットが、行方向Xと列方向Yに二次元状に配置されたものとなっている。
このような配置により、奇数行又は偶数行にある第一画素セル群は、G画素セル53とR画素セル53が2つずつ交互に行方向Xに並べられた第一画素セル行と、G画素セル53とB画素セル53が2つずつ交互に行方向Xに並べられた第二画素セル行とが、列方向Yに交互に並べられた構成となる。
そして、第二画素セル行に含まれる画素セルのうち、第一画素セル行におけるR画素セル53の位置と対応する位置(行方向Xにおいて同一位置)にある画素セルはG画素セル53であり、第一画素セル行におけるG画素セル53の位置と対応する位置にある画素セルはB画素セル53となる。
また、列方向Yにおいて隣り合う2つの第一画素セル行、及び、列方向Yにおいて隣り合う2つの第二画素セル行の各々をみたとき、第一画素セル群の各画素セル53の位置から、行方向Xに1画素セルピッチずれ更に列方向Yに1画素セル行ピッチずれた位置には、当該各画素セル53と同一種類の画素セル53が配置される。第一画素セル群の各画素セル53と、この右斜め下にある第二画素セル群の画素セル53とにより画素セルのペアが構成される。
垂直走査回路51は、画素セル領域50にある全画素セル行を独立して制御する。
水平走査回路52は、画素セル領域50にある各画素セル列から出力される撮像信号の固体撮像素子5外部への出力を制御する。
図3は、図2に示す固体撮像素子5の画素セル領域50における破線で示した部分の拡大図である。
各画素セル53は、半導体基板内に設けられた光電変換部を含む。
図3では、赤色光を検出する画素セル53(1)〜(4)に含まれる光電変換部を、それぞれ符号R(1)〜R(4)で示している。また、青色光を検出する画素セル53(1)〜(4)に含まれる光電変換部を、それぞれ符号B(1)〜B(4)で示している。また、緑色光を検出する画素セル53(1)〜(4)に含まれる光電変換部を、それぞれ符号G(1)〜G(4)で示している。
以下では、光電変換部R(1)〜R(4)をそれぞれ含む画素セルを画素セル53R(1)〜53R(4)という。また、光電変換部G(1)〜G(4)をそれぞれ含む画素セルを画素セル53G(1)〜53G(4)という。光電変換部B(1)〜B(4)をそれぞれ含む画素セルを画素セル53B(1)〜53B(4)という。
斜め方向に隣接する同一種類の2つの画素セル53には、半導体基板内に設けられたフローティングディフュージョン55と、フローティングディフュージョン55に接続される信号出力回路58とが対応して設けられる。
フローティングディフュージョン55は、対応する画素セル53の光電変換部で発生した電荷を蓄積する電荷蓄積部である。
各画素セル53における光電変換部と、当該画素セル53に対応するフローティングディフュージョン55との間の半導体基板上方には転送電極54が設けられる。
転送電極54は、画素セル53における光電変換部で発生した電荷を当該画素セル53に対応するフローティングディフュージョン55に転送するためのものである。
列方向Yに並ぶ画素セル53からなる各画素セル列には信号線Hが対応して設けられる。
画素セル53R(1)と画素セル53G(1)を含む画素セル列に対応する信号線Hには、画素セル53R(1)と画素セル53G(1)の各々に対応する信号出力回路58が接続される。
画素セル53R(2)と画素セル53G(2)を含む画素セル列に対応する信号線Hには、画素セル53R(2)と画素セル53G(2)の各々に対応する信号出力回路58が接続される。
画素セル53G(1)と画素セル53B(1)を含む画素セル列に対応する信号線Hには、画素セル53G(1)と画素セル53B(1)の各々に対応する信号出力回路58が接続される。
画素セル53G(2)と画素セル53B(2)を含む画素セル列に対応する信号線Hには、画素セル53G(2)と画素セル53B(2)の各々に対応する信号出力回路58が接続される。
各信号線Hは水平走査回路52に接続される。
水平走査回路52は、各信号線Hに接続される信号処理回路59と、一端が信号処理回路59に接続され、他端が出力信号線OLに接続されるスイッチ57と、加算平均スイッチ56とを備える。
信号処理回路59は、信号線Hに出力された撮像信号に対し、相関二重サンプリング処理、AD変換処理等を行う。
水平走査回路52は、スイッチ57をオフからオンにすることで、当該スイッチ57に接続される信号処理回路59で処理された撮像信号を、出力信号線OLから固体撮像素子5外部へと出力させる。
加算平均スイッチ56は、各ユニットに対応する2つの信号出力回路58がそれぞれ接続される2本の信号線Hの間に接続されている。
水平走査回路52は、加算平均スイッチ56のオンオフを制御する。加算平均スイッチ56がオンされると、2本の信号線Hの電位が加算平均される。この状態で、当該2本の信号線Hのいずれかに接続されるスイッチ57をオンすると、加算平均後の撮像信号が当該いずれかのスイッチ57を介して信号出力線OLに出力される。
このように、加算平均スイッチ56は、各ユニットに対応する2つの信号出力回路58がそれぞれ接続される2本の信号線Hに出力された撮像信号の加算平均を得るためのものである。
奇数行の画素セル行には、行方向Xに伸びる制御信号線VLが対応して設けられる。また、偶数行の画素セル行には、行方向Xに伸びる制御信号線VUが対応して設けられる。
制御信号線VLと制御信号線VUは、それぞれ、対応する画素セル行の各画素セル53に含まれる転送電極54に接続される。
制御信号線VLと制御信号線VUは、垂直走査回路51に接続される。垂直走査回路51は、接続される各制御信号線に独立に制御信号を供給する。
この制御信号は、転送電極54によって光電変換部からフローティングディフュージョン55に電荷を転送させるためのハイレベル信号と、転送電極54によって光電変換部とフローティングディフュージョン55の間に障壁を形成するためのローレベル信号とがある。
垂直走査回路51及び水平走査回路52は、図1に示した撮像素子駆動部10の指示にしたがって動作する。
撮像素子駆動部10は、固体撮像素子5に対して様々な駆動を行う。以下、固体撮像素子5の駆動方法について個別に説明する。
[全画素読み出し駆動]
全画素読み出し駆動は、固体撮像素子5に含まれる全ての画素セル53によって検出された信号を固体撮像素子5外部に個別に読み出す駆動である。
図4は、全画素読み出し駆動のタイミングチャートを示す図である。
垂直走査回路51は、画素セル行を1行目から順次選択していき、選択した画素セル行に対応する制御信号線にハイレベル信号を供給する。
これにより、選択されている画素セル行の各画素セル53の光電変換部に蓄積された電荷に応じた撮像信号が、当該各画素セル53に対応する信号出力回路58から信号線Hに出力される。
垂直走査回路51により選択された画素セル行の各画素セル53からの撮像信号が信号線Hに出力されると、この撮像信号が信号処理回路59によって処理されて保持される。そして、水平走査回路52は、スイッチ57を左から順次オンにしていく(水平走査を行う)。
これにより、オンされたスイッチ57を介して、信号処理回路59に保持された撮像信号が信号出力線OLから外部に順次出力され、1画素セル行分の撮像信号が固体撮像素子5外部に出力される。
1画素セル行分の撮像信号が固体撮像素子5外部に出力されると、垂直走査回路51は、選択した画素セル行に対応するフローティングディフュージョン55をリセットした後、次の画素セル行の選択に移る。
撮像素子駆動部10は、このような駆動を垂直走査回路51及び水平走査回路52に行わせて、固体撮像素子5に含まれる全ての画素セル53によって検出された撮像信号を固体撮像素子5外部に個別に読み出す。
全画素読み出し駆動によれば、固体撮像素子5に含まれる画素セル53の総数と同じ数の撮像信号を取得することができるため、高解像度の撮像画像データを生成することができる。
[2フィールド読み出し駆動]
2フィールド読み出し駆動は、固体撮像素子5に含まれる全ての画素セル53のうち、奇数行にある画素セル53と、偶数行にある画素セル53とでフィールドを別にして、固体撮像素子5外部に撮像信号を読み出す駆動である。
図5は、2フィールド読み出し駆動のタイミングチャートを示す図である。
第1フィールドにおいて、垂直走査回路51は、奇数行にある画素セル行を上にあるものから順次選択していき、選択した画素セル行に対応する制御信号線VLにハイレベル信号を供給する。
これにより、選択されている画素セル行の各画素セル53の光電変換部に蓄積された電荷に応じた撮像信号が、当該各画素セル53に対応する信号出力回路58から信号線Hに出力される。各信号線Hに出力された撮像信号は、水平走査によって、順次信号出力線OLから外部に出力される。
1画素セル行分の撮像信号が固体撮像素子5外部に出力されると、垂直走査回路51は、選択した画素セル行に対応するフローティングディフュージョン55をリセットした後、奇数行にある画素セル行の次の画素セル行の選択に移る。
垂直走査回路51により、奇数行にある画素セル行の1番下にあるものが選択され、その画素セル行からの撮像信号が固体撮像素子5外部に出力されると、第1フィールドが終了する。
続く第2フィールドにおいて、垂直走査回路51は、偶数行にある画素セル行を上にあるものから順次選択していき、選択した画素セル行に対応する制御信号線VUにハイレベル信号を供給する。
これにより、選択されている画素セル行の各画素セル53の光電変換部に蓄積された電荷に応じた撮像信号が、当該各画素セル53に対応する信号出力回路58から信号線Hに出力される。各信号線Hに出力された撮像信号は、水平走査によって、順次信号出力線OLから外部に出力される。
1画素セル行分の撮像信号が固体撮像素子5外部に出力されると、垂直走査回路51は、選択した画素セル行に対応するフローティングディフュージョン55をリセットした後、次の画素セル行の選択に移る。
垂直走査回路51により、偶数行にある画素セル行の1番下にあるものが選択され、その画素セル行からの撮像信号が固体撮像素子5外部に出力されると、第2フィールドが終了する。
撮像素子駆動部10は、このような駆動を垂直走査回路51及び水平走査回路52に行わせて、固体撮像素子5の奇数行にある画素セル53と偶数行にある画素セル53とから別々に撮像画像信号を読み出す。
2フィールド読み出し駆動は、第2フィールドにおいて、偶数行にある画素セル53から撮像信号を読み出すため、第1フィールドの間、偶数行にある画素セル53は露光を継続させることができる。つまり、奇数行と偶数行とで露光時間を変える駆動を撮像素子駆動部10が行うことができる。
この結果、奇数行にある画素セル53から取得した撮像画像信号と、偶数行にある画素セル53から取得した撮像画像信号とを合成することで、ダイナミックレンジを拡大した撮像画像信号を得ることができる。したがって、明暗差の大きい被写体であっても、その明暗差を忠実に再現した撮像画像データを生成することが可能になる。
[斜め2画素加算読み出し駆動]
斜め2画素加算読み出し駆動は、フローティングディフュージョン55を共用している2つの画素セル53の各々に含まれる光電変換部で発生した電荷を、当該フローティングディフュージョン55で加算し、加算後の電荷に応じた撮像信号を固体撮像素子5外部に出力させる駆動である。
図6は、斜め2画素加算読み出し駆動のタイミングチャートを示す図である。
垂直走査回路51は、画素セル行を上から順に2つずつ選択していく。そして、選択した2つの画素セル行に対応する制御信号線VL,VUにそれぞれハイレベル信号を供給する。
これにより、選択されている2つの画素セル行の各画素セル53の光電変換部に蓄積された電荷がフローティングディフュージョン55に同時に転送され、ここで加算され、加算後の電荷に応じた撮像信号が信号出力回路58から信号線Hに出力される。
各信号線Hに出力された撮像信号は、水平走査によって、順次信号出力線OLから外部に出力される。
2画素セル行分の撮像信号が固体撮像素子5外部に出力されると、垂直走査回路51は、選択した画素セル行に対応するフローティングディフュージョン55をリセットした後、次の2つの画素セル行の選択に移る。
斜め2画素加算読み出し駆動によれば、図7に示した矢印で結ばれる画素セル53同士の電荷を加算し、加算後の電荷に応じた撮像信号を出力することができる。この駆動では、フローティングディフュージョン55において電荷の加算が行われるため、高感度かつ高S/Nの撮像画像信号を得ることができる。
また、この駆動では、斜め方向に隣接する同一種類の画素セル53の電荷同士を加算するため、縦方向に隣接する同一種類の画素セルの電荷同士を加算する場合や、横方向に隣接する同一種類の画素セルの電荷同士を加算する場合と比較して、解像力を高めることができる。
[水平2画素加算平均読み出し駆動]
水平2画素加算平均読み出し駆動は、行方向Xにおいて隣接する同一種類の2つの画素セル53から読み出した撮像信号を固体撮像素子5内で加算平均し、加算平均後の撮像信号を固体撮像素子5外部に出力させる駆動である。
図8は、水平2画素加算平均読み出し駆動のタイミングチャートを示す図である。
第1フィールドにおいて、垂直走査回路51は、奇数行にある画素セル行を上から順次選択していく。そして、選択した画素セル行に対応する制御信号線VLにハイレベル信号を供給して、選択した画素セル行の各画素セル53の光電変換部からフローティングディフュージョン55に電荷を転送する。そして、各フローティングディフュージョン55に転送された電荷に応じた撮像信号が信号出力回路58から信号線Hに出力される。
水平走査回路52は、各信号線Hに撮像信号が出力されると、加算平均スイッチ56をオンにする。これにより、選択された画素セル行において行方向Xに隣接する同一種類の画素セル53から読み出された撮像信号を加算平均した信号が、加算平均スイッチ56に接続される2つの信号処理回路59の各々に入力される。そして、水平走査回路52は、スイッチ57を左から1つおきに順次オンにしていく。
これにより、オンされたスイッチ57を介して、信号処理回路59に保持された撮像信号(加算平均後のもの)が信号出力線OLから外部に順次出力され、1画素セル行分の撮像信号が固体撮像素子5外部に出力される。
1画素セル行分の撮像信号が固体撮像素子5外部に出力されると、垂直走査回路51は、選択した画素セル行に対応するフローティングディフュージョン55をリセットした後、次の画素セル行の選択に移る。
垂直走査回路51により、奇数行にある画素セル行の1番下にあるものが選択され、その画素セル行からの撮像信号が固体撮像素子5外部に出力されると、第1フィールドが終了する。
続く第2フィールドでは、垂直走査回路51は、偶数行にある画素セル行を上から順次選択していき、選択した画素セル行に対応する制御信号線VUにハイレベル信号を供給して、選択した画素セル行の各画素セル53の光電変換部からフローティングディフュージョン55に電荷を転送する。そして、各フローティングディフュージョン55に転送された電荷に応じた撮像信号が信号出力回路58から信号線Hに出力される。
水平走査回路52は、各信号線Hに撮像信号が出力されると、加算平均スイッチ56をオンにする。これにより、選択された画素セル行において行方向Xに隣接する同一種類の画素セル53から読み出された撮像信号を加算平均した信号が、加算平均スイッチ56に接続される2つの信号処理回路59の各々に入力される。そして、水平走査回路52は、スイッチ57を左から1つおきに順次オンにしていく。
これにより、オンされたスイッチ57を介して、信号処理回路59に保持された撮像信号(加算平均後のもの)が信号出力線OLから外部に順次出力され、1画素セル行分の撮像信号が固体撮像素子5外部に出力される。
1画素セル行分の信号が固体撮像素子5外部に出力されると、垂直走査回路51は、選択した画素セル行に対応するフローティングディフュージョン55をリセットした後、次の画素セル行の選択に移る。
垂直走査回路51により、偶数行にある画素セル行の1番下にあるものが選択され、その画素セル行からの撮像信号が固体撮像素子5外部に出力されると、第2フィールドが終了する。
なお、ここでは、2フィールドに分けて奇数行と偶数行から個別に撮像画像信号を読み出すものとしたが、1フィールドで全ての画素セル53から撮像画像信号を読み出してもよい。
つまり、垂直走査回路51は、全画素セル行を上から順次選択していく。そして、選択した画素セル行に対応する制御信号線VLにハイレベル信号を供給して、信号線Hに撮像信号を出力させた後、加算平均スイッチ56により加算平均を行わせて、各画素セル行から、その画素セル行に含まれる半分の画素セルに対応する撮像信号を得る。
水平2画素加算平均読み出し駆動によれば、図9に示した矢印で結ばれる画素セル53から得られる撮像信号同士を加算平均し、加算平均後の撮像信号を出力することができる。この駆動では、撮像信号の加算平均が行われるため、高S/Nの撮像画像信号を得ることができる。
また、この駆動では、加算平均後の撮像信号が、空間上で図9の○印で示した位置に配置されることになり、撮像信号の配列が所謂ハニカム配列となる。したがって、高解像度の撮像画像データを生成することが可能となる。
[4画素加算平均読み出し駆動]
4画素加算平均読み出し駆動は、各ユニットを構成する4つの画素セル53のうち、斜めに隣接する画素セル同士の電荷を加算し、その加算後の電荷に応じた撮像信号を、更に加算平均し、加算平均後の撮像信号を固体撮像素子5外部に出力させるものである。
図10は、4画素加算平均読み出し駆動のタイミングチャートを示す図である。
垂直走査回路51は、画素セル行を上から順に2つずつ選択していく。そして、選択した2つの画素セル行に対応する制御信号線VL,VUにそれぞれハイレベル信号を供給する。
これにより、選択されている2つの画素セル行の各画素セル53の光電変換部に蓄積された電荷がフローティングディフュージョン55に同時に転送され、ここで加算される。そして、加算後の電荷に応じた撮像信号が信号出力回路58から信号線Hに出力される。
水平走査回路52は、各信号線Hに撮像信号が出力されると、加算平均スイッチ56をオンにする。これにより、加算平均スイッチ56に接続された2つの信号線Hに出力された撮像信号(斜め2画素加算して得られたもの)の加算平均信号が、加算平均スイッチ56に接続される2つの信号処理回路59の各々に入力される。
そして、水平走査回路52は、スイッチ57を左から1つおきに順次オンにしていく。これにより、オンされたスイッチ57を介して、信号処理回路59に保持された撮像信号(加算平均後のもの)が信号出力線OLから外部に順次出力され、2画素セル行分の撮像信号が固体撮像素子5外部に出力される。
2画素セル行分の信号が固体撮像素子5外部に出力されると、垂直走査回路51は、選択した2つの画素セル行に対応するフローティングディフュージョン55をリセットした後、次の2つの画素セル行の選択に移る。以上の動作が繰り返される。
4画素加算平均読み出し駆動によれば、固体撮像素子5から出力される撮像画像信号が、アスペクト比の伸張及び圧縮のないベイヤ配置のものとなり、しかも、加算画素セル同士の間に他色を検出する画素セルが含まれないため、ジャギー、偽色の極めて少ない画像を得ることができる。
また、4画素加算平均読み出し駆動によれば、図11に示した太実線で結ばれる4つの画素セル53から得られる撮像信号同士を加算して2で割った撮像信号を出力することができる。この駆動では、電荷の加算と、撮像信号の加算平均とが行われるため、高S/Nの撮像画像信号を得ることができる。
また、4画素加算平均読み出し駆動によれば、画素セル行を2つずつ選択することと、加算平均スイッチ56をオンにすること
とを組み合わせることで4つの画素セル53に対応する撮像信号を得ることができるため、解像度の低い撮像画像信号を高速に読み出すことが可能になる。
次に、図1に示すデジタルカメラの動作について説明する。
図12は、図1に示すデジタルカメラの静止画撮影時の動作を説明するためのフローチャートである。
操作部14が操作されて静止画撮影モードが設定されると、撮像素子駆動部10は、固体撮像素子5によるライブビュー画像表示のための動画撮影を開始させる。ライブビュー画像とは、固体撮像素子5によって撮影している被写体像を、表示部23においてリアルタイムに確認するための画像である。
撮像素子駆動部10は、ライブビュー画像取得のための動画撮影時には、フレーム毎に4画素加算平均読み出し駆動を行って、固体撮像素子5から撮像画像信号を順次出力させる(ステップS1)。
固体撮像素子5から出力された撮像画像信号はデジタル信号処理部17によって処理され、処理後の撮像画像データに基づくライブビュー画像が表示部23に表示される。
ライブビュー画像のための動画撮影を開始した後、操作部14に含まれるシャッタボタンが例えば半押しされてAE(自動露出)・AF(自動焦点調節)の指示がなされると(ステップS2:YES)、システム制御部11は、当該指示がなされた時点で固体撮像素子5から出力された撮像画像信号を用いて、AE制御及びAF制御を行う(ステップS3)。例えば、AF制御は、コントラストAFにより行う。
ステップS3の後、シャッタボタンが全押しされて撮影指示があると(ステップS4:YES)、システム制御部11は、デジタルカメラに設定されている撮影ISO感度を判定する。
撮影ISO感度がISO400以下であった場合(ステップS5:YES)、システム制御部11は、静止画撮影のための露光開始と全画素読み出し駆動を撮像素子駆動部10に指示する。
この指示に応じて、撮像素子駆動部10は固体撮像素子5の露光を開始し(ステップS6)、露光終了後、全画素読み出し駆動を行う(ステップS7)。この駆動により、固体撮像素子5からは、全画素セル53に対応する撮像信号からなる撮像画像信号が出力される。
撮像画像信号が出力されると、デジタル信号処理部17がこれを処理して撮像画像データを生成する。生成された撮像画像データは、圧縮された後、記録媒体21に記録される(ステップS8)。これにより、ステップS4で行われた撮影指示に応じた静止画撮影が終了する。
デジタル信号処理部17が行う処理には、撮像画像信号を構成する各撮像信号を撮影ISO感度に応じたゲインで増幅する増幅処理も含まれる。撮影ISO感度がISO400以下のときには、増幅処理におけるゲインは小さいため、撮像信号に含まれるノイズが増幅されたとしてもその影響は小さい。
撮影ISO感度がISO400より大きくISO1600以下であった場合(ステップS9:YES)、システム制御部11は、静止画撮影のための露光開始と水平2画素加算平均読み出し駆動を撮像素子駆動部10に指示する。
この指示に応じて、撮像素子駆動部10は、固体撮像素子5の露光を開始し(ステップS10)、露光終了後、水平2画素加算平均読み出し駆動を行う(ステップS11)。
この駆動により、固体撮像素子5からは、全画素セル53の半分に対応する撮像信号からなる撮像画像信号が出力される。この撮像画像信号は、各撮像信号が2つの画素セル53で検出される撮像信号を加算平均したものになるため、ノイズが低減されている。
ステップS11の駆動によって撮像画像信号が出力されると、デジタル信号処理部17がこれを処理して撮像画像データを生成する。
前述したように、ステップS11の駆動によって得られる撮像画像信号の各撮像信号のノイズは低減されているため、デジタル信号処理部17での増幅処理によるノイズの増加は抑制される。この結果、高感度かつ低ノイズの撮像画像データがデジタル信号処理部17によって生成される。生成された撮像画像データは、圧縮された後、記録媒体21に記録される(ステップS8)。
撮影ISO感度がISO1600より大きい場合(ステップS9:NO)、システム制御部11は、静止画撮影のための露光開始と4画素加算平均読み出し駆動を撮像素子駆動部10に指示する。
この指示に応じて、撮像素子駆動部10は、固体撮像素子5の露光を開始し(ステップS12)、露光終了後、4画素加算平均読み出し駆動を行う(ステップS13)。
この駆動により、固体撮像素子5からは、全画素セル53の各ユニットに対応する撮像信号からなる撮像画像信号が出力される。この撮像画像信号は、各撮像信号が4つの画素セル53で検出される撮像信号を加算平均したものに相当するため、ノイズが低減されている。
ステップS13の駆動によって撮像画像信号が出力されると、デジタル信号処理部17がこれを処理して撮像画像データを生成する。
前述したように、ステップS12の駆動によって得られる撮像画像信号の各撮像信号のノイズは低減されているため、デジタル信号処理部17での増幅処理によるノイズの増加は抑制される。この結果、高感度かつ低ノイズの撮像画像データがデジタル信号処理部17によって生成される。生成された撮像画像データは、圧縮された後、記録媒体21に記録される(ステップS8)。
以上のように、撮像素子駆動部10が、撮影ISO感度の大きさが小さい順に、全画素読み出し駆動、水平2画素加算平均読み出し駆動、4画素加算平均読み出し駆動を選択して行うことで、どの撮影ISO感度であっても、ノイズを抑えた高画質の静止画像データを得ることができる。
なお、上記説明では撮影ISO感度に応じて駆動方法を変更するものとしたが、被写体の明るさに応じて駆動方法を変更してもよい。
例えば、被写体の明るさが第一の閾値未満であれば全画素読み出し駆動、第一の閾値以上第二の閾値未満であれば水平2画素加算平均読み出し駆動、第二の閾値以上であれば4画素加算平均読み出し駆動といった具合に、駆動方法を変更すればよい。
また、図12のステップS11では、水平2画素加算平均読み出し駆動の代わりに、斜め2画素加算読み出し駆動を行ってもよい。
この場合、固体撮像素子5から出力される撮像信号は、2つの画素セル53の撮像信号を加算したものに相当するため、水平2画素加算平均読み出し駆動を行ったときよりも感度が2倍になる。したがって、デジタル信号処理部17で行う増幅処理では、水平2画素加算平均読み出し駆動を行ったときに対してゲインを半分にした増幅処理を行えばよい。
このように、水平2画素加算平均読み出し駆動の代わりに、斜め2画素加算読み出し駆動を行った場合には、増幅処理におけるゲインを減らすことができるため、より低ノイズの静止画像データを生成することができる。
ここまでは静止画撮影時の動作を説明したが、動画撮影時には、システム制御部11が撮像素子駆動部10に対して4画素加算平均読み出し駆動又は水平2画素加算平均駆動を行わせることで、高フレームレートかつ高S/Nの動画を得ることができる。
図13は、図1に示すデジタルカメラの静止画撮影時の動作の変形例を説明するためのフローチャートである。図13において図12と同じ処理には同一符号を付して説明を省略する。
ステップS4:YESのとき、システム制御部11は、撮影指示があった時点で固体撮像素子5から取得した撮像画像信号を用いて、撮影中の被写体を分析する。
分析の結果、被写体において明暗差が所定値よりも大きい領域があった場合(ステップS20:YES)、システム制御部11は、画素セル53の奇数行と偶数行とで露光時間を変える駆動と、2フィールド読み出し駆動とを撮像素子駆動部10に指示する。
この指示に応じて、撮像素子駆動部10は、固体撮像素子5の奇数行の画素セル53と偶数行の画素セル53とで露光時間を変えて固体撮像素子5を露光する(ステップS21)。
露光終了後、撮像素子駆動部10は、図8に示したように、水平2画素加算平均読み出し駆動を2フィールドに分けて行う(ステップS22)。
ステップS22の駆動により、固体撮像素子5からは、奇数行の画素セル53の半数に対応する撮像信号からなる第一の撮像画像信号と、偶数行の画素セル53の半数に対応する撮像信号からなる第二の撮像画像信号とが出力される。
デジタル信号処理部17は、第一の撮像画像信号と第二の撮像画像信号における隣接する同色の撮像信号同士を加算してダイナミックレンジを拡大した撮像画像信号を生成する。そして、デジタル信号処理部17は、生成した撮像画像信号を処理して広ダイナミックレンジの撮像画像データを生成し、これを圧縮して記録媒体21に記録する(ステップS23)。
ステップS20における分析の結果、被写体において明暗差が所定値よりも大きい領域がなかった場合(ステップS20:NO)、システム制御部11は、画素セル53の露光開始と全画素読み出し駆動とを撮像素子駆動部10に指示する。
この指示に応じて、撮像素子駆動部10は、固体撮像素子5の露光を開始する(ステップS24)。ここでは、全画素セル53において露光時間が同一となるように露光を行う。
露光終了後、撮像素子駆動部10は、全画素読み出し駆動を行う(ステップS25)。この駆動により、固体撮像素子5からは、全画素セル53に対応する撮像信号からなる撮像画像信号が出力される。この撮像画像信号がデジタル信号処理部17により処理された撮像画像データが記録媒体21に記録される(ステップS23)。
以上のように、被写体の明暗差に応じて、水平2画素加算平均読み出し駆動と全画素読み出し駆動を切り替えることで、被写体に応じた最適な画質の撮像画像データを得ることができる。
なお、図13においてステップS20:NOのときは、システム制御部11が、撮影ISO感度や被写体の明るさに応じて、全画素読み出し駆動、水平2画素加算平均読み出し駆動又は斜め2画素加算読み出し駆動、4画素加算平均読み出し駆動のいずれかの実行を撮像素子駆動部10に指示するようにしてもよい。これにより、ノイズを抑えた撮像画像データを得ることができる。
図14は、図1に示すデジタルカメラにおける固体撮像素子5の変形例である固体撮像素子5aの平面図を示し、図3に対応する図である。図14では、画素セル53とその内部にある光電変換部以外の構成は省略している。
固体撮像素子5aは、行方向Xにおいて隣接する2つの同一種類の画素セル53において、光電変換部上方に設けるマイクロレンズを共通化したことを特徴としている。
図14に示すように、行方向Xにおいて隣接する2つの同一種類の画素セル53に対応して1つのマイクロレンズ60が設けられている。
マイクロレンズ60は、対応する2つの光電変換部の上方に、この2つの光電変換部に跨って設けられている。
図14においてマイクロレンズ60以外の領域は図示しない遮光膜によって遮光される。また、マイクロレンズ60は、これに対応しない光電変換部と一部重なっているが、この重なっている部分についても遮光膜によって遮光される。
マイクロレンズ60の下方にある2つの光電変換部は、それぞれ、撮影レンズ1の異なる瞳領域を通過した光束を受光するものとなる。このため、各マイクロレンズ60下方の2つの光電変換部の一方によって撮像される第一の光学像と、当該2つの光電変換部の他方によって撮像される第二の光学像とにはズレ(位相差)が生じる。
したがって、第一の光学像と第二の光学像のズレ量から撮影レンズ1の合焦状態を検出することができる。また、第一の光学像と第二の光学像は、同一被写体を異なる視点で見たときの像に相当するため、この2つの光学像によって立体視可能な立体画像を撮像することも可能になる。
図15は、図14に示す固体撮像素子5aの変形例である固体撮像素子5bの平面図である。
固体撮像素子5bは、各画素セル53の光電変換部上方には1つのマイクロレンズが設けられているが、行方向Xにおいて隣接する2つの同一種類の画素セル53のうち、左側の画素セル53における光学開口61を、当該左側の画素セル53のマイクロレンズ中心に対して右側に偏心させている。例えば、光電変換部上方に設けられる遮光膜の開口領域をマイクロレンズの中心から右側にのみ設けている。
また、右側の画素セル53における光学開口61を、当該右側の画素セル53のマイクロレンズ中心に対して左側に偏心させている。光学開口61は、画素セル53に含まれる光電変換部において光が当たる領域のことを示す。例えば、光電変換部上方に設けられる遮光膜の開口領域をマイクロレンズの中心から左側にのみ設けている。
この構成により、行方向Xにおいて隣接する2つの同一種類の画素セル53に含まれる2つの光電変換部は、それぞれ、撮影レンズ1の異なる瞳領域を通過した光束を受光するものとなる。
このため、光学開口61が右側に偏心した画素セル53によって撮像される光学像と、光学開口61が左側に偏心した画素セル53によって撮像される光学像とにはズレ(位相差)が生じる。
したがって、固体撮像素子5bも、固体撮像素子5aと同様に、撮影レンズ1の合焦状態を検出や、立体画像の撮像が可能になる。
次に、固体撮像素子5の代わりに、固体撮像素子5aや固体撮像素子5bを搭載するデジタルカメラの動作について説明する。
図16は、図1に示す固体撮像素子5として固体撮像素子5aや固体撮像素子5bを搭載するデジタルカメラの動作を説明するためのフローチャートである。
このデジタルカメラでは、同一被写体に対して異なる視点から撮影して得られる2つの撮像画像データを立体画像データとして記録媒体21に記録できる3D撮影モードと、同一被写体に対して1つの視点から撮影して得られる1つの撮像画像データを記録媒体21に記録できる2D撮影モードとを設定できる。また、各撮影モードにおいて、動画撮影と静止画撮影を行うことができる。
また、このデジタルカメラに搭載される液晶表示部23は、視差のある2つの撮影画像データを立体視可能に表示することができるものとなっている。
3Dモードが設定されると(ステップS30:3D)、システム制御部11は、固体撮像素子5a(5b)によるライブビュー画像表示のための動画撮影を開始させる。
撮像素子駆動部10は、ライブビュー画像取得のための3D動画撮影時には、フレーム毎に斜め2画素加算読み出し駆動を行って、固体撮像素子5a(5b)から撮像画像信号を順次出力させる。
この駆動によって固体撮像素子5a(5b)から出力される撮像画像信号は、画素セル53(1),53(3)に対応する撮像信号からなる右眼用撮像画像信号と、画素セル53(2),53(4)に対応する撮像信号からなる左眼用撮像画像信号とを含む。右眼用撮像画像信号と左眼用撮像画像信号は、同一被写体を異なる視点から撮影して得たものに相当する。
デジタル信号処理部17は、この右眼用撮像画像信号を処理して右眼用撮像画像データを生成し、この左眼用撮像画像信号を処理して左眼用撮像画像データを生成する。生成された2つの撮像画像データは、表示制御部22の制御によって、立体視可能に表示部23に表示される(ステップS31)。このような処理によって、表示部23には、立体視可能なライブビュー画像が表示される。
ライブビュー画像撮影中にAE・AFの指示がなされると(ステップS32:YES)、システム制御部11は、その指示がなされた時点で取得した右眼用画像データ及び左眼用画像データを用いてAE制御及びAF制御を行う(ステップS33)。AF制御を行うための合焦状態の検出は、右眼用画像データ及び左眼用画像データの位相差を検出することで行う。
システム制御部11がAE制御及びAF制御を行った後、撮影指示がなされると(ステップS34:YES)、その指示が静止画撮影指示であった場合(ステップS35:静止画)は、システム制御部11が、固体撮像素子5a(5b)の露光開始と全画素読み出し駆動とを、撮像素子駆動部10に指示する。
この指示に応じて、撮像素子駆動部10は、固体撮像素子5の露光を開始し、露光終了後、全画素読み出し駆動を行う(ステップS36)。
ステップS36の駆動によって固体撮像素子5a(5b)から出力される撮像画像信号は、画素セル53(1),53(3)に対応する右眼用撮像画像信号と、画素セル53(2),53(4)に対応する左眼用撮像画像信号とを含む。これらの右眼用撮像画像信号及び左眼用撮像画像信号は、それぞれ、画素セル53の総数の半分の数の撮像信号から構成される。
デジタル信号処理部17は、この右眼用撮像画像信号を処理して右眼用撮像画像データを生成し、この左眼用撮像画像信号を処理して左眼用撮像画像データを生成する。
デジタル信号処理部17は、生成した右眼用撮像画像データ及び左眼用撮像画像データを互いに関連付けて立体画像データとして生成し、これを記録媒体21に記録する(ステップS37)。
この立体画像データは、例えば、カメラ映像機器工業会(CIPA)の規格であるMPO形式のデータである。ステップS37の後、システム制御部11は処理をステップS31に戻す。
ステップS34で行われた撮影指示が動画記録の指示であった場合(ステップS35:動画)は、システム制御部11が、固体撮像素子5a(5b)の露光開始と、斜め2画素加算読み出し駆動とを、撮像素子駆動部10に指示する。
この指示に応じて、撮像素子駆動部10は、固体撮像素子5の露光を開始し、露光終了後、斜め2画素加算読み出し駆動を行う(ステップS38)。撮像素子駆動部10は、動画の各フレームにおいてこのような駆動を行う。
ステップS38の駆動によって固体撮像素子5a(5b)から出力される撮像画像信号は、画素セル53(1),53(3)に対応する右眼用撮像画像信号と、画素セル53(2),53(4)に対応する左眼用撮像画像信号とを含む。これらの右眼用撮像画像信号及び左眼用撮像画像信号は、それぞれ、全画素セル53の半分の数の撮像信号から構成される。
デジタル信号処理部17は、この右眼用撮像画像信号を処理して右眼用撮像画像データを生成し、この左眼用撮像画像信号を処理して左眼用撮像画像データを生成する。デジタル信号処理部17は、生成した右眼用撮像画像データ及び左眼用撮像画像データを互いに関連付けて立体画像データとして生成し、これを記録媒体21に記録する(ステップS39)。
システム制御部11は、動画の記録を終了する指示がなされるまでステップS38,39の処理を繰り返し行い、動画の記録を終了する指示がなされると(ステップS40:YES)、処理をステップS31に戻す。
ステップS30において2Dモードが設定されていた場合(ステップS30:2D)、システム制御部11は、固体撮像素子5a(5b)によるライブビュー画像表示のための動画撮影を開始させる。
撮像素子駆動部10は、ライブビュー画像取得のための2D動画撮影時には、フレーム毎に4画素加算平均読み出し駆動を行って、固体撮像素子5a(5b)から撮像画像信号を順次出力させる。
この駆動によって固体撮像素子5a(5b)から出力される撮像画像信号は、同一被写体を1つの視点から撮影して得られるものに相当する。
デジタル信号処理部17は、この撮像画像信号を処理して撮像画像データを生成する。生成された撮像画像データは、表示制御部22の制御によって、表示部23に表示される(ステップS41)。このような処理によって、表示部23には、非立体のライブビュー画像が表示される。
ライブビュー画像撮影中にAE・AFの指示がなされると(ステップS42:YES)、システム制御部11は、その指示がなされた時点で取得した撮像画像信号を用いてAE制御及びAF制御を行う(ステップS43)。このAF制御はコントラストAFにより行う。
システム制御部11がAE制御及びAF制御を行った後、撮影指示がなされると(ステップS44:YES)、その指示が静止画撮影指示であった場合(ステップS45:静止画)は、システム制御部11が、固体撮像素子5a(5b)の露光開始と水平2画素加算平均読み出し駆動とを、撮像素子駆動部10に指示する。
この指示に応じて、撮像素子駆動部10は、固体撮像素子5の露光を開始し、露光終了後、水平2画素加算平均読み出し駆動を行う(ステップS46)。
ステップS46の駆動によって固体撮像素子5a(5b)から出力される撮像画像信号は、同一被写体を1つの視点から撮影して得られるものに相当する。
デジタル信号処理部17は、この撮像画像信号を処理して撮像画像データを生成し、これを記録媒体21に記録する(ステップS47)。ステップS47の後、システム制御部11は処理をステップS41に戻す。
ステップS44で行われた撮影指示が動画記録の指示であった場合(ステップS45:動画)は、システム制御部11が、固体撮像素子5a(5b)の露光開始と、4画素加算平均読み出し駆動とを、撮像素子駆動部10に指示する。
この指示に応じて、撮像素子駆動部10は、固体撮像素子5の露光を開始し、露光終了後、4画素加算平均読み出し駆動を行う(ステップS48)。撮像素子駆動部10は、動画の各フレームにおいてこのような駆動を行う。
ステップS48の駆動によって固体撮像素子5a(5b)から出力される撮像画像信号は、同一被写体を1つの視点から撮影して得られるものに相当する。
デジタル信号処理部17は、この撮像画像信号を処理して撮像画像データを生成し、生成した撮像画像データを動画の1フレームとして記録媒体21に記録する(ステップS49)。
システム制御部11は、動画の記録を終了する指示がなされるまでステップS48,49の処理を繰り返し行い、動画の記録を終了する指示がなされると(ステップS50:YES)、処理をステップS41に戻す。
図16に示したステップS36の処理の代わりに、図17に示した処理を行ってもよい。
つまり、システム制御部11は、撮影指示がなされた時点で取得した撮像画像データを分析し、明暗差が所定値よりも大きい領域があった場合には(ステップS360:YES)、画素セル53の奇数行と偶数行とで露光時間を変える駆動を撮像素子駆動部10に行わせる(ステップS361)。
そして、露光終了後は、撮像素子駆動部10が2フィールド読み出し駆動を行わせて、奇数行の画素セル53に対応する撮像画像信号と、偶数行の画素セル53に対応する撮像画像信号とを独立に出力させる(ステップS362)。
ステップS362の後は、デジタル信号処理部17が、奇数行の画素セル53に対応する撮像画像信号と、偶数行の画素セル53に対応する撮像画像信号とについて、フローティングディフュージョン55を共有している2つの画素セル53から得られた撮像信号同士を加算する処理を行う。
これにより、ダイナミックレンジの拡大された撮像画像信号が得られる。デジタル信号処理部17は、この撮像画像信号を処理して右眼用画像データと左眼用画像データを生成し、これらを関連付けた立体画像データを生成する。そして、ステップS37において、立体画像データを記録媒体21に記録する。
ステップS360での分析の結果、明暗差が所定値よりも大きい領域がない場合(ステップS360:NO)は、システム制御部11は、全画素セル53を同一の露光時間で露光させ(ステップS363)、露光終了後、斜め2画素加算読み出し駆動を行わせる。
この駆動によって固体撮像素子5a(5b)から出力される撮像画像信号から立体画像データが生成され、この立体画像データがステップS37において記録媒体21に記録される。
なお、図17のステップS364では、全画素読み出し駆動を行わせるようにしてもよい。
同様に、図16に示したステップS46の処理の代わりに、図18に示した処理を行ってもよい。
つまり、システム制御部11は、撮影指示がなされた時点で取得した撮像画像データを分析し、明暗差が所定値よりも大きい領域があった場合には(ステップS460:YES)、画素セル53の奇数行と偶数行とで露光時間を変える駆動を撮像素子駆動部10に行わせる(ステップS461)。
そして、露光終了後は、撮像素子駆動部10が水平2画素加算平均読み出し駆動を2フィールドに分けて行わせて、奇数行の画素セル53に対応する撮像画像信号と、偶数行の画素セル53に対応する撮像画像信号とを独立に出力させる(ステップS462)。
ステップS462の後は、デジタル信号処理部17が、奇数行の画素セル53に対応する撮像画像信号と、偶数行の画素セル53に対応する撮像画像信号とについて、同じユニットから得られた撮像信号同士を加算する処理を行う。
これにより、ダイナミックレンジの拡大された撮像画像信号が得られる。デジタル信号処理部17は、この撮像画像信号を処理して撮像画像データを生成し、ステップS37において、この撮像画像データを記録媒体21に記録する。
ステップS460での分析の結果、明暗差が所定値よりも大きい領域がない場合(ステップS460:NO)は、システム制御部11は、全画素セル53を同一の露光時間で露光させ(ステップS463)、露光終了後、4画素加算平均読み出し駆動を行わせる。この駆動によって固体撮像素子5a(5b)から出力される撮像画像信号から撮像画像データが生成され、この撮像画像データがステップS37において記録媒体21に記録される。
なお、図18のステップS464では、水平2画素加算平均読み出し駆動を行うようにしてもよい。
以上のように、固体撮像素子5a(5b)を搭載するデジタルカメラによれば、3D動画撮影、3D静止画撮影、2D動画撮影、2D静止画撮影を駆動方法の変更のみで簡単に切り替えることが可能になる。
また、固体撮像素子5aによれば、画素セル53(1)及び画素セル53(2)に対し、画素セル53(3)及び画素セル53(4)が斜め方向にずれた位置に配置されているため、図14に示すように、マイクロレンズ60を略円形にして敷き詰めることができる。
固体撮像素子5aにおいて、偶数行の画素セル行を左側に1画素セル分ずらした構成にすると、マイクロレンズ60は、行方向Xに細長い形状にする必要があるため、汎用の製造方法を採用することができなくなり、製造コストが増大する。
固体撮像素子5aによれば汎用の製造方法をそのまま採用することができるため、製造コストを削減することができる。また、マイクロレンズ60が略円状にできることで、光学特性も安定し、撮像画像の品質向上を図ることができる。
固体撮像素子5,5a,5bでは、画素セル53(1)及び画素セル53(2)に対し、画素セル53(3)及び画素セル53(4)が斜め方向にずれた位置に配置されているため、図8に示した水平2画素加算平均駆動を行った場合に得られる撮像画像信号の各撮像信号の空間配列が、図9の○印に示したようにハニカム配列となる。この結果、画素セルの信号加算を行う場合でも、高解像度の撮像画像データを得ることができる。
以上の説明では、固体撮像素子に含まれる全ての画素セル53を信号読み出しの対象としたが、信号読み出しの対象となる画素セルは、撮像画像データに必要な画素数や動画のフレームレート等に応じて決めることができる。例えば、HD動画等を撮影する場合には、固体撮像素子の中央にある一部の画素セルのみを信号読み出し対象とすればよい。
次に、撮像装置としてスマートフォンの構成について説明する。
図19は、本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。図19に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図20は、図19に示すスマートフォン200の構成を示すブロック図である。図20に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部220の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部204は、主制御部220の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro−Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
図19に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体201の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部211は、スピーカ205やマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。また、図19に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
操作部207は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図19に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部212は、主制御部220の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達することや、スマートフォン200の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部214は、無線通信部210や外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部215は、例えば、3軸の加速度センサなどを備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向や加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部220は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部220は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
更に、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部208は、図1に示したデジタルカメラにおける外部メモリ制御部20、記録媒体21、表示制御部22、表示部23、及び操作部14以外の構成を含む。カメラ部208によって生成された撮像画像データは、記憶部212に記録したり、入出力部213や無線通信部210を通じて出力したりすることができる。図19に示すにスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示することや、操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用することができる。また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。更には、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等などを付加して記録部212に記録したり、入出力部213や無線通信部210を通じて出力したりすることもできる。
以上のような構成のスマートフォン200において、主制御部220が、図1に示したデジタルカメラ1のシステム制御部11と同じ処理を行うことで、立体画像を拡大する際の観察者への負担を軽減することができる。
以上説明したように、本明細書には以下の事項が開示されている。
開示された固体撮像素子は、緑色光を検出する光電変換部を含むG画素セル、赤色光を検出する光電変換部を含むR画素セル、及び青色光を検出する光電変換部を含むB画素セルの3種類の画素セルを含む複数の画素セルが二次元状に配置された固体撮像素子であって、前記複数の画素セルの配置は、行方向に一定ピッチで配列された複数の画素セルからなる画素セル行が前記行方向に直交する列方向に並べられた配置であり、奇数行の前記画素セル行と偶数行の前記画素セル行は、前記行方向における前記画素セルの配列ピッチ分、前記行方向にずれており、奇数行にある第一画素セル群と偶数行にある第二画素セル群は、それぞれ、G画素セルとR画素セルが2つずつ交互に前記行方向に並べられた第一画素セル行と、B画素セルとG画素セルが2つずつ交互に前記行方向に並べられた第二画素セル行とが、前記列方向に交互に並べられた構成であり、前記第一画素セル群と前記第二画素セル群の各々において、前記第二画素セル行に含まれる画素セルのうち、前記第一画素セル行における前記R画素セルの位置と対応する位置にある画素セルは前記G画素セルであり、前記第一画素セル行における前記G画素セルの位置と対応する位置にある画素セルは前記B画素セルであり、前記列方向で隣り合う2つの前記第一画素セル行、及び、前記列方向で隣り合う2つの前記第二画素セル行の各々において、各画素セルの位置から、前記行方向における前記画素セルの配列ピッチ分前記行方向にずれ、更に前記列方向における前記画素セルの配列ピッチ分前記列方向にずれた位置には、当該各画素セルと同一種類の画素セルが配置されており、当該各画素セルと、当該各画素セルと同一種類の画素セルとにより画素セルのペアが構成され、前記画素セルに対応して設けられ、前記画素セル内の前記光電変換部で発生した電荷が蓄積される電荷蓄積部及び当該電荷蓄積部に蓄積される電荷に応じた信号を出力する信号出力回路を備え、前記第一画素セル群の各画素セルに対応する前記電荷蓄積部及び前記信号出力回路と、当該各画素セルとペアを構成する画素セルに対応する前記電荷蓄積部及び前記信号出力回路とは共通化されているものである。
この構成によれば、第一画素セル群の各画素セルの信号と、当該各画素セルの位置から行方向における前記画素セルの配列ピッチ分前記行方向にずれ、更に前記列方向における前記画素セルの配列ピッチ分前記列方向にずれた位置にある画素セルの信号とを加算しても、各加算後の信号の空間位置は重複しないため、高解像度の撮像画像データを生成することが可能になる。
また、第一画素セル群の各画素セルの信号と、当該各画素セルの位置から、行方向に1画素セルピッチずれた位置にある画素セルの信号とを加算した場合は、ハニカム配列の撮像画像信号を得ることが可能になる。この結果、高解像度の撮像画像データを生成することが可能になる。
また、上記加算を固体撮像素子内で行うことで撮像画像信号の読み出しの高速化も図ることが可能になる。
また、第一画素セル群の各画素セルと、当該各画素セルとペアを構成する画素セルの信号同士を電荷の状態で加算することができ、高感度低ノイズの撮像画像データを生成することが可能になる。また、撮像画像信号の読み出しの高速化も図ることができる。
開示された固体撮像素子は、前記行方向に隣接する同一種類の画素セルに対応する前記信号出力回路から出力される信号を加算平均する加算平均部を備えるものである。
この構成により、第一画素セル群において行方向に隣接する同一種類の画素セルの信号同士の加算平均を得ることができ、低ノイズの撮像画像データの生成が可能になる。また、第一画素セル群において行方向に隣接する同一種類の画素セルと、この2つの画素セルの各々に対し行方向に1画素セルピッチずれ更に列方向に1画素セル行ピッチずれた位置にある画素セルとの4つの画素セルの信号を固体撮像素子内で加算することもでき、高速読み出しが可能になる。
開示された固体撮像素子は、同一画素セル行において隣接する2つの同一種類の画素セルは、それぞれ、前記固体撮像素子の前方に配置される撮影光学系の異なる瞳領域を通過する光を検出するものを含む
開示された固体撮像素子は、前記2つの同一種類の画素セルの各々における前記光電変換部上方には、当該2つの光電変換部に跨って略円状のマイクロレンズが設けられるものである。
開示された撮像装置は、前記固体撮像素子と、前記固体撮像素子を駆動する駆動部とを備え、前記駆動部は、同一画素セル行において隣接する2つの同一種類の画素セルの各々の前記光電変換部で発生した電荷に応じた撮像信号を前記加算平均部において加算平均し、当該加算平均後の撮像信号を前記固体撮像素子から出力させる水平2画素加算平均読み出し駆動と、前記電荷蓄積部が共通化されている2つの画素セルの前記光電変換部から当該光電変換部に対応する前記電荷蓄積部に電荷を同時に転送させて当該電荷を加算させ、当該加算後の電荷に応じた撮像信号を前記加算平均部において加算平均し、当該加算平均後の撮像信号を前記固体撮像素子から出力させる4画素加算平均読み出し駆動と、前記電荷蓄積部が共通化されている2つの画素セルの前記光電変換部から当該光電変換部に対応する前記電荷蓄積部に電荷を同時に転送させて当該電荷を加算させ、当該加算後の電荷に応じた撮像信号を前記固体撮像素子から出力させる斜め2画素加算読み出し駆動と、各画素セルの前記光電変換部に蓄積された電荷に応じた信号を個別に出力させる全画素読み出し駆動と、の少なくとも1つを行うものである。
開示された撮像装置は、前記駆動部が、動画撮影時には前記4画素加算平均読み出し駆動又は前記水平2画素加算平均読み出し駆動を行い、静止画撮影時には少なくとも前記全画素読み出し駆動を行うものである。
開示された撮像装置は、前記駆動部が、静止画撮影時には、撮影ISO感度又は被写体明るさに応じて、前記全画素読み出し駆動、及び、前記水平2画素加算平均読み出し駆動又は前記斜め2画素加算読み出し駆動と前記4画素加算平均読み出し駆動との少なくとも一方、のいずれかを行うものである。
開示された撮像装置は、前記固体撮像素子の同一画素セル行において隣接する2つの同一種類の画素セルは、それぞれ、前記固体撮像素子の前方に配置される撮影光学系の異なる瞳領域を通過する光を検出するものであり、前記駆動部は、立体画像撮影時には、前記全画素読み出し駆動又は前記斜め2画素加算読み出し駆動を行い、非立体画像撮影時には、前記水平2画素加算平均読み出し駆動又は前記4画素加算平均読み出し駆動を行うものである。
開示された撮像装置は、前記駆動部が、立体動画像撮影時には前記斜め2画素加算駆動を行い、立体静止画撮影時には前記全画素読み出し駆動又は前記斜め2画素加算読み出し駆動を行い、非立体動画像撮影時には前記4画素加算平均読み出し駆動を行い、非立体静止画像撮影時には前記水平2画素加算平均読み出し駆動又は前記4画素加算平均読み出し駆動を行うものである。
開示された撮像装置は、前記駆動部が、更に、前記第一画素セル群の各画素セルと、前記第二画素セル群の各画素セルとで露光時間を変える露光時間差駆動と、前記第一画素セル群又は前記第二画素セル群に対して前記水平2画素加算平均読み出し駆動を行って撮像画像信号を前記固体撮像素子から出力させた後、前記第二画素セル群又は前記第一画素セル群に対して前記水平2画素加算平均読み出し駆動を行って撮像画像信号を前記固体撮像素子から出力させる水平2画素加算2フィールド読み出し駆動と、を行うものである。
開示された撮像装置は、前記駆動部が、更に、前記第一画素セル群の各画素セルと、前記第二画素セル群の各画素セルとで露光時間を変える露光時間差駆動と、前記第一画素セル群又は前記第二画素セル群に対して前記水平2画素加算平均読み出し駆動を行って撮像画像信号を前記固体撮像素子から出力させた後、前記第二画素セル群又は前記第一画素セル群に対して前記水平2画素加算平均読み出し駆動を行って撮像画像信号を前記固体撮像素子から出力させる水平2画素加算2フィールド読み出し駆動と、前記第一画素セル群又は前記第二画素セル群からの撮像画像信号を前記固体撮像素子から出力させた後、前記第二画素セル群又は前記第一画素セル群からの撮像画像信号を前記固体撮像素子から出力させる全画素2フィールド読み出し駆動と、を行うものであり、
前記駆動部は、立体静止画像撮影時において被写体の明暗差が所定値よりも大きいときに前記露光時間差駆動及び前記全画素2フィールド読み出し駆動を行い、非立体静止画像撮影時において被写体の明暗差が前記所定値よりも大きいときに前記露光時間差駆動及び前記水平2画素加算2フィールド読み出し駆動を行うものである。
開示された固体撮像素子の駆動方法は、前記固体撮像素子を駆動する駆動方法であって、同一画素セル行において隣接する2つの同一種類の画素セルの各々の前記光電変換部で発生した電荷に応じた撮像信号を前記加算平均部において加算平均し、当該加算平均後の撮像信号を前記固体撮像素子から出力させる水平2画素加算平均読み出し駆動と、前記電荷蓄積部が共通化されている2つの画素セルの前記光電変換部から当該光電変換部に対応する前記電荷蓄積部に電荷を同時に転送させて当該電荷を加算させ、当該加算後の電荷に応じた撮像信号を前記加算平均部において加算平均し、当該加算平均後の撮像信号を前記固体撮像素子から出力させる4画素加算平均読み出し駆動と、前記電荷蓄積部が共通化されている2つの画素セルの前記光電変換部から当該光電変換部に対応する前記電荷蓄積部に電荷を同時に転送させて当該電荷を加算させ、当該加算後の電荷に応じた撮像信号を前記固体撮像素子から出力させる斜め2画素加算読み出し駆動と、各画素セルの前記光電変換部に蓄積された電荷に応じた信号を個別に出力させる全画素読み出し駆動と、の少なくとも1つを行うものである。
本発明によれば、高画質の動画撮影と静止画撮影を両立させることのできる撮像装置を提供することができる。
以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、2012年3月28日出願の日本特許出願(特願2012−074310)に基づくものであり、その内容はここに取り込まれる。
5 固体撮像素子
50 画素セル領域
51 垂直走査回路
52 水平走査回路
53 画素セル

Claims (12)

  1. 緑色光を検出する光電変換部を含むG画素セル、赤色光を検出する光電変換部を含むR画素セル、及び青色光を検出する光電変換部を含むB画素セルの3種類の画素セルを含む複数の画素セルが二次元状に配置された固体撮像素子であって、
    前記複数の画素セルの配置は、行方向に一定ピッチで配列された複数の画素セルからなる画素セル行が前記行方向に直交する列方向に並べられた配置であり、
    奇数行の前記画素セル行と偶数行の前記画素セル行は、前記行方向における前記画素セルの配列ピッチ分、前記行方向にずれており、
    奇数行にある第一画素セル群と偶数行にある第二画素セル群は、それぞれ、G画素セルとR画素セルが2つずつ交互に前記行方向に並べられた第一画素セル行と、B画素セルとG画素セルが2つずつ交互に前記行方向に並べられた第二画素セル行とが、前記列方向に交互に並べられた構成であり、
    前記第一画素セル群と前記第二画素セル群の各々において、前記第二画素セル行に含まれる画素セルのうち、前記第一画素セル行における前記R画素セルの位置と対応する位置にある画素セルは前記G画素セルであり、前記第一画素セル行における前記G画素セルの位置と対応する位置にある画素セルは前記B画素セルであり、
    前記列方向で隣り合う2つの前記第一画素セル行、及び、前記列方向で隣り合う2つの前記第二画素セル行の各々において、各画素セルの位置から、前記行方向における前記画素セルの配列ピッチ分前記行方向にずれ、更に前記列方向における前記画素セルの配列ピッチ分前記列方向にずれた位置には、当該各画素セルと同一種類の画素セルが配置されており、
    当該各画素セルと、当該各画素セルと同一種類の画素セルとにより画素セルのペアが構成され、
    前記画素セルに対応して設けられ、前記画素セル内の前記光電変換部で発生した電荷が蓄積される電荷蓄積部及び当該電荷蓄積部に蓄積される電荷に応じた信号を出力する信号出力回路を備え、前記第一画素セル群の各画素セルに対応する前記電荷蓄積部及び前記信号出力回路と、当該各画素セルとペアを構成する画素セルに対応する前記電荷蓄積部及び前記信号出力回路とは共通化されている固体撮像素子。
  2. 請求項1記載の固体撮像素子であって、
    前記行方向に隣接する同一種類の画素セルに対応する前記信号出力回路から出力される信号を加算平均する加算平均部を備える固体撮像素子。
  3. 請求項1又は2記載の固体撮像素子であって、
    同一画素セル行において隣接する2つの同一種類の画素セルは、それぞれ、前記固体撮像素子の前方に配置される撮影光学系の異なる瞳領域を通過する光を検出するものである固体撮像素子。
  4. 請求項3記載の固体撮像素子であって、
    前記2つの同一種類の画素セルの各々における前記光電変換部上方には、当該2つの光電変換部に跨って略円状のマイクロレンズが設けられる固体撮像素子。
  5. 請求項2記載の固体撮像素子と、
    前記固体撮像素子を駆動する駆動部とを備え、
    前記駆動部は、
    同一画素セル行において隣接する2つの同一種類の画素セルの各々の前記光電変換部で発生した電荷に応じた撮像信号を前記加算平均部において加算平均し、当該加算平均後の撮像信号を前記固体撮像素子から出力させる水平2画素加算平均読み出し駆動と、
    前記電荷蓄積部が共通化されている2つの画素セルの前記光電変換部から当該光電変換部に対応する前記電荷蓄積部に電荷を同時に転送させて当該電荷を加算させ、当該加算後の電荷に応じた撮像信号を前記加算平均部において加算平均し、当該加算平均後の撮像信号を前記固体撮像素子から出力させる4画素加算平均読み出し駆動と、
    前記電荷蓄積部が共通化されている2つの画素セルの前記光電変換部から当該光電変換部に対応する前記電荷蓄積部に電荷を同時に転送させて当該電荷を加算させ、当該加算後の電荷に応じた撮像信号を前記固体撮像素子から出力させる斜め2画素加算読み出し駆動と、
    各画素セルの前記光電変換部に蓄積された電荷に応じた信号を個別に出力させる全画素読み出し駆動と、の少なくとも1つを行う撮像装置。
  6. 請求項5記載の撮像装置であって、
    前記駆動部は、動画撮影時には前記4画素加算平均読み出し駆動又は前記水平2画素加算平均読み出し駆動を行い、静止画撮影時には少なくとも前記全画素読み出し駆動を行う撮像装置。
  7. 請求項5記載の撮像装置であって、
    前記駆動部は、静止画撮影時には、撮影ISO感度又は被写体明るさに応じて、前記全画素読み出し駆動、及び、前記水平2画素加算平均読み出し駆動又は前記斜め2画素加算読み出し駆動と前記4画素加算平均読み出し駆動との少なくとも一方、のいずれかを行う撮像装置。
  8. 請求項5記載の撮像装置であって、
    前記固体撮像素子の同一画素セル行において隣接する2つの同一種類の画素セルは、それぞれ、前記固体撮像素子の前方に配置される撮影光学系の異なる瞳領域を通過する光を検出するものであり、
    前記駆動部は、立体画像撮影時には、前記全画素読み出し駆動又は前記斜め2画素加算読み出し駆動を行い、非立体画像撮影時には、前記水平2画素加算平均読み出し駆動又は前記4画素加算平均読み出し駆動を行う撮像装置。
  9. 請求項8記載の撮像装置であって、
    前記駆動部は、立体動画像撮影時には前記斜め2画素加算駆動を行い、立体静止画撮影時には前記全画素読み出し駆動又は前記斜め2画素加算読み出し駆動を行い、非立体動画像撮影時には前記4画素加算平均読み出し駆動を行い、非立体静止画像撮影時には前記水平2画素加算平均読み出し駆動又は前記4画素加算平均読み出し駆動を行う撮像装置。
  10. 請求項5〜7のいずれか1項記載の撮像装置であって、
    前記駆動部は、更に、前記第一画素セル群の各画素セルと、前記第二画素セル群の各画素セルとで露光時間を変える露光時間差駆動と、前記第一画素セル群又は前記第二画素セル群に対して前記水平2画素加算平均読み出し駆動を行って撮像画像信号を前記固体撮像素子から出力させた後、前記第二画素セル群又は前記第一画素セル群に対して前記水平2画素加算平均読み出し駆動を行って撮像画像信号を前記固体撮像素子から出力させる水平2画素加算2フィールド読み出し駆動と、を行う撮像装置。
  11. 請求項8又は9記載の撮像装置であって、
    前記駆動部は、更に、前記第一画素セル群の各画素セルと、前記第二画素セル群の各画素セルとで露光時間を変える露光時間差駆動と、前記第一画素セル群又は前記第二画素セル群に対して前記水平2画素加算平均読み出し駆動を行って撮像画像信号を前記固体撮像素子から出力させた後、前記第二画素セル群又は前記第一画素セル群に対して前記水平2画素加算平均読み出し駆動を行って撮像画像信号を前記固体撮像素子から出力させる水平2画素加算2フィールド読み出し駆動と、前記第一画素セル群又は前記第二画素セル群からの撮像画像信号を前記固体撮像素子から出力させた後、前記第二画素セル群又は前記第一画素セル群からの撮像画像信号を前記固体撮像素子から出力させる全画素2フィールド読み出し駆動と、を行うものであり、
    前記駆動部は、立体静止画像撮影時において被写体の明暗差が所定値よりも大きいときに前記露光時間差駆動及び前記全画素2フィールド読み出し駆動を行い、非立体静止画像撮影時において被写体の明暗差が前記所定値よりも大きいときに前記露光時間差駆動及び前記水平2画素加算2フィールド読み出し駆動を行う撮像装置。
  12. 請求項2記載の固体撮像素子を駆動する駆動方法であって、
    同一画素セル行において隣接する2つの同一種類の画素セルの各々の前記光電変換部で発生した電荷に応じた撮像信号を前記加算平均部において加算平均し、当該加算平均後の撮像信号を前記固体撮像素子から出力させる水平2画素加算平均読み出し駆動と、
    前記電荷蓄積部が共通化されている2つの画素セルの前記光電変換部から当該光電変換部に対応する前記電荷蓄積部に電荷を同時に転送させて当該電荷を加算させ、当該加算後の電荷に応じた撮像信号を前記加算平均部において加算平均し、当該加算平均後の撮像信号を前記固体撮像素子から出力させる4画素加算平均読み出し駆動と、
    前記電荷蓄積部が共通化されている2つの画素セルの前記光電変換部から当該光電変換部に対応する前記電荷蓄積部に電荷を同時に転送させて当該電荷を加算させ、当該加算後の電荷に応じた撮像信号を前記固体撮像素子から出力させる斜め2画素加算読み出し駆動と、
    各画素セルの前記光電変換部に蓄積された電荷に応じた信号を個別に出力させる全画素読み出し駆動と、の少なくとも1つを行う駆動方法。
JP2014507497A 2012-03-28 2013-02-08 固体撮像素子、撮像装置、及び固体撮像素子の駆動方法 Expired - Fee Related JP5542250B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014507497A JP5542250B2 (ja) 2012-03-28 2013-02-08 固体撮像素子、撮像装置、及び固体撮像素子の駆動方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012074310 2012-03-28
JP2012074310 2012-03-28
JP2014507497A JP5542250B2 (ja) 2012-03-28 2013-02-08 固体撮像素子、撮像装置、及び固体撮像素子の駆動方法
PCT/JP2013/053035 WO2013145888A1 (ja) 2012-03-28 2013-02-08 固体撮像素子、撮像装置、及び固体撮像素子の駆動方法

Publications (2)

Publication Number Publication Date
JP5542250B2 true JP5542250B2 (ja) 2014-07-09
JPWO2013145888A1 JPWO2013145888A1 (ja) 2015-12-10

Family

ID=49259173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014507497A Expired - Fee Related JP5542250B2 (ja) 2012-03-28 2013-02-08 固体撮像素子、撮像装置、及び固体撮像素子の駆動方法

Country Status (5)

Country Link
US (1) US9160990B2 (ja)
EP (1) EP2833624B1 (ja)
JP (1) JP5542250B2 (ja)
CN (1) CN104205809B (ja)
WO (1) WO2013145888A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014087807A1 (ja) * 2012-12-05 2014-06-12 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
JP5749409B2 (ja) * 2012-12-07 2015-07-15 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
JP5778873B2 (ja) * 2012-12-07 2015-09-16 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
CN104995912B (zh) * 2013-03-05 2017-03-08 富士胶片株式会社 摄像装置、图像处理装置及图像处理方法
US20150215530A1 (en) * 2014-01-27 2015-07-30 Microsoft Corporation Universal capture
US9674470B2 (en) * 2014-04-11 2017-06-06 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device, method for driving semiconductor device, and method for driving electronic device
JP6508805B2 (ja) * 2014-06-20 2019-05-08 日本放送協会 撮像素子および撮像装置
KR102268712B1 (ko) * 2014-06-23 2021-06-28 삼성전자주식회사 자동 초점 이미지 센서 및 이를 포함하는 디지털 영상 처리 장치
JP6557455B2 (ja) * 2014-06-25 2019-08-07 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US9729809B2 (en) 2014-07-11 2017-08-08 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and driving method of semiconductor device or electronic device
US9729806B2 (en) * 2015-01-06 2017-08-08 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
US9686486B2 (en) * 2015-05-27 2017-06-20 Semiconductor Components Industries, Llc Multi-resolution pixel architecture with shared floating diffusion nodes
US9877190B1 (en) * 2015-06-04 2018-01-23 Sprint Communications Company L.P. System and method for authentication and sharing of subscriber data
JP6800618B2 (ja) * 2016-06-01 2020-12-16 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
US11089242B2 (en) * 2019-03-11 2021-08-10 Samsung Electronics Co., Ltd. RGBW image sensor, binning method in image sensor and computer readable medium for performing the method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000197066A (ja) * 1998-12-25 2000-07-14 Sony Corp 固体撮像素子、その信号処理方法およびカメラシステム
JP2001250931A (ja) * 2000-03-07 2001-09-14 Canon Inc 固体撮像装置およびこれを用いた撮像システム
JP2006054276A (ja) * 2004-08-11 2006-02-23 Sony Corp 固体撮像素子
JP2009273119A (ja) * 2008-04-07 2009-11-19 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および電子機器
JP2010154493A (ja) * 2008-11-21 2010-07-08 Sony Corp 撮像装置
JP2011029291A (ja) * 2009-07-23 2011-02-10 Sony Corp 固体撮像装置及びカメラ
JP2011029379A (ja) * 2009-07-24 2011-02-10 Sony Corp 固体撮像装置とその製造方法並びにカメラ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP4957413B2 (ja) 2007-07-04 2012-06-20 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000197066A (ja) * 1998-12-25 2000-07-14 Sony Corp 固体撮像素子、その信号処理方法およびカメラシステム
JP2001250931A (ja) * 2000-03-07 2001-09-14 Canon Inc 固体撮像装置およびこれを用いた撮像システム
JP2006054276A (ja) * 2004-08-11 2006-02-23 Sony Corp 固体撮像素子
JP2009273119A (ja) * 2008-04-07 2009-11-19 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および電子機器
JP2010154493A (ja) * 2008-11-21 2010-07-08 Sony Corp 撮像装置
JP2011029291A (ja) * 2009-07-23 2011-02-10 Sony Corp 固体撮像装置及びカメラ
JP2011029379A (ja) * 2009-07-24 2011-02-10 Sony Corp 固体撮像装置とその製造方法並びにカメラ

Also Published As

Publication number Publication date
EP2833624A1 (en) 2015-02-04
EP2833624A4 (en) 2015-10-21
US20150002635A1 (en) 2015-01-01
EP2833624B1 (en) 2016-11-23
US9160990B2 (en) 2015-10-13
CN104205809B (zh) 2016-06-15
CN104205809A (zh) 2014-12-10
JPWO2013145888A1 (ja) 2015-12-10
WO2013145888A1 (ja) 2013-10-03

Similar Documents

Publication Publication Date Title
JP5542250B2 (ja) 固体撮像素子、撮像装置、及び固体撮像素子の駆動方法
JP5542249B2 (ja) 撮像素子及びこれを用いた撮像装置及び撮像方法
JP5749403B2 (ja) 撮像装置及び画像処理方法
US9237319B2 (en) Imaging device and automatic focus adjustment method
JP5799178B2 (ja) 撮像装置及び合焦制御方法
JP5690977B2 (ja) 撮像素子及び撮像装置
JP6031587B2 (ja) 撮像装置、信号処理方法、信号処理プログラム
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
WO2014006783A1 (ja) 撮像装置及び画像処理方法
JP5872122B2 (ja) 撮像装置及び合焦制御方法
US11184523B2 (en) Imaging apparatus with phase difference detecting element
JP5542248B2 (ja) 撮像素子及び撮像装置
US9344646B2 (en) Imaging device and imaging method
WO2014097792A1 (ja) 撮像装置、信号処理方法、信号処理プログラム
JP5740053B6 (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140502

R150 Certificate of patent or registration of utility model

Ref document number: 5542250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees