JPWO2013172205A1 - 撮像装置および撮像方法、電子機器、並びにプログラム - Google Patents

撮像装置および撮像方法、電子機器、並びにプログラム Download PDF

Info

Publication number
JPWO2013172205A1
JPWO2013172205A1 JP2014515570A JP2014515570A JPWO2013172205A1 JP WO2013172205 A1 JPWO2013172205 A1 JP WO2013172205A1 JP 2014515570 A JP2014515570 A JP 2014515570A JP 2014515570 A JP2014515570 A JP 2014515570A JP WO2013172205 A1 JPWO2013172205 A1 JP WO2013172205A1
Authority
JP
Japan
Prior art keywords
pixel
signal
pixels
color
color component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014515570A
Other languages
English (en)
Other versions
JP6229652B2 (ja
Inventor
俊次 川口
俊次 川口
功 広田
功 広田
英樹 庄山
英樹 庄山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014515570A priority Critical patent/JP6229652B2/ja
Publication of JPWO2013172205A1 publication Critical patent/JPWO2013172205A1/ja
Application granted granted Critical
Publication of JP6229652B2 publication Critical patent/JP6229652B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技術は、間引き読み出しによる信号処理と類似した信号処理により加算読み出しと間引き読み出しとを組み合わせることでS/Nを向上させることができるようにする撮像装置および撮像方法、電子機器、並びにプログラムに関する。図中左部のように、最初に領域Ｚ１，Ｚ２の最上行の副色であるＧ画素およびＢ画素が間引き読み出しされる。次に、領域Ｚ１，Ｚ２の市松状の主色であるＷ画素が図中の直線で結ばれた２画素間の画素信号が同一音タイミングで加算読み出しされる。さらに、領域Ｚ３，Ｚ４の市松状の主色であるＷ画素が図中の直線で結ばれた２画素間の画素信号が同一音タイミングで加算読み出しされる。また、領域Ｚ３，Ｚ４の下段の副色であるＲ画素およびＧ画素が読み出される。そして、図中の中央部のように、領域Ｚ１乃至Ｚ４の主色と副色との相対関係から図中の右部のベイヤ配列が求められる。本技術は、撮像装置に適用することができる。

Description

本技術は、撮像装置および撮像方法、電子機器、並びにプログラムに関し、特に、信号対雑音比の低減を抑制しつつ、解像度の低下を小さくし、高速な処理で画素信号の感度を向上できるようにした撮像装置および撮像方法、電子機器、並びにプログラムに関する。
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置、信号処理に関する。
多画素化が進むCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像装置において、高フレームレートでの読み出しを行う技術として、従来から加算読み出しあるいは間引き読み出しが利用されている。
これらの中で、加算読み出し方式は、信号対雑音比（以下、ＳＮ比とも称する）を比較的高くすることができるという利点から良く利用されている。
しかしながら、当然ではあるが、加算読み出し方式を利用すると、全受光画素を個別に読み出す方式と比べて解像度が低下する。
一方、加算読み出し方式と比べて間引き読み出し方式により得られた画像データには折り返し歪みが多く発生するが、その分、超解像技術等による解像度向上効果は大きくなる。
しかしながら、加算読み出し方式よりも間引き読み出し方式の利用時の方がＳＮ比は低くなり、特に低照度時にはＳＮ比の劣化が目立ちすぎることもある。
そこで、必要に応じて間引き読み出し及び加算読み出し間の切り替えを行って、結果、解像度とＳＮ比のバランスをとるといった提案がなされている（特許文献１参照）。
また、これとは別のアプローチで、解像度を極力落とさずに、感度を上げることができる新規な色配列の色フィルタアレイを有する撮像装置も提案されている（特許文献２，３参照）。
特開２０１１−０９７５６８号公報 特許４６２６７０６号公報 特開２００６−０３３４５４号公報
しかしながら、この特許文献２の技術における加算処理には、特許文献３で提案されている、カウンタを利用してAD（Analogue Digital）変換の際に画素加算を行う技術が利用されているため、AD変換の処理時間が加算を行わない場合の２倍近くかかる。結果として、特許文献２の技術を用いても、高フレームレートを実現する障害となっていた。
本技術はこのような状況に鑑みてなされたものであり、特に、ＳＮ比の低減を抑制しつつ、解像度の低下を小さくし、高速な処理で画素信号の感度を向上させるものである。
本技術の第１の側面の撮像装置は、２次元の行列上に配列された画素と、前記画素に対して輝度信号の所定の色成分の色フィルタと、前記画素に対して輝度信号の前記所定の色と異なる他の色成分の色フィルタと、前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理部とを含む。
前記信号処理部には、前記加算して出力した前記所定の色成分の色フィルタが設けられた画素の信号と、前記間引きして出力した前記他の色成分の色フィルタが設けられた画素の信号との相関を利用して、前記間引きして出力した前記その他の色成分の色フィルタが設けられた画素の信号を生成させるようにすることができる。
前記所定の色成分は、白色とすることができ、前記その他の色成分は、赤色、緑色、および青色とすることができる。
前記所定の色成分は、緑色とすることができ、前記その他の色成分は、赤色、および青色とすることができる。
前記信号処理部には、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力させ、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号とを加算して出力させるようにすることができる。
前記信号処理部には、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力させ、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号とを加算して出力させるようにすることで、前記加算して出力する処理がない、間引きして読み出すだけの信号処理における場合と同様の順序で信号を出力させるようにすることができる。
前記信号処理部には、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を、ゲインを２倍にして間引きして出力させ、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号との、それぞれのゲインが１倍のものを加算して出力させるようにすることができる。
前記信号処理部には、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を、ゲインを２倍にして間引きして出力させ、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号との、それぞれのゲインが１倍のものを加算して出力させるようにことにより、前記画素の信号をAD（Analogue Digital）変換する際のレンジを適切に変更するように画素信号を出力させる。
前記信号処理部には、前記所定の色成分の色フィルタが設けられた画素の信号をFD（Floating Diffusion）加算して出力させるようにすることができる。
前記信号処理部には、前記所定の色成分の色フィルタが設けられた画素の信号をソースフォロア加算して出力させるようにすることができる。
前記信号処理部には、前記加算して出力した前記所定の色成分の色フィルタが設けられた画素の信号と、前記間引きして出力した前記他の色成分の色フィルタが設けられた画素の信号との相関を利用して、前記間引きして出力した前記その他の色成分の色フィルタが設けられた画素の信号を生成させるようにすることで、間引きして出力した画素の信号のＳＮ比（Signal to Noise ratio）を低減するようにすることができる。
本技術の第１の側面の撮像方法は、２次元の行列上に配列された画素と、前記画素に対して輝度信号の所定の色成分の色フィルタと、前記画素に対して輝度信号の前記所定の色と異なる他の色成分の色フィルタを含む撮像装置の撮像方法であって、前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理をするステップを含む。
本技術の第１の側面のプログラムは、２次元の行列上に配列された画素と、前記画素に対して輝度信号の所定の色成分の色フィルタと、前記画素に対して輝度信号の前記所定の色と異なる他の色成分の色フィルタを含む撮像装置を制御するコンピュータに、前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理ステップを含む処理を実行させる。
本技術の第２の側面の電子機器は、２次元の行列上に配列された画素と、前記画素に対して輝度信号の所定の色成分の色フィルタと、前記画素に対して輝度信号の前記所定の色と異なる他の色成分の色フィルタと、前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理部とを含む。
本技術の第１および第２の側面においては、２次元の行列上に配列された画素と、前記画素に対して輝度信号の所定の色成分の色フィルタと、前記画素に対して輝度信号の前記所定の色と異なる他の色成分の色フィルタとを含む撮像装置または電子機器において、前記所定の色成分の色フィルタが設けられた画素の信号が加算されて出力され、前記他の色成分の色フィルタが設けられた画素の信号が間引きされて出力される。
本技術の撮像装置および電子機器は、独立した装置または機器であっても良いし、撮像処理を行うブロックであっても良い。
本技術の一側面によれば、ＳＮ比の低減を抑制しつつ、解像度の低下を小さくし、高速な処理で画素信号の感度を向上させることが可能となる。
本技術を適用した撮像装置の一実施の形態の構成例を示すブロック図である。 図１の撮像部の構成例を説明する図である。 図２の単位画素の構成例を説明する図である。 共有画素構成を説明する図である。 共有画素構成を利用した画素信号の読み出し方法を説明する図である。 画素信号読出処理を説明するフローチャートである。 画素信号読出処理を説明する図である。 通常の画素信号読出処理を説明する図である。 副色のゲインを主色のゲインの２倍にする例を説明する図である。 主色を緑色にした場合の画素配列例を説明する図である。 図１０の画素配列例における画素信号の読み出し方法を説明する図である。 いわゆる白市松状の画素配列例を説明する図である。 図１２の画素配列例における画素信号の読み出し方法を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 第１の実施の形態（白色を主色とし、赤色、緑色、および青色を副色とする場合の画素配列を用いた一例）
２． 第１の変形例（緑色を主色とし、赤色、および青色を副色とする場合の一例）
３． 第２の変形例（白色を主色とし、赤色、緑色、および青色を副色とする場合であって、緑色の画素を水平垂直方向に１画素毎に配列する画素配列を用いたときの一例）
＜第１の実施の形態＞
［撮像装置の実施の形態の構成例］
図１は、本技術を適用した撮像装置の第１の実施の形態の構成例を示している。図１の撮像装置は、画像を撮像し、デジタル信号からなる画像信号として出力し、リムーバブルメディア等に記録する。
図１の撮像装置１３は、可視光からなるカラー画像を撮像して画像信号として出力する撮像部２１、並びに撮像部２１からの画像信号に信号処理を施してリムーバブルメディア１０１に記録すると共に、撮像部２１の動作を制御する信号処理部２２より構成される。
より具体的には、撮像部２１は、いわゆるCMOS（Complementary Metal Oxide Semiconductor）イメージセンサであり、撮像レンズ３１，光学ローパスフィルタ３２、赤外光カットフィルタ３３、色フィルタ群３４、画素アレイ部３５、カラム処理部３６、撮像信号処理部３７、および駆動制御部３８を備えている。
撮像レンズ３１は、太陽光や蛍光灯などの光源１１の下にある被写体１２の像を担持する光Ｌを撮像装置１３側に導光して結像させる画像情報を取り込むための光学系を構成する。光学ローパスフィルタ３２は、撮像レンズ３１からの入射光を画素単位で平滑化し、赤外光カットフィルタ３３に向けて出射させる。赤外光カットフィルタ３３は、光学ローパスフィルタ３２からの入射光のうち、赤外光の成分を遮断して色フィルタ群３４に向けて出射させる。
色フィルタ群３４は、２次元配列された、ＲＧＢ（Red Green Blue：赤色、緑色、青色）、または、ＲＧＢに加えて白色（Ｗ：White）を含む各色の色フィルタ群であり、各種の色が付加するように光を透過させて、画素アレイ部３５に出射させる。尚、白色については、ここでは、透明のフィルタを、白色用の色フィルタとして設けているものとするが、当然のことながら、フィルタそのものを設けないことにより、白色用のフィルタが機能しているものとした構成とするようにしてもよい。
画素アレイ部３５は、入射する可視光をその光量に応じた電荷量に光電変換する光電変換素子を含む、図３，図４を参照して後述する単位画素（以下、単に画素とも称する）１５１が行列状に２次元配置されている。画素アレイ部３５は、図２で示されるように、行列状の画素配列に対して行ごとに画素駆動線１２１が図の左右方向（画素行の画素配列方向／水平方向）に沿って配線され、列ごとに垂直信号線１２２が図の上下方向（画素列の画素配列方向／垂直方向）に沿って形成されている。尚、図２では、画素駆動線１２１については、１本として示されているが、１本に限られるものではない。画素アレイ部３５は、光電変換素子により電荷として蓄積された画素信号をカラム処理部３６に出力する。尚、単位画素の具体的な構成については図３，図４を参照して詳細を後述する。
撮像信号処理部３７は、図４を参照して後述するように、４画素の画素群を共有画素構成として機能させて、間引き読み出し、および、加算読み出しを組み合わせて画素信号を読み出させる。撮像信号処理部３７は、このように読み出した画素信号に基づいて、低解像度化させながら、間引き読み出しされた画素の画素信号を再現し、ＳＮ比を向上させて信号処理部２２に出力する。
駆動制御部３８は、画素アレイ部３５の動作を制御している。より詳細には、駆動制御部３８は、図２で示されるように、システム制御部１３１、垂直駆動部１３２、および水平駆動部１３３を備えている。
垂直駆動部１３２は、シフトレジスタやアドレスデコーダなどによって構成されている。ここでは、具体的な構成については図示を省略するが、垂直駆動部１３２は、読出し走査系と掃出し走査系とを有する構成となっている。読出し走査系は、信号を読み出す単位画素について行単位で順に選択走査を行う。一方、掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対し、その読出し走査よりもシャッタスピードの時間分だけ先行して当該読出し行の単位画素の光電変換素子から不要な電荷を掃き出す（リセットする）掃出し走査を行う。この掃出し走査系による不要電荷の掃き出し（リセット）により、いわゆる電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。
読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に入射した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の蓄積時間（露光時間）となる。
垂直駆動部１３２によって選択走査された画素行の各単位画素から出力される信号は、垂直信号線１２２の各々を通してカラム処理部３６に供給される。カラム処理部３６は、画素アレイ部３５の画素列ごとに、選択行の各画素から出力されるアナログの画素信号に対してあらかじめ定められた信号処理を行う。カラム処理部３６は、CDS(Correlated Double Sampling；相関二重サンプリング)処理により、選択行の各画素から出力されるリセットレベルと信号レベルとを取り込み、これらのレベル差を取ることによって１行分の画素信号を得るとともに、画素の固定パターンノイズを除去する。カラム処理部３６は、必要に応じて、アナログの画素信号をデジタル信号に変換するAD（Analogue to Digital）変換機能を持たせる場合もある。尚、以降において、図１のカラム処理部３６は、AD変換機能を持たせているものとする。
水平駆動部１３３は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部３６の画素列に対応した回路部分を順番に選択走査する。この水平駆動部１３３による選択走査により、カラム処理部３６で画素列ごとに信号処理された画素信号が順番に出力される。
撮像信号処理部３７は、画素アレイ部３５の各画素から出力される、色フィルタ群３４の色配列、例えば、ベイヤ配列に対応した信号処理を行う。撮像信号処理部３７での具体的な信号処理については、図５を参照して詳細を後述する。
また、ここで、ベイヤ配列とは、高解像度が必要な輝度信号の主成分となる色、すなわち、主色を市松状に配置し、残りの部分に比較的解像度が要求されない色成分となる２種類、または３種類の色、すなわち、副色を配列した色配列を言う。ベイヤ配列の基本形としては、輝度信号に寄与する割合の大きい緑色の画素（Ｇ画素）を主色として市松状に配置し、残りの部分に副色である赤色の画素（Ｒ画素）、および青色の画素（Ｂ画素）を市松状に配列した色配列のカラーコーディングが挙げられる。また、その他にも、例えば、主成分となる主色を白色として市松状に配置し、残りの部分に赤色の画素（Ｒ画素）、緑色の画素（Ｇ画素）、および青色の画素（Ｂ画素）を市松状に配列した色配列のカラーコーディングも挙げられる。
システム制御部１３１は、外部から与えられるクロック信号や、動作モードを指令するデータなどを受け取り、また、CMOSイメージセンサからなる撮像部２１の内部情報などのデータを出力する。システム制御部１３１は、さらに、各種のタイミング信号を生成するタイミングジェネレータを備えており、タイミングジェネレータで生成された各種のタイミング信号に基づいて垂直駆動部１３２、水平駆動部１３３、カラム処理部３６、および撮像信号処理部３７の駆動を制御する。
信号処理部２２は、画像信号処理部５１と、撮像装置１３の全体の動作を制御する主制御部として機能する制御部５２とを備えている。画像信号処理部５１は、信号分離部７１、色信号処理部７２、輝度信号処理部７３、およびエンコーダ部７４を備えている。
信号処理部７１は、色フィルタ群３４として原色フィルタ以外のものが使用されているときにカラム処理部３６のAD変換回路から供給されるデジタル撮像信号をＲ画素信号（赤色の画素信号），Ｇ画素信号（緑色の画素信号），Ｂ画素信号（青色の画素信号）の原色信号に分離する原色分離機能を備えている。色信号処理部７２は、信号分離部７１によって分離された原色信号であるＲ，Ｇ，Ｂ画素信号に基づいて色信号に関する信号処理を実行する。輝度信号処理部７３は、信号分離部７１によって分離された原色信号であるＲ，Ｇ，Ｂ画素信号に基づいて輝度信号Ｙに関する信号処理を実行する。エンコーダ部７４は、輝度信号／色信号に基づいて画像信号を生成する。
制御部５２は、撮像装置１３の動作の全体を制御するものである。より詳細には、制御部５２は、バス９１に接続された、コンピュータが行なう演算と制御の機能を超小型の集積回路に集約させたCPU（Central Processing Unit）を代表例とする電子計算機の中枢をなすマイクロプロセッサ（microprocessor）９２、ROM（Read Only Memory）９３、RAM（Random Access Memory）９４、通信I/F（Interface）９５、および読出部９６を備えている。
マイクロプロセッサ９２は、不揮発性の記憶部であるROM９３に記録されているプログラムやデータを適宜読みだすとともに、揮発性の記憶部であるRAM９４に展開して、各種の制御パルスのオン／オフタイミングを設定するプログラムや、露光を制御するためのプログラムを実行し、制御部５２の動作の全体を制御している。
ここで、マイクロプロセッサ９２における、露光条件を制御する露光条件制御部として機能するときの露光制御用のプログラムは、輝度信号処理部７３からの輝度系信号に基づく測光データの計算（たとえば所定サイズおよび所定位置の測光エリアの平均値の計算）と、その計算結果に基づく輝度レベル判定（中間レベルよりも高いか低いか）などためのものを含む。
なお、上記において“揮発性の記憶部”とは、装置の電源がオフにされた場合、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶部は、記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。
ドライブ２３に装着されたリムーバブルメディア１０１は、たとえば、マイクロプロセッサ９２にソフトウェア処理をさせるためのプログラムデータや、輝度信号処理部７３からの輝度系信号に基づく測光データの収束範囲や露光制御処理（電子シャッタ制御を含む）のための各種の制御パルスのオン／オフタイミングなど、様々な設定値などのデータを登録するなどのために利用される。
読出部９６は、ドライブ２３に装着されたリムーバブルメディア１０１から読み出したデータをRAM９３に格納（インストール）する。通信I/F９５は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。
なお、このような撮像装置１３は、駆動制御部３８およびカラム処理部３６を、画素アレイ部３５と別体にしてモジュール状のもので示しているが、これらが画素アレイ部３５と同一の半導体基板上に一体的に形成されたワンチップものを利用してもよいのは言うまでもない。
また、図１，図２では、画素アレイ部３５、駆動制御部３８、カラム処理部３６、および信号処理部２２の他に、撮影レンズ３１、光学ローパスフィルタ３２、または赤外光カットフィルタ３３などの光学系をも含む状態で、撮像装置１３を示しており、この態様は、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態とする場合に好適である。
ここで、固体撮像装置におけるモジュールとの関係においては、図示のように、画素アレイ部３５と、AD変換機能や差分（CDS）処理機能を具備したカラム処理部３６などの画素アレイ部３５側と密接に関連した信号処理部（カラム処理部３６の後段の信号処理部２２は除く）が纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置を提供するようにし、そのモジュール状の形態で提供された固体撮像装置の後段に、残りの信号処理部である信号処理部２２を設けて撮像装置１３の全体を構成するようにしてもよい。
または、図示を割愛するが、画素アレイ部３５と撮影レンズ３１などの光学系とが纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置を提供するようにし、そのモジュール状の形態で提供された固体撮像装置に加えて、信号処理部２２をもモジュール内に設けて、撮像装置１３の全体を構成するようにしてもよい。
さらに、固体撮像装置におけるモジュールの形態として、信号処理部２２に相当する構成を含めてもよく、この場合には、事実上、固体撮像装置と撮像装置１３とが同一のものと見なすこともできる。
このような撮像装置１３は、「撮像」を行なうための、たとえば、カメラや撮像機能を有する携帯機器として提供される。なお、「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出なども含むものである。
このような構成の撮像装置１３においては、前述の固体撮像装置の全ての機能を包含して構成されており、前述の固体撮像装置の基本的な構成および動作と同様とすることができる。
［単位画素の構成例］
次に、図３を参照して、単位画素を構成する回路構成について説明する。
図３の単位画素１５１は、光電変換素子であるフォトダイオード１６１、並びに、転送トランジスタ１６２、リセットトランジスタ１６３、増幅トランジスタ１６４および選択トランジスタ１６５の４つのトランジスタを備えている。
ここでは、４つの転送トランジスタ１６２、リセットトランジスタ１６３、増幅トランジスタ１６４および選択トランジスタ１６５として、ＮチャネルのＭＯＳトランジスタを用いた例について説明するが、トランジスタの構成は、その他の構成でもよい。すなわち、ここで例示した転送トランジスタ１６２、リセットトランジスタ１６３、増幅トランジスタ１６４および選択トランジスタ１６５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
この単位画素１５１に対して、画素駆動線１２１として、例えば、転送線１８１、リセット線１８２および選択線１８３の３本の駆動配線が同一画素行の各画素について共通に設けられている。これら転送線１８１、リセット線１８２および選択線１８３の各一端は、垂直駆動部１３２の各画素行に対応した出力端に、画素行単位で接続されている。
フォトダイオード１６１は、アノード電極が負側電源（例えば、グランド）に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換する。フォトダイオード１６１のカソード電極は、転送トランジスタ１６２を介して増幅トランジスタ１６４のゲート電極と電気的に接続されている。増幅トランジスタ１６４のゲート電極と電気的に繋がったノードをＦＤ（フローティングディフュージョン）部１６６と称する。
転送トランジスタ１６２は、フォトダイオード１６１のカソード電極とＦＤ部１６６との間に接続されている。転送トランジスタ１６２のゲート電極には、高レベル（例えば、画素電源ＳＶＤレベル）がアクティブ（以下、「Ｈｉｇｈアクティブ」と記述する）の転送パルスＴＲＧが転送線１８１を介して与えられる。転送パルスＴＲＧが与えられることで、転送トランジスタ１６２はオン状態となってフォトダイオード１６１で光電変換された光電荷をＦＤ部１６６に転送する。
リセットトランジスタ１６３は、ドレイン電極が画素電源ＳＶＤに、ソース電極がＦＤ部１６６にそれぞれ接続されている。リセットトランジスタ１６３のゲート電極には、フォトダイオード１６１からＦＤ部１６６への信号電荷の転送に先立って、ＨｉｇｈアクティブのリセットパルスＲＳＴがリセット線１８２を介して与えられる。リセットパルスＲＳＴが与えられることで、リセットトランジスタ１６３はオン状態となり、ＦＤ部１６６の電荷を画素電源ＳＶＤに捨てることによって当該ＦＤ部１６６をリセットする。
増幅トランジスタ１６４は、ゲート電極がＦＤ部１６６に、ドレイン電極が画素電源ＳＶＤにそれぞれ接続されている。そして、増幅トランジスタ１６４は、リセットトランジスタ１６３によってリセットした後のＦＤ部１６６の電位をリセット信号（リセットレベル）Ｖｒｅｓｅｔとして出力する。増幅トランジスタ１６４はさらに、転送トランジスタ１６２によって信号電荷を転送した後のＦＤ部１６６の電位を光蓄積信号（信号レベル）Ｖｓｉｇとして出力する。
選択トランジスタ１６５は、例えば、ドレイン電極が増幅トランジスタ１６４のソース電極に、ソース電極が垂直信号線１２２にそれぞれ接続されている。選択トランジスタ１６５のゲート電極には、Ｈｉｇｈアクティブの選択パルスＳＥＬが選択線１８３を介して与えられる。選択パルスＳＥＬが与えられることで、選択トランジスタ１６５はオン状態となって単位画素１５１が選択状態とされ、増幅トランジスタ１６４から出力される信号が垂直信号線１２２に中継される。
なお、選択トランジスタ１６５については、画素電源ＳＶＤと増幅トランジスタ１６４のドレインとの間に接続した回路構成を採ることも可能である。
また、単位画素１５１としては、上記構成の４つのトランジスタからなる画素構成のものに限られるものではない。例えば、増幅トランジスタ１６４と選択トランジスタ１６５とを兼用した３つのトランジスタからなる画素構成のものなどであっても良く、その画素回路の構成は問わない。
［共有画素構成］
ところで、一般的に、動画撮像のときにはフレームレートを上げるために、隣接する複数の画素の信号を加算して読み出す画素加算が行われる。この画素加算は、画素内、信号線上、カラム処理部３６、および後段の信号処理部２２で行うことができる。そこで、次に、図４を参照して、一例として、上下左右に隣接する４画素の信号を画素内で加算する共有画素構成について説明する。
図４は、画素内で隣接する４画素の画素値を画素加算により読み出す場合の回路構成、すなわち、共有画素構成の一例を示している。尚、図４において、図３と同一の機能を備えた構成については同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。ここで４画素の画素配列は、例えば、図４の右下部における画素Ｐ１乃至Ｐ４である。
すなわち、図４において、上下左右に隣接する４画素のフォトダイオード１６１を、フォトダイオード１６１−１乃至１６１−４と称するものとする。これらフォトダイオード１６１−１乃至１６１−４に対して、４個の転送トランジスタ１６２−１乃至１６２−４がそれぞれ設けられている。また、リセットトランジスタ１６３、増幅トランジスタ１６４および選択トランジスタ１６５は、４個のフォトダイオード１６１−１乃至１６１−４および転送トランジスタ１６２−１乃至１６２−４に対して共有するように１個ずつ設けられている。
すなわち、転送トランジスタ１６２−１乃至１６２−４は、各一方の電極がフォトダイオード１６１−１乃至１６１−４の各カソード電極に接続され、各他方の電極が増幅トランジスタ１６４のゲート電極に共通に接続されている。この増幅トランジスタ１６４のゲート電極には、フォトダイオード１６１−１乃至１６１−４に対して共通のＦＤ部１６６が電気的に接続されている。リセットトランジスタ１６３は、ドレイン電極が画素電源ＳＶＤに、ソース電極がＦＤ部１６６にそれぞれ接続されている。これらが、図４の右下部で示される画素Ｐ１乃至Ｐ４に対応する４画素の共有画素構成となる。尚、画素Ｐ１乃至Ｐ４が、それぞれフォトダイオード１６１−１乃至１６１−４および転送トランジスタ１６２−１乃至１６２−４に対応する。
図４で示される隣接した４画素の共有画素構成において、４個の転送トランジスタ１６２−１乃至１６２−４に対して同じタイミングで転送パルスＴＲＧ［１］乃至ＴＲＧ［４］が与えられることで、隣接する４画素間での画素加算が実現される。
すなわち、フォトダイオード１６１−１乃至１６１−４から転送トランジスタ１６２−１乃至１６２−４によってＦＤ部１６６に転送された信号電荷は、ＦＤ部１６６において加算されることになる。
一方、転送トランジスタ１６２−１乃至１６２−４に対して異なるタイミングで転送パルスＴＲＧ［１］乃至ＴＲＧ［４］が与えられることで、画素単位での信号出力も実現できる。すなわち、動画撮像時には画素加算を行うことによってフレームレートの向上を図ることができるに対して、静止画撮像時には全画素の信号を独立して読み出すことで、解像度の向上を図ることができる。
［４画素の共有画素構成による信号の読み出し］
次に、図５を参照して、図４を参照して説明した４画素の共有画素構成を利用した画素信号の読み出し手順について説明する。
尚、図５においては、色フィルタ群３４のうち、白色、赤色、緑色、および青色からなる４色の色フィルタを使用するものとし、図中においては、それぞれＷ，Ｒ，Ｇ，Ｂと表記するものとする。また、以降においては、白色、赤色、緑色、および青色のそれぞれの色フィルタが付された画素をＷ画素、Ｒ画素、Ｇ画素、およびＢ画素とも称するものとする。さらに、以降の図面の記載においては、特に断りのない限り、Ｗ画素は、背景が白色であり、Ｒ画素は、背景が右下がり斜線であり、Ｇ画素は、背景が横縞状であり、Ｂ画素は、背景が右上がり斜線であるものとする。このとき、各色の配色は、図５の左部における縦４画素×横４画素の合計１６画素で示されるように、Ｗ画素が市松状に配置され、左上から右下に向けて対角線状にＧ画素が配置される。
また、最上段の右から２番目の画素および最左列の下から２段目の画素はＢ画素が配置される。さらに、最右列の上から２段目の画素および最下段の左から２番目の画素には、Ｒ画素が配置される。このとき、１６画素の右上部の領域Ｚ１の４画素が共有画素構成となっており、その他の領域Ｚ２乃至Ｚ４についてもそれぞれが共有画素構成となっている。従って、図４における画素Ｐ１乃至Ｐ４に対応して、領域Ｚ１においては、Ｗ画素、Ｂ画素、Ｒ画素、およびＷ画素が配置されている。同様に、画素Ｐ１乃至Ｐ４に対応して、領域Ｚ２においては、Ｗ画素、Ｇ画素、Ｇ画素、およびＷ画素が配置されており、領域Ｚ３においては、Ｗ画素、Ｇ画素、Ｇ画素、およびＷ画素が配置されており、領域Ｚ４においては、Ｗ画素、Ｂ画素、Ｒ画素、およびＷ画素が配置されている。
このとき、第１の処理として、縦４画素×横４画素の計１６画素において、最上段のＢ画素、およびＧ画素が、画素加算無しの間引き読み出しされる。この最上段のＢ画素、およびＧ画素については、図４に示す画素構成において、領域Ｚ１，Ｚ２それぞれのＢ画素、およびＧ画素の転送トランジスタ１６２−２に対して同時に転送パルスＴＲＧ［２］が与えられることで、それぞれの画素の信号が読み出される。
次に、第２の処理として、Ｗ画素について、左右斜め方向に位置する２つの画素間で加算を行うことによって領域Ｚ１乃至Ｚ４のそれぞれにおける重心位置におけるＷ画素の信号として読み出される。具体的には、Ｗ画素については、図５の左部で示されるように、それぞれ直線Ｔ１乃至Ｔ４のそれぞれで結ばれている画素間で画素加算されて読み出される。
このＷ画素の加算については、図４に示す画素構成において、加算を行う２つの画素の転送トランジスタ１６２−１，１６２−４に対して同時に転送パルスＴＲＧ［１］，ＴＲＧ［４］それぞれが与えられることで、ＦＤ部１６６において２画素分が画素加算される。以降において、このような画素加算をＦＤ加算と称するものとする。
さらに、第３の処理として、縦４画素×横４画素の計１６画素において、最下段のＲ画素およびＧ画素が、画素加算無しの間引き読み出しされる。この最下段のＲ画素、およびＧ画素については、図４に示す画素構成において、領域Ｚ３，Ｚ４それぞれのＲ画素、およびＧ画素の転送トランジスタ１６２−３に対して同時に転送パルスＴＲＧ［３］が与えられることで、それぞれの画素の信号が読み出される。
すなわち、ここまでの処理により、領域Ｚ１のＲ画素、領域Ｚ２の下段のＧ画素、領域Ｚ３の下段のＧ画素、および領域Ｚ４のＲ画素のそれぞれの信号については読み出されていない。すなわち、領域Ｚ１乃至Ｚ４のそれぞれの４画素の共有画素構成においては、それぞれ１画素分の画素信号が未使用とされる。したがって、Ｗ画素を画素加算して読み出した場合に比べて、Ｒ画素、Ｂ画素、およびＧ画素の感度は低くなるためにＳＮ比が低減した状態となる。
次に、第４の処理として、図５の中央部で示されるように、領域Ｚ１乃至Ｚ４のそれぞれについて、その重心位置の画素信号として読み出されたＷ画素と、Ｒ画素、Ｂ画素、およびＧ画素のそれぞれの画素位置および画素値からその相関が求められ、求められた相関に応じた領域Ｚ１乃至Ｚ４のそれぞれの重心位置の画素信号がフィッティングされて、図５の右部で示されるような、ＲＧＢからなるベイヤ配列の４画素の信号が生成される。
このように画素加算処理を用いることで、Ｗ画素が市松状に配置された色配列に対応した信号を、ＲＧＢベイヤ配列に対応した信号に変換して出力することが可能となる。
［画素信号読出処理］
次に、図６のフローチャートを参照して、画素信号読出処理について説明する。尚、この処理は、図５の左部で示される縦４画素×横４画素の合計１６画素からなる画素配列である場合の画素信号の読出処理を説明するものである。従って、図２の画素アレイ部３５における他の画素についても、縦４画素×横４画素の合計１６画素単位で同様に処理されることを前提として説明する。
また、以降においては、図５の左部で示される画素配列において市松状に配置されている白色を主色とも称するものとし、それ以外の赤色、緑色、および青色については副色とも称するものとする。さらに、図５の領域Ｚ１，Ｚ２は、縦４画素×横４画素の合計１６画素の領域における上段と称するものとし、同様に、領域Ｚ３，Ｚ４については、下段と称するものとする。また、領域Ｚ１乃至Ｚ４のそれぞれについて、対応する図４の右下部で示される画素Ｐ１，Ｐ２を領域Ｚ１乃至Ｚ４のそれぞれにおける上行と称するものとし、画素Ｐ３，Ｐ４を下行と称するものとする。
ステップＳ１１において、駆動制御部３８の垂直駆動部１３２は、画素駆動線１２１のうち、転送線１８１を介して、図７の最左部で示されるように、上段に対応する領域Ｚ１，Ｚ２の転送パルスＴＲＧ［２］を発生することにより、上行における副色の画素信号を読出させる。すなわち、図７の最左部においては、各画素の配列は、図５の左部で示される１６画素と同様である。また、各画素上に丸印で示されるのは、４画素の共有画素配列における各画素Ｐ１乃至Ｐ４のそれぞれの転送線１８１に供給される転送パルスＴＲＧ［１］乃至ＴＲＧ［４］が供給される画素を示している。
すなわち、図７においては、転送パルスＴＲＧ［１］は、図５の左部で示される領域Ｚ１乃至Ｚ４のそれぞれにおける画素Ｐ１の画素信号を転送するときに供給されるものであることが示されている。従って、図７の最左部においては、転送パルスＴＲＧ［１］により図５における領域Ｚ１乃至Ｚ４のそれぞれに対応するＷ画素の画素信号が読み出される。同様に、転送パルスＴＲＧ［２］は、領域Ｚ１乃至Ｚ４の画素Ｐ２に対応するＢ画素、Ｇ画素、Ｇ画素、Ｂ画素がそれぞれ読み出される。また、転送パルスＴＲＧ［３］は、領域Ｚ１乃至Ｚ４の画素Ｐ３に対応するＲ画素、Ｇ画素、Ｇ画素、Ｒ画素がそれぞれ読み出される。さらに、転送パルスＴＲＧ［４］は、領域Ｚ１乃至Ｚ４の画素Ｐ４に対応するＷ画素がそれぞれ読み出される。また、ＣＭは、それぞれの共有画素構成における増幅トランジスタ１６４を示しており、ＣＮは、垂直信号線１２２を示している。
従って、ステップＳ１１においては、上段である領域Ｚ１，Ｚ２の上行に対する、転送パルスＴＲＧ［２］が発生されることにより、図４における画素Ｐ２に対応する、副色であるＧ画素、およびＢ画素が読み出される。さらに、読み出された副色であるＧ画素、およびＢ画素は、垂直信号線１２２を介してカラム処理部３６に供給され、順次、撮像信号処理部３７に供給される。尚、図７においては、太線で囲まれた画素の画素信号が読み出されることが示されている。
ステップＳ１２において、駆動制御部３８の垂直駆動部１３２は、画素駆動線１２１のうち、転送線１８１を介して、図７の左から２番目で示されるように、上段に対応する領域Ｚ１，Ｚ２の転送パルスＴＲＧ［１］，ＴＲＧ［４］を発生することにより、画素Ｐ１，Ｐ４に対応し、主色である２画素のＷ画素の画素信号を加算読出させる。すなわち、この場合、２画素の画素信号が同時に読み出されることによりＦＤ加算されて、撮像信号処理部３７に転送される。
ステップＳ１３において、駆動制御部３８の垂直駆動部１３２は、画素駆動線１２１のうち、転送線１８１を介して、図７の右から２番目で示されるように、下段に対応する領域Ｚ３，Ｚ４の転送パルスＴＲＧ［１］，ＴＲＧ［４］を発生する。これにより、画素Ｐ１，Ｐ４に対応する、主色である２画素のＷ画素の画素信号を加算読出させる。すなわち、この場合、２画素の画素信号が同時に読み出されることによりＦＤ加算されて、撮像信号処理部３７に転送される。
ステップＳ１４において、駆動制御部３８の垂直駆動部１３２は、画素駆動線１２１のうち、転送線１８１を介して、図７の最右部で示されるように、下段に対応する領域Ｚ３，Ｚ４の転送パルスＴＲＧ［３］を発生することにより、下行における副色の画素信号であるＲ画素およびＧ画素の画素信号が読み出されて、撮像信号処理部３７に転送される。
ステップＳ１５において、撮像信号処理部３７は、図５の中央部で示されるように、領域Ｚ１乃至Ｚ４毎に、主色として求められたＷ画素と、それぞれの領域で求められた副色との相関を求めて、図５の右部で示されるように各領域の色をフィッティングさせる。すなわち、図５の右部で示されるように、Ｗ画素の成分を他の全ての色の画素に展開するに当たって、撮像信号処理部３７は、方向性相関を利用して、領域毎の画素信号を算出する。尚、この方向性相関を利用した画素信号を算出する技術としては、例えば、特許第４６８３１２１号公報で開示されている、特定の画素に対応する複数の色信号を得て、特定の画素に対応する位置での垂直方向および／または水平方向の相関値を得る技術が挙げられる。
すなわち、図５の中央部、および右部で示されるように、撮像信号処理部３７は、Ｗ画素およびＧ画素との相関からＷ画素をＧ画素に置換する。図５の左部で示す色の画素配列から明らかなように、Ｗ画素とＧ画素とは隣接している。ある領域でＷ画素とＧ画素との相関をみると、どちらも輝度信号の主成分となる色であるためにかなり強い相関をもっており、相関値（相関係数）が１に近い。そこで、撮像信号処理部３７は、この色相関を用いて解像度の方向性を判断し、Ｗ画素の出力レベルをＧ画素相当のレベルに変換することで、Ｗ画素をＧ画素に置き換える。
また、Ｗ画素およびＲ画素、並びにＷ画素およびＢ画素の相関から、図５の右部で示されるベイヤ配列用のＲ画素、およびＢ画素を生成する。すなわち、Ｗ画素は、Ｒ画素、Ｇ画素、およびＢ画素の各色成分を含んでいるため、Ｗ画素およびＲ画素、並びにＷ画素およびＢ画素の各画素との相関をとることができる。この信号処理には、４色の色配列においてＧ画素に代替される輝度信号を全画素に補間する技術としては、例えば、特開２００５−１６００４４号公報で開示された技術を用いることができる。
ステップＳ１６において、撮像信号処理部３７は、以上のように求められたＲ画素、Ｇ画素、およびＢ画素からなるベイヤ配列を完成させ、画素信号として信号処理部２２に出力する。
以上の処理により、共有画素構成をなす４画素からなる領域が水平方向に２領域配列された領域から、画素加算なしの間引き読み出しと、画素加算ありの加算読み出しとにより、間引き読み出しのみを行う場合とほぼ同一の読出手順で、ＳＮ比を向上させることが可能となる。すなわち、通常の間引き読出のみを行う処理においては、図８で示されるように、図６のフローチャートにおけるステップＳ１１，Ｓ１４の処理に対応する最左部および最右部については、図７における場合と同様の処理となる。
しかしながら、図６のフローチャートにおけるステップＳ１２，Ｓ１３の処理に対応する図８の左から２番目、および３番目で示されるように、領域Ｚ１乃至Ｚ４の各領域からはそれぞれ画素Ｐ１に対応する画素信号だけが間引き読み出しされるのみであり、画素Ｐ４の信号は間引かれて読み出されることがなかった。これに対して、上述した処理により、同一のタイミングで、領域Ｚ１乃至Ｚ４の各領域からはそれぞれ主色であるＷ画素の画素Ｐ１，Ｐ４がＦＤ加算により画素加算された状態で読み出される。さらに、ＦＤ加算により画素加算された主色の画素信号と、領域Ｚ１乃至Ｚ４のそれぞれにおける副色であるＲ画素、Ｇ画素、およびＢ画素の信号との相関から、領域Ｚ１乃至Ｚ４に対応してベイヤ配列の画素信号が求められることにより、間引き読み出しを行う場合とほぼ同一の読出手順で、ＳＮ比を向上させることが可能となる。
尚、主色であるＷ画素については、図９の左部で示されるように、ＦＤ加算により２画素分の画素信号が読み出されるのに対して、副色である、例えば、Ｇ画素については、図９の右部で示されるように１画素分の画素信号が読み出されるのみである。このため、主色の画素信号は、副色の画素信号に対して、２倍の信号レベルとなっているが、副色の画素信号を２倍にすることで、相互の信号レベルを対等にすることで、相互の相関をより高い精度で求めることが可能となるので、さらに、ＳＮ比を向上させることが可能となる。
＜第１の変形例＞
［緑色を主色とし、赤色、および青色を副色とする場合の一例］
以上においては、色フィルタ群３４の構成により、Ｗ画素、Ｒ画素、Ｇ画素、およびＢ画素の４画素からなる画素配列である場合の例について説明してきたが、色フィルタ群３４の構成により、Ｒ画素、Ｇ画素、およびＢ画素の３画素からなる画素配列の場合でも同様の効果を得ることができる。
図１０，図１１は、主色であるＧ画素、並びに副色であるＲ画素、およびＢ画素の３色の画素からなる画素配列である場合の画素信号の読み出し手順を説明する図である。
すなわち、この例においては、図１０の左部で示されるように、主色となるＧ画素が市松状に配置され、領域Ｚ１乃至Ｚ４の画素Ｐ１，Ｐ４に配置される。そして、領域Ｚ１乃至Ｚ４の画素Ｐ２にＲ画素が配置され、画素Ｐ３にＢ画素が配置されている。
そして、図６のフローチャートにおけるステップＳ１１の処理により、図１１の最左部で示されるように、領域Ｚ１，Ｚ２の画素Ｐ２におけるＲ画素が間引き読み出しされる。また、ステップＳ１２の処理により、図１１の左から２番目で示されるように、領域Ｚ１，Ｚ２のそれぞれの画素Ｐ１，Ｐ４のＧ画素がＦＤ加算された状態で読み出される。さらに、ステップＳ１３の処理により、図１１の右から２番目で示されるように、領域Ｚ３，Ｚ４のそれぞれの画素Ｐ１，Ｐ４のＧ画素がＦＤ加算された状態で読み出される。そして、ステップＳ１４の処理により、図１１の最右部で示されるように、領域Ｚ３，Ｚ４のそれぞれの画素Ｐ３のＢ画素が間引き読み出しされる。
そして、ステップＳ１５の処理により、図１０の中央部で示されるように、領域Ｚ２のＦＤ加算された状態で読み出されたＧ画素の画素信号と、画素Ｐ２より間引き読み出されたＲ画素との相関から、図１０の右部で示されるように領域Ｚ２のＲ画素が置換されて求められる。同様に、領域Ｚ３のＦＤ加算された状態で読み出されたＧ画素の画素信号と、画素Ｐ４より間引き読み出されたＢ画素との相関から、図１０の右部で示されるように領域Ｚ３のＢ画素が置換されて求められる。このとき、領域Ｚ１，Ｚ４は、主色であるＧ画素そのものであるので、読み出された画素信号がそのまま利用される。
このような一連の処理により、図１０の右部で示されるようなベイヤ配列が求められる。この処理においても、上述した処理と同様に、従来の間引き読み出し処理と同様の処理手順でも、主色となるＧ画素をＦＤ加算して読み出すことにより、ＳＮ比を向上させることが可能となる。
＜第２の変形例＞
［白色を主色とし、赤色、緑色、および青色を副色とする場合であって、緑色の画素が水平垂直に１画素毎に配列される画素配列ときの一例］
以上においては、色フィルタ群３４の構成により、Ｒ画素、Ｇ画素、およびＢ画素の３画素からなる画素配列である場合の例について説明してきたが、色フィルタ群３４の構成により、主色をＷ画素とし、副色をＲ画素、Ｇ画素、およびＢ画素の３画素とし、Ｗ画素を市松状に配置し、Ｇ画素を水平方向および垂直方向に対して１画素毎に配置し、さらに、Ｒ画素、およびＢ画素を斜め方向にＧ画素を挟むように配置する、いわゆる白市松と呼ばれる画素配列の場合でも同様の効果を得ることができる。
図１２，図１３は、Ｗ画素を主色とし、Ｒ画素、Ｇ画素、およびＢ画素の３画素を副色とする画素配列である場合の画素信号の読み出し手順を説明する図である。
すなわち、この例においては、図１２の左部で示されるように、主色となるＷ画素が市松状に配置され、領域Ｚ１乃至Ｚ４の画素Ｐ１，Ｐ４に配置される。そして、領域Ｚ１，Ｚ４の画素Ｐ２にＢ画素が配置され、画素Ｐ３にＧ画素が配置され、領域Ｚ２，Ｚ３の画素Ｐ２にＲ画素が配置され、画素Ｐ３にＧ画素が配置されている。
そして、図６のフローチャートにおけるステップＳ１１の処理により、図１３の最左部で示されるように、領域Ｚ１，Ｚ２の画素Ｐ２におけるＲ画素およびＢ画素が間引き読み出しされる。また、ステップＳ１２の処理により、図１３の左から２番目で示されるように、領域Ｚ１，Ｚ２のそれぞれの画素Ｐ１，Ｐ４のＷ画素がＦＤ加算された状態で読み出される。さらに、ステップＳ１３の処理により、図１３の右から２番目で示されるように、領域Ｚ３，Ｚ４のそれぞれの画素Ｐ１，Ｐ４のＷ画素がＦＤ加算された状態で読み出される。そして、ステップＳ１４の処理により、図１３の最右部で示されるように、領域Ｚ３，Ｚ４のそれぞれの画素Ｐ３のＧ画素が間引き読み出しされる。
そして、ステップＳ１５の処理により、図１２の中央部で示されるように、領域Ｚ１のＦＤ加算された状態で読み出されたＷ画素の画素信号と、画素Ｐ２より間引き読み出されたＢ画素との相関から、図１２の右部で示されるように領域Ｚ１のＢ画素が置換されて求められる。また、領域Ｚ２のＦＤ加算された状態で読み出されたＷ画素の画素信号と、画素Ｐ２より間引き読み出されたＲ画素との相関から、図１２の右部で示されるように領域Ｚ２のＲ画素が置換されて求められる。同様に、領域Ｚ３，Ｚ４のＦＤ加算された状態で読み出されたＷ画素の画素信号と、それぞれの画素Ｐ３より間引き読み出されたＧ画素との相関から、図１２の右部で示されるように領域Ｚ３，Ｚ４のＧ画素が置換されて求められる。
このような一連の処理により、図１２の右部で示されるようなベイヤ配列が求められる。この処理においても、上述した処理と同様に、従来の間引き読み出し処理と同様の処理手順でも、ＳＮ比を向上させることが可能となる。
尚、以上においては、画素加算に当たり、ＦＤ加算を用いる例について説明してきたが、画素値が加算できれば他の加算方法でもよく、例えば、ソースフォロア加算でもよい。
以上の如く、従来の間引き読み出し処理と同様の手順で、その一部の信号を加算読出するようにしたことで、画素信号のＳＮ比を向上させることが可能となる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図１４は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本技術は、以下のような構成も取ることができる。
（１） ２次元の行列上に配列された画素と、
前記画素に対して輝度信号の所定の色成分の色フィルタと、
前記画素に対して輝度信号の前記所定の色と異なる他の色成分の色フィルタと、
前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理部と
を含む撮像装置。
（２） 前記信号処理部は、前記加算して出力した前記所定の色成分の色フィルタが設けられた画素の信号と、前記間引きして出力した前記他の色成分の色フィルタが設けられた画素の信号との相関を利用して、前記間引きして出力した前記その他の色成分の色フィルタが設けられた画素の信号を生成する
（１）に記載の撮像装置。
（３） 前記所定の色成分は、白色であり、前記その他の色成分は、赤色、緑色、および青色である
（１）または（２）に記載の撮像装置。
（４） 前記所定の色成分は、緑色であり、前記その他の色成分は、赤色、および青色である
（１）または（２）に記載の撮像装置。
（５） 前記信号処理部は、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力し、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号とを加算して出力する
（１）乃至（４）のいずれかに記載の撮像装置。
（６） 前記信号処理部は、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力し、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号とを加算して出力することで、前記加算して出力する処理がない、間引きして読み出すだけの信号処理における場合と同様の順序で信号を出力する
（１）乃至（５）のいずれかに記載の撮像装置。
（７） 前記信号処理部は、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を、ゲインを２倍にして間引きして出力し、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号との、それぞれのゲインが１倍のものを加算して出力する
（１）乃至（６）のいずれかに記載の撮像装置。
（８） 前記信号処理部は、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を、ゲインを２倍にして間引きして出力し、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号との、それぞれのゲインが１倍のものを加算して出力することにより、前記画素の信号をAD（Analogue Digital）変換する際のレンジを適切に変更するように画素信号を出力する
（１）乃至（７）のいずれかに記載の撮像装置。
（９） 前記信号処理部は、前記所定の色成分の色フィルタが設けられた画素の信号をFD（Floating Diffusion）加算して出力する
（１）乃至（８）のいずれかに記載の撮像装置。
（１０） 前記信号処理部は、前記所定の色成分の色フィルタが設けられた画素の信号をソースフォロア加算して出力する
（１）乃至（８）のいずれかに記載の撮像装置。
（１１） 前記信号処理部は、前記加算して出力した前記所定の色成分の色フィルタが設けられた画素の信号と、前記間引きして出力した前記他の色成分の色フィルタが設けられた画素の信号との相関を利用して、前記間引きして出力した前記その他の色成分の色フィルタが設けられた画素の信号を生成することで、間引きして出力した画素の信号のＳＮ比（Signal to Noise ratio）を低減するようにする
（１）乃至（１０）のいずれかに記載の撮像装置。
（１２） ２次元の行列上に配列された画素と、前記画素に対して輝度信号の所定の色成分の色フィルタと、前記画素に対して輝度信号の前記所定の色と異なる他の色成分の色フィルタを含む撮像装置の撮像方法であって、
前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理をするステップを含む
撮像方法。
（１３） ２次元の行列上に配列された画素と、前記画素に対して輝度信号の所定の色成分の色フィルタと、前記画素に対して輝度信号の前記所定の色と異なる他の色成分の色フィルタを含む撮像装置を制御するコンピュータに、
前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理ステップを含む
処理を実行させるためのプログラム。
（１４） ２次元の行列上に配列された画素と、
前記画素に対して輝度信号の所定の色成分の色フィルタと、
前記画素に対して輝度信号の前記所定の色と異なる他の色成分の色フィルタと、
前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理部と
を含む電子機器。
２１ 撮像部， ３４ 色フィルタ群， ３５ 画素アレイ部， ３６ カラム処理部， ３７ 撮像信号処理部， ３８ 駆動制御部， １２１ 画素駆動線， １２２ 垂直信号線， １３１ システム制御部， １３２ 垂直駆動部， １３３ 水平駆動部， １６１，１６１−１乃至１６１−４ ＰＤ， １６２，１６２−１乃至１６２−４ 転送トランジスタ， １６３ リセットトランジスタ， １６４ 増幅トランジスタ， １６５ 選択トランジスタ， １６６ FD

Claims (14)

  1. ２次元の行列上に配列された画素と、
    前記画素に対して輝度信号の所定の色成分の色フィルタと、
    前記画素に対して輝度信号の前記所定の色成分と異なる他の色成分の色フィルタと、
    前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理部と
    を含む撮像装置。
  2. 前記信号処理部は、前記加算して出力した前記所定の色成分の色フィルタが設けられた画素の信号と、前記間引きして出力した前記他の色成分の色フィルタが設けられた画素の信号との相関を利用して、前記間引きして出力した前記その他の色成分の色フィルタが設けられた画素の信号を生成する
    請求項１に記載の撮像装置。
  3. 前記所定の色成分は、白色であり、前記その他の色成分は、赤色、緑色、および青色である
    請求項１に記載の撮像装置。
  4. 前記所定の色成分は、緑色であり、前記その他の色成分は、赤色、および青色である
    請求項１に記載の撮像装置。
  5. 前記信号処理部は、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力し、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号とを加算して出力する
    請求項１に記載の撮像装置。
  6. 前記信号処理部は、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力し、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号とを加算して出力することで、前記加算して出力する処理がない、間引きして読み出すだけの信号処理における場合と同様の順序で信号を出力する
    請求項１に記載の撮像装置。
  7. 前記信号処理部は、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を、ゲインを２倍にして間引きして出力し、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号との、それぞれのゲインが１倍のものを加算して出力する
    請求項１に記載の撮像装置。
  8. 前記信号処理部は、同一の行の画素の信号を出力する期間のうち、前半の期間、または後半の期間のいずれかの第１の期間において、前記他の色成分の色フィルタが設けられた画素の信号を、ゲインを２倍にして間引きして出力し、前記第１の期間と異なる第２の期間において、前記所定の色成分の色フィルタが設けられた画素の信号と、前記同一の行と異なる他の行であって、隣接する前記所定の色成分の色フィルタが設けられた画素の信号との、それぞれのゲインが１倍のものを加算して出力することにより、前記画素の信号をAD（Analogue Digital）変換する際のレンジを適切に変更するように画素信号を出力する
    請求項１に記載の撮像装置。
  9. 前記信号処理部は、前記所定の色成分の色フィルタが設けられた画素の信号をFD（Floating Diffusion）加算して出力する
    請求項１に記載の撮像装置。
  10. 前記信号処理部は、前記所定の色成分の色フィルタが設けられた画素の信号をソースフォロア加算して出力する
    請求項１に記載の撮像装置。
  11. 前記信号処理部は、前記加算して出力した前記所定の色成分の色フィルタが設けられた画素の信号と、前記間引きして出力した前記他の色成分の色フィルタが設けられた画素の信号との相関を利用して、前記間引きして出力した前記その他の色成分の色フィルタが設けられた画素の信号を生成することで、間引きして出力した画素の信号のＳＮ比（Signal to Noise ratio）を低減するようにする
    請求項１に記載の撮像装置。
  12. ２次元の行列上に配列された画素と、前記画素に対して輝度信号の所定の色成分の色フィルタと、前記画素に対して輝度信号の前記所定の色と異なる他の色成分の色フィルタを含む撮像装置の撮像方法であって、
    前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理をするステップを含む
    撮像方法。
  13. ２次元の行列上に配列された画素と、前記画素に対して輝度信号の所定の色成分の色フィルタと、前記画素に対して輝度信号の前記所定の色成分と異なる他の色成分の色フィルタを含む撮像装置を制御するコンピュータに、
    前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理ステップを含む
    処理を実行させるためのプログラム。
  14. ２次元の行列上に配列された画素と、
    前記画素に対して輝度信号の所定の色成分の色フィルタと、
    前記画素に対して輝度信号の前記所定の色成分と異なる他の色成分の色フィルタと、
    前記所定の色成分の色フィルタが設けられた画素の信号を加算して出力し、前記他の色成分の色フィルタが設けられた画素の信号を間引きして出力する信号処理部と
    を含む電子機器。
JP2014515570A 2012-05-14 2013-05-01 撮像装置および撮像方法、電子機器、並びにプログラム Active JP6229652B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014515570A JP6229652B2 (ja) 2012-05-14 2013-05-01 撮像装置および撮像方法、電子機器、並びにプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012110323 2012-05-14
JP2012110323 2012-05-14
PCT/JP2013/062720 WO2013172205A1 (ja) 2012-05-14 2013-05-01 撮像装置および撮像方法、電子機器、並びにプログラム
JP2014515570A JP6229652B2 (ja) 2012-05-14 2013-05-01 撮像装置および撮像方法、電子機器、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2013172205A1 true JPWO2013172205A1 (ja) 2016-01-12
JP6229652B2 JP6229652B2 (ja) 2017-11-15

Family

ID=49583614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014515570A Active JP6229652B2 (ja) 2012-05-14 2013-05-01 撮像装置および撮像方法、電子機器、並びにプログラム

Country Status (6)

Country Link
US (1) US9503699B2 (ja)
JP (1) JP6229652B2 (ja)
KR (1) KR102050121B1 (ja)
CN (1) CN104272727A (ja)
TW (1) TWI521965B (ja)
WO (1) WO2013172205A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015159651A1 (ja) * 2014-04-14 2015-10-22 シャープ株式会社 光検出装置および固体撮像装置並びにそれらの製造方法
JP2015216619A (ja) * 2014-04-25 2015-12-03 パナソニックＩｐマネジメント株式会社 撮像システム、撮像装置、撮像方法および符号化方法
US9883149B2 (en) 2014-08-01 2018-01-30 Sri International Imaging sensor and method for color night vision
JP2016092524A (ja) * 2014-10-31 2016-05-23 ソニー株式会社 信号処理装置及び信号処理方法
CN105516697B (zh) * 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
JP6700850B2 (ja) * 2016-02-24 2020-05-27 日本放送協会 撮像素子の駆動制御回路
JP7362651B2 (ja) * 2018-11-07 2023-10-17 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
KR20200108953A (ko) * 2019-03-11 2020-09-22 삼성전자주식회사 Rgbw 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체
CN110290322A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
CN112447147B (zh) * 2019-08-30 2022-09-02 合肥鑫晟光电科技有限公司 液晶显示面板、显示装置及其亮度转换方法
CN112583417B (zh) * 2019-09-30 2023-08-29 瑞昱半导体股份有限公司 用于扫描键盘电路的方法
CN111031297B (zh) * 2019-12-02 2021-08-13 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件和移动终端
WO2022011547A1 (zh) * 2020-07-14 2022-01-20 深圳市汇顶科技股份有限公司 图像传感器以及相关电子装置
US11350048B1 (en) * 2021-07-25 2022-05-31 Shenzhen GOODIX Technology Co., Ltd. Luminance-adaptive processing of hexa-deca RGBW color filter arrays in CMOS image sensors
WO2023166793A1 (ja) * 2022-03-04 2023-09-07 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166600A (ja) * 2005-11-18 2007-06-28 Canon Inc 固体撮像装置
JP2010136225A (ja) * 2008-12-08 2010-06-17 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2011054911A (ja) * 2009-09-04 2011-03-17 Sony Corp 固体撮像装置、および、その製造方法、電子機器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4289244B2 (ja) 2004-07-16 2009-07-01 ソニー株式会社 画像処理方法並びに物理量分布検知の半導体装置および電子機器
JP2007103401A (ja) * 2005-09-30 2007-04-19 Matsushita Electric Ind Co Ltd 撮像装置及び画像処理装置
EP1788797B1 (en) 2005-11-18 2013-06-26 Canon Kabushiki Kaisha Solid-state image pickup device
JPWO2008050806A1 (ja) * 2006-10-24 2010-02-25 ソニー株式会社 撮像装置と再生制御装置
JP4626706B2 (ja) 2008-12-08 2011-02-09 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5219778B2 (ja) * 2008-12-18 2013-06-26 キヤノン株式会社 撮像装置及びその制御方法
US8515768B2 (en) 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
JP2011097568A (ja) 2009-10-02 2011-05-12 Sanyo Electric Co Ltd 撮像装置
JP5935274B2 (ja) * 2011-09-22 2016-06-15 ソニー株式会社 固体撮像装置、固体撮像装置の制御方法および固体撮像装置の制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166600A (ja) * 2005-11-18 2007-06-28 Canon Inc 固体撮像装置
JP2010136225A (ja) * 2008-12-08 2010-06-17 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2011054911A (ja) * 2009-09-04 2011-03-17 Sony Corp 固体撮像装置、および、その製造方法、電子機器

Also Published As

Publication number Publication date
TW201351986A (zh) 2013-12-16
WO2013172205A1 (ja) 2013-11-21
CN104272727A (zh) 2015-01-07
US20150138407A1 (en) 2015-05-21
KR102050121B1 (ko) 2019-11-28
KR20150013454A (ko) 2015-02-05
TWI521965B (zh) 2016-02-11
JP6229652B2 (ja) 2017-11-15
US9503699B2 (en) 2016-11-22

Similar Documents

Publication Publication Date Title
JP6229652B2 (ja) 撮像装置および撮像方法、電子機器、並びにプログラム
US9866771B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
US8310573B2 (en) Solid-state imaging device, signal processing method thereof and image capturing apparatus
JP5791571B2 (ja) 撮像素子及び撮像装置
JP4821921B2 (ja) 固体撮像装置および電子機器
JP4691930B2 (ja) 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
US20100309340A1 (en) Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
JP4626706B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2010130657A (ja) 固体撮像装置及びそれを用いた撮像システム
JP6026102B2 (ja) 固体撮像素子および電子機器
JP5526840B2 (ja) 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
US8582006B2 (en) Pixel arrangement for extended dynamic range imaging
JP2020108152A (ja) 撮像素子及び撮像装置
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
JP7497396B2 (ja) 撮像素子及び撮像装置
JP5256084B2 (ja) 撮像装置及び撮像装置の駆動方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171002

R151 Written notification of patent or utility model registration

Ref document number: 6229652

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250