JP6166562B2 - IMAGING ELEMENT, ITS DRIVING METHOD, AND IMAGING DEVICE - Google Patents
IMAGING ELEMENT, ITS DRIVING METHOD, AND IMAGING DEVICE Download PDFInfo
- Publication number
- JP6166562B2 JP6166562B2 JP2013059066A JP2013059066A JP6166562B2 JP 6166562 B2 JP6166562 B2 JP 6166562B2 JP 2013059066 A JP2013059066 A JP 2013059066A JP 2013059066 A JP2013059066 A JP 2013059066A JP 6166562 B2 JP6166562 B2 JP 6166562B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- photoelectric conversion
- signal
- pixel
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
本発明は、撮像素子及びその駆動方法、及び撮像装置に関するものである。 The present invention relates to an imaging element, a driving method thereof, and an imaging apparatus.
従来、CMOSイメージセンサを用いた撮像装置において、複数の画素の信号を加算してフレームレート及び感度を上昇させる駆動方法(以下、「画素加算駆動」と呼ぶ。)が知られている(図17)。 Conventionally, in an imaging apparatus using a CMOS image sensor, a driving method (hereinafter referred to as “pixel addition driving”) is known in which signals of a plurality of pixels are added to increase a frame rate and sensitivity (hereinafter referred to as “pixel addition driving”) (FIG. 17). ).
CMOSセンサにおいて画素加算を行う場合には、図18に示すように、電荷電圧変換を行う際に電荷を蓄積するフローティングデフュージョン(FD)部を複数の画素で共有する構成が知られている(例えば、特許文献1及び2参照)。具体的には、複数の画素181内のフォトダイオードで発生した電荷を同時期にFD部182へ転送した後、電荷電圧変換する動作を行う。このように駆動することで、複数の画素181のフォトダイオードで発生した電荷がFD部182で加算されるため、加算される画素数に応じて感度を上昇させることができる。
When performing pixel addition in a CMOS sensor, as shown in FIG. 18, a configuration is known in which a plurality of pixels share a floating diffusion (FD) portion that accumulates charges when performing charge-voltage conversion ( For example, see
上述した動作は、ベイヤー配列を前提とした場合、垂直方向に連続する4つの画素でFD部を共有している等、各色の画素が同数である複数の同色画素を1つのFD部で共有している構成には有効である。しかしながら、図18に示すように、水平2画素および垂直2画素の4画素でFD部を共有する構成の場合には、それぞれ1画素ずつのR画素、B画素と、2画素のG画素によってFD部を共有することになる。そのため、前記構成のような電荷加算動作を行うことができなかった。 In the above-described operation, assuming a Bayer arrangement, a single FD unit shares a plurality of same-color pixels having the same number of pixels of each color, such as a FD unit being shared by four consecutive pixels in the vertical direction. It is effective for the configuration. However, as shown in FIG. 18, in the case of a configuration in which the FD portion is shared by four pixels of two horizontal pixels and two vertical pixels, the FD is composed of one R pixel, one B pixel, and two G pixels. The part will be shared. Therefore, the charge addition operation as in the above configuration cannot be performed.
本発明は、上記問題点を鑑みてなされたものであり、色毎に画素数が異なる複数画素でフローティングディフュージョン部を共有している構成においても、感度を向上させて暗時追従性を高めることを目的とする。 The present invention has been made in view of the above problems, and improves sensitivity in darkness by improving sensitivity even in a configuration in which a floating diffusion portion is shared by a plurality of pixels having different numbers of pixels for each color. With the goal.
上記目的を達成するために、本発明の撮像素子は、複数色のフィルタにより覆われた複数の光電変換部と、該複数の光電変換部で発生した電荷が転送されるフローティングディフュージョン部と、前記フローティングディフュージョン部の電荷を電圧に変換して出力する増幅手段と、前記複数の光電変換部で発生した電荷を前記フローティングディフュージョン部に転送する複数の転送手段とをそれぞれ含む複数の単位画素を、2次元に配置した画素部と、前記複数の光電変換部で発生した電荷をそれぞれ前記フローティングディフュージョン部に転送して読み出す第1の読み出し方法と、前記複数の光電変換部で発生した電荷のうち、予め決められた色のフィルタにより覆われた複数の光電変換部の電荷を単位画素ごとに前記フローティングディフュージョン部に転送して電荷を加算してから読み出す第2の読み出し方法とを含む、複数の読み出し方法により前記画素部を駆動する駆動手段と、を有し、前記駆動手段は、前記第1の読み出し方法による読み出しと、前記第2の読み出し方法による読み出しとを、前記単位画素の行ごとに交互に行う。 In order to achieve the above object, an image pickup device of the present invention includes a plurality of photoelectric conversion units covered with a plurality of color filters, a floating diffusion unit to which charges generated in the plurality of photoelectric conversion units are transferred, A plurality of unit pixels each including an amplifying unit that converts a charge of the floating diffusion portion into a voltage and outputs the voltage and a plurality of transfer units that transfer the charges generated in the plurality of photoelectric conversion units to the floating diffusion portion A first reading method in which the charges generated in the plurality of photoelectric conversion units and the charges generated in the plurality of photoelectric conversion units are respectively read and transferred to the floating diffusion unit; The charges of a plurality of photoelectric conversion units covered by a filter of a predetermined color are And a second read method of reading from by adding the charge is transferred to diffusion portion, a plurality of read methods have a driving means for driving said pixel portion, said drive means, said first Reading by the reading method and reading by the second reading method are alternately performed for each row of the unit pixels .
本発明によれば、色毎に画素数が異なる複数画素でフローティングディフュージョン部を共有している構成においても、感度を向上させて暗時追従性を高めることができる。 According to the present invention, even in a configuration in which a floating diffusion portion is shared by a plurality of pixels having different numbers of pixels for each color, it is possible to improve the sensitivity in darkness and improve the followability in darkness.
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。 The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.
<第1の実施形態>
図1は、第1の実施形態の撮像装置100の構成を示すブロック図であり、本第1の実施形態では、撮像装置100として、デジタルカメラの例について説明する。
<First Embodiment>
FIG. 1 is a block diagram illustrating a configuration of an
レンズ部101は、被写体からの光を撮像部103へ集光するもので、ズームレンズ、フォーカスレンズ、シャッタ等を含む。光量調整部102は、レンズ部101と撮像部103との間に配置されており、具体的には、減光フィルタの挿入機構または、絞り機構である。撮像部103は、レンズ部101と光量調整部102を通して入射した光をアナログ電気信号に変換する画素部と、アナログ信号をデジタル信号に変換するAD変換回路等を含んでいる。
The
信号処理部104は、撮像部103から入力される画像信号に対して、補正用パラメータの生成や、必要な画像信号補正処理を行う。撮像制御部105は、全体制御・演算部106からの制御信号に基づいて、撮像部103及び信号処理部104の制御を行う。具体的には、撮像部103及び信号処理部104等に必要なタイミング信号、画像信号を増幅するためのゲインの設定信号、露出時間の設定信号、駆動モード設定及びその他の制御に必要な信号の生成を行う。
The
全体制御・演算部106は、撮像装置100の動作に応じて必要な処理及び演算を行う。全体制御・演算部106は、信号処理部104等からの信号を一時的に記憶する記憶部107と、操作部110より入力される信号等に応じて撮像部103の駆動モードを切り替える駆動モード設定部108を含む。更に、全体制御・演算部106は、被写体を撮影する露出条件を決定する露出演算部109を含み、その演算結果に基づいて、光量調整部102を用いた光量の調整や、撮像制御部105を用いた露光時間や映像信号を増幅するためのゲインの調整を行う。
The overall control /
なお、図1では信号処理部104と全体制御・演算部106とは独立の構成として示したが、信号処理部104は全体制御・演算部106に含まれていてもよいし、撮像部103に含まれていてもよい。また、撮像制御部105は、撮像部103に含まれていてもよい。
In FIG. 1, the
操作部110は、釦やダイヤル等のヒューマンIFで構成され、撮影者が撮像装置100の動作命令を行うために用いられる。記録部111は、全体制御・演算部106にて生成される画像データを、記録媒体(不図示)に記録する。表示部112は、信号処理部104からの信号を基にして全体制御・演算部106にて生成される画像データを表示したり、操作部110から入力された操作に対応したアイコン等を表示したりする。
The
次に、撮像部103に含まれる撮像素子200の概略構成を図2に示す。画素部201は、図1のレンズ部101からの光を受光する受光画素部や、黒レベルを規定するために遮光されたOB画素部等を含む。本実施形態では、各画素にはベイヤー配列のカラーフィルタが配置されている。AD変換部202は、画素部201から出力される画像信号のAD変換を行う。水平走査回路部203は、AD変換部202から出力される信号を一時的に記憶する一時記憶部等や、一時記憶部に記憶している信号を水平方向(行方向)に順次出力するシフトレジスタ等を含む。出力バッファ部204は、水平走査回路部203からの信号を外部へ出力する。垂直走査回路部205は、画素部201を駆動する信号を生成する信号生成部や、画素部201の選択行を決定するデコーダ等を含む。
Next, a schematic configuration of the
次に、図2の撮像素子200の画素部201の一部の回路構成を図3に示す。本実施形態では、水平2画素、垂直2画素を1単位とし、図2では、垂直方向(列方向)に2単位分の単位画素300が並んでいる様子を表している。
Next, FIG. 3 shows a partial circuit configuration of the
光電変換部を構成するフォトダイオード(PD)301a〜301dは、図1のレンズ部101より入射した光を光電変換して電荷に変換する。上述したようにベイヤー配列のカラーフィルタが配置されており、各PDを覆っている。画素302aは、PD301aを備え、主にレッド色(R)の光を透過するRフィルタで覆われている。画素302b及び画素302cは、PD301b及び301cをそれぞれ備え、輝度信号への寄与度がより高い主にグリーン色(G)の光を透過するGフィルタで覆われている。画素302dは、PD301dを備え、主にブルー色(B)の光を透過するBフィルタで覆われている。
Photodiodes (PD) 301a to 301d constituting the photoelectric conversion unit photoelectrically convert light incident from the
転送トランジスタ(転送Tr)303a〜303dは、垂直走査回路部205からの転送信号(TX信号)を基にPD301a〜301dで発生した電荷を後段のフローティングディフュージョン(FD)部310へ転送する。信号増幅アンプ304は、転送Tr303a〜303dが導通することによってPD301a〜301dからFD部310に転送された電荷を電圧に変換して増幅する動作を行う。信号リセット用トランジスタ(リセットTr)305は、垂直走査回路部205からのリセット信号(RS信号)を基に、PD301a〜301d及びFD部310のリセット動作を行う。本実施形態においては、FD部310、信号増幅アンプ304及びリセットTr305を4つのPD301a〜301dで共有する構成となっている。垂直信号線306は、信号増幅アンプ304から出力される電圧信号をAD変換部202に伝送する。
Transfer transistors (transfer Tr) 303 a to 303 d transfer charges generated in the PDs 301 a to 301 d to the subsequent floating diffusion (FD)
画素部201には、上述した構成を有する複数の単位画素300が2次元的に配置され、TX信号及びRS信号は同一行において、2以上の単位画素300に共通に接続されている。TX信号及びRS信号を制御することによって、PD301a〜301dの電荷蓄積及び読み出しを制御することができる。
A plurality of
次に、図1の撮像装置100を用いて通常の画像を取得する方法(第1の読み出し方法)について説明する。図4は、第1の実施形態における通常画像を取得する際に、垂直走査回路部205から生成される信号を示したタイミングチャートである。
Next, a method (first readout method) for acquiring a normal image using the
まず、RS信号が立ち上がっている間に(T401〜)、PD301aの電荷を転送するTX11信号とPD301bの電荷を転送するTX12信号が順次立ち上がる(T401及びT402)。この動作によって、PD301a及びPD301bの電荷がリセットされ、順次、電荷蓄積が開始される。そして、所定時間経過後にRS信号が再度立ち上がり(T405)、PD301cの電荷を転送するTX13信号とPD301dの電荷を転送するTX14信号が順次立ち上がる(T405及びT406)。この動作によって、PD301c及びPD301dの電荷がリセットされ、順次、電荷蓄積が開始される。この動作は、撮像制御部105によって制御され、設定された条件によって他の行においても順次行われる。
First, while the RS signal rises (from T401), the TX11 signal for transferring the charge of the PD 301a and the TX12 signal for transferring the charge of the
一方で、リセット動作後に所定の露光時間が経過した後、TX11信号が再度立ち上がり(T403)、PD301aの電荷をFD部310に転送する。FD部310に転送された電荷は、信号増幅アンプ304によって電圧に変換されて増幅され、電圧信号として垂直信号線306へ読み出され、AD変換部202に入力される。次に、TX12信号が再度立ち上がり(T404)、PD301bの電荷をFD部310に転送する。FD部310に転送された電荷についても、信号増幅アンプ304によって電圧に変換されて増幅され、電圧信号として同様に垂直信号線306へ読みだされ、AD変換部202に入力される。この動作も、撮像制御部105によって制御され設定された条件によって、他の行においても順次行われる(第1の転送ステップ)。
On the other hand, after a predetermined exposure time has elapsed after the reset operation, the TX11 signal rises again (T403), and the charge of the PD 301a is transferred to the
図5は、第1の実施形態におけるAD変換部202、水平走査回路部203及び出力バッファ部204の回路構成の一部を示したものである。
FIG. 5 shows a part of the circuit configuration of the
AD変換回路501は、垂直信号線306経由で入力されたアナログ信号をデジタル信号に変換する。本第1の実施形態におけるAD変換回路501は、必要に応じてAD_PW信号によって動作を選択できる。動作させる必要の無い場合には、AD_PW信号を立ち下げることによって、電力供給を停止、或いは供給電力を減少させることで、省電力効果が得られる。また、AD変換回路501は、AD_en信号が立ち上がるとAD変換を開始し、AD_en信号が立ち下がることでAD変換を終了し、初期化動作を行う。デジタルメモリ502a、502bは、複数ビットの情報を記憶でき、AD変換回路501からの信号を一時的に記憶する。デジタルメモリ502a、502bの内、どちらのメモリに記憶するかは、メモリ選択信号(M1_selまたはM2_sel)によって選択できる。なお、本第1の実施形態では、AD変換回路一つに対してデジタルメモリを2つ有する構成をとっているが、3つ以上であってもよい。出力バッファ503は、デジタルメモリ502a、502bに記憶されたデジタル信号を順次読み出し、撮像素子200の外部へ出力する。演算回路504は、デジタルメモリ502a、502bに記憶された複数行または複数列の画素信号を加算する動作等を行う。シフトレジスタ505は、出力バッファ503へ伝送する信号を選択する信号(SW信号)を出力する動作を行う。
The
図6は、図5に示す出力系の通常画像を取得する際の動作を示したタイミングチャートである。垂直信号線306に画素からのアナログ信号が読みだされるタイミングに合わせて、AD変換回路501のAD_PW信号が立ち上がり、AD変換回路501への電力供給を開始する(T601)。そして、AD_en信号が立ち上がり、各画素の信号をAD変換する(T602及びT604)。各画素のAD変換後のデジタルデータは、M1_selまたはM2_sel信号がHの間(T602からT603の期間またはT604からT605の期間)に各デジタルメモリ502a、502bに記憶される。記憶されたデジタルデータはシフトレジスタ505からのSW信号を受けて、SW1またはSW2信号がHの間(T606またはT607から始まる期間)に順次読み出され、出力バッファ503へ出力される。
FIG. 6 is a timing chart showing an operation when the normal image of the output system shown in FIG. 5 is acquired. The AD_PW signal of the
ここで、図4及び図6で示した動作を繰り返し行い、読み出した複数行または複数列のデータを演算回路504にて加算して和をとる動作または平均する動作をすることで、通常の画素加算動作を実現することができる。図7(a)は、通常の画像を取得した場合の画素配列を示す図であり、図7(b)は、通常の画素加算動作を行った画像の画素配列を示す図である。画素302aを覆うRフィルタと同作用(同色)のフィルタで覆われた画素において、垂直m画素目、水平n画素目の画素をR_mnと表している。同様に、画素302bを覆うG1フィルタと同作用(同色)のフィルタはG1_mn、画素302cを覆うG2フィルタと同作用(同色)のフィルタはG2_mn、画素302dを覆うBフィルタと同作用(同色)のフィルタはB_mnと表している。
Here, the operation shown in FIG. 4 and FIG. 6 is repeated, and the read operation is performed by adding the read data of a plurality of rows or columns by the
なお、図7(b)に示すように、本実施形態では、水平2画素、垂直2画素分の同色画素を加算するものであるが、水平または垂直の加算数を変えても同様の効果を得られる。また、加算する複数画素の一部に対して所定のゲインを乗算すること等によって、加算後の重心位置を変更する場合においても、同様の効果が得られる。 As shown in FIG. 7B, in this embodiment, the same color pixels for two horizontal pixels and two vertical pixels are added, but the same effect can be obtained by changing the number of horizontal or vertical additions. can get. Further, the same effect can be obtained when the position of the center of gravity after the addition is changed by multiplying a part of a plurality of pixels to be added by a predetermined gain.
ここで、本実施形態における撮像装置100に搭載されている撮像素子200は、CMOS型の撮像素子である。そのため、垂直走査回路部205の設定によって、どの行の転送Tr303をどのような順序で駆動させるか選択することができると共に、同一行を繰り返し選択して信号を読み出すこともできる。また、水平走査回路部203の設定によって、どの列のSWを動作させるかによって、同一行の信号において、どの列の信号から出力するかを選択することができる。これによって、画面内のどの画素からどのような順番で読み出すかを指定することができる。読み出した信号は、信号処理部104にて必要な補正処理が行われる。その後、全体制御・演算部106にて最終的な画像が作成される。
Here, the
また、本実施形態では、各AD変換回路501に対して2つのデジタルメモリ502を持つ構成としているが、デジタルメモリは2つ以上でもよい。また、垂直信号線306に対して、AD変換回路は1つとしたが、2つ以上でもよい。また、図6の動作として、AD変換タイミングとデジタルデータ出力タイミングを時系列に行う例を示したが、直前または直後の行のAD変換タイミングまたはデジタル出力タイミングと重ねる動作を行ってもよい。
In the present embodiment, each
次に、図1の撮像装置100を用いて、第1の実施形態に係わる電荷加算画像を取得する方法に関して説明する。図8は、本第1の実施形態における電荷加算画像を取得する際の垂直走査回路部205で生成される信号を示したタイミングチャートである。なお、図7におけるR_11画素は図3の画素302aに対応し、G1_11画素は画素302bに対応し、G2_11画素は画素302cに対応し、B_11画素は画素302dに対応するものとして説明する。
Next, a method for acquiring a charge addition image according to the first embodiment using the
PD301a〜301dの電荷をそれぞれリセットした後、所定の露光時間の経過後にTX信号が立ち上がり、電荷をFD部310に転送する。そして、FD部310に転送された電荷は、信号増幅アンプ304によって電圧に変換されて増幅され、電圧信号として垂直信号線306へ読み出され、デジタル信号へと変換される。これらの動作は、通常画像を取得する場合と同様である。通常動作と異なるのは、G1_11、G2_11に接続されている転送Tr303b、303cのそれぞれ対するTX信号TX12、TX13が、リセット動作時及び電荷読み出し動作時に同時に立ち上がる点である(T802及びT804)。TX信号TX12、TX13が同時立ち上がるため、2つの画素のリセットタイミング、露光時間、及び読み出し時間は同一となる。そして、FD部310に転送される電荷量は2画素分となるため、信号増幅アンプ304から出力される電圧信号値も2画素分の値となる。
After resetting the charges of the PDs 301a to 301d, the TX signal rises after a predetermined exposure time elapses and transfers the charges to the
図9は、第1の実施形態における電荷加算画像を取得する際の図5に示す出力系の動作を示したタイミングチャートである。垂直信号線306に画素からのアナログ信号が読み出されるタイミングに合わせて、AD_PW信号が立ち上がり、AD変換回路501への電源供給を開始する(T901)。そして、AD_en信号が立ち上がり、各画素の信号をAD変換する(T902及びT904)。各画素のAD変換後のデジタルデータは、M1_selまたはM2_sel信号がHの間(T902からT903の期間、T904からT905の期間、T911からT912の期間)に各デジタルメモリ502aまたは502bに記憶される。本動作のポイントは、TX13のタイミングがTX12と同じタイミングにまで前倒しされたため、通常駆動におけるTX13に対応する期間(T908からT910)には、AD変換回路501への電力供給は停止される。加えて、上記タイミングのなか(T908からT909)で、SW3信号を受けて、デジタルメモリ502bのデータをデジタルメモリ502aにコピーする動作を行う。そして、TX14に対応する期間(T911からT912)において、デジタルメモリ502bに新しいデジタルAD変換結果が記憶される。最後に、デジタルデータはシフトレジスタ505からのSW信号(SW1またはSW2信号)が立ち上がり(T906、T907、T913、T914)、順次出力バッファ503へ出力する。
FIG. 9 is a timing chart showing the operation of the output system shown in FIG. 5 when acquiring the charge addition image in the first embodiment. The AD_PW signal rises at the timing when the analog signal from the pixel is read out to the
以上の動作を各行に対して繰り返し行うことで、1面の画像を取得することができる。図10は、本第1の実施形態における電荷加算動作を行って得られた電荷加算画像の画素配列を示す図である。また、本電荷加算動作においての出力順は、通常駆動時と同じになっている。そのため、図8及び図9で示した動作を繰り返し行うことで、読み出した複数行のデータを演算回路504等にて行う通常の加算動作(図7(b))と組み合わせることも、同じ構成で行うことができる。
By repeating the above operation for each row, an image of one surface can be acquired. FIG. 10 is a diagram illustrating a pixel arrangement of a charge addition image obtained by performing the charge addition operation in the first embodiment. Further, the output order in this charge addition operation is the same as in normal driving. Therefore, by repeating the operations shown in FIGS. 8 and 9, it is possible to combine the read data of a plurality of rows with a normal addition operation (FIG. 7B) performed by the
この動作を行うことによって通常に読み出す動作と、電荷加算動作を大きな回路の追加なしに同一の出力順番で実現することができる。そして、この電荷加算動作により従来の電圧平均による画素加算と比較して輝度レベルが2倍の輝度信号を得ることができ、暗時追従性を向上させることができる。なお、色比が異なる場合には、ホワイトバランス係数等を調節すればよい。 By performing this operation, the normal read operation and the charge addition operation can be realized in the same output order without adding a large circuit. This charge addition operation can obtain a luminance signal whose luminance level is twice as high as that of the conventional pixel addition based on voltage averaging, and can improve dark follow-up performance. When the color ratio is different, the white balance coefficient and the like may be adjusted.
なお、第1の実施形態における通常の加算動作は、AD変換後のデジタルデータを水平回路内の演算回路504にて行う例を示したが、AD変換前のアナログ信号時に加算してもよいし、AD変換部で加算してもよい。
In addition, although the normal addition operation in 1st Embodiment showed the example which performs the digital data after AD conversion in the
また、第1の実施形態では、ベイヤー配列のカラーフィルタを配置した撮像素子を例示したが、ベイヤー配列以外の複数色のカラーフィルタを用いた場合においても、上述した第1の実施形態の動作を行うことで、同様の効果を得ることができる。 Further, in the first embodiment, the image pickup element in which the color filters of the Bayer array are arranged is illustrated, but the operation of the above-described first embodiment is performed even when a plurality of color filters other than the Bayer array are used. By doing so, the same effect can be obtained.
また、主にグリーン色の光を透過するGフィルタが配置された2つの画素の電荷を加算する例を示したが、グリーン色以外の同色のフィルタが配置された画素の電荷を加算してもよい。また、通常の加算動作に加えて、垂直または水平の画素の一部を間引く動作においても、本実施形態の電荷加算動作は有効である。 Moreover, although the example which adds the electric charge of two pixels in which the G filter which mainly permeate | transmits green light is arrange | positioned was shown, even if the electric charge of the pixel in which the filter of the same color other than green is arranged is added Good. In addition to the normal addition operation, the charge addition operation of this embodiment is also effective in the operation of thinning out a part of vertical or horizontal pixels.
また、電荷加算しない画素に対しては、出力値が異なるため、出力前に出力差に応じたゲインを乗算してもよい。 Further, since the output value is different for a pixel to which no charge is added, a gain corresponding to the output difference may be multiplied before output.
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。なお、第2の実施形態における撮像装置の構成、画素及びその周辺部の回路構成等は第1の実施形態において図1〜図3及び図5を参照して説明したものと同様であるため、ここでは説明を省略する。
<Second Embodiment>
Next, a second embodiment of the present invention will be described. The configuration of the imaging device, the pixel and the peripheral circuit configuration, etc. in the second embodiment are the same as those described with reference to FIGS. 1 to 3 and 5 in the first embodiment. The description is omitted here.
上記第1の実施形態では、通常に読み出す動作と電荷加算動作とを、大きな回路の追加なしに同一の出力順で実現する撮像装置を例示した。さらに、電荷加算動作と通常の画素加算動作とを組み合わせることで、暗時追従性を向上させることもできる。 In the first embodiment, the imaging apparatus that realizes the normal reading operation and the charge addition operation in the same output order without adding a large circuit is illustrated. Further, by combining the charge addition operation and the normal pixel addition operation, it is possible to improve the dark followability.
撮像素子200の画素数が増加した場合、1面の画像を出力するのに要する時間は増加し、動画撮影時に所定のフレームレートを維持することが課題となる場合がある。そのため、全部の画素を読みだすのではなく、一部の画素を間引いて読みだした方が好ましい場合がある。以下、本第2の実施形態にかかる、一部の画素を間引いて読み出す場合の撮像素子200の駆動方法(第2の読み出し方法)に関して説明する。
When the number of pixels of the
図11は、本第2の実施形態における、撮像装置100を用いて一部の画素を間引いて読みだす際の垂直走査回路部205で生成される信号を示したタイミングチャートである。PD301a〜301dの電荷をそれぞれリセットした後、所定の露光時間の経過後にTX信号が立ち上がり、電荷をFD部310に転送する。そして、FD部310に転送された電荷は、信号増幅アンプ304によって電圧に変換されて増幅され、電圧信号として垂直信号線306へ読み出され、デジタル信号へと変換される。これらの動作は、第1の実施形態の通常画像を取得する場合と同様である。通常動作と異なるのは、以下の点である。1点目は、TX12信号とTX13信号が同時に立ち上がり(T1102)、G1_11とG2_11の電荷がリセットされ露光が開始される点である。2点目は、TX22信号とTX23信号が同時に立ちあがり(T1105)、G1_21とG2_21の電荷がリセットされ露光が開始される点である。3点目は、TX14信号及びTX21信号は立ち上がらないため、B_11とR_21(他の一色ではない方の色のフィルタ)のリセットが選択的になされない点である。これらの動作は、撮像制御部105によって設定された条件で、各画素から所定の順番で順次行われる。リセット後、所定の露光時間の経過後に、TX信号が再度立ち上がり、PD301の電荷をFD部310に転送する。この場合も、TX12とTX13、及びTX22とTX23は同時に立ち上がり(T1104及びT1107)、TX14信号及びTX21信号は立ち上がらない。
FIG. 11 is a timing chart showing signals generated by the vertical
このようにTX12とTX13、及びTX22とTX23が同時立ち上がるため、2つのPD301のリセットタイミング、露光時間、及び読み出し時間は同一となる。そして、FD部310に転送される電荷量は2画素分となるため、信号増幅アンプ304から出力される電圧信号値も2画素分の値となる。さらに、TX14及びTX21を立ち上げないことで、2行分の読み出し時間で、4行分の画像を取得することができるため、フレームレートを向上させることができる。また、演算回路504にて水平方向の加算を行うことで、さらにフレームレートを向上させることができる。
Since TX12 and TX13 and TX22 and TX23 rise at the same time as described above, the reset timing, exposure time, and readout time of the two PDs 301 are the same. Since the amount of charge transferred to the
図12は、本第2の実施形態における、垂直方向(列方向)に半分に間引いて読み出した後、水平方向(行方向)に2画素の信号を加算した場合の画素加算例である。なお、撮像素子200の画素配列は、図7(a)に示すものとする。本第2の実施形態では、水平2画素の画素を加算し、垂直方向の画素を半分間引きするものであるが、水平または垂直の加算数または間引き数を変えても同様の効果を得ることができる。
FIG. 12 shows an example of pixel addition in the case where the signals of two pixels are added in the horizontal direction (row direction) after being read out in half in the vertical direction (column direction) in the second embodiment. Note that the pixel array of the
この動作を行うことによって通常に読み出す動作と電荷加算動作とを、大きな回路の追加なしに同一の出力順番で実現することができる。そして、この電荷加算動作と通常の画素加算動作を組み合わせることで、暗時追従性を向上させることができる。 By performing this operation, the normal read operation and the charge addition operation can be realized in the same output order without adding a large circuit. Then, by combining this charge addition operation and the normal pixel addition operation, it is possible to improve the dark followability.
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。なお、第3の実施形態における撮像装置の構成、画素及び周辺部の概略回路構成は第1の実施形態で図1〜図3を参照して説明したものと同様であるため、ここでは説明を省略する。AD変換部202、水平走査回路部203、及び、出力バッファ部204の詳細な回路構成は図5に示すものと異なるため、後述する。
<Third Embodiment>
Next, a third embodiment of the present invention will be described. Note that the configuration of the imaging device and the schematic circuit configuration of the pixels and the peripheral portion in the third embodiment are the same as those described with reference to FIGS. 1 to 3 in the first embodiment. Omitted. Detailed circuit configurations of the
上述した第2の実施形態では、フレームレートを向上させるために、一部の画素を間引く動作に関して説明した。しかし、一部の画素のみを電荷加算した場合に、電荷加算した画素の信号レベルは、電荷加算を行わない画素の信号の約2倍となるため、最終的な画質として好ましくない場合がある。一方で、焦点調節を行う場合や、フラッシュ動作時に調光する場合等は、必ずしも高画質である必要はない。 In the second embodiment described above, the operation of thinning out some pixels has been described in order to improve the frame rate. However, when only a part of the pixels is subjected to charge addition, the signal level of the pixel subjected to charge addition is approximately twice that of the pixel not subjected to charge addition, which may not be preferable as the final image quality. On the other hand, it is not always necessary to have high image quality when performing focus adjustment or when dimming during flash operation.
そこで、本第3の実施形態では、以下に示す動作を行うことによって、輝度信号が強調された画像と、強調されていない画像の2種類を、1回の撮像動作で取得する。以下に説明する本第3の実施形態の方法によれば、大規模な回路の追加なしに、画像の画質を低下させること無く、各種撮影補助機能の測定精度を向上させることができる。ここで、撮影補助機能には、被写体合焦度を測定する機能、被写体の輝度を算出する機能、画角を調整するフレーミング機能等が含まれる。 Therefore, in the third embodiment, by performing the following operation, two types of images, that is, an image in which the luminance signal is enhanced and an image that is not enhanced are acquired by one imaging operation. According to the method of the third embodiment described below, it is possible to improve the measurement accuracy of various photographing auxiliary functions without adding a large-scale circuit and without reducing the image quality. Here, the photographing assistance function includes a function for measuring the degree of focus of the subject, a function for calculating the luminance of the subject, a framing function for adjusting the angle of view, and the like.
図13は、本第3の実施形態における画像を取得する際の垂直走査回路部205で生成される信号を示したタイミングチャートである。PD301a〜301dの電荷をそれぞれリセットした後、所定の露光時間の経過後にTX信号が立ち上がり、電荷をFD部310に転送する。そして、FD部310に転送された電荷は、信号増幅アンプ304によって電圧に変換さて増幅され、電圧信号として垂直信号線306へ読み出され、デジタル信号へと変換される。これらの動作は、第1の実施形態の通常画像を取得する場合と同様である。
FIG. 13 is a timing chart showing signals generated by the vertical
本第3の実施形態では、単位画素300毎に電荷加算を行うか、行わないかを組み合わせた動作を、単位画素300の行毎に交互に行う。具体的には、TX12とTX13は同時に立ち上がり(T1303)、G1_11とG2_11の電荷がリセットされ、電荷蓄積が開始される。しかし、TX22信号とTX23信号は同時に立ち上がらず(T1304及びT1310)、G1_21とG2_21の電荷は順次リセットされ電荷蓄積が開始される。この順次リセット動作は、撮像制御部105によって設定された条件で、各画素から所定の順番で順次行われる。その後、所定時間の経過後に各TX信号が再度立ち上がり、PD301の電荷をFD部310に転送する。この場合も、TX12とTX13は同時に(T1307)(第2の転送ステップ)、TX22信号とTX23信号は順次(第1の転送ステップ)立ち上がる(T1308、T1313)。
In the third embodiment, an operation in which charge addition is performed for each
図14は、第3の実施形態におけるAD変換部202、水平走査回路部203及び出力バッファ部204の回路構成の一部を示したものである。
FIG. 14 shows a part of the circuit configuration of the
AD変換回路131は、垂直信号線306経由で入力されたアナログ信号をデジタル信号に変換する。デジタルメモリ132a〜132dは、複数ビットの情報を記憶でき、AD変換回路131からの信号を一時的に記憶する。本第3の実施形態では、1つのAD変換回路131に対して、4つのデジタルメモリを有する構成である。出力バッファ133a、133bはデジタルメモリ132a〜132dに記憶されたデジタル信号を順次読み出し、撮像素子200の外部へ出力する。本第3の実施形態では、2つの出力バッファ133a、133bを有しており、それぞれ独立した信号を出力することができる。演算回路及び出力バッファ切り換え回路134は、デジタルメモリ132a〜132dに記憶された複数行または複数列の信号を加算する動作及び、どの出力バッファから出力するかの選択動作等を行う。シフトレジスタ135は、出力バッファ133へ伝送する信号を選択するSW信号を出力する動作を行う。
The
図15は、図14に示す出力系の動作を示したタイミングチャートである。垂直信号線306に画素からのアナログ信号が読みだされるタイミングに合わせて、AD変換回路131のAD_PW信号が立ち上がり、AD変換回路501への電力供給を開始する(T1501またはT1516)。そして、AD_en信号が立ち上がり、各画素の信号をAD変換する(T1502、T1504等)。各画素のAD変換後のデジタルデータは、M1_selからM4_sel信号がHの間に各デジタルメモリ132a〜132dに記憶される(T1502からT1503の期間、T1504からT1505の期間等)。シフトレジスタ135からのSW信号(SW1、SW2、SW3、またはSW4信号)が立ち上がり、記憶されたデジタルデータは、順次出力バッファ133aまたは133bへ出力される。本動作のポイントは、TX13のタイミングがTX12と同じタイミングにまで前倒しされたため、通常駆動におけるTX13に対応する期間(T1514からT1516の期間)には、AD変換回路131の電力供給は停止される。加えて、上記タイミングのなかで、SW5を受けて、デジタルメモリ132bのデータをデジタルメモリ132aにコピーする動作を行う(T1514)。そして、TX14に対応する期間において、デジタルメモリ132bに新しいデジタルAD変換結果が記憶される(T1519からT1520の期間)。一方で、TX23のタイミングは、通常読み出しを行う場合と同様である(T1517からT1518の期間)。また、デジタルメモリ132a及び132bに記憶されたデジタルデータは出力バッファ133aから出力され、デジタルメモリ132c及び132dに記憶されたデジタルデータは出力バッファ133bから出力される。
FIG. 15 is a timing chart showing the operation of the output system shown in FIG. The AD_PW signal of the
ここで、図13及び図15で示した動作を繰り返し行い、読みだした複数行のデータを演算回路134等にて水平方向に加算することで、通常の画素加算動作を実現することができる。図16に電荷加算の画像を取得した場合の出力バッファ133aから出力された画素の画素配列図16(a)と、通常の画素加算動作の画像を取得した場合の出力バッファ133bから出力された画素の画素配列図16(b)を示す。どちらも演算回路134にて通常の水平2加算を行ったものである。
Here, the operations shown in FIG. 13 and FIG. 15 are repeated, and the read data of a plurality of rows are added in the horizontal direction by the
この動作を行うことによって、電荷加算動作を行わずに読み出す画像と、電荷加算動作を行って読み出す画像とを大規模な回路の追加なしに、同一のタイミングで出力することができる。画質が求められる用途においては図16(b)に示した画像を使用し、被写体合焦度を測定する場合や、フラッシュ動作時に調光する場合等、必ずしも高画質である必要はない用途においては図16(a)に示した画像を使用する。このようにすることで、画質の低下なしに暗時追従性を向上させることができる。 By performing this operation, an image read without performing the charge addition operation and an image read by performing the charge addition operation can be output at the same timing without adding a large-scale circuit. In applications where image quality is required, the image shown in FIG. 16 (b) is used, and in applications where the image quality is not necessarily required, such as when measuring the degree of focus of the subject or when dimming during flash operation. The image shown in FIG. 16A is used. By doing so, it is possible to improve the dark followability without deterioration of the image quality.
また、本第3の実施形態においては、出力バッファを2つ有する構成としたが、3つ以上有していても、同様の効果が得られる。また、本第3の実施形態においては、同時に2種類の画像を出力する例を示したが、時分割に2種類を読み出してもよいし、2種類以上を読み出してもよい。また、垂直方向に対しては、更に、画素加算または間引き動作を行ってもよい。 In the third embodiment, two output buffers are provided, but the same effect can be obtained even if three or more output buffers are provided. In the third embodiment, two types of images are output at the same time. However, two types may be read out in time division, or two or more types may be read out. In addition, pixel addition or thinning operation may be further performed in the vertical direction.
Claims (12)
前記複数の光電変換部で発生した電荷をそれぞれ前記フローティングディフュージョン部に転送して読み出す第1の読み出し方法と、前記複数の光電変換部で発生した電荷のうち、予め決められた色のフィルタにより覆われた複数の光電変換部の電荷を単位画素ごとに前記フローティングディフュージョン部に転送して電荷を加算してから読み出す第2の読み出し方法とを含む、複数の読み出し方法により前記画素部を駆動する駆動手段と、を有し、
前記駆動手段は、前記第1の読み出し方法による読み出しと、前記第2の読み出し方法による読み出しとを、前記単位画素の行ごとに交互に行うことを特徴とする撮像素子。 A plurality of photoelectric conversion units covered with filters of a plurality of colors, a floating diffusion unit to which charges generated in the plurality of photoelectric conversion units are transferred, and an amplifying unit that converts the charges of the floating diffusion units into a voltage and outputs the voltage A plurality of unit pixels each including a plurality of transfer means for transferring charges generated in the plurality of photoelectric conversion units to the floating diffusion unit,
A first reading method for reading out the charges generated in the plurality of photoelectric conversion units by transferring them to the floating diffusion unit, and a filter of a predetermined color among the charges generated in the plurality of photoelectric conversion units. Driving the pixel unit by a plurality of readout methods, including a second readout method of transferring the charges of the plurality of photoelectric conversion units transferred to the floating diffusion unit for each unit pixel and adding the charges. Means ,
The image pickup device , wherein the driving unit alternately performs reading by the first reading method and reading by the second reading method for each row of the unit pixels .
前記撮像素子に対して、駆動モードを設定する設定手段と、
予め決められた駆動モードが設定された場合に、前記第2の読み出し方法により前記画素部を駆動するように前記駆動手段を制御する制御手段と
を有することを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 9 ,
Setting means for setting a drive mode for the image sensor;
An image pickup apparatus comprising: a control unit that controls the driving unit to drive the pixel unit by the second reading method when a predetermined driving mode is set.
前記転送手段が、前記複数の光電変換部で発生した電荷をそれぞれ前記フローティングディフュージョン部に転送する第1の転送ステップと、
前記転送手段が、前記複数の光電変換部で発生した電荷のうち、予め決められた色のフィルタにより覆われた複数の光電変換部の電荷を単位画素ごとに前記フローティングディフュージョン部に転送するとともに、前記複数の光電変換部で発生した電荷のうち、前記予め決められた色以外のフィルタにより覆われた光電変換部の電荷をそれぞれ前記フローティングディフュージョン部に転送する第2の転送ステップと、
駆動手段が、前記第1の転送ステップと、前記第2の転送ステップとを、前記単位画素の行ごとに交互に行うように前記転送手段を制御するステップと、
前記増幅手段が、前記フローティングディフュージョン部に電荷が転送されるごとに、前記フローティングディフュージョン部の電荷を電圧に変換して出力するステップと、
を有することを特徴とする撮像素子の駆動方法。 A plurality of photoelectric conversion units covered by a plurality of color filters, a floating diffusion unit to which charges generated in the plurality of photoelectric conversion units are transferred, an amplifying unit, and a charge generated in the plurality of photoelectric conversion units A driving method of an imaging device having a plurality of unit pixels each including a plurality of transfer means for transferring to a floating diffusion portion and a pixel portion arranged two-dimensionally,
A first transfer step in which the transfer unit transfers charges generated in the plurality of photoelectric conversion units to the floating diffusion unit, respectively.
The transfer means transfers the charges of a plurality of photoelectric conversion units covered by a predetermined color filter among the charges generated in the plurality of photoelectric conversion units to the floating diffusion unit for each unit pixel, A second transfer step of transferring the charge of the photoelectric conversion unit covered by the filter other than the predetermined color among the charges generated in the plurality of photoelectric conversion units to the floating diffusion unit, respectively;
A drive means for controlling the transfer means to alternately perform the first transfer step and the second transfer step for each row of the unit pixels;
Each time the charge is transferred to the floating diffusion part, the amplification means converts the charge of the floating diffusion part into a voltage and outputs the voltage; and
A method for driving an imaging device, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013059066A JP6166562B2 (en) | 2013-03-21 | 2013-03-21 | IMAGING ELEMENT, ITS DRIVING METHOD, AND IMAGING DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013059066A JP6166562B2 (en) | 2013-03-21 | 2013-03-21 | IMAGING ELEMENT, ITS DRIVING METHOD, AND IMAGING DEVICE |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014187423A JP2014187423A (en) | 2014-10-02 |
JP2014187423A5 JP2014187423A5 (en) | 2016-03-10 |
JP6166562B2 true JP6166562B2 (en) | 2017-07-19 |
Family
ID=51834585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013059066A Expired - Fee Related JP6166562B2 (en) | 2013-03-21 | 2013-03-21 | IMAGING ELEMENT, ITS DRIVING METHOD, AND IMAGING DEVICE |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6166562B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6486151B2 (en) * | 2015-03-05 | 2019-03-20 | キヤノン株式会社 | Imaging system |
KR102382183B1 (en) | 2015-05-20 | 2022-04-01 | 삼성전자주식회사 | Image Sensor For Improving Signal-to-Noise Ratio and Random Noise, and Image Processing System Including The Same |
TWI636668B (en) * | 2017-04-28 | 2018-09-21 | 友達光電股份有限公司 | Automatic voltage amplifying apparatus and automatic voltage amplifying method |
JP7057635B2 (en) | 2017-08-15 | 2022-04-20 | キヤノン株式会社 | Imaging equipment, cameras and transportation equipment |
JP2020107932A (en) * | 2018-12-26 | 2020-07-09 | ソニーセミコンダクタソリューションズ株式会社 | Solid-state imaging element and imaging apparatus |
CN111083402B (en) * | 2019-12-24 | 2020-12-01 | 清华大学 | Bimodal bionic vision sensor |
CN111031267B (en) * | 2019-12-24 | 2020-12-11 | 清华大学 | Optic rod bionic vision sensor |
CN111083404B (en) * | 2019-12-24 | 2021-01-08 | 清华大学 | Viewing cone and rod bimodal bionic vision sensor |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5026951B2 (en) * | 2007-12-26 | 2012-09-19 | オリンパスイメージング株式会社 | Imaging device driving device, imaging device driving method, imaging device, and imaging device |
-
2013
- 2013-03-21 JP JP2013059066A patent/JP6166562B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014187423A (en) | 2014-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6166562B2 (en) | IMAGING ELEMENT, ITS DRIVING METHOD, AND IMAGING DEVICE | |
JP4448888B2 (en) | Imaging apparatus and signal processing method of imaging apparatus | |
JP5026951B2 (en) | Imaging device driving device, imaging device driving method, imaging device, and imaging device | |
US7978240B2 (en) | Enhancing image quality imaging unit and image sensor | |
JP4622790B2 (en) | Imaging device and imaging apparatus | |
WO2013031368A1 (en) | Imaging device, signal processing method, and program | |
JP5806511B2 (en) | Imaging apparatus and imaging method | |
JP6207351B2 (en) | Solid-state imaging device and imaging system | |
KR101939402B1 (en) | Solid-state imaging device and driving method thereof, and electronic apparatus using the same | |
JP6070301B2 (en) | Solid-state imaging device and imaging apparatus using the same | |
JP5885431B2 (en) | Imaging device and imaging apparatus | |
JP2008042298A (en) | Solid-state image pickup device | |
JPWO2012014553A1 (en) | Imaging apparatus and imaging method | |
JP2007135200A (en) | Imaging method, imaging device, and driver | |
JP2005109993A (en) | Photographing apparatus | |
JP6393087B2 (en) | Imaging device and imaging apparatus | |
JP4848349B2 (en) | Imaging apparatus and solid-state imaging device driving method | |
WO2023162483A1 (en) | Imaging device and method for controlling same | |
WO2020203799A1 (en) | Imaging element and imaging device | |
JP5629568B2 (en) | Imaging device and pixel addition method thereof | |
WO2020203797A1 (en) | Imaging element and imaging device | |
JP5175783B2 (en) | Imaging device and driving method of imaging device | |
JP2023124783A (en) | Imaging apparatus and method for controlling the same | |
JP6375614B2 (en) | Solid-state imaging device and imaging apparatus | |
JP5256084B2 (en) | Imaging device and driving method of imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160126 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170623 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6166562 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |