JP7108471B2 - Solid-state imaging device, imaging device, and imaging method - Google Patents
Solid-state imaging device, imaging device, and imaging method Download PDFInfo
- Publication number
- JP7108471B2 JP7108471B2 JP2018109660A JP2018109660A JP7108471B2 JP 7108471 B2 JP7108471 B2 JP 7108471B2 JP 2018109660 A JP2018109660 A JP 2018109660A JP 2018109660 A JP2018109660 A JP 2018109660A JP 7108471 B2 JP7108471 B2 JP 7108471B2
- Authority
- JP
- Japan
- Prior art keywords
- counter
- count value
- signal
- output
- reset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、固体撮像素子、撮像装置及び撮像方法に関する。 The present invention relates to a solid-state imaging device, an imaging device, and an imaging method.
近時では、撮像エリア内で物体に動きが発生した場合に、通常時の撮像よりも鮮明な画像で物体を撮像し得る撮像装置が提案されている（特許文献１）。また、新しい方式のイメージセンサとして、特許文献２に示すようなイメージセンサが提案されている。特許文献２に開示されたイメージセンサには、以下のような信号処理回路が各画素に備えられている。特許文献２では、光電変換素子で生成された電荷を蓄積する蓄積容量と、蓄積容量の電圧を基準電圧と比較し、両者が一致したときにパルスを出力する比較器と、比較器の出力により蓄積容量の電圧をリセット電圧に戻すリセット手段とが各画素に備えられている。
Recently, there has been proposed an imaging apparatus capable of imaging an object with a clearer image than that in normal imaging when the object moves within an imaging area (Patent Document 1). Also, as a new type of image sensor, an image sensor as shown in
しかしながら、従来の技術では、必ずしも良好な撮影を行い得ない場合があった。 However, with conventional techniques, there are cases where good imaging cannot always be performed.
本発明の目的は、良好な撮影を行い得る固体撮像素子、撮像装置及び撮像方法を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a solid-state image pickup device, an image pickup apparatus, and an image pickup method capable of performing excellent photographing.
実施形態の一観点によれば、光子の受光頻度に応じた頻度でパルスを発するセンサ部がそれぞれ備えられた複数の画素と、前記センサ部から発せられる前記パルスの数をカウントする第１のカウンタと、外部から周期信号の供給を受けるインターフェースと、単位時間あたりに検出される前記パルスの数の変化が閾値より大きい場合に、前記第１のカウンタのカウント値に応じた信号を出力する出力部と、を備え、前記第１のカウンタは、前記周期信号に基づいてリセットされ、前記出力部は、前記単位時間あたりに検出される前記パルスの数の変化が前記閾値以下の場合には、前記第１のカウンタのカウント値に応じた信号を出力しないことを特徴とする固体撮像素子が提供される。 According to one aspect of the embodiment, a plurality of pixels each provided with a sensor unit that emits a pulse at a frequency corresponding to the frequency of photon reception, and a first counter that counts the number of pulses emitted from the sensor unit. an interface that receives a periodic signal from the outside; and an output unit that outputs a signal corresponding to the count value of the first counter when a change in the number of pulses detected per unit time is greater than a threshold. and wherein the first counter is reset based on the periodic signal, and the output unit outputs the A solid-state imaging device is provided that does not output a signal corresponding to the count value of the first counter .
本発明によれば、良好な撮影を行い得る固体撮像素子、撮像装置及び撮像方法を提供することができる。 According to the present invention, it is possible to provide a solid-state image pickup device, an image pickup apparatus, and an image pickup method capable of performing excellent photographing.
本発明の実施の形態について図面を用いて以下に説明する。なお、本発明は以下の実施形態に限定されるものではなく、適宜変更可能である。また、以下に示す実施形態を適宜組み合わせるようにしてもよい。 An embodiment of the present invention will be described below with reference to the drawings. It should be noted that the present invention is not limited to the following embodiments, and can be modified as appropriate. Also, the embodiments shown below may be combined as appropriate.
［第１実施形態］
第１実施形態による固体撮像素子、撮像装置及び撮像方法について図１乃至図５を用いて説明する。図１は、本実施形態による固体撮像素子を示す図である。
[First embodiment]
A solid-state imaging device, an imaging apparatus, and an imaging method according to the first embodiment will be described with reference to FIGS. 1 to 5. FIG. FIG. 1 is a diagram showing a solid-state imaging device according to this embodiment.
図１に示すように、本実施形態による固体撮像素子１００は、撮像部（撮像領域、画素アレイ領域）１６０と、水平選択回路（水平走査回路）１３０と、垂直選択回路（垂直走査回路）１４０と、出力部１５０とを備えている。
As shown in FIG. 1, the solid-
撮像部１６０には、複数の画素１１０が行列状、即ち、マトリクス状に配されている。ここでは、説明の簡略化のため、２４個の画素１１０が図示されているが、実際には多数の画素１１０が撮像部１６０に備えられている。各々の画素１１０に付された（ｐ，ｑ）（ｐ、ｑはそれぞれ整数）は、当該画素１１０の座標を示している。ｐは行番号を示しており、ｑは列番号を示している。各々の画素１１０には、システム制御部４０４（図４参照）から同期信号ＶＤが供給される（図２（ｂ）参照）。撮像部１６０は、撮影光学系４０１（図４参照）によって形成される光学像を受光する。各々の画素１１０に入射する光子が、各々の画素１１０においてカウントされるようになっている。画素１１０においてカウントされた光子の数に応じた出力信号が、水平出力線１２０を介して出力部１５０に出力されるようになっている。同一の行に位置する画素１１０によって取得された信号は、同一の水平出力線１２０を介して出力部１５０に伝送される。ここでは、４本の水平出力線が図示されているが、実際には、多数の出力信号線が備えられている。各々の水平出力線１２０には、スイッチ１２１が備えられている。画素１１０から出力される出力信号は、水平出力線１２０とスイッチ１２１とを介して出力部１５０に伝送される。
The
撮像部１６０の各々の行に対して、水平選択回路１３０が備えられている。なお、ここでは、水平選択回路１３０が撮像部１６０内に備えられている場合を例に説明するが、撮像部１６０の外側に水平選択回路１３０が備えられていてもよい。当該画素１１０が読み出し対象であるか否かを示す情報が、当該画素１１０から水平選択回路１３０に信号線１２５を介して供給されるようになっている。例えば、前フレームにおける当該画素１１０の画素値と現フレームにおける当該画素１１０の画素値との差分が閾値ＴＨ以下である場合には、以下のようになる。即ち、当該画素１１０は読み出し対象ではないということを示す情報が、当該画素１１０から水平選択回路１３０に信号線１２５を介して供給される。一方、前フレームにおける当該画素１１０の画素値と現フレームにおける当該画素１１０の画素値との差分が閾値ＴＨより大きい場合には、以下のようになる。即ち、当該画素１１０は読み出し対象であるということを示す情報が、当該画素１１０から水平選択回路１３０に信号線１２５を介して供給される。水平選択回路１３０は、各々の画素１１０から供給されるこのような情報をそれぞれ記憶する。水平選択回路１３０は、各々の画素１１０から供給されるこのような情報に基づいて、以下のような処理を行う。即ち、水平選択回路１３０は、当該水平選択回路１３０が備えられている行に位置する画素１１０のうちの読み出し対象となる画素１１０の数を示す情報を、信号線１２６を介して垂直選択回路１４０に供給する。水平選択回路１３０は、読み出し処理の際、当該水平選択回路１３０が備えられた行に位置する複数の画素１１０のうちの読み出し対象となる画素１１０を水平方向に順次選択する。画素１１０から出力される信号は、スイッチ１２３を介して水平出力線１２０に伝送されるようになっている。スイッチ１２３は、水平選択回路１３０から読み出し制御線１２４を介して供給される信号によって制御される。水平選択回路１３０は、読み出し対象の画素１１０から信号を読み出す際、当該画素１１０の出力信号線に備えられたスイッチ１２３をＯＮ状態にする。水平選択回路１３０は、読み出し対象の画素１１０に対して、列番号ｑが小さい順に読み出し処理を行う。水平選択回路１３０は、読み出し対象ではない画素１１０に対しては、読み出し処理を行わない。
A
垂直選択回路１４０には、水平方向に延在する複数の読み出し制御線１２２が備えられている。ここでは、４本の読み出し制御線１２２が図示されているが、実際には、多数の読み出し制御線１２２が備えられている。垂直選択回路１４０には、システム制御部４０４（図４参照）から同期信号（垂直同期信号）ＶＤが供給されるようになっている。上述したように、各々の行に備えられた水平選択回路１３０からは、読み出し対象となる画素１１０の数を示す情報が、信号線１２６を介して垂直選択回路１４０に供給されるようになっている。垂直選択回路１４０は、各々の行において読み出し対象となる画素１１０の数を記憶する。垂直選択回路１４０は、読み出し処理の際、読み出し対象となる画素１１０が存在している行、即ち、読み出しの対象となる行を垂直方向に順次選択する。読み出し対象となる画素１１０が存在しない行に対しては、読み出し処理は行われない。垂直選択回路１４０は、読み出し制御線１２２を介してスイッチ１２１をＯＮ状態にすることによって、読み出しの対象となる行を選択する。垂直選択回路１４０は、当該行に存在している読み出し対象となる画素１１０の数に応じた時間だけ、当該行を選択する。読み出し対象となる画素１１０が当該行に多く存在している場合には、当該行が選択される時間が長くなり、読み出し対象となる画素１１０が当該行に多く存在していない場合には、当該行が選択される時間は短くなる。
The
垂直選択回路１４０によって行の選択を垂直方向に適宜行いつつ、水平選択回路１３０によって画素１１０の選択を水平方向に適宜行うことにより、読み出し対象の画素１１０から信号が読み出される。読み出し対象の画素１１０からそれぞれ読み出された信号は、水平出力線１２０をそれぞれ介して出力部１５０に供給される。出力部１５０は、撮像部１６０から順次供給される信号を用いて出力信号ＯＵＴＰＵＴを生成する。出力部１５０は、例えば、低電圧差動伝送（ＬＶＤＳ：Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）技術等を用いて、固体撮像素子１００の外部に出力信号ＯＵＴＰＵＴを出力する。この際、出力部１５０は、読み出し対象となった画素１１０の座標（ｐ，ｑ）を示す情報を、当該画素１１０から読み出された信号とともに出力する。固体撮像素子１００は、同期信号ＶＤに基づいて、第ｎ番目のフレームに対する読み出し処理と、第ｎ＋１番目のフレームの露光処理とを並行して行う。
A signal is read from the
図２は、本実施形態による固体撮像素子を示す図である。図２（ａ）は、本実施形態による固体撮像素子を示す斜視図である。図２（ａ）に示すように、固体撮像素子１００は、２つの基板（半導体チップ）２２０，２３０を積層することによって構成されている。図２（ｂ）は、本実施形態による固体撮像素子１００に備えられている画素１１０を示している。図２（ｂ）においては、固体撮像素子１００に備えられた複数の画素１１０のうちの１つの画素１１０が抜き出して示されている。
FIG. 2 is a diagram showing a solid-state imaging device according to this embodiment. FIG. 2(a) is a perspective view showing the solid-state imaging device according to this embodiment. As shown in FIG. 2A, the solid-
図２（ａ）に示すように、固体撮像素子１００は、撮影光学系４０１によって形成される光学像を受光する基板（上部基板）２２０と、主としてデジタル系の回路を備える基板（下部基板）２３０とから構成されている。図２（ｂ）に示すように、画素１１０は、センサ部（受光部、画素部）２１６と計数部２１７とによって構成されている。画素１１０のうちのセンサ部２１６は、基板２２０に形成されている。画素１１０のうちの計数部２１７は、基板２３０に形成されている。複数のセンサ部２１６が、基板２２０に行列状に配列されている。複数の計数部２１７が、基板２３０に行列状に配列されている。複数のセンサ部２１６の各々と、これらのセンサ部２１６に対応する複数の計数部２１７の各々とが、互いに電気的に接続されている。こうして、複数の画素１１０がマトリクス状に配されている。センサ部２１６には、フォトダイオード２０１と、クエンチ素子２０２と、インバータ２０３とが備えられている。センサ部２１６にインバータ２０３が備えられているため、波形整形されたパルス信号ＰＵＬＳＥがセンサ部２１６から計数部２１７に伝送される。従って、センサ部２１６から計数部２１７への伝送は比較的ロバストである。計数部２１７には、カウンタ２０４と、ラッチ回路（ラッチ部）Ｌａｔ１、Ｌａｔ２と、インバータ２０７と、減算器２０８と、比較器２０９，２１０と、ＯＲ回路２１１と、乗算器２１２，２１３と、スイッチ２１４，２１５とが備えられている。垂直選択回路１４０と、出力部１５０とは、基板２２０の周辺回路部２４１又は基板２３０の周辺回路部２４２とのうちのいずれかに備えられている。ここでは、垂直選択回路１４０と、出力部１５０とが、基板２３０の周辺回路部２４２に配置されている場合を例に説明する。なお、図２（ａ）においては、水平選択回路１３０の図示が省略されている。水平選択回路１３０は、例えば基板２３０に備えられている。
As shown in FIG. 2A, the solid-
このように、本実施形態では、センサ部２１６が基板２２０に形成されており、計数部２１７が基板２３０に形成されている。回路規模が大きい計数部２１７が、センサ部２１６が備えられている基板２２０とは別個の基板２３０に備えられているため、センサ部２１６の面積を十分に確保することができる。このため、センサ部２１６の開口面積を十分に確保することができる。
Thus, in this embodiment, the
フォトダイオード２０１としては、単一光子を検出し得るアバランシェフォトダイオード、即ち、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ、単一光子アバランシェダイオード）が用いられている。フォトダイオード２０１のアノードは接地電圧に接続されており、フォトダイオード２０１のカソードはクエンチ素子２０２の一端に接続されている。クエンチ素子２０２の他端にはバイアス電圧Ｖａが印加される。フォトダイオード２０１には、クエンチ素子２０２を介してフォトダイオード２０１の降伏電圧より大きいバイアス電圧Ｖａが印加され得る。このため、フォトダイオード２０１はガイガーモードと称される動作モードで動作し得る。即ち、フォトダイオード２０１に光子（フォトン）が入射するとアバランシェ増倍現象を引き起こす。これにより、アバランシェ電流が生じ、クエンチ素子２０２において電圧降下が生ずる。クエンチ素子２０２は、フォトダイオード２０１のアバランシェ増倍現象を停止させるための抵抗素子である。ここでは、ＭＯＳトランジスタの抵抗成分を利用してクエンチ素子２０２が構成されている。アバランシェ増倍現象によってアバランシェ電流が生じると、クエンチ素子２０２において電圧降下が生じ、フォトダイオード２０１に印加されるバイアス電圧が降下する。バイアス電圧がフォトダイオード２０１の降伏電圧以下になるとアバランシェ増倍現象が停止する。その結果、アバランシェ電流が流れなくなり、フォトダイオード２０１には、再びバイアス電圧Ｖａが印加される。フォトダイオード２０１のカソードと、クエンチ素子２０２の一端とは、インバータ２０３の入力端子に接続されている。インバータ２０３の出力端子は、カウンタ２０４の入力端子に接続されている。フォトダイオード２０１に光子が入射すると、上記のような現象が生ずるため、インバータ２０３の入力端子において電圧変化が生じる。インバータ２０３は、かかる電圧変化に応じてパルス信号ＰＵＬＳＥを生成し、生成したパルス信号ＰＵＬＳＥをカウンタ２０４に出力する。こうして、波形整形されたパルス信号ＰＵＬＳＥがインバータ２０３から出力される。このように、フォトダイオード２０１とクエンチ素子２０２とインバータ２０３とを含むセンサ部２１６においては、フォトダイオード２０１に光子が入射すると、光子の受光頻度に応じた頻度でインバータ２０３からパルス信号ＰＵＬＳＥが出力される。より具体的には、フォトダイオード２０１に１つの光子が入射すると、インバータ２０３から１つのパルス信号ＰＵＬＳＥが出力される。バイアス電圧Ｖａは、例えば＋２０Ｖ程度とすることができるが、これに限定されるものではない。例えば、フォトダイオード２０１のアノードを負の電位に接続するようにしてもよい。
As the
カウンタ２０４のクロック端子には、インバータ２０３から出力されるパルス信号ＰＵＬＳＥが入力されるようになっている。カウンタ２０４は、パルス信号ＰＵＬＳＥのパルス数をカウントする。カウンタ２０４のビット（ｂｉｔ）幅は、例えば１６とすることができるが、これに限定されるものではない。カウンタ２０４のリセット端子には、同期信号ＶＤが供給されるようになっている。カウンタ２０４は、同期信号ＶＤの極性が変化した際に、カウント値ＣＮＴを初期値、即ち、０にリセットする。即ち、カウンタ２０４は、同期信号ＶＤがＬｏｗレベルからＨｉｇｈレベルに変化した際に、カウント値ＣＮＴを初期値にリセットする。また、カウンタ２０４は、同期信号ＶＤがＨｉｇｈレベルからＬｏｗレベルに変化した際に、カウント値ＣＮＴを初期値にリセットする。カウンタ２０４の出力端子は、ラッチ回路Ｌａｔ１，Ｌａｔ２のＤ端子に接続されている。従って、カウンタ２０４から出力されるカウント値ＣＮＴは、ラッチ回路Ｌａｔ１，Ｌａｔ２のＤ端子にそれぞれ入力されるようになっている。
A pulse signal PULSE output from the
ラッチ回路Ｌａｔ１のＧ端子には、同期信号ＶＤが供給されるようになっている。ラッチ回路Ｌａｔ２のＧ端子には、同期信号ＶＤがインバータ２０７を介して供給されるようになっている。ラッチ回路Ｌａｔ１は、同期信号ＶＤがＬｏｗレベルからＨｉｇｈレベルに変化した際に、カウンタ２０４から出力されているカウント値ＣＮＴを記録する。一方、ラッチ回路Ｌａｔ２は、同期信号ＶＤがＨｉｇｈレベルからＬｏｗレベルに変化した際に、カウンタ２０４から出力されているカウント値ＣＮＴを記録する。ラッチ回路Ｌａｔ１のＱ端子は、スイッチ２１４，１２３を介して水平出力線１２０に接続されている。また、ラッチ回路Ｌａｔ２のＱ端子は、スイッチ２１５，１２３を介して水平出力線１２０に接続されている。また、ラッチ回路Ｌａｔ１のＱ端子は、減算器２０８の一方の入力端子に接続されており、ラッチ回路Ｌａｔ２のＱ端子は、減算器２０８の他方の入力端子に接続されている。ラッチ回路Ｌａｔ１のＱ端子から出力されるカウント値Ｌａｔ１－Ｑと、ラッチ回路Ｌａｔ２のＱ端子から出力されるカウント値Ｌａｔ２－Ｑとの差分が、減算器２０８によって求められる。減算器２０８によって求められたこれらの差分（差分値）は、比較器２０９、２１０に入力されるようになっている。比較器２０９は、減算器２０８によって求められた差分値が閾値ＴＨより大きいか否かを判定し、かかる差分値が閾値ＴＨよりも大きい場合にはＨｉｇｈレベルの信号を出力する。比較器２０９は、減算器２０８によって求められた差分値が閾値－ＴＨより小さいか否かを判定し、かかる差分値が閾値－ＴＨよりも小さい場合にはＨｉｇｈレベルの信号を出力する。比較器２０９，２１０の出力端子は、ＯＲ回路２１１の入力端子にそれぞれ接続されている。ＯＲ回路２１１は、比較器２０９，２１０から出力される信号のうちの少なくともいずれかがＨｉｇｈレベルになると、Ｈｉｇｈレベルの信号を出力する。ＯＲ回路２１１から出力される信号は、乗算器２１２、２１３に入力されるようになっている。乗算器２１２には、同期信号ＶＤとＯＲ回路２１１の出力信号とが入力されるようになっている。同期信号ＶＤがＨｉｇｈレベルであり、且つ、ＯＲ回路２１１の出力信号がＨｉｇｈレベルである際に、乗算器２１２の出力がＨｉｇｈレベルとなる。スイッチ２１４は、乗算器２１２から出力される信号によって制御されるようになっている。同期信号ＶＤがＨｉｇｈレベルであり、且つ、ＯＲ回路２１１の出力信号がＨｉｇｈレベルである際に、スイッチ２１４はＯＮ状態となる。即ち、同期信号ＶＤがＨｉｇｈレベルであり、且つ、ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分が閾値ＴＨより大きい場合、ラッチ回路Ｌａｔ１のカウント値Ｌａｔ１－Ｑがスイッチ２１４を介して画素１１０から出力される。乗算器２１３には、同期信号ＶＤをインバータ２０７で反転することによって得られる信号とＯＲ回路２１１の出力信号とが入力されるようになっている。同期信号ＶＤがＬｏｗレベルであり、且つ、ＯＲ回路２１１の出力信号がＨｉｇｈレベルである際に、乗算器２１３の出力がＨｉｇｈレベルとなる。スイッチ２１５は、乗算器２１３から出力される信号によって制御されるようになっている。同期信号ＶＤがＬｏｗレベルであり、且つ、ＯＲ回路２１１の出力信号がＨｉｇｈレベルである際に、スイッチ２１５はＯＮ状態となる。即ち、同期信号ＶＤがＬｏｗレベルであり、且つ、ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分が閾値ＴＨより大きい場合、ラッチ回路Ｌａｔ２のカウント値Ｌａｔ２－Ｑがスイッチ２１５を介して画素１１０から出力される。ＯＲ回路２１１から出力される信号は、信号線１２５を介して水平選択回路１３０に入力される。ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分が閾値ＴＨより大きい場合、即ち、当該画素１１０が読み出し対象の画素である場合には、ＯＲ回路２１１から出力されるＨｉｇｈレベルの信号が水平選択回路１３０に供給される。一方、ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分が閾値ＴＨ以下である場合、即ち、当該画素１１０が読み出し対象の画素でない場合、ＯＲ回路２１１から出力されるＬｏｗレベルの信号が水平選択回路１３０に供給される。こうして、当該画素１１０が読み出し対象の画素である場合には、水平選択回路１３０に例えば“１”が記憶され、当該画素１１０が読み出し対象の画素でない場合には、水平選択回路１３０に例えば“０”が記憶される。
A sync signal VD is supplied to the G terminal of the latch circuit Lat1. A synchronization signal VD is supplied via an
図３は、本実施形態による固体撮像素子の動作の例を示すタイミングチャートである。ここでは、複数の画素１１０のうちの１つの画素１１０の動作に着目して説明する。図３には、動画像を構成する複数のフレームのうちの３つのフレームに対応するタイミングチャートが示されている。タイミングｔ０からタイミングｔ１までの期間は、第１番目のフレームの撮影期間に対応している。タイミングｔ１からタイミングｔ３までの期間は、第２番目のフレームの撮影期間に対応している。タイミングｔ３からタイミングｔ５までの期間は、第３番目のフレームの撮影期間に対応している。タイミングｔ５は、第４番目のフレームの撮影期間の開始のタイミングに対応している。
FIG. 3 is a timing chart showing an example of the operation of the solid-state imaging device according to this embodiment. Here, the operation of one
図３に示すように、第１番目のフレームの撮影期間であるタイミングｔ０からタイミングｔ１までの期間において、同期信号ＶＤはＬｏｗレベルとなる。第２番目のフレームの撮影期間であるタイミングｔ１からタイミングｔ３までの期間において、同期信号ＶＤはＨｉｇｈレベルとなる。第３番目のフレームの撮影期間であるタイミングｔ３からタイミングｔ５までの期間において、同期信号ＶＤはＬｏｗレベルとなる。第４番目のフレームの撮影期間の開始のタイミングｔ５において、同期信号ＶＤはＨｉｇｈレベルとなる。なお、図３に示すパルス信号ＰＵＬＳＥは概念的に記載したものであり、パルス信号ＰＵＬＳＥの立ち上がり波形は実際には急峻である。 As shown in FIG. 3, during the period from timing t0 to timing t1, which is the imaging period of the first frame, the synchronization signal VD is at Low level. During the period from timing t1 to timing t3, which is the imaging period of the second frame, the synchronization signal VD is at High level. During the period from timing t3 to timing t5, which is the shooting period of the third frame, the synchronization signal VD is at Low level. At timing t5 when the imaging period of the fourth frame starts, the sync signal VD goes high. Note that the pulse signal PULSE shown in FIG. 3 is conceptually described, and the rising waveform of the pulse signal PULSE is actually steep.
タイミングｔ０において、カウンタ２０４は、パルス信号ＰＵＬＳＥのカウントを開始する。
At timing t0, the
タイミングｔ１において、同期信号ＶＤがＬｏｗレベルからＨｉｇｈレベルに変化する。ラッチ回路Ｌａｔ１のＧ端子には同期信号ＶＤが入力されるようになっているため、タイミングｔ１において、ラッチ回路Ｌａｔ１のＧ端子の電位はＬｏｗレベルからＨｉｇｈレベルに変化する。ラッチ回路Ｌａｔ１のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化すると、ラッチ回路Ｌａｔ１は、当該ラッチ回路Ｌａｔ１のＤ端子に入力されているカウント値ＣＮＴを記憶する。図３に示す例では、タイミングｔ１におけるカウンタ２０４のカウント値ＣＮＴはＳ１である。従って、ラッチ回路Ｌａｔ１は、カウント値Ｓ１を画素値として記憶する。タイミングｔ１は、第１番目のフレーム、即ち、最初のフレームの撮影期間の終了のタイミングであるため、ラッチ回路Ｌａｔ２に記憶されているカウント値は０となっている。このため、ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分は閾値ＴＨより大きく、ＯＲ回路２１１からＨｉｇｈレベルの信号が出力される。ＯＲ回路２１１から出力されるＨｉｇｈレベルの信号は、水平選択回路１３０に供給される。ＯＲ回路２１１から供給される信号がＨｉｇｈレベルであるため、水平選択回路１３０は、当該画素１１０を読み出し対象の画素として記憶する。水平選択回路１３０は、読み出し対象の画素１１０によって取得された信号が読み出されるように、適切なタイミングでスイッチ１２３を制御する。ＯＲ回路２１１から出力されるＨｉｇｈレベルの信号は、乗算器２１２にも供給される。同期信号ＶＤがＨｉｇｈレベルであり、ＯＲ回路２１１から供給される信号もＨｉｇｈレベルであるため、乗算器２１２の出力はＨｉｇｈレベルとなる。乗算器２１２の出力がＨｉｇｈレベルとなるため、スイッチ２１４がＯＮ状態となり、ラッチ回路Ｌａｔ１から出力されるカウント値Ｓ１を水平出力線１２０を介して出力部１５０に送信することが可能となる。ＯＲ回路２１１から出力されるＨｉｇｈレベルの信号は、乗算器２１３にも供給される。同期信号ＶＤを反転させることにより得られる信号がＬｏｗレベルであり、ＯＲ回路２１１からの信号がＨｉｇｈレベルであるため、乗算器２１３の出力はＬｏｗレベルとなる。乗算器２１３の出力がＬｏｗレベルとなるため、スイッチ２１５がＯＦＦ状態となり、ラッチ回路Ｌａｔ２のカウント値０は水平出力線１２０を介して出力部１５０に伝送されない。出力部１５０は、撮像部１６０から順次供給される信号を用いて出力信号ＯＵＴＰＵＴを生成し、生成した出力信号ＯＵＴＰＵＴを固体撮像素子１００の外部に出力する。図３において、出力信号ＯＵＴＰＵＴのうちに示された符号Ｓ１は、上記の説明において着目した１つの画素１１０から出力された信号を示している。こうして、タイミングｔ１において、第１番目のフレームの撮影が完了する。そして、第１番目のフレームの画像信号の出力がタイミングｔ１において開始される。
At timing t1, the synchronization signal VD changes from Low level to High level. Since the synchronization signal VD is input to the G terminal of the latch circuit Lat1, the potential of the G terminal of the latch circuit Lat1 changes from Low level to High level at timing t1. When the potential of the G terminal of the latch circuit Lat1 changes from Low level to High level, the latch circuit Lat1 stores the count value CNT input to the D terminal of the latch circuit Lat1. In the example shown in FIG. 3, the count value CNT of the
図３に示す例においては、タイミングｔ２において、画素１１０に入射する光の強度が低下している。このため、タイミングｔ２より前とタイミングｔ２より後とでは、単位時間あたりのカウント値ＣＮＴの増加量が異なっている。このため、タイミングｔ３におけるカウント値は、タイミングｔ１におけるカウント値Ｓ１よりも小さいＳ２となる。タイミングｔ３において、同期信号ＶＤがＨｉｇｈレベルからＬｏｗレベルに変化する。ラッチ回路Ｌａｔ２のＧ端子には、同期信号ＶＤをインバータ２０７によって反転させることにより得られる信号が入力されるようになっているため、タイミングｔ３において、ラッチ回路Ｌａｔ２のＧ端子の電位はＬｏｗレベルからＨｉｇｈレベルに変化する。ラッチ回路Ｌａｔ２のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化すると、ラッチ回路Ｌａｔ２は、当該ラッチ回路Ｌａｔ２のＤ端子に入力されているカウンタ２０４のカウント値ＣＮＴを記憶する。このように、ラッチ回路Ｌａｔ１とラッチ回路Ｌａｔ２とは、カウンタ２０４のカウント値を、同期信号ＶＤに対応する単位時間毎に交互に記憶する。タイミングｔ３におけるカウンタ２０４のカウント値ＣＮＴはＳ２である。従って、ラッチ回路Ｌａｔ２は、カウント値Ｓ２を画素値として記憶する。タイミングｔ３は、第２番目のフレームの撮影期間の終了のタイミングであるため、ラッチ回路Ｌａｔ１には第１番目のフレームの撮影期間において得られたカウント値Ｓ１が記憶されている。ここでは、カウント値Ｓ１とカウント値Ｓ２との差分が閾値ＴＨより大きい場合を例に説明する。ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｓ１，Ｓ２の差分が閾値ＴＨより大きいため、ＯＲ回路２１１からＨｉｇｈレベルの信号が出力される。ＯＲ回路２１１から供給される信号がＨｉｇｈレベルであるため、水平選択回路１３０は、当該画素１１０を読み出し対象の画素として記憶する。水平選択回路１３０は、読み出し対象の画素１１０によって取得された信号が読み出されるように、適切なタイミングでスイッチ１２３を制御する。ＯＲ回路２１１から出力されるＨｉｇｈレベルの信号は、乗算器２１３にも供給される。同期信号ＶＤをインバータ２０７で反転させることにより得られる信号がＨｉｇｈレベルであり、ＯＲ回路２１１からの信号もＨｉｇｈレベルであるため、乗算器２１３の出力はＨｉｇｈレベルとなる。乗算器２１３の出力がＨｉｇｈレベルとなるため、スイッチ２１５がＯＮ状態となり、ラッチ回路Ｌａｔ２から出力されるカウント値Ｓ２を水平出力線１２０を介して出力部１５０に送信することが可能となる。ＯＲ回路２１１から出力されるＨｉｇｈレベルの信号は、乗算器２１２にも供給される。同期信号ＶＤがＬｏｗレベルであり、ＯＲ回路２１１からの信号がＨｉｇｈレベルであるため、乗算器２１２の出力はＬｏｗレベルとなる。乗算器２１２の出力がＬｏｗレベルとなるため、スイッチ２１４がＯＦＦ状態となり、ラッチ回路Ｌａｔ１に記憶されているカウント値Ｓ１は水平出力線１２０を介して出力部１５０に伝送されない。出力部１５０は、撮像部１６０から順次供給される信号を用いて出力信号ＯＵＴＰＵＴを生成し、生成した出力信号ＯＵＴＰＵＴを固体撮像素子１００の外部に出力する。図３において、出力信号ＯＵＴＰＵＴのうちに示された符号Ｓ２は、上記の説明において着目した１つの画素１１０から出力された信号を示している。こうして、タイミングｔ３において、第２番目のフレームの撮影が完了する。そして、第２番目のフレームの画像信号の出力がタイミングｔ３以降において開始される。ここでは、第１番目のフレームの画像信号の出力がタイミングｔ３において完了していない場合を例に説明する。このような場合、タイミングｔ３よりも後のタイミングｔ４において、第２番目のフレームの画像信号の出力が開始される。なお、第１番目のフレームの画像信号の出力がタイミングｔ３において完了していないのは、第１番目のフレームについては、全ての画素１１０によって取得された信号を読み出すことを要するためである。第２番目のフレームの画像信号を読み出す際には、読み出し対象とならない画素１１０が生じ得る。読み出し対象とならない画素１１０が生じると、読み出しに要する時間は削減される。
In the example shown in FIG. 3, the intensity of light incident on the
なお、ここでは、第１番目のフレームの画像信号を読み出す際に、撮像部１６０に備えられた全ての画素１１０によって取得された信号を読み出す場合を例に説明したが、これに限定されるものではない。例えば、空間的に間引きを行うことにより、読み出しの対象となる画素１１０を減らし、第１番目のフレームの画像信号の読み出し時間を短縮するようにしてよい。このようにすれば、タイミングｔ３よりも前の段階で、第１番目のフレームの画像信号の読み出しを完了することが可能となる。
Here, the case where the signals acquired by all the
タイミングｔ５におけるカウント値は、タイミングｔ３におけるカウント値Ｓ２との差が比較的小さいＳ３となる。タイミングｔ５において、同期信号ＶＤがＬｏｗレベルからＨｉｇｈレベルに変化する。ラッチ回路Ｌａｔ１のＧ端子には、同期信号ＶＤが入力されるようになっているため、タイミングｔ５において、ラッチ回路Ｌａｔ１のＧ端子の電位はＬｏｗレベルからＨｉｇｈレベルに変化する。ラッチ回路Ｌａｔ１のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化すると、ラッチ回路Ｌａｔ１は、当該ラッチ回路Ｌａｔ１のＤ端子に入力されているカウント値ＣＮＴを記憶する。図３に示す例では、タイミングｔ５におけるカウンタ２０４のカウント値ＣＮＴはＳ３である。従って、ラッチ回路Ｌａｔ１は、カウント値Ｓ３を画素値として記憶する。タイミングｔ５は、第３番目のフレームの撮影期間の終了のタイミングであるため、ラッチ回路Ｌａｔ２には第２番目のフレームの撮影期間において得られたカウント値Ｓ２が記憶されている。ここでは、カウント値Ｓ２とカウント値Ｓ３との差分が閾値ＴＨ以下である場合を例に説明する。ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｓ２，Ｓ３の差分が閾値ＴＨ以下であるため、ＯＲ回路２１１から出力される信号はＬｏｗレベルとなる。ＯＲ回路２１１から供給される信号がＬｏｗレベルであるため、水平選択回路１３０は、当該画素１１０を読み出し対象ではない画素として記憶する。水平選択回路１３０は、当該画素１１０によって取得された信号が読み出されないように、スイッチ１２３を制御する。ＯＲ回路２１１から出力されるＬｏｗレベルの信号は、乗算器２１２にも供給される。同期信号ＶＤがＨｉｇｈレベルであり、ＯＲ回路２１１からの信号がＬｏｗレベルであるため、乗算器２１２の出力はＬｏｗレベルとなる。乗算器２１２の出力がＬｏｗレベルとなるため、スイッチ２１４がＯＦＦ状態となり、ラッチ回路Ｌａｔ１のカウント値Ｓ３は水平出力線１２０を介して出力部１５０に送信されない。ＯＲ回路２１１から出力されるＬｏｗレベルの信号は、乗算器２１３にも供給される。同期信号ＶＤをインバータ２０７で反転することにより得られる信号がＬｏｗレベルであり、ＯＲ回路２１１からの信号がＬｏｗレベルであるため、乗算器２１２の出力はＬｏｗレベルとなる。乗算器２１３の出力がＬｏｗレベルとなるため、スイッチ２１５がＯＦＦ状態となり、ラッチ回路Ｌａｔ２に記憶されているカウント値Ｓ２は水平出力線１２０を介して出力部１５０に伝送されない。出力部１５０は、撮像部１６０から順次供給される信号を用いて生成される出力信号ＯＵＴＰＵＴを、固体撮像素子１００の外部に出力する。こうして、タイミングｔ５において、第３番目のフレームの撮影が完了する。そして、第３番目のフレームの画像信号の読み出しが、タイミングｔ５において開始される。第３番目のフレームの画像信号を読み出す際にも、読み出し対象とならない画素１１０が生じ得るため、読み出しに要する時間は短縮される。
The count value at timing t5 is S3, which has a relatively small difference from the count value S2 at timing t3. At timing t5, the synchronization signal VD changes from Low level to High level. Since the synchronization signal VD is input to the G terminal of the latch circuit Lat1, the potential of the G terminal of the latch circuit Lat1 changes from Low level to High level at timing t5. When the potential of the G terminal of the latch circuit Lat1 changes from Low level to High level, the latch circuit Lat1 stores the count value CNT input to the D terminal of the latch circuit Lat1. In the example shown in FIG. 3, the count value CNT of the
このように、本実施形態によれば、前フレームにおける画素値と、現フレームにおける画素値との差分が閾値以下である場合には、当該画素１１０を読み出し対象としない。このため、本実施形態によれば、画像信号の読み出しに要する時間を短縮することができる。
As described above, according to the present embodiment, when the difference between the pixel value in the previous frame and the pixel value in the current frame is equal to or less than the threshold, the
図４は、本実施形態による撮像装置を示すブロック図である。撮影光学系４０１には、フォーカスレンズ、ズームレンズ、及び、絞り等が備えられている。撮影光学系４０１は、被写体の光学像を形成し、形成した光学像を固体撮像素子１００の撮像面に入射する。固体撮像素子１００は、撮影光学系４０１によって形成される光学像を上記のようにして撮像する。固体撮像素子１００は、撮像によって得られた出力信号ＯＵＴＰＵＴを画像処理部４０３に出力する。
FIG. 4 is a block diagram showing the imaging device according to this embodiment. The imaging
画像処理部４０３は、固体撮像素子１００から出力される画像信号ＯＵＴＰＵＴに基づいて、所定の画像処理を行う。具体的には、画像処理部４０３は、以下のようにして各フレームの画像を生成する。第１番目のフレームについては、上述したように、撮像部１６０に備えられた全ての画素１１０から画素値が読み出される。このため、画像処理部４０３は、読み出された全ての画素１１０の画素値に基づいて、第１番目のフレームを生成する。第２番目以降のフレームの読み出し処理においては、上述したように、読み出し対象とならない画素１１０が生じ得る。このため、画像処理部４０３は、読み出しが行われた画素１１０の画素値を用いて、前フレームを更新する。読み出しが行われた画素１１０に対応する部分については、画素値の更新が行われる。一方、読み出しが行われなかった画素１１０に対応する部分については、画素値の更新は行われない。固体撮像素子１００から出力される画像信号ＯＵＴＰＵＴには、読み出しが行われた画素１１０の座標（ｐ，ｑ）を示す情報が含まれているため、画像処理部４０３は、読み出しが行われた画素１１０に対応する部分のみを選択的に更新する。画像処理部４０３は、画像を生成する過程において、信号の並べ替え、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、ガンマ補正、解像度変換、データ圧縮、３面同時化、シャープネス調整等を更に行うこともできる。
The
メモリ４０５は、画像処理部４０３が演算処理等を行う際に用いられる。メモリ４０５としては、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等を用い得る。メモリ４０５は、連続撮影の際には、バッファメモリとしても用い得る。システム制御部（処理部）４０４は、本実施形態による撮像装置４００の全体の制御を司る。システム制御部４０４には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が備えられている。また、システム制御部４０４は、画像処理部４０３によって処理された画像信号を、記録制御部４０６や表示制御部４０７に出力する。操作部４１０は、ボタン、スイッチ、電子ダイヤル等の操作部材によって構成される。ユーザ等が操作部４１０を操作すると、操作内容に応じた信号が操作部４１０からシステム制御部４０４に供給される。表示制御部４０７は、システム制御部４０４から供給される画像を表示部４０８に表示する。表示制御部４０７は、例えば、解像度、フレームレート、輝度域、色域等の表示フォーマットの調整を行い得る。表示制御部４０７は、８Ｋ ＵＨＤＴＶ、４Ｋ ＵＨＤＴＶ、ＨＤＴＶ等の規格に基づく表示を行うことが可能である。表示部４０８は、撮像装置４００の本体に備えられてもよいし、撮像装置４００の本体とは別個であってもよい。表示部４０８が撮像装置４００の本体と別個に設けられる場合には、表示制御部４０７と表示部４０８とが例えば接続ケーブルによって接続される。記録制御部４０６には、記録媒体４０９が装着される。記録媒体４０９としては、例えば、メモリカード等が用いられる。記録制御部４０６は、複数のフレームを含む動画
The
像データをＭＰＥＧ方式等の公知の符号化方法によって圧縮する。そして、記録制御部４０６は、圧縮した動画像データを、ｅｘＦＡＴファイルシステム等のコンピュータと互換性のあるフォーマットに従って、記録媒体４０９に書き込む。光学系駆動部４０２は、撮影光学系４０１に備えられたフォーカスレンズ、ズームレンズ、絞り等の制御を行う。なお、外部装置と通信するための有線又は無線による通信インターフェースを、撮像装置４００が更に備えるようにしてもよい。この場合、撮像装置４００は、当該通信インターフェースを介して、生成した画像等を外部装置等に送信したり、外部装置から制御信号等を受信したりすることが可能となる。また、被写体に光を投射する光源装置を、撮像装置４００が更に備えるようにしてもよい。この場合、当該光源装置は、例えば、同期信号ＶＤ等に同期してパルス状に光を発することができる。また、当該光源装置は、常時発光を行うことも可能である。当該光源装置によって被写体に光を照射し得るため、被写体をより確実に認識することが可能となる。
図５は、本実施形態による撮像装置の動作を示すフローチャートである。
The image data is compressed by a known encoding method such as the MPEG system. Then, the
FIG. 5 is a flow chart showing the operation of the imaging device according to this embodiment.
ステップＳ５０１にて、システム制御部４０４は、ｎの値を設定する。ｎの初期値は１とする。
In step S501, the
ステップＳ５０２において、システム制御部４０４は、ｎの値が１であるか否かを判定する。ｎの値が１である場合には（ステップＳ５０２においてＹＥＳ）、ステップＳ５０３に移行する。
In step S502, the
ステップＳ５０３において、システム制御部４０４は、第１番目のフレームの撮影処理を固体撮像素子１００に実行させる。この後、ステップＳ５０４に移行する。
In step S503, the
ステップＳ５０４において、システム制御部４０４は、第１番目のフレームの読み出し処理を固体撮像素子１００に実行させるとともに、第２番目のフレームの撮影処理を固体撮像素子１００に実行させる。この後、ステップＳ５０５に移行する。
In step S504, the
ステップＳ５０５において、システム制御部４０４は、第１番目のフレームの画像処理を画像処理部４０３に実行させるとともに、表示部４０８を用いた画像の表示を表示制御部４０７に実行させる。この後、ステップＳ５０６に移行する。
In step S<b>505 , the
ステップＳ５０６において、システム制御部４０４は、撮影を中止するか否かを判定する。撮影を中止しない場合には（ステップＳ５０６においてＮＯ）、ステップＳ５０１に戻る。ステップＳ５０１に戻った場合、システム制御部４０４は、ｎの値をインクリメントする。この後、ステップＳ５０２に移行する。ｎの値が１でない場合（ステップＳ５０２においてＮＯ）、ステップＳ５０７に移行する。
In step S506, the
ステップＳ５０７において、システム制御部４０４は、第ｎ番目のフレームの読み出し処理を固体撮像素子１００に実行させるとともに、第ｎ＋１番目のフレームの撮影処理を固体撮像素子１００に実行させる。
In step S507, the
ステップＳ５０８において、システム制御部４０４は、第ｎ番目のフレームの生成処理を画像処理部４０３に実行させるとともに、表示部４０８を用いた画像の表示を表示制御部４０７に実行させる。第２番目以降のフレームの読み出し処理においては、上述したように、読み出し対象とならない画素１１０が生じ得る。このため、画像処理部４０３は、第ｎ番目のフレームの読み出し処理において読み出された画素１１０の画素値を用いて、第ｎ－１番目のフレームを更新することにより、第ｎ番目のフレームを生成する。第ｎ番目のフレームの読み出し処理において読み出された画素１１０に対応する部分については、画素値の更新が行われる。一方、第ｎ番目のフレームの読み出し処理において読み出されなかった画素１１０に対応する部分については、画素値の更新は行われない。この後、ステップＳ５０６に移行する。
In step S<b>508 , the
撮影を中止する場合には（ステップＳ５０６においてＹＥＳ）、図５に示す処理が終了する。 If shooting is to be canceled (YES in step S506), the process shown in FIG. 5 ends.
このように、本実施形態によれば、単位時間あたりに検出されるパルスの数の変化が閾値ＴＨより大きい場合に、当該画素１１０に備えられたカウンタ２０４のカウント値に応じた信号が読み出される。単位時間あたりに検出されるパルスの数の変化が閾値ＴＨ以下である場合には、当該画素１１０に備えられたカウンタ２０４のカウント値に応じた信号は読み出されないため、読み出しに要する時間を短縮することができる。読み出しに要する時間を短縮することができるため、本実施形態によれば、高画素化を実現することが可能であり、高解像度の画像を得ることが可能となる。例えば、本実施形態によれば、動きのある被写体の高解像度の動画像を得ることも可能となる。
Thus, according to this embodiment, when the change in the number of pulses detected per unit time is greater than the threshold TH, a signal corresponding to the count value of the
［第２実施形態］
第２実施形態による固体撮像素子、撮像装置及び撮像方法を図６及び図７を用いて説明する。図１乃至図５に示す第１実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。
[Second embodiment]
A solid-state imaging device, an imaging apparatus, and an imaging method according to the second embodiment will be described with reference to FIGS. 6 and 7. FIG. The same components as those of the solid-state imaging device according to the first embodiment shown in FIGS. 1 to 5 are denoted by the same reference numerals, and the description thereof is omitted or simplified.
本実施形態による固体撮像素子は、単位時間あたりに検出されるパルスの数の変化が閾値ＴＨより大きくなった段階で、当該画素１１０に備えられたカウンタ６０１のカウント値を読み出すものである。
The solid-state imaging device according to this embodiment reads out the count value of the
図６は、本実施形態による固体撮像素子を示す図である。図６は、本実施形態による固体撮像素子に備えられている画素１１０を示している。図６においては、本実施形態による固体撮像素子に備えられた複数の画素１１０のうちの１つの画素１１０が抜き出して示されている。
FIG. 6 is a diagram showing a solid-state imaging device according to this embodiment. FIG. 6
センサ部２１６には、第１実施形態の場合と同様に、フォトダイオード２０１と、クエンチ素子２０２と、インバータ２０３とが備えられている。計数部２１７には、カウンタ２０４と、ラッチ回路Ｌａｔ１、Ｌａｔ２と、インバータ２０７と、減算器２０８と、比較器２０９，２１０と、ＯＲ回路２１１と、カウンタ６０１と、ラッチ回路Ｌａｔ０とが備えられている。
The
カウンタ２０４のクロック端子及びカウンタ６０１のクロック端子には、インバータ２０３から出力されるパルス信号ＰＵＬＳＥが入力されるようになっている。カウンタ２０４、６０１は、パルス信号ＰＵＬＳＥのパルス数をそれぞれカウントする。カウンタ２０４のリセット端子には、同期信号ｓｕｂＶＤが供給されるようになっている。同期信号ｓｕｂＶＤは、図７に示すように、例えばデューティ比が５０％の信号である。同期信号ｓｕｂＶＤは、同期信号ＶＤを分周することによって生成され得る。すなわち、同期信号ＶＤは、同期信号ｓｕｂＶＤを複数倍した周期である。カウンタ６０１のリセット端子には、同期信号ＶＤが供給されるようになっている。本実施形態では、図７に示すように、パルス状の同期信号ＶＤが用いられる。同期信号ｓｕｂＶＤの周期は、同期信号ＶＤの周期よりも短い。ここでは、説明の簡略化のため、同期信号ｓｕｂＶＤの周期を、同期信号ＶＤの周期の４分の１とする場合を例に説明するが、これに限定されるものではない。カウンタ２０４は、同期信号ｓｕｂＶＤの極性が変化した際に、カウント値ＣＮＴを初期値、即ち、０にリセットする。即ち、カウンタ２０４は、同期信号ｓｕｂＶＤがＬｏｗレベルからＨｉｇｈレベルに変化した際に、カウント値ＣＮＴを初期値にリセットする。また、カウンタ２０４は、同期信号ｓｕｂＶＤがＨｉｇｈレベルからＬｏｗレベルに変化した際に、カウント値ＣＮＴを初期値にリセットする。カウンタ６０１は、同期信号ＶＤのパルスの立ち上がりのタイミングで、カウント値ＣＮＴ０を初期値、即ち、０にリセットする。即ち、カウンタ６０１は、同期信号ＶＤがＬｏｗレベルからＨｉｇｈレベルに変化した際に、カウント値ＣＮＴ０を初期値にリセットする。カウンタ２０４のビット幅は、カウンタ６０１のビット幅よりも小さく設定されている。本実施形態において、カウンタ２０４のビット幅を、カウンタ６０１のビット幅よりも小さく設定し得るのは、同期信号ｓｕｂＶＤの周期が、同期信号ＶＤの周期よりも小さいためである。同期信号ｓｕｂＶＤの周期が、同期信号ＶＤの周期の例えば４分の１である場合、カウンタ２０４のビット幅を、カウンタ６０１のビット幅より例えば３減らすことができる。カウンタ６０１のビット幅が例えば１６である場合、カウンタ２０４のビット幅を１３とすることができる。カウンタ２０４のビット幅を小さく設定することは、計数部２１７の小型化に寄与し、ひいては、高画素化等に寄与し得る。なお、ここでは、同期信号ｓｕｂＶＤの周期を同期信号ＶＤの周期の４分の１程度とする場合を例に説明するが、これに限定されるものではない。また、ここでは、カウンタ６０１のビット幅を１６とし、カウンタ２０４のビット幅を１３とする場合を例に説明するが、これに限定されるものではない。カウンタ２０４の出力端子は、ラッチ回路Ｌａｔ１，Ｌａｔ２のＤ端子に接続されている。従って、カウンタ２０４から出力されるカウント値ＣＮＴは、ラッチ回路Ｌａｔ１，Ｌａｔ２のＤ端子にそれぞれ入力されるようになっている。カウンタ６０１の出力端子は、ラッチ回路Ｌａｔ０のＤ端子に接続されている。従って、カウンタ６０１から出力されるカウント値ＣＮＴ０は、ラッチ回路Ｌａｔ０のＤ端子に入力されるようになっている。
A pulse signal PULSE output from the
ラッチ回路Ｌａｔ１のＧ端子には、同期信号ｓｕｂＶＤが供給されるようになっている。ラッチ回路Ｌａｔ２のＧ端子には、同期信号ｓｕｂＶＤがインバータ２０７を介して供給されるようになっている。ラッチ回路Ｌａｔ１は、同期信号ｓｕｂＶＤがＬｏｗレベルからＨｉｇｈレベルに変化した際に、カウンタ２０４から出力されているカウント値ＣＮＴを記録する。一方、ラッチ回路Ｌａｔ２は、同期信号ｓｕｂＶＤがＨｉｇｈレベルからＬｏｗレベルに変化した際に、カウンタ２０４から出力されているカウント値ＣＮＴを記録する。ラッチ回路Ｌａｔ１のＱ端子は、減算器２０８の一方の入力端子に接続されており、ラッチ回路Ｌａｔ２のＱ端子は、減算器２０８の他方の入力端子に接続されている。ラッチ回路Ｌａｔ１のＱ端子から出力されるカウント値Ｌａｔ１－Ｑと、ラッチ回路Ｌａｔ２のＱ端子から出力されるカウント値Ｌａｔ２－Ｑとの差分が、減算器２０８によって求められる。減算器２０８によって求められたこれらの差分（差分値）は、比較器２０９、２１０に入力されるようになっている。比較器２０９は、減算器２０８によって求められた差分値が閾値ＴＨより大きいか否かを判定し、かかる差分値が閾値ＴＨよりも大きい場合にはＨｉｇｈレベルの信号を出力する。比較器２１０は、減算器２０８によって求められた差分値が閾値－ＴＨより小さいか否かを判定し、かかる差分値が閾値－ＴＨよりも小さい場合にはＨｉｇｈレベルの信号を出力する。比較器２０９，２１０の出力端子は、ＯＲ回路２１１の入力端子にそれぞれ接続されている。ＯＲ回路２１１は、比較器２０９，２１０から出力される信号のうちの少なくともいずれかがＨｉｇｈレベルになると、Ｈｉｇｈレベルの信号を出力する。ＯＲ回路２１１から出力される信号は、ラッチ回路Ｌａｔ０のＧ端子に入力されるようになっている。ラッチ回路Ｌａｔ０は、ＯＲ回路２１１から出力される信号がＬｏｗレベルからＨｉｇｈレベルに変化した際に、カウンタ６０１から出力されているカウント値ＣＮＴ０を記録する。ラッチ回路Ｌａｔ０のＱ端子は、スイッチ１２３を介して水平出力線１２０に接続されている。ＯＲ回路２１１から出力される信号は、信号線１２５を介して水平選択回路１３０にも入力されるようになっている。ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分が閾値ＴＨより大きい場合、即ち、当該画素１１０が読み出し対象の画素である場合には、ＯＲ回路２１１から出力されるＨｉｇｈレベルの信号が水平選択回路１３０に供給される。一方、ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分が閾値ＴＨ以下である場合、即ち、当該画素１１０が読み出し対象の画素でない場合、ＯＲ回路２１１から出力されるＬｏｗレベルの信号が水平選択回路１３０に供給される。従って、当該画素１１０が読み出し対象の画素である場合には、水平選択回路１３０に例えば“１”が記憶され、当該画素１１０が読み出し対象の画素でない場合には、水平選択回路１３０に例えば“０”が記憶される。水平選択回路１３０は、読み出し対象の画素１１０によって取得された信号が読み出されるように、適切なタイミングでスイッチ１２３を制御する。
A sync signal subVD is supplied to the G terminal of the latch circuit Lat1. A synchronization signal subVD is supplied via an
例えば、撮影中に手振れが生じた場合には、ＯＲ回路２１１から出力される信号がＬｏｗレベルからＨｉｇｈレベルに変化し、当該タイミングにおけるカウンタ６０１のカウント値ＣＮＴ０がラッチ回路Ｌａｔ０に記憶される。従って、本実施形態によれば、手ぶれの影響が低減された画像を取得することが可能となる。
For example, when camera shake occurs during shooting, the signal output from the
また、被写体が動き始めた場合にも、ＯＲ回路２１１から出力される信号がＬｏｗレベルからＨｉｇｈレベルに変化し、当該タイミングにおけるカウンタ６０１のカウント値ＣＮＴ０がラッチ回路Ｌａｔ０に記憶される。従って、本実施形態によれば、被写体が動き出した瞬間の画像を取得することも可能となる。
Also when the object starts to move, the signal output from the
なお、本実施形態では、ＯＲ回路２１１から出力される信号がＬｏｗレベルからＨｉｇｈレベルに変化した時点におけるカウンタ６０１のカウント値が取得される。このため、本実施形態では、Ａｕｔｏ Ｅｘｐｏｓｕｒｅ（ＡＥ）等によって決定される正規の露光時間よりも短い露光時間の画像値が取得されることとなる。このため、取得された画素値に対してゲイン補正等を行うことが好ましい。例えば、露光時間を示す情報を画像処理部４０３に供給するようにすれば、画像処理部４０３等によってゲイン補正を行うことが可能である。例えば、出力部１５０は、読み出し対象となった画素１１０の座標（ｐ，ｑ）を示す情報とともに、当該画素１１０の露光時間を示す情報を出力信号ＯＵＴＰＵＴに含ませる。なお、露光時間を示す情報は、例えば、ｓｕｂＶＤ信号の極性が変化した回数に基づいて生成することが可能である。
In this embodiment, the count value of the
図７は、本実施形態による固体撮像素子の動作の例を示すタイミングチャートである。ここでは、複数の画素１１０のうちの１つの画素１１０の動作に着目して説明する。タイミングｔ１０からタイミングｔ１５までの期間、即ち、パルス状の同期信号ＶＤが供給される間隔は、撮影期間に対応している。タイミングｔ１５以降の期間は、読み出し期間に対応している。
FIG. 7 is a timing chart showing an example of the operation of the solid-state imaging device according to this embodiment. Here, the operation of one
図７に示すように、タイミングｔ１０において、パルス状の同期信号ＶＤが供給される。タイミングｔ１０において、カウンタ６０１は、パルス信号ＰＵＬＳＥのカウントを開始する。
As shown in FIG. 7, at timing t10, a pulsed synchronization signal VD is supplied. At timing t10, the
タイミングｔ１１において、同期信号ｓｕｂＶＤがＬｏｗレベルからＨｉｇｈレベルに変化する。ラッチ回路Ｌａｔ１のＧ端子には同期信号ｓｕｂＶＤが入力されるようになっているため、タイミングｔ１１において、ラッチ回路Ｌａｔ１のＧ端子の電位はＬｏｗレベルからＨｉｇｈレベルに変化する。ラッチ回路Ｌａｔ１のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化すると、ラッチ回路Ｌａｔ１は、当該ラッチ回路Ｌａｔ１のＤ端子に入力されているカウント値ＣＮＴを記憶する。ここでは、説明を簡略化するため、カウント値ＣＮＴが４である場合を例に説明するが、これに限定されるものではない。タイミングｔ１１におけるカウンタ２０４のカウント値ＣＮＴは４である。従って、ラッチ回路Ｌａｔ１は、カウント値である４を記憶する。タイミングｔ１１においては、ラッチ回路Ｌａｔ２に記憶されているカウント値ＣＮＴは４であるものとする（図示せず）。このため、ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分は閾値ＴＨ以下であり、ＯＲ回路２１１から出力される信号はＬｏｗレベルのままである。
At timing t11, the synchronization signal subVD changes from Low level to High level. Since the synchronization signal subVD is input to the G terminal of the latch circuit Lat1, the potential of the G terminal of the latch circuit Lat1 changes from Low level to High level at timing t11. When the potential of the G terminal of the latch circuit Lat1 changes from Low level to High level, the latch circuit Lat1 stores the count value CNT input to the D terminal of the latch circuit Lat1. Here, in order to simplify the description, a case where the count value CNT is 4 will be described as an example, but the present invention is not limited to this. The count value CNT of the
タイミングｔ１２において、同期信号ｓｕｂＶＤがＨｉｇｈレベルからＬｏｗレベルに変化する。これにより、ラッチ回路Ｌａｔ２のＧ端子の電位はＬｏｗレベルからＨｉｇｈベルに変化する。ラッチ回路Ｌａｔ２のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化すると、ラッチ回路Ｌａｔ２は、当該ラッチ回路Ｌａｔ２のＤ端子に入力されているカウント値ＣＮＴを記憶する。タイミングｔ１２におけるカウンタ２０４のカウント値ＣＮＴは４である。従って、ラッチ回路Ｌａｔ２は、カウント値である４を記憶する。タイミングｔ１２においては、ラッチ回路Ｌａｔ１に記憶されているカウント値ＣＮＴは４となっている。このため、ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分は閾値ＴＨ以下であり、ＯＲ回路２１１から出力される信号はＬｏｗレベルである。
At timing t12, the synchronization signal subVD changes from High level to Low level. As a result, the potential of the G terminal of the latch circuit Lat2 changes from Low level to High level. When the potential of the G terminal of the latch circuit Lat2 changes from Low level to High level, the latch circuit Lat2 stores the count value CNT input to the D terminal of the latch circuit Lat2. The count value CNT of the
図７に示す例においては、タイミングｔ１３において、画素１１０に入射する光の強度が低下している。このため、タイミングｔ１３より前とタイミングｔ１３より後とでは、単位時間あたりのカウント値ＣＮＴ、ＣＮＴ０の増加量が異なっている。このため、タイミングｔ１４におけるカウント値ＣＮＴは、タイミングｔ１３におけるカウント値ＣＮＴよりも小さくなる。タイミングｔ１４において、同期信号ｓｕｂＶＤがＬｏｗレベルからＨｉｇｈレベルに変化し、ラッチ回路Ｌａｔ１のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化する。ラッチ回路Ｌａｔ１のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化すると、ラッチ回路Ｌａｔ１は、当該ラッチ回路Ｌａｔ１のＤ端子に入力されているカウント値ＣＮＴを記憶する。ここでは、説明を簡略化するため、タイミングｔ１４におけるカウンタ２０４のカウント値ＣＮＴが２である場合を例に説明するが、これに限定されるものではない。タイミングｔ１４３におけるカウンタ２０４のカウント値ＣＮＴは２である。従って、ラッチ回路Ｌａｔ１は、カウント値である２を記憶する。タイミングｔ１３においては、ラッチ回路Ｌａｔ２に記憶されているカウント値ＣＮＴは４となっている。ここでは、説明を簡略化するため、閾値ＴＨが１である場合を例に説明するが、これに限定されるものではない。ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分が閾値ＴＨより大きいため、ＯＲ回路２１１から出力される信号はＬｏｗレベルからＨｉｇｈレベルに変化する。ＯＲ回路２１１から供給される信号がＨｉｇｈレベルであるため、水平選択回路１３０は、当該画素１１０を読み出し対象の画素として記憶する。水平選択回路１３０は、読み出し対象の画素１１０によって取得された信号が読み出されるように、適切なタイミングでスイッチ１２３を制御する。ＯＲ回路２１１から出力されるＨｉｇｈレベルの信号は、ラッチ回路Ｌａｔ０のＧ端子にも供給される。ラッチ回路Ｌａｔ０のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化すると、ラッチ回路Ｌａｔ０は、当該ラッチ回路Ｌａｔ０のＤ端子に入力されているカウント値ＣＮＴ０を記憶する。タイミングｔ１４におけるカウンタ６０１のカウント値ＣＮＴ０は、Ｓ＋ΔＳである。ΔＳは、タイミングｔ１３からタイミングｔ１４までの間におけるカウンタ６０１のカウント値ＣＮＴ０の増加分である。同期信号ＶＤの周期に対して同期信号ｓｕｂＶＤの周期を十分に小さくしておけば、Ｓに対して十分に無視し得る程度にまでΔＳを小さくし得る。ラッチ回路Ｌａｔ０のＱ端子は、スイッチ１２３を介して水平出力線１２０に接続されている。ラッチ回路Ｌａｔ０のカウント値Ｌａｔ０－Ｑは、スイッチ１２３及び水平出力線１２０を介して画素１１０から出力されることとなる。
In the example shown in FIG. 7, the intensity of light incident on the
タイミングｔ１５以降において、出力部１５０は出力信号ＯＵＴＰＵＴを出力する。画像処理部４０３は、固体撮像素子１００から出力される出力信号ＯＵＴＰＵＴを用いて、タイミングｔ１５より前の段階で既に取得しておいた画像の一部を更新する。上述したように、出力部１５０は、当該画素１１０の露光時間を示す情報を出力信号ＯＵＴＰＵＴに含ませる。画像処理部４０３は、当該画素１１０の露光時間を示す情報に基づいて、当該画素１１０によって取得された信号に対してゲイン補正を行う。
After timing t15, the
このように、本実施形態によれば、単位時間あたりに検出されるパルスの数の変化が閾値ＴＨより大きくなった段階で、当該画素１１０に備えられたカウンタ６０１のカウント値を取得する。このため、本実施形態によれば、例えば光強度の変化をトリガとして画素値を取得することができる。このため、本実施形態によれば、手ぶれの影響が低減された画像や、被写体が動き出した瞬間の画像等を取得することも可能となる。
As described above, according to the present embodiment, the count value of the
［第３実施形態］
次に、本発明の第３実施形態について説明する。なお、第３実施形態は、画素の構成が、第２の実施形態と比較して、図６を参照して説明した画素１００と異なる構成を有し、画素１００に代えて用いられる。それ以外の構成は第２実施形態と同様であるため、以下、画素の構成及びその駆動について説明する。
[Third Embodiment]
Next, a third embodiment of the invention will be described. Note that the third embodiment has a pixel configuration different from that of the
図８は、第３実施形態における画素１００’の概略構成を示す図である。なお、図８において、図６と同様の構成には同じ参照番号を付し、適宜説明を省略する。図８に示すように、本第３実施形態における画素１００’は、図６に示す構成にＯＲ回路３０１及び３０２と、信号線３１０及び３１１が追加されたものである。ＯＲ回路２１１は、上述した実施形態で説明したように、ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分が閾値ＴＨより大きくなると、信号線１２５を介して、水平選択回路１３０にＨｉｇｈレベルの信号を出力する。
FIG. 8 is a diagram showing a schematic configuration of a pixel 100' according to the third embodiment. In addition, in FIG. 8, the same reference numerals are given to the same configurations as in FIG. 6, and the description thereof will be omitted as appropriate. As shown in FIG. 8, a pixel 100' according to the third embodiment has OR
水平選択回路１３０は、信号線３１０に、信号線１２５を介して入力したＯＲ回路２１１からの信号を出力し、ＯＲ回路３０１は、同期信号ＶＤと信号線３１０の信号とのいずれかがＨｉｇｈレベルである場合に、Ｈｉｇｈレベルの信号を出力する。これにより、カウンタ６０１は、同期信号ＶＤがＨｉｇｈになるタイミング（第１のリセット動作）、または、カウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分が閾値ＴＨより大きくなったタイミングから所定時間遅延した信号がＨｉｇｈレベルになるタイミング(第２のリセット動作）で、カウンタ６０１をリセットする。
The
また、水平選択回路１３０は、同期信号ＶＤの１周期の間に、ＯＲ回路２１１から、Ｈｉｇｈレベルの信号が１回出力された場合に、同期信号ＶＤによりカウンタ６０１がリセットされる直前のタイミングで、Ｈｉｇｈレベルの信号を信号線３１１に出力する。２回以上出力された場合には、出力しない。ＯＲ回路３０２は、ＯＲ回路２１１の出力と、信号線３１１への出力のいずれかがＨｉｇｈレベルである場合に、Ｈｉｇｈレベルの信号をラッチ回路Ｌａｔ０のＧ端子に出力し、ラッチ回路Ｌａｔ０は、そのときのカウント値ＣＮＴ０をラッチする。これにより、後述するように、同期信号ＶＤの１周期の間に起こった最初の変化に応じた信号を出力することができる。
Further, when a high-level signal is output from the
図９は、第３実施形態による固体撮像素子の動作の例を示すタイミングチャートである。ここでは、複数の画素１１０’のうちの１つの画素１１０’の動作に着目して説明する。なお、第３実施形態では、同期信号ｓｕｂＶＤは、デューティ比が５０％、周期が同期信号ＶＤの周期の６分の１の信号とする場合を例に説明するが、これに限定されるものではない。 FIG. 9 is a timing chart showing an example of the operation of the solid-state imaging device according to the third embodiment. Here, the operation of one pixel 110' out of the plurality of pixels 110' will be described. In the third embodiment, the synchronizing signal subVD has a duty ratio of 50% and a period of 1/6 of the period of the synchronizing signal VD. However, it is not limited to this. do not have.
タイミングｔ３０からタイミングｔ３８までの期間、即ち、パルス状の同期信号ＶＤが供給される間隔は、撮影期間に対応している。タイミングｔ３８以降の期間は、読み出し期間に対応している。図９に示すように、タイミングｔ３０において、パルス状の同期信号ＶＤが供給され、カウンタ６０１は、パルス信号ＰＵＬＳＥのカウントを開始する。
The period from timing t30 to timing t38, that is, the interval at which the pulse-like synchronization signal VD is supplied, corresponds to the shooting period. The period after timing t38 corresponds to the readout period. As shown in FIG. 9, at timing t30, the pulse-like synchronization signal VD is supplied, and the
タイミングｔ３１において、同期信号ｓｕｂＶＤがＬｏｗレベルからＨｉｇｈレベルに変化する。ラッチ回路Ｌａｔ１のＧ端子には同期信号ｓｕｂＶＤが入力されるようになっているため、ラッチ回路Ｌａｔ１のＧ端子の電位はＬｏｗレベルからＨｉｇｈレベルに変化する。ラッチ回路Ｌａｔ１のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化すると、ラッチ回路Ｌａｔ１は、当該ラッチ回路Ｌａｔ１のＤ端子に入力されているカウント値ＣＮＴを記憶する。タイミングｔ３１におけるカウンタ２０４のカウント値ＣＮＴが２の場合、ラッチ回路Ｌａｔ１は、２を記憶する。また、タイミングｔ３１において、ラッチ回路Ｌａｔ２に記憶されているカウント値ＣＮＴが２である場合、ラッチ回路Ｌａｔ１，Ｌａｔ２のカウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分は閾値ＴＨ以下であるため、ＯＲ回路２１１から出力される信号はＬｏｗレベルのままである。
At timing t31, the synchronization signal subVD changes from Low level to High level. Since the synchronization signal subVD is input to the G terminal of the latch circuit Lat1, the potential of the G terminal of the latch circuit Lat1 changes from Low level to High level. When the potential of the G terminal of the latch circuit Lat1 changes from Low level to High level, the latch circuit Lat1 stores the count value CNT input to the D terminal of the latch circuit Lat1. When the count value CNT of the
タイミングｔ３２において、同期信号ｓｕｂＶＤがＨｉｇｈレベルからＬｏｗレベルに変化すると、ラッチ回路Ｌａｔ２のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化し、Ｄ端子に入力されているカウント値ＣＮＴを記憶する。タイミングｔ３２におけるカウンタ２０４のカウント値ＣＮＴを２とすると、ラッチ回路Ｌａｔ２は、２を記憶する。また、タイミングｔ３２においては、ラッチ回路Ｌａｔ１に記憶されているカウント値ＣＮＴは２であるため、カウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分は閾値ＴＨ以下であり、ＯＲ回路２１１から出力される信号はＬｏｗレベルである。
At timing t32, when the synchronization signal subVD changes from High level to Low level, the potential of the G terminal of the latch circuit Lat2 changes from Low level to High level, and the count value CNT input to the D terminal is stored. Assuming that the count value CNT of the
図９に示す例においては、タイミングｔ３２において、画素１１０’に入射する光の強度が上昇している。このため、タイミングｔ３２より前とタイミングｔ３２より後とでは、単位時間あたりのカウント値ＣＮＴ、ＣＮＴ０の増加量が異なっており、タイミングｔ３３におけるカウント値ＣＮＴは、タイミングｔ３２におけるカウント値ＣＮＴよりも大きくなる。また、同期信号ｓｕｂＶＤがＬｏｗレベルからＨｉｇｈレベルに変化し、ラッチ回路Ｌａｔ１のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化すると、ラッチ回路Ｌａｔ１は、ラッチ回路Ｌａｔ１のＤ端子に入力されているカウント値ＣＮＴを記憶する。タイミングｔ３３におけるカウンタ２０４のカウント値ＣＮＴが、例えば、４である場合、ラッチ回路Ｌａｔ１は、４を記憶する。また、タイミングｔ３３において、ラッチ回路Ｌａｔ２に記憶されているカウント値ＣＮＴは２である。閾値ＴＨが、例えば１である場合、カウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分が閾値ＴＨより大きいため、ＯＲ回路２１１から出力される信号はＬｏｗレベルからＨｉｇｈレベルに変化する。ＯＲ回路２１１から供給される信号がＨｉｇｈレベルであるため、水平選択回路１３０は、当該画素１１０’を読み出し対象の画素として記憶する。また、ＯＲ回路２１１から出力されたＨｉｇｈレベルの信号は、ＯＲ回路３０２を介してラッチ回路Ｌａｔ０にも送られ、ラッチ回路Ｌａｔ０は、この時点でラッチ回路Ｌａｔ０のＤ端子に入力されているカウント値ＣＮＴを記憶する。ここでは、カウントＰが記憶されるものとする。
In the example shown in FIG. 9, the intensity of light incident on the pixel 110' increases at timing t32. Therefore, the amounts of increase in the count values CNT and CNT0 per unit time are different before timing t32 and after timing t32, and the count value CNT at timing t33 is greater than the count value CNT at timing t32. . Further, when the synchronization signal subVD changes from Low level to High level and the potential of the G terminal of the latch circuit Lat1 changes from Low level to High level, the latch circuit Lat1 changes the count input to the D terminal of the latch circuit Lat1. Store the value CNT. For example, if the count value CNT of the
一方、ＯＲ回路２１１から出力されたＨｉｇｈレベルの信号は、水平選択回路１３０からＯＲ回路３０１へ送られる。これにより、ＯＲ回路３０１の出力は、ｔ３３から少し遅れてＨｉｇｈレベルとなり、タイミングｔ３４でカウンタ６０１は０にリセットされる。
On the other hand, the High level signal output from the
その後、輝度に変化無く、タイミングｔ３５で輝度が変化した場合、タイミングｔ３５において、画素１１０’に入射する光の強度が低下している。このため、タイミングｔ３５より前とタイミングｔ３５より後とでは、単位時間あたりのカウント値ＣＮＴ、ＣＮＴ０の増加量が異なっており、タイミングｔ３６におけるカウント値ＣＮＴは、タイミングｔ３５におけるカウント値ＣＮＴよりも大きくなる。また、同期信号ｓｕｂＶＤがＬｏｗレベルからＨｉｇｈレベルに変化し、ラッチ回路Ｌａｔ１のＧ端子の電位がＬｏｗレベルからＨｉｇｈレベルに変化すると、ラッチ回路Ｌａｔ１は、ラッチ回路Ｌａｔ１のＤ端子に入力されているカウント値ＣＮＴを記憶する。タイミングｔ３６におけるカウンタ２０４のカウント値ＣＮＴが、例えば、２である場合、ラッチ回路Ｌａｔ１は、２を記憶する。また、タイミングｔ３６において、ラッチ回路Ｌａｔ２に記憶されているカウント値ＣＮＴは２である。閾値ＴＨが、例えば１である場合、カウント値Ｌａｔ１－Ｑ，Ｌａｔ２－Ｑの差分が閾値ＴＨより大きいため、ＯＲ回路２１１から出力される信号はＬｏｗレベルからＨｉｇｈレベルに変化する。ＯＲ回路２１１から供給される信号がＨｉｇｈレベルであるため、水平選択回路１３０は、当該画素１１０’を読み出し対象の画素として記憶する。また、ＯＲ回路２１１から出力されたＨｉｇｈレベルの信号は、ＯＲ回路３０２を介してラッチ回路Ｌａｔ０にも送られ、ラッチ回路Ｌａｔ０は、この時点でラッチ回路Ｌａｔ０のＤ端子に入力されているカウント値ＣＮＴを記憶する。ここでは、カウントＳ＋ΔＳが記憶されるものとする。
After that, if the luminance does not change and the luminance changes at timing t35, the intensity of light incident on the pixel 110' decreases at timing t35. Therefore, the amounts of increase in the count values CNT and CNT0 per unit time are different before timing t35 and after timing t35, and the count value CNT at timing t36 is greater than the count value CNT at timing t35. . Further, when the synchronization signal subVD changes from Low level to High level and the potential of the G terminal of the latch circuit Lat1 changes from Low level to High level, the latch circuit Lat1 changes the count input to the D terminal of the latch circuit Lat1. Store the value CNT. For example, if the count value CNT of the
一方、ＯＲ回路２１１から出力されたＨｉｇｈレベルの信号は、水平選択回路１３０からＯＲ回路３０１へ送られる。これにより、ＯＲ回路３０１の出力は、ｔ３６から少し遅れてＨｉｇｈレベルとなり、タイミングｔ３７でカウンタ６０１は０にリセットされる。そして、タイミングｔ３８において、同期信号ＶＤがＨｉｇｈレベルになると、カウンタ６０１は０にリセットされる。
On the other hand, the High level signal output from the
図９に示す例では、ＯＲ回路２１１から２回、Ｈｉｇｈレベルの信号が出力され、カウントＳ＋ΔＳがラッチ回路Ｌａｔ０に記憶されているため、水平選択回路１３０は、同期信号ＶＤ直前の信号は出力しない。ここで、ＯＲ回路２１１から１回しかＨｉｇｈレベルの信号が出力されなかった場合には、同期信号ＶＤ直前に水平選択回路１３０がＨｉｇｈレベルの信号を信号線３１１に出力する。これにより、カウンタ６０１がリセットされる前に、カウント値ＣＮＴ０をラッチＬａｔ０に記憶することができる。
In the example shown in FIG. 9, the
なお、同期信号ＶＤの１周期の間にカウンタ６０１がリセットされた場合、第２の実施形態で説明したように、露光時間を示す情報を出力信号ＯＵＴＰＵＴに含ませ、画像処理部４０３がゲイン補正を行う。
Note that when the
上記の通り第３実施形態によれば、単位時間あたりに検出されるパルスの数の変化が閾値ＴＨより大きくなった段階で、当該画素１１０’に備えられたカウンタ６０１のカウント値をリセットし、カウントをし直す。これにより、例えば光強度の変化をトリガとして画素値を取得することができる。このため、本実施形態によれば、手ぶれの影響が低減された画像や、被写体が動き出した瞬間の画像等を取得することも可能となる。
As described above, according to the third embodiment, when the change in the number of pulses detected per unit time becomes greater than the threshold TH, the count value of the
［変形実施形態］
以上、好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
[Modified embodiment]
Although preferred embodiments have been described above, the present invention is not limited to these embodiments, and various modifications and changes are possible within the scope of the gist thereof.
例えば、上記実施形態では、固体撮像素子１００と別個に画像処理部４０３が備えられている場合を例に説明したが、画像処理部４０３が固体撮像素子１００備えられていてもよい。
For example, in the above embodiment, the case where the
また、上記実施形態では、複数の画素１１０または１００’の各々にカウンタ２０４，６０１やラッチ回路Ｌａｔ０，Ｌａｔ１，Ｌａｔ２等が備えられている場合を例に説明したが、これに限定されるものではない。例えば、互いに隣接する複数の画素１１０または１００’によって、これらが共用されるようにしてもよい。
Further, in the above embodiment, the case where each of the plurality of
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
１１０，１１０’…画素、１２０…水平出力線、１３０…水平選択回路、１４０…垂直選択回路、１５０…出力部、１６０…撮像部、２０１…フォトダイオード、２０２…クエンチ素子、２０３…インバータ、２０４…カウンタ、２１１，３０１，３０２…ＯＲ回路、６０１…カウンタ、Ｌａｔ０、Ｌａｔ１、Ｌａｔ２…ラッチ回路、ＴＨ…閾値、Ｖａ…電源電圧
DESCRIPTION OF
Claims (13)
前記センサ部から発せられる前記パルスの数をカウントする第１のカウンタと、
外部から周期信号の供給を受けるインターフェースと、
単位時間あたりに検出される前記パルスの数の変化が閾値より大きい場合に、前記第１のカウンタのカウント値に応じた信号を出力する出力部と、を備え、
前記第１のカウンタは、前記周期信号に基づいてリセットされ、
前記出力部は、前記単位時間あたりに検出される前記パルスの数の変化が前記閾値以下の場合には、前記第１のカウンタのカウント値に応じた信号を出力しないことを特徴とする固体撮像素子。 a plurality of pixels each provided with a sensor unit that emits a pulse at a frequency corresponding to the frequency of photon reception;
a first counter that counts the number of pulses emitted from the sensor;
an interface that receives a periodic signal from the outside;
an output unit that outputs a signal corresponding to the count value of the first counter when a change in the number of pulses detected per unit time is greater than a threshold;
the first counter is reset based on the periodic signal;
The solid-state imaging device , wherein the output unit does not output a signal corresponding to the count value of the first counter when a change in the number of pulses detected per unit time is equal to or less than the threshold value. element.
前記センサ部から発せられる前記パルスの数をカウントする第１のカウンタと、
前記第１のカウンタのカウント値を記憶する第１のラッチ部と、
前記第１のカウンタのカウント値を記憶する第２のラッチ部と、
外部から周期信号の供給を受けるインターフェースと、
単位時間あたりに検出される前記パルスの数の変化が閾値より大きい場合に、前記第１のカウンタのカウント値に応じた信号を出力する出力部と、を備え、
前記第１のカウンタは、前記周期信号に基づいてリセットされ、
前記第１のラッチ部と前記第２のラッチ部とは、前記第１のカウンタのカウント値を前記単位時間の周期に基づいて交互に記憶し、
前記出力部は、前記第１のラッチ部に記憶されたカウント値と前記第２のラッチ部に記憶されたカウント値との差分が前記閾値より大きい場合に、前記第１のカウンタのカウント値に応じた信号を出力することを特徴とする固体撮像素子。 a plurality of pixels each provided with a sensor unit that emits a pulse at a frequency corresponding to the frequency of photon reception;
a first counter that counts the number of pulses emitted from the sensor;
a first latch unit that stores the count value of the first counter;
a second latch unit that stores the count value of the first counter ;
an interface that receives a periodic signal from the outside;
an output unit that outputs a signal corresponding to the count value of the first counter when a change in the number of pulses detected per unit time is greater than a threshold;
the first counter is reset based on the periodic signal;
the first latch section and the second latch section alternately store the count value of the first counter based on the cycle of the unit time;
When the difference between the count value stored in the first latch unit and the count value stored in the second latch unit is greater than the threshold value, the output unit outputs the count value of the first counter. A solid -state image pickup device characterized by outputting a signal corresponding to a signal.
前記センサ部から発せられる前記パルスの数をカウントする第１のカウンタと、
前記センサ部から発せられる前記パルスの数をカウントする第２のカウンタと、
前記第２のカウンタのカウント値を記憶する第１のラッチ部と、
前記第２のカウンタのカウント値を記憶する第２のラッチ部と、
外部から周期信号の供給を受けるインターフェースと、
単位時間あたりに検出される前記パルスの数の変化が閾値より大きい場合に、前記第１のカウンタのカウント値に応じた信号を出力する出力部と、を備え、
前記第１のカウンタは、前記周期信号に基づいてリセットされ、
前記第２のカウンタは、前記周期信号よりも周期が短い周期信号に基づいてリセットされ、
前記第１のラッチ部と前記第２のラッチ部とは、前記第２のカウンタのカウント値を前記単位時間の周期に基づいて交互に記憶し、
前記出力部は、前記第１のラッチ部に記憶されたカウント値と前記第２のラッチ部に記憶されたカウント値との差分が前記閾値より大きい場合に、前記第１のカウンタのカウント値に応じた信号を出力することを特徴とする固体撮像素子。 a plurality of pixels each provided with a sensor unit that emits a pulse at a frequency corresponding to the frequency of photon reception;
a first counter that counts the number of pulses emitted from the sensor;
a second counter that counts the number of pulses emitted from the sensor;
a first latch unit that stores the count value of the second counter;
a second latch unit that stores the count value of the second counter ;
an interface that receives a periodic signal from the outside;
an output unit that outputs a signal corresponding to the count value of the first counter when a change in the number of pulses detected per unit time is greater than a threshold;
the first counter is reset based on the periodic signal;
The second counter is reset based on a periodic signal having a shorter period than the periodic signal,
The first latch section and the second latch section alternately store the count value of the second counter based on the cycle of the unit time,
When the difference between the count value stored in the first latch unit and the count value stored in the second latch unit is greater than the threshold value, the output unit outputs the count value of the first counter. A solid -state image pickup device characterized by outputting a signal corresponding to a signal.
前記センサ部から発せられる前記パルスの数をカウントする第１のカウンタと、
前記センサ部から発せられる前記パルスの数をカウントする第２のカウンタと、
前記第２のカウンタのカウント値を記憶する第１のラッチ部と、
前記第２のカウンタのカウント値を記憶する第２のラッチ部と、
外部から周期信号の供給を受けるインターフェースと、
単位時間あたりに検出される前記パルスの数の変化が閾値より大きい場合に、前記第１のカウンタのカウント値に応じた信号を出力する出力部と、を備え、
前記第１のカウンタは、前記周期信号に基づいてリセットされ、
前記第２のカウンタは、前記周期信号に基づいてリセットされ、
前記第１のラッチ部と前記第２のラッチ部とは、前記第２のカウンタのカウント値を前記単位時間の周期に基づいて交互に記憶し、
前記第１のカウンタは、前記周期信号の周期に基づいてリセットする第１のリセット動作と、前記第１のラッチ部に記憶されたカウント値と前記第２のラッチ部に記憶されたカウント値との差分が前記閾値より大きくなったときにリセットする第２のリセット動作によりリセットされ、
前記出力部は、前記第１のカウンタが、前記第１のリセット動作によりリセットされた後、最初に前記第２のリセット動作によりリセットされてから、次に前記第１のリセット動作または前記第２のリセット動作によりリセットされるまでの前記第１のカウンタのカウント値に応じた信号を出力することを特徴とする固体撮像素子。 a plurality of pixels each provided with a sensor unit that emits a pulse at a frequency corresponding to the frequency of photon reception;
a first counter that counts the number of pulses emitted from the sensor;
a second counter that counts the number of pulses emitted from the sensor;
a first latch unit that stores the count value of the second counter;
a second latch unit that stores the count value of the second counter ;
an interface that receives a periodic signal from the outside;
an output unit that outputs a signal corresponding to the count value of the first counter when a change in the number of pulses detected per unit time is greater than a threshold;
the first counter is reset based on the periodic signal;
the second counter is reset based on the periodic signal;
The first latch section and the second latch section alternately store the count value of the second counter based on the cycle of the unit time,
The first counter is reset based on the period of the periodic signal, and the count value stored in the first latch section and the count value stored in the second latch section are reset. is reset by a second reset operation for resetting when the difference of becomes greater than the threshold,
After the first counter is reset by the first reset operation, the output section is first reset by the second reset operation and then reset by the first reset operation or the second reset operation. and outputting a signal corresponding to the count value of the first counter until it is reset by the reset operation of .
前記固体撮像素子から出力される信号を用いて所定の画像処理を行う画像処理部と
を備えることを特徴とする撮像装置。 A solid-state imaging device according to any one of claims 1 to 11 ;
and an image processing unit that performs predetermined image processing using a signal output from the solid-state imaging device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/027,651 US10834349B2 (en) | 2017-07-06 | 2018-07-05 | Solid-state image sensor, image capturing apparatus and image capturing method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017132737 | 2017-07-06 | ||
| JP2017132737 | 2017-07-06 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019017065A JP2019017065A (en) | 2019-01-31 |
| JP2019017065A5 JP2019017065A5 (en) | 2021-07-26 |
| JP7108471B2 true JP7108471B2 (en) | 2022-07-28 |
Family
ID=65357021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018109660A Active JP7108471B2 (en) | 2017-07-06 | 2018-06-07 | Solid-state imaging device, imaging device, and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7108471B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7262236B2 (en) * | 2019-02-04 | 2023-04-21 | キヤノン株式会社 | Imaging device and its control method |
| JP7393162B2 (en) * | 2019-09-09 | 2023-12-06 | キヤノン株式会社 | Photoelectric conversion device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010510732A (en) | 2006-11-23 | 2010-04-02 | エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング | Method for generating an image in electronic form, image element for image sensor for image generation and image sensor |
| JP2015156966A (en) | 2014-02-24 | 2015-09-03 | 株式会社テレシステムズ | Dental x-ray imaging apparatus and image correction method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3029363B2 (en) * | 1993-08-23 | 2000-04-04 | 株式会社東芝 | Solid-state imaging device |
-
2018
- 2018-06-07 JP JP2018109660A patent/JP7108471B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010510732A (en) | 2006-11-23 | 2010-04-02 | エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング | Method for generating an image in electronic form, image element for image sensor for image generation and image sensor |
| JP2015156966A (en) | 2014-02-24 | 2015-09-03 | 株式会社テレシステムズ | Dental x-ray imaging apparatus and image correction method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019017065A (en) | 2019-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10771718B2 (en) | Imaging device and imaging system | |
| US10070103B2 (en) | Solid-state imaging device, driving method, and electronic device | |
| US10834349B2 (en) | Solid-state image sensor, image capturing apparatus and image capturing method | |
| US10205904B2 (en) | Image sensor capable of correcting noise caused by dark charge of a floating diffusion portion, control method therefor, and image capturing apparatus | |
| JP6961392B2 (en) | Solid-state image sensor, image sensor and imaging method | |
| JP4609428B2 (en) | Solid-state imaging device, driving method of solid-state imaging device, and imaging device | |
| US9225917B2 (en) | Solid state imaging device, method of outputting imaging signal and electronic device | |
| US20110134295A1 (en) | Imaging apparatus and method for driving the same | |
| US10785423B2 (en) | Image sensor, image capturing apparatus, and image capturing method | |
| JP7108471B2 (en) | Solid-state imaging device, imaging device, and imaging method | |
| JP2016048813A (en) | Solid-state imaging device, imaging method and electronic apparatus | |
| US8710422B2 (en) | Imaging device | |
| JP6164049B2 (en) | DRIVE DEVICE, DRIVE METHOD, AND ELECTRONIC DEVICE | |
| JP2019103121A (en) | Imaging device, imaging apparatus, and imaging method | |
| US10623642B2 (en) | Image capturing apparatus and control method thereof with change, in exposure period for generating frame, of conversion efficiency | |
| JP7339779B2 (en) | Imaging device | |
| KR101578997B1 (en) | Solid-state imaging device | |
| JP6213596B2 (en) | Imaging device | |
| JP2020028115A (en) | Imaging apparatus | |
| WO2013027326A1 (en) | Solid-state imaging device | |
| JP2019033442A (en) | Imaging element and method for controlling the same | |
| JP2020036256A (en) | Imaging device and control method thereof | |
| JP2018186460A (en) | Imaging apparatus and processing method of imaging apparatus | |
| JP2016019040A (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210604 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210604 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220617 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220715 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7108471 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |