JP2024004565A - Signal processing device and signal processing method - Google Patents

Signal processing device and signal processing method Download PDF

Info

Publication number
JP2024004565A
JP2024004565A JP2022104209A JP2022104209A JP2024004565A JP 2024004565 A JP2024004565 A JP 2024004565A JP 2022104209 A JP2022104209 A JP 2022104209A JP 2022104209 A JP2022104209 A JP 2022104209A JP 2024004565 A JP2024004565 A JP 2024004565A
Authority
JP
Japan
Prior art keywords
counter
signal
period
value
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022104209A
Other languages
Japanese (ja)
Inventor
正英 後藤
Masahide Goto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2022104209A priority Critical patent/JP2024004565A/en
Publication of JP2024004565A publication Critical patent/JP2024004565A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

To provide a signal processing device and a signal processing method, capable of easily obtaining, as digital values, a video signal and a differential signal indicating that there has been a predetermined change in the video signal.SOLUTION: A signal processing device includes: an acquisition section acquiring a value that changes with lapse of time; a counter section counting according to a value acquired by the acquisition section; and an output section outputting a first signal according to a value counted by the counter section and, in a cycle alternately repeating the first period and a second period, a second signal according to a difference between a value counted in the first period and a value counted in the second period that is a period before the first period.SELECTED DRAWING: Figure 2

Description

本発明は、信号処理装置及び信号処理方法に関する。 The present invention relates to a signal processing device and a signal processing method.

従来、アナログ値で表現されるセンサ値をモニターし続けることに代えて、アナログ値の変化量が閾値以上となった場合にトリガ信号を取得することにより、通信量を減らし、高速な応答を可能にする技術が知られている。当該技術で用いられるアナログ値としては、フォトダイオードにより検出される光量等を例示することができる。また、このようなアナログ値を扱うセンサとしては、動画像センサ等を例示することができる。 Conventionally, instead of continuously monitoring sensor values expressed as analog values, by acquiring a trigger signal when the amount of change in analog values exceeds a threshold, communication traffic can be reduced and faster response possible. There are known techniques to do this. An example of the analog value used in this technique is the amount of light detected by a photodiode. Moreover, a moving image sensor or the like can be exemplified as a sensor that handles such analog values.

近年、動画像センサの技術分野において、複数のフレーム画を連続して高速取得する映像信号に代えて、画素値の変化に応じた信号(以下、差分信号と記載する)を出力することにより、被写体の動きを検知するイベントベースのセンサの開発が進んでいる。このような技術を用いたセンサは、ダイナミックビジョンセンサなどとも呼ばれている。 In recent years, in the technical field of moving image sensors, instead of a video signal that continuously acquires multiple frame images at high speed, a signal corresponding to a change in pixel value (hereinafter referred to as a difference signal) is output. Event-based sensors that detect the movement of objects are being developed. Sensors using such technology are also called dynamic vision sensors.

非特許文献1に記載された技術によれば、画素に対数応答の電流電圧変換回路と差分検出回路を搭載してイベントトリガを発生し、値が時間的に変化した画素の情報が出力される。したがって、非特許文献1に記載されたセンサは高速での応答が可能であり、省電力が実現でき、車載などへの応用などが期待できる。しかしながら、このようなセンサは、差分信号だけを出力するものであり、映像信号を出力するには別のカメラを併用する必要がある。したがって、映像信号と差分信号とを用いるシステムを構築しようとした場合、システムが大型化するといった問題があった。また、非特許文献1に記載された技術によれば、フォトダイオードにより得られた信号を、差分検出回路の入力範囲に収めるために対数圧縮しており、情報が圧縮されて線形性が失われてしまうといった問題があった。 According to the technology described in Non-Patent Document 1, a pixel is equipped with a logarithmic response current-voltage conversion circuit and a difference detection circuit, an event trigger is generated, and information about pixels whose values change over time is output. . Therefore, the sensor described in Non-Patent Document 1 is capable of high-speed response, can save power, and is expected to be applied to vehicles. However, such a sensor outputs only a differential signal, and requires the use of another camera in order to output a video signal. Therefore, when attempting to construct a system using a video signal and a differential signal, there is a problem in that the system becomes large. Furthermore, according to the technology described in Non-Patent Document 1, the signal obtained by the photodiode is logarithmically compressed in order to fit it within the input range of the difference detection circuit, and the information is compressed and linearity is lost. There was a problem with the problem.

差分信号と映像信号の両方を取得するための装置として、非特許文献2に記載された技術を例示することができる。非特許文献2に記載された技術によれば、各画素が、差分検出回路によるイベントトリガ発生機能に加えて、通常のAPS(Active Pixel Sensor)方式での読み出し機能も備えており、差分信号と映像信号の両方を出力することができる。 As an example of a device for acquiring both a difference signal and a video signal, the technique described in Non-Patent Document 2 can be exemplified. According to the technology described in Non-Patent Document 2, in addition to the event trigger generation function using the difference detection circuit, each pixel also has a readout function using the normal APS (Active Pixel Sensor) method, and can detect difference signals and It can output both video signals.

T. Finateu et al., “A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensor with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline”ISSCC, 5.10, pp.112-113(2020)T. Finateu et al., “A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensor with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline”ISSCC, 5.10, pp. 112-113 (2020) G. Taverni et al., “Front and Back Illuminated Dynamic and ActivePixel Vision Sensors Comparison”IEEE Transactions on Circuits and Systems-II: Express Briefs, Vol. 65, No. 5 pages 677-681, (2018)G. Taverni et al., “Front and Back Illuminated Dynamic and ActivePixel Vision Sensors Comparison”IEEE Transactions on Circuits and Systems-II: Express Briefs, Vol. 65, No. 5 pages 677-681, (2018)

ここで、非特許文献2に記載の技術により出力される差分信号はデジタル信号であるのに対し、映像信号はアナログ値により出力される。映像信号をデジタル信号として取り出すためには、画素エリアの外(例えば同一レイヤーの周辺部、あるいは異なるレイヤー)又はセンサチップの外(例えば異なるチップ)でA/D変換することが考えられる。いずれの構成を採用した場合であっても、システムが大型化し、差分信号との同期を取らなければならない。すなわち、非特許文献2に記載の技術を用いて、差分信号と映像信号の両方をデジタル値として用いる場合、システムが大型化し、差分信号との同期を取る制御が複雑化するといった問題があった。また、非特許文献2に記載された技術は、非特許文献1に記載された技術と同様に、フォトダイオードにより得られた信号を、差分検出回路の入力範囲に収めるために対数圧縮しており、情報が圧縮されて線形性が失われてしまうといった問題があった。 Here, the difference signal output by the technique described in Non-Patent Document 2 is a digital signal, whereas the video signal is output as an analog value. In order to extract the video signal as a digital signal, A/D conversion may be performed outside the pixel area (for example, in the periphery of the same layer or in a different layer) or outside the sensor chip (for example, in a different chip). Regardless of which configuration is adopted, the system becomes larger and must be synchronized with the differential signal. That is, when using the technology described in Non-Patent Document 2 to use both the difference signal and the video signal as digital values, there were problems such as the system becoming larger and the control for synchronizing with the difference signal becoming complicated. . Furthermore, the technique described in Non-Patent Document 2, similar to the technique described in Non-Patent Document 1, logarithmically compresses the signal obtained by the photodiode in order to fit it within the input range of the difference detection circuit. , there was a problem that the information was compressed and linearity was lost.

そこで本発明は、映像信号と、映像信号に所定の変化があったことを示す差分信号とをデジタル値として容易に取得可能な信号処理装置及び信号処理方法を提供しようとするものである。 SUMMARY OF THE INVENTION Therefore, an object of the present invention is to provide a signal processing device and a signal processing method that can easily obtain a video signal and a difference signal indicating that a predetermined change has occurred in the video signal as digital values.

[1]上記の課題を解決するため、本発明の一態様による信号処理装置は、経時的に変化する値を取得する取得部と、前記取得部により取得された値に応じてカウントするカウンタ部と、前記カウンタ部によりカウントされた値に応じた第1信号と、第1期間と第2期間とを交互に繰り返す周期において、前記第1期間においてカウントされた値と前記第1期間より前の期間である前記第2期間においてカウントされた値との差分に応じた第2信号とを出力する出力部とを備えるものである。 [1] In order to solve the above problems, a signal processing device according to one aspect of the present invention includes an acquisition unit that acquires a value that changes over time, and a counter unit that counts according to the value acquired by the acquisition unit. and a first signal corresponding to the value counted by the counter section, and in a cycle in which the first period and the second period are alternately repeated, the value counted in the first period and the value counted before the first period are and an output section that outputs a second signal corresponding to a difference from the value counted during the second period.

[2]また、本発明の一態様は、上記[1]に記載の信号処理装置において、前記カウンタ部は、前記第1期間において前記取得部により取得された値に応じてカウントする第1カウンタ部と、前記第1カウンタ部とは異なるカウンタであって、前記第2期間において前記取得部により取得された値に応じてカウントする第2カウンタ部とを備え、前記取得部により取得された信号が入力される先を前記第1カウンタ部又は前記第2カウンタ部のいずれか一方に排他的に切り替える切り替えスイッチを更に備え、前記出力部は、前記第1カウンタ部に保持された値と前記第2カウンタ部に保持された値との差分に応じて前記第2信号を出力するものである。 [2] Further, one aspect of the present invention is that in the signal processing device according to [1] above, the counter unit includes a first counter that counts according to the value acquired by the acquisition unit in the first period. and a second counter unit that is a counter different from the first counter unit and counts according to the value acquired by the acquisition unit in the second period, and the second counter unit is configured to count the signal acquired by the acquisition unit in the second period. further includes a changeover switch that exclusively switches the input destination to either the first counter section or the second counter section, and the output section is configured to input the value held in the first counter section and the second counter section The second signal is output in accordance with the difference between the second signal and the value held in the second counter section.

[3]また、本発明の一態様は、上記[1]に記載の信号処理装置は、前記第1期間及び前記第2期間の終了時点において前記カウンタ部によりカウントされた値を保持するメモリ回路を更に備え、前記出力部は、前記メモリ回路に記憶された値と、前記カウンタ部に記憶された値とを比較することにより、前記第2信号を出力するものである。 [3] Moreover, one aspect of the present invention is that the signal processing device according to [1] above includes a memory circuit that holds the value counted by the counter section at the end of the first period and the second period. The output unit outputs the second signal by comparing the value stored in the memory circuit with the value stored in the counter unit.

[4]また、本発明の一態様は、上記[2]に記載の信号処理装置において、前記カウンタ部は、前記第1カウンタ部及び前記第2カウンタ部とは異なるカウンタであって、前記第1期間及び前記第2期間において前記取得部により取得された値に応じてカウントする第3カウンタ部を更に備え、前記出力部は、前記第2信号の出力に応じて、前記第3カウンタ部に保持された値を出力するものである。 [4] Further, one aspect of the present invention is that in the signal processing device according to [2] above, the counter section is a counter different from the first counter section and the second counter section, and the counter section is a counter different from the first counter section and the second counter section, and The output unit further includes a third counter unit that counts according to the values acquired by the acquisition unit in the first period and the second period, and the output unit controls the third counter unit according to the output of the second signal. It outputs the held value.

[5]また、本発明の一態様は、上記[4]に記載の信号処理装置において、前記第1カウンタ部及び前記第2カウンタ部は、それぞれ複数ビットのカウンタ素子を備え、前記第3カウンタ部は、前記第1カウンタ部及び前記第2カウンタ部にそれぞれ備えられるカウンタ素子より多いビット数のカウンタ素子を備えるものである。 [5] Further, one aspect of the present invention is that in the signal processing device according to [4] above, the first counter section and the second counter section each include a multi-bit counter element, and the third counter section The counter is provided with a counter element having a larger number of bits than the counter element provided in each of the first counter part and the second counter part.

[6]また、本発明の一態様は、上記[1]から[5]のいずれかに記載の信号処理装置において、前記第1期間及び前記第2期間は、30分の1秒より短いものである。 [6] Further, one aspect of the present invention is that in the signal processing device according to any one of [1] to [5] above, the first period and the second period are shorter than 1/30th of a second. It is.

[7]また、本発明の一態様は、上記[1]から[6]のいずれかに記載の信号処理装置において、前記カウンタ部に含まれる前記カウンタ素子のうち、最下位ビットの前記カウンタ素子は、入力信号が有効であるか否かを決定するイネーブル端子を有するものである。 [7] Moreover, one aspect of the present invention is the signal processing device according to any one of [1] to [6] above, in which the counter element of the least significant bit among the counter elements included in the counter section has an enable terminal that determines whether the input signal is valid.

[8]また、本発明の一態様は、上記[1]から[7]のいずれかに記載の信号処理装置において、前記取得部は、経時的に値が1又は0のデジタル値に変化するパルス信号を取得するものである。 [8] Further, one aspect of the present invention is the signal processing device according to any one of [1] to [7] above, wherein the acquisition unit changes the value to a digital value of 1 or 0 over time. It is used to acquire pulse signals.

[9]また、本発明の一態様は、上記[1]から[8]のいずれかに記載の信号処理装置において、前記取得部は、値が連続的に変化するアナログ信号を取得し、前記アナログ信号の値と所定の閾値との比較結果に応じてデジタル値に変換するA/D変換部を更に備えるものである。 [9] Further, one aspect of the present invention is the signal processing device according to any one of [1] to [8] above, in which the acquisition unit acquires an analog signal whose value changes continuously, and The device further includes an A/D converter that converts the value of the analog signal into a digital value according to a comparison result between the value of the analog signal and a predetermined threshold value.

[10]また、本発明の一態様は、上記[9]に記載の信号処理装置において、前記取得部は、フォトダイオードに光が入射した結果に応じた電圧値を取得するものである。 [10] Moreover, one aspect of the present invention is the signal processing device according to the above [9], in which the acquisition unit acquires a voltage value according to a result of light incident on the photodiode.

[11]また、本発明の一態様は、上記[10]に記載の信号処理装置は、前記A/D変換部により出力されるデジタル値に応じて、前記フォトダイオードにリセット電圧を印加するか否かを決定するリセットトランジスタを更に備えるものである。 [11] Further, one aspect of the present invention is that the signal processing device according to [10] above applies a reset voltage to the photodiode in accordance with the digital value output by the A/D converter. The present invention further includes a reset transistor that determines whether or not the current state has occurred.

[12]また、本発明の一態様による信号処理方法は、経時的に変化する値を取得する取得工程と、前記取得工程により取得された値に応じてカウントするカウンタ工程と、前記カウンタ工程によりカウントされた値に応じた第1信号と、第1期間と第2期間とを交互に繰り返す周期において、前記第1期間においてカウントされた値と前記第1期間より前の期間である前記第2期間においてカウントされた値との差分に応じた第2信号とを出力する出力工程とを有するものである。 [12] Further, the signal processing method according to one aspect of the present invention includes: an acquisition step of acquiring a value that changes over time; a counter step of counting according to the value acquired by the acquisition step; A first signal corresponding to a counted value and a period in which a first period and a second period are alternately repeated, the counted value in the first period and the second signal which is a period before the first period. and an output step of outputting a second signal according to the difference from the value counted during the period.

本発明によれば、映像信号と、映像信号に所定の変化があったことを示す差分信号とをデジタル値として容易に取得することができる。 According to the present invention, it is possible to easily obtain a video signal and a difference signal indicating that a predetermined change has occurred in the video signal as digital values.

第1の実施形態に係る固体撮像素子を三次元構造化した場合の一例を示す模式図である。FIG. 2 is a schematic diagram showing an example of a three-dimensional structure of the solid-state image sensor according to the first embodiment. 第1の実施形態に係る画素回路の回路構成の一例を示す回路図である。FIG. 2 is a circuit diagram showing an example of a circuit configuration of a pixel circuit according to the first embodiment. 第1の実施形態に係るフォトダイオードに光が入射した際のパルス発生タイミングについて説明するタイミングチャートである。2 is a timing chart illustrating pulse generation timing when light is incident on a photodiode according to the first embodiment. 第1の実施形態に係る信号処理装置により出力される第1信号及び第2信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。2 is a timing chart illustrating the output timing of a first signal and a second signal outputted by the signal processing device according to the first embodiment, and changes in a counter value. 第2の実施形態に係る画素回路の回路構成の一例を示す回路図である。FIG. 3 is a circuit diagram showing an example of a circuit configuration of a pixel circuit according to a second embodiment. 第2の実施形態に係る信号処理装置により出力される第1信号及び第2信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。12 is a timing chart illustrating output timings of a first signal and a second signal output by a signal processing device according to a second embodiment, and changes in a counter value. 第3の実施形態に係る画素回路の回路構成の一例を示す回路図である。FIG. 7 is a circuit diagram showing an example of a circuit configuration of a pixel circuit according to a third embodiment. 第3の実施形態に係る信号処理装置により出力される第1信号及び第2信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。12 is a timing chart illustrating output timings of a first signal and a second signal outputted by a signal processing device according to a third embodiment, and changes in a counter value.

[実施形態]
まず、実施形態の前提となる事項を説明する。本実施形態に係る信号処理装置及び信号処理方法は、経時的に値が変化する信号を対象として、処理を行う。経時的に値が変化する信号とは、連続的に値が変化するアナログ値及び離散的に値が変化するデジタル値の両方を含む。値が離散的に変化するデジタル値には、値が複数の離散値(例えば、8ビット=256)で表現されるデジタル値の他、0又は1の2値で表現されるパルス信号も含まれる。
[Embodiment]
First, the premises of the embodiment will be explained. The signal processing device and signal processing method according to this embodiment perform processing on signals whose values change over time. Signals whose values change over time include both analog values whose values change continuously and digital values whose values change discretely. Digital values whose values change discretely include digital values whose values are expressed as multiple discrete values (for example, 8 bits = 256), as well as pulse signals whose values are expressed as binary values of 0 or 1. .

以下の説明において、本実施形態に係る信号処理装置及び信号処理方法は、一例として、センサから出力された信号を対象とする場合について説明する。センサとは、例えば、撮像装置に用いられるイメージセンサや、ロボット制御に用いられる触覚センサ等であってもよい。その他の例としては、圧力センサ、加速度センサ、光センサ、湿度センサ、温度センサ、ホールセンサ等であってもよい。また、本実施形態に係る信号処理装置及び信号処理方法は、時間的変動をとらえるセンサや計測装置にも適用でき、広くロジック回路、駆動回路、通信回路、記録素子、ディスプレイ、アクチュエータ等にも応用することができる。
以下の一例においては、本実施形態に係る信号処理装置及び信号処理方法が、フォトダイオードの光電効果を用いて出力される信号を処理する固体撮像素子に適用される場合の一例について説明する。当該固体撮像素子は、撮像装置等に用いられる。
In the following description, the signal processing device and signal processing method according to the present embodiment will be described, as an example, in a case where signals output from a sensor are targeted. The sensor may be, for example, an image sensor used in an imaging device, a tactile sensor used in robot control, or the like. Other examples include pressure sensors, acceleration sensors, optical sensors, humidity sensors, temperature sensors, and Hall sensors. Furthermore, the signal processing device and signal processing method according to this embodiment can be applied to sensors and measurement devices that capture temporal fluctuations, and can be widely applied to logic circuits, drive circuits, communication circuits, recording elements, displays, actuators, etc. can do.
In the following example, an example in which the signal processing device and signal processing method according to the present embodiment are applied to a solid-state image sensor that processes signals output using the photoelectric effect of a photodiode will be described. The solid-state imaging device is used in an imaging device or the like.

[第1の実施形態]
以下、本発明の第1の実施形態について、図面を参照しながら説明する。
[First embodiment]
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.

図1は、第1の実施形態に係る固体撮像素子を三次元構造化した場合の一例を示す模式図である。固体撮像素子5は、複数の階層構造を有する。同図に示す一例では、第1階層L1、第2階層L2及び第3階層L3の3層構造を有する場合の一例について図示している。各階層には、半導体構造物により回路素子が形成される。各階層間は、層間絶縁膜により絶縁される。層間絶縁膜にヴィアホール(コンタクトホール)を形成することにより、各階層に形成された回路素子が接続される。 FIG. 1 is a schematic diagram showing an example of a three-dimensional structure of the solid-state image sensor according to the first embodiment. The solid-state image sensor 5 has a plurality of hierarchical structures. In the example shown in the figure, an example is illustrated in which the device has a three-layer structure of a first layer L1, a second layer L2, and a third layer L3. At each level, circuit elements are formed using semiconductor structures. Each layer is insulated by an interlayer insulating film. By forming via holes (contact holes) in the interlayer insulating film, circuit elements formed in each layer are connected.

第1階層L1には、複数のフォトダイオード(画素)が形成される。フォトダイオードは、入射した光を電気信号に変換する。具体的には、フォトダイオードは、光電効果により、入射した光の強さに応じた電気信号を出力する。ここで、フォトダイオードにより出力された電気信号を取り出すためには、A/D変換回路等の所定の電気回路を要する。図1に示すような階層構造を有せず、単層構造を採用する場合、当該所定の電気回路をフォトダイオードと同一面に形成することになるため、複数のフォトダイオード間の配置間隔が大きくなってしまう。しかしながら、図1に示すような階層構造を採用することにより、複数のフォトダイオード間に所定の電気回路を設けることを要せず、複数のフォトダイオード間の配置間隔を小さくすることができる。したがって、階層構造を採用することにより、より高密度でフォトダイオードを配置することができる。すなわち高解像度の固体撮像素子5を提供することができる。 A plurality of photodiodes (pixels) are formed in the first layer L1. A photodiode converts incident light into an electrical signal. Specifically, the photodiode outputs an electrical signal according to the intensity of incident light due to the photoelectric effect. Here, in order to extract the electrical signal output by the photodiode, a predetermined electrical circuit such as an A/D conversion circuit is required. If a single layer structure is used instead of a hierarchical structure as shown in Figure 1, the predetermined electric circuit will be formed on the same surface as the photodiode, so the spacing between the multiple photodiodes will be large. turn into. However, by adopting a hierarchical structure as shown in FIG. 1, it is not necessary to provide a predetermined electric circuit between the plurality of photodiodes, and the arrangement interval between the plurality of photodiodes can be reduced. Therefore, by employing a hierarchical structure, photodiodes can be arranged with higher density. In other words, a high-resolution solid-state image sensor 5 can be provided.

第2階層L2には、フォトダイオードにより出力された電気信号をパルス信号に変換するための回路が形成される。そのため、第2階層L2に形成される回路を、A/D変換回路と記載することもできる。第2階層L2に形成される回路は、例えば複数のインバータを直列接続したインバータ―チェーン回路であってもよい。インバータチェーン回路は、フォトダイオードに接続されるインバータ素子の入力閾値電圧に応じてHレベル又はLレベルの電圧を出力する。
なお、第2階層L2には、インバータチェーン回路が形成される場合の一例に代えて、コンパレータ回路が形成されていてもよい。コンパレータ回路は、フォトダイオードにより出力された電気信号と、所定の基準電圧とを比較し、比較した結果に応じてHレベル又はLレベルの電圧を出力する。
なお、第2階層L2には、所定の遅延回路が含まれていてもよい。
A circuit for converting the electrical signal output by the photodiode into a pulse signal is formed in the second level L2. Therefore, the circuit formed in the second layer L2 can also be described as an A/D conversion circuit. The circuit formed in the second level L2 may be, for example, an inverter chain circuit in which a plurality of inverters are connected in series. The inverter chain circuit outputs an H level or L level voltage depending on the input threshold voltage of the inverter element connected to the photodiode.
Note that a comparator circuit may be formed in the second layer L2 instead of the example in which an inverter chain circuit is formed. The comparator circuit compares the electrical signal output by the photodiode with a predetermined reference voltage, and outputs an H level or L level voltage depending on the comparison result.
Note that the second layer L2 may include a predetermined delay circuit.

第3階層L3には、カウンタ回路が形成される。当該カウンタ回路は、第2階層L2に形成された回路により出力されるパルス信号の数をカウントする。当該カウンタ回路は、例えば8ビットのカウンタ素子を有し、0から255までの値をカウントする。固体撮像素子5が映像信号を出力する場合、当該カウンタ回路は、所定期間内に入力されたパルス数をカウントし、カウントした値を不図示の制御回路に出力する。固体撮像素子5が作動信号を出力する場合、当該カウンタ回路は、入力されたパルス信号の数が所定の閾値を超えたか否かを検出し、閾値を超えたと検出された場合にトリガ信号を不図示の制御回路に出力する。 A counter circuit is formed in the third layer L3. The counter circuit counts the number of pulse signals output by the circuit formed in the second layer L2. The counter circuit has, for example, an 8-bit counter element and counts values from 0 to 255. When the solid-state image sensor 5 outputs a video signal, the counter circuit counts the number of pulses input within a predetermined period and outputs the counted value to a control circuit (not shown). When the solid-state image sensor 5 outputs an activation signal, the counter circuit detects whether the number of input pulse signals exceeds a predetermined threshold, and disables the trigger signal when it is detected that the number exceeds the threshold. Output to the illustrated control circuit.

なお、固体撮像素子5が複数のカウンタ回路を有する場合、カウンタ回路が形成される階層は複数あってもよい。例えば、1つの画素につき2つのカウンタを有する場合、第3階層L3に加えて、第4階層L4にもカウンタ回路を形成してもよい。すなわち、固体撮像素子5は、同図に示した3層構造を有する場合の一例に限定されず、4層以上の階層構造を有していてもよいし、階層構造を有していなくてもよい(すなわち、単相基板上に各素子が形成されていてもよい)。 Note that when the solid-state image sensor 5 has a plurality of counter circuits, there may be a plurality of layers in which the counter circuits are formed. For example, when one pixel has two counters, a counter circuit may be formed in the fourth layer L4 in addition to the third layer L3. That is, the solid-state image sensor 5 is not limited to the example of having the three-layer structure shown in the figure, but may have a hierarchical structure of four or more layers, or may have no hierarchical structure. (that is, each element may be formed on a single-phase substrate).

以下の説明において、1つの画素及び当該画素に対応する周辺回路(例えば、A/D変換回路やカウンタ回路)を含む構成を、画素回路1と記載する。図1に示す一例では、画素回路1は、第1階層L1から第3階層L3の一部を含む3層構造を有している。画素回路1は、同図に示すように複数の階層構造を有して構成されてもよいし、単層基板上に形成されてもよい。 In the following description, a configuration including one pixel and a peripheral circuit (for example, an A/D conversion circuit or a counter circuit) corresponding to the pixel will be referred to as a pixel circuit 1. In the example shown in FIG. 1, the pixel circuit 1 has a three-layer structure including parts of the first layer L1 to the third layer L3. The pixel circuit 1 may have a plurality of hierarchical structures as shown in the figure, or may be formed on a single layer substrate.

図2は、第1の実施形態に係る画素回路の回路構成の一例を示す回路図である。同図を参照しながら、画素回路1の回路構成の一例について説明する。画素回路1は、信号処理装置10と光量検出装置20とを備える。信号処理装置10は第3階層L3に、光量検出装置20は第1階層L1及び第2階層L2に形成されてもよい。
なお、以下の説明において、画素回路1の機能を便宜上、信号処理装置10と光量検出装置20とに分けて説明するが、光量検出装置20の構成の一部又は全部は、信号処理装置10に含まれていてもよい。
FIG. 2 is a circuit diagram showing an example of the circuit configuration of the pixel circuit according to the first embodiment. An example of the circuit configuration of the pixel circuit 1 will be described with reference to the same figure. The pixel circuit 1 includes a signal processing device 10 and a light amount detection device 20. The signal processing device 10 may be formed on the third level L3, and the light amount detection device 20 may be formed on the first level L1 and the second level L2.
Note that in the following description, for convenience, the functions of the pixel circuit 1 will be explained separately as the signal processing device 10 and the light amount detection device 20; however, some or all of the configuration of the light amount detection device 20 May be included.

まず、光量検出装置20の構成について説明する。光量検出装置20は、フォトダイオード21と、インバータチェーン22と、リセットトランジスタ23とを備える。フォトダイオード21は第1階層L1に、インバータチェーン22及びリセットトランジスタ23は第2階層L2に形成されてもよい。光量検出装置20は、フォトダイオード21に入射した光の量に応じてパルス信号を出力する。したがって、所定時間内に出力されたパルス信号の数をカウントすることにより、光量検出装置20に入射した光の量を検出することができる。 First, the configuration of the light amount detection device 20 will be explained. The light amount detection device 20 includes a photodiode 21, an inverter chain 22, and a reset transistor 23. The photodiode 21 may be formed on the first level L1, and the inverter chain 22 and the reset transistor 23 may be formed on the second level L2. The light amount detection device 20 outputs a pulse signal according to the amount of light incident on the photodiode 21. Therefore, by counting the number of pulse signals output within a predetermined period of time, the amount of light incident on the light amount detection device 20 can be detected.

フォトダイオード21は、アノード端子とカソード端子とを有する。アノード端子は接地され、カソード端子はインバータチェーン22の入力端子に接続される。フォトダイオードは、入射した光の量に応じて電荷を生成する。フォトダイオードにより生成された電荷は、生成された電荷の量に応じた電圧値としてインバータチェーン22に入力される。具体的には、フォトダイオードにより生成された電荷は、フォトダイオード21のカソード端子と、インバータチェーン22の入力端子との間に存在する不図示の容量成分に蓄積される。蓄積された電荷は、当該容量成分の大きさに応じて電圧となって現れ、インバータチェーン22の入力端子に入力される。当該容量成分をフローティングディフュージョンとも記載する。また、フォトダイオード21のカソード端子の電圧を電圧VPDとも記載する。 Photodiode 21 has an anode terminal and a cathode terminal. The anode terminal is grounded and the cathode terminal is connected to the input terminal of the inverter chain 22. A photodiode generates a charge depending on the amount of light that enters it. The charges generated by the photodiodes are input to the inverter chain 22 as a voltage value depending on the amount of generated charges. Specifically, the charge generated by the photodiode is accumulated in a capacitance component (not shown) that exists between the cathode terminal of the photodiode 21 and the input terminal of the inverter chain 22. The accumulated charge appears as a voltage depending on the magnitude of the capacitance component, and is input to the input terminal of the inverter chain 22. The capacitive component is also referred to as a floating diffusion. Further, the voltage at the cathode terminal of the photodiode 21 is also referred to as a voltage VPD .

インバータチェーン22は、複数の直列接続されたインバータ素子を備える。当該インバータ素子は、具体的には、CMOS(Complementary metal―oxide―semiconductor)インバータであってもよい。図2に示す一例では、インバータチェーン22は、インバータ221と、インバータ222と、…、インバータ22nとを備える(nは1以上の自然数)。各インバータ素子は、それぞれ入力端子と出力端子とを有しており、出力端子には入力端子の電圧レベルと逆の電圧レベルが出力される。例えば、各インバータ素子の入力端子に1(ハイレベル)が入力されると、当該インバータ素子の出力端子には0(ローレベル)が出力される。また、インバータ素子の入力端子に0が入力されると、当該インバータ素子の出力端子には1が出力される。各インバータ素子は、入力閾値電圧を有し、入力端子に入力される電圧値と閾値とに応じた値を出力する。 The inverter chain 22 includes a plurality of inverter elements connected in series. Specifically, the inverter element may be a complementary metal-oxide-semiconductor (CMOS) inverter. In the example shown in FIG. 2, the inverter chain 22 includes an inverter 221, an inverter 222, . . . , an inverter 22n (n is a natural number of 1 or more). Each inverter element has an input terminal and an output terminal, and a voltage level opposite to the voltage level of the input terminal is outputted to the output terminal. For example, when 1 (high level) is input to the input terminal of each inverter element, 0 (low level) is output to the output terminal of the inverter element. Furthermore, when 0 is input to the input terminal of an inverter element, 1 is output to the output terminal of the inverter element. Each inverter element has an input threshold voltage and outputs a value according to the voltage value input to the input terminal and the threshold value.

ここで、インバータチェーン22に備えられるインバータ素子の数は奇数個である。すなわち、インバータチェーン22全体として、インバータチェーン22の入力端子に入力された電圧レベルを反転させ、出力端子に出力する。インバータチェーン22により出力される電圧を、出力電圧VOUTとも記載する。 Here, the number of inverter elements provided in the inverter chain 22 is an odd number. That is, the inverter chain 22 as a whole inverts the voltage level input to the input terminal of the inverter chain 22 and outputs it to the output terminal. The voltage output by the inverter chain 22 is also referred to as an output voltage V OUT .

また、インバータチェーン22に備えられるインバータ素子の数は、光量検出装置20に出力させたいパルス信号のパルス幅に応じて設定されてもよい。例えば、インバータチェーン22に備えられるインバータ素子の数を多くすることによりパルス幅を長くすることができる。また、インバータチェーン22に備えられるインバータ素子の数を少なくすることによりパルス幅を短くすることができる。 Furthermore, the number of inverter elements included in the inverter chain 22 may be set depending on the pulse width of the pulse signal that the light amount detection device 20 wants to output. For example, by increasing the number of inverter elements included in the inverter chain 22, the pulse width can be increased. Further, by reducing the number of inverter elements included in the inverter chain 22, the pulse width can be shortened.

また、インバータ素子(特にインバータ221)の入力閾値電圧を調整することにより、光量検出装置20により出力される1パルスに応じた光の量を調整することができる。例えば入力閾値電圧を小さくすることにより、フォトダイオード21により多くの光が入射してからパルスが出力されるようになる。また、入力閾値電圧を大きくすることにより、フォトダイオード21により少ない光が入射してからパルスが出力されるようになる。 Further, by adjusting the input threshold voltage of the inverter element (particularly the inverter 221), the amount of light corresponding to one pulse output by the light amount detection device 20 can be adjusted. For example, by reducing the input threshold voltage, more light enters the photodiode 21 before a pulse is output. Further, by increasing the input threshold voltage, a pulse is outputted after less light is incident on the photodiode 21.

なお、インバータチェーン22に接続される初段のインバータ素子(フォトダイオード21に近い側のインバータ、すなわちインバータ221)に代えて、不図示のコンパレータ回路を用いてもよい。当該コンパレータ回路の入力端子の一端には、フォトダイオード21のカソード端子が接続される。また、当該コンパレータ回路の入力端子の他端には、所定の基準電圧が入力される。当該コンパレータ回路は、フォトダイオード21のカソード端子に接続された入力端子の電圧と基準電圧とに応じた電圧を出力端子に出力する。当該コンパレータ回路の後段には、所定の遅延回路が設けられていてもよい。 Note that a comparator circuit (not shown) may be used instead of the first-stage inverter element (the inverter near the photodiode 21, that is, the inverter 221) connected to the inverter chain 22. A cathode terminal of the photodiode 21 is connected to one end of the input terminal of the comparator circuit. Further, a predetermined reference voltage is input to the other end of the input terminal of the comparator circuit. The comparator circuit outputs a voltage corresponding to the voltage at the input terminal connected to the cathode terminal of the photodiode 21 and the reference voltage to the output terminal. A predetermined delay circuit may be provided after the comparator circuit.

リセットトランジスタ23は、インバータチェーン22の出力電圧に応じて、フォトダイオード21にリセット電圧VRSTを供給することによりフォトダイオード21をリセットする。換言すれば、リセットトランジスタ23は、インバータチェーン22により出力されるデジタル値に応じて、フォトダイオード21にリセット電圧を印加するか否かを決定する。リセットトランジスタ23は、例えばNチャネル型のMOSFET(金属酸化膜半導体電界効果トランジスタ:metal-oxide-semiconductor field-effect transistor)であってもよい。リセットトランジスタ23がNチャネル型のMOSFETである場合、ゲート端子は、インバータチェーン22の出力端子に接続される。ソース端子は、リセット電圧VRSTを供給する電源に接続される。ドレイン端子は、フォトダイオード21のカソード端子に接続される。
ここで、リセットトランジスタ23をエンハンスメント型のNチャネル型MOSFETとする場合、リセット電圧VRSTがリセットトランジスタ23の閾値分だけ減少してフォトダイオード21に伝わる。そこで、リセットトランジスタ23をデプレッション型のNチャネル型MOSFETとしてもよい。
なお、リセットトランジスタ23をPチャネル型のMOSFETとすることも可能である。この場合、リセットトランジスタ23のゲート端子にインバータ回路を挿入する。Pチャネル型のMOSFETを用いることにより、リセット電圧VRSTがリセットトランジスタ23の閾値分だけ減少してフォトダイオード21に伝わることを抑止することができる。
The reset transistor 23 resets the photodiode 21 by supplying a reset voltage V RST to the photodiode 21 according to the output voltage of the inverter chain 22 . In other words, the reset transistor 23 determines whether or not to apply the reset voltage to the photodiode 21 according to the digital value output by the inverter chain 22 . The reset transistor 23 may be, for example, an N-channel MOSFET (metal-oxide-semiconductor field-effect transistor). If the reset transistor 23 is an N-channel MOSFET, its gate terminal is connected to the output terminal of the inverter chain 22 . The source terminal is connected to a power supply that provides a reset voltage V RST . The drain terminal is connected to the cathode terminal of the photodiode 21.
Here, when the reset transistor 23 is an enhancement type N-channel MOSFET, the reset voltage V RST is reduced by the threshold value of the reset transistor 23 and transmitted to the photodiode 21 . Therefore, the reset transistor 23 may be a depletion type N-channel MOSFET.
Note that it is also possible to use a P-channel MOSFET as the reset transistor 23. In this case, an inverter circuit is inserted into the gate terminal of the reset transistor 23. By using a P-channel MOSFET, it is possible to prevent the reset voltage V RST from decreasing by the threshold value of the reset transistor 23 and being transmitted to the photodiode 21.

通常時、すなわちフォトダイオード21に光が入射していない場合、フォトダイオード21の電圧VPDはハイレベルである。フォトダイオード21の電圧VPDが光入射により低下し、インバータ221の入力閾値電圧に達すると、インバータチェーン22の出力電圧VOUTが反転し、ローレベルからハイレベルになる。インバータチェーン22によりハイレベルが出力されると、リセットトランジスタ23のソース-ドレイン間がオンし、フォトダイオード21にリセット電圧VRSTが供給され、フォトダイオード21の電圧VPDは、リセット電圧VRSTとなる。再びインバータチェーンが反転し、インバータチェーン22の出力電圧VOUTがローレベルとなると、リセットトランジスタ23のソース-ドレイン間がオフする。この動作を繰り返すことでインバータチェーン22の出力端子にはパルス信号が現れる。 In normal times, that is, when no light is incident on the photodiode 21, the voltage VPD of the photodiode 21 is at a high level. When the voltage V PD of the photodiode 21 decreases due to light incidence and reaches the input threshold voltage of the inverter 221, the output voltage V OUT of the inverter chain 22 is inverted and goes from a low level to a high level. When the inverter chain 22 outputs a high level, the source-drain of the reset transistor 23 is turned on, the reset voltage V RST is supplied to the photodiode 21, and the voltage V PD of the photo diode 21 is equal to the reset voltage V RST . Become. When the inverter chain is inverted again and the output voltage V OUT of the inverter chain 22 becomes low level, the source-drain of the reset transistor 23 is turned off. By repeating this operation, a pulse signal appears at the output terminal of the inverter chain 22.

なお、フォトダイオード21は、埋め込みフォトダイオードであってもよい。フォトダイオード21が埋め込みフォトダイオードである場合、フォトダイオード21とインバータチェーン22との間には、不図示の転送トランジスタが設けられていてもよい。当該転送トランジスタは、不図示の制御部により制御され、フォトダイオード21により生成された電荷をインバータチェーン22(詳細には、転送トランジスタとインバータチェーン22との間に設けられたフローティングディフュージョン)に転送する。 Note that the photodiode 21 may be a buried photodiode. When the photodiode 21 is a buried photodiode, a transfer transistor (not shown) may be provided between the photodiode 21 and the inverter chain 22. The transfer transistor is controlled by a control unit (not shown) and transfers the charge generated by the photodiode 21 to the inverter chain 22 (specifically, a floating diffusion provided between the transfer transistor and the inverter chain 22). .

次に、信号処理装置10の構成について説明する。信号処理装置10には、経時的に値が変化する信号が入力される。信号処理装置10は、入力された信号について、入力された信号に応じたカウンタ値(例えばセンサの出力値)と、カウントされたカウンタ値が所定の閾値を超えた場合に出力される差分信号とを出力する。図2に示す一例では、信号処理装置10が、光量検出装置20により出力されたパルス信号をカウントする場合の一例について説明する。
信号処理装置10は、パルス信号取得部11と、第1カウンタ部111と、第2カウンタ部112と、トリガ信号発生回路13と、スイッチ14とを備える。以下の説明において、第1カウンタ部111と、第2カウンタ部112とを含んだ構成をカウンタ部と記載する場合がある。第1カウンタ部111と、第2カウンタ部112とは、それぞれ異なるカウンタである。
Next, the configuration of the signal processing device 10 will be explained. A signal whose value changes over time is input to the signal processing device 10 . Regarding the input signal, the signal processing device 10 generates a counter value corresponding to the input signal (for example, an output value of a sensor) and a difference signal that is output when the counted counter value exceeds a predetermined threshold value. Output. In the example shown in FIG. 2, an example in which the signal processing device 10 counts pulse signals output by the light amount detection device 20 will be described.
The signal processing device 10 includes a pulse signal acquisition section 11 , a first counter section 111 , a second counter section 112 , a trigger signal generation circuit 13 , and a switch 14 . In the following description, a configuration including the first counter section 111 and the second counter section 112 may be referred to as a counter section. The first counter section 111 and the second counter section 112 are different counters.

パルス信号取得部11は、経時的に変化する値を取得する。図2に示す一例において、パルス信号取得部11には、光量検出装置20から出力された信号であって、経時的に値が1又は0のデジタル値に変化するパルス信号(出力電圧VOUT)が入力される。以下の説明において、パルス信号取得部11を単に取得部と記載する場合がある。 The pulse signal acquisition unit 11 acquires values that change over time. In the example shown in FIG. 2, the pulse signal acquisition unit 11 receives a pulse signal (output voltage V OUT ) which is a signal output from the light amount detection device 20 and whose value changes over time to a digital value of 1 or 0. is input. In the following description, the pulse signal acquisition section 11 may be simply referred to as an acquisition section.

なお、信号処理装置10が光量検出装置20の構成の一部又は全部を含む場合、フォトダイオード21とインバータチェーン22の接続部を取得部としてもよい。この場合、取得部は、値が連続的に変化するアナログ値を取得する。更にこの場合、信号処理装置10には、インバータチェーン22も含まれる。インバータチェーン22は、アナログ値をデジタル値に変換するA/D変換部としての役割を有する。A/D変換部としてのインバータチェーン22は、フォトダイオード21の出力に応じたアナログ値と、所定の閾値(例えばインバータ素子の入力閾値電圧)との比較結果に応じて、アナログ値をデジタル値に変換する。 Note that when the signal processing device 10 includes part or all of the configuration of the light amount detection device 20, the connection portion between the photodiode 21 and the inverter chain 22 may be used as the acquisition portion. In this case, the acquisition unit acquires analog values whose values change continuously. Furthermore, in this case, the signal processing device 10 also includes an inverter chain 22. The inverter chain 22 has a role as an A/D converter that converts analog values into digital values. The inverter chain 22 as an A/D converter converts the analog value into a digital value according to the comparison result between the analog value corresponding to the output of the photodiode 21 and a predetermined threshold value (for example, the input threshold voltage of an inverter element). Convert.

また、本実施形態において取得部は、経時的に変化する様々な値を取得可能であるが、以下に示す一例は、固体撮像素子5に用いられる画素回路1の一例であるため、取得部は、フォトダイオード21に光が入射した結果に応じた電圧値を取得する。 Further, in this embodiment, the acquisition unit is capable of acquiring various values that change over time, but since the example shown below is an example of the pixel circuit 1 used in the solid-state image sensor 5, the acquisition unit is capable of acquiring various values that change over time. , a voltage value corresponding to the result of light incident on the photodiode 21 is acquired.

カウンタ部(第1カウンタ部111及び第2カウンタ部112)は、それぞれ所定の期間に入力されたパルス信号の数をカウントする非同期式のカウンタ回路を含む。第1カウンタ部111及び第2カウンタ部112は、それぞれカウンタ回路を含むことにより、独立してパルス信号取得部11により取得された値に応じてカウント動作を行う。当該カウンタ回路は、複数ビットのカウンタ素子を含んで構成される。図2に示す一例では、複数ビットのカウンタ素子の一例として、それぞれ8ビットのカウンタ素子を含む場合の一例について説明する。第1カウンタ部111及び第2カウンタ部112は、それぞれ8ビットのカウンタ素子により0から255までカウントすることができる。 The counter sections (first counter section 111 and second counter section 112) each include an asynchronous counter circuit that counts the number of pulse signals input in a predetermined period. The first counter section 111 and the second counter section 112 each include a counter circuit, and thereby independently perform a counting operation according to the value acquired by the pulse signal acquisition section 11. The counter circuit includes a multi-bit counter element. In the example shown in FIG. 2, an example in which 8-bit counter elements are included as an example of multiple-bit counter elements will be described. Each of the first counter section 111 and the second counter section 112 can count from 0 to 255 using an 8-bit counter element.

複数ビットのカウンタ素子に共通する構成について、第1カウンタ部111に備えられるカウンタ素子121乃至カウンタ素子128のうち、カウンタ素子121を例に挙げて説明する。第1カウンタ部111及び第2カウンタ部112は、それぞれ既存の技術を使って任意に設計可能であるが、以下の説明では、カウンタ素子としてTフリップフロップ(T―FF)を用いる場合の一例について説明する。なお、Dフリップフロップ等を用いて、Tフリップフロップの構成を実現してもよい。
なお、第1カウンタ部111及び第2カウンタ部112は、アップカウンタ又はダウンカウンタのいずれであってもよいが、以下の説明においては、第1カウンタ部111及び第2カウンタ部112がいずれもアップカウンタとして構成される場合の一例について説明する。
The configuration common to multiple-bit counter elements will be described using the counter element 121 as an example of the counter elements 121 to 128 provided in the first counter section 111. The first counter section 111 and the second counter section 112 can be designed arbitrarily using existing technology, but in the following explanation, an example in which a T flip-flop (T-FF) is used as the counter element will be described. explain. Note that a T flip-flop configuration may be realized using a D flip-flop or the like.
Note that the first counter section 111 and the second counter section 112 may be either up counters or down counters, but in the following description, both the first counter section 111 and the second counter section 112 are up counters. An example of a case configured as a counter will be described.

カウンタ素子121は、入力端子1211と、第1出力端子1212と、第2出力端子1213とを備える。入力端子1211には、パルス信号が入力される。最下位ビットであるカウンタ素子121には、光量検出装置20の出力信号が入力される。カウンタ素子122からカウンタ素子128の入力端子には、それぞれ前段のカウンタ素子の出力信号が入力される。第1出力端子1212及び第2出力端子1213は、Tフリップフロップの非反転出力端子又は反転出力端子のいずれかの信号が出力される。第1出力端子1212は、次段のカウンタ素子に出力するための端子であり、第2出力端子1213は、カウンタ値を出力するための端子である。第1出力端子1212及び第2出力端子1213は共通の端子であってもよい。 Counter element 121 includes an input terminal 1211, a first output terminal 1212, and a second output terminal 1213. A pulse signal is input to the input terminal 1211. The output signal of the light amount detection device 20 is input to the counter element 121 which is the least significant bit. The output signals of the preceding counter elements are input to the input terminals of the counter elements 122 to 128, respectively. The first output terminal 1212 and the second output terminal 1213 output signals from either the non-inverting output terminal or the inverting output terminal of the T flip-flop. The first output terminal 1212 is a terminal for outputting to the next stage counter element, and the second output terminal 1213 is a terminal for outputting the counter value. The first output terminal 1212 and the second output terminal 1213 may be a common terminal.

8ビットのカウンタ素子121乃至カウンタ素子128のうち、最下位ビットであるカウンタ素子121には、イネーブル端子1214が備えられる。イネーブル端子1214は、入力信号が有効であるか否かを決定する。具体的には、イネーブル端子1214は、入力される電圧レベルに応じて、入力端子1211の入力を有効又は無効に制御することができる。最下位ビットのみ無効にすることにより、最下位ビットがカウント動作を行わなくなるため、第1カウンタ部111に備えられる他のカウンタ素子についても、カウント動作を無効化することができる。 Among the 8-bit counter elements 121 to 128, the least significant bit, the counter element 121, is provided with an enable terminal 1214. Enable terminal 1214 determines whether the input signal is valid. Specifically, the enable terminal 1214 can control the input of the input terminal 1211 to be enabled or disabled depending on the input voltage level. By disabling only the least significant bit, the least significant bit no longer performs the counting operation, so that the counting operations of the other counter elements included in the first counter section 111 can also be disabled.

第1カウンタ部111について説明したが、第2カウンタ部112についても同様の構成を備えていていることが好適である。
また、各カウンタ素子には、不図示のカウンタリセット信号CRSTが入力されてもよい。カウンタリセット信号CRSTがハイレベルの時には、各カウンタ素子のカウンタの値が初期値に設定され、ローレベルの時には、各カウンタ素子は通常のカウンタ動作を行う。
Although the first counter section 111 has been described, it is preferable that the second counter section 112 also have a similar configuration.
Further, a counter reset signal CRST (not shown) may be input to each counter element. When the counter reset signal CRST is at a high level, the counter value of each counter element is set to an initial value, and when it is at a low level, each counter element performs a normal counter operation.

トリガ信号発生回路13は、第1カウンタ部111に保持された値及び第2カウンタ部112に保持された値に基づき、トリガ信号T及び符号信号Sを生成する。
トリガ信号Tとは、所定期間に入力されるパルスの数に差分があったか否かに応じて出力される信号である。すなわち、トリガ信号Tとは差分信号である。トリガ信号Tを生成するためには、まず第1期間T1と第2期間T2とを有する期間において、第1期間T1に入力されたパルス数と、第2期間T2に入力されたパルス数との差分を求める。求められた差分の絶対値を8ビットで生成し、生成された値が所定の閾値以上であれば1を、そうでなければ0を、トリガ信号Tとする。ここで、トリガ信号Tとして差分を検出するための閾値は、ビット数として設定されてもよい。たとえば4ビットを閾値とする場合、求められた差分の絶対値を最上位ビットから順にみて、何ビット目で初めて1が現れるかを検出し、それが4ビット目以上であればトリガ信号Tを1とする。具体的には、閾値である4ビット目より上位のビットのいずれか1であればトリガ信号Tを1とする。すなわちトリガ信号Tとは、カウンタ部12に含まれる複数のカウンタ素子のうち、閾値とするビットより上位のビットのいずれかのカウンタ素子の出力値が0又は1のいずれであるかに応じて出力されてもよい。
The trigger signal generation circuit 13 generates a trigger signal T and a code signal S based on the value held in the first counter section 111 and the value held in the second counter section 112.
The trigger signal T is a signal that is output depending on whether there is a difference in the number of pulses input during a predetermined period. That is, the trigger signal T is a differential signal. In order to generate the trigger signal T, first, in a period having a first period T1 and a second period T2, the number of pulses input in the first period T1 and the number of pulses input in the second period T2 are determined. Find the difference. The absolute value of the obtained difference is generated in 8 bits, and if the generated value is greater than or equal to a predetermined threshold value, 1 is set, otherwise 0 is set as the trigger signal T. Here, the threshold value for detecting the difference as the trigger signal T may be set as the number of bits. For example, if 4 bits is used as the threshold, the absolute value of the obtained difference is looked at in order from the most significant bit, and it is detected at which bit 1 appears for the first time, and if it is the 4th bit or more, the trigger signal T is activated. Set to 1. Specifically, if any of the bits higher than the fourth bit, which is the threshold value, is 1, the trigger signal T is set to 1. In other words, the trigger signal T is output depending on whether the output value of one of the counter elements of a bit higher than the threshold bit among the plurality of counter elements included in the counter section 12 is 0 or 1. may be done.

トリガ信号Tを出力するか否かを決定するための閾値は、どの程度の光量差でトリガを発生するかの要求によって設定することができる。例えば閾値とするビットを最下位ビットに近づけることにより、より少ない光量で(換言すれば、より敏感に)トリガ信号Tを出力する。また、閾値とするビットを最上位ビットに近づけることにより、より多い光量で(換言すれば、より鈍感に)トリガ信号Tを出力する。 The threshold value for determining whether or not to output the trigger signal T can be set based on the requirement of how much difference in light amount should be used to generate a trigger. For example, by bringing the threshold value closer to the least significant bit, the trigger signal T is output with less light intensity (in other words, more sensitively). Furthermore, by bringing the bit used as the threshold closer to the most significant bit, the trigger signal T is output with a larger amount of light (in other words, with less sensitivity).

符号信号Sは、トリガ信号発生回路13により生成される信号である。また、符号信号Sは、トリガ信号発生回路13により求められた差分の符号を示す。すなわち、符号信号Sは、第1カウンタ部111に保持された値又は第2カウンタ部112に保持された値のいずれが大きいかを示す。具体的には、符号信号Sは、第2カウンタ部112に保持された値が第1カウンタ部111に保持された値より大きい場合1、小さい場合0であってもよい。すなわち、第1期間T1に入力されたパルス数が、第2期間T2に入力されたパルス数以上であれば符号信号Sを1とし、第1期間T1に入力されたパルス数が、第2期間T2に入力されたパルス数より小さければ符号信号Sを0としてもよい。 The code signal S is a signal generated by the trigger signal generation circuit 13. Further, the sign signal S indicates the sign of the difference obtained by the trigger signal generation circuit 13. That is, the code signal S indicates which one is larger, the value held in the first counter section 111 or the value held in the second counter section 112. Specifically, the code signal S may be 1 if the value held in the second counter section 112 is greater than the value held in the first counter section 111, and may be 0 if it is smaller. That is, if the number of pulses input in the first period T1 is equal to or greater than the number of pulses input in the second period T2, the code signal S is set to 1, and the number of pulses input in the first period T1 is set to 1 in the second period T2. The code signal S may be set to 0 if it is smaller than the number of pulses input to T2.

なお、カウンタ部(第1カウンタ部111及び第2カウンタ部112)によりカウントされた値に応じて出力される信号を第1信号S1と記載する場合がある。第1信号S1は、出力されるタイミングに応じて、第1カウンタ部111又は第2カウンタ部112のいずれか一方から出力される。例えば第1信号S1は、第1期間T1終了時には第1カウンタ部111から出力され、第2期間T2終了時には第2カウンタ部112から出力されてもよい。 Note that the signal output according to the value counted by the counter section (the first counter section 111 and the second counter section 112) may be referred to as a first signal S1. The first signal S1 is output from either the first counter section 111 or the second counter section 112 depending on the output timing. For example, the first signal S1 may be output from the first counter section 111 at the end of the first period T1, and may be output from the second counter section 112 at the end of the second period T2.

また、トリガ信号発生回路13により出力される出力信号を第2信号S2と記載する場合がある。第2信号S2には、トリガ信号Tと符号信号Sとが含まれる。トリガ信号Tとは、上述したように第1期間T1と第2期間T2とを交互に繰り返す周期において、第1期間T1においてカウントされた値と第1期間T1より前の期間である第2期間T2においてカウントされた値との差分に応じた値を出力する。
なお、第1信号S1と第2信号S2とを出力する構成を、出力部と記載する場合がある。すなわち出力部は、第1期間T1においてカウントされた値(第1カウンタ部111に保持された値)と第1期間T1より前の期間である第2期間T2においてカウントされた値(第2カウンタ部112に保持された値)との差分に応じた第2信号とを出力する。
Furthermore, the output signal output by the trigger signal generation circuit 13 may be referred to as a second signal S2. The second signal S2 includes a trigger signal T and a code signal S. The trigger signal T is, in a cycle in which the first period T1 and the second period T2 are alternately repeated as described above, the value counted in the first period T1 and the second period which is a period before the first period T1. A value corresponding to the difference from the value counted at T2 is output.
Note that the configuration that outputs the first signal S1 and the second signal S2 may be referred to as an output section. That is, the output unit outputs the value counted in the first period T1 (the value held in the first counter section 111) and the value counted in the second period T2, which is a period before the first period T1 (the value held in the second counter section 111). 112) and a second signal corresponding to the difference from the value held in section 112.

スイッチ14は、パルス信号取得部11により取得されたパルス信号が入力される先を第1カウンタ部111又は第2カウンタ部112のいずれ一方に排他的に切り替える。具体的には、スイッチ14は、端子141、端子142及び端子143を有し、電気的な接続状態を端子143-端子141間又は端子143-端子142間のいずれか一方に切り替える。スイッチ14は、第1期間T1において端子143-端子141間、第2期間T2において端子143-端子142間に接続状態を切り替える。換言すれば、端子143-端子141間が導通している期間を第1期間T1、端子143-端子142間が導通している期間を第1期間T2という。スイッチ14は、具体的にはトランジスタ等の半導体スイッチであってもよい。 The switch 14 exclusively switches the input destination of the pulse signal acquired by the pulse signal acquisition section 11 to either the first counter section 111 or the second counter section 112. Specifically, the switch 14 has a terminal 141, a terminal 142, and a terminal 143, and switches the electrical connection state to either between the terminal 143 and the terminal 141 or between the terminal 143 and the terminal 142. The switch 14 switches the connection state between the terminal 143 and the terminal 141 in the first period T1 and between the terminal 143 and the terminal 142 in the second period T2. In other words, the period in which the terminal 143 and the terminal 141 are electrically connected is called a first period T1, and the period in which the terminal 143 and the terminal 142 are electrically conductive is called a first period T2. Specifically, the switch 14 may be a semiconductor switch such as a transistor.

図3は、第1の実施形態に係るフォトダイオードに光が入射した際のパルス発生タイミングについて説明するタイミングチャートである。同図を参照しながら、フォトダイオード21に光が入射した際にインバータチェーン22が出力する出力電圧VOUTのパルス発生タイミングについて説明する。同図には、横軸を時間として、フォトダイオード21の電圧VPDの変化を波形W11として示す。また、インバータチェーン22の出力電圧VOUTを波形W12として示す。同図には、フォトダイオード21に一定の光量の光が入射し続ける場合の一例について説明する。
なお、リセットトランジスタ23により供給される電圧をリセット電圧VRST、インバータチェーン22の入力閾値電圧を閾値電圧VTHと記載する。また、インバータチェーン22が出力する出力電圧VOUTは、L又はHの2値で記載する。
FIG. 3 is a timing chart illustrating pulse generation timing when light is incident on the photodiode according to the first embodiment. Referring to the figure, the pulse generation timing of the output voltage V OUT output by the inverter chain 22 when light is incident on the photodiode 21 will be described. In the figure, the horizontal axis represents time, and the change in the voltage VPD of the photodiode 21 is shown as a waveform W11. Further, the output voltage V OUT of the inverter chain 22 is shown as a waveform W12. In the figure, an example in which a constant amount of light continues to enter the photodiode 21 will be described.
Note that the voltage supplied by the reset transistor 23 will be referred to as a reset voltage VRST , and the input threshold voltage of the inverter chain 22 will be referred to as a threshold voltage VTH . Further, the output voltage V OUT outputted by the inverter chain 22 is expressed as a binary value of L or H.

時刻t0以前において、フォトダイオード21に光は入射していないので、フォトダイオード21の電圧VPDはリセット電圧VRSTである。また、この状態においてインバータチェーン22にはHが入力されるため、出力電圧VOUTはLである。
時刻t0から時刻t11にかけて、フォトダイオード21に光が入射する。図3に示す一例では、フォトダイオード21に一定の光量の光が入射し続けるため、フォトダイオード21の電圧VPDは直線的に低下する。
時刻t11においてフォトダイオード21の電圧VPDが閾値電圧VTHまで低下すると、インバータチェーン22の出力電圧VOUTが反転し、Hを出力する。インバータチェーン22の出力電圧VOUTがHになると、リセットトランジスタ23がオンし、フォトダイオード21の電圧VPDはリセット電圧VRSTとなる。電圧VPDがリセット電圧VRSTとなると、インバータチェーン22にはHが入力され、出力電圧VOUTは再度反転してLとなる。
Since no light is incident on the photodiode 21 before time t0, the voltage V PD of the photodiode 21 is the reset voltage V RST . Furthermore, in this state, since H is input to the inverter chain 22, the output voltage V OUT is L.
Light enters the photodiode 21 from time t0 to time t11. In the example shown in FIG. 3, a constant amount of light continues to enter the photodiode 21, so the voltage VPD of the photodiode 21 decreases linearly.
When the voltage V PD of the photodiode 21 drops to the threshold voltage V TH at time t11, the output voltage V OUT of the inverter chain 22 is inverted and outputs H. When the output voltage V OUT of the inverter chain 22 becomes H, the reset transistor 23 is turned on, and the voltage V PD of the photodiode 21 becomes the reset voltage V RST . When the voltage V PD becomes the reset voltage V RST , H is input to the inverter chain 22, and the output voltage V OUT is inverted again and becomes L.

時刻t11から時刻t14においても当該動作を繰り返し、結果としてインバータチェーン22の出力電圧VOUTはパルス信号を出力する。
インバータチェーンが反転を開始してから、電圧VPDがリセット電圧VRSTとなるまでの応答時間(遅延時間)により、インバータチェーン22の出力電圧VOUTのパルス幅が決定される。したがって、インバータチェーン22に含まれるインバータ素子それぞれの遅延時間の合計がパルス幅となる。
This operation is repeated from time t11 to time t14, and as a result, the output voltage V OUT of the inverter chain 22 outputs a pulse signal.
The pulse width of the output voltage V OUT of the inverter chain 22 is determined by the response time (delay time) from when the inverter chain starts inverting until the voltage V PD becomes the reset voltage V RST . Therefore, the sum of the delay times of the respective inverter elements included in the inverter chain 22 becomes the pulse width.

図4は、第1の実施形態に係る信号処理装置により出力される第1信号及び第2信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。同図を参照しながら、信号処理装置10により出力される第1信号S1及び第2信号S2の出力タイミングと、第1カウンタ部111及び第2カウンタ部112により出力されるカウンタ値の変化について説明する。 FIG. 4 is a timing chart illustrating the output timing of the first signal and the second signal output by the signal processing device according to the first embodiment and changes in the counter value. With reference to the figure, the output timing of the first signal S1 and second signal S2 output by the signal processing device 10 and changes in the counter values output by the first counter section 111 and the second counter section 112 will be explained. do.

図4には、第1期間T1及び第2期間T2を含む周期を2周期分示している。第1期間T1及び第2期間T2は同一の長さであってもよい。第1期間T1及び第2期間T2は繰り返し交互に行われる。例えば、第1期間T1は奇数フレームであって、第2期間T2は偶数フレームであってもよい。
なお、本実施形態では信号処理装置10が固体撮像素子5に適用される一例について説明しているため、各期間をフレームと記載する場合がある。具体的には、第1期間T1を第1フレーム、第2期間T2を第2フレーム、と記載する場合がある。
FIG. 4 shows two cycles including the first period T1 and the second period T2. The first period T1 and the second period T2 may have the same length. The first period T1 and the second period T2 are repeated and alternated. For example, the first period T1 may be an odd frame, and the second period T2 may be an even frame.
Note that since this embodiment describes an example in which the signal processing device 10 is applied to the solid-state image sensor 5, each period may be referred to as a frame. Specifically, the first period T1 may be referred to as a first frame, and the second period T2 may be referred to as a second frame.

また、同図には、横軸を時間として、第1カウンタ部111及び第2カウンタ部112が出力するカウンタ値の変化をそれぞれ示す。同図に示す一例において、第1カウンタ部111及び第2カウンタ部112はそれぞれ8ビットのカウンタ素子を備えるため、カウンタ値は、0から256の間で切り替わる。 Further, in the same figure, the horizontal axis represents time, and changes in the counter values output by the first counter section 111 and the second counter section 112 are shown, respectively. In the example shown in the figure, the first counter section 111 and the second counter section 112 each include an 8-bit counter element, so the counter value switches between 0 and 256.

また、同図には、切替信号SW、カウンタリセット信号CRST1、カウンタリセット信号CRST2、イネーブル信号ENの値を、それぞれL又はHの2値により示す。
切替信号SWは、スイッチ14の接続状態を切り替える。切替信号SWがHの場合はパルス信号取得部11により取得されたパルス信号が第1カウンタ部111に供給され、Lの場合は第2カウンタ部112に供給される。
カウンタリセット信号CRST1及びカウンタリセット信号CRST2は、それぞれ第1カウンタ部111及び第2カウンタ部112をリセットさせる。カウンタリセット信号CRST1がHである期間、第1カウンタ部111に備えられる各カウンタ素子の出力値は0に固定され、Lである期間、カウント動作が行われる。カウンタリセット信号CRST2がHである期間、第2カウンタ部112に備えられる各カウンタ素子の出力値は0に固定され、Lである期間、カウント動作が行われる。
イネーブル信号ENは、第1カウンタ部111及び第2カウンタ部112に共通に入力される信号である。イネーブル信号ENは、第1カウンタ部111及び第2カウンタ部112のイネーブル状態を制御する。イネーブル信号ENがLである期間、パルス信号が入力されても第1カウンタ部111及び第2カウンタ部112はいずれもカウント動作を行わず、Hである期間、パルス信号に応じたカウント動作を行う。
Further, in the figure, the values of the switching signal SW, counter reset signal CRST1, counter reset signal CRST2, and enable signal EN are each shown as two values of L or H.
The switching signal SW switches the connection state of the switch 14. When the switching signal SW is H, the pulse signal acquired by the pulse signal acquisition section 11 is supplied to the first counter section 111, and when it is L, the pulse signal is supplied to the second counter section 112.
The counter reset signal CRST1 and the counter reset signal CRST2 reset the first counter section 111 and the second counter section 112, respectively. While the counter reset signal CRST1 is at H, the output value of each counter element included in the first counter section 111 is fixed to 0, and during the period when the counter reset signal CRST1 is at L, a counting operation is performed. While the counter reset signal CRST2 is at H, the output value of each counter element included in the second counter section 112 is fixed to 0, and during the period when the counter reset signal CRST2 is at L, a counting operation is performed.
The enable signal EN is a signal commonly input to the first counter section 111 and the second counter section 112. The enable signal EN controls the enable state of the first counter section 111 and the second counter section 112. During the period when the enable signal EN is L, neither the first counter section 111 nor the second counter section 112 performs a counting operation even if a pulse signal is input, and during the period when the enable signal EN is H, they perform a counting operation according to the pulse signal. .

また、同図には、第1カウンタ部111から第1信号S1を読み込むタイミングについて映像信号読み込みタイミングV_READ1として、第2カウンタ部112から第1信号S1を読み込むタイミングについて映像信号読み込みタイミングV_READ2として記載する。また、第2信号の読み込みタイミングを差分信号読み込みタイミングT_READとして記載する。映像信号読み込みタイミングV_READ1、映像信号読み込みタイミングV_READ2及び差分信号読み込みタイミングT_READは、いずれもHを読み込みタイミングとしてL又はHの2値により示す。 Further, in the figure, the timing to read the first signal S1 from the first counter section 111 is described as a video signal read timing V_READ1, and the timing to read the first signal S1 from the second counter section 112 is described as a video signal read timing V_READ2. . Further, the read timing of the second signal is described as the differential signal read timing T_READ. The video signal read timing V_READ1, the video signal read timing V_READ2, and the differential signal read timing T_READ are all indicated by two values of L or H, with H as the read timing.

時刻t21において、イネーブル信号ENがオフし、カウンタ値がリセットされた(すなわち、カウンタリセット信号CRST1として1パルス入力される)後、イネーブル信号ENがオンする(すなわち、LからHに切り替わる。)。切替信号SWにHが入力された後、第1カウンタ部111のカウンタ値は、フォトダイオード21に入射する光の量に応じたカウント動作を行う。
時刻t21から時刻t22は第1カウンタ部111によりカウント動作が行われる第1期間T1である。当該期間において、パルス信号は第1カウンタ部111に入力され第2カウンタ部112に入力されないため、第2カウンタ部112はカウント動作を行わない。
At time t21, the enable signal EN is turned off and the counter value is reset (that is, one pulse is input as the counter reset signal CRST1), and then the enable signal EN is turned on (that is, switched from L to H). After H is input to the switching signal SW, the counter value of the first counter section 111 performs a counting operation according to the amount of light incident on the photodiode 21.
The period from time t21 to time t22 is a first period T1 in which the first counter section 111 performs a counting operation. During this period, the pulse signal is input to the first counter section 111 but not to the second counter section 112, so the second counter section 112 does not perform a counting operation.

時刻t21から時刻t22にかけて、第1カウンタ部111は0から順にカウント動作を行う。時刻t22になると、第1カウンタ部111から第1信号S1が読み出される。すなわち、映像信号読み込みタイミングV_READ1がHとなり、時刻t22におけるカウンタ値が読み出される。図4に示す一例では、時刻t22におけるカウンタ値は、200程度である。 From time t21 to time t22, the first counter section 111 sequentially performs a counting operation starting from 0. At time t22, the first signal S1 is read out from the first counter section 111. That is, the video signal read timing V_READ1 becomes H, and the counter value at time t22 is read. In the example shown in FIG. 4, the counter value at time t22 is about 200.

カウンタ値の読出し期間において、誤動作を防ぐため、カウント動作を無効に設定してもよい。すなわち、イネーブル信号ENをLにしてもよい。第1カウンタ部111からの出力には一定の時間を要するため、その時間がパルス出力の周期よりも長い場合には、カウンタ値が変化してしまう場合がある。したがって、イネーブル信号ENをLにすることによりカウンタ値が変化してしまう不具合を抑止することができる。なお、以下に説明する第2カウンタ部112からの出力時についても同様である。 In order to prevent malfunction during the reading period of the counter value, the counting operation may be set to be disabled. That is, the enable signal EN may be set to L. Since the output from the first counter section 111 requires a certain amount of time, if that time is longer than the cycle of the pulse output, the counter value may change. Therefore, by setting the enable signal EN to L, it is possible to prevent the counter value from changing. The same applies to the output from the second counter section 112, which will be described below.

ここで、画素回路1が固体撮像素子5に備えられる場合、固体撮像素子5に備えられた複数の画素回路1からカウンタ値を読み出す必要がある。例えば、各画素回路1に備えられるカウンタ部12からの出力は、XYアドレス方式等が用いられてもよい。XYアドレス方式等を用いる場合、画素を順次選択して読み出される。また、全画素についてのカウンタ値(すなわち映像信号)を読み出すのではなく、後述のトリガ信号を用いて差分があった画素についてのカウンタ値(すなわち映像信号)のみを読み出してもよい。 Here, when the pixel circuit 1 is included in the solid-state image sensor 5, it is necessary to read the counter values from the plurality of pixel circuits 1 included in the solid-state image sensor 5. For example, the output from the counter section 12 provided in each pixel circuit 1 may use an XY address method or the like. When using an XY addressing method, pixels are sequentially selected and read out. Further, instead of reading the counter values (that is, video signals) for all pixels, only the counter values (that is, video signals) for pixels that have a difference may be read using a trigger signal, which will be described later.

時刻t22から時刻t23は、第2カウンタ部112がカウント動作を行う第2期間T2である。すなわち時刻t22から時刻t23において、切替信号SWはLに切り替えられ、パルス信号取得部11により取得されたパルス信号は第2カウンタ部112に供給される。また、第2期間T2の開始時において、第2カウンタ部112のカウンタ値がリセットされる(すなわち、カウンタリセット信号CRST2として1パルス入力される)。その後、第2カウンタ部112のカウンタ値は、フォトダイオード21に入射する光の量に応じたカウント動作を行う。 A period from time t22 to time t23 is a second period T2 in which the second counter section 112 performs a counting operation. That is, from time t22 to time t23, the switching signal SW is switched to L, and the pulse signal acquired by the pulse signal acquisition section 11 is supplied to the second counter section 112. Furthermore, at the start of the second period T2, the counter value of the second counter section 112 is reset (that is, one pulse is input as the counter reset signal CRST2). Thereafter, the counter value of the second counter section 112 performs a counting operation according to the amount of light incident on the photodiode 21.

ここで、第2期間T2において、第1カウンタ部111はカウント動作を行わず、第1期間T1においてカウントされた値を維持する。すなわち、時刻t22においてカウンタリセット信号CRST1はLを維持し、カウンタ値を0にリセットしない。
第1期間T1の長さと、第2期間T2の長さは同一であるため、フォトダイオード21に入射する光の量が同一であれば、時刻t23における第1カウンタ部111及び第2カウンタ部112にそれぞれ保持された値は理論上同一になる。第1期間T1にフォトダイオード21に入射する光の量が、第2期間T2に比べて多ければ、時刻t23において第1カウンタ部111に保持された値の方が、第2カウンタ部112に保持された値より大きくなる。また、第1期間T1にフォトダイオード21に入射する光の量が、第2期間T2に比べて小さければ、時刻t23において第1カウンタ部111に保持された値の方が、第2カウンタ部112に保持された値より小さくなる。
Here, in the second period T2, the first counter section 111 does not perform a counting operation and maintains the value counted in the first period T1. That is, at time t22, the counter reset signal CRST1 maintains L and does not reset the counter value to 0.
Since the length of the first period T1 and the length of the second period T2 are the same, if the amount of light incident on the photodiode 21 is the same, the first counter section 111 and the second counter section 112 at time t23 The values held in each are theoretically the same. If the amount of light incident on the photodiode 21 during the first period T1 is larger than that during the second period T2, the value held in the first counter section 111 at time t23 is higher than the value held in the second counter section 112. is greater than the specified value. Further, if the amount of light incident on the photodiode 21 during the first period T1 is smaller than that during the second period T2, the value held in the first counter section 111 at time t23 is higher than the value held on the second counter section 112. is smaller than the value held in .

時刻t23になると、第2カウンタ部112から第1信号S1が読み出される。すなわち、映像信号読み込みタイミングV_READ2がHとなり、時刻t23におけるカウンタ値が読み出される。図4に示す一例では、時刻t23におけるカウンタ値は、150程度である。
カウンタ値の読出し期間において、誤動作を防ぐため、カウント動作を無効に設定してもよい。すなわち、イネーブル信号ENをLにしてもよい。
At time t23, the first signal S1 is read out from the second counter section 112. That is, the video signal read timing V_READ2 becomes H, and the counter value at time t23 is read. In the example shown in FIG. 4, the counter value at time t23 is about 150.
In order to prevent malfunction during the reading period of the counter value, the counting operation may be set to be disabled. That is, the enable signal EN may be set to L.

また、時刻t23になると、第2信号S2が読み出される。すなわち、差分信号読み込みタイミングT_READがHとなり、トリガ信号Tと符号信号Sとが読み出される。図4に示す一例において、時刻t23におけるカウンタ値は、第1カウンタ部111に保持された値の方が、第2カウンタ部112に保持された値より大きいため、符号信号Sは1となる。トリガ信号Tは、第1カウンタ部111に保持された値と第2カウンタ部112に保持された値との差分が閾値より大きいか否かにより決定される。 Furthermore, at time t23, the second signal S2 is read out. That is, the differential signal reading timing T_READ becomes H, and the trigger signal T and code signal S are read out. In the example shown in FIG. 4, the code signal S becomes 1 because the counter value held in the first counter section 111 is larger than the value held in the second counter section 112 at time t23. The trigger signal T is determined depending on whether the difference between the value held in the first counter section 111 and the value held in the second counter section 112 is larger than a threshold value.

なお、画素回路1が固体撮像素子5に用いられる場合、トリガ信号Tは画素アレイの周辺又は画素内に備えられるアドレス生成回路に送られてもよい。当該アドレス生成回路は、トリガ信号Tが1であった画素のアドレス情報(XY座標)を、符号Sとともに出力してもよい。
また、符号信号Sは必ずしも必須ではなく、トリガ信号Tのみを生成し、出力してもよい。
Note that when the pixel circuit 1 is used in the solid-state image sensor 5, the trigger signal T may be sent to an address generation circuit provided around the pixel array or within the pixel. The address generation circuit may output the address information (XY coordinates) of the pixel for which the trigger signal T is 1, together with the code S.
Further, the code signal S is not necessarily essential, and only the trigger signal T may be generated and output.

時刻t23から時刻t24にかけて再度第1周期T1となる。切替信号SWは再度Hに固定される。時刻t23において、第1カウンタ部111のカウンタ値がリセットされる。その後、第1カウンタ部111のカウンタ値は、フォトダイオード21に入射する光の量に応じたカウント動作を行う。時刻t24になると、第1カウンタ部111から第1信号S1が読み出される。図4に示す一例では、時刻t24におけるカウンタ値は、150程度である。また、時刻t24においも、第2信号S2が読み出される。当該期間における第2信号S2は、第2カウンタ部112に保持された値と、第1カウンタ部111に保持された値が比較される。すなわち、第2信号S2とは、当該期間にカウントされた値と、その直前の期間にカウントされた値とが比較される。 The first cycle T1 starts again from time t23 to time t24. The switching signal SW is fixed at H again. At time t23, the counter value of the first counter section 111 is reset. Thereafter, the counter value of the first counter section 111 performs a counting operation according to the amount of light incident on the photodiode 21. At time t24, the first signal S1 is read out from the first counter section 111. In the example shown in FIG. 4, the counter value at time t24 is about 150. Also, at time t24, the second signal S2 is read out. Regarding the second signal S2 during this period, the value held in the second counter section 112 and the value held in the first counter section 111 are compared. That is, in the second signal S2, the value counted in the relevant period and the value counted in the immediately preceding period are compared.

時刻t24から時刻t25にかけて再度第2周期T2となる。切替信号SWは再度Lに固定される。時刻t24において、第2カウンタ部112のカウンタ値がリセットされる。その後、第2カウンタ部112のカウンタ値は、フォトダイオード21に入射する光の量に応じたカウント動作を行う。時刻t25になると、第2カウンタ部112から第1信号S1が読み出される。図4に示す一例では、時刻t25におけるカウンタ値は、200程度である。また、時刻t25においも、第2信号S2が読み出される。 The second period T2 starts again from time t24 to time t25. The switching signal SW is fixed at L again. At time t24, the counter value of the second counter section 112 is reset. Thereafter, the counter value of the second counter section 112 performs a counting operation according to the amount of light incident on the photodiode 21. At time t25, the first signal S1 is read from the second counter section 112. In the example shown in FIG. 4, the counter value at time t25 is about 200. Also, at time t25, the second signal S2 is read out.

以上説明したように、第1カウンタ部111は第1期間(第1フレーム)T1においてパルス信号取得部11により取得された値に応じてカウント動作を行い、第2カウンタ部112は第2期間(第2フレーム)T2においてパルス信号取得部11により取得された値に応じてカウント動作を行う。すなわち、本実施形態によれば、各フレームにおいて、いずれかのカウンタによりカウント動作が行われる。各フレームにおいてカウントされた値は、フレームの終了時、第1カウンタ部111又は第2カウンタ部112のいずれかに保持されている。
一方、第2信号S2はフレームの終了時点において出力される。したがって、本実施形態によれば、全てのフレームにおいて、第2信号S2に応じて第1信号S1及び第2信号S2を取得することができる。
As explained above, the first counter section 111 performs a counting operation according to the value acquired by the pulse signal acquisition section 11 in the first period (first frame) T1, and the second counter section 112 performs a counting operation in the second period (first frame) T1. Second frame) A counting operation is performed according to the value acquired by the pulse signal acquisition unit 11 in T2. That is, according to this embodiment, a counting operation is performed by one of the counters in each frame. The value counted in each frame is held in either the first counter section 111 or the second counter section 112 at the end of the frame.
On the other hand, the second signal S2 is output at the end of the frame. Therefore, according to this embodiment, it is possible to obtain the first signal S1 and the second signal S2 in accordance with the second signal S2 in all frames.

なお、第1周期T1の直前の第2周期T2においてトリガ信号Tが1であった画素のアドレス情報を用いて、第1周期T1において映像情報を読み出すよう構成してもよい。このように構成することにより、変化のあった映像情報だけを読み出すことができ、有効な情報を削減せずにデータを低減することができる。 Note that the image information may be read out in the first period T1 using the address information of the pixel for which the trigger signal T was 1 in the second period T2 immediately before the first period T1. With this configuration, only the video information that has changed can be read out, and data can be reduced without reducing effective information.

[第1の実施形態のまとめ]
以上説明した実施形態によれば、信号処理装置10は、パルス信号取得部11を備えることにより経時的に変化する値を取得し、カウンタ部(第1カウンタ部111及び第2カウンタ部112)を備えることによりパルス信号取得部11が取得した値に応じてカウント動作を行い、出力部を備えることによりカウンタ部によりカウントされた値に応じて第1信号S1を出力し、第1期間T1においてカウントされた値と第2期間T2においてカウントされた値との差分に応じた第2信号S2を出力する。第2信号S2は、第1期間T1及び第2期間T2の終了時(すなわち各フレーム)において出力される。第1信号S1は、第1カウンタ部111及び第2カウンタ部112から交互に出力される。第1信号S1はアナログ値を示すデジタル信号であり、第2信号S2は、アナログ値に差分があったことを示すトリガ信号Tを含む。したがって、したがって、本実施形態によれば、アナログ値(映像信号)と差分信号とを、デジタル値により容易に取得することができる。
[Summary of the first embodiment]
According to the embodiment described above, the signal processing device 10 includes the pulse signal acquisition section 11 to acquire a value that changes over time, and the counter section (the first counter section 111 and the second counter section 112). By providing the pulse signal acquisition unit 11, the pulse signal acquisition unit 11 performs a counting operation according to the acquired value, and by providing the output unit, the first signal S1 is outputted according to the value counted by the counter unit, and the count operation is performed in the first period T1. A second signal S2 is output according to the difference between the counted value and the value counted in the second period T2. The second signal S2 is output at the end of the first period T1 and the second period T2 (ie, each frame). The first signal S1 is alternately output from the first counter section 111 and the second counter section 112. The first signal S1 is a digital signal indicating an analog value, and the second signal S2 includes a trigger signal T indicating that there is a difference in the analog values. Therefore, according to this embodiment, an analog value (video signal) and a difference signal can be easily obtained using digital values.

また、上述した実施形態によれば、カウンタ部は、第1カウンタ部111を備えることにより第1期間T1においてパルス信号取得部11が取得した値に応じてカウント動作を行い、第1カウンタ部111とは異なる第2カウンタ部112を備えることにより第2期間T2においてパルス信号取得部11が取得した値に応じてカウント動作を行う。また、信号処理装置10は、スイッチ14を備えることによりパルス信号取得部11により取得された信号が入力される先を第1カウンタ部111又は第2カウンタ部112のいずれか一方に排他的に切り替える。したがって、本実施形態によれば、パルス信号取得部11により取得された信号を捨てることなく、第1カウンタ部111又は第2カウンタ部112のいずれか一方に保持することができるため、第1期間T1及び第2期間T2のいずれにおいても第1信号S1を出力することができる。したがって、信号処理装置10によれば、時間的な解像度を下げることなく、アナログ値と差分信号とを取得することができる。 Further, according to the embodiment described above, the counter section includes the first counter section 111 and performs a counting operation according to the value acquired by the pulse signal acquisition section 11 in the first period T1. By providing a second counter section 112 different from the above, a counting operation is performed according to the value acquired by the pulse signal acquisition section 11 in the second period T2. Further, the signal processing device 10 includes a switch 14 to exclusively switch the input destination of the signal acquired by the pulse signal acquisition unit 11 to either the first counter unit 111 or the second counter unit 112. . Therefore, according to the present embodiment, the signal acquired by the pulse signal acquisition section 11 can be held in either the first counter section 111 or the second counter section 112 without being discarded. The first signal S1 can be output during both the period T1 and the second period T2. Therefore, according to the signal processing device 10, the analog value and the difference signal can be acquired without lowering the temporal resolution.

また、上述した実施形態によれば、第1カウンタ部111及び第2カウンタ部112にそれぞれ含まれる複数のカウンタ素子のうち、最下位ビットのカウンタ素子(図2に示した第1カウンタ部111の一例では、カウンタ素子121)は、入力信号が有効であるか否かを決定するイネーブル端子1214を有する。カウンタ素子121は、イネーブル端子1214に入力される電圧レベルに応じて、入力されるパルス信号が有効であるか否かを決定する。最下位ビットのカウンタ素子の入力信号が有効にされない限り、後段のカウンタ素子には信号が入力されないため、第1カウンタ部111又は第2カウンタ部112全体としてカウント動作を行うことができない。したがって、本実施形態によれば、最下位ビットのみ無効にすることにより、第1カウンタ部111又は第2カウンタ部112にそれぞれ備えられる他のカウンタ素子についても、カウント動作を無効化することができる。 Further, according to the embodiment described above, among the plurality of counter elements included in the first counter section 111 and the second counter section 112, the least significant bit counter element (the counter element of the first counter section 111 shown in FIG. In one example, counter element 121) has an enable terminal 1214 that determines whether the input signal is valid. Counter element 121 determines whether the input pulse signal is valid or not depending on the voltage level input to enable terminal 1214. Unless the input signal of the counter element of the least significant bit is enabled, no signal is input to the subsequent counter element, so the first counter section 111 or the second counter section 112 as a whole cannot perform a counting operation. Therefore, according to the present embodiment, by disabling only the least significant bit, it is possible to disable the counting operation of the other counter elements included in the first counter section 111 or the second counter section 112, respectively. .

また、上述した実施形態によれば、パルス信号取得部11は、経時的に値が1又は0のデジタル値に変化するパルス信号を取得する。したがって、本実施形態によれば、信号処理装置10は、2値で出力されるセンサの出力値についてパルス数をカウントした値と、差分信号とを出力することができる。 Further, according to the embodiment described above, the pulse signal acquisition unit 11 acquires a pulse signal whose value changes over time to a digital value of 1 or 0. Therefore, according to the present embodiment, the signal processing device 10 can output a value obtained by counting the number of pulses for the output value of the sensor which is output in binary form, and a difference signal.

また、上述した実施形態によれば、信号処理装置10に光量検出装置20が含まれる場合、取得部は、値が連続的に変化するアナログ値を取得する。また、インバータチェーン22は、アナログ値と所定の閾値との比較結果に応じてデジタル値に変換するA/D変換部として機能する。したがって、本実施形態によれば、インバータチェーン22を備えることにより、アナログ値を出力するセンサについても、パルス信号に変換し、パルス数をカウントした値と、差分信号とを出力することができる。 Further, according to the embodiment described above, when the signal processing device 10 includes the light amount detection device 20, the acquisition unit acquires an analog value whose value changes continuously. Further, the inverter chain 22 functions as an A/D converter that converts the analog value into a digital value according to the comparison result between the analog value and a predetermined threshold value. Therefore, according to the present embodiment, by providing the inverter chain 22, even a sensor that outputs an analog value can be converted into a pulse signal, and a value obtained by counting the number of pulses and a difference signal can be output.

また、上述した実施形態によれば、取得部は、フォトダイオード21に光が入射した結果に応じた電圧値を取得する。したがって、本実施形態によれば、映像信号と差分信号とを出力可能な固体撮像素子5を提供することができる。 Further, according to the embodiment described above, the acquisition unit acquires the voltage value according to the result of light incident on the photodiode 21. Therefore, according to this embodiment, it is possible to provide the solid-state image sensor 5 that can output a video signal and a difference signal.

また、上述した実施形態によれば、信号処理装置10に光量検出装置20が含まれる場合、信号処理装置10はリセットトランジスタ23を備えることにより、A/D変換部としてのインバータチェーン22により出力されるデジタル値に応じて、フォトダイオード21にリセット電圧VRSTを印加するか否かを制御することができる。したがって、フォトダイオード21が飽和した場合であっても、フォトダイオード21をリセットすることができる。 Further, according to the embodiment described above, when the signal processing device 10 includes the light amount detection device 20, the signal processing device 10 includes the reset transistor 23, so that the output from the inverter chain 22 as an A/D conversion section is It is possible to control whether or not to apply the reset voltage V RST to the photodiode 21 according to the digital value. Therefore, even if the photodiode 21 is saturated, the photodiode 21 can be reset.

また、上述した実施形態によれば、信号処理装置10は、インバータチェーン22と、第1カウンタ部111及び第2カウンタ部112(いずれも1ビットカウンタの直列接続)、スイッチ14という、比較的少ないトランジスタ数からなるシンプルな回路構成を採用している。本実施形態によれば、このようなシンプルな回路構成であるにもかかわらず、2種類のデジタル信号を出力することができる。また、信号処理装置10は、シンプルな回路構成であるため、画素サイズの増大を抑止することができ、高解像度な映像信号と差分情報とを出力する固体撮像素子5を提供することができる。 Further, according to the embodiment described above, the signal processing device 10 includes the inverter chain 22, the first counter section 111 and the second counter section 112 (all of which are 1-bit counters connected in series), and the switch 14, which are relatively small in number. It uses a simple circuit configuration consisting of only a few transistors. According to this embodiment, two types of digital signals can be output despite such a simple circuit configuration. Further, since the signal processing device 10 has a simple circuit configuration, it is possible to suppress an increase in pixel size, and it is possible to provide a solid-state image sensor 5 that outputs a high-resolution video signal and difference information.

また、本実施形態による信号処理装置10を備える固体撮像素子5を撮像装置に適用することにより、用途に応じて、常時差分情報だけを出力するモード、差分情報に加えて全画素の映像信号を出力するモード、差分情報と変化のあった映像信号だけを出力するモードを切り替え可能な撮像装置を提供することができる。当該撮像装置は、通常の撮像装置と比較して、差分情報を出力することができるため、動き情報の検出をすることができるようになる。また、全画素の映像信号を出力するモード以外では、有効な情報を削減せずに、データ量を削減することができる。 Furthermore, by applying the solid-state image sensor 5 equipped with the signal processing device 10 according to the present embodiment to an imaging device, depending on the application, a mode in which only difference information is output at all times, and a mode in which video signals of all pixels are output in addition to difference information can be created. It is possible to provide an imaging device that can switch between an output mode and a mode that outputs only the video signal that has changed from the difference information. Since the imaging device can output difference information compared to a normal imaging device, it becomes possible to detect motion information. Furthermore, in modes other than the mode in which video signals of all pixels are output, the amount of data can be reduced without reducing effective information.

また、本実施形態によれば、フォトダイオード21により得られた信号を対数圧縮等していないため、光量とパルス数の関係は線形である。したがって、本実施形態によれば、撮影対象を反映した正確な映像情報および差分情報を得ることができる。 Furthermore, according to the present embodiment, the signal obtained by the photodiode 21 is not subjected to logarithmic compression or the like, so the relationship between the amount of light and the number of pulses is linear. Therefore, according to this embodiment, it is possible to obtain accurate video information and difference information that reflect the subject to be photographed.

なお、図1に示したような3次元構造を採用する場合、第1カウンタ部111及び第2カウンタ部112は、それぞれ第3階層L3及び第4階層L4として構成されてもよい。3次元構造を採用することにより、画素ごとに信号処理装置10を搭載しても画素サイズの増大を避けることでき、高解像度な撮像が実現できる。 Note that when employing the three-dimensional structure as shown in FIG. 1, the first counter section 111 and the second counter section 112 may be configured as a third layer L3 and a fourth layer L4, respectively. By adopting a three-dimensional structure, even if the signal processing device 10 is mounted on each pixel, an increase in pixel size can be avoided, and high-resolution imaging can be realized.

[第2の実施形態]
次に、第2の実施形態について説明する。まず、第2の実施形態の概要について説明する。第1の実施形態においては、パルス信号取得部11により取得されたパルス信号をスイッチ14により第1カウンタ部111又は第2カウンタ部112のいずれかに入力する場合の一例について説明した。第2の実施形態においては、パルス信号取得部11により取得されたパルス信号を第1カウンタ部111によりカウントし、各フレームの終了時点でカウントした値をメモリ回路に保持し、第1カウンタ部111をリセットして再度カウントし始める。したがって、第2の実施形態においては、スイッチ14を用いることなく第1の実施形態と同等の機能を実現することができる。
[Second embodiment]
Next, a second embodiment will be described. First, an overview of the second embodiment will be explained. In the first embodiment, an example has been described in which the pulse signal acquired by the pulse signal acquisition section 11 is inputted to either the first counter section 111 or the second counter section 112 using the switch 14. In the second embodiment, the pulse signal acquired by the pulse signal acquisition unit 11 is counted by the first counter unit 111, and the counted value is held in a memory circuit at the end of each frame. Reset and start counting again. Therefore, in the second embodiment, functions equivalent to those in the first embodiment can be realized without using the switch 14.

図5は、第2の実施形態に係る画素回路の回路構成の一例を示す回路図である。同図を参照しながら、第2の実施形態に係る画素回路1Aの回路構成の一例について説明する。画素回路1Aの説明において、画素回路1と同様の構成については同様の符号を付して説明を省略する場合がある。画素回路1Aは、光量検出装置20を備える点において画素回路1と同様である。画素回路1Aは、信号処理装置10に代えて信号処理装置10Aを備える点において画素回路1とは異なる。信号処理装置10Aは、第1カウンタ部111Aと、データ保持部116と、トリガ信号発生回路13Aと、カウンタ出力スイッチ15とを備える。以下の説明において、第1カウンタ部111Aとデータ保持部116とを含む構成をカウンタ部とも記載する場合がある。 FIG. 5 is a circuit diagram showing an example of the circuit configuration of a pixel circuit according to the second embodiment. An example of the circuit configuration of the pixel circuit 1A according to the second embodiment will be described with reference to the same figure. In the description of the pixel circuit 1A, the same components as the pixel circuit 1 may be given the same reference numerals and the description thereof may be omitted. The pixel circuit 1A is similar to the pixel circuit 1 in that it includes a light amount detection device 20. The pixel circuit 1A differs from the pixel circuit 1 in that it includes a signal processing device 10A instead of the signal processing device 10. The signal processing device 10A includes a first counter section 111A, a data holding section 116, a trigger signal generation circuit 13A, and a counter output switch 15. In the following description, the configuration including the first counter section 111A and the data holding section 116 may also be referred to as a counter section.

第1カウンタ部111Aは、第1カウンタ部111と略同等の機能を有するが、第1カウンタ部111Aは第1信号S1を出力しない点において第1カウンタ部111とは異なる。第1カウンタ部111Aは、パルス信号取得部11により取得されたパルスをカウントし、保持された値をデータ保持部116及びトリガ信号発生回路13Aに出力する。 The first counter section 111A has substantially the same function as the first counter section 111, but is different from the first counter section 111 in that the first counter section 111A does not output the first signal S1. The first counter section 111A counts the pulses acquired by the pulse signal acquisition section 11 and outputs the held value to the data holding section 116 and the trigger signal generation circuit 13A.

データ保持部116は、複数ビットのメモリ素子を備える。データ保持部116は、例えばメモリ素子161乃至メモリ素子168の、8ビットのメモリ素子を備えることにより、0から255までのデータを保持する。なお、データ保持部116に備えられるメモリ素子の数は、第1カウンタ部111Aに備えられるカウンタ素子の数と同等であってもよい。
データ保持部116は、既存の技術を使って任意に設計可能であるが、以下の説明では、メモリ素子161乃至メモリ素子168としてDフリップフロップ(D―FF)を用いる場合の一例について説明する。なお、Dフリップフロップに代えて、その他のフリップフロップやDRAMを用いて同等の回路を構成してもよい。
The data holding unit 116 includes a multi-bit memory element. The data holding unit 116 holds data from 0 to 255 by including 8-bit memory elements such as memory elements 161 to 168, for example. Note that the number of memory elements included in the data holding unit 116 may be equal to the number of counter elements included in the first counter unit 111A.
Although the data holding unit 116 can be arbitrarily designed using existing technology, in the following description, an example will be described in which D flip-flops (D-FF) are used as the memory elements 161 to 168. Note that instead of the D flip-flop, an equivalent circuit may be constructed using other flip-flops or DRAM.

メモリ素子161乃至メモリ素子168には、それぞれ第1カウンタ部111Aが備えるカウンタ素子であって対応するカウンタ素子121乃至カウンタ素子128からデータが入力される。例えば、カウンタ素子121の出力値はメモリ素子161に入力され、カウンタ素子122の出力値はメモリ素子162に入力され、…、カウンタ素子127の出力値はメモリ素子167に入力され、カウンタ素子128の出力値はメモリ素子168に入力される。メモリ素子161乃至メモリ素子168は、それぞれ入力された値を保持する。データ保持部116は、自身に保持されているデータを第1信号S1として出力する。なお、第1信号S1は、第1カウンタ部111Aから出力されてもよい。 Data is input to the memory elements 161 to 168 from the corresponding counter elements 121 to 128, which are counter elements included in the first counter section 111A, respectively. For example, the output value of counter element 121 is input to memory element 161, the output value of counter element 122 is input to memory element 162,..., the output value of counter element 127 is input to memory element 167, and the output value of counter element 128 is input to memory element 161, and so on. The output value is input to memory element 168. The memory elements 161 to 168 each hold input values. The data holding unit 116 outputs the data held therein as the first signal S1. Note that the first signal S1 may be output from the first counter section 111A.

複数ビットのメモリ素子に共通する構成について、メモリ素子161乃至メモリ素子168のうち、メモリ素子161を例に挙げて説明する。メモリ素子161は、入力端子1611と、第1出力端子1612と、第2出力端子1613とを備える。入力端子1611には、第1カウンタ部111Aに保持されたデータが入力される。第1出力端子1612及び第2出力端子1213は、Dフリップフロップの出力端子からの信号が出力される。第1出力端子1612は、第1信号S1としての値を出力するための端子であり、第2出力端子1613は、トリガ信号発生回路13Aに値を出力するための端子である。第1出力端子1612及び第2出力端子1613は共通の端子であってもよい。 A configuration common to multiple-bit memory elements will be described using the memory element 161 as an example of the memory elements 161 to 168. The memory element 161 includes an input terminal 1611, a first output terminal 1612, and a second output terminal 1613. The data held in the first counter section 111A is input to the input terminal 1611. A signal from the output terminal of the D flip-flop is output to the first output terminal 1612 and the second output terminal 1213. The first output terminal 1612 is a terminal for outputting a value as the first signal S1, and the second output terminal 1613 is a terminal for outputting a value to the trigger signal generation circuit 13A. The first output terminal 1612 and the second output terminal 1613 may be a common terminal.

カウンタ出力スイッチ15は、第1カウンタ部111Aに保持されたデータをデータ保持部116に出力するか否かを決定する。カウンタ出力スイッチ15は、スイッチ151乃至スイッチ158を備える。スイッチ151乃至スイッチ158は、カウンタ素子121乃至カウンタ素子128及びメモリ素子161乃至メモリ素子168に対応する。例えば、スイッチ151は、カウンタ素子121のデータをメモリ素子161に出力するか否かを決定する。
なお、スイッチ151の機能としては、メモリ素子161乃至メモリ素子168がD-FFである場合、D-FFが有するクロック端子の機能を用いてもよい。
The counter output switch 15 determines whether or not to output the data held in the first counter section 111A to the data holding section 116. The counter output switch 15 includes switches 151 to 158. The switches 151 to 158 correspond to the counter elements 121 to 128 and the memory elements 161 to 168. For example, the switch 151 determines whether to output the data of the counter element 121 to the memory element 161.
Note that when the memory elements 161 to 168 are D-FFs, the function of the clock terminal of the D-FFs may be used as the function of the switch 151.

データ保持部116及びカウンタ出力スイッチ15は、第1カウンタ部111Aによりカウントされた値を保持するため、データ保持部116とカウンタ出力スイッチ15とを含む構成をメモリ回路と記載する場合がある。当該メモリ回路は、第1期間及び第2期間の終了時点において、第1カウンタ部111によりカウントされた値を保持する。 Since the data holding unit 116 and the counter output switch 15 hold the value counted by the first counter unit 111A, the configuration including the data holding unit 116 and the counter output switch 15 may be referred to as a memory circuit. The memory circuit holds the value counted by the first counter section 111 at the end of the first period and the second period.

トリガ信号発生回路13Aは、第1期間T1及び第2期間T2の終了時点において、第1カウンタ部111Aに保持されたデータと、データ保持部116に保持されたデータとを比較することにより、第2信号S2(すなわちトリガ信号T及び符号信号S)を生成する。出力部は、生成された第2信号S2を出力する。 The trigger signal generation circuit 13A compares the data held in the first counter section 111A with the data held in the data holding section 116 at the end of the first period T1 and the second period T2, thereby generating the first period T1 and the second period T2. 2 signals S2 (ie, a trigger signal T and a code signal S) are generated. The output section outputs the generated second signal S2.

図6は、第2の実施形態に係る信号処理装置により出力される第1信号及び第2信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。同図を参照しながら、信号処理装置10Aにより出力される第1信号S1及び第2信号S2の出力タイミングと、第1カウンタ部111Aによりカウントされるカウンタ値及びデータ保持部116に保持されるデータの変化について説明する。 FIG. 6 is a timing chart illustrating the output timing of the first signal and the second signal output by the signal processing device according to the second embodiment, and changes in the counter value. Referring to the figure, the output timing of the first signal S1 and second signal S2 output by the signal processing device 10A, the counter value counted by the first counter section 111A, and the data held in the data holding section 116. We will explain the changes in

第2の実施形態においては、第1期間(第1フレーム)T1及び第2期間(第2フレーム)T2のいずれにおいても、第1カウンタ部111Aによるパルス数のカウント動作が行われる。カウントされた値は、各フレームの終了時点においてデータ保持部116にラッチされる。本実施形態において、第1期間T1及び第2期間T2における動作に差異はないが、他の実施形態との比較のため、便宜上、第1期間T1及び第2期間T2と名称を分けて記載する。 In the second embodiment, the first counter section 111A performs a pulse number counting operation in both the first period (first frame) T1 and the second period (second frame) T2. The counted value is latched in the data holding unit 116 at the end of each frame. In this embodiment, there is no difference in the operations in the first period T1 and the second period T2, but for the sake of comparison with other embodiments, the names will be described separately as the first period T1 and the second period T2 for convenience. .

図6には、横軸を時間として、第1カウンタ部111によりカウントされるカウンタ値の変化と、データ保持部116に保持されるデータの変化を示す。
また、図6に示される、ラッチ信号LTは、カウンタ出力スイッチ15の制御信号である。ラッチ信号LTがHレベルのとき、第1カウンタ部111のデータがデータ保持部116に入力され、Lレベルではデータはデータ保持部116に入力されない。
カウンタリセット信号CRSTは、第1カウンタ部111のカウンタ値をリセットするための信号である。カウンタリセット信号CRSTがHである期間、第1カウンタ部111に備えられる各カウンタ素子の出力値は0に固定され、Lである期間、カウント動作が行われる。
イネーブル信号ENは、第1カウンタ部111のカウント動作を有効にするための制御信号である。イネーブル信号ENがLである期間、パルス信号が入力されても第1カウンタ部111はカウント動作を行わず、Hである期間、パルス信号に応じたカウント動作を行う。
映像信号読み込みタイミングV_READは第1信号S1が出力されるタイミングを示し、差分信号読み込みタイミングT_READはトリガ信号発生回路13Aにより第2信号S2が出力されるタイミングを示す。
FIG. 6 shows changes in the counter value counted by the first counter section 111 and changes in the data held in the data holding section 116, with the horizontal axis representing time.
Further, the latch signal LT shown in FIG. 6 is a control signal for the counter output switch 15. When the latch signal LT is at the H level, the data of the first counter section 111 is input to the data holding section 116, and when the latch signal LT is at the L level, no data is input to the data holding section 116.
The counter reset signal CRST is a signal for resetting the counter value of the first counter section 111. While the counter reset signal CRST is at H level, the output value of each counter element included in the first counter section 111 is fixed at 0, and while the counter reset signal CRST is at L level, a counting operation is performed.
The enable signal EN is a control signal for enabling the counting operation of the first counter section 111. During the period when the enable signal EN is L, the first counter section 111 does not perform a counting operation even if a pulse signal is input, and during the period when the enable signal EN is H, it performs a counting operation according to the pulse signal.
The video signal read timing V_READ indicates the timing at which the first signal S1 is output, and the differential signal read timing T_READ indicates the timing at which the second signal S2 is output by the trigger signal generation circuit 13A.

時刻t31において、ラッチ信号LTがHレベルになると、時刻t31の時点における第1カウンタ部111の値がデータ保持部116にラッチされる。図6に示す一例では、70程度のカウンタ値がラッチされている。
また、時刻t31において、イネーブル信号ENがLに設定され、カウント動作が無効にされ、カウンタリセット信号CRSTがHに設定される。その結果、第1カウンタ部111のカウンタ値が0にリセットされる。その後、イネーブル信号ENが解除され(すなわち、LからHに切り替わり)、時刻t31から時刻t32にかけて、第1カウンタ部111は、フォトダイオード21に入射する光量に応じてカウント動作を行う。
At time t31, when the latch signal LT becomes H level, the value of the first counter section 111 at time t31 is latched into the data holding section 116. In the example shown in FIG. 6, a counter value of about 70 is latched.
Further, at time t31, the enable signal EN is set to L, the counting operation is disabled, and the counter reset signal CRST is set to H. As a result, the counter value of the first counter section 111 is reset to zero. Thereafter, the enable signal EN is canceled (that is, switched from L to H), and the first counter section 111 performs a counting operation according to the amount of light incident on the photodiode 21 from time t31 to time t32.

時刻t32において、映像信号読み込みタイミングV_READがHとなり、第1信号S1が読み出される。また、時刻t32において、差分信号読み込みタイミングT_READがHとなり、第2信号S2が読み出される。図6に示す一例では、時刻t32における第1カウンタ部111のカウンタ値は200程度であり、データ保持部116に保持された値より大きい。 At time t32, the video signal read timing V_READ becomes H, and the first signal S1 is read out. Further, at time t32, the differential signal read timing T_READ becomes H, and the second signal S2 is read. In the example shown in FIG. 6, the counter value of the first counter section 111 at time t32 is about 200, which is larger than the value held in the data holding section 116.

その後、時刻t31において説明した動作を再び行うことにより、第1カウンタ部111のカウンタ値がデータ保持部116にラッチされ、第1カウンタ部111はリセットされる。 Thereafter, by performing the operation described at time t31 again, the counter value of the first counter section 111 is latched in the data holding section 116, and the first counter section 111 is reset.

時刻t33以降も同様の動作を繰り返すことにより、信号処理装置10Aは、毎フレーム第1信号S1及び第2信号S2を出力する。なお、第1信号S1を出力するか否かは、第2信号S2に含まれるトリガ信号に応じて決められてもよい。すなわち、差分が大きいフレームについてのみ映像信号を出力してもよい。 By repeating the same operation after time t33, the signal processing device 10A outputs the first signal S1 and the second signal S2 for each frame. Note that whether or not to output the first signal S1 may be determined depending on a trigger signal included in the second signal S2. That is, the video signal may be output only for frames with a large difference.

[第2の実施形態のまとめ]
以上説明した実施形態によれば、信号処理装置10Aは、メモリ回路を備えることにより、第1期間T1及び第2期間T2の終了時点において第1カウンタ部111によりカウントされた値をラッチし、出力部は、ラッチ回路に記憶された値と、第1カウンタ部111に記憶された値とを比較することにより、トリガ信号Tを含む第2信号S2を出力する。このような構成を採用することにより、信号処理装置10Aは、スイッチ14を要しない。したがって、本実施形態によれば、信号処理装置10Aは、スイッチ14を要すことなく、信号処理装置10と同様の機能を実現することができる。
[Summary of second embodiment]
According to the embodiment described above, the signal processing device 10A is provided with a memory circuit to latch the value counted by the first counter section 111 at the end of the first period T1 and the second period T2, and output it. The section outputs a second signal S2 including the trigger signal T by comparing the value stored in the latch circuit with the value stored in the first counter section 111. By employing such a configuration, the signal processing device 10A does not require the switch 14. Therefore, according to this embodiment, the signal processing device 10A can realize the same functions as the signal processing device 10 without requiring the switch 14.

なお、図1に示したような3次元構造を採用する場合、第1カウンタ部111A及びデータ保持部116は、それぞれ第3階層L3及び第4階層L4として構成されてもよい。3次元構造を採用することにより、画素ごとに信号処理装置10Aを搭載しても画素サイズの増大を避けることでき、高解像度な撮像が実現できる。 In addition, when employing the three-dimensional structure as shown in FIG. 1, the first counter section 111A and the data holding section 116 may be configured as a third layer L3 and a fourth layer L4, respectively. By adopting a three-dimensional structure, even if the signal processing device 10A is mounted on each pixel, an increase in pixel size can be avoided, and high-resolution imaging can be realized.

[第3の実施形態]
次に、第3の実施形態について説明する。まず、第3の実施形態の概要について説明する。第1の実施形態及び第2の実施形態においては、各フレームにおいて第1信号S1及び第2信号S2を出力することが可能であり、第2信号S2に含まれるトリガ信号Tに基づいて、第1信号S1に含まれる映像信号を取得するか否かを選択することが可能となる。しかしながら、トリガ信号Tに基づいて差分がないと判断され、映像信号を取得しないと判断した場合、その映像信号は次のフレームのデータにより上書きされ、破棄されてしまっていた。そこで本実施形態においては、差分があるまでの期間、映像信号を蓄積可能とすることを目的とする。
[Third embodiment]
Next, a third embodiment will be described. First, an overview of the third embodiment will be explained. In the first embodiment and the second embodiment, it is possible to output the first signal S1 and the second signal S2 in each frame, and the first signal S1 and the second signal S2 can be output based on the trigger signal T included in the second signal S2. It becomes possible to select whether or not to acquire the video signal included in one signal S1. However, when it is determined that there is no difference based on the trigger signal T and it is determined that the video signal is not to be acquired, the video signal is overwritten by the data of the next frame and is discarded. Therefore, in this embodiment, it is an object of the present invention to allow video signals to be stored for a period until a difference occurs.

図7は、第3の実施形態に係る画素回路の回路構成の一例を示す回路図である。同図を参照しながら、第3の実施形態に係る画素回路1Bの回路構成の一例について説明する。画素回路1Bの説明において、画素回路1と同様の構成については同様の符号を付して説明を省略する場合がある。画素回路1Bは、光量検出装置20を備える点において画素回路1と同様である。画素回路1Bは、信号処理装置10に代えて信号処理装置10Bを備える点において画素回路1とは異なる。信号処理装置10Bは、第1カウンタ部111及び第2カウンタ部112に代えて第1カウンタ部111B及び第2カウンタ部112Bを備え、更に第3カウンタ部113を備える点において画素回路1とは異なる。以下の説明において、第1カウンタ部111B、第2カウンタ部112B及び第3カウンタ部113を含む構成をカウンタ部とも記載する場合がある。 FIG. 7 is a circuit diagram showing an example of the circuit configuration of a pixel circuit according to the third embodiment. An example of the circuit configuration of the pixel circuit 1B according to the third embodiment will be described with reference to the same figure. In the description of the pixel circuit 1B, the same components as the pixel circuit 1 may be given the same reference numerals and the description thereof may be omitted. The pixel circuit 1B is similar to the pixel circuit 1 in that it includes a light amount detection device 20. The pixel circuit 1B differs from the pixel circuit 1 in that it includes a signal processing device 10B instead of the signal processing device 10. The signal processing device 10B differs from the pixel circuit 1 in that it includes a first counter section 111B and a second counter section 112B instead of the first counter section 111 and the second counter section 112, and further includes a third counter section 113. . In the following description, the configuration including the first counter section 111B, the second counter section 112B, and the third counter section 113 may also be referred to as a counter section.

第1カウンタ部111B及び第2カウンタ部112Bは、それぞれ第1カウンタ部111及び第2カウンタ部112と略同等の機能を有するが、第1カウンタ部111Bは第1信号S1を出力しない点において第1カウンタ部111とは異なる。信号処理装置10Bにおいて、第1カウンタ部111B及び第2カウンタ部112Bは、第2信号S2を生成するために用いられる。具体的には、第1期間T1において第1カウンタ部111によりカウント動作を行い、第2期間T2において第2カウンタ部112によりカウント動作を行う。第2期間T2の終了時点において第1カウンタ部111によりカウントされた値と第2カウンタ部112によりカウントされた値とを比較し、比較した結果に応じて第2信号S2が生成される。さらに、第2期間T2の後に再び第1期間T1を繰り返すことにより、第1期間T1の終了時点においても第2カウンタ部112によりカウントされた値と第1カウンタ部111によりカウントされた値とを比較し、比較した結果に応じて第2信号S2が生成される。 The first counter section 111B and the second counter section 112B have substantially the same functions as the first counter section 111 and the second counter section 112, respectively, but the first counter section 111B is second in that it does not output the first signal S1. 1 counter section 111. In the signal processing device 10B, the first counter section 111B and the second counter section 112B are used to generate the second signal S2. Specifically, the first counter section 111 performs a counting operation during the first period T1, and the second counter section 112 performs a counting operation during the second period T2. At the end of the second period T2, the value counted by the first counter section 111 and the value counted by the second counter section 112 are compared, and a second signal S2 is generated according to the comparison result. Furthermore, by repeating the first period T1 again after the second period T2, the value counted by the second counter section 112 and the value counted by the first counter section 111 can be changed even at the end of the first period T1. A second signal S2 is generated according to the comparison result.

すなわち、第1カウンタ部111B及び第2カウンタ部112Bは、カウント動作を行う周期と、直前の周期においてカウントされた値を保持する周期とを繰り返す。第1カウンタ部111は、第1期間T1においてカウント動作を行い、第2期間T2においてカウントされた値を保持する。第2カウンタ部112は、第2期間T2においてカウント動作を行い、第1期間T1においてカウントされた値を保持する。
第1カウンタ部111Bによりカウントされるか(すなわち第1期間T1であるか)、又は第2カウンタ部112Bによりカウントされるか(すなわち第2期間T2であるか)は、スイッチ14により排他的に決定される。
That is, the first counter section 111B and the second counter section 112B repeat a cycle of performing a counting operation and a cycle of holding a value counted in the immediately previous cycle. The first counter section 111 performs a counting operation during the first period T1, and holds the counted value during the second period T2. The second counter section 112 performs a counting operation during the second period T2, and holds the value counted during the first period T1.
Whether it is counted by the first counter section 111B (that is, whether it is the first period T1) or whether it is counted by the second counter section 112B (that is, whether it is the second period T2) is determined exclusively by the switch 14. It is determined.

第3カウンタ部113は、第1カウンタ部111及び第2カウンタ部112とは異なるカウンタである。第3カウンタ部113は、第1期間T1及び第2期間T2のいずれにおいても、パルス信号取得部11により取得された値に応じてカウント動作を行う。第3カウンタ部113のカウンタ値は、差分信号に応じて読み出され、読み出しが行われた後リセットされる。すなわち出力部は、第2信号S2の出力に応じて、第3カウンタ部113に保持された値を第1信号S1として出力する。 The third counter section 113 is a different counter from the first counter section 111 and the second counter section 112. The third counter section 113 performs a counting operation according to the value acquired by the pulse signal acquisition section 11 in both the first period T1 and the second period T2. The counter value of the third counter section 113 is read out according to the difference signal, and is reset after being read out. That is, the output section outputs the value held in the third counter section 113 as the first signal S1 in response to the output of the second signal S2.

すなわち本実施形態において、第2信号S2を生成するカウンタと、第1信号S1を生成するカウンタとは異なる。ここで、各カウンタが有するカウンタ素子のビット数について説明する。第1カウンタ部111、第2カウンタ部112及び第3カウンタ部113は、それぞれ複数ビットのカウンタ素子を備えるが、それぞれ異なるビット数のカウンタ素子を備えていてもよい。第1カウンタ部111B及び第2カウンタ部112Bは、トリガ信号Tの判定を行うためのカウンタであるため、1フレームで露光される量に応じたビット数を有していれば十分である。一方、第3カウンタ部113は、閾値以上の差分が発生するまで、複数フレーム間において連続してカウント動作を行う。したがって、第3カウンタ部113は、第1カウンタ部111及び第2カウンタ部112にそれぞれ備えられるカウンタ素子より多いビット数のカウンタ素子を備えていることが好適である。具体的には、第1カウンタ部111B及び第2カウンタ部112Bは、それぞれ8ビットのカウンタ素子を備えていてもよく、第3カウンタ部113は12ビットのカウンタ素子を備えていてもよい。 That is, in this embodiment, the counter that generates the second signal S2 is different from the counter that generates the first signal S1. Here, the number of bits of the counter element each counter has will be explained. The first counter section 111, the second counter section 112, and the third counter section 113 each include a multi-bit counter element, but may each include a counter element with a different number of bits. Since the first counter section 111B and the second counter section 112B are counters for determining the trigger signal T, it is sufficient that the first counter section 111B and the second counter section 112B have the number of bits corresponding to the amount of exposure in one frame. On the other hand, the third counter unit 113 continuously performs counting operations between multiple frames until a difference equal to or greater than the threshold value occurs. Therefore, it is preferable that the third counter section 113 includes counter elements having a larger number of bits than the counter elements included in the first counter section 111 and the second counter section 112, respectively. Specifically, the first counter section 111B and the second counter section 112B may each include an 8-bit counter element, and the third counter section 113 may include a 12-bit counter element.

図8は、第3の実施形態に係る信号処理装置により出力される第1信号及び第2信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。同図を参照しながら、信号処理装置10Bにより出力される第1信号S1及び第2信号S2の出力タイミングと、第1カウンタ部111B、第2カウンタ部112B及び第3カウンタ部113によりカウントされるカウンタ値の変化について説明する。 FIG. 8 is a timing chart illustrating the output timing of the first signal and the second signal output by the signal processing device according to the third embodiment, and changes in the counter value. Referring to the figure, the output timing of the first signal S1 and the second signal S2 outputted by the signal processing device 10B, and the output timing of the first signal S1 and the second signal S2, which are counted by the first counter section 111B, the second counter section 112B, and the third counter section 113. Changes in the counter value will be explained.

図8には、横軸を時間として、第1カウンタ部111B、第2カウンタ部112B及び第3カウンタ部113によりそれぞれカウントされるカウンタ値の変化を示す。
また、図8に示される、トリガ信号Tは、トリガ信号発生回路13により生成される第2信号S2に含まれる信号であり、差分が所定値以上となった場合にHとなる。切替信号SWは、スイッチ14の切替状態を示す。切替信号SWがHの場合はパルス信号取得部11により取得されたパルス信号が第1カウンタ部111Bに供給され、Lの場合は第2カウンタ部112Bに供給される。カウンタリセット信号CRSTは、第3カウンタ部113のカウンタ値をリセットするための信号である。カウンタリセット信号CRSTがHである期間、第3カウンタ部113に備えられる各カウンタ素子の出力値は0に固定され、Lである期間、カウント動作が行われる。イネーブル信号ENは、第3カウンタ部113のカウント動作を有効にするための制御信号である。イネーブル信号ENがLである期間、パルス信号が入力されても第3カウンタ部113はカウント動作を行わず、Hである期間、パルス信号に応じたカウント動作を行う。映像信号読み込みタイミングV_READは第1信号S1が出力されるタイミングを示し、差分信号読み込みタイミングT_READはトリガ信号発生回路13により第2信号S2が出力されるタイミングを示す。
FIG. 8 shows changes in the counter values counted by the first counter section 111B, the second counter section 112B, and the third counter section 113, with the horizontal axis representing time.
Further, the trigger signal T shown in FIG. 8 is a signal included in the second signal S2 generated by the trigger signal generation circuit 13, and becomes H when the difference is equal to or greater than a predetermined value. The switching signal SW indicates the switching state of the switch 14. When the switching signal SW is H, the pulse signal acquired by the pulse signal acquisition section 11 is supplied to the first counter section 111B, and when it is L, the pulse signal is supplied to the second counter section 112B. The counter reset signal CRST is a signal for resetting the counter value of the third counter section 113. While the counter reset signal CRST is at H level, the output value of each counter element included in the third counter section 113 is fixed at 0, and while the counter reset signal CRST is at L level, a counting operation is performed. The enable signal EN is a control signal for enabling the counting operation of the third counter section 113. During the period when the enable signal EN is L, the third counter section 113 does not perform a counting operation even if a pulse signal is input, and during the period when the enable signal EN is H, it performs a counting operation according to the pulse signal. The video signal read timing V_READ indicates the timing at which the first signal S1 is output, and the differential signal read timing T_READ indicates the timing at which the second signal S2 is output by the trigger signal generation circuit 13.

時刻t41から時刻t42において、イネーブル信号ENはLである。したがって、第3カウンタ部113はカウント動作を行わず、第3カウンタ部113の値は0に固定される。また、時刻t41から時刻t42において、切替信号SWはHであり、スイッチ14は、第1カウンタ部111Bに接続されているため、第1カウンタ部111Bはカウント動作を行う。 From time t41 to time t42, enable signal EN is L. Therefore, the third counter section 113 does not perform a counting operation, and the value of the third counter section 113 is fixed to zero. Further, from time t41 to time t42, the switching signal SW is H, and the switch 14 is connected to the first counter section 111B, so the first counter section 111B performs a counting operation.

時刻t42において切替信号SWがLに切り替えられ、イネーブル信号ENが解除される(すなわち、LからHに切り替わる)。したがって、時刻t42から時刻t43において、第1カウンタ部111Bはカウンタ値を維持し、第2カウンタ部112Bはカウント動作を行う。また、時刻t42から時刻t43において、第3カウンタ部113もカウント動作を行う。 At time t42, the switching signal SW is switched to L, and the enable signal EN is canceled (that is, switched from L to H). Therefore, from time t42 to time t43, the first counter section 111B maintains the counter value, and the second counter section 112B performs a counting operation. Further, from time t42 to time t43, the third counter section 113 also performs a counting operation.

時刻t43において差分信号読み込みタイミングT_READがHとなり、トリガ信号Tと符号信号Sとが読み出される。しかしながらトリガ信号TはLを維持しているため、差分は所定の閾値以下である。したがって、第3カウンタ部113の値は読み出されず、第3カウンタ部113はカウント動作を続ける。すなわち、時刻t43において切替信号SWがHに切り替えられ、再び第1カウンタ部111Bがカウント動作を行う。なお、図示しないが、トリガ信号発生回路13によりトリガ信号T及び符号信号Sが生成された後、第1カウンタ部111Bにはリセット信号が入力され、第1カウンタ部111Bのカウンタ値はリセットされる。 At time t43, the differential signal read timing T_READ becomes H, and the trigger signal T and code signal S are read. However, since the trigger signal T maintains L, the difference is below the predetermined threshold. Therefore, the value of the third counter section 113 is not read out, and the third counter section 113 continues counting operation. That is, at time t43, the switching signal SW is switched to H, and the first counter section 111B performs the counting operation again. Although not shown, after the trigger signal T and code signal S are generated by the trigger signal generation circuit 13, a reset signal is input to the first counter section 111B, and the counter value of the first counter section 111B is reset. .

時刻t44において差分信号読み込みタイミングT_READがHとなり、トリガ信号Tと符号信号Sとが読み出される。同時刻においてトリガ信号TはHを出力しているため、差分は所定の閾値を超えたことを示す。したがって、映像信号読み込みタイミングV_READがHとなり、時刻t43における第3カウンタ部113の値み出される。映像信号が読み出された後、カウンタリセット信号CRSTがHとなり、第3カウンタ部113のカウンタ値がリセットされ、再び第3カウンタ部113がカウンタ動作を開始する。
また、時刻t44において切替信号SWがLに切り替えられ、再び第2カウンタ部112Bがカウント動作を行う。なお、図示しないが、この際第2カウンタ部112Bにはリセット信号が入力され、第2カウンタ部112Bのカウンタ値はリセットされる。
At time t44, the differential signal read timing T_READ becomes H, and the trigger signal T and code signal S are read out. Since the trigger signal T is outputting H at the same time, the difference indicates that the predetermined threshold value has been exceeded. Therefore, the video signal read timing V_READ becomes H, and the value of the third counter unit 113 at time t43 is calculated. After the video signal is read out, the counter reset signal CRST becomes H, the counter value of the third counter section 113 is reset, and the third counter section 113 starts the counter operation again.
Further, at time t44, the switching signal SW is switched to L, and the second counter section 112B performs the counting operation again. Although not shown, a reset signal is input to the second counter section 112B at this time, and the counter value of the second counter section 112B is reset.

ここで、第1期間T1及び第2期間T2の長さについて説明する。時間的な解像度を上げるためには、第1期間T1及び第2期間T2は高速で切り替えられることが好適である。具体的には、第1期間T1及び第2期間T2は、通常のフレーム周期(例えば、1/30秒を例示することができる。)よりも短いことが好適である。したがって、第1期間T1及び第2期間T2は、30分の1秒より短いことが好適であり、30分の1秒を更に4分の1から数100分の1とした期間であることが好適である。このように第1期間T1及び第2期間T2を短くすることにより、高速でトリガ信号Tの判定を行うことができ、時間的な解像度を上げることができる。
以上の動作では、差分があったタイミングで差分があった画素のみを読み出すものとしているが、それに加えて、ある周期(たとえば1/30秒)でV_READを全画素に入れて、全画素の読み出しを行うこととしても良い。
Here, the lengths of the first period T1 and the second period T2 will be explained. In order to increase the temporal resolution, it is preferable that the first period T1 and the second period T2 be switched at high speed. Specifically, the first period T1 and the second period T2 are preferably shorter than a normal frame period (for example, 1/30 second is an example). Therefore, it is preferable that the first period T1 and the second period T2 be shorter than 1/30th of a second, and it is preferable that the first period T1 and the second period T2 be shorter than 1/30th of a second. suitable. By shortening the first period T1 and the second period T2 in this way, the trigger signal T can be determined at high speed, and the temporal resolution can be increased.
In the above operation, only pixels with a difference are read out at the timing when there is a difference, but in addition to that, V_READ is input to all pixels at a certain period (for example, 1/30 seconds), and all pixels are read out. It is also good to do this.

[第3の実施形態のまとめ]
以上説明した実施形態によれば、信号処理装置10Bは、第3カウンタ部113を備えることにより第1期間T1及び第2期間T2においてパルス信号取得部11により取得された値に応じてカウント動作を行い、第2信号S2に含まれるトリガ信号Tの出力に応じて、第3カウンタ部113に保持された値を出力する。第3カウンタ部113は、差分が生じることによりトリガ信号Tの出力が変化するまでカウント動作を続け、第3カウンタ部113のカウンタ値は第1期間T1及び第2期間T2毎にリセットされることがない。したがって本実施形態によれば、差分が生じるまでにフォトダイオード21に入射した光の量を精度よく検出することができる。
[Summary of third embodiment]
According to the embodiment described above, the signal processing device 10B includes the third counter section 113 and performs a counting operation according to the values acquired by the pulse signal acquisition section 11 in the first period T1 and the second period T2. The third counter section 113 outputs the value held in the third counter section 113 in response to the output of the trigger signal T included in the second signal S2. The third counter section 113 continues counting until the output of the trigger signal T changes due to a difference, and the counter value of the third counter section 113 is reset every first period T1 and second period T2. There is no. Therefore, according to this embodiment, the amount of light incident on the photodiode 21 before a difference occurs can be detected with high accuracy.

また、本実施形態によれば、トリガ信号Tの出力に応じて映像信号が出力される。したがって信号処理装置10Bを固体撮像素子5に適用した場合、固体撮像素子5は、画素毎に異なるフレームレートを有する動画を作成することができる。 Furthermore, according to this embodiment, a video signal is output in response to the output of the trigger signal T. Therefore, when the signal processing device 10B is applied to the solid-state image sensor 5, the solid-state image sensor 5 can create a moving image having a different frame rate for each pixel.

また、以上説明した実施形態によれば、第1カウンタ部111B及び第2カウンタ部112Bは、それぞれ複数ビットのカウンタ素子を備え、第3カウンタ部113は、第1カウンタ部111B及び第2カウンタ部112Bにそれぞれ備えられるカウンタ素子より多いビット数のカウンタ素子を備える。したがって、本実施形態によれば、映像信号を出力するための第3カウンタ部113は、オーバーフローすることなく、カウント動作を行うことができる。 Further, according to the embodiment described above, the first counter section 111B and the second counter section 112B each include a multi-bit counter element, and the third counter section 113 includes a multi-bit counter element. 112B is provided with a counter element having a larger number of bits than the counter element provided in each of the counter elements 112B. Therefore, according to this embodiment, the third counter section 113 for outputting the video signal can perform a counting operation without overflowing.

また、以上説明した実施形態によれば、第1期間T1及び第2期間T2は、30分の1秒より短い。すなわち、信号処理装置10Bは、高速でトリガ信号Tの判定を行う。したがって、本実施形態によれば、時間的な解像度を上げることができる。 Further, according to the embodiment described above, the first period T1 and the second period T2 are shorter than 1/30th of a second. That is, the signal processing device 10B performs the determination of the trigger signal T at high speed. Therefore, according to this embodiment, temporal resolution can be increased.

また、第3の実施形態において、第1カウンタ部111B及び第2カウンタ部112Bを、第2の実施形態における第1カウンタ部111A及びデータ保持部116と置き換えても、同様の効果を得ることができる。 Further, in the third embodiment, even if the first counter section 111B and the second counter section 112B are replaced with the first counter section 111A and the data holding section 116 in the second embodiment, the same effect can be obtained. can.

本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。また、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 The effects described herein are merely illustrative or exemplary, and are not limiting. In other words, the technology according to the present disclosure can have other effects that are obvious to those skilled in the art from the description of this specification, in addition to or in place of the above effects. Further, the present invention is not limited to these embodiments in any way, and various modifications and substitutions can be made without departing from the spirit of the present invention.

5 固体撮像素子
1 画素回路
10 信号処理装置
11 パルス信号取得部
12 カウンタ部
13 トリガ信号発生回路
14 スイッチ
15 カウンタ出力スイッチ
20 光量検出装置
21 フォトダイオード
22 インバータチェーン
23 リセットトランジスタ
S1 第1信号
S2 第2信号
110 第1信号処理部
120 第2信号処理部
111 第1カウンタ部
112 第2カウンタ部
113 第3カウンタ部
116 データ保持部
T1 第1期間
T2 第2期間
5 Solid-state image sensor 1 Pixel circuit 10 Signal processing device 11 Pulse signal acquisition section 12 Counter section 13 Trigger signal generation circuit 14 Switch 15 Counter output switch 20 Light amount detection device 21 Photodiode 22 Inverter chain 23 Reset transistor S1 First signal S2 Second Signal 110 First signal processing section 120 Second signal processing section 111 First counter section 112 Second counter section 113 Third counter section 116 Data holding section T1 First period T2 Second period

Claims (12)

経時的に変化する値を取得する取得部と、
前記取得部により取得された値に応じてカウントするカウンタ部と、
前記カウンタ部によりカウントされた値に応じた第1信号と、第1期間と第2期間とを交互に繰り返す周期において、前記第1期間においてカウントされた値と前記第1期間より前の期間である前記第2期間においてカウントされた値との差分に応じた第2信号とを出力する出力部と
を備える信号処理装置。
an acquisition unit that acquires a value that changes over time;
a counter unit that counts according to the value acquired by the acquisition unit;
A first signal corresponding to the value counted by the counter section, and a period in which the first period and the second period are alternately repeated, the value counted in the first period and the period before the first period. and an output unit that outputs a second signal according to a difference from a value counted in a certain second period.
前記カウンタ部は、
前記第1期間において前記取得部により取得された値に応じてカウントする第1カウンタ部と、
前記第1カウンタ部とは異なるカウンタであって、前記第2期間において前記取得部により取得された値に応じてカウントする第2カウンタ部とを備え、
前記取得部により取得された信号が入力される先を前記第1カウンタ部又は前記第2カウンタ部のいずれか一方に排他的に切り替える切り替えスイッチを更に備え、
前記出力部は、前記第1カウンタ部に保持された値と前記第2カウンタ部に保持された値との差分に応じて前記第2信号を出力する
請求項1に記載の信号処理装置。
The counter section is
a first counter unit that counts according to the value acquired by the acquisition unit in the first period;
a second counter unit that is different from the first counter unit and counts according to the value acquired by the acquisition unit in the second period;
further comprising a changeover switch that exclusively switches the input destination of the signal acquired by the acquisition unit to either the first counter unit or the second counter unit,
The signal processing device according to claim 1, wherein the output section outputs the second signal according to a difference between a value held in the first counter section and a value held in the second counter section.
前記第1期間及び前記第2期間の終了時点において前記カウンタ部によりカウントされた値を保持するメモリ回路を更に備え、
前記出力部は、前記メモリ回路に記憶された値と、前記カウンタ部に記憶された値とを比較することにより、前記第2信号を出力する
請求項1に記載の信号処理装置。
further comprising a memory circuit that holds the value counted by the counter section at the end of the first period and the second period,
The signal processing device according to claim 1, wherein the output section outputs the second signal by comparing a value stored in the memory circuit with a value stored in the counter section.
前記カウンタ部は、
前記第1カウンタ部及び前記第2カウンタ部とは異なるカウンタであって、前記第1期間及び前記第2期間において前記取得部により取得された値に応じてカウントする第3カウンタ部を更に備え、
前記出力部は、前記第2信号の出力に応じて、前記第3カウンタ部に保持された値を出力する
請求項2に記載の信号処理装置。
The counter section is
further comprising a third counter unit that is a counter different from the first counter unit and the second counter unit and counts according to the value acquired by the acquisition unit in the first period and the second period,
The signal processing device according to claim 2, wherein the output section outputs the value held in the third counter section in response to the output of the second signal.
前記第1カウンタ部及び前記第2カウンタ部は、それぞれ複数ビットのカウンタ素子を備え、
前記第3カウンタ部は、前記第1カウンタ部及び前記第2カウンタ部にそれぞれ備えられるカウンタ素子より多いビット数のカウンタ素子を備える
請求項4に記載の信号処理装置。
The first counter section and the second counter section each include a multi-bit counter element,
The signal processing device according to claim 4, wherein the third counter section includes counter elements having a larger number of bits than the counter elements included in the first counter section and the second counter section, respectively.
前記第1期間及び前記第2期間は、30分の1秒より短い
請求項5に記載の信号処理装置。
The signal processing device according to claim 5, wherein the first period and the second period are shorter than 1/30th of a second.
前記カウンタ部に含まれる前記カウンタ素子のうち、最下位ビットの前記カウンタ素子は、入力信号が有効であるか否かを決定するイネーブル端子を有する
請求項5又は請求項6に記載の信号処理装置。
The signal processing device according to claim 5 or 6, wherein among the counter elements included in the counter section, the least significant bit of the counter element has an enable terminal that determines whether the input signal is valid. .
前記取得部は、経時的に値が1又は0のデジタル値に変化するパルス信号を取得する
請求項1から請求項6のいずれか一項に記載の信号処理装置。
The signal processing device according to any one of claims 1 to 6, wherein the acquisition unit acquires a pulse signal whose value changes over time to a digital value of 1 or 0.
前記取得部は、値が連続的に変化するアナログ信号を取得し、
前記アナログ信号の値と所定の閾値との比較結果に応じてデジタル値に変換するA/D変換部を更に備える
請求項1から請求項6のいずれか一項に記載の信号処理装置。
The acquisition unit acquires an analog signal whose value changes continuously,
The signal processing device according to any one of claims 1 to 6, further comprising an A/D conversion unit that converts the analog signal into a digital value according to a comparison result between the value of the analog signal and a predetermined threshold.
前記取得部は、フォトダイオードに光が入射した結果に応じた電圧値を取得する
請求項9に記載の信号処理装置。
The signal processing device according to claim 9, wherein the acquisition unit acquires a voltage value according to a result of light incident on the photodiode.
前記A/D変換部により出力されるデジタル値に応じて、前記フォトダイオードにリセット電圧を印加するか否かを決定するリセットトランジスタを更に備える
請求項10に記載の信号処理装置。
The signal processing device according to claim 10, further comprising a reset transistor that determines whether to apply a reset voltage to the photodiode according to the digital value output by the A/D conversion section.
経時的に変化する値を取得する取得工程と、
前記取得工程により取得された値に応じてカウントするカウンタ工程と、
前記カウンタ工程によりカウントされた値に応じた第1信号と、第1期間と第2期間とを交互に繰り返す周期において、前記第1期間においてカウントされた値と前記第1期間より前の期間である前記第2期間においてカウントされた値との差分に応じた第2信号とを出力する出力工程と
を有する信号処理方法。
an acquisition step of acquiring values that change over time;
a counter step that counts according to the value acquired in the acquisition step;
A first signal corresponding to the value counted by the counter step, and a period in which the first period and the second period are alternately repeated, the value counted in the first period and the period before the first period. A signal processing method comprising: outputting a second signal according to a difference from a value counted in a certain second period.
JP2022104209A 2022-06-29 2022-06-29 Signal processing device and signal processing method Pending JP2024004565A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022104209A JP2024004565A (en) 2022-06-29 2022-06-29 Signal processing device and signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022104209A JP2024004565A (en) 2022-06-29 2022-06-29 Signal processing device and signal processing method

Publications (1)

Publication Number Publication Date
JP2024004565A true JP2024004565A (en) 2024-01-17

Family

ID=89540312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022104209A Pending JP2024004565A (en) 2022-06-29 2022-06-29 Signal processing device and signal processing method

Country Status (1)

Country Link
JP (1) JP2024004565A (en)

Similar Documents

Publication Publication Date Title
JP7374242B2 (en) Dynamic vision sensor architecture
US9100605B2 (en) Global shutter with dual storage
KR102212100B1 (en) Split-gate conditional-reset image sensor
JP4389190B2 (en) CMOS active pixel sensor with in-pixel local exposure control function
JP5874912B2 (en) High dynamic range image sensor
JP4529834B2 (en) Solid-state imaging device, driving method of solid-state imaging device, and imaging device
US20070279506A1 (en) Solid-state imaging device, method of driving the same, and camera
CN113812142B (en) Optical sensor and optical sensing method
US11812169B2 (en) Dynamic vision sensor with in-pixel digital change detection
WO2009042901A1 (en) Image sensor with high dynamic range imaging and integrated motion detection
US10659709B2 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
US9258505B2 (en) Imaging apparatus, imaging system, method for driving imaging apparatus, and method for driving imaging system
CN115706861A (en) Event filtering in an event sensing system
Yamada et al. A 140dB-dynamic-range MOS image sensor with in-pixel multiple-exposure synthesis
JP2024004565A (en) Signal processing device and signal processing method
JP2024004564A (en) Signal processing device and signal processing method
US12058459B2 (en) NMOS comparator for image sensor pixel
WO2023126429A1 (en) High dynamic range image sensor
WO2023126424A1 (en) Event-driven high dynamic range image sensor and method
CN115278100A (en) Pixel unit circuit, signal acquisition device and signal acquisition method
CN117813835A (en) Pixel device, image sensor, and method of operating pixel device
CN118118751A (en) Signal quantization method and image processing device
Kim et al. A Wide dynamic range CMOS image senor with dual capture using floating diffusion capacitor