WO2020080383A1 - 撮像装置及び電子機器 - Google Patents

撮像装置及び電子機器 Download PDF

Info

Publication number
WO2020080383A1
WO2020080383A1 PCT/JP2019/040590 JP2019040590W WO2020080383A1 WO 2020080383 A1 WO2020080383 A1 WO 2020080383A1 JP 2019040590 W JP2019040590 W JP 2019040590W WO 2020080383 A1 WO2020080383 A1 WO 2020080383A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
unit
signal
detection signal
Prior art date
Application number
PCT/JP2019/040590
Other languages
English (en)
French (fr)
Inventor
風太 望月
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/284,627 priority Critical patent/US11683606B2/en
Publication of WO2020080383A1 publication Critical patent/WO2020080383A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Definitions

  • the pixel of interest and the pixel array of a plurality of pixels are skipped by one pixel in one direction with respect to the pixel of interest.
  • the configuration may be a combination of adjacent pixels, or may be a combination of a target pixel and a pixel adjacent to the target pixel by skipping one pixel in two directions in a matrix arrangement of a plurality of pixels.
  • an imaging system 10 to which the technology according to the present disclosure is applied includes an imaging lens 11, an imaging device 20, a recording unit 12, and a control unit 13.
  • the imaging system 10 is an example of an electronic device according to the present disclosure, and examples of the electronic device include a camera system mounted on an industrial robot and an in-vehicle camera system.
  • FIG. 4 is a circuit diagram showing an example of the circuit configuration of the pixel 30.
  • each of the plurality of pixels 30 includes the light receiving unit 31, the pixel signal generating unit 32, and the address event detecting unit 33.
  • the light receiving section 31 has a configuration including a light receiving element (photoelectric conversion element) 311, a transfer transistor 312, and an OFG (Over Flow Gate) transistor 313.
  • a light receiving element photoelectric conversion element
  • a transfer transistor 312 As the transfer transistor 312 and the OFG transistor 313, for example, N-type MOS (Metal Oxide Semiconductor) transistors are used.
  • the transfer transistor 312 and the OFG transistor 313 are connected in series with each other.
  • the control signal OFG is supplied from the drive unit 22 to the gate electrode of the OFG transistor 313.
  • the OFG transistor 313 supplies the electric signal generated by the light receiving element 311 to the address event detection unit 33 in response to the control signal OFG.
  • the electric signal supplied to the address event detector 33 is a photocurrent composed of electric charges.
  • FIG. 5 is a block diagram showing a first configuration example of the address event detection unit 33.
  • the address event detection unit 33 according to the present configuration example has a configuration including a current / voltage conversion unit 331, a buffer 332, a subtractor 333, a quantizer 334, and a transfer unit 335.
  • a laminated chip structure is a structure in which at least two chips, that is, a light receiving chip 201 that is a first chip and a detection chip 202 that is a second chip are laminated. Has become. Then, in the circuit configuration of the pixel 30 shown in FIG. 4, each of the light receiving elements 311 is arranged on the light receiving chip 201, and all the elements other than the light receiving element 311 and the elements of other circuit parts of the pixel 30 are detection chips. It is arranged on 202.
  • the light receiving chip 201 and the detection chip 202 are electrically connected to each other via a via (VIA), a Cu—Cu joint, a bump or the like.
  • the analog-digital converter 241 may be arranged in units of a plurality of pixel columns, and the analog-digital converter 241 may be used in a time division manner between the plurality of pixel columns.
  • the fourth embodiment is a modification of the second embodiment, and is an example in which, for example, when there is an RGB Bayer array color filter, an arithmetic circuit is shared between two adjacent pixels in two directions in a matrix array.
  • FIG. 18 shows a block diagram of a configuration of a main part of the pixel array section 21 according to the fourth embodiment.
  • the in-vehicle information detection unit 7500 may calculate the degree of tiredness or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示の撮像装置は、入射光を光電変換して電気信号を生成する受光素子を含み、電気信号の変化量が所定の閾値を超えたことを検出して検出信号を出力する複数の画素、及び、注目画素を含む2画素以上の画素の組み合わせが共に検出信号を出力したとき、検出信号の読出しを行う制御部を備える。また、本開示の電子機器は、上記の構成の複数の画素及び検知部を備える撮像装置を有する。

Description

撮像装置及び電子機器
 本開示は、撮像装置及び電子機器に関する。
 イベントドリブン方式の撮像装置の一つとして、DVS(Dynamic Vision Sensor)と呼ばれる非同期型の撮像装置が提案されている(例えば、特許文献1参照)。非同期型の撮像装置では、シーンの中で何らかのイベント(例えば、動き)が発生したときだけ、当該イベントによって生じる輝度レベルの変化した部分のデータの取得が行われる。従って、非同期型の撮像装置は、固定フレームレートで不必要に画像の全てのデータを取得する一般的な同期型の撮像装置よりも遥かに高速に画像データを取得することができる。
特表2017-535999号公報
 非同期型の撮像装置では、本来、シーンの中で何らかのイベント(以下、「真イベント」と記述する場合がある)が発生したとき、当該真イベントの発生に起因するデータの取得が行われる。しかし、非同期型の撮像装置では、イベントの発生の無いシーンでも、センサノイズ等のノイズイベントによって輝度感知部の電位が変化した場合には、無駄に、データの取得が行われることになる。
 そこで、本開示は、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生時にのみデータの取得を行うことができる撮像装置、及び、当該撮像装置を有する電子機器を提供することを目的とする。
 上記の目的を達成するための本開示の撮像装置は、
 入射光を光電変換して電気信号を生成する受光素子を含み、電気信号の変化量が所定の閾値を超えたことを検出して検出信号を出力する複数の画素、及び、
 注目画素を含む2画素以上の画素の組み合わせの各画素が共に検出信号を出力したときに、検出信号の読出しを行う制御部を備える。
 上記の目的を達成するための本開示の電子機器は、上記の構成の複数の画素及び制御部を備える撮像装置を有する。
図1は、本開示に係る技術が適用される撮像システムのシステム構成の一例を示すブロック図である。 図2は、本開示の第1構成例に係る撮像装置の構成の一例を示すブロック図である。 図3は、画素アレイ部の構成の一例を示すブロック図である。 図4は、画素の回路構成の一例を示す回路図である。 図5は、アドレスイベント検出部の第1構成例を示すブロック図である。 図6は、アドレスイベント検出部における電流電圧変換部の構成の一例を示す回路図である。 図7は、アドレスイベント検出部における減算器及び量子化器の構成の一例を示す回路図である。 図8は、アドレスイベント検出部の第2構成例を示すブロック図である。 図9は、本開示の第2構成例に係る撮像装置の構成の一例を示すブロック図である。 図10は、撮像装置の積層型のチップ構造の概略を示す分解斜視図である。 図11は、第1構成例に係る撮像装置のカラム処理部の構成の一例を示すブロック図である。 図12は、本開示の実施形態に係る撮像装置の要部の構成の一例を示すブロック図である。 図13は、隣接する2つの画素で共にイベントが発生し、アービタ部から供給されるリセット信号によってリセット動作が行われる場合の画素1及び画素2の出力信号の波形図である。 図14Aは、制御部の論理回路の回路例を示すブロック図であり、図14Bは、制御部の遅延回路の回路例を示すブロック図である。 図15は、実施例1に係る画素アレイ部の要部の構成を示すブロック図である。 図16は、実施例2に係る画素アレイ部の要部の構成を示すブロック図である。 図17は、実施例3に係る画素アレイ部の要部の構成を示すブロック図である。 図18は、実施例4に係る画素アレイ部の要部の構成を示すブロック図である。 図19は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 図20は、撮像部の設置位置の例を示す図である。
 以下、本開示に係る技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示に係る技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の撮像装置及び電子機器、全般に関する説明
2.本開示に係る技術が適用される撮像システム
 2-1.撮像システムの構成例
 2-2.第1構成例に係る撮像装置(アービタ方式)
  2-2-1.画素アレイ部の構成例
  2-2-2.画素の回路構成例
  2-2-3.アドレスイベント検出部の第1例
  2-2-4.電流電圧変換部の構成例
  2-2-5.減算器及び量子化器の構成例
  2-2-6.アドレスイベント検出部の第2構成例
 2-3.第2構成例に係る撮像装置(スキャン方式)
 2-4.チップ構造の構成例
 2-5.カラム処理部の構成例
 2-6.ノイズイベントについて
3.本開示の撮像装置
 3-1.実施例1(行列配列における1方向で隣接する2画素間で演算回路を共有する例)
 3-2.実施例2(行列配列における2方向のそれぞれで隣接する2画素間で演算回路を共有する例)
 3-3.実施例3(実施例1の変形例:RGBベイヤ配列のカラーフィルタがある場合の例)
 3-4.実施例4(実施例2の変形例:RGBベイヤ配列のカラーフィルタがある場合の例)
4.変形例
5.本開示に係る技術の適用例(移動体に適用する例)
6.本開示がとることができる構成
<本開示の撮像装置及び電子機器、全般に関する説明>
 本開示の撮像装置及び電子機器にあっては、制御部について、注目画素が検出信号を出力したとき、注目画素との組み合わせの画素が、一定期間内に検出信号を出力しない場合に、注目画素をリセットする構成とすることができる。
 上述した好ましい構成を含む本開示の撮像装置及び電子機器にあっては、画素の組み合わせについて、注目画素と、複数の画素の行列配列において注目画素に対して1方向で隣り合う画素との組み合わせから成る構成、又は、注目画素と、複数の画素の行列配列において注目画素に対して2方向で隣り合う画素との組み合わせから成る構成とすることができる。
 あるいは又、上述した好ましい構成を含む本開示の撮像装置及び電子機器にあっては、画素の組み合わせについて、注目画素と、複数の画素の行列配列において注目画素に対して1方向で1画素飛ばして隣り合う画素との組み合わせから成る構成、又は、注目画素と、複数の画素の行列配列において注目画素に対して2方向で1画素飛ばして隣り合う画素との組み合わせから成る構成とすることができる。
 また、上述した好ましい構成を含む本開示の撮像装置及び電子機器にあっては、制御部について、2画素以上の画素の組み合わせの各画素から出力される検出信号を論理演算する演算回路を有する構成とすることができる。そして、演算回路について、論理積回路から成る構成、否定論理積回路及びインバータ回路の組み合わせから成る構成、又は、2つのインバータ回路及び否定論理和回路の組み合わせから成る構成とすることができる。
 また、本開示の撮像装置にあっては、入射光を光電変換して電気信号を生成する受光素子を含み、電気信号の変化量が所定の閾値を超えたことを検出して検出信号を出力する複数の画素、並びに、複数の画素の行列配列の少なくとも1方向において隣接する第1の画素及び第2の画素に接続され、第1の画素及び第2の画素が共に検出信号を出力したとき、検出信号の読出しを行う制御部を備える構成とすることができる。また、複数の画素にカラーフィルタが配置されているとき、第1の画素及び第2の画素について、同色の画素である構成とすることができる。
<本開示に係る技術が適用される撮像システム>
[撮像システムの構成例]
 図1は、本開示に係る技術が適用される撮像システムのシステム構成の一例を示すブロック図である。
 図1に示すように、本開示に係る技術が適用される撮像システム10は、撮像レンズ11、撮像装置20、記録部12、及び、制御部13を備える構成となっている。この撮像システム10は、本開示の電子機器の一例であり、当該電子機器としては、産業用ロボットに搭載されるカメラシステムや、車載カメラシステムなどを例示することができる。
 上記の構成の撮像システム10において、撮像レンズ11は、被写体からの入射光を取り込んで撮像装置20の撮像面上に結像する。撮像装置20は、撮像レンズ11によって取り込まれた入射光を画素単位で光電変換して撮像データを取得する。この撮像装置20として、後述する本開示の撮像装置が用いられる。
 撮像装置20は、撮像した画像データに対して、画像認識処理等の所定の信号処理を実行し、その処理結果と、後述するアドレスイベントの検出信号(以下、単に「検出信号」と記述する場合がある)とを示すデータを記録部12に出力する。アドレスイベントの検出信号の生成方法については後述する。記録部12は、信号線14を介して撮像装置20から供給されるデータを記憶する。制御部13は、例えば、マイクロコンピュータによって構成され、撮像装置20における撮像動作の制御を行う。
[第1構成例に係る撮像装置(アービタ方式)]
 図2は、本開示に係る技術が適用される撮像システム10における撮像装置20として用いられる、第1構成例に係る撮像装置の構成の一例を示すブロック図である。
 図2に示すように、本開示の撮像装置としての第1構成例に係る撮像装置20は、DVSと呼ばれる非同期型の撮像装置であり、画素アレイ部21、駆動部22、アービタ部(調停部)23、カラム処理部24、及び、信号処理部25を備える構成となっている。
 上記の構成の撮像装置20において、画素アレイ部21には、複数の画素30が行列状(アレイ状)に2次元配列されている。この行列状の画素配列に対して、画素列毎に、後述する垂直信号線VSLが配線される。
 複数の画素30のそれぞれは、光電流に応じた電圧のアナログ信号を画素信号として生成する。また、複数の画素30のそれぞれは、光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。そして、アドレスイベントが生じた際に画素30は、リクエストをアービタ部23に出力する。
 駆動部22は、複数の画素30のそれぞれを駆動して、各画素30で生成された画素信号をカラム処理部24に出力させる。
 アービタ部23は、複数の画素30のそれぞれからのリクエストを調停し、調停結果に基づく応答を画素30に送信する。アービタ部23からの応答を受け取った画素30は、検出結果を示す検出信号(アドレスイベントの検出信号)を駆動部22及び信号処理部25に供給する。画素30からの検出信号の読出しについては、複数行読出しとすることも可能である。
 カラム処理部24は、例えば、アナログ-デジタル変換器から成り、画素アレイ部21の画素列毎に、その列の画素30から出力されるアナログの画素信号をデジタル信号に変換する処理を行う。そして、カラム処理部24は、アナログ-デジタル変換後のデジタル信号を信号処理部25に供給する。
 信号処理部25は、カラム処理部24から供給されるデジタル信号に対して、CDS(Correlated Double Sampling)処理や画像認識処理などの所定の信号処理を実行する。そして、信号処理部25は、処理結果を示すデータと、アービタ部23から供給される検出信号とを信号線14を介して記録部12(図1参照)に供給する。
[画素アレイ部の構成例]
 図3は、画素アレイ部21の構成の一例を示すブロック図である。
 複数の画素30が行列状に2次元配列されて成る画素アレイ部21において、複数の画素30のそれぞれは、受光部31、画素信号生成部32、及び、アドレスイベント検出部33を有する構成となっている。
 上記の構成の画素30において、受光部31は、入射光を光電変換して光電流を生成する。そして、受光部31は、駆動部22(図2参照)の制御に従って、画素信号生成部32及びアドレスイベント検出部33のいずれかに、光電変換して生成した光電流を供給する。
 画素信号生成部32は、受光部31から供給される光電流に応じた電圧の信号を画素信号SIGとして生成し、この生成した画素信号SIGを垂直信号線VSLを介してカラム処理部24(図2参照)に供給する。
 アドレスイベント検出部33は、受光部31のそれぞれからの光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。アドレスイベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、アドレスイベントの検出信号は、例えば、オンイベントの検出結果を示す1ビット、及び、オフイベントの検出結果を示す1ビットから成る。なお、アドレスイベント検出部33については、オンイベントのみを検出する構成とすることもできる。
 アドレスイベントが発生した際に、アドレスイベント検出部33は、アドレスイベントの検出信号の送信を要求するリクエストをアービタ部23(図2参照)に供給する。そして、アドレスイベント検出部33は、リクエストに対する応答をアービタ部23から受け取ると、アドレスイベントの検出信号を駆動部22及び信号処理部25に供給する。
[画素の回路構成例]
 図4は、画素30の回路構成の一例を示す回路図である。上述したように、複数の画素30のそれぞれは、受光部31、画素信号生成部32、及び、アドレスイベント検出部33を有する構成となっている。
 上記の構成の画素30において、受光部31は、受光素子(光電変換素子)311、転送トランジスタ312、及び、OFG(Over Flow Gate)トランジスタ313を有する構成となっている。転送トランジスタ312及びOFGトランジスタ313としては、例えば、N型のMOS(Metal Oxide Semiconductor)トランジスタが用いられる。転送トランジスタ312及びOFGトランジスタ313は、互いに直列に接続されている。
 受光素子311は、転送トランジスタ312とOFGトランジスタ313との共通接続ノードN1とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。
 転送トランジスタ312のゲート電極には、図2に示す駆動部22から転送信号TRGが供給される。転送トランジスタ312は、転送信号TRGに応答して、受光素子311で光電変換された電荷を画素信号生成部32に供給する。
 OFGトランジスタ313のゲート電極には、駆動部22から制御信号OFGが供給される。OFGトランジスタ313は、制御信号OFGに応答して、受光素子311で生成された電気信号をアドレスイベント検出部33に供給する。アドレスイベント検出部33に供給される電気信号は、電荷からなる光電流である。
 画素信号生成部32は、リセットトランジスタ321、増幅トランジスタ322、選択トランジスタ323、及び、浮遊拡散層324を有する構成となっている。リセットトランジスタ321、増幅トランジスタ322、及び、選択トランジスタ323としては、例えば、N型のMOSトランジスタが用いられる。
 画素信号生成部32には、受光部31から転送トランジスタ312によって、受光素子311で光電変換された電荷が供給される。受光部31から供給される電荷は、浮遊拡散層324に蓄積される。浮遊拡散層324は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層324は、電荷を電圧に変換する。
 リセットトランジスタ321は、電源電圧VDDの電源ラインと浮遊拡散層324との間に接続されている。リセットトランジスタ321のゲート電極には、駆動部22からリセット信号RSTが供給される。リセットトランジスタ321は、リセット信号RSTに応答して、浮遊拡散層324の電荷量を初期化(リセット)する。
 増幅トランジスタ322は、電源電圧VDDの電源ラインと垂直信号線VSLとの間に、選択トランジスタ323と直列に接続されている。増幅トランジスタ322は、浮遊拡散層324で電荷電圧変換された電圧信号を増幅する。
 選択トランジスタ323のゲート電極には、駆動部22から選択信号SELが供給される。選択トランジスタ323は、選択信号SELに応答して、増幅トランジスタ322によって増幅された電圧信号を画素信号SIGとして垂直信号線VSLを介してカラム処理部24(図2参照)へ出力する。
 上記の構成の画素30が2次元配置されて成る画素アレイ部21を有する撮像装置20において、駆動部22は、図1に示す制御部13によりアドレスイベントの検出開始が指示されると、受光部31のOFGトランジスタ313に制御信号OFGを供給することによって当該OFGトランジスタ313を駆動してアドレスイベント検出部33に光電流を供給させる。
 そして、ある画素30においてアドレスイベントが検出されると、駆動部22は、その画素30のOFGトランジスタ313をオフ状態にしてアドレスイベント検出部33への光電流の供給を停止させる。次いで、駆動部22は、転送トランジスタ312に転送信号TRGを供給することによって当該転送トランジスタ312を駆動して、受光素子311で光電変換された電荷を浮遊拡散層324に転送させる。
 このようにして、上記の構成の画素30が2次元配置されて成る画素アレイ部21を有する撮像装置20は、アドレスイベントが検出された画素30の画素信号のみをカラム処理部24に出力する。これにより、アドレスイベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、撮像装置20の消費電力や、画像処理の処理量を低減することができる。
 尚、ここで例示した画素30の構成は一例であって、この構成例に限定されるものではない。例えば、画素信号生成部32を備えない画素構成とすることもできる。この画素構成の場合は、受光部31において、OFGトランジスタ313を省略し、当該OFGトランジスタ313の機能を転送トランジスタ312に持たせるようにすればよい。
[アドレスイベント検出部の第1構成例]
 図5は、アドレスイベント検出部33の第1構成例を示すブロック図である。図5に示すように、本構成例に係るアドレスイベント検出部33は、電流電圧変換部331、バッファ332、減算器333、量子化器334、及び、転送部335を有する構成となっている。
 電流電圧変換部331は、画素30の受光部33からの光電流を、その対数の電圧信号に変換する。電流電圧変換部331は、変換した電圧信号をバッファ332に供給する。バッファ332は、電流電圧変換部331から供給される電圧信号をバッファリングし、減算器333に供給する。
 減算器333には、駆動部22から行駆動信号が供給される。減算器333は、行駆動信号に従って、バッファ332から供給される電圧信号のレベルを低下させる。そして、減算器333は、レベル低下後の電圧信号を量子化器334に供給する。量子化器334は、減算器333から供給される電圧信号をデジタル信号に量子化してアドレスイベントの検出信号として転送部335に出力する。
 転送部335は、量子化器334から供給されるアドレスイベントの検出信号をアービタ部23等に転送する。この転送部335は、アドレスイベントが検出された際に、アドレスイベントの検出信号の送信を要求するリクエストをアービタ部23に供給する。そして、転送部335は、リクエストに対する応答をアービタ部23から受け取ると、アドレスイベントの検出信号を駆動部22及び信号処理部25に供給する。
 続いて、アドレスイベント検出部33における電流電圧変換部331、減算器333、及び、量子化器334の構成例について説明する。
[電流電圧変換部の構成例]
 図6は、アドレスイベント検出部33における電流電圧変換部331の構成の一例を示す回路図である。図6に示すように、本例に係る電流電圧変換部331は、N型トランジスタ3311、P型トランジスタ3312、及び、N型トランジスタ3313を有する回路構成となっている。これらのトランジスタ3311~3313としては、例えば、MOSトランジスタが用いられる。
 N型トランジスタ3311は、電源電圧VDDの電源ラインと信号入力線3314との間に接続されている。P型トランジスタ3312及びN型トランジスタ3313は、電源電圧VDDの電源ラインとグランドとの間に直列に接続されている。そして、P型トランジスタ3312及びN型トランジスタ3313の共通接続ノードN2には、N型トランジスタ3311のゲート電極と、図5に示すバッファ332の入力端子とが接続されている。
 P型トランジスタ3312のゲート電極には、所定のバイアス電圧Vbiasが印加される。これにより、P型トランジスタ3312は、一定の電流をN型トランジスタ3313に供給する。N型トランジスタ3313のゲート電極には、信号入力線3314を通して、受光部31から光電流が入力される。
 N型トランジスタ3311及びN型トランジスタ3313のドレイン電極は電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された2つのソースフォロワにより、受光部31からの光電流は、その対数の電圧信号に変換される。
(減算器及び量子化器の構成例)
 図7は、アドレスイベント検出部33における減算器333及び量子化器334の構成の一例を示す回路図である。
 本例に係る減算器333は、容量素子3331、インバータ回路3332、容量素子3333、及び、スイッチ素子3334を有する構成となっている。
 容量素子3331の一端は、図5に示すバッファ332の出力端子に接続され、その他端は、インバータ回路3332の入力端子に接続されている。容量素子3333は、インバータ回路3332に対して並列に接続されている。スイッチ素子3334は、容量素子3333の両端間に接続されている。スイッチ素子3334にはその開閉制御信号として、駆動部22から行駆動信号が供給される。スイッチ素子3334は、行駆動信号に応じて、容量素子3333の両端を接続する経路を開閉する。インバータ回路3332は、容量素子3331を介して入力される電圧信号の極性を反転する。
 上記の構成の減算器333において、スイッチ素子3334をオン(閉)状態とした際に、容量素子3331のバッファ332側の端子に電圧信号Vinitが入力され、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、容量素子3331に蓄積されている電荷Qinitは、容量素子3331の容量値をC1とすると、次式(1)により表される。一方、容量素子3333の両端は、短絡されているため、その蓄積電荷はゼロとなる。
  Qinit=C1×Vinit             ・・・(1)
 次に、スイッチ素子3334がオフ(開)状態となり、容量素子3331のバッファ332側の端子の電圧が変化してVafterになった場合を考えると、容量素子3331に蓄積される電荷Qafterは、次式(2)により表される。
  Qafter=C1×Vafter              ・・・(2)
 一方、容量素子3333に蓄積される電荷Q2は、容量素子3333の容量値をC2とし、出力電圧をVoutとすると、次式(3)により表される。
  Q2=-C2×Vout              ・・・(3)
 このとき、容量素子3331及び容量素子3333の総電荷量は変化しないため、次の式(4)が成立する。
  Qinit=Qafter+Q2              ・・・(4)
 式(4)に式(1)乃至式(3)を代入して変形すると、次式(5)が得られる。
  Vout=-(C1/C2)×(Vafter-Vinit)  ・・・(5)
 式(5)は、電圧信号の減算動作を表し、減算結果の利得はC1/C2となる。通常、利得を最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素30毎に減算器333を含むアドレスイベント検出部33が搭載されるため、容量素子3331や容量素子3333には、面積上の制約がある。これらを考慮して、容量素子3331,3333の容量値C1,C2が決定される。
 図7において、量子化器334は、コンパレータ3341を有する構成となっている。コンパレータ3341は、インバータ回路3332の出力信号、即ち、減算器430からの電圧信号を非反転(+)入力とし、所定の閾値電圧Vthを反転(-)入力としている。そして、コンパレータ3341は、減算器430からの電圧信号と所定の閾値電圧Vthとを比較し、比較結果を示す信号をアドレスイベントの検出信号として転送部335に出力する。
[アドレスイベント検出部の第2構成例]
 図8は、アドレスイベント検出部33の第2構成例を示すブロック図である。図8に示すように、構成例に係るアドレスイベント検出部33は、電流電圧変換部331、バッファ332、減算器333、量子化器334、及び、転送部335の他に、記憶部336及び制御部337を有する構成となっている。
 記憶部336は、量子化器334と転送部335との間に設けられており、制御部337から供給されるサンプル信号に基づいて、量子化器334の出力、即ち、コンパレータ3341の比較結果を蓄積する。記憶部336は、スイッチ、プラスチック、容量などのサンプリング回路であってもよいし、ラッチやフリップフロップなどのデジタルメモリ回路でもあってもよい。
 制御部337は、コンパレータ3341の反転(-)入力端子に対して所定の閾値電圧Vthを供給する。制御部337からコンパレータ3341に供給される閾値電圧Vthは、時分割で異なる電圧値であってもよい。例えば、制御部337は、光電流の変化量が上限の閾値を超えた旨を示すオンイベントに対応する閾値電圧Vth1、及び、その変化量が下限の閾値を下回った旨を示すオフイベントに対応する閾値電圧Vth2を異なるタイミングで供給することで、1つのコンパレータ3341で複数種類のアドレスイベントの検出が可能になる。
 記憶部336は、例えば、制御部337からコンパレータ3341の反転(-)入力端子に、オフイベントに対応する閾値電圧Vth2が供給されている期間に、オンイベントに対応する閾値電圧Vth1を用いたコンパレータ3341の比較結果を蓄積するようにしてもよい。尚、記憶部336は、画素30の内部にあってもよいし、画素30の外部にあってもよい。また、記憶部336は、アドレスイベント検出部33の必須の構成要素ではない。すなわち、記憶部336は、無くてもよい。
[第2構成例に係る撮像装置(スキャン方式)]
 上述した第1構成例に係る撮像装置20は、非同期型の読出し方式にてイベントを読み出す非同期型の撮像装置である。但し、イベントの読出し方式としては、非同期型の読出し方式に限られるものではなく、同期型の読出し方式であってもよい。同期型の読出し方式が適用される撮像装置は、所定のフレームレートで撮像を行う通常の撮像装置と同じ、スキャン方式の撮像装置である。
 図9は、本開示に係る技術が適用される撮像システム10における撮像装置20として用いられる、第2構成例に係る撮像装置、即ち、スキャン方式の撮像装置の構成の一例を示すブロック図である。
 図9に示すように、本開示の撮像装置としての第2構成例に係る撮像装置20は、画素アレイ部21、駆動部22、信号処理部25、読出し領域選択部27、及び、信号生成部28を備える構成となっている。
 画素アレイ部21は、複数の画素30を含む。複数の画素30は、読出し領域選択部27の選択信号に応答して出力信号を出力する。複数の画素30のそれぞれについては、例えば図7に示すように、画素内にコンパレータを持つ構成とすることもできる。複数の画素30は、光の強度の変化量に対応する出力信号を出力する。複数の画素30は、図9に示すように、行列状に2次元配置されていてもよい。
 駆動部22は、複数の画素30のそれぞれを駆動して、各画素30で生成された画素信号を信号処理部25に出力させる。尚、駆動部22及び信号処理部25については、階調情報を取得するための回路部である。従って、イベント情報のみを取得する場合は、駆動部22及び信号処理部25は無くてもよい。
 読出し領域選択部27は、画素アレイ部21に含まれる複数の画素30のうちの一部を選択する。具体的には、読出し領域選択部27は、画素アレイ部21の各画素30からのリクエストに応じて選択領域を決定する。例えば、読出し領域選択部27は、画素アレイ部21に対応する2次元行列の構造に含まれる行のうちのいずれか1つもしくは複数の行を選択する。読出し領域選択部27は、予め設定された周期に応じて1つもしくは複数の行を順次選択する。
 信号生成部28は、読出し領域選択部27によって選択された画素の出力信号に基づいて、選択された画素のうちのイベントを検出した活性画素に対応するイベント信号を生成する。イベントは、光の強度が変化するイベントである。活性画素は、出力信号に対応する光の強度の変化量が予め設定された閾値を超える、又は、下回る画素である。例えば、信号生成部28は、画素の出力信号を基準信号と比較し、基準信号よりも大きい又は小さい場合に出力信号を出力する活性画素を検出し、当該活性画素に対応するイベント信号を生成する。
 信号生成部28については、例えば、信号生成部28に入ってくる信号を調停するような列選択回路を含む構成とすることができる。また、信号生成部28については、イベントを検出した活性画素の情報の出力のみならず、イベントを検出しない非活性画素の情報を出力する構成とすることができる。
 信号生成部28からは、出力線15を通して、イベントを検出した活性画素のアドレス情報及びタイムスタンプ情報(例えば、(X,Y,T))が出力される。但し、信号生成部28から出力されるデータについては、アドレス情報及びタイムスタンプ情報だけでなく、フレーム形式の情報(例えば、(0,0,1,0,・・・))であってもよい。
[チップ構造の構成例]
 上述した第1構成例又は第2構成例に係る撮像装置20のチップ(半導体集積回路)構造としては、例えば、積層型のチップ構造を採ることができる。図10は、撮像装置20の積層型のチップ構造の概略を示す分解斜視図である。
 図10に示すように、積層型のチップ構造、所謂、積層構造は、第1のチップである受光チップ201、及び、第2のチップである検出チップ202の少なくとも2つのチップが積層された構造となっている。そして、図4に示す画素30の回路構成において、受光素子311のそれぞれが受光チップ201上に配置され、受光素子311以外の素子の全てや、画素30の他の回路部分の素子などが検出チップ202上に配置される。受光チップ201と検出チップ202とは、ビア(VIA)、Cu-Cu接合、バンプなどの接続部を介して電気的に接続される。
 尚、ここでは、受光素子311を受光チップ201に配置し、受光素子311以外の素子や画素30の他の回路部分の素子などを検出チップ202に配置する構成例を例示したが、この構成例に限られるものではない。
 例えば、図4に示す画素30の回路構成において、受光部31の各素子を受光チップ201に配置し、受光部31以外の素子や画素30の他の回路部分の素子などを検出チップ202に配置する構成とすることができる。また、受光部31の各素子、及び、画素信号生成部32のリセットトランジスタ321、浮遊拡散層324を受光チップ201に配置し、それ以外の素子を検出チップ202に配置する構成とすることができる。更には、アドレスイベント検出部33を構成する素子の一部を、受光部31の各素子などと共に受光チップ201に配置する構成とすることができる。
[カラム処理部の構成例]
 図11は、第1構成例に係る撮像装置20のカラム処理部24の構成の一例を示すブロック図である。図11に示すように、本例に係るカラム処理部24は、画素アレイ部21の画素列毎に配置された複数のアナログ-デジタル変換器(ADC)241を有する構成となっている。
 尚、ここでは、画素アレイ部21の画素列に対して、1対1の対応関係でアナログ-デジタル変換器241を配置する構成例を例示したが、この構成例に限定されるものではない。例えば、複数の画素列を単位としてアナログ-デジタル変換器241を配置し、当該アナログ-デジタル変換器241を複数の画素列間で時分割で用いる構成とすることもできる。
 アナログ-デジタル変換器241は、垂直信号線VSLを介して供給されるアナログの画素信号SIGを、先述したアドレスイベントの検出信号よりもビット数の多いデジタル信号に変換する。例えば、アドレスイベントの検出信号を2ビットとすると、画素信号は、3ビット以上(16ビットなど)のデジタル信号に変換される。アナログ-デジタル変換器241は、アナログ-デジタル変換で生成したデジタル信号を信号処理部25に供給する。
[ノイズイベントについて]
 ところで、第1構成例に係る撮像装置20は、画素アドレス毎に、その画素の光量が所定の閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出部(即ち、アドレスイベント検出部33)を画素30毎に備えたDVSと呼ばれる非同期型の撮像装置である。
 この非同期型の第1構成例に係る撮像装置では、本来、シーンの中で何らかのイベント(即ち、真イベント)が発生したとき、当該真イベントの発生に起因するデータの取得が行われる。しかし、非同期型の撮像装置では、真イベントの発生の無いシーンでも、センサノイズ等のノイズイベント(偽イベント)に起因して、無駄に、データの取得が行われる場合がある。これにより、ノイズ信号が読み出されてしまうだけでなく、信号出力のスループットを低下させることになる。
<本開示の撮像装置>
 センサノイズ等のノイズイベントは、画素毎に単独で発生する。これに対し、動物体はある程度の大きさを持っているため、真イベントは、一定領域の画素に跨って固まって発生する。この点に鑑み、本開示の実施形態では、電気信号の変化量が所定の閾値を超えたことを検出して、アドレスイベントの検出信号を出力する画素が複数配置されて成る撮像装置において、注目画素を含む2画素以上の画素の組み合わせの各画素が共に、アドレスイベントの検出信号を出力したときに、アドレスイベントの検出信号の読出しを行う。また、2画素以上の画素の組み合わせの各画素が共に、一定期間内にアドレスイベントの検出信号を出力しないときは、注目画素について、アドレスイベントの検出信号を出力しない状態にリセットする。
 本開示の実施形態に係る撮像装置において、注目画素を含む2画素以上の画素の組み合わせの各画素については、図2に示す画素アレイ部21における画素30の行列配列の少なくとも1方向において隣接する第1の画素及び第2の画素とする。本開示の実施形態に係る撮像装置の要部の構成の一例を図12に示す。図12には、画素30の行列配列における、ある1画素行の互いに隣接する3つの画素30を図示している。ここでは、3つの画素30を、画素1、画素2、画素3とする。画素1、画素2、画素3のそれぞれには、自身を注目画素(例えば、画素1)とするとき、注目画素及び隣接画素(例えば、画素2)が共にアドレスイベントの検出信号を出力したときに、アドレスイベントの検出信号の読出しを行う制御部40を備えている。ここでは、注目画素(例えば、画素1)を第1の画素とし、隣接画素(例えば、画素2)を第2の画素とする。
 図12に示すように、制御部40は、演算回路41、遅延回路42、論理積回路43、及び、マルチプレクサ44を有する構成となっている。演算回路41は、隣接する2つの画素、例えば、第1の画素である注目画素(例えば、画素1)、及び、第2の画素である隣接画素(例えば、画素2)に接続され、第1の画素及び第2の画素が共にアドレスイベントの検出信号を出力したときに、当該検出信号の読出しを行う。
 遅延回路42は、一定期間の遅延時間を有しており、対応する画素(画素1,2,・・・)が出力するアドレスイベントの検出信号を入力とし、当該検出信号を一定期間(待機期間)だけ遅延し、対応する画素のリセット信号とする。論理積回路43は、隣接する2つの画素の各演算回路41から出力されるアドレスイベントの検出信号を2入力とし、その出力信号をマルチプレクサ44にその切替え制御信号として供給する。
 マルチプレクサ44は、遅延回路42から出力されるリセット信号を一方の入力とし、アービタ部23(図2参照)から供給されるリセット信号を他方の入力とする。そして、マルチプレクサ44は、論理積回路43から出力される切替え制御信号に基づいて、2入力の切替えを行う。
 具体的には、演算回路41の出力が低レベルのとき、即ち、隣接する2つの画素において、注目画素(例えば、画素1)のみがアドレスイベントの検出信号を出力したときは、マルチプレクサ44は、遅延回路42から出力されるリセット信号を選択して、対応する画素、即ち、画素1をリセットする。これにより、注目画素(例えば、画素1)について、遅延回路42を通してセルフリセットが行われる。
 また、演算回路41の出力が高レベルのとき、即ち、隣接する2つの画素が共にアドレスイベントの検出信号を出力したときは、マルチプレクサ44は、アービタ部23から供給されるリセット信号を選択して、対応する画素のリセット信号とする。このように、隣接する2つの画素で共にイベントが発生し、アービタ部23から供給されるリセット信号によってリセット動作が行われる場合の画素1及び画素2の出力信号の波形図を図13に示す。
 上記の構成の制御部40の作用により、注目画素を含む2画素以上の画素の組み合わせの各画素が共にアドレスイベントの検出信号を出力したとき、当該検出信号の読出しが行われる。また、注目画素が検出信号を出力したとき、注目画素との組み合わせの画素が、一定期間内にアドレスイベントの検出信号を出力しない場合に、注目画素のリセット、即ち、セルフリセットが行われる。
 演算回路41としては、図14Aに示す、論理積回路411から成る構成、否定論理積回路412及びインバータ回路413の組み合わせから成る構成、あるいは、2つのインバータ回路414,415及び否定論理和回路416の組み合わせから成る構成を例示することができる。遅延回路42としては、図14Bに示す、複数段nのインバータ回路4171~417nが直列接続されて成る構成を例示することができる。この遅延回路42では、インバータ回路4171~417nの段数nによって一定期間を設定することができる。
 上述したように、DVSと呼ばれる非同期型の撮像装置において、注目画素を含む2画素以上の画素の組み合わせの各画素が共にアドレスイベントの検出信号を出力したとき、アドレスイベントの検出信号の読出しを行うようにすることで、画素毎に単独で発生するセンサノイズ等のノイズイベントの影響を緩和できる。これにより、真イベントの発生時にのみデータの取得を行うことができるため、ノイズ信号が読み出されてしまうことがなく、信号出力のスループットを低下させることもない。そして、真イベントの発生を確実に、かつ、迅速に感知することができる。
 以下に、アドレスイベントの検出信号を出力する注目画素を含む2画素以上の画素の組み合わせが、一定期間内にアドレスイベントの検出信号を出力するための、本実施形態の具体的な実施例について説明する。以下に説明する各実施例においては、図面の簡略化のために、制御部40の遅延回路42、論理積回路43、及び、マルチプレクサ44については図示を省略し、演算回路41のみを図示することとする。
[実施例1]
 実施例1は、複数の画素の行列配列における1方向、例えば行方向で隣接する2画素間で演算回路41を共有する例である。実施例1に係る画素アレイ部21の要部の構成のブロック図を図15に示す。
 実施例1では、画素30の行列配列において、行方向で隣接する2つの画素30,30を単位として演算回路41が配置されている。演算回路41は、第1の画素及び第2の画素としての2つの画素30,30に接続され、2つの画素30,30が共にアドレスイベントの検出信号を出力したとき、アドレスイベントの検出信号の読出しを行う。
 実施例1によれば、第1の画素を注目画素とするとき、注目画素を含む2画素、即ち、第1の画素及び第2の画素が共にアドレスイベントの検出信号を出力したとき、アドレスイベントの検出信号の読出しが行われる。これにより、画素毎に単独で発生するセンサノイズ等のノイズイベントの影響を緩和できるため、真イベントの発生時にのみデータの取得を行うことができる。
 尚、実施例1では、行列配列における行方向で隣接する2画素で演算回路を共有する構成の場合を例に挙げて説明したが、列方向で隣接する2画素で演算回路41を共有する構成とすることも可能である。
[実施例2]
 実施例2は、複数の画素の行列配列における2方向、即ち、行方向及び列方向のそれぞれで隣接する2画素間で演算回路41を共有する例である。実施例2に係る画素アレイ部21の要部の構成のブロック図を図16に示す。
 実施例2では、画素30の行列配列において、行方向で隣接する2つの画素30,30を単位として演算回路411が配置され、列方向で隣接する2つの画素30,30を単位として演算回路412が配置されている。演算回路411,422は、対となる2つの画素30,30が共にアドレスイベントの検出信号を出力したとき、アドレスイベントの検出信号の読出しを行う。
 実施例2によれば、イベントを感知したか否かの判断に用いる、注目画素の近傍の画素が実施例1の場合よりも多いため、ノイズイベントの影響をより緩和でき、特に、ある程度の大きさを持っている動物体に対するイベントの感知能力を上げることができる。
[実施例3]
 実施例3は、実施例1の変形例であり、カラーフィルタがある場合に、行列配列における1方向で隣接する2画素間で演算回路41を共有する例である。ここでは、画素アレイ部21の各画素に対して、R(赤色)G(緑色)B(青色)ベイヤ配列のカラーフィルタが配置されている場合を例示する。実施例3に係る画素アレイ部21の要部の構成のブロック図を図17に示す。
 実施例3では、演算回路41を共有する第1の画素及び第2の画素については、第1の画素を注目画素とするとき、第2の画素は、行列配列における1方向、例えば行方向で1画素飛ばして隣り合う同色の画素となる。すなわち、注目画素と、行方向で1画素飛ばして隣り合う同色の画素とで、演算回路41を共有することになる。
 具体的には、i-1行においては、j-1列の画素30Rと1画素飛ばして隣り合う同色のj+1列の画素30Rとで演算回路41を共有し、j列の画素30Gと1画素飛ばして隣り合う同色のj+2列の画素30Gとで演算回路41を共有することになる。i行においては、j-1列の画素30Gと1画素飛ばして隣り合う同色のj+1列の画素30Gとで演算回路41を共有し、j列の画素30Bと1画素飛ばして隣り合う同色のj+2列の画素30Bとで演算回路41を共有することになる。
 実施例3の作用、効果については、実施例1の場合と同様である。また、実施例1の場合と同様に、注目画素と、列方向で1画素飛ばして隣り合う同色の画素とで演算回路41を共有する構成とすることも可能である。具体的には、j-1列においては、i-1行の画素30Rと1画素飛ばして隣り合う同色のi+1行の画素30Rとで演算回路41を共有し、j列においては、i-1行の画素30Gと1画素飛ばして隣り合う同色のi+1行の画素30Gとで演算回路41を共有することになる。
[実施例4]
 実施例4は、実施例2の変形例であり、例えばRGBベイヤ配列のカラーフィルタがある場合に、行列配列における2方向でそれぞれ隣接する2画素間で演算回路を共有する例である。実施例4に係る画素アレイ部21の要部の構成のブロック図を図18に示す。
 実施例4では、画素30の行列配列において、行方向で1画素飛ばして隣り合う同色の2つの画素30,30間で演算回路41を共有し、列方向で1画素飛ばして隣り合う同色の2つの画素30,30間で演算回路41を共有することになる。
 具体的には、i行においては、j-1列の画素30Gと1画素飛ばして隣り合う同色のj+1列の画素30Gとで演算回路411を共有し、j列の画素30Bと1画素飛ばして隣り合う同色のj+2列の画素30Bとで演算回路を共有することになる。j列においては、i-1行の画素30Gと1画素飛ばして隣り合う同色のi+1行の画素30Gとで演算回路412を共有し、j+1列においては、i-1行の画素30Rと1画素飛ばして隣り合う同色のi+1行の画素30Rとで演算回路412を共有することになる。実施例4の作用、効果については、実施例2の場合と同様である。
<変形例>
 以上、本開示に係る技術について、好ましい実施形態に基づき説明したが、本開示に係る技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像装置の構成、構造は例示であり、適宜、変更することができる。例えば、上記の実施形態では、受光部31毎に画素信号生成部32を設けて画素30を構成するとしたが、複数の受光部31を単位としてブロック化し、各画素ブロックに画素信号生成部32を1つずつ設けて、当該画素信号生成部32を画素ブロック内の複数の受光部31を共有する構成とすることもできる。
<本開示に係る技術の適用例>
 本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
[移動体]
 図19は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図19に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
 各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図19では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
 駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
 駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
 ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
 車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
 環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
 ここで、図20は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 尚、図20には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
 車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
 図19に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
 また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
 車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
 統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
 記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
 汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
 ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
 車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
 車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
 統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
 マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
 音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図19の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 尚、図19に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部7910,7912,7914,7916,7918や、車外情報検出部7920,7922,7924,7926,7928,7930や、運転者状態検出部7510等に適用され得る。具体的には、これらの撮像部や検出部に対して、本開示の撮像装置を有する図1の撮像システム10を適用することができる。そして、本開示に係る技術を適用することにより、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生を確実に、かつ、迅速に感知することができるため、安全な車両走行を実現することが可能となる。
<本開示がとることができる構成>
 尚、本開示は、以下のような構成をとることもできる。
≪A.撮像装置≫
[A-1]入射光を光電変換して電気信号を生成する受光素子を含み、電気信号の変化量が所定の閾値を超えたことを検出して検出信号を出力する複数の画素、及び、
 注目画素を含む2画素以上の画素の組み合わせの各画素が共に検出信号を出力したときに、検出信号の読出しを行う制御部を備える、
 撮像装置。
[A-2]制御部は、注目画素が検出信号を出力したとき、注目画素との組み合わせの画素が、一定期間内に検出信号を出力しない場合に、注目画素をリセットする、
 上記[A-1]に記載の撮像装置。
[A-3]画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して1方向で隣り合う画素との組み合わせから成る、
 上記[A-1]又は上記[A-2]に記載の撮像装置。
[A-4]画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して2方向で隣り合う画素との組み合わせから成る、
 上記[A-1]又は上記[A-2]に記載の撮像装置。
[A-5]画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して1方向で1画素飛ばして隣り合う画素との組み合わせから成る、
 上記[A-1]又は上記[A-2]に記載の撮像装置。
[A-6]画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して2方向で1画素飛ばして隣り合う画素との組み合わせから成る、
 上記[A-1]又は上記[A-2]に記載の撮像装置。
[A-7]制御部は、2画素以上の画素の組み合わせの各画素から出力される検出信号を論理演算する演算回路を有する、
 上記[A-1]乃至上記[A-6]のいずれかに記載の撮像装置。
[A-8]演算回路は、論理積回路から成る、
 上記[A-7]に記載の撮像装置。
[A-9]演算回路は、否定論理積回路及びインバータ回路の組み合わせから成る、
 上記[A-7]に記載の撮像装置。
[A-10]演算回路は、2つのインバータ回路及び否定論理和回路の組み合わせから成る、
 上記[A-7]に記載の撮像装置。
[A-11]入射光を光電変換して電気信号を生成する受光素子を含み、電気信号の変化量が所定の閾値を超えたことを検出して検出信号を出力する複数の画素、並びに、
 複数の画素の行列配列の少なくとも1方向において隣接する第1の画素及び第2の画素に接続され、第1の画素及び第2の画素が共に検出信号を出力したとき、検出信号の読出しを行う制御部を備える、
 撮像装置。
[A-12]複数の画素には、カラーフィルタが配置されており、
 第1の画素及び第2の画素は、同色の画素である、
 上記[A-11]に記載の撮像装置。
≪B.電子機器≫
[B-1]撮像装置、及び、
 入射光を取り込んで撮像装置に導く撮像光学系を備え、
 撮像装置は、
 撮像光学系によって取り込まれた入射光を光電変換して電気信号を生成する受光素子を含み、電気信号の変化量が所定の閾値を超えたことを検出して検出信号を出力する複数の画素、及び、
 検出信号を出力する注目画素を含む2画素以上の画素の組み合わせの各画素が共に検出信号を出力したときに、検出信号の読出しを行う制御部を備える、
 電子機器。
[B-2]制御部は、注目画素が検出信号を出力したとき、注目画素との組み合わせの画素が、一定期間内に検出信号を出力しない場合に、注目画素をリセットする、
 上記[B-1]に記載の電子機器。
[B-3]画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して1方向で隣り合う画素との組み合わせから成る、
 上記[B-1]又は上記[B-2]に記載の電子機器。
[B-4]画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して2方向で隣り合う画素との組み合わせから成る、
 上記[B-1]又は上記[B-2]に記載の電子機器。
[B-5]画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して1方向で1画素飛ばして隣り合う画素との組み合わせから成る、
 上記[B-1]又は上記[B-2]に記載の電子機器。
[B-6]画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して2方向で1画素飛ばして隣り合う画素との組み合わせから成る、
 上記[B-1]又は上記[B-2]に記載の電子機器。
[B-7]制御部は、2画素以上の画素の組み合わせの各画素から出力される検出信号を論理演算する演算回路を有する、
 上記[B-1]乃至上記[B-6]のいずれかに記載の電子機器。
[B-8]演算回路は、論理積回路から成る、
 上記[B-7]に記載の電子機器。
[B-9]演算回路は、否定論理積回路及びインバータ回路の組み合わせから成る、
 上記[B-7]に記載の電子機器。
[B-10]演算回路は、2つのインバータ回路及び否定論理和回路の組み合わせから成る、
 上記[B-7]に記載の電子機器。
 10・・・撮像システム、11・・・撮像レンズ、12・・・記憶部、13・・・制御部、20・・・撮像装置、21・・・画素アレイ部、22・・・駆動部、23・・・アービタ部、24・・・カラム処理部、25・・・信号処理部、27・・・読出し領域選択部、28・・・信号生成部、画素・・・30、31・・・受光部、32・・・画素信号生成部、33・・・アドレスイベント検出部、40・・・制御部、41(411,412)・・・演算回路、42・・・遅延回路、43・・・論理積回路、44・・・マルチプレクサ、311・・・受光素子、312・・・転送トランジスタ、313・・・OFGトランジスタ、321・・・リセットトランジスタ、322・・・増幅トランジスタ、323・・・選択トランジスタ、324・・・浮遊拡散層

Claims (13)

  1.  入射光を光電変換して電気信号を生成する受光素子を含み、電気信号の変化量が所定の閾値を超えたことを検出して検出信号を出力する複数の画素、及び、
     注目画素を含む2画素以上の画素の組み合わせの各画素が共に検出信号を出力したときに、検出信号の読出しを行う制御部を備える、
     撮像装置。
  2.  制御部は、注目画素が検出信号を出力したとき、注目画素との組み合わせの画素が、一定期間内に検出信号を出力しない場合に、注目画素をリセットする、
     請求項1に記載の撮像装置。
  3.  画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して1方向で隣り合う画素との組み合わせから成る、
     請求項1に記載の撮像装置。
  4.  画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して2方向で隣り合う画素との組み合わせから成る、
     請求項1に記載の撮像装置。
  5.  画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して1方向で1画素飛ばして隣り合う画素との組み合わせから成る、
     請求項1に記載の撮像装置。
  6.  画素の組み合わせは、注目画素と、複数の画素の行列配列において注目画素に対して2方向で1画素飛ばして隣り合う画素との組み合わせから成る、
     請求項1に記載の撮像装置。
  7.  制御部は、2画素以上の画素の組み合わせの各画素から出力される検出信号を論理演算する演算回路を有する、
     請求項1に記載の撮像装置。
  8.  演算回路は、論理積回路から成る、
     請求項7に記載の撮像装置。
  9.  演算回路は、否定論理積回路及びインバータ回路の組み合わせから成る、
     請求項7に記載の撮像装置。
  10.  演算回路は、2つのインバータ回路及び否定論理和回路の組み合わせから成る、
     請求項7に記載の撮像装置。
  11.  入射光を光電変換して電気信号を生成する受光素子を含み、電気信号の変化量が所定の閾値を超えたことを検出して検出信号を出力する複数の画素、並びに、
     複数の画素の行列配列の少なくとも1方向において隣接する第1の画素及び第2の画素に接続され、第1の画素及び第2の画素が共に検出信号を出力したときに、検出信号の読出しを行う制御部を備える、
     撮像装置。
  12.  複数の画素には、カラーフィルタが配置されており、
     第1の画素及び第2の画素は、同色の画素である、
     請求項11に記載の撮像装置。
  13.  撮像装置、及び、
     入射光を取り込んで撮像装置に導く撮像光学系を備え、
     撮像装置は、
     撮像光学系によって取り込まれた入射光を光電変換して電気信号を生成する受光素子を含み、電気信号の変化量が所定の閾値を超えたことを検出して検出信号を出力する複数の画素、及び、
     検出信号を出力する注目画素を含む2画素以上の画素の組み合わせの各画素が共に検出信号を出力したときに、検出信号の読出しを行う制御部を備える、
     電子機器。
PCT/JP2019/040590 2018-10-19 2019-10-16 撮像装置及び電子機器 WO2020080383A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/284,627 US11683606B2 (en) 2018-10-19 2019-10-16 Imaging device and electronic equipment

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018197188 2018-10-19
JP2018-197188 2018-10-19
JP2019181896 2019-10-02
JP2019-181896 2019-10-02

Publications (1)

Publication Number Publication Date
WO2020080383A1 true WO2020080383A1 (ja) 2020-04-23

Family

ID=70284375

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040590 WO2020080383A1 (ja) 2018-10-19 2019-10-16 撮像装置及び電子機器

Country Status (2)

Country Link
US (1) US11683606B2 (ja)
WO (1) WO2020080383A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3930312A1 (en) * 2020-06-26 2021-12-29 Alpsentek GmbH Delta image sensor with digital pixel storage
WO2022152619A1 (en) * 2021-01-14 2022-07-21 Sony Semiconductor Solutions Corporation Dynamic vision sensor, method, and noise filtering circuit for a dynamic vision sensor
WO2024070523A1 (ja) * 2022-09-30 2024-04-04 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器
US11962926B2 (en) 2020-08-14 2024-04-16 Alpsentek Gmbh Image sensor with configurable pixel circuit and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177892A (ja) * 1997-12-08 1999-07-02 Nikon Corp 動き検出用固体撮像装置
JP2014003462A (ja) * 2012-06-19 2014-01-09 Olympus Corp 画像処理装置、内視鏡装置及び孤立点ノイズ補正方法
CN105721772A (zh) * 2016-01-20 2016-06-29 天津师范大学 一种异步时域视觉信息成像方法
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982343A (en) * 1988-10-11 1991-01-01 Next, Inc. Method and apparatus for displaying a plurality of graphic images
JPH09129864A (ja) * 1995-10-30 1997-05-16 Canon Inc 半導体装置及びそれを用いた半導体回路、相関演算装置、信号処理システム
US6624849B1 (en) 1997-12-08 2003-09-23 Nikon Corporation Solid-state imaging apparatus for motion detection
US20130075590A1 (en) * 2011-09-28 2013-03-28 Truesense Imaging, Inc. Image sensors having multiple row-specific integration times
JP6274788B2 (ja) * 2013-08-28 2018-02-07 キヤノン株式会社 撮像装置、撮像システム及び撮像装置の駆動方法
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177892A (ja) * 1997-12-08 1999-07-02 Nikon Corp 動き検出用固体撮像装置
JP2014003462A (ja) * 2012-06-19 2014-01-09 Olympus Corp 画像処理装置、内視鏡装置及び孤立点ノイズ補正方法
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
CN105721772A (zh) * 2016-01-20 2016-06-29 天津师范大学 一种异步时域视觉信息成像方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3930312A1 (en) * 2020-06-26 2021-12-29 Alpsentek GmbH Delta image sensor with digital pixel storage
WO2021260102A1 (en) 2020-06-26 2021-12-30 Alpsentek Gmbh Delta image sensor with digital pixel storage
WO2021260121A1 (en) 2020-06-26 2021-12-30 Alpsentek Gmbh Delta image sensor with digital pixel storage with event output with magnitude and direction
WO2021260122A1 (en) 2020-06-26 2021-12-30 Alpsentek Gmbh Delta image sensor with digital pixel storage with long term interruptable operation
WO2021260106A1 (en) 2020-06-26 2021-12-30 Alpsentek Gmbh Delta image sensor with digital pixel storage
WO2021260105A1 (en) 2020-06-26 2021-12-30 Alpsentek Gmbh Delta image sensor with digital pixel storage using different ramps for storage and comparison
WO2021260116A1 (en) 2020-06-26 2021-12-30 Alpsentek Gmbh Delta image sensor with externally writeable digital pixel storage
US11962926B2 (en) 2020-08-14 2024-04-16 Alpsentek Gmbh Image sensor with configurable pixel circuit and method
WO2022152619A1 (en) * 2021-01-14 2022-07-21 Sony Semiconductor Solutions Corporation Dynamic vision sensor, method, and noise filtering circuit for a dynamic vision sensor
WO2024070523A1 (ja) * 2022-09-30 2024-04-04 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器

Also Published As

Publication number Publication date
US11683606B2 (en) 2023-06-20
US20210400222A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
US11863911B2 (en) Imaging system, method of controlling imaging system, and object recognition system
US11895398B2 (en) Imaging device and imaging system
WO2020080383A1 (ja) 撮像装置及び電子機器
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
WO2020196092A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
TWI788818B (zh) 攝像裝置及攝像方法
WO2022009664A1 (ja) 撮像装置及び撮像方法
US20220148432A1 (en) Imaging system
WO2019073726A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
WO2021256095A1 (ja) 撮像装置及び撮像方法
WO2021235323A1 (ja) 撮像装置及び撮像方法
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2022065032A1 (ja) 撮像装置及び撮像方法
CN113647089B (zh) 成像系统
WO2024106169A1 (ja) 光検出素子及び電子機器
US20230108884A1 (en) Imaging device and imaging method
WO2022239345A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2022209256A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2022054742A1 (ja) 撮像素子及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19873075

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19873075

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP