WO2024147229A1 - 光検出装置、撮像装置および電子機器 - Google Patents

光検出装置、撮像装置および電子機器 Download PDF

Info

Publication number
WO2024147229A1
WO2024147229A1 PCT/JP2023/040680 JP2023040680W WO2024147229A1 WO 2024147229 A1 WO2024147229 A1 WO 2024147229A1 JP 2023040680 W JP2023040680 W JP 2023040680W WO 2024147229 A1 WO2024147229 A1 WO 2024147229A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
pixel
pixels
light
false
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/040680
Other languages
English (en)
French (fr)
Inventor
祐理 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2024147229A1 publication Critical patent/WO2024147229A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • a correction circuit may be further provided that corrects the erroneous event detected by the detection circuit. This provides the effect of correcting the erroneous event while allowing mixed mounting of gradation pixels and event pixels.
  • a notification circuit may be further provided that notifies of an erroneous event detected by the detection circuit. This provides the effect of making it possible to externally correct the erroneous event.
  • the detection circuit may detect an erroneous event caused by crosstalk with the horizontal control line of the gradation pixel based on the output from the light-blocking event pixel. This brings about an effect that an erroneous event output from the event pixel is detected for each row based on an erroneous event caused by crosstalk with the horizontal control line of the gradation pixel.
  • the detection circuit may detect false events output from the event pixels arranged in the column direction based on the output from the light-blocked event pixels. This provides the effect of detecting false events output from event pixels for each column based on false events output from the light-blocked event pixels for each column.
  • the pixel array section 111 includes an effective pixel area 131 capable of detecting incident light for each pixel, and a light-shielding pixel area 132 in which the incident light is shielded for each pixel.
  • pixels are arranged in a matrix in the row and column directions.
  • the pixels arranged in the effective pixel area 131 include event pixels 141 and gradation pixels 151.
  • the event pixels 141 detect an event signal.
  • the event signal is a signal that indicates a change in the luminance of incident light in the same direction as an event.
  • a photodiode or a SPAD Single Photon Avalanche Diode
  • the gradation pixel 151 detects a gradation signal.
  • the gradation signal is a signal that indicates a level according to the luminance of the incident light.
  • the event signal output unit 113 outputs the event signal output from the event pixel 141 and the light-shielded pixel signal output from the light-shielded event pixel 142 in a predetermined format.
  • the event signal output unit 113 may digitize and output the event signal output from the event pixel 141 and the light-shielded pixel signal output from the light-shielded event pixel 142.
  • FIG. 3 is a block diagram showing an example of the configuration of a pixel array unit according to the first embodiment.
  • vertical light-shielding pixel regions 133 are provided at both ends of the effective pixel region 131 in the row direction.
  • Light-shielding event pixels 143 are arranged in the vertical light-shielding pixel region 133.
  • the light-shielding event pixels 143 may be provided for each row.
  • the false event detection circuit 112 may detect a false event output from the event pixels 141 arranged in the row direction based on the output from the light-shielding event pixels 143.
  • the false event may be caused by crosstalk with the horizontal control line 182 of the gradation pixel 151.
  • the false event output from the event pixel 141 may be corrected so that the false event is not output.
  • pixels may be arranged in a quad Bayer array in the effective pixel area 131.
  • event pixels 141 and gradation pixels 151 can be arranged in each quad Bayer array BEY.
  • the gradation pixels 151 include two red pixels 191, two blue pixels 193, and eight green pixels 192.
  • the event pixels 141 include four event pixels 194.
  • FIG. 5 is a circuit diagram showing an example of signal crosstalk between a gradation pixel and an event pixel of the solid-state imaging device according to the first embodiment. Note that the diagram shows an example of the configuration of one pixel's worth of event pixel 141, one pixel's worth of gradation pixel 151, and one pixel's worth of event output circuit.
  • the amplification transistor 155 and the selection transistor 156 are connected in series.
  • the cathode of the photodiode PD1 is connected to the floating diffusion 157 via the transfer transistor 153.
  • the floating diffusion 157 is connected to the power supply Vdd via the reset transistor 154.
  • the power supply Vdd is connected to the vertical gradation signal line 172 via the series circuit of the amplification transistor 155 and the selection transistor 156.
  • the gate of the amplification transistor 155 is connected to the floating diffusion 157.
  • a transfer signal TG1 is applied to the gate of the transfer transistor 153.
  • a reset signal RST1 is applied to the gate of the reset transistor 154.
  • a selection signal SEL1 is applied to the gate of the selection transistor 156.
  • the transfer signal TG1, the reset signal RST1, and the selection signal SEL1 can be transmitted to the gradation pixel 151 via the horizontal control line 182 in FIG. 2.
  • the transfer transistor 153 When the transfer transistor 153 is turned on, the charge accumulated in the photodiode PD1 is transferred to the floating diffusion 157. Then, when the selection transistor 156 is turned on, the source potential of the amplification transistor 155 changes according to the potential of the floating diffusion 157. Then, the source potential of the amplification transistor 155 is applied to the vertical gradation signal line 172 via the selection transistor 156, and is transmitted via the vertical gradation signal line 172. Also, when the reset transistor 154 is turned on, the charge accumulated in the floating diffusion 157 is discharged.
  • the event signal output unit 113 includes a logarithmic conversion unit 201, a buffer 211, an event detection circuit 221, and an event output circuit 231.
  • the buffer 211 passes the output of the logarithmic conversion unit 201 to the event detection circuit 221.
  • the buffer 211 is connected to the rear stage of the logarithmic conversion unit 201.
  • the buffer 211 includes a PMOS transistor 212 and an NMOS transistor 213.
  • the PMOS transistor 212 and the NMOS transistor 213 are connected to each other in series.
  • the connection point of the PMOS transistor 212 and the NMOS transistor 213 is used as the output of the buffer 211.
  • a bias voltage Vbf is applied to the gate of the PMOS transistor 212.
  • the gate of the NMOS transistor 213 is connected to the connection point of the PMOS transistor 203 and the NMOS transistor 204.
  • a power supply Vdd is supplied to the drain of the PMOS transistor 212.
  • the event detection circuit 221 is connected after the buffer 211.
  • the event detection circuit 221 detects an event based on the output of the buffer 211.
  • the event detection circuit 221 can detect a change in the luminance of the incident light as an event, for example, by determining the difference between the current level of the light receiving signal and a past level of the light receiving signal as a reference level. At this time, the event detection circuit 221 may separately detect an event in which the luminance of the incident light increases (positive event) and an event in which the luminance of the incident light decreases (negative event).
  • the event detection circuit 221 resets the reference level to the current level of the received light signal based on the reset signal RST2.
  • the reset signal RST2 is input to the event detection circuit 221 via the horizontal control line 182.
  • the event detection circuit 221 can detect a new event based on the change in the level of the received light signal from the point in time when the reference level is reset.
  • the event output circuit 231 outputs the event detected by the event detection circuit 221 as a change in the increasing direction of the luminance of the incident light and a change in the decreasing direction of the luminance of the incident light.
  • vertical event signal lines 162-1 and 162-2 are provided for each column as the vertical event signal line 162.
  • the event output circuit 231 is connected to the rear stage of the event detection circuit 221.
  • the event output circuit 231 includes NMOS transistors 232 to 235.
  • the NMOS transistors 232 and 233 are connected to each other in series.
  • the NMOS transistors 234 and 235 are connected to each other in series.
  • a selection signal SEL2 is input to the gates of the NMOS transistors 232 and 234.
  • the detection result of a positive polarity event is input to the gate of the NMOS transistor 233 from the event detection circuit 221.
  • the detection result of a negative polarity event is input to the gate of the NMOS transistor 235 from the event detection circuit 221.
  • the drain of the NMOS transistor 232 is connected to the vertical event signal line 162-1.
  • the drain of NMOS transistor 234 is connected to vertical event signal line 162-2.
  • the transfer transistor 144 When the transfer transistor 144 is turned on, the charge accumulated in the photodiode PD2 is transferred to the logarithmic conversion unit 201. Then, based on the source follower operation in the logarithmic conversion unit 201, the event signal output from the event pixel 141 is logarithmically converted and input to the event detection circuit 221 via the buffer 211. Then, in the event detection circuit 221, positive and negative events are detected and input to the gates of the NMOS transistors 233 and 235. Then, when the selection signal SEL2 is applied to the gates of the NMOS transistors 232 and 234, a positive event is output to the vertical event signal line 162-1, and a negative event is output to the vertical event signal line 162-2.
  • the horizontal control line 182 and the gate of the NMOS transistor 205 of the logarithmic conversion unit 201 are coupled via the parasitic capacitance 181.
  • This coupling effect increases with the miniaturization of the gradation pixel 151 and the event pixel 141.
  • the selection signal SEL1 is transmitted to the gradation pixel 151 via the horizontal control line 182
  • the false event signal EIV is input to the logarithmic conversion unit 201.
  • the false event signal EIV is input to the event detection circuit 221 via the buffer 211, the false event signal EIV is detected as an event signal, and a false event is output from the event detection circuit 221.
  • FIG. 6 is a diagram showing an example of the timing of signal crosstalk between gradation pixels and event pixels of the solid-state imaging device according to the first embodiment.
  • the horizontal axis of the diagram represents time, and the vertical axis represents row addresses.
  • the diagram also shows an example of gradation signals during a frame period in which gradation signals are generated for all rows of the pixel array section 111, and the generation of an event signal during that period.
  • pre-shutter PSH, shutter SH, and read KRD are performed for gradation pixel 151 for each frame.
  • positive polarity event detection ON, negative polarity event detection OFF, reset AZ, and read ERD are performed for event pixel 141 for each frame.
  • FIG. 7 is a flowchart showing an example of a false event detection process of the solid-state imaging device according to the first embodiment.
  • the event signal processing unit 117 reads out the event signal from the event pixel 141 for each row, and also reads out the light-shielded pixel signal of that row from the light-shielded event pixel 142 (S101).
  • the event signal processing unit 117 detects the number of events occurring in the light-shielded event pixel 142 based on the light-shielded pixel signal read out from the light-shielded event pixel 142 (S102). Note that in the light-shielded event pixel 142, an event may be detected due to crosstalk caused by the operation of the gradation pixel 151. An event detected in the light-shielded event pixel 142 is detected as a false event in the event pixel 141.
  • the event signal processor 117 determines whether the number of events detected in the light-shielded event pixel 142 exceeds a threshold (S103). If the number of events detected in the light-shielded event pixel 142 exceeds the threshold, the event signal processor 117 issues a false detection occurrence flag for the row (S104).
  • a false event caused by crosstalk in the horizontal control line 182 of the gradation pixel 151 occurs in both the effective pixel region 131 and the light-shielded pixel region 132. Therefore, by detecting the number of events occurring in the light-shielded pixel region 132, false events can be effectively detected.
  • a false event output from the event pixel 141 is detected based on the output from the light-blocked event pixel 142.
  • a false event output from the event pixel 141 is detected based on the output from the light-blocked event pixel 142, and the detection result is notified.
  • the solid-state imaging device 202 is the same as the solid-state imaging device 102 of the first embodiment described above, except that a notification circuit 214 is added.
  • the rest of the configuration of the solid-state imaging device 202 of the second embodiment is the same as the configuration of the solid-state imaging device 102 of the first embodiment described above.
  • FIG. 9 is a flowchart showing an example of a false event detection process of a solid-state imaging device according to the second embodiment.
  • the notification circuit 214 When a false detection occurrence flag is issued for a row in which an erroneous event has occurred, the notification circuit 214 notifies the false detection occurrence flag via the output interface 121 (S201) and proceeds to S105.
  • a false event output from the event pixel 141 is detected based on the output from the light-shielded event pixel 142, and the detection result is notified.
  • This allows for mixed mounting of gradation pixels 151 and event pixels 141, while allowing for false event correction to be performed externally, thereby reducing the load on the solid-state imaging device 202.
  • FIG. 10 is a block diagram showing an example of the configuration of a solid-state imaging device according to the third embodiment.
  • a false event output from the event pixel 141 is detected based on the output from the light-shielded event pixel 142, and the false event is corrected.
  • the influence of the correction on the event image can be suppressed by spatially or temporally filtering the false event detected by the event pixel 141.
  • the horizontal light-shielding pixel region 432 is provided at both ends of the effective pixel region 431 in the column direction.
  • the event pixel 441 is arranged in the effective pixel region 431.
  • the light-shielding event pixel 442 is arranged in the horizontal light-shielding pixel region 432.
  • the light-shielding event pixel 442 may be provided for each column.
  • the false event detection circuit 112 may detect a false event output from the event pixel 441 arranged in the column direction based on the output from the light-shielding event pixel 442.
  • the false event may be caused by crosstalk with the vertical grayscale signal line 172 of the gradation pixel 151.
  • the remaining configuration of the effective pixel area 431 and horizontal light-shielding pixel area 432 of the fourth embodiment is similar to the configuration of the effective pixel area 131 and vertical light-shielding pixel area 133 of the first embodiment described above.
  • FIG. 12 is a circuit diagram showing an example of signal crosstalk between a gradation pixel and an event pixel of a solid-state imaging device according to the fourth embodiment.
  • the vertical grayscale signal line 172 and the NMOS transistor 205 of the logarithmic conversion unit 201 of each column are coupled for each column via parasitic capacitances 481 to 483.
  • This coupling effect increases with the miniaturization of the grayscale pixel 151 and the event pixel 141.
  • the false event signal EIV is input to the logarithmic conversion unit 201.
  • the false event signal EIV is input to the event detection circuit 221 via the buffer 211, the false event signal EIV is detected as an event signal, and an false event is output from the event detection circuit 221.
  • the false event detection circuit 112 can detect the false event output from the event pixel 441 based on the output from the light-shielded event pixel 442 provided in the horizontal light-shielded pixel region 432.
  • a false event caused by crosstalk on the vertical grayscale signal line 172 of the grayscale pixel 151 occurs in both the effective pixel region 431 and the horizontal light-shielding pixel region 432. Therefore, by detecting the number of events occurring in the horizontal light-shielding pixel region 432, false events can be effectively detected.
  • a false event output from an event pixel 441 is detected based on the output from a light-shielded event pixel 442 provided in the horizontal light-shielded pixel region 432.
  • a false event output from an event pixel is detected based on the output from a light-shielded event pixel provided in a vertical light-shielded pixel region and the output from a light-shielded event pixel provided in a horizontal light-shielded pixel region.
  • the light receiving units 702 and 703 may be arranged in the quad Bayer array BEY of FIG. 5, or in the array of cells 601 in a of FIG. 14. A part of the light receiving unit 702 may be shielded from light.
  • the shielded light receiving unit 702 may be used as a light-shielded event pixel 142.
  • the quad Bayer array BEY of FIG. 15 may be used, or in the array of cells 601 and 602 in b of FIG. 14.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • Also shown as functional components of the integrated control unit 12050 are a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053.
  • the outside-vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image capturing unit 12031 is connected to the outside-vehicle information detection unit 12030.
  • the outside-vehicle information detection unit 12030 causes the image capturing unit 12031 to capture images outside the vehicle and receives the captured images.
  • the outside-vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, or characters on the road surface based on the received images.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
  • the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
  • the gradation pixels are arranged in the effective pixel area based on a quad Bayer array, the event pixel is disposed at a position of two red pixels among four red pixels in the quad Bayer array, The imaging device according to (18), wherein the light blocking event pixel is disposed at the position of two of four blue pixels in the quad Bayer array.
  • a grayscale pixel for detecting a grayscale signal; an event pixel for detecting an event signal; a shaded event pixel in which the event pixel is shaded; a detection circuit for detecting a false event output from the event pixel based on an output from the light-blocked event pixel; a processing unit that processes the event signal based on the false event detected by the detection circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

階調画素およびイベント画素の混載を可能としつつ、イベント信号の検出精度を向上させる。　光検出装置は、階調信号を検出する階調画素と、イベント信号を検出するイベント画素と、イベント画素が遮光された遮光イベント画素と、遮光イベント画素からの出力に基づいて、イベント画素から出力された誤イベントを検出する検出回路とを備える。検出回路で検出された誤イベントを補正する補正回路をさらに備えてもよい。検出回路で検出された誤イベントを通知する通知回路をさらに備えてもよい。

Description

光検出装置、撮像装置および電子機器
　本技術は、光検出装置、撮像装置および電子機器に関する。詳しくは、本技術は、階調信号とイベント信号との両方を検出可能な光検出装置、撮像装置および電子機器に関する。
　撮像装置では、階調信号を検出する階調画素と、イベント信号を検出するイベント画素を混載する技術がある。例えば、イベント信号の読み出し対象とする画素の選択と、階調信号の読み出し対象とする画素の選択をそれぞれ異なるタイミングで行順次に実行可能なセンサ装置が提案されている（例えば、特許文献１参照）。
特開２０２１－１２９２６５号公報
　しかしながら、上述の従来技術では、階調画素とイベント画素との間で信号がクロストークすると、イベント信号または階調信号の検出精度の低下を招くおそれがあった。
　本技術はこのような状況に鑑みて生み出されたものであり、階調画素およびイベント画素の混載を可能としつつ、イベント信号の検出精度を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、階調信号を検出する階調画素と、イベント信号を検出するイベント画素と、前記イベント画素が遮光された遮光イベント画素と、前記遮光イベント画素からの出力に基づいて、前記イベント画素から出力された誤イベントを検出する検出回路とを備える光検出装置である。これにより、階調画素およびイベント画素の混載を可能としつつ、イベント信号の検出精度が向上されるという作用をもたらす。
　また、第１の側面において、前記検出回路で検出された誤イベントを補正する補正回路をさらに備えてもよい。これにより、階調画素およびイベント画素の混載を可能としつつ、誤イベントが補正されるという作用をもたらす。
　また、第１の側面において、前記補正回路は、前記検出回路で検出された誤イベントに基づいて、前記イベント画素で検出された前記イベント信号をマスクしてもよい。これにより、階調画素およびイベント画素の混載を可能としつつ、誤イベントの出力が防止されるという作用をもたらす。
　また、第１の側面において、前記補正回路は、前記検出回路で検出された誤イベントに基づいて、前記イベント画素で検出される前記イベント信号を前記イベント画素の近傍のイベント画素で検出された前記イベント信号で補間してもよい。これにより、イベント信号の欠落を防止しつつ、誤イベントの出力が防止されるという作用をもたらす。
　また、第１の側面において、前記補正回路は、前記検出回路で検出された誤イベントに基づいて、前記イベント画素で検出された前記イベント信号を空間的または時間的にフィルタリングしてもよい。これにより、階調画素およびイベント画素の混載を可能としつつ、誤イベントが補正されるという作用をもたらす。
　また、第１の側面において、前記検出回路で検出された誤イベントを通知する通知回路をさらに備えてもよい。これにより、誤イベントの補正が外部で実施可能となるという作用をもたらす。
　また、第１の側面において、前記通知回路は、前記検出回路で検出された誤イベントに関する情報をイベント画像の出力データに付加してもよい。これにより、イベント画像の出力に伴って誤イベントが通知されるという作用をもたらす。
　また、第１の側面において、前記階調画素と前記イベント画素とを含んでロウ方向およびカラム方向に画素が配列された有効画素領域を備えてもよい。これにより、階調画素とイベント画素とが有効画素領域に混載されるという作用をもたらす。
　また、第１の側面において、前記階調画素は、クワッドベイヤ配列に基づいて前記有効画素領域に配置され、前記クワッドベイヤ配列における４個の赤色画素のうちの２個の赤色画素の位置および４個の青色画素のうちの２個の青色画素の位置に前記イベント画素が配置されてもよい。これにより、カラー化された階調画像の感度の低下を抑制しつつ、階調画素とイベント画素とが有効画素領域に混載されるという作用をもたらす。
　また、第１の側面において、前記遮光イベント画素は、前記ロウ方向において前記有効画素領域の端部に配置されてもよい。これにより、誤イベントがロウごとに検出されるという作用をもたらす。
　また、第１の側面において、前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記ロウ方向に配列された前記イベント画素から出力された誤イベントを検出してもよい。これにより、遮光イベント画素からロウごとに出力された誤イベントに基づいて、イベント画素から出力された誤イベントがロウごとに検出されるという作用をもたらす。
　また、第１の側面において、前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記階調画素の水平制御線とのクロストークに起因する誤イベントを検出してもよい。これにより、階調画素の水平制御線とのクロストークに起因する誤イベントに基づいて、イベント画素から出力された誤イベントがロウごとに検出されるという作用をもたらす。
　また、第１の側面において、前記遮光イベント画素は、前記カラム方向において前記有効画素領域の端部に配置されてもよい。これにより、誤イベントがカラムごとに検出されるという作用をもたらす。
　また、第１の側面において、前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記カラム方向に配列された前記イベント画素から出力された誤イベントを検出してもよい。これにより、遮光イベント画素からカラムごとに出力された誤イベントに基づいて、イベント画素から出力された誤イベントがカラムごとに検出されるという作用をもたらす。
　また、第１の側面において、前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記階調画素の垂直信号線とのクロストークに起因する誤イベントを検出してもよい。これにより、階調画素の垂直信号線とのクロストークに起因する誤イベントに基づいて、イベント画素から出力された誤イベントがカラムごとに検出されるという作用をもたらす。
　また、第１の側面において、前記遮光イベント画素は、前記有効画素領域内に配置されてもよい。これにより、イベント画素の近傍に遮光イベント画素が配置されるという作用をもたらす。
　また、第１の側面において、前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記遮光イベント画素の近傍のイベント画素から出力された誤イベントを検出してもよい。これにより、イベント画素のクロストークと同様のクロストークが遮光イベントに発生するという作用をもたらす。
　また、第２の側面は、階調信号を検出する階調画素とイベント信号を検出するイベント画素とを含んでロウ方向およびカラム方向に画素が配列された有効画素領域と、前記有効画素領域に設けられ、前記イベント画素が遮光された遮光イベント画素とを備える撮像装置である。これにより、イベント画素の近傍に遮光イベント画素が配置されるという作用をもたらす。
　また、第２の側面において、前記階調画素は、クワッドベイヤ配列に基づいて前記有効画素領域に配置され、前記クワッドベイヤ配列における４個の赤色画素のうちの２個の赤色画素の位置に前記イベント画素が配置され、前記クワッドベイヤ配列における４個の青色画素のうちの２個の青色画素の位置に前記遮光イベント画素が配置されてもよい。これにより、カラー化された階調画像の感度の低下を抑制しつつ、イベント画素の近傍に遮光イベント画素が配置されるという作用をもたらす。
　また、第３の側面は、階調信号を検出する階調画素と、イベント信号を検出するイベント画素と、前記イベント画素が遮光された遮光イベント画素と、前記遮光イベント画素からの出力に基づいて、前記イベント画素から出力された誤イベントを検出する検出回路とを備える光検出装置と、前記検出回路で検出された誤イベントに基づいて、前記イベント信号を処理する処理部とを備える電子機器である。これにより、階調画素およびイベント画素の混載を可能としつつ、光検出装置の外部で誤イベントが補正されるという作用をもたらす。
第１の実施の形態に係る撮像装置の構成例を示すブロック図である。 第１の実施の形態に係る固体撮像装置の構成例を示すブロック図である。 第１の実施の形態に係る画素アレイ部の構成例を示すブロック図である。 第１の実施の形態に係る画素アレイ部の画素の配置例を示すブロック図である。 第１の実施の形態に係る固体撮像装置の階調画素とイベント画素との間での信号のクロストークの一例を示す回路図である。 第１の実施の形態に係る固体撮像装置の階調画素とイベント画素との間での信号のクロストークのタイミングの一例を示す図である。 第１の実施の形態に係る固体撮像装置の誤イベント検出処理の一例を示すフローチャートである。 第２の実施の形態に係る固体撮像装置の構成例を示すブロック図である。 第２の実施の形態に係る固体撮像装置の誤イベント検出処理の一例を示すフローチャートである。 第３の実施の形態に係る固体撮像装置の構成例を示すブロック図である。 第４の実施の形態に係る画素アレイ部の構成例を示すブロック図である。 第４の実施の形態に係る固体撮像装置の階調画素とイベント画素との間での信号のクロストークの一例を示す回路図である。 第５の実施の形態に係る画素アレイ部の構成例を示すブロック図である。 第６の実施の形態に係る画素アレイ部の構成例を示すブロック図である。 第７の実施の形態に係る画素アレイ部の画素の配置例を示すブロック図である。 第８の実施の形態に係る画素アレイ部の画素の構成例を示す斜視図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（遮光イベント画素からの出力に基づいて、イベント画素から出力された誤イベントを検出する例）
　２．第２の実施の形態（遮光イベント画素からの出力に基づいて、イベント画素から出力された誤イベントを検出して通知する例）
　３．第３の実施の形態（遮光イベント画素からの出力に基づいて、イベント画素から出力された誤イベントを検出して補正する例）
　４．第４の実施の形態（遮光イベント画素が配置される水平遮光画素領域を設けた例）
　５．第５の実施の形態（垂直遮光画素領域および水平遮光画素領域のそれぞれに遮光イベント画素を設けた例）
　６．第６の実施の形態（有効画素領域に遮光イベント画素を設けた例）
　７．第７の実施の形態（クワッドベイヤ配列の赤色画素の位置にイベント画素を設け、クワッドベイヤ配列の青色画素の位置に遮光イベント画素を設けた例）
　８．第８の実施の形態（画素アレイ部を積層した例）
　９．移動体への応用例
　＜１．第１の実施の形態＞
　同図において、撮像装置１００は、光学系１０１、固体撮像装置１０２、撮像制御部１０３、画像処理部１０４、記憶部１０５、表示部１０６および操作部１０７を備える。撮像制御部１０３、画像処理部１０４、記憶部１０５、表示部１０６および操作部１０７は、バス１０８を介して互いに接続されている。なお、撮像装置１００は、単体として用いられてもよいし、スマートフォンなどの携帯端末に組み込まれてもよいし、認証装置や監視装置に組み込まれてもよい。
　光学系１０１は、被写体からの光を固体撮像装置１０２に入射させ、被写像を固体撮像装置１０２の受光面に結像させる。光学系１０１は、例えば、フォーカスレンズ、ズームレンズおよび絞りなどを備えることができる。光学系１０１は、広角レンズ、標準レンズおよび望遠レンズなどの複数のレンズを備えてもよい。
　固体撮像装置１０２は、被写体からの光を画素ごとに電気信号に変換し、その電気信号をデジタル化して出力する。固体撮像装置１０２は、入射光の輝度に応じた階調信号および入射光の輝度の同一方向の変化をイベントとして検出したイベント信号を出力することができる。このとき、固体撮像装置１０２には、階調信号を検出する階調画素と、イベント信号を検出するイベント画素と、イベント画素が遮光された遮光イベント画素とを設けることができる。そして、固体撮像装置１０２は、遮光イベント画素からの出力に基づいて、イベント画素から出力された誤イベントを検出することができる。
　撮像制御部１０３は、操作部１０７からの指令に基づいて固体撮像装置１０２による撮像を制御する。このとき、撮像制御部１０３は、固体撮像装置１０２の露光時間、露光量および撮像タイミングなどを制御することができる。
　画像処理部１０４は、固体撮像装置１０２からの出力に基づいて画像処理を実施する。画像処理は、例えば、ガンマ補正、ホワイトバランス処理、シャープネス処理、階調変換処理である。画像処理部１０４は、ソフトウェアに基づいて処理を実行するプロセッサを備えてもよい。画像処理部１０４は、固体撮像装置１０２で検出された誤イベントに基づいて、固体撮像装置１０２で検出されたイベントを処理してもよい。
　記憶部１０５は、固体撮像装置１０２で撮像された撮像画像を記憶したり、固体撮像装置１０２の撮像パラメータなどを記憶したりする。撮像画像は、階調画像およびイベント画像を含んでもよい。また、記憶部１０５は、ソフトウェアに基づいて撮像装置１００を動作させるプログラムを記憶することができる。記憶部１０５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）およびメモリカードを含んでもよい。
　表示部１０６は、撮像画像を表示したり、撮像操作をサポートする各種情報を表示したりする。表示部１０６は、液晶ディスプレイでもよいし、有機ＥＬ（Electro Luminescence）ディスプレイでもよい。
　操作部１０７は、撮像装置１００を操作するユーザインターフェースを提供する。操作部１０７は、例えば、撮像装置１００に設けられたボタン、ダイヤルおよびスイッチを含んでもよい。操作部１０７は、表示部１０６とともにタッチパネルで構成してもよい。
　図２は、第１の実施の形態に係る固体撮像装置の構成例を示すブロック図である。
　同図において、固体撮像装置１０２は、画素アレイ部１１１、イベント信号出力部１１３、階調信号出力部１１４、アクセス制御部１１５、タイミング制御部１１６、イベント信号処理部１１７および階調信号処理部１１８を備える。固体撮像装置１０２には、出力インタフェース１２１、１２２が接続される。
　画素アレイ部１１１は、入射光を画素ごとに検知可能な有効画素領域１３１および入射光が画素ごとに遮光される遮光画素領域１３２を備える。有効画素領域１３１には、ロウ方向およびカラム方向に画素がマトリックス状に配列される。有効画素領域１３１に配置される画素は、イベント画素１４１および階調画素１５１を含む。イベント画素１４１は、イベント信号を検出する。イベント信号は、入射光の輝度の同一方向の変化をイベントとして示す信号である。なお、イベント画素１４１の光電変換部として、フォトダイオードを設けてもよいし、ＳＰＡＤ（Single Photon Avalanche Diode）を設けてもよい。階調画素１５１は、階調信号を検出する。階調信号は、入射光の輝度に応じたレベルを示す信号である。
　遮光画素領域１３２は、有効画素領域１３１の端部に配置してもよい。遮光画素領域１３２は、有効画素領域１３１に隣接して配置してもよい。遮光画素領域１３２に配置される画素は、遮光イベント画素１４２および遮光階調画素１５２を含む。遮光イベント画素１４２は、イベント画素１４１が遮光された画素である。遮光イベント画素１４２は、イベント画素１４１上に遮光膜を配置して形成してもよい。遮光階調画素１５２は、階調画素１５１が遮光された画素である。遮光階調画素１５２は、階調画素１５１上に遮光膜を配置して形成してもよい。遮光イベント画素１４２および遮光階調画素１５２は、カラムごとに配置してもよいし、ロウごとに配置してもよい。
　イベント画素１４１、階調画素１５１、遮光イベント画素１４２および遮光階調画素１５２は、水平制御線１８２を介してロウごとに駆動することができる。イベント画素１４１および遮光イベント画素１４２は、垂直イベント信号線１６２を介してカラムごとに信号を出力することができる。階調画素１５１および遮光階調画素１５２は、垂直階調信号線１７２を介してカラムごとに信号を出力することができる。なお、垂直階調信号線１７２は、特許請求の範囲に記載の垂直信号線の一例である。
　イベント信号出力部１１３は、イベント画素１４１から出力されたイベント信号および遮光イベント画素１４２から出力された遮光画素信号を所定の形式で出力する。例えば、イベント信号出力部１１３は、イベント画素１４１から出力されたイベント信号および遮光イベント画素１４２から出力された遮光画素信号をデジタル化して出力してもよい。
　階調信号出力部１１４は、階調画素１５１から出力された階調信号および遮光階調画素１５２から出力された遮光画素信号を所定の形式で出力する。例えば、階調信号出力部１１４は、階調画素１５１から出力された階調信号および遮光階調画素１５２から出力された遮光画素信号をデジタル化して出力してもよい。また、階調信号出力部１１４は、定電流読出しに対応してもよいし、容量負荷読出しに対応してもよい。
　アクセス制御部１１５は、水平制御線１８２を介し、イベント画素１４１、階調画素１５１、遮光イベント画素１４２および遮光階調画素１５２へのアクセスを制御する。このとき、アクセス制御部１１５は、水平制御線１８２を介し、イベント画素１４１、階調画素１５１、遮光イベント画素１４２および遮光階調画素１５２をロウごとに駆動することができる。
　タイミング制御部１１６は、イベント画素１４１、階調画素１５１、遮光イベント画素１４２および遮光階調画素１５２について、露光、読出し、選択およびリセットなどのタイミングを制御することができる。
　イベント信号処理部１１７は、イベント画素１４１から出力されたイベント信号および遮光イベント画素１４２から出力された遮光画素信号を処理する。例えば、イベント信号処理部１１７は、遮光イベント画素１４２から出力された遮光画素信号に基づいて、イベント画素１４１との間のクロストークを検出し、イベント画素１４１で発生した誤イベントを検出してもよい。
　イベント信号処理部１１７は、誤イベント検出回路１１２を備える。誤イベント検出回路１１２は、遮光イベント画素１４２からの出力に基づいて、イベント画素１４１から出力された誤イベントを検出する。誤イベント検出回路１１２は、遮光イベント画素１４２からの出力に基づいて、階調画素１５１に用いられる水平制御線１８２とのクロストークに起因する誤イベントを検出してもよい。誤イベント検出回路１１２は、遮光イベント画素１４２からの出力に基づいて、垂直階調信号線１７２とのクロストークに起因する誤イベントを検出してもよい。なお、誤イベント検出回路１１２は、特許請求の範囲に記載の検出回路の一例である。
　階調信号処理部１１８は、階調信号出力部１１４から出力された階調信号および遮光画素信号を処理する。階調信号処理部１１８は、例えば、階調信号出力部１１４から出力された階調信号に基づいて、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理を実施してもよい。
　出力インタフェース１２１は、イベント信号処理部１１７の出力を出力先のデータ形式に対応するように変換する。出力インタフェース１２２は、階調信号処理部１１８の出力を出力先のデータ形式に対応するように変換する。
　図３は、第１の実施の形態に係る画素アレイ部の構成例を示すブロック図である。
　同図において、有効画素領域１３１のロウ方向における両端には、垂直遮光画素領域１３３が設けられる。垂直遮光画素領域１３３には、遮光イベント画素１４３が配置される。遮光イベント画素１４３は、ロウごとに設けてもよい。このとき、誤イベント検出回路１１２は、遮光イベント画素１４３からの出力に基づいて、ロウ方向に配列されたイベント画素１４１から出力された誤イベントを検出してもよい。誤イベントは、階調画素１５１の水平制御線１８２とのクロストークに起因してもよい。イベント画素１４１から出力された誤イベントは、その誤イベントが出力されないように補正されてもよい。例えば、階調画素１５１の水平制御線１８２は、ロウごとに駆動可能となるように水平方向に配置される。このため、そのロウの水平制御線１８２に近接する水平方向の全てのイベント画素１４１は同様のクロストークを受け、横筋状の誤イベントが発生する。このとき、遮光イベント画素１４３をロウごとに設けることにより、水平制御線１８２のロウごとの駆動に基づいて発生したイベント画素１４１の誤イベントを遮光イベント画素１４３で検出することが可能となる。
　図４は、第１の実施の形態に係る画素アレイ部の画素の配置例を示すブロック図である。
　同図において、有効画素領域１３１には、画素がクワッドベイヤ配列されてもよい。この時、各クワッドベイヤ配列ＢＥＹには、イベント画素１４１および階調画素１５１を配置することができる。各クワッドベイヤ配列ＢＥＹにおいて、階調画素１５１は、２個の赤色画素１９１と、２個の青色画素１９３と、８個の緑色画素１９２を含む。イベント画素１４１は、４個のイベント画素１９４を含む。
　このクワッドベイヤ配列ＢＥＹでは、階調画素１５１のみを含むクワッドベイヤ配列の２個の赤色画素１９１および２個の青色画素１９３に代えて、４個のイベント画素１９４が設けられる。これにより、カラー化された階調画像の感度の低下を抑制しつつ、階調画素１５１とイベント画素１４１とを有効画素領域１３１に混載することができる。
　図５は、第１の実施の形態に係る固体撮像装置の階調画素とイベント画素との間での信号のクロストークの一例を示す回路図である。なお、同図では、１画素分のイベント画素１４１、１画素分の階調画素１５１および１画素分のイベント出力回路の構成例を示した。
　同図において、階調画素１５１は、フォトダイオードＰＤ１、転送トランジスタ１５３、リセットトランジスタ１５４、増幅トランジスタ１５５、選択トランジスタ１５６およびフローティングディフュージョン１５７を備える。転送トランジスタ１５３、リセットトランジスタ１５４、増幅トランジスタ１５５および選択トランジスタ１５６として、ＭＯＳ（Metal Oxide Semiconductor）トランジスタを用いることができる。
　増幅トランジスタ１５５と選択トランジスタ１５６は、直列に接続されている。フォトダイオードＰＤ１のカソードは、転送トランジスタ１５３を介してフローティングディフュージョン１５７に接続されている。また、フローティングディフュージョン１５７は、リセットトランジスタ１５４を介して電源Ｖｄｄに接続されている。また、電源Ｖｄｄは、増幅トランジスタ１５５と選択トランジスタ１５６の直列回路を介して垂直階調信号線１７２に接続されている。増幅トランジスタ１５５のゲートはフローティングディフュージョン１５７に接続されている。
　転送トランジスタ１５３のゲートには、転送信号ＴＧ１が印加される。リセットトランジスタ１５４のゲートには、リセット信号ＲＳＴ１が印加される。選択トランジスタ１５６のゲートには、選択信号ＳＥＬ１が印加される。転送信号ＴＧ１、リセット信号ＲＳＴ１および選択信号ＳＥＬ１は、図２の水平制御線１８２を介して階調画素１５１に伝送することができる。
　転送トランジスタ１５３がオンすると、フォトダイオードＰＤ１に蓄積された電荷がフローティングディフュージョン１５７に転送される。そして、選択トランジスタ１５６がオンすると、フローティングディフュージョン１５７の電位に応じて増幅トランジスタ１５５のソース電位が変化する。そして、増幅トランジスタ１５５のソース電位は、選択トランジスタ１５６を介して垂直階調信号線１７２に印加され、垂直階調信号線１７２を介して伝送される。また、リセットトランジスタ１５４がオンすると、フローティングディフュージョン１５７に蓄積された電荷が排出される。
　イベント画素１４１は、フォトダイオードＰＤ２および転送トランジスタ１４４を備える。フォトダイオードＰＤ２は、転送トランジスタ１４４を介して対数変換部２０１に接続される。
　イベント信号出力部１１３は、対数変換部２０１、バッファ２１１、イベント検出回路２２１およびイベント出力回路２３１を備える。
　対数変換部２０１は、イベント画素１４１から出力されたイベント信号を対数変換する。対数変換部２０１は、イベント画素１４１の後段に接続される。対数変換部２０１は、ＮＭＯＳトランジスタ２０５、２０４およびＰＭＯＳトランジスタ２０３を備える。ＰＭＯＳトランジスタ２０３およびＮＭＯＳトランジスタ２０４は、互いに直列に接続される。ＰＭＯＳトランジスタ２０３およびＮＭＯＳトランジスタ２０４の接続点は、対数変換部２０１の出力として用いられる。また、ＰＭＯＳトランジスタ２０３およびＮＭＯＳトランジスタ２０４の接続点は、ＮＭＯＳトランジスタ２０５のゲートに接続される。ＰＭＯＳトランジスタ２０３のゲートには、バイアス電圧Ｖｂｓが印加される。ＮＭＯＳトランジスタ２０４のゲートは、転送トランジスタ１４４のソースおよびＮＭＯＳトランジスタ２０５のソースに接続される。ＰＭＯＳトランジスタ２０３およびＮＭＯＳトランジスタ２０５のドレインには、電源Ｖｄｄが供給される。
　バッファ２１１は、対数変換部２０１の出力をイベント検出回路２２１に受け渡す。バッファ２１１は、対数変換部２０１の後段に接続される。バッファ２１１は、ＰＭＯＳトランジスタ２１２およびＮＭＯＳトランジスタ２１３を備える。ＰＭＯＳトランジスタ２１２およびＮＭＯＳトランジスタ２１３は、互いに直列に接続される。ＰＭＯＳトランジスタ２１２およびＮＭＯＳトランジスタ２１３の接続点は、バッファ２１１の出力として用いられる。ＰＭＯＳトランジスタ２１２のゲートには、バイアス電圧Ｖｂｆが印加される。ＮＭＯＳトランジスタ２１３のゲートは、ＰＭＯＳトランジスタ２０３およびＮＭＯＳトランジスタ２０４の接続点に接続される。ＰＭＯＳトランジスタ２１２のドレインには、電源Ｖｄｄが供給される。
　イベント検出回路２２１は、バッファ２１１の後段に接続される。イベント検出回路２２１は、バッファ２１１の出力に基づいて、イベントを検出する。イベント検出回路２２１は、例えば、過去における受光信号のレベルを基準レベルとして、現在における受光信号のレベルとの差分を求めることで、入射光の輝度の変化をイベントとして検出することができる。このとき、イベント検出回路２２１は、入射光の輝度が増加するイベント（正極イベント）と、入射光の輝度が減少するイベント（負極イベント）とを分けて検出してもよい。
　ここで、イベント検出回路２２１は、リセット信号ＲＳＴ２に基づいて、基準レベルを現在における受光信号のレベルにリセットする。リセット信号ＲＳＴ２は、水平制御線１８２を介してイベント検出回路２２１に入力される。イベント検出回路２２１は、基準レベルがリセットされた時点から受光信号レベルの変化に基づいて、新たにイベントを検出することができる。
　イベント出力回路２３１は、イベント検出回路２２１で検出されたイベントを、入射光の輝度の増大方向の変化および入射光の輝度の減少方向の変化として出力する。このとき、垂直イベント信号線１６２として、垂直イベント信号線１６２－１および１６２－２がカラムごとに設けられる。イベント出力回路２３１は、イベント検出回路２２１の後段に接続される。イベント出力回路２３１は、ＮＭＯＳトランジスタ２３２から２３５を備える。ＮＭＯＳトランジスタ２３２および２３３は、互いに直列に接続される。ＮＭＯＳトランジスタ２３４および２３５は、互いに直列に接続される。ＮＭＯＳトランジスタ２３２および２３４のゲートには、選択信号ＳＥＬ２が入力される。ＮＭＯＳトランジスタ２３３のゲートには、正極イベントの検出結果がイベント検出回路２２１から入力される。ＮＭＯＳトランジスタ２３５のゲートには、負極イベントの検出結果がイベント検出回路２２１から入力される。ＮＭＯＳトランジスタ２３２のドレインは、垂直イベント信号線１６２－１に接続される。ＮＭＯＳトランジスタ２３４のドレインは、垂直イベント信号線１６２－２に接続される。
　転送トランジスタ１４４がオンすると、フォトダイオードＰＤ２に蓄積された電荷が対数変換部２０１に転送される。そして、対数変換部２０１におけるソースフォロア動作に基づいて、イベント画素１４１から出力されたイベント信号が対数変換され、バッファ２１１を介してイベント検出回路２２１に入力される。そして、イベント検出回路２２１において、正極イベントおよび負極イベントが検出され、ＮＭＯＳトランジスタ２３３および２３５のゲートに入力される。そして、選択信号ＳＥＬ２がＮＭＯＳトランジスタ２３２および２３４のゲートに印加されると、正極イベントが垂直イベント信号線１６２－１に出力され、負極イベントが垂直イベント信号線１６２－２に出力される。
　ここで、例えば、水平制御線１８２と、対数変換部２０１のＮＭＯＳトランジスタ２０５のゲートとは、寄生容量１８１を介してカップリングする。階調画素１５１およびイベント画素１４１の微細化に伴って、このカップリング効果は増大する。ここで、イベント画素１４１からイベント信号が出力されていないときに、選択信号ＳＥＬ１が水平制御線１８２を介して階調画素１５１に伝送されると、誤イベント信号ＥＩＶが対数変換部２０１に入力される。そして、誤イベント信号ＥＩＶがバッファ２１１を介してイベント検出回路２２１に入力されると、その誤イベント信号ＥＩＶがイベント信号として検出され、イベント検出回路２２１から誤イベントが出力される。
　図６は、第１の実施の形態に係る固体撮像装置の階調画素とイベント画素との間での信号のクロストークのタイミングの一例を示す図である。なお、同図の横軸は時間を表し、縦軸はロウアドレスを表す。また、同図は、画素アレイ部１１１の全ロウの階調信号が生成されるフレーム期間の階調信号と、その期間にイベント信号の生成を行う例を示した。
　同図において、階調信号の生成では、階調画素１５１についてのプレシャタＰＳＨ、シャッタＳＨおよびリードＫＲＤがフレームごとに実施される。また、イベント信号の生成では、イベント画素１４１についての正極イベント検出ＯＮ、負極イベント検出ＯＦＦ、リセットＡＺおよびリードＥＲＤが当該フレームごとに実施される
　このとき、正極イベント検出ＯＮのタイミングと、階調画素１５１のプレシャタＰＳＨ、シャッタＳＨおよびリードＫＲＤのいずれかのタイミングとが一致し、これらの信号間でクロストークが発生すると、誤イベントが発生することがある。また、負極イベント検出ＯＦＦのタイミングと、階調画素１５１のプレシャタＰＳＨ、シャッタＳＨおよびリードＫＲＤのいずれかのタイミングとが一致し、これらの信号間でクロストークが発生すると、誤イベントが発生することがある。
　図７は、第１の実施の形態に係る固体撮像装置の誤イベント検出処理の一例を示すフローチャートである。
　同図において、イベント信号処理部１１７は、イベント画素１４１からイベント信号をロウごとに読出すとともに、そのロウの遮光画素信号を遮光イベント画素１４２から読出す（Ｓ１０１）。
　次に、イベント信号処理部１１７は、遮光イベント画素１４２から読出された遮光画素信号に基づいて、遮光イベント画素１４２でのイベント発生数を検出する（Ｓ１０２）。なお、遮光イベント画素１４２では、階調画素１５１の動作に基づくクロストークに起因してイベントが検出されることがある。遮光イベント画素１４２で検出されたイベントは、イベント画素１４１では誤イベントとして検出される。
　次に、イベント信号処理部１１７は、遮光イベント画素１４２で検出されたイベント発生数が閾値を超えたかどうかを判断する（Ｓ１０３）。イベント信号処理部１１７は、遮光イベント画素１４２で検出されたイベント発生数が閾値を超えた場合、当該行の誤検出発生フラグを発行する（Ｓ１０４）。
　次に、イベント信号処理部１１７は、イベント画素１４１のデータを出力し（Ｓ１０５）、処理を終了する。一方、イベント信号処理部１１７は、Ｓ１０３において、遮光イベント画素１４２で検出されたイベント発生数が閾値を超えてない場合、処理を終了する。
　このように、上述の第１の実施の形態では、遮光イベント画素１４２からの出力に基づいて、イベント画素１４１から出力された誤イベントを検出する。これにより、階調画素１５１およびイベント画素１４１の混載を可能としつつ、イベント信号の検出精度を向上させることが可能となる。
　例えば、階調画素１５１の水平制御線１８２のクロストークによって発生する誤イベントは、有効画素領域１３１にも遮光画素領域１３２にも同様の誤イベントが発生する。このため、遮光画素領域１３２のイベント発生数を検出することで、誤イベントを効果的に検出することができる。
　また、誤イベント検出回路１１２は、イベント画素１４１で発生する誤イベントを検出するために、クロストークが発生するタイミングを設計時に特定する必要がない。このため、誤イベント検出回路１１２は、設計時に想定されていないクロストークによる誤イベント、特定の撮像シーンで発生するクロストークによる誤イベントおよびサンプルばらつきによって特定のサンプルで発生する誤イベントも検出することができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、遮光イベント画素１４２からの出力に基づいて、イベント画素１４１から出力された誤イベントを検出した。この第２の実施の形態では、遮光イベント画素１４２からの出力に基づいて、イベント画素１４１から出力された誤イベントを検出し、その検出結果を通知する。
　図８は、第２の実施の形態に係る固体撮像装置の構成例を示すブロック図である。
　同図において、固体撮像装置２０２は、上述の第１の実施の形態の固体撮像装置１０２に通知回路２１４が追加されている。第２の実施の形態の固体撮像装置２０２のそれ以外の構成は、上述の第１の実施の形態の固体撮像装置１０２の構成と同様である。
　通知回路２１４は、誤イベント検出回路１１２で検出された誤イベントを、出力インタフェース１２１を介して外部に出力する。通知回路２１４は、イベント信号処理部１１７の後段に接続される。このとき、通知回路２１４は、誤イベント検出回路１１２で検出された誤イベントに関する情報をイベント画像の出力データに付加してもよい。例えば、通知回路２１４は、誤イベント検出回路１１２で検出された誤イベントに関する情報をイベント出力フレームのデータに付加してもよいし、ＥＢＤ(エッセンシャルビットデータ)に付加してもよい。誤イベントに関する情報は、誤検出発生フラグでもよい。
　図９は、第２の実施の形態に係る固体撮像装置の誤イベント検出処理の一例を示すフローチャートである。
　同図において、このフローでは、上述の第１の実施の形態のフローにＳ２０１の処理が追加されている。第２の実施の形態のそれ以外のフローは、上述の第１の実施の形態のフローと同様である。
　通知回路２１４は、誤イベントが発生した行の誤検出発生フラグが発行されると、出力インタフェース１２１を介して誤検出発生フラグを通知し（Ｓ２０１）、Ｓ１０５に処理を進める。
　このように、上述の第２の実施の形態では、遮光イベント画素１４２からの出力に基づいて、イベント画素１４１から出力された誤イベントを検出し、その検出結果を通知する。これにより、階調画素１５１およびイベント画素１４１の混載を可能としつつ、誤イベントの補正を外部で実施することができ、固体撮像装置２０２にかかる負荷を低減することができる。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、遮光イベント画素１４２からの出力に基づいて、イベント画素１４１から出力された誤イベントを検出した。この第３の実施の形態では、遮光イベント画素１４２からの出力に基づいて、イベント画素１４１から出力された誤イベントを検出し、その誤イベントを補正する。
　図１０は、第３の実施の形態に係る固体撮像装置の構成例を示すブロック図である。
　同図において、固体撮像装置３０２は、上述の第１の実施の形態のイベント信号処理部１１７に代えて、イベント信号処理部３１７を備える。第３の実施の形態の固体撮像装置３０２のそれ以外の構成は、上述の第１の実施の形態の固体撮像装置１０２の構成と同様である。
　イベント信号処理部３１７は、上述の第１の実施の形態のイベント信号処理部１１７に誤イベント補正回路３１２が追加されている。第３の実施の形態のイベント信号処理部３１７のそれ以外の構成は、上述の第１の実施の形態のイベント信号処理部１１７の構成と同様である。
　誤イベント補正回路３１２は、誤イベント検出回路１１２で検出された誤イベントに基づいて、イベント画素１４１で検出された誤イベントを補正する。誤イベント補正回路３１２は、誤イベント検出回路１１２で検出された誤イベントに基づいて、イベント画素１４１で検出された誤イベントをマスクしてもよい。誤イベント補正回路３１２は、誤イベント検出回路１１２で検出された誤イベントに基づいて、イベント画素１４１で検出された誤イベントをマスクしてもよい。誤イベント補正回路３１２は、誤イベント検出回路１１２で検出された誤イベントに基づいて、イベント画素１４１で検出されるイベントを補間してもよい。この補間には、誤イベントが検出されたイベント画素１４１の近傍のイベント画素１４１で検出されたイベント信号を用いてもよい。誤イベント補正回路３１２は、誤イベント検出回路１１２で検出された誤イベントに基づいて、イベント画素１４１で検出されたイベント信号を空間的または時間的にフィルタリングしてもよい。
　このように、上述の第３の実施の形態では、遮光イベント画素１４２からの出力に基づいて、イベント画素１４１から出力された誤イベントを検出し、その誤イベントを補正する。これにより、階調画素１５１およびイベント画素１４１の混載を可能としつつ、誤イベントを補正することができる。このとき、イベント画素１４１で検出された誤イベントを空間的または時間的にフィルタリングすることにより、補正によるイベント画像への影響を抑制することができる。
　＜４．第４の実施の形態＞
　上述の第１の実施の形態では、有効画素領域１３１のロウ方向における両端に垂直遮光画素領域１３３を設けた。この第４の実施の形態では、有効画素領域のカラム方向における両端に水平遮光画素領域を設ける。
　図１１は、第４の実施の形態に係る画素アレイ部の構成例を示すブロック図である。
　同図において、画素アレイ部は、上述の第１の実施の形態の有効画素領域１３１および垂直遮光画素領域１３３に代えて、有効画素領域４３１および水平遮光画素領域４３２を備える。第４の実施の形態の画素アレイ部のそれ以外の構成は、上述の第１の実施の形態の画素アレイ部の構成と同様である。
　水平遮光画素領域４３２は、有効画素領域４３１のカラム方向における両端に設けられる。有効画素領域４３１には、イベント画素４４１が配置される。水平遮光画素領域４３２には、遮光イベント画素４４２が配置される。遮光イベント画素４４２は、カラムごとに設けてもよい。このとき、誤イベント検出回路１１２は、遮光イベント画素４４２からの出力に基づいて、カラム方向に配列されたイベント画素４４１から出力された誤イベントを検出してもよい。誤イベントは、階調画素１５１の垂直階調信号線１７２とのクロストークに起因してもよい。イベント画素４４１から出力された誤イベントは、その誤イベントが出力されないように補正されてもよい。例えば、階調画素１５１の垂直階調信号線１７２は、カラムごとに信号の読出しが可能となるように垂直方向に配置される。階調画素１５１の出力信号は、階調画素１５１のフォトダイオードＰＤ１で受光された光強度に依存するため、光強度に比例したクロストークが発生する。ある光強度以上の階調画素１５１の受光４４３に基づいてクロストークが発生した場合、イベント画素４４１に誤イベントが発生することがある。このとき、垂直階調信号線１７２に近接する垂直方向に配列された全てのイベント画素４４１がクロストークの影響を受けるため、誤イベントは縦筋状に発生する。ここで、遮光イベント画素４４２をカラムごとに設けることにより、垂直階調信号線１７２のカラムごとの駆動に基づいて発生したイベント画素４４１の誤イベントを遮光イベント画素４４２で検出することが可能となる。
　第４の実施の形態の有効画素領域４３１および水平遮光画素領域４３２のそれ以外の構成は、上述の第１の実施の形態の有効画素領域１３１および垂直遮光画素領域１３３の構成と同様である。
　図１２は、第４の実施の形態に係る固体撮像装置の階調画素とイベント画素との間での信号のクロストークの一例を示す回路図である。
　同図において、例えば、垂直階調信号線１７２と、各カラムの対数変換部２０１のＮＭＯＳトランジスタ２０５とは、寄生容量４８１から４８３をそれぞれ介してカラムごとにカップリングする。階調画素１５１およびイベント画素１４１の微細化に伴って、このカップリング効果は増大する。ここで、イベント画素１４１からイベント信号が出力されていないときに、階調信号ＳＫＡが垂直階調信号線１７２を介して伝送されると、誤イベント信号ＥＩＶが対数変換部２０１に入力される。そして、誤イベント信号ＥＩＶがバッファ２１１を介してイベント検出回路２２１に入力されると、その誤イベント信号ＥＩＶがイベント信号として検出され、イベント検出回路２２１から誤イベントが出力される。このとき、図１１に示すように、誤イベント検出回路１１２は、水平遮光画素領域４３２に設けられた遮光イベント画素４４２からの出力に基づいて、イベント画素４４１から出力された誤イベントを検出することができる。
　このように、上述の第４の実施の形態では、水平遮光画素領域４３２に設けられた遮光イベント画素４４２からの出力に基づいて、イベント画素４４１から出力された誤イベントを検出する。これにより、階調画素１５１およびイベント画素１４１の混載を可能としつつ、イベント信号の検出精度を向上させることが可能となる。
　例えば、階調画素１５１の垂直階調信号線１７２のクロストークによって発生する誤イベントは、有効画素領域４３１にも水平遮光画素領域４３２にも同様の誤イベントが発生する。このため、水平遮光画素領域４３２のイベント発生数を検出することで、誤イベントを効果的に検出することができる。
　＜５．第５の実施の形態＞
　上述の第４の実施の形態では、水平遮光画素領域４３２に設けられた遮光イベント画素４４２からの出力に基づいて、イベント画素４４１から出力された誤イベントを検出した。この第５の実施の形態では、垂直遮光画素領域に設けられた遮光イベント画素からの出力および水平遮光画素領域に設けられた遮光イベント画素からの出力に基づいて、イベント画素から出力された誤イベントを検出する。
　図１３は、第５の実施の形態に係る画素アレイ部の構成例を示すブロック図である。
　同図において、画素アレイ部は、上述の第１の実施の形態の有効画素領域１３１および垂直遮光画素領域１３３に代えて、有効画素領域５３１、垂直遮光画素領域５３３および水平遮光画素領域５３４を備える。第５の実施の形態の画素アレイ部のそれ以外の構成は、上述の第１の実施の形態の画素アレイ部の構成と同様である。
　垂直遮光画素領域５３３は、有効画素領域５３１のロウ方向における両端に設けられる。有効画素領域５３１には、イベント画素５４１が配置される。垂直遮光画素領域５３３には、遮光イベント画素５４３が配置される。遮光イベント画素５４３は、ロウごとに設けてもよい。このとき、誤イベント検出回路１１２は、遮光イベント画素５４３からの出力に基づいて、ロウ方向に配列されたイベント画素５４１から出力された誤イベントを検出してもよい。イベント画素５４１から出力された誤イベントは、その誤イベントが出力されないように補正されてもよい。
　水平遮光画素領域５３４は、有効画素領域５３１のカラム方向における両端に設けられる。水平遮光画素領域５３４には、遮光イベント画素５４４が配置される。遮光イベント画素５４４は、カラムごとに設けてもよい。このとき、誤イベント検出回路１１２は、遮光イベント画素５４４からの出力に基づいて、カラム方向に配列されたイベント画素５４１から出力された誤イベントを検出してもよい。イベント画素５４１から出力された誤イベントは、その誤イベントが出力されないように補正されてもよい。
　第５の実施の形態の有効画素領域５３１および垂直遮光画素領域５３３のそれ以外の構成は、上述の第１の実施の形態の有効画素領域１３１および垂直遮光画素領域１３３の構成と同様である。第５の実施の形態の水平遮光画素領域５３４のそれ以外の構成は、上述の第４の実施の形態の水平遮光画素領域４３２の構成と同様である。
　このように、上述の第５の実施の形態では、垂直遮光画素領域５３３の遮光イベント画素５４３からの出力および水平遮光画素領域５３４の遮光イベント画素５４４からの出力に基づいて、イベント画素５４１から出力された誤イベントを検出する。これにより、階調画素１５１およびイベント画素５４１の混載を可能としつつ、ロウ方向およびカラム方向に一律に発生する誤イベントを検出することができる。
　＜６．第６の実施の形態＞
　上述の第１の実施の形態では、有効画素領域１３１の外部に遮光イベント画素１４２を配置した。この第６の実施の形態では、有効画素領域内に遮光イベント画素を配置する。
　図１４は、第６の実施の形態に係る画素アレイ部の構成例を示すブロック図である。なお、同図におけるａは、有効画素領域の外部に遮光イベント画素を配置したときのイベント画素６４１および階調画素６５１の配置例を示す。同図におけるｂは、有効画素領域内に遮光イベント画素６４２を配置したときのイベント画素６４１および階調画素６５１の配置例を示す。
　同図におけるａにおいて、この画素アレイ部は、複数の画素を配列単位とするセル６０１を備える。セル６０１は、有効画素領域においてロウ方向およびカラム方向にマトリックス状に配置される。各セル６０１には、例えば、２×２の単位で画素を配置することができる。各セル６０１は、１個のイベント画素６４１および３個の階調画素６５１を含んでもよい。
　同図におけるｂにおいて、この画素アレイ部は、複数の画素を配列単位とするセル６０１、６０２を備える。セル６０１、６０２は、有効画素領域において、ロウ方向およびカラム方向にマトリックス状に配置される。各セル６０１、６０２には、例えば、２×２の単位で画素を配置することができる。各セル６０１は、１個のイベント画素６４１および３個の階調画素６５１を含んでもよい。各セル６０２は、１個の遮光イベント画素６４２および３個の階調画素６５１を含んでもよい。
　セル６０１、６０２は、２×２の配列単位でロウ方向およびカラム方向にマトリックス状に配置してもよい。ここで、２×２の配列単位のうち、一方の対角方向にセル６０１を配置し、他方の対角方向にセル６０２を配置してもよい。このとき、同図におけるａにおける各セル６０１のイベント画素６４１が、ロウ方向およびカラム方向に１つ置きに遮光イベント画素６４２で置き換えられる。ここで、誤イベント検出回路１１２は、遮光イベント画素６４２からの出力に基づいて、遮光イベント画素６４２の近傍のイベント画素６４１から出力された誤イベントを検出してもよい。
　このように、上述の第６の実施の形態では、有効画素領域内に遮光イベント画素６４２を配置する。これにより、イベント画素６４１の近傍に遮光イベント画素６４２を配置することができる。この結果、イベント画素６４１に発生する誤イベントと同様の誤イベントを遮光イベント画素６４２に発生させることができ、イベント信号の検出精度を向上させることが可能となる。
　また、誤イベント検出回路１１２は、有効画素領域内に遮光イベント画素６４２を配置することにより、局所的に発生した誤イベントを検出することができる。例えば、誤イベント検出回路１１２は、高輝度光が局所的に入射したときの局所的な電源ドロップに起因する誤イベントを検出することができる。
　＜７．第７の実施の形態＞
　上述の第１の実施の形態では、クワッドベイヤ配列ＢＥＹにイベント画素１４１および階調画素１５１を配置した。この第７の実施の形態では、クワッドベイヤ配列ＢＥＹにイベント画素、階調画素および遮光イベント画素を配置する。
　図１５は、第７の実施の形態に係る画素アレイ部の画素の配置例を示すブロック図である。
　同図において、有効画素領域には、クワッドベイヤ配列ＢＥＹが設けられる。クワッドベイヤ配列ＢＥＹには、イベント画素１４１、階調画素１５１および遮光イベント画素１４２を配置することができる。各クワッドベイヤ配列ＢＥＹにおいて、階調画素１５１は、２個の赤色画素１９１と、２個の青色画素１９３と、８個の緑色画素１９２を含む。イベント画素１４１は、２個のイベント画素１９４を含む。遮光イベント画素１４２は、２個の遮光イベント画素１９５を含む。このとき、誤イベント検出回路１１２は、遮光イベント画素１９５からの出力に基づいて、遮光イベント画素１９５の近傍のイベント画素１９４から出力された誤イベントを検出してもよい。
　このクワッドベイヤ配列ＢＥＹでは、上述の第１の実施の形態のクワッドベイヤ配列ＢＥＹの２個の青色画素１９３に代えて、２個の遮光イベント画素１９５が設けられる。これにより、カラー化された階調画像の感度の低下を抑制しつつ、イベント画素１４１、階調画素１５１および遮光イベント画素１４２を有効画素領域に混載することができる。
　このように、上述の第７の実施の形態では、各クワッドベイヤ配列ＢＥＹは、２個の赤色画素１９１と、２個の青色画素１９３と、８個の緑色画素１９２と、２個のイベント画素１９４と、２個の遮光イベント画素１９５とを含む。これにより、カラー化された階調画像の感度の低下を抑制しつつ、イベント画素１９４に近傍に遮光イベント画素１９５を配置することができる。
　＜８．第８の実施の形態＞
　上述の第１の実施の形態では、遮光イベント画素１４２からの出力に基づいて、イベント画素１４１から出力された誤イベントを検出した。この第８の実施の形態では、画素アレイ部を積層し、各画素の受光部を上層に設け、回路部を下層に設ける。
　図１６は、第８の実施の形態に係る画素アレイ部の画素の構成例を示す斜視図である。
　同図において、この画素アレイ部は、受光アレイ部７０１および回路アレイ部７１１を備える。受光アレイ部７０１は、回路アレイ部７１１上に積層することができる。受光アレイ部７０１は、受光部７０２、７０３を備える。受光部７０２、７０３は、ロウ方向およびカラム方向にマリトックス状に配置される。受光部７０２には、イベント画素１４１および対数変換部２０１を設けることができる。受光部７０３には、階調画素１５１を設けることができる。
　受光部７０２、７０３の配置は、図５のクワッドベイヤ配列ＢＥＹを用いてもよいし、図１４におけるａのセル６０１の配列を用いてもよい。なお、受光部７０２の一部は遮光されてもよい。遮光された受光部７０２は、遮光イベント画素１４２として用いることができる。受光部７０２の一部を遮光して遮光イベント画素１４２として用いる構成では、図１５のクワッドベイヤ配列ＢＥＹを用いてもよいし、図１４におけるｂのセル６０１、６０２の配列を用いてもよい。
　回路アレイ部７１１は、回路部７１２を備える。回路部７１２は、ロウ方向およびカラム方向にマリトックス状に配置される。回路部７１２は、受光部７０２に接続される。回路部７１２は、受光部７０２ごとに設けることができる。このとき、回路部７１２は、受光部７０２の直下に配置することができる。回路部７１２は、その回路規模に応じて受光部７０３の直下にはみ出して配置されてもよい。回路部７１２には、図５のバッファ２１１、イベント検出回路２２１およびイベント出力回路２３１を設けることができる。
　受光アレイ部７０１は上層チップに形成し、回路アレイ部７１１は下層チップに形成することができる。このとき、上層チップおよび下層チップは、直接接合してもよい。上層チップおよび下層チップの直接接合では、ハイブリッドボンディングを用いることができる。このとき、上層チップおよび下層チップは、Ｃｕ－Ｃｕ接続に基づいて電気的に接続してもよい。上層チップおよび下層チップに用いられる半導体基板の材料は、Ｓｉでもよいし、ＩｎＧａＡｓでもよいし、ＩｎＰでもよい。
　このように、上述の第８の実施の形態では、受光アレイ部７０１および回路アレイ部７１１を積層する。これにより、チップサイズの増大を抑制しつつ、受光部７０２、７０３の面積を増大させることができ、固体撮像装置の小型化を図りつつ、感度を向上させることができる。
　＜９．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であってもよいし、赤外線等の非可視光であってもよい。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１８は、撮像部１２０３１の設置位置の例を示す図である。
　図１８では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、例えば、上述の固体撮像装置１０２は、撮像部１２０３１に適用することができる。車両制御システム１２０００に本開示に係る技術を適用することにより、階調画素およびイベント画素の混載を可能としつつ、イベントの検出精度を向上させることが可能となる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。また、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）階調信号を検出する階調画素と、
　イベント信号を検出するイベント画素と、
　前記イベント画素が遮光された遮光イベント画素と、
　前記遮光イベント画素からの出力に基づいて、前記イベント画素から出力された誤イベントを検出する検出回路と
を備える光検出装置。
（２）前記検出回路で検出された誤イベントを補正する補正回路
をさらに備える前記（１）に記載の光検出装置。
（３）前記補正回路は、前記検出回路で検出された誤イベントに基づいて、前記イベント画素で検出された前記イベント信号をマスクする
前記（２）に記載の光検出装置。
（４）前記補正回路は、前記検出回路で検出された誤イベントに基づいて、前記イベント画素で検出される前記イベント信号を前記イベント画素の近傍のイベント画素で検出された前記イベント信号で補間する
前記（２）または（３）に記載の光検出装置。
（５）前記補正回路は、前記検出回路で検出された誤イベントに基づいて、前記イベント画素で検出された前記イベント信号を空間的または時間的にフィルタリングする
前記（２）から（４）のいずれかに記載の光検出装置。
（６）前記検出回路で検出された誤イベントを通知する通知回路
をさらに備える前記（１）から（５）のいずれかに記載の光検出装置。
（７）前記通知回路は、前記検出回路で検出された誤イベントに関する情報をイベント画像の出力データに付加する
前記（６）に記載の光検出装置。
（８）前記階調画素と前記イベント画素とを含んでロウ方向およびカラム方向に画素が配列された有効画素領域
を備える前記（１）から（７）のいずれかに記載の光検出装置。
（９）前記階調画素は、クワッドベイヤ配列に基づいて前記有効画素領域に配置され、
　前記クワッドベイヤ配列における４個の赤色画素のうちの２個の赤色画素の位置および４個の青色画素のうちの２個の青色画素の位置に前記イベント画素が配置される
前記（８）に記載の光検出装置。
（１０）前記遮光イベント画素は、前記ロウ方向において前記有効画素領域の端部に配置される
前記（８）または（９）に記載の光検出装置。
（１１）前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記ロウ方向に配列された前記イベント画素から出力された誤イベントを検出する
前記（１０）に記載の光検出装置。
（１２）前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記階調画素の水平制御線とのクロストークに起因する誤イベントを検出する
前記（１１）に記載の光検出装置。
（１３）前記遮光イベント画素は、前記カラム方向において前記有効画素領域の端部に配置される
前記（８）から（１２）のいずれかに記載の光検出装置。
（１４）前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記カラム方向に配列された前記イベント画素から出力された誤イベントを検出する
前記（１３）に記載の光検出装置。
（１５）前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記階調画素の垂直信号線とのクロストークに起因する誤イベントを検出する
前記（１４）に記載の光検出装置。
（１６）前記遮光イベント画素は、前記有効画素領域内に配置される
前記（８）から（１５）のいずれかに記載の光検出装置。
（１７）前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記遮光イベント画素の近傍のイベント画素から出力された誤イベントを検出する
前記（１６）に記載の光検出装置。
（１８）階調信号を検出する階調画素とイベント信号を検出するイベント画素とを含んでロウ方向およびカラム方向に画素が配列された有効画素領域と、
　前記有効画素領域に設けられ、前記イベント画素が遮光された遮光イベント画素と
を備える撮像装置。
（１９）前記階調画素は、クワッドベイヤ配列に基づいて前記有効画素領域に配置され、
　前記クワッドベイヤ配列における４個の赤色画素のうちの２個の赤色画素の位置に前記イベント画素が配置され、
　前記クワッドベイヤ配列における４個の青色画素のうちの２個の青色画素の位置に前記遮光イベント画素が配置される
前記（１８）に記載の撮像装置。
（２０）階調信号を検出する階調画素と、
　イベント信号を検出するイベント画素と、
　前記イベント画素が遮光された遮光イベント画素と、
　前記遮光イベント画素からの出力に基づいて、前記イベント画素から出力された誤イベントを検出する検出回路とを備える光検出装置と、
　前記検出回路で検出された誤イベントに基づいて、前記イベント信号を処理する処理部と
を備える電子機器。
　１００　撮像装置
　１０１　光学系
　１０２　固体撮像装置
　１０３　撮像制御部
　１０４　画像処理部
　１０５　記憶部
　１０６　表示部
　１０７　操作部
　１０８　バス
　１１１　画素アレイ部
　１１２　誤イベント検出回路
　１１３　イベント信号出力部
　１１４　階調信号出力部
　１１５　アクセス制御部
　１１６　タイミング制御部
　１１７　イベント信号処理部
　１１８　階調信号処理部
　１２１、１２２　出力インタフェース
　１３１　有効画素領域
　１３２　遮光画素領域
　１４１　イベント画素
　１４２　遮光イベント画素
　１５１　階調画素
　１５２　遮光階調画素
　１６２　垂直イベント信号線
　１７２　垂直階調信号線
　１８２　水平制御線

Claims (20)

  1. 　階調信号を検出する階調画素と、
    　イベント信号を検出するイベント画素と、
    　前記イベント画素が遮光された遮光イベント画素と、
    　前記遮光イベント画素からの出力に基づいて、前記イベント画素から出力された誤イベントを検出する検出回路と
    を備える光検出装置。
  2. 　前記検出回路で検出された誤イベントを補正する補正回路
    をさらに備える請求項１に記載の光検出装置。
  3. 　前記補正回路は、前記検出回路で検出された誤イベントに基づいて、前記イベント画素で検出された前記イベント信号をマスクする
    請求項２に記載の光検出装置。
  4. 　前記補正回路は、前記検出回路で検出された誤イベントに基づいて、前記イベント画素で検出される前記イベント信号を前記イベント画素の近傍のイベント画素で検出された前記イベント信号で補間する
    請求項２に記載の光検出装置。
  5. 　前記補正回路は、前記検出回路で検出された誤イベントに基づいて、前記イベント画素で検出された前記イベント信号を空間的または時間的にフィルタリングする
    請求項２に記載の光検出装置。
  6. 　前記検出回路で検出された誤イベントを通知する通知回路
    をさらに備える請求項１に記載の光検出装置。
  7. 　前記通知回路は、前記検出回路で検出された誤イベントに関する情報をイベント画像の出力データに付加する
    請求項６に記載の光検出装置。
  8. 　前記階調画素と前記イベント画素とを含んでロウ方向およびカラム方向に画素が配列された有効画素領域
    を備える請求項１に記載の光検出装置。
  9. 　前記階調画素は、クワッドベイヤ配列に基づいて前記有効画素領域に配置され、
    　前記クワッドベイヤ配列における４個の赤色画素のうちの２個の赤色画素の位置および４個の青色画素のうちの２個の青色画素の位置に前記イベント画素が配置される
    請求項８に記載の光検出装置。
  10. 　前記遮光イベント画素は、前記ロウ方向において前記有効画素領域の端部に配置される
    請求項８に記載の光検出装置。
  11. 　前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記ロウ方向に配列された前記イベント画素から出力された誤イベントを検出する
    請求項８に記載の光検出装置。
  12. 　前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記階調画素の水平制御線とのクロストークに起因する誤イベントを検出する
    請求項８に記載の光検出装置。
  13. 　前記遮光イベント画素は、前記カラム方向において前記有効画素領域の端部に配置される
    請求項８に記載の光検出装置。
  14. 　前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記カラム方向に配列された前記イベント画素から出力された誤イベントを検出する
    請求項８に記載の光検出装置。
  15. 　前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記階調画素の垂直信号線とのクロストークに起因する誤イベントを検出する
    請求項８に記載の光検出装置。
  16. 　前記遮光イベント画素は、前記有効画素領域内に配置される
    請求項８に記載の光検出装置。
  17. 　前記検出回路は、前記遮光イベント画素からの出力に基づいて、前記遮光イベント画素の近傍のイベント画素から出力された誤イベントを検出する
    請求項１６に記載の光検出装置。
  18. 　階調信号を検出する階調画素とイベント信号を検出するイベント画素とを含んでロウ方向およびカラム方向に画素が配列された有効画素領域と、
    　前記有効画素領域に設けられ、前記イベント画素が遮光された遮光イベント画素と
    を備える撮像装置。
  19. 　前記階調画素は、クワッドベイヤ配列に基づいて前記有効画素領域に配置され、
    　前記クワッドベイヤ配列における４個の赤色画素のうちの２個の赤色画素の位置に前記イベント画素が配置され、
    　前記クワッドベイヤ配列における４個の青色画素のうちの２個の青色画素の位置に前記遮光イベント画素が配置される
    請求項１８に記載の撮像装置。
  20. 　階調信号を検出する階調画素と、
    　イベント信号を検出するイベント画素と、
    　前記イベント画素が遮光された遮光イベント画素と、
    　前記遮光イベント画素からの出力に基づいて、前記イベント画素から出力された誤イベントを検出する検出回路とを備える光検出装置と、
    　前記検出回路で検出された誤イベントに基づいて、前記イベント信号を処理する処理部と
    を備える電子機器。
PCT/JP2023/040680 2023-01-05 2023-11-13 光検出装置、撮像装置および電子機器 Ceased WO2024147229A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023000389 2023-01-05
JP2023-000389 2023-01-05

Publications (1)

Publication Number Publication Date
WO2024147229A1 true WO2024147229A1 (ja) 2024-07-11

Family

ID=91803826

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/040680 Ceased WO2024147229A1 (ja) 2023-01-05 2023-11-13 光検出装置、撮像装置および電子機器

Country Status (1)

Country Link
WO (1) WO2024147229A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085725A (ja) * 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法
US20200312899A1 (en) * 2019-03-28 2020-10-01 Samsung Electronics Co., Ltd. Dynamic vision sensors configured to calibrate event signals using optical black region and methods of operating the same
WO2021112151A1 (en) * 2019-12-02 2021-06-10 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions
WO2021256095A1 (ja) * 2020-06-18 2021-12-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085725A (ja) * 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法
US20200312899A1 (en) * 2019-03-28 2020-10-01 Samsung Electronics Co., Ltd. Dynamic vision sensors configured to calibrate event signals using optical black region and methods of operating the same
WO2021112151A1 (en) * 2019-12-02 2021-06-10 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions
WO2021256095A1 (ja) * 2020-06-18 2021-12-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Similar Documents

Publication Publication Date Title
EP3896966B1 (en) Solid-state imaging device and electronic instrument
JP6981410B2 (ja) 固体撮像装置、電子機器、レンズ制御方法および車両
WO2020066803A1 (ja) 固体撮像素子、および、撮像装置
US12192657B2 (en) Solid-state image sensor and imaging device
US11863892B2 (en) Imaging unit and electronic apparatus with first and second light blocking films
US11997400B2 (en) Imaging element and electronic apparatus
WO2022269997A1 (ja) 固体撮像装置および電子機器
CN112740410A (zh) 固体摄像装置和电子设备
WO2022181155A1 (ja) 撮像装置および電子機器
WO2024147229A1 (ja) 光検出装置、撮像装置および電子機器
WO2024042862A1 (ja) 撮像装置
US11523070B2 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
JP7826288B2 (ja) 撮像素子、電子機器
EP4601315A1 (en) Imaging device
EP4723663A1 (en) Imaging device and imaging method
WO2026018563A1 (ja) コンパレータ、ａｄ変換器および撮像装置
WO2025057805A1 (ja) 撮像素子及び撮像装置
CN121986498A (en) Light detection device
WO2025229794A1 (ja) イメージセンサ
WO2023100547A1 (ja) 撮像装置および電子機器
WO2026023238A1 (ja) カウンタ回路、ａｄ変換器および撮像装置
WO2025094623A1 (ja) 光検出装置
JP2025070564A (ja) 撮像装置およびデコーダ
WO2025192032A1 (ja) 撮像装置および撮像方法
WO2022172642A1 (ja) 固体撮像素子および撮像方法、並びに電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23914717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23914717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP