WO2024100796A1 - 信号処理回路、信号処理方法およびプログラム - Google Patents

信号処理回路、信号処理方法およびプログラム Download PDF

Info

Publication number
WO2024100796A1
WO2024100796A1 PCT/JP2022/041702 JP2022041702W WO2024100796A1 WO 2024100796 A1 WO2024100796 A1 WO 2024100796A1 JP 2022041702 W JP2022041702 W JP 2022041702W WO 2024100796 A1 WO2024100796 A1 WO 2024100796A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
event
sub
signal processing
blocks
Prior art date
Application number
PCT/JP2022/041702
Other languages
English (en)
French (fr)
Inventor
公嘉 水野
清嗣 新井
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2022/041702 priority Critical patent/WO2024100796A1/ja
Publication of WO2024100796A1 publication Critical patent/WO2024100796A1/ja

Links

Images

Definitions

  • the present invention relates to a signal processing circuit, a signal processing method, and a program.
  • An event-based vision sensor is known in which pixels that detect a change in the intensity of incident light generate a signal asynchronously.
  • the EVS is also called an event-driven sensor (EDS), event camera, or dynamic vision sensor (DVS), and includes a sensor array made up of sensors including light-receiving elements.
  • EVS event-driven sensor
  • DVS dynamic vision sensor
  • the EVS 110 When the sensor detects a change in the intensity of the incident light, more specifically, a change in the brightness of the object surface, the EVS 110 generates an event signal that includes a timestamp, sensor identification information, and information on the polarity of the brightness change.
  • the EVS Compared to frame-type vision sensors that scan all pixels at a predetermined cycle, specifically image sensors such as CCD and CMOS, the EVS has the advantage of being able to operate at high speed with low power consumption. Technologies related to such EVS are described, for example, in Patent Document 1 and Patent Document 2.
  • event signals generated by EVSs tended to be similarly bitmapped, i.e., two-dimensional, and processed. In this case, redundant information was added to the event signals generated asynchronously, and the high speed of EVS operation was not fully utilized.
  • the present invention aims to provide a signal processing circuit, a signal processing method, and a program that can process event signals generated by an EVS at higher speeds.
  • a signal processing circuit for processing an event signal generated by an event-based vision sensor (EVS), the signal processing circuit comprising a memory for storing program code and a processor for executing operations according to the program code, the operations including detecting a positional relationship within a block into which a detection area of the EVS is divided, of event signals generated in the block, and dividing the block into at least first and second sub-blocks, and determining whether or not to perform detection based on a first number of the positions included in the first sub-block and a second number of the positions included in the second sub-block.
  • EVS event-based vision sensor
  • a signal processing method for processing an event signal generated by an event-based vision sensor including: detecting, by operations executed by a processor according to program code stored in a memory, a positional relationship within a block into which a detection area of the EVS is divided, of the event signals generated in the block; and dividing the block into at least a first and a second subblock, and determining whether or not to perform detection based on a first number of the positions included in the first subblock and a second number of the positions included in the second subblock.
  • a program for processing event signals generated by an event-based vision sensor including detecting positional relationships within a block into which the detection area of the EVS is divided, of event signals generated in the block, and dividing the block into at least first and second sub-blocks, and determining whether or not to perform detection based on a first number of the positions included in the first sub-block and a second number of the positions included in the second sub-block.
  • EVS event-based vision sensor
  • FIG. 1 is a diagram illustrating a schematic configuration of a signal processing circuit according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing examples of blocks and events. 2 is a diagram for explaining an example of detection of a line segment in the example shown in FIG. 1 .
  • FIG. 2 is a diagram for explaining a method for reducing the influence of noise in the example shown in FIG. 1 .
  • 5 is a flow chart illustrating an example process for implementing the technique illustrated in FIG. 4 .
  • FIG. 13 is a diagram showing another example of a sub-block.
  • FIG. 13 is a diagram showing another example of a sub-block.
  • FIG. 13 is a diagram showing another example of a sub-block.
  • FIG. 13 is a diagram showing another example of detecting a figure formed by a set of positions of event signals.
  • FIG. 11A and 11B are diagrams for explaining an example of processing using a parameter indicating a positional relationship within a block of an event signal.
  • FIG. 13 is a diagram showing a modified example of the arrangement of blocks.
  • FIG. 13 is a diagram showing a modified example of the arrangement of blocks.
  • the signal processing circuit 200 which processes an event signal generated by the event-based vision sensor (EVS) 100, is composed of processing circuits such as a CPU (Central Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), and/or an FPGA (Field-Programmable Gate Array).
  • the signal processing circuit 200 includes a memory 210 composed of various ROMs (Read Only Memories) and/or RAMs (Random Access Memories).
  • the signal processing circuit 200 performs operations as described below in accordance with program codes stored in the memory 210.
  • the post-process 226 may be executed in part or in whole by the signal processing circuit 200, or may be executed by a device or circuit separate from the signal processing circuit 200.
  • An event signal generated by the EVS100 is temporarily stored in the buffer 221, and is distributed by the splitter 222 to block event buffers (BEBs) 223A, 223B, ... (hereinafter collectively referred to as BEB223).
  • the splitter 222 distributes event signals generated in each of the lattice-shaped blocks 310A, 310B, ... (hereinafter collectively referred to as block 310) into which the detection area of the EVS100 is divided, for example as shown in FIG. 2, to the corresponding BEBs 223A, 223B, ....
  • the BEB223 is defined in advance as a buffer that temporarily stores event signals corresponding to each of the lattice-shaped blocks 310 into which the detection area of the EVS100 is divided.
  • the event signal includes, for example, the position x, y in the detection area as information, and may also include the time t at which the event signal was generated as information.
  • the splitter 222 refers to information indicating the positions x and y to determine the BEB 223 to which the event signal is to be distributed. As in the example described below, the splitter 222 may duplicate the event signal and distribute it to two or more BEBs 223.
  • the BEB 223 holds the event signals generated in each block 310.
  • the detector 224 detects a line segment from the set of x, y positions of the event signal held in the BEB 223.
  • the detection of a line segment by the detector 224 is an example of detecting the positional relationship within a block of the event signal generated in the block 310. For example, if an event occurs due to the edge of an object moving within a certain block 310, the set of x, y positions of the event signal forms a line segment.
  • the edge of an object is not necessarily a straight line, the edge of the object can be approximated as a set of line segments by setting an appropriate size for the lattice-shaped block 310.
  • the "positional relationship of the event signal” means data that represents the position of the event signal within a block in a lighter form than a bitmap. Therefore, examples of detecting the positional relationship within a block of the event signal are not limited to detecting a line segment or a straight line, and may include, for example, detecting some kind of figure defined by a finite number of parameters.
  • Detector 224 detects line segments using, for example, a Hough transform or a method that minimizes the sum of the distances from the positions of each event signal to a line. Note that these methods directly detect lines whose start and end points are not specified, and line segments corresponding to lines are detected by limiting the lines to sections within block 310. Detector 224 may detect multiple line segments for one block 310, for example, using a Hough transform. As in the example described below, the detector may detect curves or other figures from a set of event signal positions x, y.
  • the detector 224 outputs parameters 225A, 225B, ... (hereinafter collectively referred to as parameters 225) indicating the detected line segment.
  • Parameter 225A is information indicating the line segment detected by the detector 224 from the event signal generated in block 310A and held in the BEB 223A, and the same applies to parameters 225B and onwards.
  • parameters 225A, 225B, ... are not necessarily output synchronously, but are output asynchronously by the process executed by the detector 224 when the event signal is distributed to one of the BEBs 223 as described above.
  • the output parameters 225 are used as information indicating the detection result of the EVS 100 in the post-process 226.
  • the post-process 226 for example, detection of the movement of the subject, matching of the three-dimensional shape of the subject, or processing of a recognizer using machine learning is executed.
  • FIG. 3 is a diagram for explaining an example of line segment detection in the example shown in FIG. 1.
  • detector 224 executes a process of detecting line segments from a set of positions x, y of the event signals.
  • FIG. 3 a process of detecting line segments when five event signals are in BEB 223 (the actual number of event signals may be more or less) is shown.
  • Event signals E1 to E5 each include positions x1 to x5, y1 to y5 in the detection area as information, and may also include times t1 to t5 at which they were generated as information. Since positions x1 to x5 and y1 to y5 all indicate positions within block 310 to be processed, if the size of block 310 (16 pixels by 16 pixels in the illustrated example) is appropriate, it is not necessary to bitmap the event information, and detector 224 can mathematically detect line segments from positions x1 to x5 and y1 to y5 of event signals E1 to E5 held in BEB 223.
  • an upper limit may be set on the number of event signals held in the BEB 223, and the oldest event signal may be deleted when a new event signal is allocated using a FIFO (First In, First Out) method.
  • a threshold may be set for the difference between the time t of the event signal and the processing time or the time t of the latest event signal, and the detector 224 may not use event signals whose difference exceeds the threshold for detecting the line segment, or may delete them from the BEB 223.
  • the time t of the held event signal may be updated with the time t of the newly assigned event signal to avoid duplication of event signals at the same positions x, y in BEB223.
  • event signals at the same positions x, y do not overlap, it is possible to speed up calculations for detecting line segments, for example.
  • multiple event signals at the same positions x, y but different times t may be held in BEB223.
  • detector 224 outputs parameters including angle ( ⁇ ), distance (r), latest event time (Tnew), and event duration (Duration).
  • the angle ( ⁇ ) indicates the inclination of the line segment with respect to the x-axis
  • the distance (r) indicates the distance (length of the perpendicular line) from the upper left corner of the block to the line segment, but this example is not limited to this and any line segment can be identified according to other known methods (for example, with two parameters indicating the inclination of the line segment and its relative position with respect to the block).
  • the latest event time (Tnew) is the time corresponding to the latest of the event signals used to detect the line segment.
  • the time when the detector 224 outputs the parameter 225 or the time when the post process 226 receives the parameter 225 may be set as the latest event time (Tnew) without referring to the times of the event signals E1 to E5.
  • the post-process 2266 if the variance Var[t] is small even if the event duration is long, it can be determined that the reliability of the detected line segment is high. In addition, if the event duration is long and the variance Var[t] is large, it can be determined that the reliability of the detected line segment is low.
  • FIG. 4 is a diagram for explaining a method for reducing the effect of noise in the example shown in FIG. 1.
  • detector 224 divides block 310 into sub-blocks 311A, 311B, 311C, and 311D of equal area, and determines whether or not to perform line detection in block 310 based on the number of event signal positions (hereinafter also simply referred to as the number of events) contained in each sub-block.
  • sub-blocks 311A, 311B, 311C, and 311D are defined by dividing block 310 in the x and y directions.
  • the detector 224 calculates the ratio of the number of events in the x direction, the y direction, and the intermediate direction between the x direction and the y direction (i.e., the diagonal direction). More specifically, the detector 224 calculates the ratio (N A +N B )/(N C +N D ) in the x direction, the ratio (N A +N C )/(N B +N D ) in the y direction, and the ratio (N A + N D )/(N B +N C ) in the intermediate direction for the number of events N A included in the subblock 311A, the number of events N B included in the subblock 311B, the number of events N C included in the subblock 311C, and the number of events N D included in the subblock 311D .
  • the detector 224 performs line segment detection in block 310. On the other hand, if all of the ratios of the number of events in the three directions are greater than 1/P and less than P, detector 224 does not perform line segment detection in block 310 .
  • the range larger than 1/P and smaller than P is a predetermined range including 1.
  • the number of events included in each of the regions obtained by dividing the block 310 in the x direction i.e., (subblock 311A+subblock 311B) and (subblock 311C+subblock 311D)
  • the predetermined number P it is possible to detect a case where the ratio (N A +N B )/(N C +N D ) is within a range close to 1, that is, a case where events are distributed almost evenly in the region obtained by dividing the block 310 in the x direction.
  • Fig. 5 is a flowchart showing an example of a process for implementing the method shown in Fig. 4.
  • the detector 224 classifies the event signal held in the BEB 223 into subblocks according to the positions x and y (step S102), and calculates the ratio of the number of events for each direction as described above from the number of events N A , N B , N C , and N D contained in the subblock (step S103).
  • the detector 224 performs line segment detection for the block 310 (step S105). Otherwise, that is, if all of the calculated ratios of the number of events are greater than 1/P and less than P, the detector 224 does not perform line segment detection.
  • the method of reducing the effects of noise in this embodiment by not performing line detection in blocks where it is highly likely that an event has been detected mainly due to noise, it is possible to omit processing when it is unlikely that a line will be detected, thereby speeding up calculations and saving processing resources in the signal processing circuit 200. Also, by not performing line detection in blocks where it is highly likely that an event has been detected mainly due to noise, it is possible to improve the reliability of the detected line.
  • the method of comparing the ratio of the number of events contained in each of the sub-blocks obtained by dividing a block in a specified direction with a threshold value is simpler than a method of calculating a statistical quantity such as the variance of the positions of event signals within a block.
  • subblocks are defined in two directions (x direction and y direction) along the coordinate system indicating the position in the detection area of the EVS 100, but in other examples, subblocks may be defined in different directions. Also, it is not necessary to divide a block in two directions to define four subblocks. For example, as in the example shown in FIG. 6, only subblocks 311A and 311B may be defined by dividing the block 310 in the x direction.
  • the detector 224 performs line detection when the ratio NA / NB between the number of events NA in the subblock 311A and the number of events NB in the subblock 311B is 1/P or less or P or more, and does not perform line detection when the ratio NA / NB is greater than 1/P and less than P.
  • the blocks do not necessarily need to be divided along a coordinate system that indicates the position within the detection area of the EVS 100.
  • the block 310 may be divided into subblocks 311E, 311F, 311G, and 311H in directions that intersect with the line segments L1 and L2 that are expected to be detected.
  • the two directions that divide the block 310 do not need to be orthogonal.
  • a block may be divided into subblocks in three or more directions.
  • the condition for detecting the line segment is that the ratio of the number of events in any direction is less than or equal to 1/P or greater than P (OR condition), and the condition for not detecting the line segment is the mutually exclusive condition, that is, the ratio of the number of events in all directions is greater than 1/P and less than P (AND condition).
  • whether or not to perform line detection is determined based on the ratio of the number of events contained in the subblocks. In other examples, however, whether or not to perform line detection may be determined based on the difference in the number of events.
  • the closeness of the number of events in a subblock may be calculated as in equation (3) using a function Distance that outputs the closeness of two numbers as in the following equation (1) or equation (2). Note that in equations (1) to (3), x, y and a, b, c, and d represent the number of events. In this case, the closer the numbers of events in the subblocks are to each other, the more likely it is that the event signals in the blocks are detected mainly due to noise. Also, if the number of events in one subblock is far from the number of events in the other subblock, it is considered that the event signals in the block are detected due to the movement of the edge of the object, etc.
  • FIG. 8 is a diagram showing another example of detecting a figure formed by a set of event signal positions.
  • a detector provided in addition to or instead of the detector 224 shown in FIG. 1 detects a circular arc from a set of positions x, y of the event signal E.
  • the detector outputs parameters including the center position (pos), radius (r), start angle ( ⁇ s), end angle ( ⁇ e), latest event time (Tnew), and event duration (Duration).
  • a curve such as a circular arc or an elliptical arc formed by a set of event signal positions may be detected as the relationship of positions within the block of the event signal generated in block 310.
  • Even when detecting a curve since it is considered that the events in block 310 are distributed biased in one direction, the influence of noise can be reduced by the method described above with reference to FIG. 4 to FIG. 7.
  • FIG. 9 is a diagram for explaining an example of processing using parameters indicating the positional relationship within a block of an event signal.
  • a parameter PRM
  • PRM is output for each block 310 into which the detection area of EVS100 is divided. For example, by comparing PRM1(A,t) output at time t in block 310-1 with PRM1(A,t- ⁇ t) output last time ( ⁇ t before time t) in the same block 310-1, the movement and rotation of the line segment detected in block 310-1 can be calculated.
  • the post-process 226 classifies PRM1, PRM2, ..., PRM N output from each of blocks 310-1, 310-2, ..., 310-N into clusters with similar movement and rotation directions, thereby making it possible to identify clusters (event line segment clusters) PRMsC1, PRMsC2 of parameters that are estimated to have detected a common line segment. Based on parameters classified into the same event line segment cluster, calculations such as affine transformation can be performed on figures that span multiple blocks. Note that while Figure 5 shows straight lines that span multiple blocks, it is also possible to treat curves in the same way, for example as a collection of line segments whose slope changes slightly in each block.
  • the results of the above processing can be used, for example, in detecting the movement of the subject in the post-processing 226, matching three-dimensional shapes of the subject, or processing by a recognizer using machine learning.
  • the parameters 225 are lighter than, for example, bitmapped data of the event signal, and the line segments represented by the parameters 225 can be treated as highly accurate figures that are not restricted by the spatial resolution of the EVS 100, so that calculations such as affine transformations of figures detected from the event signal can be performed quickly and accurately.
  • blocks 310A to 310D are arranged to overlap each other partially. More specifically, adjacent blocks 310A and 310B overlap in area 310M1. Similarly, blocks 310A and 310C overlap in area 310M2, blocks 310B and 310D overlap in area 310M3, and blocks 310C and 310D overlap in area 310M4.
  • This arrangement of blocks 310 allows appropriate line detection even when, for example, the positions of event signals are distributed along the block boundaries.
  • the splitter 222 shown in FIG. 1 copies event signals located in areas 310M1 to 310M4 at the block boundaries and distributes them to block event buffers (BEBs) 223 corresponding to both blocks.
  • BEBs block event buffers
  • block 310 includes block group 310G1 and block group 310G2, and block groups 310G1 and 310G2 overlap and cover the same area.
  • block boundaries are different in block groups 310G1 and 310G2.
  • block groups 310G1 and 310G2 by covering the same area with block groups 310G1 and 310G2 with different boundaries, even if the position of an event is distributed along the boundary of a block in one block group 310G1, a line segment can be detected in the other block group 310G2 (and vice versa).
  • the overlapping area covered by block groups 310G1 and 310G2 does not have to be the entire detection area of EVS100, but may be a part of it.
  • the overlapping area may be dynamically changed according to the detection result of the event signal.
  • the splitter 222 shown in FIG. 1 duplicates event signals in overlapping covered areas and distributes them to block event buffers (BEBs) 223 corresponding to both blocks in block groups 310G1 and 310G2.
  • BEBs block event buffers
  • 100...EVS 200...signal processing circuit, 210...memory, 221...buffer, 222...splitter, 223...block event buffer (BEB), 224...detector, 225...parameter (PRM), 226...post-processing, 310, 310-1, 310-2, 310A, 310B, 310C, 310D...blocks, 310G1, 310G2...block groups, 311A, 311B, 311C, 311D, 311E, 311F, 311G, 311H...sub-blocks.

Landscapes

  • Image Analysis (AREA)

Abstract

イベントベースのビジョンセンサ（ＥＶＳ）で生成されたイベント信号を処理する信号処理回路であって、プログラムコードを格納するためのメモリ、およびプログラムコードに従って動作を実行するためのプロセッサを備え、動作は、ＥＶＳの検出領域を分割したブロックにおいて生成されたイベント信号のブロック内での位置の関係性を検出すること、およびブロックを少なくとも第１および第２のサブブロックに分割し、検出を実行するか否かを第１のサブブロックに含まれる上記位置の第１の数と第２のサブブロックに含まれる上記位置の第２の数とに基づいて決定することを含む信号処理回路が提供される。

Description

信号処理回路、信号処理方法およびプログラム
　本発明は、信号処理回路、信号処理方法およびプログラムに関する。
　入射する光の強度変化を検出した画素が時間非同期的に信号を生成する、イベントベースのビジョンセンサ（ＥＶＳ：Event-based Vision Sensor）が知られている。ＥＶＳは、ＥＤＳ（Event Driven Sensor）、イベントカメラまたはＤＶＳ（Dynamic Vision Sensor）とも呼ばれ、受光素子を含むセンサで構成されるセンサアレイを含む。ＥＶＳ１１０は、センサが入射する光の強度変化、より具体的にはオブジェクト表面の輝度変化を検出したときに、タイムスタンプ、センサの識別情報および輝度変化の極性の情報を含むイベント信号を生成する。ＥＶＳは、所定の周期ごとに全画素をスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなＥＶＳに関する技術は、例えば特許文献１および特許文献２に記載されている。
特表２０１４－５３５０９８号公報 特開２０１８－８５７２５号公報
　しかしながら、ビジョンセンサで生成される信号の処理としてフレーム型ビジョンセンサで用いられる手法での知見が蓄積されていることから、ＥＶＳが生成したイベント信号も同様にビットマップ化、つまり２次元化して処理される傾向があった。この場合、時間非同期的に生成されるイベント信号に冗長な情報を加えた上で処理することになり、ＥＶＳの動作の高速性を十分に活用できていなかった。
　そこで、本発明は、ＥＶＳで生成されたイベント信号をより高速に処理することが可能な信号処理回路、信号処理方法およびプログラムを提供することを目的とする。
　本発明のある観点によれば、イベントベースのビジョンセンサ（ＥＶＳ）で生成されたイベント信号を処理する信号処理回路であって、プログラムコードを格納するためのメモリ、およびプログラムコードに従って動作を実行するためのプロセッサを備え、動作は、ＥＶＳの検出領域を分割したブロックにおいて生成されたイベント信号のブロック内での位置の関係性を検出すること、およびブロックを少なくとも第１および第２のサブブロックに分割し、検出を実行するか否かを第１のサブブロックに含まれる上記位置の第１の数と第２のサブブロックに含まれる上記位置の第２の数とに基づいて決定することを含む信号処理回路が提供される。
　本発明の別の観点によれば、イベントベースのビジョンセンサ（ＥＶＳ）で生成されたイベント信号を処理する信号処理方法であって、プロセッサがメモリに格納されたプログラムコードに従って実行する動作によって、ＥＶＳの検出領域を分割したブロックにおいて生成されたイベント信号のブロック内での位置の関係性を検出すること、およびブロックを少なくとも第１および第２のサブブロックに分割し、検出を実行するか否かを第１のサブブロックに含まれる上記位置の第１の数と第２のサブブロックに含まれる上記位置の第２の数とに基づいて決定することを含む信号処理方法が提供される。
　本発明のさらに別の観点によれば、イベントベースのビジョンセンサ（ＥＶＳ）で生成されたイベント信号を処理するためのプログラムであって、プロセッサがプログラムに従って実行する動作が、ＥＶＳの検出領域を分割したブロックにおいて生成されたイベント信号のブロック内での位置の関係性を検出すること、およびブロックを少なくとも第１および第２のサブブロックに分割し、検出を実行するか否かを第１のサブブロックに含まれる上記位置の第１の数と第２のサブブロックに含まれる上記位置の第２の数とに基づいて決定することを含むプログラムが提供される。
本発明の一実施形態に係る信号処理回路の構成を概略的に示す図である。 ブロックおよびイベントの例を示す模式的な図である。 図１に示された例における線分の検出の例について説明するための図である。 図１に示された例においてノイズの影響を低減する手法について説明するための図である。 図４に示された手法を実施するための処理の例を示すフローチャートである。 サブブロックの他の例を示す図である。 サブブロックの他の例を示す図である。 イベント信号の位置の集合によって形成される図形を検出する別の例を示す図である。 イベント信号のブロック内での位置の関係性を示すパラメータを利用した処理の例について説明するための図である。 ブロックの配置の変形例を示す図である。 ブロックの配置の変形例を示す図である。
　図１は、本発明の一実施形態に係る信号処理回路の構成を概略的に示す図である。イベントベースのビジョンセンサ（ＥＶＳ）１００で生成されたイベント信号を処理する信号処理回路２００は、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、および／またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路によって構成される。信号処理回路２００には、例えば各種のＲＯＭ（Read Only Memory）および／またはＲＡＭ（Random Access Memory）などによって構成されるメモリ２１０が含まれる。信号処理回路２００は、メモリ２１０に格納されたプログラムコードに従って以下で説明するような動作を実行する。なお、ポストプロセス２２６は、その一部または全部が信号処理回路２００で実行されてもよいし、信号処理回路２００とは別の装置または回路によって実行されてもよい。
　ＥＶＳ１００で生成されたイベント信号は、バッファ２２１で一時的に保持され、スプリッタ２２２でブロックイベントバッファ（ＢＥＢ）２２３Ａ，２２３Ｂ，・・・（以下、総称してＢＥＢ２２３ともいう）に振り分けられる。ここで、スプリッタ２２２は、例えば図２に示すようにＥＶＳ１００の検出領域を分割した格子状のブロック３１０Ａ，３１０Ｂ，・・・（以下、総称してブロック３１０ともいう）のそれぞれにおいて生成されたイベント信号を、対応するＢＥＢ２２３Ａ，２２３Ｂ，・・・に振り分ける。ＢＥＢ２２３は、ＥＶＳ１００の検出領域を分割した格子状のブロック３１０のそれぞれに対応するイベント信号を一時的に保持するバッファとして予め定義される。後述する例のようにブロック３１０の設定が動的に変更される場合は、ブロック３１０の設定に対応してＢＥＢ２２３の定義も動的に変更される。イベント信号は、例えば検出領域内での位置ｘ，ｙを情報として含み、生成された時刻ｔも情報として含んでもよい。スプリッタ２２２は、位置ｘ，ｙを示す情報を参照して、イベント信号を振り分けるＢＥＢ２２３を決定する。後述する例のように、スプリッタ２２２は、イベント信号を複製して２つ以上のＢＥＢ２２３に振り分けてもよい。
　ＢＥＢ２２３には、それぞれのブロック３１０において生成されたイベント信号が保持される。検出器２２４は、ＢＥＢ２２３Ａ，２２３Ｂ，・・・のいずれかにイベント信号が振り分けられたときに、そのＢＥＢ２２３に保持されたイベント信号の位置ｘ，ｙの集合から線分を検出する。本実施形態において検出器２２４が線分を検出することは、ブロック３１０において生成されたイベント信号のブロック内での位置の関係性を検出することの例である。例えば、あるブロック３１０内でオブジェクトのエッジが移動したことによってイベントが発生した場合、イベント信号の位置ｘ，ｙの集合は線分を形成する。オブジェクトのエッジは必ずしも直線ではないが、格子状のブロック３１０に適切なサイズが設定されることによって、線分の集合としてオブジェクトのエッジを近似することができる。なお、本明細書において、「イベント信号の位置の関係性」は、ブロック内のイベント信号の位置をビットマップよりも軽量に表現するデータを意味する。従って、イベント信号のブロック内での位置の関係性を検出することの例は、線分または直線を検出することには限られず、例えば有限個のパラメータで定義される何らかの図形を検出することを含みうる。
　検出器２２４は、例えばHough変換や、それぞれのイベント信号の位置から直線までの距離の和を最小化する手法を用いて線分を検出する。なお、これらの手法によって直接的に検出されるのは始点および終点が特定されない直線であり、直線をブロック３１０内の区間に限定することによって直線に対応する線分が検出される。検出器２２４は、例えばHough変換を用いて１つのブロック３１０について複数の線分を検出してもよい。後述する例のように、検出器がイベント信号の位置ｘ，ｙの集合から曲線やその他の図形を検出してもよい。
　より具体的には、検出器２２４は、検出された線分を示すパラメータ２２５Ａ，２２５Ｂ，・・・（以下、総称してパラメータ２２５ともいう）を出力する。パラメータ２２５Ａは、ブロック３１０Ａで生成されＢＥＢ２２３Ａに保持されたイベント信号から検出器２２４が検出した線分を示す情報であり、パラメータ２２５Ｂ以降についても同様である。なお、パラメータ２２５Ａ，２２５Ｂ，・・・は必ずしも同期的に出力されるわけではなく、上述の通り検出器２２４がいずれかのＢＥＢ２２３にイベント信号が振り分けられたときに実行する処理によって非同期的に出力される。出力されたパラメータ２２５は、ポストプロセス２２６でＥＶＳ１００の検出結果を示す情報として利用される。ポストプロセス２２６としては、例えば被写体の動きの検出、被写体に対する３次元形状のマッチングまたは機械学習を使った認識器の処理などが実行される。
　図３は、図１に示された例における線分の検出の例について説明するための図である。上述のように、本実施形態では、ＥＶＳ１００の検出領域を分割した格子状のブロック３１０のそれぞれに対応するブロックイベントバッファ（ＢＥＢ）２２３にイベント信号が振り分けられたときに、検出器２２４がイベント信号の位置ｘ，ｙの集合から線分を検出する処理を実行する。図３に示された例では、模式的に５つのイベント信号がＢＥＢ２２３にある場合（実際のイベント信号の数はより多くても少なくてもよい）に線分を検出する処理が示されている。イベント信号Ｅ１～Ｅ５は、それぞれ検出領域内での位置ｘ１～ｘ５，ｙ１～ｙ５を情報として含み、生成された時刻ｔ１～ｔ５を情報として含んでもよい。位置ｘ１～ｘ５，ｙ１～ｙ５はいずれも処理対象のブロック３１０内の位置を示すため、ブロック３１０のサイズ（図示された例では１６ピクセル×１６ピクセル）が適切であればイベント情報をビットマップ化することは必要ではなく、検出器２２４はＢＥＢ２２３内に保持されたイベント信号Ｅ１～Ｅ５の位置ｘ１～ｘ５，ｙ１～ｙ５から数学的に線分を検出することができる。
　ここで、検出器２２４における線分の検出にあたって、例えばＢＥＢ２２３内に保持されるイベント信号の数に上限を設定し、ＦＩＦＯ（First In, First Out）方式で新たなイベント信号が振り分けられたときに最も古いイベント信号を削除してもよい。あるいは、イベント信号の時刻ｔについて、処理時刻または最新のイベント信号の時刻ｔとの差分に閾値を設定し、差分が閾値を超えるイベント信号については検出器２２４が線分の検出に使用しないか、またはＢＥＢ２２３から削除してもよい。
　また、ＢＥＢ２２３に保持されているイベント信号と同じ位置ｘ，ｙのイベント信号が新たに振り分けられた場合、例えば保持されているイベント信号の時刻ｔを新たに振り分けられたイベント信号の時刻ｔで更新して、ＢＥＢ２２３内で同じ位置ｘ，ｙのイベント信号が重複することを回避してもよい。この場合、同じ位置ｘ，ｙのイベント信号が重複しないことを前提にすることによって、例えば線分を検出するための演算を高速化することができる。あるいは、同じ位置ｘ，ｙで時刻ｔが異なる複数のイベント信号がＢＥＢ２２３で保持されてもよい。
　上記で図３に示された例において、検出器２２４は、角度（θ）、距離（ｒ）、最新イベント時刻（Ｔｎｅｗ）およびイベント継続時間（Ｄｕｒａｔｉｏｎ）を含むパラメータを出力する。角度（θ）は線分のｘ軸に対する傾きを示し、距離（ｒ）はブロックの左上角から線分までの距離（垂線の長さ）を示すが、この例に限られず公知の他の手法に従って（例えば線分の傾きとブロックに対する相対位置とを示す２つのパラメータで）任意の線分を特定することができる。最新イベント時刻（Ｔｎｅｗ）は、線分の検出に用いられたイベント信号のうち最新のものに対応する時刻である。最新イベント時刻（Ｔｎｅｗ）は、例えば線分の検出に用いられたイベント信号Ｅ１～Ｅ５の時刻ｔ１～ｔ５から最新のものを抽出することによって特定されてもよい（図３の例の場合、Ｔｎｅｗ＝ｔ５）。あるいは、線分の検出は最新のイベント信号がＢＥＢ２３２に振り分けられたときに実行されるため、イベント信号Ｅ１～Ｅ５の時刻は参照せずに、検出器２２４がパラメータ２２５を出力した時刻、またはポストプロセス２２６がパラメータ２２５を受け取った時刻を最新イベント時刻（Ｔｎｅｗ）として設定してもよい。
　イベント継続時間は、線分の検出に用いられたイベント信号Ｅ１～Ｅ５の時刻ｔ１～ｔ５のうち、最初の時刻と最後の時刻との差分である（つまり、図３の例においてＤｕｒａｔｉｏｎ＝ｔ５－ｔ１）。イベント継続時間の情報から、線分がどの程度の時間に発生したイベント信号に基づいて検出されたかを知ることができる。例えば、イベント継続時間が著しく長い場合、線分の検出にはノイズとして検出されたイベント信号が多く用いられており、例えばポストプロセス２２６において検出された線分の信頼性が低いという判断がされてもよい。また、検出器２２４は、イベント信号が生成された時刻の時系列上での分散Ｖａｒ［ｔ］を出力してもよい。この場合、ポストプロセス２２６では、イベント継続時間が長くても分散Ｖａｒ［ｔ］が小さい場合には、検出された線分の信頼性が高いという判断をすることができる。また、イベント継続時間が長く、分散Ｖａｒ［ｔ］も大きい場合は、検出された線分の信頼性が低いという判断をすることができる。
　図４は、図１に示された例においてノイズの影響を低減する手法について説明するための図である。本実施形態において検出器２２４は、ブロック３１０を面積の等しいサブブロック３１１Ａ，３１１Ｂ，３１１Ｃ，３１１Ｄに分割し、それぞれのサブブロックに含まれるイベント信号の位置の数（以下、単にイベントの数ともいう）に基づいてブロック３１０で線分の検出を実行するか否かを決定する。図示された例では、ブロック３１０をｘ方向およびｙ方向について分割することによってサブブロック３１１Ａ，３１１Ｂ，３１１Ｃ，３１１Ｄが定義される。
　上記の例において、検出器２２４は、ｘ方向、ｙ方向ならびにｘ方向およびｙ方向の中間方向（つまり、斜め方向）について、イベントの数の比を算出する。より具体的には、検出器２２４は、サブブロック３１１Ａに含まれるイベントの数ＮＡ、サブブロック３１１Ｂに含まれるイベントの数ＮＢ、サブブロック３１１Ｃに含まれるイベントの数ＮＣ、およびサブブロック３１１Ｄに含まれるイベントの数ＮＤについて、ｘ方向の比（ＮＡ＋ＮＢ）／（ＮＣ＋ＮＤ）、ｙ方向の比（ＮＡ＋ＮＣ）／（ＮＢ＋ＮＤ）および中間方向の比（ＮＡ＋ＮＤ）／（ＮＢ＋ＮＣ）を算出する。３方向のイベントの数の比のうち少なくとも１つが所定の数Ｐ（＞１）に対して１／Ｐ以下であるか、またはＰ以上である場合に、検出器２２４はブロック３１０で線分の検出を実行する。一方、３方向のイベントの数の比のすべてが１／Ｐよりも大きくＰよりも小さい場合、検出器２２４はブロック３１０では線分の検出を実行しない。
　ここで、１／Ｐよりも大きくＰよりも小さい範囲は、１を含む所定の範囲である。例えば（ＮＡ＋ＮＢ）／（ＮＣ＋ＮＤ）＝１の場合、ブロック３１０をｘ方向に２分割した領域、すなわち（サブブロック３１１Ａ＋サブブロック３１１Ｂ）および（サブブロック３１１Ｃ＋サブブロック３１１Ｄ）にそれぞれ含まれるイベントの数は同じである（ＮＡ＋ＮＢ＝ＮＣ＋ＮＤ）。所定の数Ｐを適切に設定することによって、比（ＮＡ＋ＮＢ）／（ＮＣ＋ＮＤ）が１に近い範囲内にある場合、すなわちイベントがブロック３１０をｘ方向に２分割した領域にほぼ均等に分布している場合を検出することができる。ｙ方向の比（ＮＡ＋ＮＣ）／（ＮＢ＋ＮＤ）、および中間方向の比（ＮＡ＋ＮＤ）／（ＮＢ＋ＮＣ）についても同様である。オブジェクトのエッジの移動などによってイベント信号が検出されている場合、ブロック３１０内のイベントはｘ方向、ｙ方向またはｘ方向およびｙ方向の中間方向の少なくともいずれかに偏って分布すると考えられるため、少なくとも１つの比が１／Ｐ以下であるか、またはＰ以上である場合に線分の検出を実行する。一方、比（ＮＡ＋ＮＢ）／（ＮＣ＋ＮＤ）、比（ＮＡ＋ＮＣ）／（ＮＢ＋ＮＤ）および比（ＮＡ＋ＮＤ）／（ＮＢ＋ＮＣ）がいずれも１に近い範囲内にあり、ブロック３１０内のイベントがｘ方向、ｙ方向ならびにｘ方向およびｙ方向の中間方向のすべてについてほぼ均等に分布している場合、これらのイベント信号は主にノイズによって検出されており、線分の検出を実行しても線分が検出されないか、または信頼性の低い線分が検出される可能性が高いため、線分の検出を実行しない。
　図５は、図４に示された手法を実施するための処理の例を示すフローチャートである。図示されているように、検出器２２４は、対応するブロックイベントバッファ（ＢＥＢ）２２３にイベント信号が振り分けられたときに（ステップＳ１０１）、ＢＥＢ２２３内に保持されたイベント信号を位置ｘ，ｙに応じてサブブロックに分類し（ステップＳ１０２）、サブブロックに含まれるイベント数ＮＡ，ＮＢ，ＮＣ，ＮＤから上述したような方向ごとのイベントの数の比を算出する（ステップＳ１０３）。算出されたイベント数の比のうち少なくとも１つが１／Ｐ以下またはＰ以上であれば（ステップＳ１０４）、検出器２２４はブロック３１０について線分の検出を実行する（ステップＳ１０５）。そうではない場合、すなわち算出されたイベント数の比のすべてが１／Ｐよりも大きくＰよりも小さい場合、検出器２２４は線分の検出を実行しない。
　以上のような本実施形態におけるノイズの影響を低減する手法によれば、主にノイズによってイベントが検出された可能性が高いブロックでは線分の検出を実行しないことによって、線分が検出される可能性が低い場合の処理を省略して演算を高速化し、信号処理回路２００の処理リソースを節約することができる。また、主にノイズによってイベントが検出された可能性が高いブロックでは線分の検出を実行しないことによって、検出される線分の信頼性を向上させることができる。ブロックを所定の方向について分割したサブブロックのそれぞれに含まれるイベント数の比を閾値と比較する手法は、例えばブロック内のイベント信号の位置の分散のような統計量を算出する手法に比べて簡便である。
　なお、上記の例ではＥＶＳ１００の検出領域内での位置を示す座標系に沿った２つの方向（ｘ方向およびｙ方向）についてブロックを分割してサブブロックが定義されたが、他の例では異なる方向にブロックを分割してサブブロックを定義してもよい。また、必ずしも２つの方向にブロックを分割して４つのサブブロックを定義しなくてもよい。例えば、図６に示された例のように、ブロック３１０をｘ方向に分割したサブブロック３１１Ａ，３１１Ｂだけを定義してもよい。この場合、検出器２２４は、サブブロック３１１Ａのイベント数ＮＡとサブブロック３１１Ｂのイベント数ＮＢとの比ＮＡ／ＮＢが１／Ｐ以下またはＰ以上である場合は線分の検出を実行し、比ＮＡ／ＮＢが１／Ｐよりも大きくＰよりも小さい場合は線分の検出を実行しない。例えば、オブジェクトの特性からｙ方向に延びるエッジによってイベントが発生する確率が高いことが知られている場合、検出されることが想定されるｙ方向の線分Ｌに対して垂直なｘ方向にブロック３１０を分割したサブブロックの間でイベントの分布に偏りが生じると考えられるため、上記のような１方向のみの分割によるサブブロックでもノイズの影響を有効に低減することができる。
　また、他の例では、必ずしもＥＶＳ１００の検出領域内での位置を示す座標系に沿ってブロックを分割しなくてもよい。例えば図７に示された例のように、検出されることが想定される線分Ｌ１，Ｌ２に対してそれぞれ交差する方向にブロック３１０を分割してサブブロック３１１Ｅ，３１１Ｆ，３１１Ｇ，３１１Ｈを定義してもよい。このような場合において、ブロック３１０を分割する２つの方向は直交していなくてもよい。また、例えば、３つ以上の方向についてブロックを分割してサブブロックを定義してもよい。この場合、例えば、線分の検出を実行するための条件は、いずれかの方向についてイベント数の比が１／Ｐ以下またはＰ以上であること（ＯＲ条件）であり、線分の検出を実行しないための条件はその排反条件、すなわちすべての方向についてイベント数の比が１／Ｐよりも大きくＰよりも小さいこと（ＡＮＤ条件）である。
　また、上記の例ではサブブロックに含まれるイベント数の比に基づいて線分の検出を実行するか否かが決定されたが、他の例ではイベント数の差に基づいて線分の検出を実行するか否かが決定されてもよい。あるいは、例えば以下の式（１）または式（２）のように２つの数の近さを出力する関数Distanceを用いて、式（３）のようにサブブロック内のイベント数の近さ（closeness）を算出してもよい。なお、式（１）～（３）においてｘ，ｙおよびａ，ｂ，ｃ，ｄはイベント数を表す。この場合、サブブロック内のイベント数が互いに近いほどブロック内のイベント信号が主にノイズによって検出されている可能性が高いと考えられる。また、いずれかのサブブロック内のイベント数が他のサブブロック内のイベント数から遠ければ、ブロック内のイベント信号がオブジェクトのエッジの移動などによって検出されていると考えられる。
Figure JPOXMLDOC01-appb-M000001
　図８は、イベント信号の位置の集合によって形成される図形を検出する別の例を示す図である。図示された例では、図１に示した検出器２２４に加えて、またはこれに代えて設けられる検出器が、イベント信号Ｅの位置ｘ，ｙの集合から円弧を検出する。この場合、検出器は、円の中心の位置（ｐｏｓ）、半径（ｒ）、始点角度（θｓ）、終点角度（θｅ）、最新イベント時刻（Ｔｎｅｗ）およびイベント継続時間（Ｄｕｒａｔｉｏｎ）を含むパラメータを出力する。このように、ブロック３１０において生成されたイベント信号のブロック内での位置の関係性として、イベント信号の位置の集合によって形成される円弧や楕円弧のような曲線が検出されてもよい。曲線を検出する場合も、ブロック３１０内のイベントはいずれかの方向に偏って分布すると考えられるため、上記で図４から図７を参照して説明したような手法でノイズの影響を低減することができる。
　図９は、イベント信号のブロック内での位置の関係性を示すパラメータを利用した処理の例について説明するための図である。上述したように、本実施形態では、ＥＶＳ１００の検出領域を分割したブロック３１０ごとにパラメータ（ＰＲＭ）が出力される。例えばブロック３１０－１で時刻ｔに出力されたＰＲＭ１（Ａ，ｔ）と、同じブロック３１０－１で前回（時刻ｔよりもΔｔだけ過去）に出力されたＰＲＭ１（Ａ，ｔ－Δｔ）とを比較することによって、ブロック３１０－１で検出された線分の移動や回転を算出することができる。ポストプロセス２２６では、このような算出結果に基づいて、ブロック３１０－１，３１０－２，・・・，３１０－Ｎのそれぞれで出力されたＰＲＭ１，ＰＲＭ２，・・・，ＰＲＭ　Ｎを移動方向や回転方向が近いもの同士でクラスタに分類することによって、共通する線分が検出されていると推定されるパラメータのクラスタ（イベント線分クラスタ）ＰＲＭｓＣ１，ＰＲＭｓＣ２を特定することができる。同じイベント線分クラスタに分類されたパラメータに基づいて、複数のブロックにまたがる図形に対するアフィン変換などの演算を実行することができる。なお、図５では複数のブロックにまたがる直線が示されているが、例えば各ブロックで傾きが少しずつ変化する線分の集合として曲線を同様に扱うことも可能である。
　本実施形態では、上記のような処理の結果を、例えばポストプロセス２２６における被写体の動きの検出、被写体に対する３次元形状のマッチングまたは機械学習を使った認識器の処理などで利用することができる。パラメータ２２５は、例えばイベント信号をビットマップ化したデータに比べて軽量であり、またパラメータ２２５によって表現された線分はＥＶＳ１００の空間解像度に制約されない高精度な図形として取り扱うことができるため、イベント信号から検出された図形に対するアフィン変換などの演算を高速かつ正確に実行することができる。
　図１０および図１１は、ブロックの配置の変形例を示す図である。図１０に示された例では、ブロック３１０Ａ～３１０Ｄがそれぞれ部分的に重複して配置される。より具体的には、互いに隣接するブロック３１０Ａとブロック３１０Ｂとは、領域３１０Ｍ１で重複する。同様に、ブロック３１０Ａとブロック３１０Ｃとは領域３１０Ｍ２で重複し、ブロック３１０Ｂとブロック３１０Ｄとは領域３１０Ｍ３で重複し、ブロック３１０Ｃとブロック３１０Ｄとは領域３１０Ｍ４で重複する。このようなブロック３１０の配置によって、例えば、イベント信号の位置がブロックの境界に沿って分布している場合にも適切に線分を検出することができる。この例において、図１に示したスプリッタ２２２は、ブロック境界の領域３１０Ｍ１～３１０Ｍ４に位置するイベント信号については、複製して両方のブロックに対応するブロックイベントバッファ（ＢＥＢ）２２３に振り分ける。
　図１１に示された例では、ブロック３１０が、ブロック群３１０Ｇ１とブロック群３１０Ｇ２とを含み、ブロック群３１０Ｇ１，３１０Ｇ２は同じ領域を重複してカバーする。また、ブロック群３１０Ｇ１，３１０Ｇ２において、ブロックの境界は異なる。つまり、この例では、境界が異なるブロック群３１０Ｇ１，３１０Ｇ２で同じ領域をカバーすることによって、イベントの位置が一方のブロック群３１０Ｇ１におけるブロックの境界に沿って分布している場合にも他方のブロック群３１０Ｇ２で線分を検出することができる（逆も同様）。なお、ブロック群３１０Ｇ１，３１０Ｇ２によって重複してカバーされる領域はＥＶＳ１００の検出領域の全体でなくてもよく、一部であってもよい。この場合、重複してカバーされる領域は、イベント信号の検出結果に応じて動的に変更されてもよい。この例において、図１に示したスプリッタ２２２は、重複してカバーされる領域のイベント信号については、複製してブロック群３１０Ｇ１，３１０Ｇ２の両方のブロックに対応するブロックイベントバッファ（ＢＥＢ）２２３に振り分ける。
　例えば図１０および図１１に示したようなブロックの配置を適用すれば、例えばイベント信号の位置がブロックの境界に沿って分布しているような場合にも、上記で図４から図７を参照して説明したようなノイズの影響を低減する手法をより効果的に機能させることができる。
　１００…ＥＶＳ、２００…信号処理回路、２１０…メモリ、２２１…バッファ、２２２…スプリッタ、２２３…ブロックイベントバッファ（ＢＥＢ）、２２４…検出器、２２５…パラメータ（ＰＲＭ）、２２６…ポストプロセス、３１０，３１０－１，３１０－２，３１０Ａ，３１０Ｂ，３１０Ｃ，３１０Ｄ…ブロック、３１０Ｇ１，３１０Ｇ２…ブロック群，３１１Ａ，３１１Ｂ，３１１Ｃ，３１１Ｄ，３１１Ｅ，３１１Ｆ，３１１Ｇ，３１１Ｈ…サブブロック。
 

Claims (10)

  1. 　イベントベースのビジョンセンサ（ＥＶＳ）で生成されたイベント信号を処理する信号処理回路であって、
    　プログラムコードを格納するためのメモリ、および前記プログラムコードに従って動作を実行するためのプロセッサを備え、前記動作は、
    　前記ＥＶＳの検出領域を分割したブロックにおいて生成された前記イベント信号の前記ブロック内での位置の関係性を検出すること、および
    　前記ブロックを少なくとも第１および第２のサブブロックに分割し、前記検出を実行するか否かを前記第１のサブブロックに含まれる前記位置の第１の数と、前記第２のサブブロックに含まれる前記位置の第２の数とに基づいて決定すること
    　を含む信号処理回路。
  2. 　前記決定することは、前記第１の数と前記第２の数との比が１を含む所定の範囲に含まれない場合に前記検出を実行し、前記比が前記所定の範囲に含まれる場合に前記検出を実行しないことを含む、請求項１に記載の信号処理回路。
  3. 　前記決定することは、
    　　前記ブロックを第１および第２の方向について前記第１のサブブロック、前記第２のサブブロック、第３のサブブロックおよび第４のサブブロックに分割し、
    　　前記検出を実行するか否かを前記第１の数、前記第２の数、前記第３のサブブロックに含まれる前記位置の第３の数、および前記第４のサブブロックに含まれる前記位置の第４の数に基づいて決定すること
    　を含む、請求項１に記載の信号処理回路。
  4. 　前記決定することは、前記第１、前記第２、前記第３および前記第４の数から算出される、前記第１の方向、前記第２の方向ならびに前記第１および第２の方向の中間方向のイベントの数の比のうち少なくとも１つが１を含む所定の範囲に含まれない場合に前記検出を実行し、前記イベントの数の比のすべてが前記所定の範囲に含まれる場合に前記検出を実行しないことを含む、請求項３に記載の信号処理回路。
  5. 　前記第１および第２の方向は、互いに直交しない、請求項３に記載の信号処理回路。
  6. 　前記ブロックを検出されることが想定される線分に対して垂直な方向について前記第１および前記第２のサブブロックに分割する、請求項１に記載の信号処理回路。
  7. 　前記ブロックは、互いに隣接する第１のブロックと第２のブロックとを含み、
    　前記第１のブロックと前記第２のブロックとは部分的に重複している、請求項１に記載の信号処理回路。
  8. 　前記ブロックは、第１のブロック群と、前記第１のブロック群に重複し前記第１のブロック群とは境界が異なる第２のブロック群とを含み、
    　前記検出領域の少なくとも一部は、前記第１のブロック群および前記第２のブロック群に重複してカバーされる、請求項１に記載の信号処理回路。
  9. 　イベントベースのビジョンセンサ（ＥＶＳ）で生成されたイベント信号を処理する信号処理方法であって、プロセッサがメモリに格納されたプログラムコードに従って実行する動作によって、
    　前記ＥＶＳの検出領域を分割したブロックにおいて生成された前記イベント信号の前記ブロック内での位置の関係性を検出すること、および
    　前記ブロックを少なくとも第１および第２のサブブロックに分割し、前記検出を実行するか否かを前記第１のサブブロックに含まれる前記位置の第１の数と、前記第２のサブブロックに含まれる前記位置の第２の数とに基づいて決定すること
    　を含む信号処理方法。
  10. 　イベントベースのビジョンセンサ（ＥＶＳ）で生成されたイベント信号を処理するためのプログラムであって、プロセッサが前記プログラムに従って実行する動作が、
    　前記ＥＶＳの検出領域を分割したブロックにおいて生成された前記イベント信号の前記ブロック内での位置の関係性を検出すること、および
    　前記ブロックを少なくとも第１および第２のサブブロックに分割し、前記検出を実行するか否かを前記第１のサブブロックに含まれる前記位置の第１の数と、前記第２のサブブロックに含まれる前記位置の第２の数とに基づいて決定すること
    　を含むプログラム。
     
PCT/JP2022/041702 2022-11-09 2022-11-09 信号処理回路、信号処理方法およびプログラム WO2024100796A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/041702 WO2024100796A1 (ja) 2022-11-09 2022-11-09 信号処理回路、信号処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/041702 WO2024100796A1 (ja) 2022-11-09 2022-11-09 信号処理回路、信号処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2024100796A1 true WO2024100796A1 (ja) 2024-05-16

Family

ID=91032490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041702 WO2024100796A1 (ja) 2022-11-09 2022-11-09 信号処理回路、信号処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2024100796A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019150786A1 (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020261491A1 (ja) * 2019-06-27 2020-12-30 株式会社ソニー・インタラクティブエンタテインメント センサ制御装置、センサ制御方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019150786A1 (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020261491A1 (ja) * 2019-06-27 2020-12-30 株式会社ソニー・インタラクティブエンタテインメント センサ制御装置、センサ制御方法およびプログラム

Similar Documents

Publication Publication Date Title
CN109751973B (zh) 三维测量装置、三维测量方法以及存储介质
EP2838069B1 (en) Apparatus and method for analyzing image including event information
CN103617625B (zh) 一种图像匹配方法及图像匹配装置
US9171364B2 (en) Wafer inspection using free-form care areas
US8600112B2 (en) Crosswalk detection device, crosswalk detection method and recording medium
JP4943616B2 (ja) 直線の欠陥検出
US7274820B2 (en) Pattern evaluation system, pattern evaluation method and program
WO2018150921A1 (ja) 車載環境認識装置
CN113781424A (zh) 一种表面缺陷检测方法、装置及设备
JP6198240B2 (ja) パターンエッジを検出するためのシステム、方法、及びコンピュータ可読媒体
JP5796187B2 (ja) 評価値算出装置及び評価値算出方法
WO2024100796A1 (ja) 信号処理回路、信号処理方法およびプログラム
JP2011007728A (ja) 欠陥検出方法、欠陥検出装置、および欠陥検出プログラム
WO2024075198A1 (ja) 信号処理回路、信号処理方法およびプログラム
WO2024069805A1 (ja) 信号処理回路、信号処理方法およびプログラム
WO2023209843A1 (ja) 信号処理回路、信号処理方法およびプログラム
WO2022017133A1 (zh) 一种点云数据处理方法及装置
JP2007241960A (ja) 移動体カウント装置
CN117203747A (zh) 检测缺陷的系统及计算机可读介质
JP2007141167A (ja) 車線検出装置、車線検出方法、及び車線検出プログラム
JPH11219435A (ja) 自動車用白線検出装置
CN115641350A (zh) Sem图形轮廓点分析方法、装置、计算机设备和程序产品
JP6116959B2 (ja) 物体検出装置
JPH04318912A (ja) パターン位置検出方法
WO2024042995A1 (ja) 光検出装置、および光検出システム