WO2023210330A1 - データ生成装置、データ生成方法、プログラム、解析装置 - Google Patents

データ生成装置、データ生成方法、プログラム、解析装置 Download PDF

Info

Publication number
WO2023210330A1
WO2023210330A1 PCT/JP2023/014589 JP2023014589W WO2023210330A1 WO 2023210330 A1 WO2023210330 A1 WO 2023210330A1 JP 2023014589 W JP2023014589 W JP 2023014589W WO 2023210330 A1 WO2023210330 A1 WO 2023210330A1
Authority
WO
WIPO (PCT)
Prior art keywords
subcluster
events
data generation
information
subclusters
Prior art date
Application number
PCT/JP2023/014589
Other languages
English (en)
French (fr)
Inventor
秀仁 佐藤
進 高塚
弘樹 鉄川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023210330A1 publication Critical patent/WO2023210330A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data

Definitions

  • the present technology relates to a data generation device, a data generation method, a program, and an analysis device, and particularly relates to a technology using a vision sensor.
  • An asynchronous vision sensor (solid-state image sensor) has been proposed that detects in real time as an event that the amount of incident light exceeds a predetermined threshold in each pixel arranged in a two-dimensional grid (for example, Patent Document 1 ).
  • a vision sensor that detects an event on a pixel-by-pixel basis is called a DVS (Dynamic Vision Sensor) or an EVS (Event-Based Vision Sensor).
  • the number of detected events increases as the object image becomes larger. Therefore, in a device using a vision sensor, if all information related to detected events is recorded, the amount of data may become enormous.
  • the present technology aims to reduce the amount of data when using a vision sensor.
  • the data generation device classifies events detected by a vision sensor in which pixels are two-dimensionally arranged to asynchronously detect events that occur based on the brightness of incident light, according to predetermined conditions. and a data generation section that generates information regarding the subclusters based on information on the classified events. Thereby, the data generation device does not need to record all event signals of events detected by the vision sensor, and can record only information related to subclusters.
  • FIG. 2 is a diagram illustrating the configuration of a measurement system.
  • FIG. 2 is a diagram illustrating the configuration of a data generation device.
  • FIG. 2 is a diagram illustrating the configuration of a vision sensor.
  • FIG. 2 is a diagram illustrating an overview of an event signal output from a vision sensor.
  • FIG. 3 is a diagram illustrating a captured image based on an event signal. It is a figure explaining the event in a captured image. It is a figure explaining subcluster formation processing. It is a figure explaining subcluster formation processing. It is a figure explaining subcluster formation processing. It is a figure explaining subcluster formation processing. It is a figure explaining subcluster formation processing. It is a figure explaining subcluster formation processing. It is a figure explaining subcluster formation processing. It is a figure explaining subcluster formation processing. It is a figure explaining subcluster formation processing. It is a figure explaining subcluster formation processing. It is a figure explaining subcluster formation processing.
  • FIG. 3 is a diagram illustrating an example of a data structure of a subcluster.
  • FIG. 3 is a diagram illustrating an example of a data structure of a subcluster. It is a flow chart showing the flow of subcluster formation processing.
  • FIG. 2 is a diagram illustrating the configuration of an analysis device. 3 is a flowchart showing the flow of analysis processing. It is a figure explaining the structure of the data generation device of a modification.
  • FIG. 1 is a diagram illustrating the configuration of a measurement system 1. As shown in FIG. As shown in FIG. 1, the measurement system 1 includes an imaging device 2 and an analysis device 3.
  • the imaging device 2 uses the vision sensor 13 to detect an event based on a change in brightness. Further, the imaging device 2 generates information regarding a subcluster corresponding to a part of the object as subcluster data based on information regarding the detected event (event signal).
  • the imaging device 2 images various objects.
  • the imaging device 2 is placed, for example, underwater, and images an object existing underwater.
  • target objects are living things and non-living things that exist in water.
  • the target organisms are aquatic microorganisms such as phytoplankton, zooplankton, and larvae of aquatic organisms that exist in water.
  • target non-living objects include microplastics, dust, sand, marine snow, and air bubbles. Therefore, in the following, a case will be described in which the imaging device 2 is placed underwater and images an object existing underwater.
  • the imaging device 2 may be placed other than underwater, for example, on land, and may image an object existing on land. That is, the imaging target may be any object.
  • the analysis device 3 receives subcluster data from the imaging device 2, and generates (calculates) information regarding the imaged object (for example, feature amounts, types, and the number of each type described later) based on the received subcluster data. do.
  • FIG. 2 is a diagram illustrating the configuration of the imaging device 2. As shown in FIG. As shown in FIG. 2, the imaging device 2 includes a main body section 11 and an illumination section 12. Note that the illumination section 12 may be provided within the main body section 11.
  • the main body section 11 includes a vision sensor 13, a lens 14, a signal analysis section 15, a control section 16, a memory 17, a gravity sensor 18, and a communication section 19.
  • a diffraction grating instead of the lens 14, a diffraction grating, a zone plate, a mask film, a three-dimensional scatterer, etc. may be used.
  • FIG. 3 is a diagram illustrating the configuration of the vision sensor 13.
  • FIG. 4 is a diagram illustrating an outline of an event signal output from the vision sensor 13.
  • the vision sensor 13 is a sensor called DVS (Dynamic Vision Sensor) or EVS (Event-Based Vision Sensor).
  • the vision sensor 13 detects events that occur within a predetermined imaging range.
  • An event is something that occurs in response to a change in the brightness of incident light; for example, the change in brightness of incident light exceeds a threshold value.
  • the vision sensor 13 has a plurality of pixels each including a photodiode 31, a voltage conversion circuit 32, an asynchronous difference detection circuit 33, and a comparator 34 arranged in a two-dimensional square grid.
  • a photodiode 31 When the photodiode 31 is irradiated with incident light, it generates a current proportional to the brightness of the incident light due to the photoelectric effect.
  • the voltage conversion circuit 32 converts the current generated by the photodiode 31 into voltage.
  • the asynchronous difference detection circuit 33 detects the difference between the voltage converted by the voltage conversion circuit 32 and the reference voltage.
  • the comparator 34 When the voltage difference exceeds the positive threshold, the comparator 34 outputs an event signal (indicated by a black arrow in the figure) indicating that a positive event has occurred. Furthermore, when the voltage difference exceeds (below) the minus threshold, the comparator 34 outputs an event signal (indicated by a white arrow in the figure) indicating that a minus event has occurred.
  • the event signal includes information regarding the detected event, such as the coordinates (x, y) of the pixel where the event was detected, time, and the sign (plus or minus) of the event.
  • the plus threshold and the minus threshold are usually set to predetermined default values, but can be changed depending on the case.
  • a negative event signal is output at time T1.
  • a voltage corresponding to the current brightness is set as the reference voltage.
  • a line corresponding to the positive threshold (indicated by a dashed line in the figure) is set on the positive side with respect to the reference voltage, and a line corresponding to the negative threshold is set on the negative side with respect to the reference voltage (indicated by the broken line in the figure). ) will be set.
  • the vision sensor 13 outputs a negative event signal.
  • the reference voltage is set similarly to time T1, and lines corresponding to the plus threshold and the minus threshold are set.
  • the vision sensor 13 outputs a minus event signal.
  • the reference voltage is set similarly to time T1, and lines corresponding to the plus threshold and the minus threshold are set.
  • the vision sensor 13 outputs a plus event signal.
  • the vision sensor 13 is an asynchronous image sensor that detects events for each pixel in real time.
  • the vision sensor 13 an event signal readout operation is performed for pixels in which the occurrence of an event has been detected. Therefore, the vision sensor 13 can perform much faster readout than a synchronous image sensor, in which the readout operation is executed for all pixels at a predetermined frame rate, and can also reduce power consumption. becomes.
  • the signal analysis unit 15 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory).
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the signal analysis section 15 functions as a subcluster formation section 21 and a data generation section 22 in this embodiment.
  • the subcluster forming unit 21 forms subclusters by classifying events detected by the vision sensor 13 according to predetermined conditions.
  • the data generation unit 22 generates information regarding subclusters based on event signals of events divided into subclusters. Note that the subcluster forming section 21 and data generating section 22 will be described in detail later.
  • a "subcluster” is formed by dividing a plurality of events detected by the vision sensor 13 according to predetermined conditions. Furthermore, a “cluster” is formed by associating a plurality of subclusters based on the same object. Therefore, clusters can be formed for each object imaged by the vision sensor 13. Note that one cluster may be formed by only one subcluster.
  • the control unit 16 includes, for example, a microcomputer having a CPU, ROM, and RAM, and performs overall control of the imaging device 2. Further, the control unit 16 performs a process of reading data recorded in the memory 17, a process of recording data in the memory 17, and transmits and receives various data to and from an external device via the communication unit 19. Note that the signal analysis section 15 and the control section 16 may be configured by the same hardware.
  • the memory 17 is composed of a recording medium such as a nonvolatile memory.
  • the memory 17 may be detachably attached to the imaging device 2 .
  • the gravity sensor 18 detects gravitational acceleration (in the direction of gravity) and outputs the detection result to the control unit 16.
  • the communication unit 19 performs wired or wireless data communication with an external device. Note that the imaging device 2 does not need to include both or one of the gravity sensor 18 and the communication unit 19.
  • the illumination unit 12 irradiates the imaging range of the vision sensor 13 with light.
  • the illumination unit 12 can switch and emit light with different wavelengths, and emit light with different wavelengths, for example, every 10 nm. Note that the imaging device 2 may not include the illumination unit 12 depending on conditions such as environmental light.
  • the data compression process includes a noise removal process, a subcluster formation process, and a data generation process, which will be described below.
  • FIG. 5 is a diagram illustrating a captured image based on an event signal.
  • FIG. 6 is a diagram illustrating events in a captured image. Note that in FIG. 6, pixels of the captured image are expressed by a plurality of grids.
  • an event signal reading operation is performed for the pixel in which an event has been detected. Therefore, as shown in FIG. 5, when one frame of captured image is generated based on event signals acquired within a predetermined time, a point group of events based on the same object (more specifically, the movement of the object) ( (hereinafter referred to as event point group 41) are collectively photographed. On the other hand, in addition to these event point groups 41, many events as noise are also captured.
  • the subcluster forming unit 21 first removes events that are not object-based events (valid events), that is, events that are noise.
  • the subcluster forming unit 21 generates clusters around an event 42 (shown in black in the figure) based on an event signal acquired within the latest 1 ms (for example, 2 to 3 horizontally and vertically). It is determined whether there is a predetermined number of events 43 (indicated by hatching in the figure) based on event signals acquired within, for example, 3 ms before that pixel).
  • the predetermined number is set to a value that makes it possible to distinguish whether the event 42 is noise or a part of the event point group 41.
  • the subcluster forming unit 21 determines that the event 42 is part of the event point group 41 and is a valid event. On the other hand, if there are less than a predetermined number of events 43 around an event 42, the subcluster forming unit 21 determines that the event 42 is not part of the event point group 41 and is an invalid event, that is, noise.
  • the subcluster forming unit 21 removes noise from the events 42 based on the event signal acquired from the vision sensor 13 at predetermined intervals (for example, every 1 ms), and targets only valid events for subsequent processing. shall be.
  • the amount of data may become enormous depending on the size of the object on the imaging surface. Furthermore, if the amount of data (number of events) increases, the amount of calculations and processing load will increase when the data is used later.
  • events that have been validated by noise removal are divided into subclusters, and information regarding the subclusters is generated and recorded as subcluster data based on the event signals of the divided events. This makes it possible to reduce the amount of data and reduce the processing load in subsequent stages, compared to the case where the event signal itself is recorded.
  • FIGS. 7 to 12 are diagrams illustrating subcluster formation processing.
  • FIG. 7 shows an event point cloud 41 based on the same object (here, a microorganism).
  • An example of forming subclusters for the event point group 41 shown in FIG. 7 will be described below.
  • the event point group 41 shown in FIG. 7 is a collection of events detected at different times.
  • the event 44 (first event 44) that formed the subcluster 45 is shown in black, and the event 44 added to the subcluster 45 is shown in hatching.
  • the sizes of pixels in the event point group 41 and FIGS. 8 to 12 are different.
  • the subcluster forming unit 21 creates a new subcluster that includes the event 44.
  • a subcluster 45 is generated (formed). Further, the subcluster forming unit 21 assigns a unique ID to the generated subcluster 45.
  • the subcluster 45 generated here includes only one event 44.
  • the subcluster forming unit 21 determines whether the detected event 44 satisfies a predetermined condition for being included in the formed subcluster 45.
  • the predetermined conditions are, for example, that the vertical and horizontal dimensions (vertical and horizontal dimensions) of the subcluster 45 are equal to or less than the maximum dimension (for example, 20 pixels x 20 pixels), and that the number of events of the subcluster 45 is the maximum number (for example, 1 10,000 points) or less.
  • the subcluster forming unit 21 adds the event 44 (indicated by hatching in the figure) to a subcluster 45 for which the predetermined condition is satisfied. Note that if the event 44 satisfies a predetermined condition for a plurality of subclusters 45, the subcluster forming unit 21 selects a specific one from the subclusters 45 that satisfy the predetermined condition, and assigns the event 44 to the selected subcluster 45. Add.
  • various methods can be considered for selecting the sub-cluster 45. For example, the subcluster forming unit 21 may preferentially select the subcluster 45 generated first or last. Further, the subcluster forming unit 21 may preferentially select the subcluster 45 with the largest number of events.
  • the subcluster forming unit 21 generates (forms) a new subcluster 45 including the event 44, as shown in FIGS. 10 and 11. )do.
  • the subcluster forming unit 21 determines whether a predetermined condition for being included in an existing subcluster 45 is met, and if the predetermined condition is met, the event 44 is added to the subcluster 45, and if the predetermined condition is not satisfied, a new subcluster 45 is formed.
  • a plurality of subclusters 45 may be formed for the same object (event point group 41). Furthermore, the subclusters 45 may overlap each other (including the same coordinates). Furthermore, if the object is moving, subclusters 45 for that object will be formed while moving.
  • a plurality of subclusters 45 formed from the same object and the event point group 41 are overlapped and compared.
  • FIGS. 13 and 14 are diagrams illustrating an example of the data structure of a subcluster. Note that X, n, m, and l in FIGS. 13 and 14 represent integers.
  • the amount of data may become enormous. Therefore, in this embodiment, instead of recording the event signal itself, it is compressed and recorded in a form that can be used in subsequent processing (analysis processing by the analysis device 3) as information representing the subcluster 45. .
  • the data generating unit 22 When the sub-clusters 45 are formed, the data generating unit 22 generates a total number of newly added events (for example, at predetermined intervals (for example, 1 ms) for all the formed sub-clusters, as shown in FIG. 13). The total number of new events), the center coordinates of the sub-cluster 45, and the vertical and horizontal dimensions (the number of pixels in the vertical and horizontal directions) of the sub-cluster 45 are calculated.
  • the data generation unit 22 generates subcluster data 51 by associating the current time, the calculated total number of new events, center coordinates, and vertical and horizontal dimensions with the ID of the subcluster 45.
  • the generated subcluster data 51 will be recorded in the memory 17 by the control unit 16. Therefore, the control unit 16 functions as a data recording unit that records the subcluster data 51 in the memory 17.
  • the data generation unit 22 calculates the total number of new events and the total number of positive events (new positive polarity events) among newly added events at predetermined intervals (for example, 1 ms). total number). Then, the data generation unit 22 generates subcluster data 52 by associating the current time, the calculated total number of new events, and the calculated total number of new positive polarity events with the ID of the subcluster. In addition, the data generation unit 22 calculates the center coordinates, vertical and horizontal dimensions, total number of events, and number of repetitions of the sub-cluster 45 at intervals that are longer than a predetermined interval (for example, 4 ms), and calculates the calculated center coordinates and vertical and horizontal dimensions. , the total number of events, and the number of repetitions are associated with the ID of the subcluster to generate subcluster data 52.
  • predetermined intervals for example, 1 ms. total number
  • the data generation unit 22 calculates the center coordinates, vertical and horizontal dimensions, total number of events, and number of repetitions of the sub-
  • the total number of new events that require high time resolution are calculated and recorded at predetermined intervals, and the center coordinates, vertical and horizontal dimensions, and total number of events that do not require high time resolution are calculated and recorded at predetermined intervals. Open it, calculate, and record. This makes it possible to further reduce the amount of data while maintaining the necessary amount of information.
  • FIG. 15 is a flowchart showing the flow of data compression processing.
  • the subcluster forming unit 21 acquires an event signal from the vision sensor 13 in step S1.
  • the subcluster forming unit 21 performs noise removal processing on events based on the acquired event signal, and extracts only valid events.
  • step S3 the subcluster forming unit 21 determines whether the event extracted in step S2 is included in the range where the vertical and horizontal dimensions of the existing subcluster 45 are equal to or less than the maximum dimension.
  • step S4 the sub-cluster forming unit 21 adds the event to the sub-cluster 45. Then, it is determined whether the number of events in that subcluster 45 is less than or equal to the maximum number. As a result, if the number of events in the subcluster 45 is equal to or less than the maximum number (Yes in step S4), the subcluster forming unit 21 adds the event to the subcluster 45 in step S5.
  • steps S3 and S4 it is determined whether the event extracted in step S2 satisfies a predetermined condition for being included in the existing sub-cluster 45.
  • step S6 the subcluster forming unit 21 forms a new subcluster 45 and adds the event to the new subcluster 45.
  • step S7 the data generation unit 22 calculates and generates subcluster data for the subcluster 45. Then, the data generation unit 22 records the generated subcluster data in the memory 17 via the control unit 16.
  • FIG. 16 is a diagram illustrating the configuration of the analysis device 3. As shown in FIG. 16, the analysis device 3 includes a control section 61, a memory 62, a communication section 63, an operation section 64, and a display section 65.
  • the control unit 61 includes, for example, a microcomputer having a CPU, ROM, and RAM, and performs overall control of the analysis device 3.
  • the control unit 61 includes a data acquisition unit 71, a reclustering unit 72, and an object information generation unit 73.
  • the data acquisition unit 71 acquires subcluster data generated and recorded by the imaging device 2.
  • the data acquisition unit 71 may acquire subcluster data from the imaging device 2 via the communication unit 63, and if the memory 17 (recording medium) of the imaging device 2 is installed as the memory 62 Alternatively, the information may be obtained from the memory 62.
  • the reclustering unit 72 associates a plurality of subclusters to form a cluster based on the subcluster data.
  • the object information generation unit 73 calculates information regarding the object indicated by the cluster based on subcluster data of the subcluster associated with the cluster. Note that the re-clustering section 72 and the object information generating section 73 will be described in detail later.
  • the memory 62 is composed of a storage medium such as a nonvolatile memory.
  • the memory 62 may be detachably attached to the analysis device 3.
  • the communication unit 63 performs wired or wireless data communication with an external device.
  • the operation unit 64 accepts an input operation by the user and outputs a signal corresponding to the input operation by the user to the control unit 61.
  • the display unit 65 is configured with an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, and displays various images.
  • the analysis process includes a re-clustering process, a feature amount calculation process, and a cluster classification process, which will be described below.
  • the reclustering unit 72 combines subclusters 45 based on the same object as one cluster 46 (see FIG. 12) based on the acquired subcluster data ( ).
  • the re-clustering unit 72 separates sub-clusters 45 whose center coordinates are within a predetermined distance range and whose formation times are within a predetermined time range from the same object. It is associated as the detected subcluster 45.
  • the predetermined distance range is a distance range that is considered to be the same object.
  • the predetermined time range is a time range in which the objects are considered to be the same.
  • the cluster 46 associated with the plurality of subclusters 45 includes information regarding the shape of the object, as also shown in FIG. 12. Furthermore, if the object is moving over time, the cluster 46 will be associated with sub-clusters 45 whose positions differ depending on the direction of movement of the object, so information regarding the moving direction, speed, etc. of the object will be associated. will be included. In this way, a cluster 46 with which a plurality of subclusters 45 are associated includes information regarding the object indicated by the cluster 46.
  • the object information generation unit 73 calculates feature amounts for the clusters 46 re-clustered by the re-clustering unit 72.
  • Possible feature amounts include movement-related, frequency-related, event-related, and shape-related feature amounts.
  • the movement-related features are the average speed of the cluster 46, body length, body width, frequency of angular changes, body length ratio of average speed, body length ratio of instantaneous maximum speed, direction change persistence, presence or absence of chemotaxis, positive and negative of chemotaxis. , stopping frequency, longitudinal mobility, lateral mobility, constant velocity, width of arc of rotation, period of spiral motion, dispersion of speed, maximum instantaneous acceleration, etc.
  • chemotaxis includes phototaxis, thermotaxis, chemotaxis, haptotaxis, pressureotaxis, electrotaxis, and the like.
  • the frequency-related feature amount includes the frequency of increase/decrease (change) in the number of events, the frequency of increase/decrease in size change, etc.
  • Event-related feature amounts include the ratio of positive events and negative events, the rate of increase in events, and the like.
  • Shape-related feature amounts include a vertical and horizontal scale ratio, a change range of the vertical and horizontal scale ratio, and the like. Note that these are examples of feature amounts, and other feature amounts may be used.
  • the object information generation unit 73 calculates feature amounts classified into movement-related, frequency-related, event-related, and shape-related for the cluster 46.
  • feature quantities of the cluster 46 are calculated: average speed, body length, and frequency of angle change.
  • the object information generation unit 73 calculates the center coordinates of the cluster 46 at each time based on the center coordinates and vertical and horizontal dimensions of the subcluster 45 associated with the cluster 46 at each time. Then, the object information generation unit 73 calculates the moving distance of the cluster 46 by tracking the center coordinates of the cluster 46, and calculates the average speed by dividing the calculated moving distance by the time taken for the movement. calculate.
  • the object information generation unit 73 calculates the vertical and horizontal dimensions of the cluster 46 at each time based on the central coordinates and the vertical and horizontal dimensions at each time of the subcluster 45 associated with the cluster 46 . Then, the object information generation unit 73 averages the vertical and horizontal dimensions at each time, and determines the longer of the calculated horizontal length and vertical length as the body length.
  • the object information generation unit 73 calculates the traveling direction vector of the cluster 46 at each time by tracking the center coordinates of the cluster 46, similarly to when calculating the average speed. Thereafter, the object information generation unit 73 calculates the inner product of the unit lengths of the front and rear traveling direction vectors, that is, the angle formed by the front and rear traveling direction vectors. Then, the object information generation unit 73 counts the number of times that the angle formed by the forward and backward traveling direction vectors is within a predetermined angle range, and uses the count value as the frequency of angle change. Note that the predetermined angle is set to the angle at which the object changes direction.
  • the object information generation unit 73 specifies the classification of the cluster 46, that is, the type of the object, based on the calculated feature amount.
  • the type of object may be specified based on a rule base, or may be specified using machine learning.
  • a range of feature amounts is set for each type to be specified, and this information is stored in the ROM or memory 62. Then, when the feature amount of the cluster 46 is included within the range of the feature amount of a specific type, the object information generation unit 73 specifies that the cluster 46 is of that specific type.
  • a learning model is first generated by learning the relationship between the known feature amounts and type for each type as training data, and the learning model is stored in the ROM or memory 62. remembered. Then, the object information generation unit 73 specifies the type of the cluster 46 by introducing the feature amount of the cluster 46 into the learning model.
  • the object information generation unit 73 comprehensively identifies the type from various feature amounts.
  • the object information generation unit 73 may calculate the number for each type by adding up the number of clusters 46 for each specified type.
  • FIG. 17 is a flowchart showing the flow of analysis processing.
  • the subcluster data acquisition unit 71 acquires subcluster data from the imaging device 2 in step S11.
  • the re-clustering unit 72 performs a re-clustering process to associate sub-clusters 45 based on the same object as one cluster 46 based on the acquired sub-cluster data.
  • step S13 the object information generation unit 73 performs feature amount calculation processing to calculate feature amounts for the cluster 46 that has been reclustered.
  • step S14 the object information generation unit 73 performs cluster classification processing to identify the type of cluster 46 based on the calculated feature amount.
  • the imaging device 2 may include an imaging sensor.
  • the image sensor is, for example, a CCD (Charge Coupled Device) type or CMOS (Complementary Metal-Oxide-Semiconductor) type image sensor, and may be configured to image the same imaging range as the vision sensor 13.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide-Semiconductor
  • the subcluster forming section 21 and the data generating section 22 are provided in the imaging device 2, and the subcluster data obtaining section 71, the reclustering section 72, and the object information generating section 73 are provided in the analyzing device 3. I did it like that.
  • these functional units may be provided in one device, or may be provided in three or more devices.
  • the signal analysis unit 15 of the imaging device 100 including the vision sensor 13 includes a subcluster formation unit 21, a data generation unit 22, a subcluster data acquisition unit 71, a reclustering unit 72, and object information. It may also function as the generation unit 73.
  • the subcluster data acquisition unit 71 can be omitted.
  • the imaging device may include the vision sensor 13, and the subcluster forming unit 21 and the data generation unit 22 may be included in the analysis device 3, or a device (computer) different from the imaging device and the analysis device 3. It may be possible to prepare for
  • the predetermined conditions for determining whether the newly detected event 44 is included in the subcluster 45 are that the vertical and horizontal dimensions of the subcluster 45 are equal to or less than the maximum dimensions, and The number of events was set to be less than or equal to the maximum number.
  • the predetermined condition may be other than this.
  • the information may include that the event was detected within a predetermined time from the time when the first added event was detected.
  • the maximum vertical and horizontal dimensions may be dynamically changed depending on the state of the sub-cluster 45 or the state of the re-clustering unit 72 or the like.
  • the data amount can be reduced by setting a larger maximum dimension.
  • the compression ratio can be improved.
  • the sub-clusters can be clustered by setting a larger maximum dimension. 45 can be reduced, and the processing load on the re-clustering unit 72 can be reduced.
  • the subcluster data includes time, total number of new events, center coordinates, vertical and horizontal dimensions, and the like.
  • other information may be included as long as the information is required in the analysis process and the amount of data can be compressed compared to the case where event signals are recorded. Any of the information may not be included.
  • an event detected by the vision sensor 13 in which pixels are arranged two-dimensionally for asynchronously detecting an event that occurs in response to a change in the brightness of incident light a subcluster forming unit 21 that forms subclusters by dividing them according to predetermined conditions; a data generating unit 22 that generates information regarding subclusters (subcluster data) based on information on the classified events; Equipped with Thereby, the data generation device does not need to record all event signals of events detected by the vision sensor 13, and can record only information regarding the sub-cluster 45.
  • the data generation device can reduce the data volume of recorded data without generally reducing the amount of information about the object.
  • the maximum size of the subcluster 45 is determined in advance, and the subcluster forming unit 21 divides the events so that the subcluster 45 has a maximum size or less.
  • the data generation device can reduce the possibility that events detected from different objects located at spatially distant positions are classified into the same sub-cluster 45. Therefore, the data generation device can maintain data accuracy of subcluster data.
  • the maximum number of events that can be divided into sub-clusters 45 is predetermined, and the sub-cluster forming unit 21 divides the events so that the number of events that can be divided into sub-clusters 45 is equal to or less than the maximum number.
  • the data generation device can reduce events detected from different objects that are spatially close but temporally distant from being grouped into the same subcluster 45. Therefore, the data generation device can maintain data accuracy of subcluster data.
  • the maximum size and the maximum number of events to be divided into subclusters 45 are predetermined, and the subcluster forming unit 21 is configured such that the subclusters 45 have a maximum size or less and are divided into subclusters 45.
  • the events are divided so that the number of events is less than or equal to the maximum number.
  • the data generation unit 22 generates information regarding the subcluster 45 at predetermined intervals. Thereby, the data generation unit 22 calculates information regarding the sub-clusters 45 based on event signals of events classified into the sub-clusters 45 at predetermined intervals. Therefore, the data generation device can generate subcluster data that maintains the temporal resolution of events detected at high speed.
  • the data generation unit 22 calculates the number of events classified into the subclusters 45 as information regarding the subclusters 45 (subcluster data). This allows the data generation device to understand the movement of objects, etc. based on changes in the number of events.
  • the data generation unit 22 calculates the center coordinates of the sub-cluster 45 as information regarding the sub-cluster 45. This allows the data generation device to compress information regarding the shape and position of the object indicated by the subcluster 45.
  • the data generation unit 22 calculates the vertical and horizontal dimensions of the subcluster as information regarding the subcluster 45. This allows the data generation device to compress information regarding the shape and position of the object indicated by the subcluster 45.
  • the data generation unit 22 calculates information regarding the number of events divided into sub-clusters 45 at predetermined intervals, and calculates information other than information regarding the number of events at intervals longer than the predetermined intervals. As a result, the number of events that require high time resolution is calculated at short intervals, and other information that does not require as much time resolution is acquired at longer intervals, thereby reducing the amount of data while maintaining data accuracy. It can be further reduced.
  • the data generation device also includes a reclustering unit 72 that generates clusters 46 by associating a plurality of subclusters based on information regarding subclusters 45 . Thereby, the data generation device can connect sub-clusters 45 based on the same object and calculate (specify) the feature amount, type, etc. of the object.
  • the data generation device also includes an object information generation unit that generates information about the object indicated by the cluster 46 based on information about the subcluster 45 associated with the cluster 46. Thereby, the data generation device can calculate (specify) the feature amount, type, etc. of the object indicated by the cluster 46.
  • the data generation device uses the vision sensor 13 in which pixels are arranged two-dimensionally to asynchronously detect events that occur in response to changes in the brightness of incident light.
  • Subclusters are generated by classifying events according to predetermined conditions, and information regarding the subclusters is generated based on information on the classified events.
  • the program of the embodiment detects an event detected by the vision sensor 13 in which pixels are arranged two-dimensionally, which asynchronously detects an event that occurs in response to a change in the brightness of incident light, according to a predetermined condition. By dividing, subclusters are generated, and information regarding the subclusters is generated based on the information of the divided events.
  • Such a program can be recorded in advance in an HDD as a recording medium built into equipment such as a computer device, or in a ROM in a microcomputer having a CPU.
  • a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a Blu-ray Disc (registered trademark), a magnetic disk, a semiconductor memory It can be stored (recorded) temporarily or permanently in a removable recording medium such as a memory card.
  • a removable recording medium can be provided as so-called package software.
  • it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • a sub-cluster data acquisition unit 71 that acquires information (sub-cluster data) regarding the sub-clusters 45 formed by the classification, and an object information generation unit that generates information regarding objects based on the information regarding the sub-clusters 45.
  • the analysis device 3 can calculate (specify) information regarding the object indicated by the sub-cluster 45 based on the sub-cluster data whose data amount has been compressed.
  • the present technology can also adopt the following configuration.
  • Sub-cluster formation in which sub-clusters are formed by dividing events detected by a vision sensor in which pixels are two-dimensionally arranged to asynchronously detect events that occur based on the brightness of incident light, according to predetermined conditions.
  • Department and a data generation unit that generates information regarding the subcluster based on information on the classified event;
  • a data generation device comprising: (2) a maximum dimension of the subcluster is predetermined;
  • a maximum number of the events to be divided into the sub-clusters is predetermined;
  • the sub-cluster has a maximum size and a maximum number of events to be classified in advance, and The subcluster forming unit divides the events such that the subcluster has a maximum size or less, and the number of events divided into the subclusters is not more than the maximum number.
  • the data generation device according to any one of (8).
  • the data generation device (10) The data generation device according to any one of (1) to (9), including a reclustering unit that associates a plurality of the subclusters to form a cluster based on information regarding the subclusters.
  • the data generation device (11) The data generation device according to (10), further comprising an object information generation unit that generates information about the object indicated by the cluster based on information about the subcluster associated with the cluster.
  • the data generation device Generating subclusters by dividing the events detected by a vision sensor in which pixels that asynchronously detect events that occur in response to changes in the brightness of incident light are arranged two-dimensionally according to predetermined conditions; A data generation method that generates information regarding the subcluster based on information on the classified event.
  • a reclustering unit that generates clusters by associating the plurality of subclusters based on information regarding the subclusters;
  • the analysis device according to (14), wherein the object information generation unit generates information regarding the object indicated by the cluster based on information regarding the subcluster associated with the cluster.
  • Measurement system 2 Data generation device 3 Analysis device 13 Vision sensor 15 Signal analysis section 21 Subcluster formation section 22 Information generation section 61 Control section 71 Subcluster data acquisition section 72 Reclustering section 73 Object information generation section

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

データ生成装置は、入射光の輝度に基づいて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサで検出された前記イベントを、所定条件に応じて区分けすることでサブクラスターを形成するサブクラスター形成部と、区分けされたイベントの情報に基づいてサブクラスターに関する情報を生成するデータ生成部と、を備える。

Description

データ生成装置、データ生成方法、プログラム、解析装置
　本技術はデータ生成装置、データ生成方法、プログラム、解析装置に関し、特に、ビジョンセンサを用いる技術に関する。
　二次元格子状に配置された各画素において入射光の光量が所定の閾値を超えたことをイベントとしてリアルタイムに検出する非同期型のビジョンセンサ（固体撮像素子）が提案されている（例えば特許文献１）。このように、画素毎にイベントを検出するビジョンセンサは、ＤＶＳ（Dynamic Vision Sensor）またはＥＶＳ（Event-Based Vision Sensor）と呼ばれている。
国際公開第２０１９／０８７４７１号
　上記したビジョンセンサでは、物体像が大きくなるに連れて検出されるイベント数も増加することになる。そのため、ビジョンセンサを用いた装置では、検出されたイベントに関する情報を全て記録していくとなると、データ量が膨大となるおそれがある。
　そこで本技術は、ビジョンセンサを用いた際のデータ量を低減することを目的とする。
　本技術に係るデータ生成装置は、入射光の輝度に基づいて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサで検出された前記イベントを、所定条件に応じて区分けすることでサブクラスターを形成するサブクラスター形成部と、区分けされた前記イベントの情報に基づいて前記サブクラスターに関する情報を生成するデータ生成部と、を備える。
　これにより、データ生成装置は、ビジョンセンサで検出されたイベントのイベント信号を全て記録させる必要がなく、サブクラスターに関する情報のみを記録させることが可能となる。
測定システムの構成を説明する図である。 データ生成装置の構成を説明する図である。 ビジョンセンサの構成を説明する図である。 ビジョンセンサから出力されるイベント信号の概要を説明する図である。 イベント信号に基づく撮像画像を説明する図である。 撮像画像におけるイベントを説明する図である。 サブクラスター形成処理を説明する図である。 サブクラスター形成処理を説明する図である。 サブクラスター形成処理を説明する図である。 サブクラスター形成処理を説明する図である。 サブクラスター形成処理を説明する図である。 サブクラスター形成処理を説明する図である。 サブクラスターのデータ構造の一例を説明する図である。 サブクラスターのデータ構造の一例を説明する図である。 サブクラスター形成処理の流れを示したフローチャートである。 解析装置の構成を説明する図である。 解析処理の流れを示したフローチャートである。 変形例のデータ生成装置の構成を説明する図である。
　以下、実施形態を次の順序で説明する。
＜１．測定システム１の構成＞
＜２．撮像装置２の構成＞
＜３．データ圧縮処理＞
＜４．解析装置３の構成＞
＜５．解析処理＞
＜６．データ生成システムの他の構成例＞
＜７．実施形態のまとめ＞
＜８．本技術＞
＜１．測定システム１の構成＞
　先ず、本技術に係る実施形態の測定システム１の構成について説明する。図１は、測定システム１の構成を説明する図である。図１に示すように、測定システム１は、撮像装置２および解析装置３を備える。
　撮像装置２は、詳しくは後述するように、ビジョンセンサ１３によって輝度変化に基づくイベントを検出する。また、撮像装置２は、検出したイベントに関する情報（イベント信号）に基づいて、物体の一部に相当するサブクラスターに関する情報をサブクラスターデータとして生成する。
　ここで、撮像装置２は、様々な物体を対象として撮像することが考えられる。その一例として、撮像装置２は、例えば水中に配置され、水中に存在する物体を撮像する。対象となる物体の一例としては、水中に存在する生物および非生物である。対象となる生物は、水中に存在する植物プランクトン、動物プランクトン、水中生物の幼生等の水中微生物である。また、対象となる非生物は、マイクロプラスチック、塵、砂、マリンスノー、気泡等である。
　そこで、以下では、撮像装置２が水中に配置され、水中に存在する物体を撮像する場合について説明する。ただし、撮像装置２は、水中以外の例えば陸上に配置され、陸上に存在する物体を撮像するようにしてもよい。すなわち、撮像対象はどのような物体であってもよい。
　解析装置３は、撮像装置２からサブクラスターデータを受け取り、受け取ったサブクラスターデータに基づいて、撮像された物体に関する情報（例えば、後述する特徴量、種別、種別ごとの数）を生成（算出）する。
＜２．撮像装置２の構成＞
　図２は、撮像装置２の構成を説明する図である。図２に示すように、撮像装置２は、本体部１１および照明部１２を備える。なお、照明部１２は、本体部１１内に設けられるようにしてもよい。
　本体部１１は、ビジョンセンサ１３、レンズ１４、信号解析部１５、制御部１６、メモリ１７、重力センサ１８、通信部１９を備える。なお、レンズ１４の代わりに、回折格子、ゾーンプレート、マスクフィルム、三次元散乱体等を用いてもよい。
　図３は、ビジョンセンサ１３の構成を説明する図である。図４は、ビジョンセンサ１３から出力されるイベント信号の概要を説明する図である。
　ビジョンセンサ１３は、ＤＶＳ（Dynamic Vision Sensor）またはＥＶＳ（Event-Based Vision Sensor）と呼ばれるセンサである。ビジョンセンサ１３は、所定の撮像範囲で発生するイベントを検出する。イベントとは、入射光の輝度変化に応じて発生するものであり、例えば、入射光の輝度変化が閾値を超えることである。
　図３に示すように、ビジョンセンサ１３は、フォトダイオード３１、電圧変換回路３２、非同期差分検出回路３３および比較器３４を有する複数の画素が二次元正方格子状に配列されている。フォトダイオード３１は、入射光が照射されると、光電効果により入射光の輝度に比例した電流を発生させる。電圧変換回路３２は、フォトダイオード３１で発生した電流を電圧に変換する。非同期差分検出回路３３は、電圧変換回路３２によって変換された電圧と、基準電圧との差分を検出する。
　比較器３４は、電圧差分がプラス閾値を超えた場合に、プラスのイベントが発生したことを示すイベント信号（図中、黒塗り矢印で示す）を出力する。また、比較器３４は、電圧差分がマイナス閾値を超えた場合（下回った場合）に、マイナスのイベントが発生したことを示すイベント信号（図中、白抜き矢印で示す）を出力する。
　なお、イベント信号には、検出されたイベントに関する情報として、イベントが検出された画素の座標（ｘ、ｙ）、時刻、イベントの正負（プラスまたはマイナス）等の情報が含まれている。また、プラス閾値およびマイナス閾値は、通常、予め決められた既定値に設定されているが、場合によって変更可能となっている。
　例えば、図４に示すように、時刻Ｔ１においてマイナスのイベント信号を出力したとする。このとき、現在の輝度に応じた電圧が基準電圧として設定される。そうすると、基準電圧に対してプラス側にプラス閾値に相当するライン（図中、一点鎖線で示す）が設定されるとともに、基準電圧に対してマイナス側にマイナス閾値に相当するライン（図中、破線で示す）が設定されることになる。
　その後、入射光の輝度が下がり時刻Ｔ２においてマイナス閾値に相当するラインを下回ると、ビジョンセンサ１３はマイナスのイベント信号を出力する。このとき、時刻Ｔ１と同様に基準電圧が設定され、プラス閾値およびマイナス閾値に相当するラインが設定されることになる。
　また、入射光の輝度が下がり時刻Ｔ３においてマイナス閾値に相当するラインを超えると、ビジョンセンサ１３はマイナスのイベント信号を出力する。このとき、時刻Ｔ１と同様に基準電圧が設定され、プラス閾値およびマイナス閾値に相当するラインが設定されることになる。
　その後、入射光の輝度が上がり時刻Ｔ４においてプラス閾値に相当するラインを超えると、ビジョンセンサ１３はプラスのイベント信号を出力する。
　このように、ビジョンセンサ１３は、画素ごとにイベントをリアルタイムに検出する非同期型のイメージセンサである。
　ビジョンセンサ１３では、イベントの発生が検出された画素に対してイベント信号の読み出し動作が実行される。そのため、ビジョンセンサ１３では、所定のフレームレートで全ての画素に対して読み出し動作が実行される同期型のイメージセンサよりも非常に高速な読み出しが可能となるとともに、消費電力を低減することも可能となる。
　信号解析部１５は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、および、ＲＡＭ（Random Access Memory）を有するマイクロコンピュータを備えて構成される。
　信号解析部１５は、図２に示すように、本実施形態において、サブクラスター形成部２１およびデータ生成部２２として機能する。
　サブクラスター形成部２１は、ビジョンセンサ１３で検出されたイベントを、所定条件に応じて区分けすることでサブクラスターを形成する。
　データ生成部２２は、サブクラスターに区分けされたイベントのイベント信号に基づいてサブクラスターに関する情報を生成する。
　なお、これらサブクラスター形成部２１、データ生成部２２について詳しくは後述する。
　ここで、「サブクラスター」とは、ビジョンセンサ１３で検出された複数のイベントを所定条件に応じて区分けすることにより形成されるものである。
　また、「クラスター」とは、同一の物体に基づく複数のサブクラスターが関連付けられることによって形成されるものである。したがって、ビジョンセンサ１３で撮像される物体ごとにクラスターがそれぞれ形成可能である。
　なお、１つのクラスターが、１つのサブクラスターのみによって形成されることがあってもよい。
　制御部１６は、例えばＣＰＵ、ＲＯＭおよびＲＡＭを有するマイクロコンピュータを備えて構成され、撮像装置２の全体制御を行う。また、制御部１６は、メモリ１７に記録されたデータの読み出し処理やメモリ１７にデータを記録させる処理、および、通信部１９を介した外部機器との間での各種データの送受信を行う。なお、信号解析部１５および制御部１６は、同一のハードウェアによって構成されるようにしてもよい。
　メモリ１７は、不揮発性メモリ等の記録媒体で構成される。メモリ１７は、撮像装置２に対して着脱自在とされてもよい。
　重力センサ１８は、重力加速度（重力方向）を検出し、検出結果を制御部１６に出力する。
　通信部１９は、外部機器との間で有線または無線によるデータ通信を行う。
　なお、撮像装置２は、重力センサ１８および通信部１９の双方または一方を備えていなくてもよい。
　照明部１２は、ビジョンセンサ１３の撮像範囲に光を照射する。照明部１２は、波長が異なる光を切り替えて照射可能であり、例えば１０ｎｍごとの異なる波長の光を照射する。なお、撮像装置２は、環境光などの条件によっては照明部１２を備えていなくてもよい。
＜３．データ圧縮処理＞
　次に、信号解析部１５により行われるデータ圧縮処理について説明する。データ圧縮処理は、以下で説明するノイズ除去処理、サブクラスター形成処理およびデータ生成処理を含むものである。
［３．１．ノイズ除去処理］
　図５は、イベント信号に基づく撮像画像を説明する図である。図６は、撮像画像におけるイベントを説明する図である。なお、図６では、複数の格子によって撮像画像の画素を表現している。
　ビジョンセンサ１３では、イベントが検出された画素に対してイベント信号の読み出し動作が実行される。そのため、図５に示すように、所定時間内で取得されるイベント信号に基づいて１フレームの撮像画像を生成した場合、同一の物体（より詳しくは、物体の動き）に基づくイベントの点群（以下、イベント点群４１と表記する）がまとまって写る。一方で、これらのイベント点群４１以外にも、ノイズとしてのイベントが多数写っている。
　そこで、サブクラスター形成部２１は、まず、物体に基づくイベント（有効なイベント）でないイベント、すなわち、ノイズであるイベントを除去する。
　具体的には、サブクラスター形成部２１は、図６に示すように、例えば最新の１ｍｓ内に取得したイベント信号に基づくイベント４２（図中、黒塗りで示す）の周辺（例えば縦横２～３ピクセル内）に、それよりも以前の例えば３ｍｓ内に取得したイベント信号に基づくイベント４３（図中、ハッチングで示す）が所定数あるかを判定する。ここで、所定数は、そのイベント４２がノイズであるかイベント点群４１の一部であるかを区別可能な値に設定されている。
　そして、サブクラスター形成部２１は、イベント４２の周辺に所定数以上のイベント４３がある場合、そのイベント４２がイベント点群４１の一部であり有効なイベントと判定する。
　一方、サブクラスター形成部２１は、イベント４２の周辺に所定数未満のイベント４３しかない場合、そのイベント４２がイベント点群４１の一部でなく無効なイベント、すなわち、ノイズであると判定する。
　このように、サブクラスター形成部２１は、所定間隔ごと（例えば、１ｍｓごと）に、ビジョンセンサ１３から取得したイベント信号に基づくイベント４２からノイズを除去し、有効なイベントのみを後段の処理の対象とする。
［３．２．サブクラスター形成処理］
　ところで、同一の物体に基づくイベント点群４１について、全てのイベント信号（イベントの情報）を記録する場合、データ量が撮像面上での物体の寸法の２乗に比例して増加することになる。
　例えば、水平方向（横方向）および垂直方向（縦方向）の画素数が数十ピクセルの範囲に物体が写っている場合、その物体に基づくイベント信号の数は約１万点となるとする。このような場合において、水平方向および垂直方向の画素数が数百ピクセルの範囲に物体が写るとなると、イベント信号の数は約１００万点となる。
　このように、イベント信号を全て記録していくとなると、撮像面上での物体の大きさによってはデータ量が膨大になってしまうおそれがある。また、データ量（イベント点数）が多くなると、その後においてデータを利用する際に、計算量が多くなり処理負荷も増加することになる。
　そこで、本実施形態では、ノイズ除去により有効とされたイベントをサブクラスターに区分けし、区分けしたイベントのイベント信号に基づいてサブクラスターに関する情報をサブクラスターデータとして生成、記録する。これにより、イベント信号そのものを記録していく場合と比べて、データ量の削減、および、後段での処理負荷の低減を可能にする。
　図７～図１２は、サブクラスター形成処理を説明する図である。図７は、同一の物体（ここでは微生物）に基づくイベント点群４１を示している。そして、以下では、図７に示すイベント点群４１についてサブクラスターを形成する例を説明する。
　なお、図７に示すイベント点群４１は、異なる時刻で検出されたイベントをまとめて表示しているものである。また、図８～図１２では、サブクラスター４５を形成する元となったイベント４４（最初のイベント４４）を黒塗りで示し、サブクラスター４５に追加されたイベント４４をハッチングで示している。また、説明の便宜上、イベント点群４１と図８～図１２における画素の大きさは異なるものである。
　図８に示すように、サブクラスター形成部２１は、ノイズ除去により有効とされたイベント４４が見つかると、そのイベント４４を含むことが可能なサブクラスターがない場合、そのイベント４４が含まれる新たなサブクラスター４５を生成（形成）する。また、サブクラスター形成部２１は、生成したサブクラスター４５に固有のＩＤを付与する。ここで生成されたサブクラスター４５には、１つのイベント４４のみが含まれることになる。
　その後、サブクラスター形成部２１は、新たに有効なイベント４４が検出されると、検出されたイベント４４が、形成されているサブクラスター４５に含まれるための所定条件を満たすかを判定する。
　所定条件は、例えば、サブクラスター４５の縦横寸法（垂直方向および水平方向の寸法）が最大寸法（例えば２０ピクセル×２０ピクセル）以下であり、かつ、サブクラスター４５のイベント数が最大数（例えば１万点）以下であることである。
　サブクラスター形成部２１は、図９に示すように、所定条件が満たされる場合、そのイベント４４（図中、ハッチングで示す）を、所定条件が満たされたサブクラスター４５に追加する。なお、複数のサブクラスター４５について所定条件を満たすイベント４４である場合、サブクラスター形成部２１は、所定条件を満たすサブクラスター４５から特定の１つを選択し、選択したサブクラスター４５にそのイベント４４を追加する。この際、サブクラスター４５の選択方法として様々な方法が考えられる。例えば、サブクラスター形成部２１は、最も先または最も後に生成されたサブクラスター４５を優先して選択するようにしてもよい。また、サブクラスター形成部２１は、最もイベント数が多いサブクラスター４５を優先して選択するようにしてもよい。
　一方、いずれのサブクラスター４５の所定条件も満たさないイベント４４である場合、図１０および図１１に示すように、サブクラスター形成部２１は、そのイベント４４を含む新たなサブクラスター４５を生成（形成）する。
　このように、有効なイベント４４が検出される度に、サブクラスター形成部２１は、既存のサブクラスター４５に含まれるための所定条件を満たすかを判定し、所定条件を満たす場合にはそのイベント４４をサブクラスター４５に追加し、所定条件を満たさない場合には新たなサブクラスター４５を形成していく。
　したがって、同一の物体（イベント点群４１）に対して複数のサブクラスター４５が形成されることがある。また、サブクラスター４５同士が互いに重なる（同じ座標を含む）こともある。
　さらに、物体が移動している場合には、その物体についてのサブクラスター４５が移動しながら形成されることになる。
　ここで、図１２に示すように、同一の物体から形成される複数のサブクラスター４５とイベント点群４１とを重ねて比較する。そうすると、イベント点群４１から形成される複数のサブクラスター４５による形状と、イベント点群４１（物体）の形状とは概ね一致するなど、複数のサブクラスター４５によって物体の特徴を概ね把握することが可能である。
［３．３．データ生成処理］
　次に、サブクラスターデータを生成、記録するデータ生成処理について説明する。図１３および図１４は、サブクラスターのデータ構造の一例を説明する図である。なお、図１３および図１４におけるＸ、ｎ、ｍ、ｌは整数を示すものである。
　上記したように、同一の物体ごとにイベント信号を全て記録していくとなると、データ量が膨大になってしまうおそれがある。そこで、本実施形態においては、イベント信号そのものを記録していくのではなく、サブクラスター４５を表す情報として後段の処理（解析装置３による解析処理）で利用できる形に圧縮して記録していく。
　データ生成部２２は、サブクラスター４５が形成されると、例えば図１３に示すように、形成された全てのサブクラスターについて、所定間隔（例えば１ｍｓ）ごとに、新たに追加されたイベントの総数（新イベント総数）、サブクラスター４５の中心座標、サブクラスター４５の縦横寸法（垂直方向および水平方向の画素数）を算出する。
　そして、データ生成部２２は、現在の時刻、算出した新イベント総数、中心座標、縦横寸法をサブクラスター４５のＩＤに関連付けてサブクラスターデータ５１を生成する。
　生成されたサブクラスターデータ５１は、制御部１６によってメモリ１７に記録されることになる。したがって、制御部１６は、サブクラスターデータ５１をメモリ１７に記録するデータ記録部として機能する。
　また、図１４に示す別の例では、データ生成部２２は、所定間隔（例えば１ｍｓ）ごとに、新イベント総数、および、新たに追加されたイベントのうちプラスのイベントの総数（新プラス極性イベント総数）を算出する。そして、データ生成部２２は、現在の時刻、算出した新イベント総数および新プラス極性イベント総数をサブクラスターのＩＤに関連付けてサブクラスターデータ５２を生成する。
　また、データ生成部２２は、所定間隔よりも間を開けた間隔（例えば４ｍｓ）ごとに、サブクラスター４５の中心座標、縦横寸法、イベント総数、繰り返し回数を算出し、算出した中心座標、縦横寸法、イベント総数、繰り返し回数をサブクラスターのＩＤに関連付けてサブクラスターデータ５２を生成する。
　図１４に示す別の例では、高い時間分解能が必要である新イベント総数等については所定間隔で算出、記録し、時間分解能がそれほど必要ない中心座標、縦横寸法、イベント総数については所定間隔よりも開けて算出、記録する。これにより、必要な情報量を維持しつつ、データ量をより低減することができる。
　このように、データ圧縮処理では、後段の処理で必要なサブクラスター４５に関する情報だけを記録していくことになるため、ビジョンセンサ１３で検出されたイベントのイベント信号を全て記録する場合に比べてデータ量を低減（圧縮）することが可能となる。
［３．４．データ圧縮処理の流れ］
　図１５は、データ圧縮処理の流れを示したフローチャートである。図１５に示すように、ステップＳ１でサブクラスター形成部２１は、ビジョンセンサ１３からイベント信号を取得する。ステップＳ２でサブクラスター形成部２１は、取得したイベント信号に基づくイベントに対してノイズ除去処理を行い、有効なイベントのみを抽出する。
　ステップＳ３でサブクラスター形成部２１は、既存のサブクラスター４５の縦横寸法が最大寸法以下となる範囲に、ステップＳ２で抽出されたイベントが含まれるかを判定する。
　その結果、既存のサブクラスター４５の縦横寸法が最大寸法以下となる範囲にイベントが含まれる場合（ステップＳ３でＹｅｓ）、ステップＳ４でサブクラスター形成部２１は、サブクラスター４５にイベントを追加した場合にそのサブクラスター４５のイベント数が最大数以下となるかを判定する。その結果、サブクラスター４５のイベント数が最大数以下となる場合（ステップＳ４でＹｅｓ）、ステップＳ５でサブクラスター形成部２１は、サブクラスター４５にイベントを追加する。
　すなわち、ステップＳ３およびステップＳ４では、ステップＳ２で抽出されたイベントが、既存のサブクラスター４５に含まれるための所定条件を満たすかが判定される。
　一方、既存のサブクラスター４５の縦横寸法が最大寸法以下となる範囲にイベントが含まれない場合（ステップＳ３でＮｏ）、および、サブクラスター４５のイベント数が最大数以下とならない場合（ステップＳ４でＮｏ）、ステップＳ６でサブクラスター形成部２１は、新たなサブクラスター４５を形成するとともに、そのイベントを新たなサブクラスター４５に追加する。
　ステップＳ７でデータ生成部２２は、サブクラスター４５についてサブクラスターデータを算出、生成する。そして、データ生成部２２は、生成したサブクラスターデータを、制御部１６を介してメモリ１７に記録する。
＜４．解析装置３の構成＞
　図１６は、解析装置３の構成を説明する図である。図１６に示すように、解析装置３は、制御部６１、メモリ６２、通信部６３、操作部６４、表示部６５を備える。
　制御部６１は、例えばＣＰＵ、ＲＯＭおよびＲＡＭを有するマイクロコンピュータを備えて構成され、解析装置３の全体制御を行う。
　制御部６１は、本実施形態において、データ取得部７１、再クラスター化部７２、物体情報生成部７３を備える。
　データ取得部７１は、撮像装置２で生成、記録されているサブクラスターデータを取得する。例えば、データ取得部７１は、通信部６３を介して撮像装置２からサブクラスターデータを取得するようにしてもよく、また、撮像装置２のメモリ１７（記録媒体）がメモリ６２として取り付けられた場合にはメモリ６２から取得するようにしてもよい。
　再クラスター化部７２は、サブクラスターデータに基づいて、複数のサブクラスターを関連付けてクラスターを形成する。
　物体情報生成部７３は、クラスターに関連付けられたサブクラスターのサブクラスターデータに基づいて、クラスターによって示される物体に関する情報を算出する。
　なお、これら再クラスター化部７２、物体情報生成部７３について詳しくは後述する。
　メモリ６２は、不揮発性メモリ等の記憶媒体で構成される。メモリ６２は、解析装置３に対して着脱自在とされてもよい。
　通信部６３は、外部機器との間で有線または無線によるデータ通信を行う。
　操作部６４は、ユーザによる入力操作を受け付け、ユーザによる入力操作に応じた信号を制御部６１に出力する。
　表示部６５は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイで構成され、種々の画像を表示する。
＜５．解析処理＞
　次に、制御部６１により行われる解析処理について説明する。解析処理は、以下で説明する再クラスター化処理、特徴量算出処理およびクラスター分類処理を含むものである。
［５．１．再クラスター化処理］
　再クラスター化部７２は、データ取得部７１がサブクラスターデータを取得すると、取得したサブクラスターデータに基づいて、同一の物体に基づくサブクラスター４５同士を１つのクラスター４６（図１２参照）として結びつける（関連づける）。
　具体的には、再クラスター化部７２は、サブクラスター４５の中心座標が所定距離範囲内で、かつ、サブクラスター４５が形成された時刻が所定時間範囲内であるもの同士を、同一の物体から検出されたサブクラスター４５として関連づける。
　なお、所定距離範囲は、同一の物体であるとされる距離範囲である。また、所定時間範囲は、同一の物体であるとされる時間範囲である。
　したがって、複数のサブクラスター４５が関連付けられたクラスター４６は、図１２にも示したように、物体の形状に関する情報が含まれることになる。
　また、物体が時間とともに移動していた場合、クラスター４６には、物体の移動方向に伴って位置が異なるサブクラスター４５同士が関連付けられていくことになるため、物体の移動方向や速度等に関する情報が含まれることになる。
　このように、複数のサブクラスター４５が関連付けられたクラスター４６には、そのクラスター４６によって示される物体に関する情報が含まれることになる。
［５．２．特徴量算出処理］
　物体情報生成部７３は、再クラスター化部７２によって再クラスター化されたクラスター４６についての特徴量を算出する。特徴量としては、移動関連、周波数関連、イベント関連、形状関連等の特徴量が考えられる。
　移動関連の特徴量は、クラスター４６の平均速度、体長、体幅、角度変化の頻度、平均速度の体長比、瞬間最大速度の体長比、方向変更持続性、走性の有無、走性の正負、停止頻度、縦方向の移動度、横方向の移動度、等速持続性、回転の弧の幅、螺旋運動の周期、速さの分散、最大瞬間加速度等である。なお、走性は、光走性、温度走性、化学走性、接触走性、圧力走性、電気走性等を含む。
　周波数関連の特徴量は、イベント数の増減（変化）の周波数、サイズ変化の増減の周波数等である。
　イベント関連の特徴量は、プラスイベントおよびマイナスイベントの割合、イベントの増加速度等である。
　形状関連の特徴量は、縦横の縮尺比、縦横の縮尺比の変化レンジ等である。
　なお、これらは特徴量の一例であり、他の特徴量であってもよい。
　このように、クラスター４６の特徴量は、様々なものが考えられる。本実施形態では、物体情報生成部７３は、クラスター４６の移動関連、周波数関連、イベント関連、形状関連に分類される特徴量を算出する。ここでは、一例として、クラスター４６の平均速度、体長、角度変化の頻度の３つの特徴量を算出する場合について説明する。
　物体情報生成部７３は、クラスター４６に関連付けられたサブクラスター４５の時刻ごとの中心座標と縦横寸法とに基づいて、時刻ごとのクラスター４６の中心座標を算出する。
　そして、物体情報生成部７３は、クラスター４６の中心座標を追跡していくことでクラスター４６の移動距離を算出し、算出された移動距離を、移動にかかった時間で除算することにより平均速度を算出する。
　また、物体情報生成部７３は、クラスター４６に関連付けられたサブクラスター４５の時刻ごとの中心座標と縦横寸法とに基づいて、時刻ごとのクラスター４６の縦横寸法を算出する。
　そして、物体情報生成部７３は、時刻ごとの縦横寸法を平均し、算出した水平方向の長さ、および、垂直方向の長さのうち、長い方を体長とする。
　また、物体情報生成部７３は、平均速度を算出したときと同様に、クラスター４６の中心座標を追跡していくことでクラスター４６の時刻ごとの進行方向ベクトルを算出する。その後、物体情報生成部７３は、前後の進行方向ベクトルの単位長さ同士の内積、すなわち、前後の進行方向ベクトルのなす角を算出する。
　そして、物体情報生成部７３は、前後の進行方向ベクトルのなす角が所定角度範囲内である回数をカウントしていき、そのカウント値を角度変化の頻度とする。なお、所定角度は、物体が方向を変化させたとする角度に設定されている。
［５．３．クラスター分類処理］
　クラスター４６について特徴量が算出されると、物体情報生成部７３は、算出された特徴量に基づいて、クラスター４６の分類、すなわち、物体の種別を特定する。ここでは、ルールベースによる物体の種別の特定であってもよく、また、機械学習による物体の種別の特定であってもよい。
　例えば、ルールベースによる物体の種別の特定では、特定する種別ごとに特徴量の範囲が設定されており、その情報がＲＯＭやメモリ６２に記憶されている。そして、物体情報生成部７３は、クラスター４６の特徴量が、特定の種別の特徴量の範囲内に含まれている場合、クラスター４６がその特定の種別であると特定する。
　また、機械学習による物体の種別の特定では、まず、種別ごとに既知となっている特徴量と種別との関係を教師データとして学習した学習モデルが生成され、その学習モデルがＲＯＭやメモリ６２に記憶されている。そして、物体情報生成部７３は、クラスター４６の特徴量を学習モデルに導入することにより、クラスター４６の種別を特定する。
　なお、同一の種別であっても変態時期や成長過程により算出される特徴量（例えば、体長および体幅）が異なる値を示す場合もある。したがって、物体情報生成部７３では、様々な特徴量から総合的に種別を特定する。
　また、物体情報生成部７３は、特定した種別ごとにクラスター４６の数を加算していくことで、種別ごとの数を算出するようにしてもよい。
［５．４．解析処理の流れ］
　図１７は、解析処理の流れを示したフローチャートである。図１７に示すように、ステップＳ１１でサブクラスターデータ取得部７１は、撮像装置２からサブクラスターデータを取得する。ステップＳ１２で再クラスター化部７２は、取得したサブクラスターデータに基づいて、同一の物体に基づくサブクラスター４５同士を１つのクラスター４６として関連付ける再クラスター化処理を行う。
　ステップＳ１３で物体情報生成部７３は、再クラスター化されたクラスター４６について特徴量を算出する特徴量算出処理を行う。ステップＳ１４で物体情報生成部７３は、算出された特徴量に基づいてクラスター４６の種別を特定するクラスター分類処理を行う。
＜６．データ生成システムの他の構成例＞
　なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
　例えば、撮像装置２は、撮像センサを備えるようにしてもよい。撮像センサは、例えば、ＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型のイメージセンサであり、ビジョンセンサ１３と同一の撮像範囲を撮像するようにしてもよい。
　また、実施形態においては、サブクラスター形成部２１およびデータ生成部２２が撮像装置２に設けられ、サブクラスターデータ取得部７１、再クラスター化部７２および物体情報生成部７３が解析装置３に設けられるようにした。
　しかしながら、これらの機能部は、１つの装置に設けられていてもよく、また、３以上の装置に分けて設けられていてもよい。
　例えば、図１８に示すように、ビジョンセンサ１３を備える撮像装置１００の信号解析部１５が、サブクラスター形成部２１、データ生成部２２、サブクラスターデータ取得部７１、再クラスター化部７２および物体情報生成部７３として機能するようにしてもよい。なお、１つの装置に全ての機能部を備える場合にはサブクラスターデータ取得部７１は省略可能である。
　また、撮像装置はビジョンセンサ１３を備え、サブクラスター形成部２１、データ生成部２２は、解析装置３に備えられるようにしてもよく、また、撮像装置および解析装置３とは異なる装置（コンピュータ）に備えられるようにしてもよい。
　また、実施形態においては、新たに検出されたイベント４４がサブクラスター４５に含まれるかを判定するための所定条件として、サブクラスター４５の縦横寸法が最大寸法以下であり、かつ、サブクラスター４５のイベント数が最大数以下であることとした。
　しかしながら、所定条件はこれ以外であってもよい。例えば、最初に追加されたイベントが検出された時刻から所定時間以内に検出されたことが含まれるようにしてもよい。
　また、縦横寸法の最大寸法について、サブクラスター４５の状態または再クラスター化部７２等の状態に応じて動的に変更するようにしてもよい。具体例としては、サブクラスター４５内のイベントの一様性が高く、プラスイベントまたはマイナスイベントの割合が予め設定された閾値以上になった場合には、より大きい最大寸法を設定することでデータ量の圧縮率を向上させることができる。また、別の具体例としては、多数のサブクラスター４５が発生し、再クラスター化部７２の処理負荷が予め設定された閾値以上になる場合には、より大きい最大寸法を設定することでサブクラスター４５の発生数を減らし、再クラスター化部７２の処理負荷を低減させることができる。
　また、実施形態においては、サブクラスターデータとして、時刻、新イベント総数、中心座標、縦横寸法等が含まれるようにした。しかしながら、解析処理において必要とされる情報であり、かつ、イベント信号を記録していく場合よりもデータ量が圧縮できるのであれば他の情報が含まれていてもよいし、実施形態において説明した情報のいずれかが含まれないようにしてもよい。
＜７．実施形態のまとめ＞
　上記のように実施形態のデータ生成装置（撮像装置２）においては、入射光の輝度変化に応じて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサ１３で検出されたイベントを、所定条件に応じて区分けすることでサブクラスターを形成するサブクラスター形成部２１と、区分けされたイベントの情報に基づいてサブクラスターに関する情報（サブクラスターデータ）を生成するデータ生成部２２と、を備える。
　これにより、データ生成装置は、ビジョンセンサ１３で検出されたイベントのイベント信号を全て記録させる必要がなく、サブクラスター４５に関する情報のみを記録させることが可能となる。
　一方で、サブクラスター４５に関する情報には、サブクラスターに区分けされたイベントの情報が圧縮して含まれることになるため、後段の解析処理においても、イベント信号を全て記録した場合と同じように、物体に関する情報を算出することが可能となる。
　したがって、データ生成装置は、物体に関する情報量を概ね低下させることなく、記録されるデータのデータ容量を低減することができる。
　また、サブクラスター４５の最大寸法が予め決められており、サブクラスター形成部２１は、サブクラスター４５が最大寸法以下となるようにイベントを区分けする。
　これにより、データ生成装置は、空間的に離れた位置にある異なる物体から検出されるイベントが同一のサブクラスター４５に区分けされてしまうことを低減することができる。
　したがって、データ生成装置は、サブクラスターデータのデータ精度を保つことができる。
　また、サブクラスター４５に区分けされるイベントの最大数が予め決められており、サブクラスター形成部２１は、サブクラスター４５に区分けされるイベント数が最大数以下となるようにイベントを区分けする。
　これにより、データ生成装置は、空間的には近い位置であっても時間的に離れた異なる物体から検出されるイベントが同一のサブクラスター４５に区分けされてしまうことを低減することができる。
　したがって、データ生成装置は、サブクラスターデータのデータ精度を保つことができる。
　また、サブクラスター４５は、最大寸法と、区分けされるイベントの最大数とが予め決められており、サブクラスター形成部２１は、サブクラスター４５が最大寸法以下となり、かつ、サブクラスター４５に区分けされるイベント数が最大数以下となるように前記イベントを区分けする。
　これにより、データ生成装置は、空間的および時間的に離れた異なる物体から検出されるイベントが同一のサブクラスター４５に区分けされてしまうことを低減することができる。
　したがって、データ生成装置は、サブクラスターデータのデータ精度をより保つことができる。
　また、データ生成部２２は、サブクラスター４５に関する情報を所定間隔ごとに生成する。
　これにより、データ生成部２２は、所定間隔ごとにサブクラスター４５に分類されたイベントのイベント信号に基づいて、サブクラスター４５に関する情報を算出することになる。
　したがって、データ生成装置は、高速で検出されるイベントの時間的分解能を維持したサブクラスターデータを生成することができる。
　また、データ生成部２２は、サブクラスター４５に関する情報（サブクラスターデータ）として、サブクラスター４５に区分けされたイベントの数を算出する。
　これにより、データ生成装置は、イベント数の変化に基づいて、物体の動き等を把握することが可能となる。
　また、データ生成部２２は、サブクラスター４５に関する情報として、サブクラスター４５の中心座標を算出する。
　これにより、データ生成装置は、サブクラスター４５によって示される物体の形状および位置に関する情報を圧縮して持たせることができる。
　また、データ生成部２２は、サブクラスター４５に関する情報として、サブクラスターの縦横寸法を算出する。
　これにより、データ生成装置は、サブクラスター４５によって示される物体の形状および位置に関する情報を圧縮して持たせることができる。
　また、データ生成部２２は、サブクラスター４５に区分けされたイベントの数に関する情報を所定間隔ごとに算出し、イベントの数に関する情報以外の情報を所定間隔よりも長い間隔で算出する。
　これにより、高い時間分解能が必要なイベントの数に関しては短い間隔で算出し、時間分解能をそれほど必要としない他の情報に関しては取得間隔を長くすることで、データ精度を維持しつつ、データ量をさらに低減することができる。
　また、データ生成装置は、サブクラスター４５に関する情報に基づいて、複数のサブクラスターを関連付けてクラスター４６を生成する再クラスター化部７２を備える。
　これにより、データ生成装置は、同一の物体に基づくサブクラスター４５を結びつけて、その物体の特徴量や種別等を算出（特定）可能にすることができる。
　また、データ生成装置は、クラスター４６に関連付けられたサブクラスター４５に関する情報に基づいて、クラスター４６によって示される物体に関する情報を生成する物体情報生成部を備える。
　これにより、データ生成装置は、クラスター４６によって示される物体の特徴量や種別等を算出（特定）することができる。
　また、上記のように実施形態のデータ生成方法は、データ生成装置が、入射光の輝度変化に応じて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサ１３で検出されたイベントを所定条件に応じて区分けすることでサブクラスターを生成し、区分けされたイベントの情報に基づいてサブクラスターに関する情報を生成する。
　また、上記のように実施形態のプログラムは、入射光の輝度変化に応じて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサ１３で検出されたイベントを所定条件に応じて区分けすることでサブクラスターを生成し、区分けされたイベントの情報に基づいてサブクラスターに関する情報を生成する。
　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
　また、上記のように実施形態の解析装置３においては、入射光の輝度に基づいて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサ１３で検出されたイベントが所定条件に応じて区分けされることで形成されたサブクラスター４５に関する情報（サブクラスターデータ）を取得するサブクラスターデータ取得部７１と、サブクラスター４５に関する情報に基づいて、物体に関する情報を生成する物体情報生成部７３と、を備える。
　これにより、解析装置３は、データ量が圧縮されたサブクラスターデータに基づいて、サブクラスター４５によって示される物体に関する情報を算出（特定）することができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜８．本技術＞
　本技術は以下のような構成も採ることができる。
（１）
　入射光の輝度に基づいて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサで検出された前記イベントを、所定条件に応じて区分けすることでサブクラスターを形成するサブクラスター形成部と、
　区分けされた前記イベントの情報に基づいて前記サブクラスターに関する情報を生成するデータ生成部と、
を備えるデータ生成装置。
（２）
　前記サブクラスターの最大寸法が予め決められており、
　前記サブクラスター形成部は、前記サブクラスターが最大寸法以下となるように前記イベントを区分けする
（１）に記載のデータ生成装置。
（３）
　前記サブクラスターに区分けされる前記イベントの最大数が予め決められており、
　前記サブクラスター形成部は、前記サブクラスターに区分けされるイベント数が前記最大数以下となるように前記イベントを区分けする
（１）または（２）に記載のデータ生成装置。
（４）
　前記サブクラスターは、最大寸法と、区分けされる前記イベントの最大数とが予め決められており、
　前記サブクラスター形成部は、前記サブクラスターが最大寸法以下となり、かつ、前記サブクラスターに区分けされるイベント数が前記最大数以下となるように前記イベントを区分けする
（１）から（３）のいずれかに記載のデータ生成装置。
（５）
　前記データ生成部は、前記サブクラスターに関する情報を所定間隔ごとに生成する
（１）から（４）のいずれかに記載のデータ生成装置。
（６）
　前記データ生成部は、前記サブクラスターに関する情報として、前記サブクラスターに区分けされた前記イベントの数を算出する
（１）から（５）のいずれかに記載のデータ生成装置。
（７）
　前記データ生成部は、前記サブクラスターに関する情報として、前記サブクラスターの中心位置を算出する
（１）から（６）のいずれかに記載のデータ生成装置。
（８）
　前記データ生成部は、前記サブクラスターに関する情報として、前記サブクラスターの寸法を算出する
（１）から（７）のいずれかに記載のデータ生成装置。
（９）
　前記データ生成部は、前記サブクラスターに区分けされたイベントの数に関する情報を所定間隔ごとに算出し、前記イベントの数に関する情報以外の情報を前記所定間隔よりも長い間隔で算出する
（１）から（８）のいずれかに記載のデータ生成装置。
（１０）
　前記サブクラスターに関する情報に基づいて、複数の前記サブクラスターを関連付けてクラスターを形成する再クラスター化部を備える
（１）から（９）のいずれかに記載のデータ生成装置。
（１１）
　前記クラスターに関連付けられた前記サブクラスターに関する情報に基づいて、前記クラスターによって示される物体に関する情報を生成する物体情報生成部を備える
（１０）に記載のデータ生成装置。
（１２）
　データ生成装置が、
　入射光の輝度変化に応じて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサで検出された前記イベントを所定条件に応じて区分けすることでサブクラスターを生成し、
　区分けされた前記イベントの情報に基づいて前記サブクラスターに関する情報を生成する
　データ生成方法。
（１３）
　入射光の輝度変化に応じて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサで検出された前記イベントを所定条件に応じて区分けすることでサブクラスターを生成し、
　区分けされた前記イベントの情報に基づいて前記サブクラスターに関する情報を生成する
　処理をデータ生成装置に実行させるプログラム。
（１４）
　入射光の輝度に基づいて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサで検出された前記イベントが所定条件に応じて区分けされることで形成されたサブクラスターに関する情報を取得するサブクラスターデータ取得部と、
　前記サブクラスターに関する情報に基づいて、物体に関する情報を生成する物体情報生成部と、
を備える解析装置。
（１５）
　前記サブクラスターに関する情報に基づいて、複数の前記サブクラスターを関連付けてクラスターを生成する再クラスター化部を備え、
　前記物体情報生成部は、前記クラスターに関連付けられた前記サブクラスターに関する情報に基づいて、前記クラスターによって示される物体に関する情報を生成する
（１４）に記載の解析装置。
１　測定システム
２　データ生成装置
３　解析装置
１３　ビジョンセンサ
１５　信号解析部
２１　サブクラスター形成部
２２　情報生成部
６１　制御部
７１　サブクラスターデータ取得部
７２　再クラスター化部
７３　物体情報生成部

Claims (15)

  1. 　入射光の輝度に基づいて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサで検出された前記イベントを、所定条件に応じて区分けすることでサブクラスターを形成するサブクラスター形成部と、
    　区分けされた前記イベントの情報に基づいて前記サブクラスターに関する情報を生成するデータ生成部と、
    を備えるデータ生成装置。
  2. 　前記サブクラスターの最大寸法が予め決められており、
    　前記サブクラスター形成部は、前記サブクラスターが最大寸法以下となるように前記イベントを区分けする
    請求項１に記載のデータ生成装置。
  3. 　前記サブクラスターに区分けされる前記イベントの最大数が予め決められており、
    　前記サブクラスター形成部は、前記サブクラスターに区分けされるイベント数が前記最大数以下となるように前記イベントを区分けする
    請求項１に記載のデータ生成装置。
  4. 　前記サブクラスターは、最大寸法と、区分けされる前記イベントの最大数とが予め決められており、
    　前記サブクラスター形成部は、前記サブクラスターが最大寸法以下となり、かつ、前記サブクラスターに区分けされるイベント数が前記最大数以下となるように前記イベントを区分けする
    請求項１に記載のデータ生成装置。
  5. 　前記データ生成部は、前記サブクラスターに関する情報を所定間隔ごとに生成する
    請求項１に記載のデータ生成装置。
  6. 　前記データ生成部は、前記サブクラスターに関する情報として、前記サブクラスターに区分けされた前記イベントの数を算出する
    請求項１に記載のデータ生成装置。
  7. 　前記データ生成部は、前記サブクラスターに関する情報として、前記サブクラスターの中心位置を算出する
    請求項１に記載のデータ生成装置。
  8. 　前記データ生成部は、前記サブクラスターに関する情報として、前記サブクラスターの寸法を算出する
    請求項１に記載のデータ生成装置。
  9. 　前記データ生成部は、前記サブクラスターに区分けされたイベントの数に関する情報を所定間隔ごとに算出し、前記イベントの数に関する情報以外の情報を前記所定間隔よりも長い間隔で算出する
    請求項１に記載のデータ生成装置。
  10. 　前記サブクラスターに関する情報に基づいて、複数の前記サブクラスターを関連付けてクラスターを形成する再クラスター化部を備える
    請求項１に記載のデータ生成装置。
  11. 　前記クラスターに関連付けられた前記サブクラスターに関する情報に基づいて、前記クラスターによって示される物体に関する情報を生成する物体情報生成部を備える
    請求項１０に記載のデータ生成装置。
  12. 　データ生成装置が、
    　入射光の輝度変化に応じて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサで検出された前記イベントを所定条件に応じて区分けすることでサブクラスターを生成し、
    　区分けされた前記イベントの情報に基づいて前記サブクラスターに関する情報を生成する
    　データ生成方法。
  13. 　入射光の輝度変化に応じて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサで検出された前記イベントを所定条件に応じて区分けすることでサブクラスターを生成し、
    　区分けされた前記イベントの情報に基づいて前記サブクラスターに関する情報を生成する
    　処理をデータ生成装置に実行させるプログラム。
  14. 　入射光の輝度に基づいて発生するイベントを非同期で検出する画素が二次元に配置されたビジョンセンサで検出された前記イベントが所定条件に応じて区分けされることで形成されたサブクラスターに関する情報を取得するサブクラスターデータ取得部と、
    　前記サブクラスターに関する情報に基づいて、物体に関する情報を生成する物体情報生成部と、
    を備える解析装置。
  15. 　前記サブクラスターに関する情報に基づいて、複数の前記サブクラスターを関連付けてクラスターを生成する再クラスター化部を備え、
    　前記物体情報生成部は、前記クラスターに関連付けられた前記サブクラスターに関する情報に基づいて、前記クラスターによって示される物体に関する情報を生成する
    請求項１４に記載の解析装置。
PCT/JP2023/014589 2022-04-26 2023-04-10 データ生成装置、データ生成方法、プログラム、解析装置 WO2023210330A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022072585 2022-04-26
JP2022-072585 2022-04-26

Publications (1)

Publication Number Publication Date
WO2023210330A1 true WO2023210330A1 (ja) 2023-11-02

Family

ID=88518390

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/014589 WO2023210330A1 (ja) 2022-04-26 2023-04-10 データ生成装置、データ生成方法、プログラム、解析装置

Country Status (1)

Country Link
WO (1) WO2023210330A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020195769A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 物体検出装置、物体検出システム及び物体検出方法
JP2022513214A (ja) * 2018-12-13 2022-02-07 プロフジー シーン内の物体を追跡する方法
JP2022523505A (ja) * 2019-01-30 2022-04-25 プロフジー イベントベースセンサからの情報を処理する方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022513214A (ja) * 2018-12-13 2022-02-07 プロフジー シーン内の物体を追跡する方法
JP2022523505A (ja) * 2019-01-30 2022-04-25 プロフジー イベントベースセンサからの情報を処理する方法
WO2020195769A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 物体検出装置、物体検出システム及び物体検出方法

Similar Documents

Publication Publication Date Title
CN111931752B (zh) 一种基于事件相机的动态目标检测方法
US11450114B2 (en) Information processing apparatus, information processing method, and computer-readable storage medium, for estimating state of objects
US9330446B2 (en) Method and apparatus for processing image
US8179466B2 (en) Capture of video with motion-speed determination and variable capture rate
KR101052207B1 (ko) 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치
TWI554099B (zh) 用於決定一影像調整參數之方法及攝影機
US8488878B2 (en) Sky detection system used in image extraction device and method using sky detection system
KR101664123B1 (ko) 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법
JP4694589B2 (ja) 自動監視システム
JP6565600B2 (ja) アテンション検出装置及びアテンション検出方法
US20210082127A1 (en) Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity
JP2013135468A (ja) 場面を取り込む一連の画像フレーム内の画像フレームの露光をその場面内の動きのレベルに基づいて最適化するためのカメラおよび方法
US11074716B2 (en) Image processing for object detection
JP7255819B2 (ja) 映像ストリームからの物体検出において用いるためのシステム及び方法
CN112884805A (zh) 一种跨尺度自适应映射的光场成像方法
Ma et al. A lightweight neural network for crowd analysis of images with congested scenes
WO2023210330A1 (ja) データ生成装置、データ生成方法、プログラム、解析装置
WO2018037479A1 (ja) 画像処理装置、ステレオカメラ装置及び画像処理方法
KR20140045834A (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
JP5864230B2 (ja) 物体検出装置
JP2008047991A (ja) 画像処理装置
KR20150033047A (ko) 객체를 검출하기 위한 전처리 장치 및 방법
JP5864231B2 (ja) 移動方向識別装置
JP2021093694A (ja) 情報処理装置およびその制御方法
KR20090008621A (ko) 중요 움직임 검출 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23796075

Country of ref document: EP

Kind code of ref document: A1