WO2023112532A1 - 測定装置、測定方法、プログラム - Google Patents

測定装置、測定方法、プログラム Download PDF

Info

Publication number
WO2023112532A1
WO2023112532A1 PCT/JP2022/040816 JP2022040816W WO2023112532A1 WO 2023112532 A1 WO2023112532 A1 WO 2023112532A1 JP 2022040816 W JP2022040816 W JP 2022040816W WO 2023112532 A1 WO2023112532 A1 WO 2023112532A1
Authority
WO
WIPO (PCT)
Prior art keywords
cluster
unit
feature amount
measuring device
event
Prior art date
Application number
PCT/JP2022/040816
Other languages
English (en)
French (fr)
Inventor
進 高塚
秀仁 佐藤
弘樹 鉄川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023112532A1 publication Critical patent/WO2023112532A1/ja

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • C12Q1/06—Quantitative determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration

Definitions

  • This technology relates to measurement devices, measurement methods, and programs, and in particular to technology for measurement using a vision sensor.
  • a measuring device for measuring the abundance of phytoplankton by irradiating excitation light of a predetermined wavelength to excite phytoplankton and measuring the intensity of fluorescence emitted from the excited phytoplankton has been proposed (for example, See Patent Document 1).
  • the above measuring device can only measure phytoplankton excited by excitation light.
  • it is conceivable to measure not only phytoplankton, but also zooplankton, organisms such as larvae of aquatic organisms, and non-living organisms such as microplastics, dust, sand, marine snow, and air bubbles. are desired to be classified with high accuracy.
  • the purpose of this technology is to classify target particles with high accuracy.
  • a measurement apparatus includes a vision sensor that includes a plurality of pixels that asynchronously output event signals in accordance with changes in the brightness of incident light, and based on the event signals input within a predetermined period, the same target particle
  • a cluster formation unit that forms a cluster of points of events generated by; a feature amount calculation unit that calculates the feature amount of the cluster; and the cluster based on the feature amount calculated by the feature amount calculation unit.
  • a cluster classifier for classifying. This allows the measurement device to classify clusters based on event signals input from the vision sensor.
  • FIG. 4 is a diagram for explaining calculation of an average velocity of clusters; It is a figure which shows the average speed for every classification. It is a figure explaining calculation of the body length of a cluster. It is a figure explaining the body length for every classification. It is a figure explaining calculation of the body width of a cluster. It is a figure explaining the body width for every classification.
  • FIG. 10 is a diagram for explaining changes in the number of events of type A and frequency components;
  • FIG. 10 is a diagram for explaining changes in the number of events of type C and frequency components;
  • It is a figure explaining cluster combination processing. It is a figure explaining the feature-value for every classification.
  • FIG. 2 is a diagram for explaining the configuration of the measuring device of Usage Example 1; 6 is a flow chart showing the flow of processing in Usage Example 1;
  • FIG. 10 is a diagram illustrating the configuration of the measuring device of Usage Example 2; 10 is a flow chart showing the flow of processing in Usage Example 2.
  • FIG. 10 is a diagram for explaining the configuration of the measuring device of Usage Example 3; 10 is a flow chart showing the flow of processing in use example 3; FIG. 12 is a diagram illustrating the configuration of the measuring device of Usage Example 4; 10 is a flow chart showing the flow of processing in use example 4; FIG. 11 is a diagram for explaining the configuration of the measuring device of Usage Example 5;
  • the measurement device 1 is a device that measures target particles by calculating feature amounts of target particles, for example, biological and non-living organisms that exist in water such as the sea.
  • the measurement is a concept including any of the classification of the type of target particles, the calculation of the number of target particles and the feature amount, the recording and storage of captured images of the target particles, and the like.
  • the organisms to be the target particles are phytoplankton, zooplankton, and aquatic microorganisms such as larvae of aquatic organisms existing in water.
  • the non-living matter to be the target particles includes microplastics, dust, sand, marine snow, air bubbles, and the like.
  • the target particles may be other than these.
  • the target particles may also be particles that move by themselves, such as zooplankton and larvae of aquatic organisms (hereinafter referred to as active particles).
  • the target particles may be particles that do not move by themselves, such as phytoplankton, microplastics, dust, sand, marine snow, air bubbles, etc. (hereinafter referred to as passive particles).
  • FIG. 1 is a diagram for explaining the configuration of the measuring device 1.
  • the measuring device 1 includes a main body portion 2 and an illumination portion 3.
  • the lighting unit 3 may be provided inside the main body unit 2 .
  • the body section 2 includes a vision sensor 11, a lens 12, a signal analysis section 13, a control section 14, a memory 15, a gravity sensor 16, and a communication section 17.
  • FIG. 2 is a diagram for explaining the configuration of the vision sensor 11.
  • FIG. 3 is a diagram explaining an outline of an event signal output from the vision sensor 11. As shown in FIG.
  • the vision sensor 11 is a sensor called DVS (Dynamic Vision Sensor) or EVS (Event-Based Vision Sensor).
  • the vision sensor 11 detects events that occur in a predetermined range underwater through the lens 12 . Note that the event means that the luminance change of incident light exceeds a certain ratio.
  • the vision sensor 11 has a two-dimensional array of pixels each having a photodiode 31, a voltage conversion circuit 32, an asynchronous difference detection circuit 33, and a comparator .
  • the photodiode 31 When the photodiode 31 is irradiated with incident light, it generates a current proportional to the brightness of the incident light by the photoelectric effect.
  • a voltage conversion circuit 32 converts the current generated by the photodiode 31 into a voltage.
  • the asynchronous difference detection circuit 33 detects the difference between the voltage converted by the voltage conversion circuit 32 and the reference voltage.
  • the comparator 34 outputs an event signal (indicated by a black arrow in the figure) indicating that a positive event has occurred when the voltage difference exceeds the positive threshold. Also, the comparator 34 outputs an event signal (indicated by an outline arrow in the figure) indicating that a negative event has occurred when the voltage difference exceeds (falls below) the negative threshold.
  • the event signal contains the coordinates (x, y) of the pixel where the event occurred, the time, and the sign (plus or minus) of the event. Also, the plus threshold and the minus threshold are usually set to predetermined values, but can be changed depending on the situation.
  • a negative event signal is output at time T1.
  • a voltage corresponding to the current luminance is set as the reference voltage.
  • a line corresponding to a positive threshold is set on the positive side of the reference voltage (indicated by a dashed line in the figure), and a line corresponding to a negative threshold is set on the negative side of the reference voltage (dashed line in the figure). ) is set.
  • the vision sensor 11 After that, when the luminance of the incident light drops and falls below the line corresponding to the negative threshold at time T2, the vision sensor 11 outputs a negative event signal. At this time, as at time T1, a voltage corresponding to the current luminance is set as the reference voltage, and lines corresponding to the plus threshold value and the minus threshold value are set.
  • the vision sensor 11 when the luminance of the incident light falls below the line corresponding to the negative threshold at time T3, the vision sensor 11 outputs a negative event signal.
  • a voltage corresponding to the current luminance is set as the reference voltage, and lines corresponding to the plus threshold value and the minus threshold value are set.
  • the vision sensor 11 After that, when the luminance of the incident light rises and exceeds the line corresponding to the plus threshold at time T4, the vision sensor 11 outputs a plus event signal.
  • the vision sensor 11 is an asynchronous image sensor that detects events in real time for each pixel.
  • a synchronous image sensor that executes a readout operation for all pixels at a predetermined frame rate can be used. Also, very high-speed reading is possible, and the amount of data read out for one frame can be reduced.
  • the vision sensor 11 in the measuring device 1, it is possible to detect the movement of the target particles more quickly.
  • the vision sensor 11 can reduce the amount of data and the power consumption.
  • the signal analysis unit 13 is configured with a microcomputer having, for example, a CPU (Central Processing Unit), ROM (Read Only Memory), and RAM (Random Access Memory).
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the signal analysis unit 13 functions as a cluster formation unit 21, a cluster tracking unit 22, a feature amount calculation unit 23, and a cluster classification unit 24 in this embodiment.
  • the cluster forming unit 21 forms a cluster of points of events based on the same target particle.
  • a cluster tracking unit 22 tracks clusters formed by the cluster forming unit 21 .
  • the feature amount calculation unit 23 calculates feature amounts of the clusters formed by the cluster formation unit 21 and tracked by the cluster tracking unit 22 .
  • the cluster classification unit 24 classifies the clusters formed by the cluster formation unit 21 and tracked by the cluster tracking unit 22 based on the feature amount calculated by the feature amount calculation unit 23 . That is, the cluster classification unit 24 classifies the types of target particles that are clustered. Details of the cluster formation unit 21, cluster tracking unit 22, feature quantity calculation unit 23, and cluster classification unit 24 will be described later.
  • the control unit 14 includes, for example, a microcomputer having a CPU, a ROM, and a RAM, and performs overall control of the measuring device 1 . Further, the control unit 14 reads data stored in the memory 15 , stores data in the memory 15 , and transmits/receives various data to/from an external device via the communication unit 17 . Note that the signal analysis unit 13 and the control unit 14 may be configured by the same hardware.
  • the memory 15 is composed of a non-volatile memory.
  • the gravity sensor 16 detects gravitational acceleration (direction of gravity) and outputs the detection result to the control unit 14 .
  • the communication unit 17 performs wired or wireless data communication with an external device. Note that the measuring device 1 does not have to include the gravity sensor 16 .
  • the illumination unit 3 irradiates the imaging range of the vision sensor 11 with light.
  • the illumination unit 3 can switch and irradiate light with different wavelengths, for example, irradiate light with different wavelengths at intervals of 10 nm.
  • FIG. 4 is a flowchart for explaining the flow of signal analysis processing.
  • the cluster formation unit 21 acquires an event signal input from the vision sensor 11 in step S1. As described above, since the vision sensor 11 outputs an event signal when an event is detected for each pixel, the cluster formation unit 21 acquires an event signal for each pixel where an event has occurred as needed. It will be.
  • step S2 the cluster formation unit 21 performs a cluster formation process of forming a cluster of point groups of events based on the same target particle at predetermined intervals (for example, every 1 ms) based on the event signal acquired in step S1. . Details of the cluster forming process will be described later.
  • step S3 the cluster tracking unit 22 performs cluster tracking processing for tracking clusters formed by the cluster forming unit 21 at predetermined intervals (for example, every 1 ms). Details of the cluster tracking process will be described later.
  • step S4 the feature quantity calculation unit 23 performs feature quantity calculation processing for calculating the feature quantity of the cluster formed by the cluster formation unit 21 and tracked by the cluster tracking unit 22. Note that the feature amount calculation process will be described later in detail.
  • step S5 the cluster tracking unit 22 performs a cluster combining process to combine the different clusters into one cluster when multiple different clusters are detected for the same target particle. Details of the cluster combination processing will be described later.
  • step S6 the feature amount calculation unit 23 determines whether the clusters are combined in step S5. Then, when the clusters are combined (Yes in step S6), the feature amount calculation unit 23 performs feature amount calculation processing on the combined clusters in step S7. Note that the feature amount calculation process in step S7 is the same process as the feature amount calculation process in step S4.
  • step S8 the cluster classification unit 24 performs step S4 or step S7. Classify the type of target particles for the cluster based on the feature amount calculated in . Details of the cluster classification process will be described later.
  • FIG. 5 is a diagram for explaining captured images based on event signals.
  • FIG. 6 is a diagram for explaining events in a captured image. Note that in FIG. 6, the pixels of the captured image are represented by a plurality of grids.
  • an event signal readout operation is executed for pixels in which the occurrence of an event has been detected. Therefore, as shown in FIG. 5, when a captured image of one frame is generated based on event signals acquired within a predetermined period of time, point groups of events based on the same target particle appear as clusters 41 . On the other hand, in addition to these clusters 41, many events are captured as noise.
  • the cluster formation unit 21 first removes events that are not events (effective events) based on target particles, that is, events that are noise.
  • the cluster forming unit 21 adds, for example, an event 51 (indicated in black in the figure) based on the event signal acquired within the latest 1 ms, and an earlier event. For example, it is determined whether there are a predetermined number of events 52 (indicated by hatching in the drawing) based on event signals acquired within 3 ms.
  • the predetermined number is set to a value that can distinguish whether the event 51 is noise or part of the cluster 41 .
  • the cluster formation unit 21 regards the event 51 as a valid event. On the other hand, when there are less than the predetermined number of events 52 around the event 51, the cluster forming unit 21 determines that the event 51 is an invalid event, ie, noise.
  • the cluster forming unit 21 removes noise from the events 51 based on the event signal acquired from the vision sensor 11 at predetermined intervals (for example, every 1 ms), and only valid events are subjected to subsequent processing. do.
  • the cluster forming unit 21 stores event signals of a predetermined period (for example, 100 ms) that are determined to be valid events in a predetermined buffer of the RAM. Therefore, when the latest 1 ms event signal is stored in the predetermined buffer, the cluster formation unit 21 deletes the oldest 1 ms event signal from the predetermined buffer.
  • a predetermined period for example, 100 ms
  • the cluster forming unit 21 groups events within a predetermined range (for example, within two pixels around) of the events based on the event signals stored in the predetermined buffer as events based on the same target particle.
  • One cluster 41 is formed.
  • Cluster tracking process> When the event signal stored in the predetermined buffer is updated at predetermined intervals (for example, every 1 ms), the cluster tracking unit 22 updates the cluster 41 based on the updated event signal. Chase.
  • the cluster tracking unit 22 removes the event from the cluster 41 if the event contained in the cluster 41 is based on the oldest event signal deleted from the predetermined buffer.
  • the cluster tracking unit 22 adds the event to the cluster 41 if the event based on the latest event signal is within a predetermined range of any of the events forming the cluster 41 .
  • the cluster tracking unit 22 can always form a cluster 41 that includes only the latest events. Also, the cluster tracking unit 22 can track the clusters 41 that move along with the movement of the target particles.
  • the feature quantity calculator 23 calculates the feature quantity of the cluster 41 tracked by the cluster tracker 22 .
  • the feature amount movement-related, frequency-related, event-related, and shape-related feature amounts can be considered.
  • the movement-related feature values of the cluster 41 are the average velocity, body length, body width, frequency of angle change, body length ratio to average velocity, body length ratio to instantaneous maximum velocity, direction change persistence, presence/absence of chemotaxis, positive/negative of chemotaxis.
  • stop frequency longitudinal mobility, lateral mobility, constant velocity persistence, number or frequency of rapid velocity changes, dispersion of time transition of absolute value of velocity, absolute velocity components in lateral and longitudinal directions Variance of time transition of values
  • Each value or summed value width of arc of rotation, period of spiral motion, variance of speed, maximum instantaneous acceleration, and the like.
  • taxis includes phototaxis, thermotaxis, chemotaxis, haptotaxis, pressure taxis, electrotaxis and the like.
  • Frequency-related features include the frequency of increase/decrease (change) in the number of events, the frequency of increase/decrease in size change, and the number or peaks of the frequency analysis result of the time transition of event increase for positive events and/or negative events.
  • Event-related feature amounts include the ratio of positive events and negative events, the rate of increase in events, and the like.
  • Shape-related features include vertical and horizontal scale ratio, vertical and horizontal scale ratio change range, ratio of events near the head and tail depending on the presence or absence of antennae protruding from the head, variance of coordinate values of positive and negative events, It is the variance of the distance between the center of gravity (coordinate average value) of each positive event and negative event. In this way, various feature amounts of the cluster 41 are conceivable.
  • the feature amount calculation unit 23 calculates one or more feature amounts of the cluster 41 classified into movement-related, frequency-related, event-related, and shape-related.
  • frequency the average speed, body length, body width, angle change frequency, and event increase/decrease frequency (hereinafter simply referred to as frequency) of the cluster 41.
  • the feature amount calculation unit 23 calculates the average velocity, body length, body width, angle change frequency, and Calculate the frequency.
  • FIG. 7 is a diagram for explaining calculation of the average velocity of clusters.
  • the feature quantity calculator 23 calculates the moving distance (the number of pixels) from the start point 61 to the end point 62 of the cluster 41 tracked by the cluster tracking process.
  • the starting point 61 is calculated as the center position (center in the vertical and horizontal directions) of the cluster 41 formed first.
  • the end point 62 is calculated as the center position of the current cluster 41 .
  • the total distance of the movement route 63 from the start point 61 to the end point 62 is calculated as the movement distance.
  • the feature amount calculation unit 23 calculates the movement speed by dividing the calculated movement distance by the time required for the movement. In addition, the feature amount calculation unit 23 calculates the average speed by calculating the average value of the moving speeds of the same cluster 41 calculated for each predetermined cycle.
  • FIG. 8 is a diagram showing the average speed for each type.
  • FIG. 8 is a diagram showing measurement results of average velocities for four different types of organisms (types A to D). Note that in FIG. 8, the vertical and horizontal axes of the four graphs are shown on the same scale.
  • type A shows a distribution in which the average speed is relatively low.
  • type B the average speed is evenly distributed from low speed to high speed.
  • the average speed of type C is higher than that of type A.
  • Type D has a higher percentage of slower average speeds than types A, B, and C, and there is almost no difference in average speed between individuals.
  • the average speed shows different distributions for each type. Therefore, by calculating the average speed as the feature amount by the feature amount calculation unit 23, the cluster classification unit 24, which will be described later, uses the average speed in the cluster classification process, thereby improving the classification accuracy.
  • FIG. 9 is a diagram explaining calculation of the body length of a cluster.
  • the feature amount calculator 23 sets a rectangular bounding box 64 surrounding the cluster 41 tracked by the cluster tracking process. Then, the feature amount calculation unit 23 calculates the horizontal (horizontal) length (X) and the vertical (longitudinal) length (Y) of the bound box 64 .
  • the feature amount calculation unit 23 sets the longer one of the calculated horizontal length (X) and vertical length (Y) as the temporary body length. In addition, the feature amount calculation unit 23 calculates the average value of the temporary body lengths of the same cluster 41 calculated at predetermined intervals, and uses the average value as the body length of the cluster 41 .
  • FIG. 10 is a diagram explaining the body length for each type.
  • FIG. 10 is a diagram showing body length measurement results for four different types of organisms (types A to D) similar to FIG. Note that in FIG. 10, the vertical and horizontal axes of the four graphs are shown on the same scale.
  • type A is distributed over a wide range from relatively short to long body lengths.
  • Type B has a relatively wide range of body lengths, and is distributed in a range in which there are many longer than type A.
  • Type C has a shorter body length than types A and B, and is distributed in a narrow range.
  • Type D has a shorter body length than types A, B, and C, and there is not much difference in body length between individuals.
  • body length shows different distributions for each species. Therefore, by calculating the body length as a feature amount by the feature amount calculation unit 23, the cluster classification unit 24, which will be described later, uses the body length in the cluster classification process, thereby making it possible to improve the accuracy of classification.
  • FIG. 11 is a diagram for explaining calculation of the body width of a cluster.
  • the feature amount calculation unit 23 calculates a traveling direction vector 65 of the cluster 41 tracked by the cluster tracking process. Specifically, the feature amount calculation unit 23 calculates, as the traveling direction vector 65, a vector connecting the center position of the cluster 41 from 100 ms ago to the current (latest) center position of the cluster 41, for example.
  • the feature amount calculation unit 23 calculates a unit vector orthogonal to the traveling direction vector 65 as an orthogonal unit vector 66 .
  • the feature quantity calculation unit 23 extracts an arbitrary plurality of (for example, 16) events as target events 67 from among the latest (most recent 1 ms) events among the events forming the cluster 41 . After that, the feature amount calculation unit 23 calculates a vector connecting the target event 67 from the center position of the current (latest) cluster 41 as a body width vector 68 .
  • the feature quantity calculation unit 23 calculates the length of the cluster 41 orthogonal to the traveling direction by taking the inner product of the orthogonal unit vector 66 and the body width vector 68 for each target event 67 .
  • the feature amount calculation unit 23 takes the longest length among the lengths perpendicular to the traveling direction calculated for each target event 67 as the temporary body width. Further, the feature amount calculation unit 23 calculates the average value of temporary body widths for the same cluster 41 calculated at predetermined intervals, and uses the average value as the body width of the cluster 41 .
  • FIG. 12 is a diagram explaining the body width for each type.
  • FIG. 11 shows the measurement results of the body width of four different types of creatures (types A to D) similar to FIGS. 8 and 10.
  • FIG. 12 the vertical and horizontal axes of the four graphs are shown on the same scale.
  • type A is distributed over a wide range from those with relatively short body widths to those with long body widths.
  • Type B has a relatively wide range of body lengths, and is distributed in a range in which there are many longer than type A.
  • Type C has a shorter body length than types A and B, and is distributed in a narrow range.
  • Type D has a shorter body length than types A, B, and C, and there is almost no difference in body length between individuals.
  • body width shows different distributions for each type. Therefore, by calculating the body width as a feature amount by the feature amount calculation unit 23, the accuracy of classification can be improved by using the body width in cluster classification processing by the cluster classification unit 24, which will be described later.
  • FIG. 13 is a diagram for explaining calculation of the frequency of angle change.
  • the feature amount calculation unit 23 calculates the traveling direction vector 65 of the cluster 41 tracked by the cluster tracking process in the same manner as when calculating the body width, and stores the traveling direction vector 65 in the RAM.
  • the feature amount calculation unit 23 reads the traveling direction vector 65 of 100 ms before, for example, from the RAM and uses it as the forward traveling direction vector 69 .
  • the feature amount calculation unit 23 calculates the inner product of the unit lengths of the traveling direction vector 65 and the forward traveling direction vector 69, that is, the angle 70 formed by the traveling direction vector 65 and the forward traveling direction vector 69.
  • the feature amount calculation unit 23 counts the number of times that the angle 70 formed by the traveling direction vector 65 and the forward traveling direction vector 69 is within a predetermined angle range, and uses the count value as the frequency of angle change.
  • the predetermined angle is set to an angle at which the direction of the target particle is changed.
  • FIG. 14 is a diagram explaining the frequency of angle change for each type.
  • FIG. 14 is a diagram showing measurement results of the angle change frequency for four different types of creatures (types A to D) similar to FIGS. Note that in FIG. 14, the vertical and horizontal axes of the four graphs are shown on the same scale.
  • type A is distributed in a range in which the frequency of angle change is relatively low.
  • Type B is distributed in a range in which the frequency of angle change is higher than type A.
  • Type C is distributed over a wide range from a range in which the frequency of angle change is lower than that of type A to a higher range.
  • Type D has a higher frequency of angle change than types A, B, and C, and is distributed in a narrow range.
  • the frequency of angle change shows a different distribution for each type. Therefore, when the feature amount calculation unit 23 calculates the frequency of angle change as a feature amount, the accuracy of classification can be improved by using the frequency of angle change in cluster classification processing by the cluster classification unit 24, which will be described later. becomes.
  • FIG. 15 is a diagram for explaining changes in the number of events of type A and frequency components.
  • FIG. 16 is a diagram for explaining changes in the number of events of type C and frequency components.
  • the number of events detected by the vision sensor 11 changes depending on how the target particle moves (how it swims). This is because the swimming organs of the target object are moving at a predetermined frequency. Therefore, depending on the type of target particle, the number of events changes at a fixed frequency.
  • the feature quantity calculation unit 23 performs frequency analysis on the number of events in the cluster 41 and calculates the peak frequency. In addition, as described above, the peak frequency may not be calculated.
  • Cluster merging process As described above, the clusters 41 formed by the cluster forming section 21 are tracked by the cluster tracking section 22 . However, since the vision sensor 11 outputs an event signal when the brightness of the incident light changes, the event signal is not output when, for example, the living thing that is the target particle is stationary. Therefore, when the organism that is the target particle is stationary, the cluster tracking unit 22 cannot track the cluster 41 . Then, when the stopped organism starts to move again, the cluster 41 for that organism is newly formed by the cluster forming unit 21 . That is, even if the cluster 41 before stopping and the cluster 41 after re-moving are formed and tracked based on the same organism, they will be detected as different clusters 41 .
  • the clusters 41 based on the respective organisms are combined or separated, making it difficult to track the same organism as the cluster 41. Become.
  • the cluster tracking unit 22 combines a plurality of different clusters 41 based on the same target particle into one cluster 41 by performing cluster combining processing.
  • FIG. 17 is a diagram explaining cluster combination processing. Specifically, as shown in FIG. 17, the cluster tracking unit 22 detects the position (indicated by the concentrated line in ) within a predetermined range and within a predetermined period of time (hereinafter referred to as a new cluster 72).
  • the cluster tracking unit 22 defines the new cluster 72 as the cluster 41 that is within a predetermined range from the position where the lost cluster 71 is lost and within a predetermined period of time. Then, the cluster tracking unit 22 compares the feature amounts of the lost cluster 71 and the new cluster 72, and if the respective feature amounts are within the range of the same target particle, the lost cluster 71 and the new cluster 72 are identified. Combined to form one cluster 41 .
  • the feature amount calculation unit 23 calculates again the feature amount for the combined clusters 41 .
  • the average velocity, body length, body width, angle change frequency, and frequency of the cluster 41 are calculated again.
  • the feature amount can be calculated using information for a longer period of time, and the feature amount can be calculated. It is possible to improve the accuracy.
  • the cluster classification unit 24 identifies the classification of the cluster 41, that is, the type of the target particle, based on the calculated feature amount.
  • the type of target particles may be specified based on a rule, or the type of target particles may be specified by machine learning.
  • FIG. 18 is a diagram explaining feature amounts for each type. For example, in specifying the type of target particles based on a rule, as shown in FIG. Then, when the feature amount of the cluster 41 is included in the range of feature amounts of a specific type, the cluster classification unit 24 identifies the cluster 41 as being of the specific type.
  • a learning model is generated by learning the relationship between the known feature amount and the type for each type as teacher data, and the learning model is stored in the ROM or the memory 15. stored in Then, the cluster classification unit 24 identifies the type of the cluster 41 by introducing the feature amount of the cluster 41 into the learning model.
  • the cluster classification unit 24 comprehensively identifies the type from various feature amounts.
  • the signal analysis unit 13 forms and tracks the cluster 41 based on the event signal input from the vision sensor 11 and calculates the feature amount of the cluster 41 . Then, the signal analysis unit 13 identifies the type of target particle based on the feature amount of the cluster 41 . Also, the control unit 14 stores the specified information in the memory 15 . At this time, the control unit 14 may store the specified information in association with the external environment information.
  • the external environment information includes depth, position coordinates (latitude and longitude of the measurement point), electrical conductivity, temperature, ph, concentration of gas (eg, methane, hydrogen, helium), concentration of metal (eg, manganese, iron), the flow velocity of the surrounding liquid, and the like.
  • FIG. 19 is a diagram illustrating the configuration of the measuring device 100 of Usage Example 1.
  • FIG. Usage example 1 is an example in which power consumption is reduced by suspending or reducing signal analysis processing in the measuring apparatus 100 . Since the measurement apparatus 100 is maintained in the ocean for several months to several years, for example, it is possible to lengthen the measurement period by reducing power consumption.
  • the measurement apparatus 100 includes a power supply 101, a power supply control section 102, and a timer 103 in addition to the configuration of the measurement apparatus 1.
  • FIG. 1 is an example in which power consumption is reduced by suspending or reducing signal analysis processing in the measuring apparatus 100 . Since the measurement apparatus 100 is maintained in the ocean for several months to several years, for example, it is possible to lengthen the measurement period by reducing power consumption.
  • the measurement apparatus 100 includes a power supply 101, a power supply control section 102, and a timer 103 in addition to the configuration of the measurement apparatus 1.
  • the power supply 101 is a battery that stores power supply power to be supplied to each part.
  • the power control unit 102 is a computer having a CPU, RAM, and ROM, and controls the power supplied from the power supply 101 to each unit. Note that the power control unit 102 may be configured with the same hardware as the signal analysis unit 13 or the control unit 14 .
  • the timer 103 outputs a trigger signal to the power control unit 102 at regular intervals.
  • FIG. 20 is a flow chart showing the flow of processing in use example 1.
  • the power control unit 102 shifts the measuring device 100 to the power saving mode in step S11.
  • the power supply is stopped or reduced (intermittently supplied) to each part of the measuring device 100 (for example, the vision sensor 11, the signal analysis part 13, the control part 14, the gravity sensor 16). It controls power supply from 101 .
  • the measuring apparatus 100 By setting the measuring apparatus 100 to the power saving mode in this way, it is possible to interrupt or reduce the signal analysis processing.
  • step S12 the power control unit 102 determines whether the start condition is satisfied.
  • the start conditions are that a trigger signal is input from the timer 103, that the number of event signals input from the vision sensor 11 operating in the power saving mode is equal to or greater than a predetermined value, and that the communication unit 17 is activated. It is set such that a start instruction command is input from the outside via the device.
  • Step S12 is repeated until the start condition is satisfied, and if the start condition is satisfied (Yes in step S12), the power control unit 102 shifts the measuring device 100 to the normal processing mode in step S13.
  • the normal processing mode power supply from the power supply 101 is controlled so as to always supply power to each unit of the measurement device 100 (eg, the vision sensor 11, the signal analysis unit 13, the control unit 14, the gravity sensor 16).
  • step S14 the power supply control unit 102 determines whether the termination condition is satisfied.
  • the end condition is that a signal serving as a trigger is input from the timer 103, that a predetermined condition based on the number of clusters 41 and the feature amount calculated in the signal analysis process is satisfied, and that the At least one of inputting an end instruction command from the outside.
  • step S1 to S8 The measurement process (steps S1 to S8) is performed until the end condition is satisfied, and when the end condition is satisfied (Yes in step S14), the process returns to step S11, and the power control unit 102 puts the measuring apparatus 100 into the power saving mode. move to
  • the power supply control unit 102 can reduce power consumption and efficiently measure the target particles by switching the mode based on the number of clusters or the feature amount, for example. Become.
  • FIG. 21 is a diagram illustrating the configuration of the measuring device 200 of Usage Example 2.
  • the vision This leads to an increase in power consumption of the sensor 11 and signal analysis unit 13 .
  • the target particles move slowly, the required number of events cannot be obtained, and accurate measurement results cannot be obtained.
  • the event threshold (plus threshold, minus threshold) of the vision sensor 11 or the light intensity of the light emitted from the illumination unit 3 is adjusted to optimize the number of events.
  • the measurement apparatus 200 includes an illumination control section 201 and an event number monitor section 202 in addition to the configuration of the measurement apparatus 1.
  • the illumination control unit 201 is a computer including a CPU, RAM, and ROM, and controls the amount of light emitted from the illumination unit 3.
  • the event number monitor unit 202 is a computer having a CPU, RAM, and ROM, and monitors the number of event signals output from the vision sensor 11, that is, the number of events captured by the vision sensor 11.
  • FIG. Note that the illumination control unit 201 and the event number monitor unit 202 may be configured by the same hardware as the signal analysis unit 13 or the control unit 14 .
  • FIG. 22 is a flowchart showing the flow of processing in Usage Example 2.
  • the control unit 14 sets the event threshold (plus threshold, minus threshold) of the vision sensor 11 to a default value in step S21.
  • the illumination control unit 201 sets the amount of light emitted from the illumination unit 3 to a default value.
  • the event number monitor unit 202 monitors the number of events.
  • the control unit 14 determines whether the conditions for changing the event threshold value and the light amount are satisfied.
  • the change conditions are that the number of events is equal to or greater than a first predetermined number or equal to or less than a second predetermined number, that the percentage of failures in tracking the cluster 41 is equal to or greater than a first predetermined value or equal to or less than a second predetermined value, At least one of the following: Clusters 41 of a predetermined size or larger have a sufficient amount of momentum (average velocity is a predetermined value or higher, etc.), and the number of events may become excessive.
  • the first predetermined number is a number larger than the second predetermined number
  • the first predetermined value is a value larger than the second predetermined value.
  • the change conditions for determining that the number of events is large include that the number of events is equal to or greater than a first predetermined number, that the percentage of failures in tracking the cluster 41 is equal to or less than a second predetermined value, At least one of the above clusters 41 has sufficient momentum and the number of events may become excessive. Further, the change condition for determining that the number of events is small is at least one of the number of events being equal to or less than the second predetermined number, and the percentage of failures in tracking the cluster 41 being equal to or greater than the first predetermined value.
  • step S22 If the change condition is not satisfied (No in step S22), the process returns to the signal analysis processing of steps S1 to S8 described above, and if the change condition is satisfied (Yes in step S22), the control unit 14 detects the vision sensor in step S23. 11 event thresholds (plus threshold, minus threshold) are changed. Also, the illumination control unit 201 changes the amount of light emitted from the illumination unit 3 .
  • the event threshold is increased or the light amount is decreased. Further, when a change condition that the number of events is small is met, the event threshold is decreased or the light amount is increased.
  • the measurement apparatus 200 by appropriately adjusting the number of events, power consumption can be reduced, and the target particles can be measured with high accuracy.
  • the change condition when the change condition is satisfied, at least one of the change of the event threshold and the change of the light amount of the light emitted from the illumination unit 3 may be performed. You can do it.
  • FIG. 23 is a diagram illustrating the configuration of the measuring device 300 of Usage Example 3.
  • the illumination unit 301 includes a plurality of light sources 301a that can be turned on and off individually, and the light sources 301a are switched between on and off, wavelength, and light intensity based on the result of signal analysis processing.
  • the measurement device 300 includes an illumination unit 301 in place of the illumination unit 3 of the measurement device 1 and an illumination control unit 201 .
  • the illumination unit 301 includes a plurality of light sources 301a that can be turned on and off individually.
  • the illuminating unit 301 can change the position to irradiate the light as a whole by switching on/off the plurality of light sources 301a.
  • FIG. 24 is a flow chart showing the flow of processing in Usage Example 3. As shown in FIG. 24, when the process is started, the illumination control unit 201 sets the wavelength, position, and amount of light emitted from the illumination unit 301 to default values in step S31.
  • step S32 the control unit 14 specifies only one type of classification result for a specific cluster 41 based on the result of the signal analysis processing. determine whether the
  • the lighting control unit 201 selects one type of classification destination in step S33.
  • the wavelength, position, and amount of light emitted from the illumination unit 301 are changed so as to be specified.
  • the on/off of each light source 301a, the wavelength of the emitted light, and the amount of light are changed according to the phototaxis of the type of classification destination candidate.
  • the signal analysis processing (steps S1 to S8) is continued.
  • the phototaxis of the target particles is measured as a new feature amount, thereby classifying the target particles. It is possible to improve the accuracy. In addition, for example, it is possible to select only one specific type of target particles, irradiate them with light, and perform measurement.
  • the illumination control unit 201 changes the wavelength, position, and amount of light emitted from the illumination unit 301 even when a predetermined condition other than the identification of multiple types of classification destination candidates is satisfied. good too.
  • the illumination control section 201 may change only the position of the light emitted from the illumination section 301 .
  • FIG. 25 is a diagram illustrating the configuration of the measuring device 400 of Usage Example 4. As shown in FIG. Usage example 4 is an example in which external environment information measured by various sensors is associated and stored in addition to the result of signal analysis processing.
  • the measurement device 400 includes a particle analysis unit 401, a GNSS sensor (Global Navigation Satellite System) 402, a water depth gauge 403, a pH gauge 404, and a real-time clock 405 in addition to the configuration of the measurement device 100.
  • GNSS Global Navigation Satellite System
  • the measurement device 400 includes a particle analysis unit 401, a GNSS sensor (Global Navigation Satellite System) 402, a water depth gauge 403, a pH gauge 404, and a real-time clock 405 in addition to the configuration of the measurement device 100.
  • GNSS Global Navigation Satellite System
  • the particle analysis unit 401 is a computer having a CPU, RAM, and ROM, and includes a particle determination unit 411 and a particle count unit 412 .
  • the particle determination unit 411 further classifies the target particles classified by the signal analysis process based on preset conditions. For example, based on the moving direction of the target particles (clusters 41), the particle determination unit 411 classifies target particles that also move upward as active particles, and classifies target particles that only move downward as passive particles.
  • the particle counting section 412 counts the number of particles classified by the particle determining section 411 .
  • the particle analysis unit 401 may be configured with the same hardware as the signal analysis unit 13 or the control unit 14 . Also, the particle determination unit 411 and the particle count unit 412 may be provided within the cluster classification unit 24 .
  • the GNSS sensor 402 acquires the position information of the measuring device 400.
  • the water depth gauge 403 measures the water depth at the position where the measuring device 400 is placed.
  • the pH meter 404 measures the pH value of the water area in which the measuring device 400 is placed.
  • a real-time clock 405 is an integrated circuit having a clock function and outputs the current time.
  • FIG. 26 is a flow chart showing the flow of processing in use example 4.
  • FIG. 26 when the processing is started, the signal analysis processing of steps S1 to S8 described above is executed. Further classification is performed based on preset conditions. Also, the particle counting unit 412 counts the number of classified particles.
  • step S42 the control unit 14 acquires values measured or output from the gravity sensor 16, GNSS 402, water depth gauge 403, pH meter 404, and real-time clock 405. Then, in step S43, the control unit 14 associates the processing result in step S41 with the result obtained in step S42 as external environment information and stores them in the memory 15.
  • the measuring device 400 stores the number of active particles and passive particles in association with various external environment information, so that, for example, the number and density of organisms can be observed, and the ratio of passive particles such as marine snow can be measured. can be obtained. This will also make it possible to find indicators for evaluating marine biodiversity and the degree of environmental pollution.
  • FIG. 27 is a diagram illustrating the configuration of the measuring device 500 of Usage Example 5. As shown in FIG. Usage example 5 is an example of estimating the amount of carbon deposited on the seabed based on the result of signal analysis processing.
  • the measuring device 500 includes a particle analyzing section 501 instead of the particle analyzing section 401 in the measuring device 400 of the usage example 4.
  • the particle analysis unit 501 is a computer having a CPU, RAM, and ROM, and includes a particle determination unit 411 , a particle count unit 412 and a carbon content estimation unit 511 .
  • the carbon amount estimating unit 511 regards the target particles classified as passive particles by the particle determining unit 411 as particles deposited on the seabed, and determines the passive particle type and feature amount (feature amount indicating size such as body length and body width). , based on numbers, estimate the amount of carbon deposited on the seafloor. For example, the carbon content per unit size for each type classified as passive particles is stored in the memory 15, and the carbon content estimation unit 511 calculates the carbon content per unit size and the size of each passive particle. and the relationship with the numbers to estimate the carbon content.
  • the measuring device 500 can acquire an index for greenhouse gas reduction by estimating the amount of carbon deposited on the seabed.
  • the measurement device may be equipped with an imaging sensor.
  • the imaging sensor is, for example, a CCD (Charge Coupled Device) type or a CMOS (Complementary Metal-Oxide-Semiconductor) type image sensor, and may image the same imaging range as the vision sensor 11 .
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide-Semiconductor
  • the feature amount calculation unit 23 calculates the average speed, body length, body width, angle change frequency, and frequency of the cluster 41 as feature amounts, and classifies the clusters 41 based on these feature amounts. .
  • the feature amount calculation unit 23 calculates one or more of the average speed, body length, body width, angle change frequency, and frequency of the cluster 41 as feature amounts, and classifies the clusters 41 based on the calculated feature amounts. You may make it That is, the feature amount calculation unit 23 may calculate one or more of the movement-related, frequency-related, event-related, and shape-related feature amounts described above.
  • the vision sensor 11 has a plurality of pixels that asynchronously output event signals in response to changes in the luminance of incident light, and the event signals input within a predetermined period. , a cluster forming unit 21 for forming clusters 41 of points of events generated by the same target particle, a feature amount calculating unit 23 for calculating the feature amount of the cluster, and based on the feature amount calculated by the feature amount calculating unit and a cluster classification unit 24 for classifying clusters.
  • the measuring device 1 can classify the clusters 41 based on the event signal input from the vision sensor 11 .
  • the measuring device 1 can accurately classify clusters.
  • a cluster tracking unit 22 that tracks the cluster 41 is also provided, and a feature amount calculation unit 23 calculates the feature amount of the cluster tracked by the cluster tracking unit. Thereby, the measuring device 1 can calculate the feature amount (average speed, frequency, etc.) based on the movement of the cluster 41 .
  • the cluster tracking unit 22 combines a plurality of clusters 41 based on the same target particle into one cluster based on the feature quantity. As a result, the measuring device 1 can reduce erroneous detection of a plurality of clusters 41 based on the same target particle as clusters 41 based on different target particles.
  • the feature amount calculation unit 23 recalculates the feature amount based on the information of the combined clusters.
  • the measuring device 1 calculates the feature amount based on the information (event signal) of the cluster 41 before and after the combination, so that the cluster 41 can be observed over a long period of time, and the feature amount can be calculated. It can be calculated with high accuracy.
  • the feature amount calculation unit 23 calculates one or more of the feature amounts classified into movement-related, frequency-related, event-related, and shape-related of the cluster 41 .
  • the measuring device 1 can classify the clusters 41 with high accuracy by appropriately selecting the feature quantity that is effective for classifying the target particles.
  • the feature amount calculation unit 23 calculates one or more of the average velocity, body length, body width, angle change frequency, and change frequency of the number of events forming the cluster as feature amounts of the cluster 41 . Thereby, the measuring device 1 can classify the clusters 41 based on the feature quantity effective for classifying the target particles.
  • the feature amount calculation unit 23 calculates all of the average velocity, body length, body width, frequency of angle change, and change frequency of the number of events forming the cluster as feature amounts of the cluster 41 .
  • the measuring device 1 can classify the clusters 41 with higher accuracy based on a combination of a plurality of feature quantities effective for classifying the target particles.
  • a power control unit 102 that controls the supply of power from the power supply 101 is provided. Switches between the normal processing mode in which power is supplied to each part of . As a result, the measuring apparatus 100 can reduce power consumption when no measurement is performed or when no measurement is required, and can extend the measurement period.
  • the power control unit 102 switches modes based on the number of clusters formed by the cluster forming unit 21 or the feature amount calculated by the feature amount calculating unit 23 .
  • the measurement apparatus 100 can perform measurement under an environment in which the measurement can be performed optimally, such as when there are many target particles, and can reduce power consumption by the power saving mode in other cases.
  • the illumination unit 3 irradiates the imaging range of the vision sensor 11 with light, and the illumination control unit 201 controls the amount of light emitted from the illumination unit 3. Change the amount of light when it is established.
  • the measurement apparatus 200 can optimize the number of events detected by the vision sensor 11, improve measurement accuracy, and reduce power consumption.
  • the change conditions are that the number of event signals output from the vision sensor 11 is equal to or greater than a first predetermined number or equal to or less than a second predetermined number, and that the rate of cluster tracking failure is equal to or greater than a first predetermined value or equal to or less than a second predetermined number. and at least one of the fact that the clusters of a predetermined size or larger have sufficient momentum and the number of events may become excessive.
  • the measurement apparatus 200 can optimize the number of events by changing the amount of light emitted from the illumination unit 3 when the number of events is too large or too small.
  • a control unit 14 for controlling the event threshold of the vision sensor 11 is provided, and the control unit 14 changes the event threshold when a change condition is satisfied.
  • the measurement apparatus 200 can optimize the number of events detected by the vision sensor 11, improve measurement accuracy, and reduce power consumption.
  • the lighting unit 301 includes a plurality of light sources 301a that can be turned on and off independently, and a lighting control unit 201 that controls the on/off of the light sources 301a. Change on/off. As a result, the measurement apparatus 300 can change the position of the light emitted from the illumination unit, and can perform measurement focusing on, for example, organisms exhibiting phototaxis.
  • the illumination control unit 201 changes the on/off, wavelength, and amount of light of the light source 301a when a predetermined condition is satisfied.
  • the measurement apparatus 300 irradiates a specific target particle (organism exhibiting phototaxis) with light suitable for the target particle, thereby improving the measurement accuracy of the target particle.
  • the measuring device 400 can calculate the ratio of living organisms and non-living organisms, the ratio of particles deposited on the seabed, and the like.
  • the measuring device 400 can calculate the ratio of living organisms and non-living organisms, the ratio of particles deposited on the seabed, and the like.
  • a sensor for measuring the external environment is provided, and the number of active particles and passive particles and the information of the external environment measured by the sensor are Store in association. This makes it possible to calculate the ratio of active particles and passive particles, biodiversity, the degree of environmental pollution, etc. due to the influence of the external environment.
  • It also includes a carbon amount estimation unit 511 that estimates the amount of carbon deposited in water based on the number of passive particles and the feature amount. Thereby, the measuring device 500 can estimate the amount of marine carbon that contributes to the reduction of greenhouse gases.
  • the measurement method is based on event signals input within a predetermined period by a vision sensor having a plurality of pixels that asynchronously output event signals according to changes in luminance of incident light. is formed as a cluster, the feature amount of the cluster is calculated, and the cluster is classified based on the feature amount.
  • the program detects events generated by the same target particle based on event signals input within a predetermined period by a vision sensor having a plurality of pixels that asynchronously output event signals in accordance with changes in luminance of incident light.
  • a point cloud is formed as a cluster, the feature amount of the cluster is calculated, and the cluster is classified based on the feature amount.
  • Such a program can be recorded in advance in a HDD as a recording medium built in equipment such as a computer device, or in a ROM or the like in a microcomputer having a CPU.
  • a flexible disc a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a Blu-ray disc (Blu-ray Disc (registered trademark)), a magnetic disc, a semiconductor memory
  • It can be temporarily or permanently stored (recorded) in a removable recording medium such as a memory card.
  • Such removable recording media can be provided as so-called package software.
  • it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • the present technology can also adopt the following configuration.
  • a vision sensor having a plurality of pixels that asynchronously output event signals according to luminance changes of incident light; a cluster forming unit that forms a cluster of point groups of events generated by the same target particle based on the event signal input within a predetermined period; A feature amount calculation unit that calculates the feature amount of the cluster; a cluster classification unit that classifies the cluster based on the feature amount calculated by the feature amount calculation unit;
  • a measuring device comprising a (2) A cluster tracking unit that tracks the cluster, The measuring device according to (1), wherein the feature amount calculation unit calculates the feature amount of the cluster tracked by the cluster tracking unit.
  • the measuring device (2) The measuring device according to (2), wherein the cluster tracking unit combines a plurality of the clusters based on the same target particle into one cluster based on the feature amount. (4) (3) The measuring device according to (3), wherein, when the clusters are combined, the feature amount calculation unit recalculates the feature amount based on the information of the combined clusters. (5) The feature amount calculation unit calculates any one or more of the feature amounts classified into movement-related, frequency-related, event-related, and shape-related of the cluster according to any one of (1) to (4). measuring device.
  • the feature amount calculation unit calculates one or more of the average speed, body length, body width, frequency of angle change, and change frequency of the number of events that constitute the cluster as the feature amount from (1) of the cluster (5)
  • the measuring device according to any one of the items.
  • the feature amount calculation unit calculates all of the average speed, body length, body width, frequency of angle change, and change frequency of the number of events constituting the cluster as the feature amount of the cluster. measuring device.
  • the power control unit According to any one of (1) to (7), switching between a power saving mode in which supply of power supply power to each part of the measuring apparatus is stopped or reduced and a normal processing mode in which power supply power is supplied to each part of the measuring apparatus. measuring device. (9) (8) The measuring device according to (8), wherein the power control unit switches modes based on the number of the clusters formed by the cluster forming unit or the feature amount calculated by the feature amount calculation unit.
  • the measuring device according to any one of (1) to (9), wherein the amount of light is changed when a change condition is satisfied.
  • the modification conditions are the number of the event signals output from the vision sensor becomes greater than or equal to a first predetermined number or less than or equal to a second predetermined number; (10), the measuring device according to (10), wherein the clusters of a predetermined size or larger have sufficient momentum and the number of events may become excessive.
  • a control unit that controls an event threshold of the vision sensor The control unit The measuring device according to any one of (1) to (11), wherein the event threshold is changed when a change condition is satisfied.
  • the lighting control unit (13) The measurement device according to (13), wherein the on/off, wavelength, and amount of light of the light source are changed when the predetermined condition is satisfied.
  • the measuring device according to any one of (1) to (14), further comprising a particle determination unit that classifies target particles classified by the cluster classification unit into active particles or passive particles.
  • a particle determination unit that classifies target particles classified by the cluster classification unit into active particles or passive particles.
  • the measuring device further comprising a particle counting section that counts the number of the active particles and the number of the passive particles.
  • the measuring device according to (16) or (17), further comprising a carbon amount estimating unit that estimates the amount of carbon deposited in water based on the number of passive particles and the feature amount.
  • the measuring device A point cloud of events generated by the same target particle is clustered based on the event signals input within a predetermined period by a vision sensor having a plurality of pixels that asynchronously output event signals according to luminance changes of incident light. form as calculating the feature amount of the cluster; A measurement method of classifying the cluster based on the feature amount. (20) A point cloud of events generated by the same target particle is clustered based on the event signals input within a predetermined period by a vision sensor having a plurality of pixels that asynchronously output event signals according to luminance changes of incident light. form as calculating the feature amount of the cluster; A program that causes a measuring device to execute a process of classifying the clusters based on the feature amount.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Organic Chemistry (AREA)
  • Immunology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Pathology (AREA)
  • Biotechnology (AREA)
  • General Physics & Mathematics (AREA)
  • Genetics & Genomics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Dispersion Chemistry (AREA)
  • Microbiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Toxicology (AREA)
  • Medicinal Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Sustainable Development (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

測定装置は、入射光の輝度変化に応じてイベント信号を非同期で出力する複数の画素を有するビジョンセンサと、所定期間内に入力されたイベント信号に基づいて、同一の対象粒子によって発生したイベントの点群をクラスターとして形成するクラスター形成部と、クラスターの特徴量を算出する特徴量算出部と、特徴量算出部により算出された特徴量に基づいて、クラスターを分類するクラスター分類部と、を備える。

Description

測定装置、測定方法、プログラム
　本技術は測定装置、測定方法、プログラムに関し、特に、ビジョンセンサを用いて測定する技術に関する。
　所定の波長の励起光を照射して植物プランクトンを励起させ、励起された植物プランクトンから発する蛍光の強度を計測することで、植物プランクトンの存在量を測定する測定装置が提案されている（例えば、特許文献１参照）。
特開２０１９－１６５６８７号公報
　上記した測定装置では、励起光によって励起する植物プランクトンについてしか測定することができない。しかしながら、例えば海洋調査等では、植物プランクトンのみならず、動物プランクトン、水中生物の幼生等の生物、マイクロプラスチック、塵、砂、マリンスノー、気泡等の非生物についても測定することが考えられ、これらを精度よく分類することが望まれている。
　そこで本技術は、対象粒子を精度よく分類することを目的とする。
　本技術に係る測定装置は、入射光の輝度変化に応じてイベント信号を非同期で出力する複数の画素を有するビジョンセンサと、所定期間内に入力された前記イベント信号に基づいて、同一の対象粒子によって発生したイベントの点群をクラスターとして形成するクラスター形成部と、前記クラスターの特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された前記特徴量に基づいて、前記クラスターを分類するクラスター分類部と、を備える。
　これにより、測定装置は、ビジョンセンサから入力されるイベント信号に基づいてクラスターを分類することが可能となる。
測定装置の構成を説明する図である。 ビジョンセンサの構成を説明する図である。 ビジョンセンサから出力されるイベント信号の概要を説明する図である。 信号解析処理の流れを説明するフローチャートである。 イベント信号に基づく撮像画像を説明する図である。 撮像画像におけるイベントを説明する図である。 クラスターの平均速度の算出を説明する図である。 種別ごとの平均速度を示す図である。 クラスターの体長の算出を説明する図である。 種別ごとの体長を説明する図である。 クラスターの体幅の算出を説明する図である 種別ごとの体幅を説明する図である。 角度変化の頻度の算出を説明する図である。 種別ごとの角度変化の頻度を説明する図である。 種別Ａのイベント数の変化および周波数成分を説明する図である。 種別Ｃのイベント数の変化および周波数成分を説明する図である。 クラスター結合処理を説明する図である。 種別ごとの特徴量を説明する図である。 使用例１の測定装置の構成を説明する図である。 使用例１の処理の流れを示すフローチャートである。 使用例２の測定装置の構成を説明する図である。 使用例２の処理の流れを示すフローチャートである。 使用例３の測定装置の構成を説明する図である。 使用例３の処理の流れを示すフローチャートである。 使用例４の測定装置の構成を説明する図である。 使用例４の処理の流れを示すフローチャートである。 使用例５の測定装置の構成を説明する図である。
　以下、実施形態を次の順序で説明する。
＜１．測定装置の構成＞
＜２．信号解析処理＞
＜３．クラスター形成処理＞
＜４．クラスター追跡処理＞
＜５．特徴量算出処理＞
＜６．クラスター結合処理＞
＜７．クラスター分類処理＞
＜８．使用例＞
＜９．測定装置の他の構成例＞
＜１０．実施形態のまとめ＞
＜１１．本技術＞
＜１．測定装置の構成＞
　先ず、本技術に係る実施形態としての測定装置１の構成について説明する。
　測定装置１は、例えば海中などの水中に存在する生物および非生物を対象粒子とし、対象粒子の特徴量を算出していくことで対象粒子の測定を行う装置である。ここでの測定とは、対象粒子の種別の分類、対象粒子の数や特徴量の算出、対象粒子の撮像画像の記録や記憶等のいずれかを含む概念である。
　ここで、対象粒子となる生物は、水中に存在する植物プランクトン、動物プランクトン、水中生物の幼生等の水中微生物である。また、対象粒子となる非生物は、マイクロプラスチック、塵、砂、マリンスノー、気泡等である。ただし、これらは一例であり、対象粒子は、これら以外であってもよい。
　また、対象粒子は、動物プランクトン、水中生物の幼生等のように自らによって移動する粒子（以下、アクティブ粒子と表記する）であってもよい。同様に、対象粒子は、植物プランクトン、マイクロプラスチック、塵、砂、マリンスノー、気泡等のように自らによって移動しない粒子（以下、パッシブ粒子と表記する）であってもよい。
　図１は、測定装置１の構成を説明する図である。図１に示すように、測定装置１は、本体部２および照明部３を備えている。なお、照明部３は、本体部２内に設けられるようにしてもよい。
　本体部２は、ビジョンセンサ１１、レンズ１２、信号解析部１３、制御部１４、メモリ１５、重力センサ１６、通信部１７を備えている。
　図２は、ビジョンセンサ１１の構成を説明する図である。図３は、ビジョンセンサ１１から出力されるイベント信号の概要を説明する図である。
　ビジョンセンサ１１は、ＤＶＳ（Dynamic Vision Sensor）またはＥＶＳ（Event-Based Vision Sensor）と呼ばれるセンサである。ビジョンセンサ１１は、レンズ１２を通した水中の所定範囲で発生するイベントを検出する。なお、イベントとは、入射光の輝度変化が一定比率を超えることである。
　図２に示すように、ビジョンセンサ１１は、フォトダイオード３１、電圧変換回路３２、非同期差分検出回路３３および比較器３４を有する画素が二次元に複数配列されている。フォトダイオード３１は、入射光が照射されると、光電効果により入射光の輝度に比例した電流を発生させる。電圧変換回路３２は、フォトダイオード３１で発生された電流を電圧に変換する。非同期差分検出回路３３は、電圧変換回路３２によって変換された電圧と、基準電圧との差分を検出する。
　比較器３４は、電圧差分がプラス閾値を超えた場合に、プラスのイベントが発生したことを示すイベント信号（図中、黒塗り矢印で示す）を出力する。また、比較器３４は、電圧差分がマイナス閾値を超えた場合（下回った場合）に、マイナスのイベントが発生したことを示すイベント信号（図中、白抜き矢印で示す）を出力する。
　なお、イベント信号には、イベントが発生した画素の座標（ｘ、ｙ）、時刻、イベントの正負（プラスまたはマイナス）の情報が含まれている。また、プラス閾値およびマイナス閾値は、通常、予め決められた既定値に設定されているが、場合によって変更可能となっている。
　例えば、図３に示すように、時刻Ｔ１においてマイナスのイベント信号を出力したとする。このとき、現在の輝度に応じた電圧が基準電圧として設定される。そうすると、基準電圧に対してプラス側にプラス閾値に相当するライン（図中、一点鎖線で示す）が設定されるとともに、基準電圧に対してマイナス側にマイナス閾値に相当するライン（図中、破線で示す）が設定されることになる。
　その後、入射光の輝度が下がり時刻Ｔ２においてマイナス閾値に相当するラインを下回ると、ビジョンセンサ１１はマイナスのイベント信号を出力する。このとき、時刻Ｔ１と同様に、現在の輝度に応じた電圧が基準電圧として設定されるとともに、プラス閾値およびマイナス閾値に相当するラインが設定されることになる。
　また、入射光の輝度が下がり時刻Ｔ３においてマイナス閾値に相当するラインを下回ると、ビジョンセンサ１１はマイナスのイベント信号を出力する。このとき、時刻Ｔ１と同様に、現在の輝度に応じた電圧が基準電圧として設定されるとともに、プラス閾値およびマイナス閾値に相当するラインが設定されることになる。
　その後、入射光の輝度が上がり時刻Ｔ４においてプラス閾値に相当するラインを超えると、ビジョンセンサ１１はプラスのイベント信号を出力する。
　このように、ビジョンセンサ１１は、画素ごとにイベントをリアルタイムに検出する非同期型のイメージセンサである。
　ビジョンセンサ１１では、イベントの発生が検出された画素に対してイベント信号の読み出し動作が実行されるため、所定のフレームレートで全ての画素に対して読み出し動作が実行される同期型のイメージセンサよりも非常に高速な読み出しが可能であり、かつ、１フレーム分として読み出されるデータ量を削減することが可能となる。
　そのため、測定装置１では、ビジョンセンサ１１を用いることで、より迅速に対象粒子の動きを検出することが可能となる。また、ビジョンセンサ１１は、データ量を削減するとともに、消費電力を低減することも可能となる。
　信号解析部１３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、および、ＲＡＭ（Random Access Memory）を有するマイクロコンピュータを備えて構成される。
　信号解析部１３は、本実施形態において、クラスター形成部２１、クラスター追跡部２２、特徴量算出部２３、クラスター分類部２４として機能する。
　クラスター形成部２１は、ビジョンセンサ１１から所定期間内に入力されるイベント信号に基づいて、同一の対象粒子に基づくイベントの点群をクラスターとして形成する。
　クラスター追跡部２２は、クラスター形成部２１で形成されたクラスターを追跡する。
　特徴量算出部２３は、クラスター形成部２１で形成されクラスター追跡部２２で追跡されているクラスターの特徴量を算出する。
　クラスター分類部２４は、クラスター形成部２１で形成されクラスター追跡部２２で追跡されているクラスターについて、特徴量算出部２３で算出された特徴量に基づいて分類する。すなわち、クラスター分類部２４は、クラスターとされた対象粒子の種別を分類する。
　なお、これらクラスター形成部２１、クラスター追跡部２２、特徴量算出部２３、クラスター分類部２４について詳しくは後述する。
　制御部１４は、例えばＣＰＵ、ＲＯＭ、および、ＲＡＭを有するマイクロコンピュータを備えて構成され、測定装置１の全体制御を行う。また、制御部１４は、メモリ１５に記憶されたデータの読み出し処理やメモリ１５にデータを記憶させる処理、および、通信部１７を介した外部機器との間での各種データの送受信を行う。なお、信号解析部１３および制御部１４は、同一のハードウェアによって構成されるようにしてもよい。
　メモリ１５は、不揮発性メモリで構成される。重力センサ１６は、重力加速度（重力方向）を検出し、検出結果を制御部１４に出力する。通信部１７は、外部機器との間で有線または無線によるデータ通信を行う。なお、測定装置１は、重力センサ１６を備えていなくてもよい。
　照明部３は、ビジョンセンサ１１の撮像範囲に光を照射する。照明部３は、波長が異なる光を切り替えて照射可能であり、例えば１０ｎｍごとの異なる波長の光を照射する。
＜２．信号解析処理＞
　次に、イベント信号に基づいて対象粒子の種別を分類する信号解析処理（測定方法）について説明する。図４は、信号解析処理の流れを説明するフローチャートである。
　図４に示すように、信号解析処理が開始されると、ステップＳ１でクラスター形成部２１は、ビジョンセンサ１１から入力されるイベント信号を取得する。なお、上記したように、ビジョンセンサ１１では、画素ごとにイベントを検出するとイベント信号を出力するようになされているため、クラスター形成部２１は、イベントが発生した画素ごとのイベント信号を随時取得することになる。
　ステップＳ２でクラスター形成部２１は、所定間隔ごと（例えば１ｍｓごと）に、ステップＳ１で取得したイベント信号に基づいて、同一の対象粒子に基づくイベントの点群をクラスターとして形成するクラスター形成処理を行う。なお、クラスター形成処理について、詳しくは後述する。
　ステップＳ３でクラスター追跡部２２は、所定間隔ごと（例えば１ｍｓごと）に、クラスター形成部２１で形成されたクラスターを追跡するクラスター追跡処理を行う。なお、クラスター追跡処理について、詳しくは後述する。
　ステップＳ４で特徴量算出部２３は、クラスター形成部２１で形成されクラスター追跡部２２で追跡されているクラスターの特徴量を算出する特徴量算出処理を行う。なお、特徴量算出処理について、詳しくは後述する。
　ステップＳ５でクラスター追跡部２２は、同一の対象粒子について異なる複数のクラスターが検出された場合に、異なる複数のクラスターを１つのクラスターに結合するクラスター結合処理を行う。なお、クラスター結合処理について、詳しくは後述する。
　ステップＳ６で特徴量算出部２３は、ステップＳ５でクラスターが結合されたかを判定する。そして、クラスターが結合された場合（ステップＳ６でＹｅｓ）、ステップＳ７で特徴量算出部２３は、結合されたクラスターについて特徴量算出処理を行う。なお、ステップＳ７の特徴量算出処理は、ステップＳ４の特徴量算出処理と同一の処理である。
　ステップＳ７で特徴量算出処理が行われた場合、または、ステップＳ６でクラスターが結合されていないと判定された場合（ステップＳ６でＮｏ）、ステップＳ８でクラスター分類部２４は、ステップＳ４またはステップＳ７で算出された特徴量に基づいて、クラスターについて対象粒子の種別を分類する。なお、クラスター分類処理について、詳しくは後述する。
＜３．クラスター形成処理＞
　次に、クラスター形成処理について説明する。図５は、イベント信号に基づく撮像画像を説明する図である。図６は、撮像画像におけるイベントを説明する図である。なお、図６では、複数の格子によって撮像画像の画素を表現している。
　ビジョンセンサ１１では、イベントの発生が検出された画素に対してイベント信号の読み出し動作が実行される。そのため、図５に示すように、所定時間内で取得されるイベント信号に基づいて１フレームの撮像画像を生成した場合、同一の対象粒子に基づくイベントの点群がクラスター４１として写る。一方で、これらのクラスター４１以外にも、ノイズとしてのイベントが多数写っている。
　そこで、クラスター形成部２１は、まず、対象粒子に基づくイベント（有効なイベント）でないイベント、すなわち、ノイズであるイベントを除去する。
　具体的には、クラスター形成部２１は、図６に示すように、例えば最新の１ｍｓ内に取得したイベント信号に基づくイベント５１（図中、黒塗りで示す）の周辺に、それよりも以前の例えば３ｍｓ内に取得したイベント信号に基づくイベント５２（図中、ハッチングで示す）が所定数あるかを判定する。ここで、所定数は、そのイベント５１がノイズであるかクラスター４１の一部であるかを区別可能な値に設定されている。
　そして、クラスター形成部２１は、イベント５１の周辺に所定数以上のイベント５２がある場合、そのイベント５１を有効なイベントとする。一方、クラスター形成部２１は、イベント５１の周辺に所定数未満のイベント５２しかない場合、そのイベント５１を無効なイベント、すなわち、ノイズであると判定する。
　このように、クラスター形成部２１は、所定間隔ごと（例えば、１ｍｓごと）に、ビジョンセンサ１１から取得したイベント信号に基づくイベント５１からノイズを除去し、有効なイベントのみを後段の処理の対象とする。
　また、クラスター形成部２１は、有効なイベントと判定された所定期間（例えば、１００ｍｓ）のイベント信号をＲＡＭの所定バッファに記憶する。したがって、クラスター形成部２１は、最新の１ｍｓのイベント信号を所定バッファに記憶する際に、最も古い１ｍｓのイベント信号を所定バッファから削除する。
　そして、クラスター形成部２１は、所定バッファに記憶されているイベント信号に基づくイベントについて、所定範囲内（例えば、周囲２ピクセル以内）のイベントを同一の対象粒子に基づくイベントとしてグループ化していくことで１つのクラスター４１を形成する。
＜４．クラスター追跡処理＞
　クラスター追跡部２２は、所定間隔ごと（例えば１ｍｓごと）に、所定バッファに記憶されるイベント信号が更新されると、更新されたイベント信号に基づいて、クラスター４１を更新していくことでクラスターを追跡する。
　具体的には、クラスター追跡部２２は、クラスター４１に含まれるイベントが所定バッファから削除される最も古いイベント信号に基づくものであれば、そのイベントをクラスター４１から除去する。
　また、クラスター追跡部２２は、最新のイベント信号に基づくイベントがクラスター４１を構成するイベントのいずれかの所定範囲内にあれば、そのイベントをクラスター４１に追加する。
　このようにすることで、クラスター追跡部２２は、常に最新のイベントのみが含まれるクラスター４１を形成することができる。また、クラスター追跡部２２は、対象粒子の移動に伴って移動するクラスター４１を追跡することが可能となる。
＜５．特徴量算出処理＞
　特徴量算出部２３は、クラスター追跡部２２によって追跡されているクラスター４１の特徴量を算出する。特徴量としては、移動関連、周波数関連、イベント関連、形状関連の特徴量が考えられる。
　移動関連の特徴量は、クラスター４１の平均速度、体長、体幅、角度変化の頻度、平均速度の体長比、瞬間最大速度の体長比、方向変更持続性、走性の有無、走性の正負、停止頻度、縦方向の移動度、横方向の移動度、等速持続性、急激な速度変化の回数または頻度、速度の絶対値の時間推移の分散、横方向および縦方向の速度成分の絶対値の時間推移の分散それぞれの値または足し合わせた値、回転の弧の幅、螺旋運動の周期、速さの分散、最大瞬間加速度等である。なお、走性は、光走性、温度走性、化学走性、接触走性、圧力走性、電気走性等を含む。
　周波数関連の特徴量は、イベント数の増減（変化）の周波数、サイズ変化の増減の周波数、プラスイベントおよびマイナスイベントもしくはその両方についてイベント増加の時間推移を周波数解析した結果の周波数ピークの数またはピーク値、プラスイベントおよびマイナスイベントもしくはその両方についてイベントの重心（座標平均値）の時間推移もしくは軌跡を周波数解析した結果の周波数ピークの数またはピーク値等である。
　イベント関連の特徴量は、プラスイベントおよびマイナスイベントの割合、イベントの増加速度等である。
　形状関連の特徴量は、縦横の縮尺比、縦横の縮尺比の変化レンジ、頭部から突き出した触角等の有無による頭部と尾部付近のイベント比率、プラスイベントおよびマイナスイベントの座標値の分散、プラスイベントとマイナスイベントそれぞれの重心（座標平均値）間距離の分散等である。
　このように、クラスター４１の特徴量は、様々なものが考えられる。特徴量算出部２３は、クラスター４１の移動関連、周波数関連、イベント関連、形状関連に分類される特徴量のいずれか一つ以上を算出する。ここでは、一例として、クラスター４１の平均速度、体長、体幅、角度変化の頻度、および、イベントの増減の周波数（以下、単に周波数と表記する）の５つの特徴量を算出する場合について説明する。
　特徴量算出部２３は、所定周期ごと（例えば４ｍｓごと）に、クラスター追跡処理において追跡されているクラスター４１の特徴量として、クラスター４１の平均速度、体長、体幅、角度変化の頻度、および、周波数を算出する。
［５－１．平均速度］
　図７は、クラスターの平均速度の算出を説明する図である。図７に示すように、特徴量算出部２３は、クラスター追跡処理によって追跡されたクラスター４１の始点６１から終点６２までの移動距離（ピクセル数）を算出する。なお、始点６１は、最初に形成されたクラスター４１の中心位置（縦方向および横方向の中心）として算出される。終点６２は、現在のクラスター４１の中心位置として算出される。また、始点６１から終点６２までの移動経路６３の総距離が移動距離として算出される。
　そして、特徴量算出部２３は、算出された移動距離を、移動にかかった時間で除算することにより移動速度を算出する。また、特徴量算出部２３は、所定周期ごとに算出される同一のクラスター４１についての移動速度についての平均値を算出することで平均速度を算出する。
　図８は、種別ごとの平均速度を示す図である。図８は、異なる４つの種別の生物（種別Ａ～Ｄ）についての平均速度の測定結果を示す図である。なお、図８では、４つのグラフの縦軸および横軸について同一の尺度で示している。
　図８に示すように、種別Ａは、平均速度が比較的低速の範囲で分布を示している。種別Ｂは、平均速度が低速から高速まで万遍なく分布している。種別Ｃは、平均速度が種別Ａよりも低速な割合が高い。種別Ｄは、平均速度が種別Ａ、Ｂ、Ｃよりもさらに低速な割合が高く、かつ、個体ごとに平均速度の差が殆どない。
　このように、平均速度は種別ごとに異なる分布を示す。したがって、特徴量算出部２３が特徴量として平均速度を算出することによって、後述するクラスター分類部２４によるクラスター分類処理において平均速度を用いることで、分類の精度を向上することが可能となる。
［５－２．体長］
　図９は、クラスターの体長の算出を説明する図である。図９に示すように、特徴量算出部２３は、クラスター追跡処理によって追跡されたクラスター４１を囲む長方形のバウンドボックス６４を設定する。そして、特徴量算出部２３は、バウンドボックス６４の水平方向（横方向）の長さ（Ｘ）、および、垂直方向（縦方向）の長さ（Ｙ）を算出する。
　その後、特徴量算出部２３は、算出した水平方向の長さ（Ｘ）、および、垂直方向の長さ（Ｙ）のうち、長い方を一時的な体長とする。また、特徴量算出部２３は、所定周期ごとに算出される同一のクラスター４１についての一時的な体長の平均値を算出することで、その平均値をクラスター４１の体長とする。
　図１０は、種別ごとの体長を説明する図である。図１０は、図８と同様の異なる４つの種別の生物（種別Ａ～Ｄ）についての体長の測定結果を示す図である。なお、図１０では、４つのグラフの縦軸および横軸について同一の尺度で示している。
　図１０に示すように、種別Ａは、体長が比較的短いものから長いものまで広範囲に分布している。種別Ｂは、体長が比較的広範囲でかつ種別Ａよりも長いものが多い範囲で分布している。種別Ｃは、体長が種別Ａ、Ｂよりも短く、狭い範囲で分布している。種別Ｄは、体長が種別Ａ、Ｂ、Ｃよりもさらに短く、かつ、個体ごとに体長の差があまりない。
　このように、体長は種別ごとに異なる分布を示す。したがって、特徴量算出部２３が特徴量として体長を算出することによって、後述するクラスター分類部２４によるクラスター分類処理において体長を用いることで、分類の精度を向上することが可能となる。
［５－３．体幅］
　図１１は、クラスターの体幅の算出を説明する図である。図１１に示すように、特徴量算出部２３は、クラスター追跡処理によって追跡されたクラスター４１の進行方向ベクトル６５を算出する。具体的には、特徴量算出部２３は、例えば１００ｍｓ前のクラスター４１の中心位置から、今回（最新）のクラスター４１の中心位置を結んだベクトルを進行方向ベクトル６５として算出する。
　また、特徴量算出部２３は、進行方向ベクトル６５に直交する単位ベクトルを直交単位ベクトル６６として算出する。
　また、特徴量算出部２３は、クラスター４１を構成するイベントのうち、最新（直近１ｍｓ）のイベントの中から任意の複数（例えば１６個）のイベントを対象イベント６７として抽出する。その後、特徴量算出部２３は、今回（最新）のクラスター４１の中心位置から対象イベント６７を結んだベクトルを体幅ベクトル６８として算出する。
　その後、特徴量算出部２３は、各対象イベント６７について、直交単位ベクトル６６と体幅ベクトル６８との内積をとることにより、クラスター４１の進行方向に直交する長さを算出する。
　そして、特徴量算出部２３は、各対象イベント６７についての算出した進行方向に直交する長さのうち、最も長いものを一時的な体幅とする。また、特徴量算出部２３は、所定周期ごとに算出される同一のクラスター４１についての一時的な体幅の平均値を算出することで、その平均値をクラスター４１の体幅とする。
　図１２は、種別ごとの体幅を説明する図である。図１１では、図８、図１０と同様の異なる４つの種別の生物（種別Ａ～Ｄ）についての体幅の測定結果を示す図である。なお、図１２では、４つのグラフの縦軸および横軸について同一の尺度で示している。
　図１２に示すように、種別Ａは、体幅が比較的短いものから長いものまで広範囲に分布している。種別Ｂは、体長が比較的広範囲でかつ種別Ａよりも長いものが多い範囲で分布している。種別Ｃは、体長が種別Ａ、Ｂよりも短く、狭い範囲で分布している。種別Ｄは、体長が種別Ａ、Ｂ、Ｃよりもさらに短く、かつ、個体ごとに体長の差が殆どない。
　このように、体幅は種別ごとに異なる分布を示す。したがって、特徴量算出部２３が特徴量として体幅を算出することによって、後述するクラスター分類部２４によるクラスター分類処理において体幅を用いることで、分類の精度を向上することが可能となる。
［５－４．角度変化の頻度］
　図１３は、角度変化の頻度の算出を説明する図である。図１３に示すように、特徴量算出部２３は、体幅を算出したときと同様に、クラスター追跡処理によって追跡されたクラスター４１の進行方向ベクトル６５を算出し、その進行方向ベクトル６５をＲＡＭに記憶しておく。また、特徴量算出部２３は、例えば１００ｍｓ前の進行方向ベクトル６５をＲＡＭから読み出して前進行方向ベクトル６９とする。
　そして、特徴量算出部２３は、進行方向ベクトル６５と前進行方向ベクトル６９との単位長さ同士の内積、すなわち、進行方向ベクトル６５と前進行方向ベクトル６９とのなす角７０を算出する。
　そして、特徴量算出部２３は、進行方向ベクトル６５と前進行方向ベクトル６９とのなす角７０が所定角度範囲内である回数をカウントしていき、そのカウント値を角度変化の頻度とする。なお、所定角度は、対象粒子が方向を変化させたとする角度に設定されている。
　図１４は、種別ごとの角度変化の頻度を説明する図である。図１４では、図８、図１０、図１２と同様の異なる４つの種別の生物（種別Ａ～Ｄ）についての角度変化の頻度の測定結果を示す図である。なお、図１４では、４つのグラフの縦軸および横軸について同一の尺度で示している。
　図１４に示すように、種別Ａは、角度変化の頻度が比較的少ない範囲で分布している。種別Ｂは、角度変化の頻度が種別Ａよりも多い範囲で分布している。種別Ｃは、角度変化の頻度が種別Ａよりも少ない範囲から多い範囲までの広範囲で分布している。種別Ｄは、角度変化の頻度が種別Ａ、Ｂ、Ｃよりも多く、かつ、狭い範囲に分布している。
　このように、角度変化の頻度は種別ごとに異なる分布を示す。したがって、特徴量算出部２３が特徴量として角度変化の頻度を算出することによって、後述するクラスター分類部２４によるクラスター分類処理において角度変化の頻度を用いることで、分類の精度を向上することが可能となる。
［５－５．周波数］
　図１５は、種別Ａのイベント数の変化および周波数成分を説明する図である。図１６は、種別Ｃのイベント数の変化および周波数成分を説明する図である。
　対象粒子が生物である場合、対象粒子の動き方（泳ぎ方）によってビジョンセンサ１１で検出されるイベントの数が変化する。これは、対象物体の遊泳器官が所定周波数で動いていることによるものである。したがって、対象粒子の種別によっては、イベントの数が決まった周波数で変化することになる。
　図１５上段に示すように、種別Ａについてイベント数を測定した場合、イベント数が特定のパターンで変化している。そこで、図１５上段における破線で囲んだ部分について周波数解析を行うと、図１５下段に示すように、約７Ｈｚの周波数成分がピークとして検出される。すなわち、種別Ａは、約７Ｈｚで遊泳器官を移動させていることがわかる。
　一方、図１６上段に示すように、種別Ｃについてイベント数を測定した場合、種別Ｃの生物が移動している間のイベント数が略一定の値をとる。そして、図１６上段における破線で囲んだ部分について周波数解析を行うと、図１６下段に示すように、特定のピークを示す周波数は検出されない。
　そこで、特徴量算出部２３は、クラスター４１のイベント数について周波数解析を行い、ピークとなる周波数を算出する。なお、上記したように、ピークとなる周波数が算出されないこともある。
　このように、周波数は種別ごとに異なる値を示す。したがって、特徴量算出部２３が特徴量として周波数の分布を算出することによって、後述するクラスター分類部２４によるクラスター分類処理において周波数を用いることで、分類の精度を向上することが可能となる。
＜６．クラスター結合処理＞
　上記したように、クラスター形成部２１によって形成されたクラスター４１は、クラスター追跡部２２によって追跡されることになる。しかしながら、ビジョンセンサ１１は、入射光の輝度変化が発生した場合にイベント信号を出力するため、例えば対象粒子となる生物が停止している場合などにはイベント信号が出力されなくなる。そのため、対象粒子となる生物が停止している場合、クラスター追跡部２２によってクラスター４１を追跡することができなくなる。
　そして、停止していた生物が再度移動を開始すると、その生物に対するクラスター４１がクラスター形成部２１によって新たに形成されることになる。すなわち、停止前のクラスター４１と、再移動後のクラスター４１とが同一の生物に基づいて形成、追跡されていたとしても、それぞれ異なるクラスター４１として検出されることになってしまう。
　また、複数の生物がビジョンセンサ１１の撮像範囲で重なってしまった場合、それぞれの生物に基づくクラスター４１が合体したり、分離したりし、同一の生物についてのクラスター４１として追跡することが困難となる。
　そこで、クラスター追跡部２２は、クラスター結合処理を行うことにより、同一の対象粒子に基づく複数の異なるクラスター４１を結合して１つのクラスター４１にする。
　図１７は、クラスター結合処理を説明する図である。具体的には、図１７に示すように、クラスター追跡部２２は、一度見失ったクラスター４１（以下、ロストクラスター７１と表記する）について、ロストクラスター７１を見失った位置（図中、集中線で示す）から所定範囲内であって、かつ、所定時間内に新たに発生したクラスター４１（以下、ニュークラスター７２と表記する）と特徴量の比較を行う。
　例えば、クラスター追跡部２２は、ロストクラスター７１を見失った位置から所定範囲内であって、かつ、所定時間内に発生したクラスター４１をニュークラスター７２とする。そして、クラスター追跡部２２は、ロストクラスター７１とニュークラスター７２との特徴量を比較し、それぞれの特徴量が同一の対象粒子とされる範囲内である場合、ロストクラスター７１とニュークラスター７２とを結合して１つのクラスター４１とする。
　また、クラスター４１が結合された場合、特徴量算出部２３は、結合されたクラスター４１について特徴量を再度算出する。ここでは、例えば、クラスター４１の平均速度、体長、体幅、角度変化の頻度、周波数が再度算出されることになる。
　このように、同一の対象粒子について異なるクラスター４１として検出された場合に、それらのクラスター４１を結合することにより、より長い時間の情報を用いて特徴量を算出することができ、特徴量の算出精度を向上することが可能となる。
　また、同一の対象粒子について１つのクラスター４１とすることができるので、対象粒子の数を算出する際の算出精度を向上することが可能となる。
＜７．クラスター分類処理＞
　クラスター４１について特徴量が算出されると、クラスター分類部２４は、算出された特徴量に基づいて、クラスター４１の分類、すなわち、対象粒子の種別を特定する。ここでは、ルールベースによる対象粒子の種別の特定であってもよく、また、機械学習による対象粒子の種別の特定であってもよい。
　図１８は、種別ごとの特徴量を説明する図である。例えば、ルールベースによる対象粒子の種別の特定では、図１８に一例を示すように、特定する種別ごとに特徴量の範囲が設定されており、その情報がＲＯＭやメモリ１５に記憶されている。そして、クラスター分類部２４は、クラスター４１の特徴量が、特定の種別の特徴量の範囲内に含まれている場合、クラスター４１がその特定の種別であると特定する。
　また、機械学習による対象粒子の種別の特定では、まず、種別ごとに既知となっている特徴量と種別との関係を教師データとして学習した学習モデルが生成され、その学習モデルがＲＯＭやメモリ１５に記憶されている。そして、クラスター分類部２４は、クラスター４１の特徴量を学習モデルに導入することにより、クラスター４１の種別を特定する。
　なお、同一の種別であっても変態時期や成長過程により算出される特徴量（例えば、体長および体幅）が異なる値を示す場合もある。したがって、クラスター分類部２４では、様々な特徴量から総合的に種別を特定する。
　以上のようにして、信号解析部１３は、ビジョンセンサ１１から入力されるイベント信号に基づいて、クラスター４１を形成、追跡するとともにクラスター４１の特徴量を算出する。そして、信号解析部１３は、クラスター４１の特徴量に基づいて、対象粒子の種別を特定する。また、制御部１４は、特定した情報をメモリ１５に記憶する。このとき、制御部１４は、特定した情報を外部環境情報と関連付けて記憶するようにしてもよい。なお、外部環境情報としては、深度、位置座標（測定地点の緯度および経度）、電気伝導度、温度、ｐｈ、気体（例えば、メタン、水素、ヘリウム）の濃度、金属の濃度（例えば、マンガン、鉄）、周辺液体の流速度などが考えられる。
＜８．使用例＞
　以下では、測定装置１の使用例について使用例１～使用例５を例に挙げて説明する。なお、使用例１～使用例５では、上記した実施形態の測定装置１と同一の構成について同一の符号を付してその説明を省略する。また、使用例１～使用例５は、それぞれ独立して用いられるようにしてもよく、複数の使用例が組み合わされて用いられるようにしてもよい。
［８－１．使用例１］
　図１９は、使用例１の測定装置１００の構成を説明する図である。使用例１では、測定装置１００での信号解析処理を中断または軽減させて低消費電力化する例である。測定装置１００は、例えば数ヶ月～数年に亘って海洋内に維持されることになるため、低消費電力化することにより、測定期間を長くすることが可能となる。
　図１９に示すように、測定装置１００は、測定装置１の構成に加え、電源１０１、電源制御部１０２、タイマー１０３を備えている。
　電源１０１は、各部に供給する電源電力を貯蔵するバッテリである。電源制御部１０２は、ＣＰＵ、ＲＡＭ、ＲＯＭを備えるコンピュータでなり、電源１０１から各部に供給する電源電力を制御する。なお、電源制御部１０２は、信号解析部１３または制御部１４と同一のハードウェアにより構成されるようにしてもよい。タイマー１０３は、一定期間ごとにトリガーとなる信号を電源制御部１０２に出力する。
　図２０は、使用例１の処理の流れを示すフローチャートである。図２０に示すように、処理が開始されると、ステップＳ１１で電源制御部１０２は、測定装置１００を省電力モードに移行させる。省電力モードでは、測定装置１００の各部（例えば、ビジョンセンサ１１、信号解析部１３、制御部１４、重力センサ１６）への電源電力の供給を停止または低減（間欠的に供給）させるように電源１０１からの電力供給を制御する。このように測定装置１００を省電力モードにすることで信号解析処理を中断または軽減させることが可能となる。
　その後、ステップＳ１２で電源制御部１０２は、開始条件が成立したかを判定する。ここで、開始条件としては、タイマー１０３からトリガーとなる信号が入力されること、省電力モードで動作するビジョンセンサ１１から入力されるイベント信号の数が所定値以上であること、通信部１７を介して外部から開始指示のコマンドが入力されること等が設定されている。
　開始条件が成立するまでステップＳ１２を繰り返し、開始条件が成立した場合（ステップＳ１２でＹｅｓ）、ステップＳ１３で電源制御部１０２は、測定装置１００を通常処理モードに移行させる。通常処理モードでは、測定装置１００の各部（例えば、ビジョンセンサ１１、信号解析部１３、制御部１４、重力センサ１６）に電源電力を常時供給するように電源１０１からの電力供給を制御する。
　その後、上記したステップＳ１～ステップＳ８の信号解析処理が実行された後、ステップＳ１４で電源制御部１０２は、終了条件が成立したかを判定する。ここで、終了条件としては、タイマー１０３からトリガーとなる信号が入力されること、信号解析処理において算出されたクラスター４１の数や特徴量に基づく所定条件が成立したこと、通信部１７を介して外部から終了指示のコマンドが入力されることの少なくともいずれかである。
　終了条件が成立するまで測定処理（ステップＳ１～ステップＳ８）が行われ、終了条件が成立した場合（ステップＳ１４でＹｅｓ）、ステップＳ１１に戻って電源制御部１０２は、測定装置１００を省電力モードに移行させる。
　このように、電源制御部１０２は、例えばクラスターの数または特徴量に基づいてモードを切り替えることのより、低消費電力化することができるとともに、効率よく対象粒子の測定を行わせることが可能となる。
［８－２．使用例２］
　図２１は、使用例２の測定装置２００の構成を説明する図である。例えば、ビジョンセンサ１１の測定範囲内の対象粒子が十分な大きさを持ち、かつ活発に動いている場合、信号解析部１３が必要とする数以上のイベント信号が対象粒子から得られると、ビジョンセンサ１１や信号解析部１３の消費電力増大につながる。また、対象粒子の動きが緩慢な場合、必要なイベント数が得られず、正確な測定結果が得られない。
　そこで、使用例２では、ビジョンセンサ１１で検出されるイベント数が過多または過小な場合に、ビジョンセンサ１１のイベント閾値（プラス閾値、マイナス閾値）、または、照明部３から照射される光の光量を調整して、イベント数を最適なものとする例である。
　図２１に示すように、測定装置２００は、測定装置１の構成に加え、照明制御部２０１、イベント数モニタ部２０２を備えている。
　照明制御部２０１は、ＣＰＵ、ＲＡＭ、ＲＯＭを備えるコンピュータでなり、照明部３から出射される光の光量を制御する。イベント数モニタ部２０２は、ＣＰＵ、ＲＡＭ、ＲＯＭを備えるコンピュータでなり、ビジョンセンサ１１から出力されるイベント信号の数、すなわち、ビジョンセンサ１１で捉えたイベントの数をモニタリングする。なお、照明制御部２０１およびイベント数モニタ部２０２は、信号解析部１３または制御部１４と同一のハードウェアにより構成されるようにしてもよい。
　図２２は、使用例２の処理の流れを示すフローチャートである。図２２に示すように、処理が開始されると、ステップＳ２１で制御部１４は、ビジョンセンサ１１のイベント閾値（プラス閾値、マイナス閾値）を既定値に設定する。また、照明制御部２０１は、照明部３から照射される光の光量を既定値に設定する。
　その後、上記したステップＳ１～ステップＳ８の信号解析処理が実行される。このとき、イベント数モニタ部２０２は、イベント数をモニタリングしている。そして、ステップＳ２２で制御部１４は、イベント閾値、光量の変更条件が成立したかを判定する。ここで、変更条件としては、イベント数が第１所定数以上または第２所定数以下であること、クラスター４１の追跡に失敗した割合が第１所定値以上または第２所定値以下であること、所定サイズ以上のクラスター４１が十分な運動量を持ち（平均速度が所定値以上など）イベント数が過大になるおそれがあることの少なくともいずれかである。なお、第１所定数は第２所定数よりも大きな数であり、第１所定値は第２所定値よりも大きな値である。
　より具体的には、イベント数が多いとされる変更条件としては、イベント数が第１所定数以上であること、クラスター４１の追跡に失敗した割合が第２所定値以下であること、所定サイズ以上のクラスター４１が十分な運動量を持ちイベント数が過大になるおそれがあることの少なくともいずれかである。また、イベント数が少ないとされる変更条件としては、イベント数が第２所定数以下であること、クラスター４１の追跡に失敗した割合が第１所定値以上であることの少なくともいずれかである。
　変更条件が成立しない場合（ステップＳ２２でＮｏ）、上記したステップＳ１～ステップＳ８の信号解析処理に戻り、変更条件が成立した場合（ステップＳ２２でＹｅｓ）、ステップＳ２３で制御部１４は、ビジョンセンサ１１のイベント閾値（プラス閾値、マイナス閾値）を変更する。また、照明制御部２０１は、照明部３から照射される光の光量を変更する。ここでは、イベント数が多いとされる変更条件が成立した場合、イベント閾値を大きくしたり、光量を減少させたりする。また、イベント数が少ないとされる変更条件が成立した場合、イベント閾値を小さくしたり、光量を増大させたりする。
　このように、測定装置２００では、イベント数を適宜調整することにより、低消費電力化することができるとともに、精度よく対象粒子の測定を行わせることが可能となる。なお、測定装置２００では、変更条件が成立した場合に、イベント閾値の変更、および、照明部３から照射される光の光量の変更の少なくとも一方のみを行うようにしてもよく、また、両方を行うようにしてもよい。
［８－３．使用例３］
　図２３は、使用例３の測定装置３００の構成を説明する図である。使用例３では、照明部３０１が個別にオンオフが可能な複数の光源３０１ａを備え、信号解析処理の結果に基づいて、光源３０１ａのオンオフ、波長、光量を切り替える例である。
　図２３に示すように、測定装置３００は、測定装置１の照明部３に代えて照明部３０１を備えるとともに、照明制御部２０１を備えている。照明部３０１は、個別にオンオフが可能な複数の光源３０１ａを備える。照明部３０１は、複数の光源３０１ａのオンオフを切り替えることにより、全体として光を照射させる位置を変更することができる。
　図２４は、使用例３の処理の流れを示すフローチャートである。図２４に示すように、処理が開始されると、ステップＳ３１で照明制御部２０１は、照明部３０１から照射される光の波長、位置、光量を既定値に設定する。
　その後、上記したステップＳ１～ステップＳ８の信号解析処理が実行された後、ステップＳ３２で制御部１４は、信号解析処理の結果に基づいて、特定のクラスター４１について、分類結果が１種別のみに特定されたかを判定する。
　そして、分類結果が１種別のみに特定されていない場合（ステップＳ３２でＮｏ）、すなわち、複数種別の分類先候補が特定された場合、ステップＳ３３で照明制御部２０１は、１種別の分類先に特定されるように、照明部３０１から照射される光の波長、位置、光量を変更する。ここでは、分類先候補の種別の光走性等に応じて、各光源３０１ａのオンオフ、出射される光の波長、光量を変更する。一方、分類結果が１種別のみに特定された場合（ステップＳ３２でＹｅｓ）、信号解析処理（ステップＳ１～ステップＳ８）を継続する。
　このように、測定装置３００では、照明部３０１から照射される光の波長、位置、光量を変更することにより、対象粒子の光走性を新たな特徴量として測定することで、対象粒子の分類精度を向上させることが可能となる。また、例えば特定の１種別の対象粒子についてのみ選別して光を照射し、測定を行うことが可能となるなど測定対象を絞ることが可能となり、効率よく測定を行うことが可能となる。
　なお、照明制御部２０１は、複数種別の分類先候補が特定されたこと以外の所定条件が成立した場合にも、照明部３０１から照射される光の波長、位置、光量を変更するようにしてもよい。また、照明制御部２０１は、照明部３０１から照射される光の位置のみを変更するようにしてもよい。
［８－４．使用例４］
　図２５は、使用例４の測定装置４００の構成を説明する図である。使用例４では、信号解析処理の結果に加えて、各種センサで計測された外部環境情報を関連付けて記憶する例である。
　図２５に示すように、測定装置４００は、測定装置１００の構成に加え、粒子解析部４０１、ＧＮＳＳセンサ（Global Navigation Satellite System）４０２、水深計４０３、ｐＨ計４０４、リアルタイムクロック４０５を備える。
　粒子解析部４０１は、ＣＰＵ、ＲＡＭ、ＲＯＭを備えるコンピュータでなり、粒子判定部４１１および粒子カウント部４１２を備える。
　粒子判定部４１１は、信号解析処理によって分類された対象粒子を予め設定された条件に基づいてさらに分類する。例えば、粒子判定部４１１は、対象粒子（クラスター４１）の移動方向に基づいて、上方向にも移動する対象粒子をアクティブ粒子とし、下方向のみに移動する対象粒子をパッシブ粒子に分類する。
　粒子カウント部４１２は、粒子判定部４１１によって分類された粒子の数をカウントする。
　なお、粒子解析部４０１は、信号解析部１３または制御部１４と同一のハードウェアにより構成されるようにしてもよい。また、粒子判定部４１１および粒子カウント部４１２は、クラスター分類部２４内に設けられるようにしてもよい。
　ＧＮＳＳセンサ４０２は、測定装置４００の位置情報を取得する。水深計４０３は、測定装置４００が置かれている位置の水深を測定する。ｐＨ計４０４は、測定装置４００が置かれている水域のｐＨ値を測定する。リアルタイムクロック４０５は、時計機能を有する集積回路であり、現時刻を出力する。
　図２６は、使用例４の処理の流れを示すフローチャートである。図２６に示すように、処理が開始されると、上記したステップＳ１～ステップＳ８の信号解析処理が実行された後、ステップＳ４１で粒子判定部４１１は、信号解析処理によって分類された対象粒子を予め設定された条件に基づいてさらに分類する。また、粒子カウント部４１２は、分類された粒子の数をカウントする。
　ステップＳ４２で制御部１４は、重力センサ１６、ＧＮＳＳ４０２、水深計４０３、ｐＨ計４０４、リアルタイムクロック４０５から測定または出力された値を取得する。そして、ステップＳ４３で制御部１４は、ステップＳ４１での処理結果に、ステップＳ４２での取得結果を外部環境情報として関連付けてメモリ１５に記憶する。
　このように、測定装置４００は、アクティブ粒子およびパッシブ粒子の数を様々な外部環境情報に関連付けて記憶することで、例えば、生物の数および密度を観察したり、マリンスノーなどのパッシブ粒子の割合を取得したりすることが可能となる。これにより、海洋中の生物多様性や環境汚染度合を評価する指標を見出すことも可能となる。
［８－５．使用例５］
　図２７は、使用例５の測定装置５００の構成を説明する図である。使用例５では、信号解析処理の結果に基づいて、海底に堆積する炭素量の推定を行う例である。
　図２７に示すように、測定装置５００は、使用例４の測定装置４００における粒子解析部４０１に代えて、粒子解析部５０１を備える。
　粒子解析部５０１は、ＣＰＵ、ＲＡＭ、ＲＯＭを備えるコンピュータでなり、粒子判定部４１１、粒子カウント部４１２および炭素量推定部５１１を備える。
　炭素量推定部５１１は、粒子判定部４１１によりパッシブ粒子に分類された対象粒子を海底に堆積する粒子とし、そのパッシブ粒子の種別、特徴量（体長、体幅等の大きさを示す特徴量）、数に基づいて、海底に堆積する炭素量を推定する。
　例えば、パッシブ粒子に分類される種別ごとの単位大きさ当たりの炭素量がメモリ１５に記憶されており、炭素量推定部５１１は、単位大きさあたりの炭素量と、それぞれのパッシブ粒子の大きさおよび数との関係により炭素量を推定する。
　このように、測定装置５００は、海底に堆積する炭素量を推定することで、温室効果ガス削減のための指標を取得することができる。
＜９．測定装置の他の構成例＞
　なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
　測定装置は、撮像センサを備えるようにしてもよい。撮像センサは、例えば、ＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型のイメージセンサであり、ビジョンセンサ１１と同一の撮像範囲を撮像するようにしてもよい。
　また、特徴量算出部２３は、クラスター４１の平均速度、体長、体幅、角度変化の頻度、および、周波数を特徴量として算出し、それらの特徴量に基づいてクラスター４１を分類するようにした。しかしながら、特徴量算出部２３は、クラスター４１の平均速度、体長、体幅、角度変化の頻度、および、周波数の一つ以上を特徴量として算出し、算出した特徴量に基づいてクラスター４１を分類するようにしてもよい。すなわち、特徴量算出部２３は、上記した移動関連、周波数関連、イベント関連、形状関連の特徴量のいずれか１または複数を算出するようにしてもよい。
＜１０．実施形態のまとめ＞
　上記のように実施形態の測定装置１においては、入射光の輝度変化に応じてイベント信号を非同期で出力する複数の画素を有するビジョンセンサ１１と、所定期間内に入力されたイベント信号に基づいて、同一の対象粒子によって発生したイベントの点群をクラスター４１として形成するクラスター形成部２１と、クラスターの特徴量を算出する特徴量算出部２３と、特徴量算出部により算出された特徴量に基づいて、クラスターを分類するクラスター分類部２４と、を備える。
　これにより、測定装置１は、ビジョンセンサ１１から入力されるイベント信号に基づいてクラスター４１を分類することが可能となる。
　かくして、測定装置１は、クラスターを精度よく分類することができる。
　また、クラスター４１を追跡するクラスター追跡部２２を備え、特徴量算出部２３は、クラスター追跡部によって追跡されているクラスターの特徴量を算出する。
　これにより、測定装置１は、クラスター４１の移動に基づく特徴量（平均速度、周波数など）を算出することが可能となる。
　また、クラスター追跡部２２は、特徴量に基づいて、同一の対象粒子に基づく複数のクラスター４１を１つのクラスターに結合する。
　これにより、測定装置１は、同一の対象粒子に基づく複数のクラスター４１を、別々の対象粒子に基づくクラスター４１と誤検出してしまうことを低減することができる。
　また、特徴量算出部２３は、クラスター４１が結合された場合、結合された複数のクラスターの情報に基づいて特徴量を再度算出する。
　これにより、測定装置１は、結合前後のクラスター４１の情報（イベント信号）に基づいて特徴量を算出することになるため、長期間に亘ってクラスター４１を観察することが可能となり、特徴量を精度よく算出することができる。
　また、特徴量算出部２３は、クラスター４１の移動関連、周波数関連、イベント関連、形状関連に分類される前記特徴量のいずれか一つ以上を算出する。
　これにより、測定装置１は、対象粒子を分類する上で有効な特徴量を適切に選択させることで、クラスター４１を精度よく分類することができる。
　また、特徴量算出部２３は、クラスター４１の平均速度、体長、体幅、角度変化の頻度、および、クラスターを構成するイベント数の変化周波数の一つ以上を特徴量として算出する。
　これにより、測定装置１は、対象粒子を分類する上で有効な特徴量に基づいてクラスター４１を分類することができる。
　また、特徴量算出部２３は、クラスター４１の平均速度、体長、体幅、角度変化の頻度、および、クラスターを構成するイベント数の変化周波数の全てを特徴量として算出する。
　これにより、測定装置１は、対象粒子を分類する上で有効な複数の特徴量の組合せに基づいてクラスター４１をより精度よく分類することができる。
　また、電源１０１からの電源電力の供給を制御する電源制御部１０２を備え、電源制御部１０２は、測定装置１００の各部への電源電力の供給を停止または低減させる省電力モードと、測定装置１００の各部に電源電力を供給する通常処理モードとを切り替える。
　これにより、測定装置１００は、測定を行わない場合や、測定を行う必要がない状況において低消費電力化することができ、測定期間をより長くすることができる。
　また、電源制御部１０２は、クラスター形成部２１によって形成されたクラスターの数、または、特徴量算出部２３によって算出された特徴量に基づいてモードを切り替える。
　これにより、測定装置１００は、対象粒子が多い場合など、測定を最適に行える環境下で測定を行い、それ以外のときには省電力モードによって低消費電力化を図ることができる。
　また、ビジョンセンサ１１の撮像範囲に対して光を照射する照明部３と、照明部３から照射される光の光量を制御する照明制御部２０１とを備え、照明制御部２０１は、変更条件が成立した場合に光量を変更する。
　これにより、測定装置２００は、ビジョンセンサ１１で検出されるイベント数を最適な数にすることができ、測定精度を向上するとともに、低消費電力化を図ることができる。
　また、変更条件は、ビジョンセンサ１１から出力されるイベント信号の数が第１所定数以上または第２所定数以下となったこと、クラスターの追跡失敗の割合が第１所定値以上または第２所定値以下となったこと、所定サイズ以上の前記クラスターが十分な運動量を持ちイベント数が過大となるおそれがあることの少なくともいずれかである。
　これにより、測定装置２００は、イベント数が過大または過小な場合に照明部３から照射される光の光量を変更してイベント数を最適にすることができる。
　また、ビジョンセンサ１１のイベント閾値を制御する制御部１４を備え、制御部１４は、変更条件が成立した場合にイベント閾値を変更する。
　これにより、測定装置２００は、ビジョンセンサ１１で検出されるイベント数を最適な数にすることができ、測定精度を向上するとともに、低消費電力化を図ることができる。
　また、独立してオンオフが可能な複数の光源３０１ａを有する照明部３０１と、光源３０１ａのオンオフを制御する照明制御部２０１とを備え、照明制御部２０１は、所定条件が成立した場合に光源のオンオフを変更する。
　これにより、測定装置３００は、照明部から照射される光の位置を変更することが可能となり、例えば光走性を示す生物に焦点を当てた測定を行うことができる。
　また、照明制御部２０１は、所定条件が成立した場合に光源３０１ａのオンオフ、波長および光量を変更する。
　これにより、測定装置３００は、特定の対象粒子（光走性を示す生物）に合わせた光を照射させることで、その対象粒子についての測定精度を向上することができる。
　また、クラスター分類部２４によって分類された対象粒子をアクティブ粒子またはパッシブ粒子に分類する粒子判定部４１１を備える。
　これにより、測定装置４００は、生物、非生物の割合や、海底に堆積する粒子の割合などを算出することができる。
　また、アクティブ粒子および前記パッシブ粒子の数をカウントする粒子カウント部４１２を備える。
　これにより、測定装置４００は、生物、非生物の割合や、海底に堆積する粒子の割合などを算出することができる。
　また、外部環境を測定するセンサ（重力センサ１６、ＧＮＳＳ４０２、水深計４０３、ｐＨ計４０４、リアルタイムクロック４０５）を備え、アクティブ粒子およびパッシブ粒子の数と、センサによって測定された外部環境の情報とを関連付けて記憶する。
　これにより、外部環境の影響によるアクティブ粒子およびパッシブ粒子の割合、生物多様性、環境汚染度合などを算出することができる。
　また、パッシブ粒子の数および特徴量に基づいて、水中に堆積する炭素量を推定する炭素量推定部５１１を備える。
　これにより、測定装置５００は、温室効果ガス削減に貢献する海洋炭素量を推定することができる。
　また、測定方法は、入射光の輝度変化に応じてイベント信号を非同期で出力する複数の画素を有するビジョンセンサによって所定期間内に入力されたイベント信号に基づいて、同一の対象粒子によって発生したイベントの点群をクラスターとして形成し、クラスターの特徴量を算出し、特徴量に基づいて、クラスターを分類する。
　また、プログラムは、入射光の輝度変化に応じてイベント信号を非同期で出力する複数の画素を有するビジョンセンサによって所定期間内に入力されたイベント信号に基づいて、同一の対象粒子によって発生したイベントの点群をクラスターとして形成し、クラスターの特徴量を算出し、特徴量に基づいて、クラスターを分類する処理を測定装置に実行させる。
　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜１１．本技術＞
　本技術は以下のような構成も採ることができる。
（１）
　入射光の輝度変化に応じてイベント信号を非同期で出力する複数の画素を有するビジョンセンサと、
　所定期間内に入力された前記イベント信号に基づいて、同一の対象粒子によって発生したイベントの点群をクラスターとして形成するクラスター形成部と、
　前記クラスターの特徴量を算出する特徴量算出部と、
　前記特徴量算出部により算出された前記特徴量に基づいて、前記クラスターを分類するクラスター分類部と、
を備える測定装置。
（２）
　前記クラスターを追跡するクラスター追跡部を備え、
　前記特徴量算出部は、前記クラスター追跡部によって追跡されている前記クラスターの特徴量を算出する
　（１）に記載の測定装置。
（３）
　前記クラスター追跡部は、前記特徴量に基づいて、同一の対象粒子に基づく複数の前記クラスターを１つの前記クラスターに結合する
　（２）に記載の測定装置。
（４）
　前記特徴量算出部は、前記クラスターが結合された場合、結合された複数の前記クラスターの情報に基づいて前記特徴量を再度算出する
　（３）に記載の測定装置。
（５）
　前記特徴量算出部は、前記クラスターの移動関連、周波数関連、イベント関連、形状関連に分類される前記特徴量のいずれか一つ以上を算出する
　（１）から（４）のいずれかに記載の測定装置。
（６）
　前記特徴量算出部は、前記クラスターの平均速度、体長、体幅、角度変化の頻度、および、前記クラスターを構成するイベント数の変化周波数の一つ以上を前記特徴量として算出する
　（１）から（５）のいずれかに記載の測定装置。
（７）
　前記特徴量算出部は、前記クラスターの平均速度、体長、体幅、角度変化の頻度、および、前記クラスターを構成するイベント数の変化周波数の全てを前記特徴量として算出する
　（６）に記載の測定装置。
（８）
　電源からの電源電力の供給を制御する電源制御部を備え、
　前記電源制御部は、
　前記測定装置の各部への電源電力の供給を停止または低減させる省電力モードと、前記測定装置の各部に電源電力を供給する通常処理モードとを切り替える
　（１）から（７）のいずれかに記載の測定装置。
（９）
　前記電源制御部は、前記クラスター形成部によって形成された前記クラスターの数、または、前記特徴量算出部によって算出された前記特徴量に基づいてモードを切り替える
　（８）に記載の測定装置。
（１０）
　前記ビジョンセンサの撮像範囲に対して光を照射する照明部と、
　前記照明部から照射される光の光量を制御する照明制御部とを備え、
　前記照明制御部は、
　変更条件が成立した場合に前記光量を変更する
　（１）から（９）のいずれかに記載の測定装置。
（１１）
　前記変更条件は、
　前記ビジョンセンサから出力される前記イベント信号の数が第１所定数以上または第２所定数以下となったこと、前記クラスターの追跡失敗の割合が第１所定値以上または第２所定値以下となったこと、所定サイズ以上の前記クラスターが十分な運動量を持ちイベント数が過大となるおそれがあることの少なくともいずれかである
　（１０）に記載の測定装置。
（１２）
　前記ビジョンセンサのイベント閾値を制御する制御部を備え、
　前記制御部は、
　変更条件が成立した場合に前記イベント閾値を変更する
　（１）から（１１）のいずれかに記載の測定装置。
（１３）
　独立してオンオフが可能な複数の光源を有する照明部と、
　前記光源のオンオフを制御する照明制御部とを備え、
　前記照明制御部は、
　所定条件が成立した場合に前記光源のオンオフを変更する
　（１）から（１２）のいずれかに記載の測定装置。
（１４）
　前記照明制御部は、
　前記所定条件が成立した場合に前記光源のオンオフ、波長および光量を変更する
　（１３）に記載の測定装置。
（１５）
　前記クラスター分類部によって分類された対象粒子をアクティブ粒子またはパッシブ粒子に分類する粒子判定部を備える
　（１）から（１４）のいずれかに記載の測定装置。
（１６）
　前記アクティブ粒子および前記パッシブ粒子の数をカウントする粒子カウント部を備える
　（１５）に記載の測定装置。
（１７）
　外部環境を測定するセンサを備え、
　前記アクティブ粒子および前記パッシブ粒子の数と、前記センサによって測定された前記外部環境の情報とを関連付けて記憶する
　（１６）に記載の測定装置。
（１８）
　前記パッシブ粒子の数および前記特徴量に基づいて、水中に堆積する炭素量を推定する炭素量推定部を備える
　（１６）または（１７）に記載の測定装置。
（１９）
　測定装置が、
　入射光の輝度変化に応じてイベント信号を非同期で出力する複数の画素を有するビジョンセンサによって所定期間内に入力された前記イベント信号に基づいて、同一の対象粒子によって発生したイベントの点群をクラスターとして形成し、
　前記クラスターの特徴量を算出し、
　前記特徴量に基づいて、前記クラスターを分類する
　測定方法。
（２０）
　入射光の輝度変化に応じてイベント信号を非同期で出力する複数の画素を有するビジョンセンサによって所定期間内に入力された前記イベント信号に基づいて、同一の対象粒子によって発生したイベントの点群をクラスターとして形成し、
　前記クラスターの特徴量を算出し、
　前記特徴量に基づいて、前記クラスターを分類する
　処理を測定装置に実行させるプログラム。
１　測定装置
３　照明部
１１　ビジョンセンサ
１３　信号処理部
１４　制御部
２１　クラスター形成部
２２　クラスター追跡部
２３　特徴量算出部
２４　クラスター分類部

Claims (20)

  1. 　入射光の輝度変化に応じてイベント信号を非同期で出力する複数の画素を有するビジョンセンサと、
    　所定期間内に入力された前記イベント信号に基づいて、同一の対象粒子によって発生したイベントの点群をクラスターとして形成するクラスター形成部と、
    　前記クラスターの特徴量を算出する特徴量算出部と、
    　前記特徴量算出部により算出された前記特徴量に基づいて、前記クラスターを分類するクラスター分類部と、
    を備える測定装置。
  2. 　前記クラスターを追跡するクラスター追跡部を備え、
    　前記特徴量算出部は、前記クラスター追跡部によって追跡されている前記クラスターの特徴量を算出する
    　請求項１に記載の測定装置。
  3. 　前記クラスター追跡部は、前記特徴量に基づいて、同一の対象粒子に基づく複数の前記クラスターを１つの前記クラスターに結合する
    　請求項２に記載の測定装置。
  4. 　前記特徴量算出部は、前記クラスターが結合された場合、結合された複数の前記クラスターの情報に基づいて前記特徴量を再度算出する
    　請求項３に記載の測定装置。
  5. 　前記特徴量算出部は、前記クラスターの移動関連、周波数関連、イベント関連、形状関連に分類される前記特徴量のいずれか一つ以上を算出する
    　請求項１に記載の測定装置。
  6. 　前記特徴量算出部は、前記クラスターの平均速度、体長、体幅、角度変化の頻度、および、前記クラスターを構成するイベント数の変化周波数の一つ以上を前記特徴量として算出する
    　請求項１に記載の測定装置。
  7. 　前記特徴量算出部は、前記クラスターの平均速度、体長、体幅、角度変化の頻度、および、前記クラスターを構成するイベント数の変化周波数の全てを前記特徴量として算出する
    　請求項６に記載の測定装置。
  8. 　電源からの電源電力の供給を制御する電源制御部を備え、
    　前記電源制御部は、
    　前記測定装置の各部への電源電力の供給を停止または低減させる省電力モードと、前記測定装置の各部に電源電力を供給する通常処理モードとを切り替える
    　請求項１に記載の測定装置。
  9. 　前記電源制御部は、前記クラスター形成部によって形成された前記クラスターの数、または、前記特徴量算出部によって算出された前記特徴量に基づいてモードを切り替える
    　請求項８に記載の測定装置。
  10. 　前記ビジョンセンサの撮像範囲に対して光を照射する照明部と、
    　前記照明部から照射される光の光量を制御する照明制御部とを備え、
    　前記照明制御部は、
    　変更条件が成立した場合に前記光量を変更する
    　請求項１に記載の測定装置。
  11. 　前記変更条件は、
    　前記ビジョンセンサから出力される前記イベント信号の数が第１所定数以上または第２所定数以下となったこと、前記クラスターの追跡失敗の割合が第１所定値以上または第２所定値以下となったこと、所定サイズ以上の前記クラスターが十分な運動量を持ちイベント数が過大となるおそれがあることの少なくともいずれかである
    　請求項１０に記載の測定装置。
  12. 　前記ビジョンセンサのイベント閾値を制御する制御部を備え、
    　前記制御部は、
    　変更条件が成立した場合に前記イベント閾値を変更する
    　請求項１に記載の測定装置。
  13. 　独立してオンオフが可能な複数の光源を有する照明部と、
    　前記光源のオンオフを制御する照明制御部とを備え、
    　前記照明制御部は、
    　所定条件が成立した場合に前記光源のオンオフを変更する
    　請求項１に記載の測定装置。
  14. 　前記照明制御部は、
    　前記所定条件が成立した場合に前記光源のオンオフ、波長および光量を変更する
    　請求項１３に記載の測定装置。
  15. 　前記クラスター分類部によって分類された対象粒子をアクティブ粒子またはパッシブ粒子に分類する粒子判定部を備える
    　請求項１に記載の測定装置。
  16. 　前記アクティブ粒子および前記パッシブ粒子の数をカウントする粒子カウント部を備える
    　請求項１５に記載の測定装置。
  17. 　外部環境を測定するセンサを備え、
    　前記アクティブ粒子および前記パッシブ粒子の数と、前記センサによって測定された前記外部環境の情報とを関連付けて記憶する
    　請求項１６に記載の測定装置。
  18. 　前記パッシブ粒子の数および前記特徴量に基づいて、水中に堆積する炭素量を推定する炭素量推定部を備える
    　請求項１６に記載の測定装置。
  19. 　測定装置が、
    　入射光の輝度変化に応じてイベント信号を非同期で出力する複数の画素を有するビジョンセンサによって所定期間内に入力された前記イベント信号に基づいて、同一の対象粒子によって発生したイベントの点群をクラスターとして形成し、
    　前記クラスターの特徴量を算出し、
    　前記特徴量に基づいて、前記クラスターを分類する
    　測定方法。
  20. 　入射光の輝度変化に応じてイベント信号を非同期で出力する複数の画素を有するビジョンセンサによって所定期間内に入力された前記イベント信号に基づいて、同一の対象粒子によって発生したイベントの点群をクラスターとして形成し、
    　前記クラスターの特徴量を算出し、
    　前記特徴量に基づいて、前記クラスターを分類する
    　処理を測定装置に実行させるプログラム。
PCT/JP2022/040816 2021-12-15 2022-10-31 測定装置、測定方法、プログラム WO2023112532A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021203356 2021-12-15
JP2021-203356 2021-12-15

Publications (1)

Publication Number Publication Date
WO2023112532A1 true WO2023112532A1 (ja) 2023-06-22

Family

ID=86774054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040816 WO2023112532A1 (ja) 2021-12-15 2022-10-31 測定装置、測定方法、プログラム

Country Status (1)

Country Link
WO (1) WO2023112532A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06304546A (ja) * 1993-04-21 1994-11-01 Hitachi Ltd 上水道プラントの運用制御装置
JP2016165274A (ja) * 2010-10-25 2016-09-15 政彦 佐藤 弁別的細胞イベントの定量的な識別を行う装置及び方法
JP2021021568A (ja) * 2019-07-24 2021-02-18 Ｏｐｔｅｃｈ Ｉｎｎｏｖａｔｉｏｎ合同会社 光吸収量差分計測装置及び光吸収量差分計測方法、並びに光吸収量差分画像の撮影装置及び光吸収量差分画像の撮影方法
WO2021084833A1 (ja) * 2019-10-30 2021-05-06 ソニー株式会社 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器
WO2021215173A1 (ja) * 2020-04-22 2021-10-28 ソニーグループ株式会社 測定装置、撮像制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06304546A (ja) * 1993-04-21 1994-11-01 Hitachi Ltd 上水道プラントの運用制御装置
JP2016165274A (ja) * 2010-10-25 2016-09-15 政彦 佐藤 弁別的細胞イベントの定量的な識別を行う装置及び方法
JP2021021568A (ja) * 2019-07-24 2021-02-18 Ｏｐｔｅｃｈ Ｉｎｎｏｖａｔｉｏｎ合同会社 光吸収量差分計測装置及び光吸収量差分計測方法、並びに光吸収量差分画像の撮影装置及び光吸収量差分画像の撮影方法
WO2021084833A1 (ja) * 2019-10-30 2021-05-06 ソニー株式会社 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器
WO2021215173A1 (ja) * 2020-04-22 2021-10-28 ソニーグループ株式会社 測定装置、撮像制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIYAI, HIROSHI ET AL.: "A Simple Method for the Estimation of Phytoplankton Biomass Based on Cell Morphology", PLANKTON SOCIETY OF JAPAN. BULLETIN, PLANKTON SOCIETY OF JAPAN, TOKYO, JP, vol. 35, no. 2, 1 January 1988 (1988-01-01), JP , pages 121 - 126, XP009543708, ISSN: 0387-8961 *

Similar Documents

Publication Publication Date Title
Weikersdorfer et al. Event-based particle filtering for robot self-localization
JP2020052694A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN108961312A (zh) 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统
Du et al. Simple training strategies and model scaling for object detection
JP2020052695A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN109344717A (zh) 一种多阈值动态统计的深海目标在线检测识别方法
WO2022205632A1 (zh) 目标检测方法、装置、设备及存储介质
Palconit et al. Towards Tracking: Investigation of Genetic Algorithm and LSTM as Fish Trajectory Predictors in Turbid Water
CN104090262A (zh) 一种基于多采样率多模型融合估计的移动目标跟踪方法
WO2023112532A1 (ja) 測定装置、測定方法、プログラム
Colque Progressive background image generation of surveillance traffic videos based on a temporal histogram ruled by a reward/penalty function
JP6419260B1 (ja) 交通情報取得装置、交通情報取得システム、交通情報取得方法、および交通情報取得プログラム
CN108697314B (zh) 控制体内装置中的图像捕获和传输速率的方法及系统
US20220172027A1 (en) Inference execution method
WO2023026551A1 (ja) 測定装置、測定方法、プログラム
WO2023210330A1 (ja) データ生成装置、データ生成方法、プログラム、解析装置
JP2021196899A (ja) 画像処理装置、画像処理方法、及びプログラム
EP4350284A1 (en) Measurement device, measurement method, program
WO2023026880A1 (ja) 測定装置、測定方法、プログラム
EP4350307A1 (en) Measurement device, measurement method, and program
WO2021059263A4 (en) Navigation indication of a vehicle
Gupta et al. Enhancing Road Safety and ITS Efficiency: A Comprehensive Evaluation of Traffic Sign Detection using YOLOv8
US11879725B2 (en) Optical measuring method and optical measuring device
Atrey et al. Experiential sampling based foreground/background segmentation for video surveillance
Li et al. Robust target detection, tracking and following for an indoor mobile robot

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22907065

Country of ref document: EP

Kind code of ref document: A1