WO2022181098A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2022181098A1
WO2022181098A1 PCT/JP2022/000819 JP2022000819W WO2022181098A1 WO 2022181098 A1 WO2022181098 A1 WO 2022181098A1 JP 2022000819 W JP2022000819 W JP 2022000819W WO 2022181098 A1 WO2022181098 A1 WO 2022181098A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
event data
grindstone
information processing
state
Prior art date
Application number
PCT/JP2022/000819
Other languages
English (en)
French (fr)
Inventor
達也 東坂
敏 井原
勝 尾崎
康之 佐藤
知宏 高橋
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社, ソニーグループ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to DE112022001268.4T priority Critical patent/DE112022001268T5/de
Priority to US18/546,983 priority patent/US20240139907A1/en
Priority to JP2023502154A priority patent/JPWO2022181098A1/ja
Priority to KR1020237027354A priority patent/KR20230148154A/ko
Priority to CN202280015962.7A priority patent/CN116867607A/zh
Publication of WO2022181098A1 publication Critical patent/WO2022181098A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/12—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/003—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving acoustic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/10—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving electrical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B53/00—Devices or means for dressing or conditioning abrasive surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B53/00—Devices or means for dressing or conditioning abrasive surfaces
    • B24B53/001—Devices or means for dressing or conditioning abrasive surfaces involving the use of electric current
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems

Definitions

  • the present technology relates to an information processing device, and more particularly to an information processing device that can more easily determine maintenance timing using event data.
  • Patent Document 1 a learning model is generated by performing machine learning using a learning data set in which actual surface roughness measured by an external measuring device is used as an objective variable and measurement data obtained by an in-machine measuring device is used as an explanatory variable.
  • a maintenance support device that performs support processing for maintenance of a machine tool from measurement data obtained by an in-machine measurement device such as a non-contact displacement sensor.
  • This technology was created in view of this situation, and uses event data to make it easier to determine the timing of maintenance.
  • An information processing device estimates the state of a grindstone using event data from an event sensor that outputs temporal changes in an electrical signal obtained by photoelectrically converting an optical signal as event data, and outputs an estimation result. and a state estimator.
  • temporal changes in electrical signals obtained by photoelectrically converting optical signals are output as event data, the state of the grindstone is estimated using the event data, and estimation results are output.
  • the information processing device may be an independent device, or may be a module incorporated into another device.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of an information processing system to which the present technology is applied;
  • FIG. FIG. 4 is a diagram showing an example of event data;
  • FIG. 4 is a diagram illustrating an example of a method of generating frame data from event data; It is a figure explaining the event image which captured the falling spark.
  • 2 is a block diagram showing a detailed configuration example of an information processing apparatus;
  • FIG. It is a figure explaining the relationship between a measurement parameter and a physical quantity.
  • 4 is a table showing correlations between measurement parameters and physical quantities;
  • 4 is a flowchart for explaining maintenance timing determination processing by the information processing system;
  • 9 is a flowchart for explaining threshold update processing;
  • FIG. 11 is a block diagram showing a configuration example of an EVS camera according to a second embodiment of an information processing system to which the present technology is applied; 2 is a block diagram showing a schematic configuration example of an imaging element; FIG. 3 is a block diagram showing a configuration example of an address event detection circuit; FIG. It is a circuit showing detailed configurations of a current-voltage conversion circuit, a subtractor, and a quantizer.
  • FIG. 4 is a diagram showing a more detailed circuit configuration example of an address event detection circuit;
  • FIG. 11 is a circuit diagram showing another configuration example of a quantizer; 16 is a diagram showing a more detailed circuit configuration example of an address event detection circuit when the quantizer of FIG. 15 is employed;
  • FIG. It is a block diagram which shows the structural example of the hardware of a computer.
  • FIG. 1 shows a configuration example of a first embodiment of an information processing system to which the present technology is applied.
  • the information processing system 1 in FIG. 1 is a system that has an EVS camera 11, an information processing device 12, and a display 13, estimates the state of the grindstone 22 of the machine tool 21, and notifies maintenance timing.
  • the machine tool 21 is a machine tool that performs grinding processing such as cylindrical grinding, internal grinding, and surface grinding on the workpiece W, and is a so-called grinding machine.
  • the machine tool 21 grinds the workpiece W by rotating the grindstone 22 at high speed.
  • a coolant liquid 23 is supplied to the contact portion between the grindstone 22 and the workpiece W from an upper nozzle. Sparks 24 are generated from the contact portion between the grindstone 22 and the workpiece W during grinding of the workpiece W by the grindstone 22 . Besides the spark 24, the coolant liquid 23 is also dripped.
  • the EVS camera 11 is a camera equipped with an event sensor that outputs temporal changes in electrical signals obtained by photoelectrically converting optical signals as event data.
  • Such an event sensor is also called an EVS (event-based vision sensor).
  • a camera equipped with a general image sensor takes a picture in synchronization with a vertical synchronizing signal, and outputs frame data, which is image data for one frame (screen), at the cycle of the vertical synchronizing signal. Since event data is output only at the timing when an event occurs, it can be said to be an asynchronous or address-controlled camera.
  • the EVS camera 11 is installed so that the object W being ground and the grindstone 22 are within its imaging range. , and outputs the event data to the information processing device 12 .
  • the information processing device 12 estimates the state of the grindstone 22 based on the event data output from the EVS camera 11 . For example, the information processing device 12 determines whether or not the whetstone 22 is clogged by processing the event data. When the information processing device 12 determines that the whetstone 22 is clogged, it outputs an alert indicating that the whetstone 22 is clogged. As an alert, an arbitrary method can be selected, such as outputting a sound such as a buzzer, turning on a signal lamp, or displaying an alert message. In the present embodiment, the information processing device 12 causes the display 13 to display a message (characters) such as "Clogging has occurred. Maintenance is required.” The information processing device 12 also generates a display image using the event data from the EVS camera 11 and causes the display 13 to display it.
  • FIG. 2 shows an example of event data output by the EVS camera 11. As shown in FIG.
  • the EVS camera 11 stores the time t i at which the event occurred, the coordinates (x i , y i ) representing the position of the pixel at which the event occurred, and the polarity of the luminance change as the event.
  • Output event data including p i .
  • the time t i of the event is a time stamp representing the time when the event occurs, and is represented, for example, by the count value of a counter based on a predetermined clock signal within the sensor.
  • a time stamp corresponding to the timing at which an event occurs can be said to be time information representing the (relative) time at which the event occurred as long as the interval between the events is maintained at the time of event occurrence.
  • the polarity p i represents the direction of luminance change when a luminance change (light amount change) exceeding a predetermined threshold (hereinafter referred to as an event threshold) occurs as an event. ) or a change in the negative direction (hereinafter also referred to as negative).
  • the polarity p i of an event is represented by, for example, "1" when positive and "0" when negative.
  • the EVS camera 11 outputs only the positional coordinates, polarity, and time information of pixels that have detected luminance changes. Since the EVS camera 11 generates and outputs only the net change (difference) of position coordinates, polarity, and time information, the amount of data has no redundancy and has high time resolution on the order of ⁇ sec. Thereby, the spark 24, the coolant liquid 23, etc. which generate
  • event data is output each time an event occurs. Therefore, the event data as it is cannot be displayed on the display 13 that displays an image corresponding to the frame data, or cannot be input to a discriminator (classifier) and used for image processing. To display the event data on the display 13, it is necessary to convert it into frame data.
  • FIG. 3 is a diagram explaining an example of a method for generating frame data from event data.
  • a point as event data corresponds to event time t and event pixel are plotted at coordinates (x, y) as .
  • the event data are plotted as dots at the spatio-temporal location (x, y, t) of the event.
  • an event image can be generated for each predetermined frame interval using the event data within a predetermined frame width from the beginning of the predetermined frame interval.
  • the frame width and frame interval can be specified by time or by the number of event data.
  • One of the frame width and the frame interval may be specified by time, and the other may be specified by the number of event data.
  • the frame width and the frame interval are specified by time, and when the frame width and the frame interval are the same, the frame volumes are in contact with each other without gaps. Also, when the frame interval is larger than the frame width, the frame volumes are arranged side by side with a gap between them. If the frame width is greater than the frame interval, the frame volumes are aligned in a partially overlapping manner.
  • An event image is generated by, for example, setting the pixel (pixel value) of the frame at the position (x, y) of the event to white and the pixels at other positions of the frame to a predetermined color such as gray. can be done.
  • the generation of frame data is performed when distinguishing the polarity of the light amount change as an event for event data. For example, when the polarity is positive, the pixel is set to white, and when the polarity is negative, can be done by setting pixels to black and pixels elsewhere in the frame to a predetermined color, such as gray.
  • FIG. 4 shows an example of an event image capturing a falling spark 24 .
  • the spark 24 has a brighter amount of light than the surrounding background. Therefore, when the EVS camera 11 captures the state in which one spark 24 falls from the position indicated by the dashed line to the position indicated by the solid line, as shown in FIG. A change in brightness (a change in the amount of light) from bright to bright occurs, and a positive event occurs. On the other hand, in the upper region of the spark 24 opposite to the traveling direction, a luminance change (light amount change) from bright to dark occurs, and a negative event occurs.
  • pixels with positive polarity are set to white
  • pixels with negative polarity are set to black
  • pixels at other positions in the frame are set to gray.
  • FIG. 5 is a block diagram showing a detailed configuration example of the information processing device 12. As shown in FIG.
  • FIG. 5 also shows an external sensor 14 that can be added as an option.
  • the information processing device 12 has a data acquisition section 50 , an event data processing section 51 , an event data storage section 52 , an image generation section 53 , an image storage section 54 , and an image data processing section 55 .
  • the information processing device 12 also has a grindstone state estimation unit 56 , a camera setting change unit 57 , a feature amount storage unit 58 , and an output unit 59 .
  • the data acquisition unit 50 acquires event data output from the EVS camera 11 at arbitrary timing, and supplies it to the event data processing unit 51 and the event data storage unit 52 .
  • the event data processing unit 51 executes predetermined event data processing using the event data supplied from the data acquisition unit 50 and supplies the processed data to the grindstone state estimation unit 56 .
  • the event data processing unit 51 calculates an event rate, which is the occurrence frequency of event data, and supplies it to the grindstone state estimation unit 56 .
  • the event data storage unit 52 stores event data supplied from the data acquisition unit 50 for a certain period of time, and supplies the event data to the image generation unit 53 .
  • the image generator 53 uses the event data stored in the event data storage 52 to generate an event image. That is, the image generator 53 generates an event image using event data within a predetermined frame width from the beginning of a predetermined frame interval among the event data stored in the event data storage unit 52 . Event images generated at predetermined frame intervals are supplied to the image storage unit 54 .
  • the image storage unit 54 stores event images supplied from the image generation unit 53 .
  • the image data processing unit 55 executes predetermined image data processing using event images stored in the image storage unit 54 .
  • the image data processing section 55 calculates the number, size, speed, flight distance, and flight angle of the sparks 24 in the event image, and supplies the calculation results to the grindstone state estimation section 56 .
  • the number of sparks 24 represents, for example, the number of sparks 24 detected within the event image.
  • the size of the spark 24 represents, for example, the external size (vertical size and horizontal size) of the spark 24 detected within the event image.
  • the speed of the spark 24 represents the moving speed calculated from the positions of the same spark 24 detected in a plurality of event images.
  • the flight distance of the spark 24 represents the distance from the position where the spark 24 is first detected to the position immediately before it disappears.
  • the flying angle of the spark 24 represents the angle between the vertical downward direction and the starting point at the position where the spark 24 is first detected and the ending point at the position immediately before the spark 24 disappears.
  • the information processing device 12 can detect not only the spark 24 but also the coolant liquid 23 as an event, depending on the set value of the event threshold.
  • the image data processing unit 55 also calculates the number, size, and speed of the coolant liquid 23 based on the event image, and uses the calculation result as the grindstone. It is supplied to the state estimator 56 .
  • the sparks 24 are referred to as the number of sparks, the spark size, and the spark speed
  • the coolant liquid 23 is referred to as the number of droplets, the number of droplets, and the speed of the droplets.
  • size and droplet velocity sometimes referred to as size and droplet velocity.
  • the grindstone state estimation unit 56 estimates the state of the grindstone 22 using event processing data supplied from the event data processing unit 51 or the image data processing unit 55 . Specifically, the grindstone state estimator 56 uses at least one of the event rate, the number of sparks, the spark size, and the spark speed to determine whether clogging occurs in the grindstone 22. judge.
  • the grindstone state estimation unit 56 determines whether the spark size is equal to or less than a predetermined first state determination threshold value VS1, and determines that the spark size is equal to or less than the first state determination threshold value VS1. In this case, it is determined that the grindstone 22 is clogged.
  • the grindstone state estimation unit 56 compares the number of sparks and the spark size with a predetermined state determination threshold. Specifically, the grindstone state estimation unit 56 determines whether the number of sparks is equal to or less than the first state determination threshold VS2 and the spark size is equal to or less than the second state determination threshold VS3. When it is determined that the number of sparks is equal to or less than the first state determination threshold value VS2 and the spark size is equal to or less than the second state determination threshold value VS3, the grindstone state estimation unit 56 determines that the grindstone 22 is clogged. determined to be
  • the grindstone state estimation unit 56 When it is determined that the grindstone 22 is clogged, the grindstone state estimation unit 56 generates an alert image such as "Clogging has occurred. Maintenance is required.” 13. Further, when the state of the grindstone 22 is determined to be normal, the grindstone state estimation unit 56 generates a display image at a predetermined frame rate, and outputs the display image to the display 13 via the output unit 59 . You may
  • the grindstone state estimation unit 56 also has a function of adjusting the event threshold of the EVS camera 11 based on the event processing data supplied from the event data processing unit 51 or the image data processing unit 55.
  • the grindstone state estimation unit 56 instructs the camera setting change unit 57 to increase or decrease the event threshold based on the event rate supplied from the event data processing unit 51 .
  • the camera setting change unit 57 changes the event threshold of the EVS camera 11 based on an instruction to increase or decrease the event threshold from the grindstone state estimation unit 56 .
  • the feature amount storage unit 58 is a storage unit that stores the feature amount acquired by the grindstone state estimation unit 56 from the event data processing unit 51 or the image data processing unit 55 .
  • the output unit 59 outputs the alert image supplied from the grindstone state estimation unit 56 to the display 13 . Also, the output unit 59 may output the event image or the display image to the display 13 .
  • the information processing device 12 is configured as described above, and based on the event data output from the EVS camera 11, can estimate the state of the grindstone 22 and detect the occurrence of clogging of the grindstone 22.
  • the information processing device 12 can prompt the operator to perform maintenance by displaying an alert image on the display 13 .
  • the information processing device 12 can also connect to the external sensor 14 and use sensor data obtained by the external sensor 14 in addition to the event data output from the EVS camera 11 to estimate the state of the grindstone 22.
  • the external sensor 14 for example, a microphone for detecting sound during grinding, a far-infrared sensor for measuring temperature, or the like can be employed.
  • the external sensor 14 may be a sensor other than a microphone and a far-infrared sensor.
  • the grindstone state estimation unit 56 estimates the state of the grindstone 22 using sensor data supplied from the external sensor 14 and event processing data supplied from the event data processing unit 51 or the image data processing unit 55 .
  • FIG. 6 is a diagram for explaining the relationship between parameters (measurement parameters) measurable by the EVS camera 11 (event sensor) and physical quantities relating to the grinding process of the machine tool 21. As shown in FIG. 6
  • FIG. 6 the items measurable by the EVS camera 11 are shown surrounded by thick lines.
  • Examples of measuring devices for determining whether maintenance of the machine tool 21 is necessary include a surface roughness meter, an RGB camera, a thermocouple, a thermography, etc., as shown in the rightmost column of FIG. be done.
  • an EVS camera 11 is employed instead of these measuring devices.
  • the EVS camera 11 can generate and output event data.
  • the event data includes the spark 24 event data and the coolant 23 event data. Events caused by ambient light or vibration of the device may also be detected. Events caused by ambient light or device vibration correspond to noise, and can be excluded by appropriately setting the event threshold.
  • the spark rupture mode is a classification that indicates the characteristics of the spark 24's rupture (breaking method).
  • the spark explosion mode differs depending on the material of the workpiece W. The material of the workpiece W can be specified by detecting the spark explosion mode.
  • the number of sparks is related to the frequency of abrasive grain shedding, the grinding peripheral speed, and the feed speed, which is a processing condition.
  • the spark size is related to the grain size of the abrasive grains of the grindstone 22, and the feed rate and the depth of cut, which are processing conditions.
  • the spark speed is related to the peripheral grinding speed.
  • the frequency of abrasive grain shedding is related to the bonding degree of the binder of the grinding wheel 22 and the porosity of the pores
  • the peripheral grinding speed is related to the peripheral speed of the workpiece W and the peripheral speed of the grinding wheel 22, which are processing conditions.
  • the number of droplets, droplet size, and droplet speed can be measured as measurement parameters.
  • the number of droplets, droplet size, and droplet velocity are related to the coolant liquid 23 flow rate.
  • clogging of the grinding wheel 22 is greatly related to spark sizes measurable by the event data of the sparks 24 .
  • the spark size is closely related to the grain size of abrasive grains.
  • FIG. 7 is a table showing correlations between measurement parameters measurable based on event data and physical quantities related thereto, which are indicated by thick-line frames in FIG.
  • the particle size of the abrasive grains of the grindstone 22 and the spark size have a correlation such that the larger the abrasive grains, the larger the spark size.
  • the degree of binding of the binder and the number of sparks have a correlation such that the higher the degree of binding, the larger the number of sparks.
  • the porosity of the pores and the number and size of sparks have a correlation such that the higher the porosity, the smaller the number and size of sparks.
  • the flow rate, the number of droplets, and the droplet velocity of the coolant liquid 23 have a correlation such that as the flow rate increases, the number of droplets and the droplet velocity also increase.
  • the grindstone state estimating unit 56 estimates the physical quantity from the data processing result of the event data according to the correlation between the measurement parameter measurable in the event data and the physical quantity, and determines the timing of maintenance. can do.
  • step S11 the data acquisition unit 50 acquires event data output from the EVS camera 11 at arbitrary timing, and supplies the event data processing unit 51 and the event data storage unit 52 with the event data.
  • step S ⁇ b>12 the event data processing unit 51 executes predetermined event data processing using the event data supplied from the data acquisition unit 50 and supplies the processed data to the grindstone state estimation unit 56 .
  • the event data processing unit 51 calculates an event rate, which is the occurrence frequency of event data, and supplies it to the grindstone state estimation unit 56 .
  • step S ⁇ b>13 the event data storage unit 52 stores the event data supplied from the data acquisition unit 50 for a certain period of time, and supplies the event data to the image generation unit 53 .
  • the image generation section 53 generates an event image using the event data stored in the event data storage section 52 and supplies the event image to the image storage section 54 .
  • step S14 the image data processing unit 55 executes predetermined image data processing using the event images stored in the image storage unit 54.
  • the image data processing section 55 calculates the number, size, speed, flight distance, and flight angle of the sparks 24 in the event image, and supplies the calculation results to the grindstone state estimation section 56 .
  • step S ⁇ b>15 the grindstone state estimation unit 56 uses the event processing data supplied from the event data processing unit 51 or the image data processing unit 55 to execute grindstone state estimation processing for estimating the state of the grindstone 22 .
  • the grindstone state estimation unit 56 determines whether or not the spark size is equal to or less than the first state determination threshold value VS1.
  • the grindstone state estimation unit 56 determines whether the number of sparks is equal to or less than the first state determination threshold value VS2 and the spark size is equal to or less than the second state determination threshold value VS3 as the grindstone state estimation process. .
  • step S16 the grindstone state estimation unit 56 determines whether or not the grindstone 22 is clogged based on the result of the grindstone state estimation process.
  • step S16 When it is determined in step S16 that clogging has not occurred in the grindstone 22, the process returns to step S11, and the processes of steps S11 to S16 described above are executed again.
  • the display image generated based on the event data, the event image generated by the image generation unit 53, and the like are output via the output unit 59. It may be supplied to the display 13 and displayed.
  • step S16 determines whether the whetstone 22 is clogged. If it is determined in step S16 that the whetstone 22 is clogged, the process proceeds to step S17, and the whetstone condition estimation unit 56 notifies an alert that the whetstone 22 is clogged.
  • the grindstone state estimation unit 56 generates an alert image such as “Clogging has occurred. Maintenance is required.” and outputs it to the display 13 via the output unit 59 .
  • the display 13 displays an alert image supplied from the information processing device 12 .
  • the maintenance timing determination process by the information processing system 1 is executed as described above.
  • the operator who has confirmed the alert image displayed on the display 13 understands that it is time for maintenance and performs dressing of the grindstone 22 and the like.
  • a learning model generated by performing machine learning may be used to estimate the state of the grindstone 22 and determine maintenance timing.
  • the grindstone state estimating unit 56 compares event data obtained during grinding using the grindstone 22 that requires maintenance due to clogging of the grindstone 22 and the normal state (maintenance-free state) of the grindstone 22 .
  • a learning model is generated by machine learning using the necessity of maintenance as teacher data.
  • the grindstone state estimator 56 uses the generated learning model to estimate the necessity of maintenance of the grindstone 22 based on the input event data.
  • feature quantities such as the number, size, speed, flight distance, and flight angle of sparks 24 may be used instead of the event data itself.
  • the learning model may be learned so as to determine not only the necessity of maintenance but also the state of the grindstone 22 such as clogging, crushed eyes, and spilled eyes.
  • the state of the grindstone 22 can be estimated using not only the data processing result of the event data but also the sensor data obtained by the external sensor 14. good.
  • the grindstone state estimation process using the data processing result of the event data and the sensor data may be a threshold determination process or a determination process using a learning model.
  • Threshold Update Processing for dynamically changing the event threshold will be described with reference to the flowchart of FIG. This process is started, for example, together with the maintenance timing determination process described with reference to FIG. 8, and is executed in parallel with the maintenance timing determination process.
  • step S31 the grindstone state estimation unit 56 acquires data processing results of event data or event images. Since the process of step S31 is included in the maintenance timing determination process of FIG. 8 that is executed in parallel, it can be substantially omitted.
  • the grindstone state estimation unit 56 may also acquire the event data itself output from the EVS camera 11 via the event data processing unit 51 .
  • the grindstone state estimation unit 56 calculates the degree of influence of the coolant liquid 23 using the acquired data processing result. For example, when using the event rate supplied from the event data processing unit 51, the grindstone state estimation unit 56 can calculate the degree of influence of the coolant liquid 23 from the event rate when the spark 24 is not generated. Further, for example, when using the data processing result of the event image, the grindstone state estimation unit 56 can calculate the degree of influence of the coolant liquid 23 based on the ratio between the number of sparks and the number of droplets. The spark 24 and coolant 23 can be sorted by size, for example.
  • step S33 the grindstone state estimation unit 56 determines whether or not to change the event threshold. For example, the grindstone state estimating unit 56 determines that the event threshold is changed when only the spark 24 is to be detected from a state in which both the spark 24 and the coolant liquid 23 are currently detected as events. In this case, the event threshold is adjusted upward from its current value. Alternatively, if it is desired to detect both the spark 24 and the coolant liquid 23 from the current state where only the spark 24 is detected, it is determined to change the event threshold. In this case, the event threshold is adjusted downward from its current value.
  • step S33 If it is determined in step S33 that the event threshold is not to be changed, the process returns to step S31, and the processes of steps S31 to S33 described above are executed again.
  • step S33 determines whether the event threshold is to be changed. If it is determined in step S33 that the event threshold is to be changed, the process proceeds to step S34, and the grindstone state estimating section 56 instructs the camera setting changing section 57 to increase or decrease the event threshold.
  • the camera setting change unit 57 sets a new event threshold by supplying the new event threshold to the EVS camera 11 .
  • the new event threshold is, for example, a value changed by a predetermined change width in the instructed increase/decrease direction.
  • the event threshold can be adjusted based on the event detection status in parallel with the grindstone state estimation process. Whether to detect both the spark 24 and the coolant liquid 23 as an event or to detect only the spark 24 as an event can be specified in the information processing device 12 in advance by setting the operation mode, for example.
  • the EVS camera 11 detects a luminance change such as the spark 24 as an event, outputs the event data to the information processing device 12, and the information processing device 12 detects the event A process of estimating the state of the grindstone 22 using the data was executed.
  • the process of estimating the state of the grindstone 22 using event data is also performed within the EVS camera.
  • the EVS camera 11 and information processing device 12 in the first embodiment are replaced with one EVS camera 300 shown in FIG.
  • the EVS camera 300 shown in FIG. 10 is an imaging device that includes an event sensor and a processing unit that executes the functions of the information processing device 12 in the first embodiment.
  • the EVS camera 300 is installed at the same position as the EVS camera 11 in FIG. 1, detects changes in brightness of sparks 24 and coolant liquid 23 as events, and generates event data.
  • the EVS camera 300 also executes a grindstone state estimation process for estimating the state of the grindstone 22 based on the event data, and outputs a maintenance alert based on the result of the grindstone state estimation process. For example, when it is determined that maintenance is required, the EVS camera 300 causes the display 13 to display an alert image such as "Clogging has occurred. Maintenance is required.”
  • the EVS camera 300 can also generate a display image for operator monitoring based on the event data and display it on the display 13 .
  • the EVS camera 300 includes an optical section 311 , an imaging device 312 , a control section 313 and a data processing section 314 .
  • the optical unit 311 collects the light from the subject and causes it to enter the imaging device 312 .
  • the imaging device 312 photoelectrically converts incident light incident through the optical unit 311 to generate event data, and supplies the event data to the data processing unit 314 .
  • the imaging element 312 is a light receiving element that outputs event data representing the occurrence of an event, with a luminance change of a pixel as an event.
  • the control unit 313 controls the imaging device 312 .
  • the control unit 313 instructs the imaging device 312 to start and end imaging.
  • the data processing unit 314 is composed of, for example, an FPGA (Field Programmable Gate Array), a DSP (Digital Signal Processor), a microprocessor, etc., and executes the processing performed by the information processing device 12 in the first embodiment.
  • the data processing section 314 includes an event data processing section 321 and a recording section 322 .
  • the event data processing unit 321 performs event data processing using event data supplied from the imaging element 312, image data processing using event images, grindstone state estimation processing for estimating the state of the grindstone 22, and the like.
  • the recording unit 322 corresponds to the event data storage unit 52, the image storage unit 54, and the feature amount storage unit 58 in the first embodiment, and records predetermined data on a predetermined recording medium as necessary. accumulate.
  • FIG. 11 is a block diagram showing a schematic configuration example of the imaging element 312. As shown in FIG.
  • the imaging device 312 includes a pixel array section 341 , a drive section 342 , a Y arbiter 343 , an X arbiter 344 and an output section 345 .
  • a plurality of pixels 361 are arranged in a two-dimensional grid in the pixel array section 341 .
  • Each pixel 361 has a photodiode 371 as a photoelectric conversion element and an address event detection circuit 372 .
  • the address event detection circuit 372 detects a change in the photocurrent as an event when the photocurrent as an electrical signal generated by the photoelectric conversion of the photodiode 371 changes beyond a predetermined threshold.
  • address event detection circuit 372 outputs a request to Y arbiter 343 and X arbiter 344 requesting output of event data representing the occurrence of the event.
  • the driving section 342 drives the pixel array section 341 by supplying a control signal to each pixel 361 of the pixel array section 341 .
  • the Y arbiter 343 arbitrates requests from pixels 361 in the same row in the pixel array section 341 and returns a response indicating permission or non-permission of event data output to the pixel 361 that has sent the request.
  • the X arbiter 344 arbitrates requests from the pixels 361 in the same column in the pixel array section 341 and returns a response indicating permission or non-permission of event data output to the pixel 361 that has transmitted the request.
  • a pixel 361 to which a permission response has been returned from both the Y arbiter 343 and the X arbiter 344 can output event data to the output unit 345 .
  • the imaging device 312 may be configured to include only one of the Y arbiter 343 and the X arbiter 344 .
  • the imaging device 312 may be configured to include only one of the Y arbiter 343 and the X arbiter 344 .
  • the X arbiter 344 data of all pixels 361 in the same column including the pixel 361 that has transmitted the request are transferred to the output section 345 .
  • the event data of the pixel 361 that actually generated the event is selected in the output unit 345 or the subsequent data processing unit 314 (FIG. 10).
  • the Y arbiter 343 only, the pixel data is transferred to the output unit 345 in units of rows, and only event data of the necessary pixels 361 are selected in the subsequent stage.
  • the output unit 345 performs necessary processing on the event data output by each pixel 361 forming the pixel array unit 341, and supplies the event data to the data processing unit 314 (FIG. 10).
  • FIG. 12 is a block diagram showing a configuration example of the address event detection circuit 372. As shown in FIG. 12
  • the address event detection circuit 372 includes a current-voltage conversion circuit 381, a buffer 382, a subtractor 383, a quantizer 384, and a transfer circuit 385.
  • the current-voltage conversion circuit 381 converts the photocurrent from the corresponding photodiode 371 into a voltage signal.
  • the current-voltage conversion circuit 381 generates a voltage signal corresponding to the logarithmic value of the photocurrent and outputs it to the buffer 382 .
  • the buffer 382 buffers the voltage signal from the current-voltage conversion circuit 381 and outputs it to the subtractor 383 .
  • this buffer 382 it is possible to secure the isolation of noise associated with the switching operation of the latter stage and improve the driving power for driving the latter stage. Note that this buffer 382 can be omitted.
  • the subtractor 383 reduces the level of the voltage signal from the buffer 382 according to the control signal from the driving section 342.
  • the subtractor 383 outputs the lowered voltage signal to the quantizer 384 .
  • the quantizer 384 quantizes the voltage signal from the subtractor 383 into a digital signal and supplies it to the transfer circuit 385 as event data.
  • the transfer circuit 385 transfers (outputs) the event data to the output unit 345 . That is, the transfer circuit 385 supplies the Y arbiter 343 and the X arbiter 344 with a request for outputting event data. When the transfer circuit 385 receives a response from the Y arbiter 343 and the X arbiter 344 to the effect that the output of the event data is permitted in response to the request, the transfer circuit 385 transfers the event data to the output unit 345 .
  • FIG. 13 is a circuit showing detailed configurations of the current-voltage conversion circuit 381, subtractor 383, and quantizer 384. As shown in FIG. Also shown in FIG. 13 is a photodiode 371 connected to the current-voltage conversion circuit 381 .
  • the current-voltage conversion circuit 381 is composed of FETs 411 to 413.
  • FETs 411 and 413 for example, an N-type MOS (NMOS) FET can be used, and as the FET 412, for example, a P-type MOS (PMOS) FET can be used.
  • NMOS N-type MOS
  • PMOS P-type MOS
  • the photodiode 371 receives incident light, performs photoelectric conversion, and generates and flows a photocurrent as an electrical signal.
  • the current-voltage conversion circuit 381 converts the photocurrent from the photodiode 371 into a voltage (hereinafter also referred to as photovoltage) VLOG corresponding to the logarithm of the photocurrent, and outputs it to the buffer 382 .
  • the source of the FET411 is connected to the gate of the FET413, and the photocurrent from the photodiode 371 flows through the connection point between the source of the FET411 and the gate of the FET413.
  • the drain of FET411 is connected to power supply VDD, and its gate is connected to the drain of FET413.
  • the source of the FET412 is connected to the power supply VDD, and its drain is connected to the connection point between the gate of the FET411 and the drain of the FET413.
  • a predetermined bias voltage Vbias is applied to the gate of the FET 412 .
  • the source of FET 413 is grounded.
  • the drain of FET411 is connected to the power supply VDD side and is a source follower.
  • a photodiode 371 is connected to the source of the FET 411 which is a source follower, and a photocurrent flows through the FET 411 (from its drain to its source) due to charges generated by photoelectric conversion of the photodiode 371 .
  • the FET 411 operates in a subthreshold region, and a photovoltage VLOG corresponding to the logarithm of the photocurrent flowing through the FET 411 appears at the gate of the FET 411 .
  • the FET 411 converts the photocurrent from the photodiode 371 into the photovoltage VLOG corresponding to the logarithm of the photocurrent.
  • the photovoltage VLOG is output to the subtractor 383 via the buffer 382 from the connection point between the gate of the FET 411 and the drain of the FET 413 .
  • the subtractor 383 calculates the difference between the current light voltage and the light voltage at a timing different from the current light voltage by a very small amount of time, and outputs a difference signal Vdiff corresponding to the difference. do.
  • the subtractor 383 includes a capacitor 431, an operational amplifier 432, a capacitor 433, and a switch 434.
  • Quantizer 384 comprises comparators 451 and 452 .
  • One end of the capacitor 431 is connected to the output of the buffer 382 and the other end is connected to the input terminal of the operational amplifier 432 . Therefore, the (inverted) input terminal of the operational amplifier 432 receives the photovoltage VLOG through the capacitor 431 .
  • the output terminal of operational amplifier 432 is connected to the non-inverting input terminals (+) of comparators 451 and 452 of quantizer 384 .
  • One end of the capacitor 433 is connected to the input terminal of the operational amplifier 432 and the other end is connected to the output terminal of the operational amplifier 432 .
  • a switch 434 is connected to the capacitor 433 so as to turn on/off the connection across the capacitor 433 .
  • the switch 434 turns on/off the connection between both ends of the capacitor 433 by turning on/off according to the control signal of the driving section 342 .
  • the capacitor 433 and the switch 434 constitute a switched capacitor. By temporarily turning on the off switch 434 and then turning it off again, the capacitor 433 is discharged and reset to a state in which it can store new charge.
  • Vinit be the photovoltage VLOG on the photodiode 371 side of the capacitor 431 when the switch 434 is turned on
  • C1 be the capacitance (electrostatic capacitance) of the capacitor 431 .
  • the input terminal of the operational amplifier 432 is virtual ground, and the charge Qinit accumulated in the capacitor 431 when the switch 434 is on is expressed by equation (1).
  • Qinit C1 ⁇ Vinit (1)
  • both ends of the capacitor 433 are short-circuited, so the charge accumulated in the capacitor 433 is zero.
  • Vafter the photovoltage VLOG on the photodiode 371 side of the capacitor 431 is denoted by Vafter.
  • Qafter C1 x Vafter (2)
  • Equation (3) the charge Q2 accumulated in the capacitor 433 is expressed by Equation (3) using the differential signal Vdiff, which is the output voltage of the operational amplifier 432.
  • Vdiff the differential signal
  • Equation (5) is obtained by substituting equations (1) to (3) into equation (4).
  • Vdiff -(C1/C2) ⁇ (Vafter-Vinit) (5)
  • the subtractor 383 subtracts the photovoltages Vafter and Vinit, that is, calculates a difference signal Vdiff corresponding to the difference (Vafter - Vinit) between the photovoltages Vafter and Vinit.
  • the gain of the subtraction of the subtractor 383 is C1/C2. Therefore, the subtractor 383 outputs a voltage obtained by multiplying the change in the photovoltage VLOG after the capacitor 433 is reset by C1/C2 as the difference signal Vdiff.
  • the subtractor 383 outputs the difference signal Vdiff when the switch 434 is turned on and off by the control signal output by the driving section 342 .
  • the difference signal Vdiff output from the subtractor 383 is supplied to non-inverting input terminals (+) of comparators 451 and 452 of the quantizer 384 .
  • the comparator 451 compares the difference signal Vdiff from the subtractor 383 with the +side threshold Vrefp input to the inverting input terminal (-).
  • the comparator 451 outputs an H (High) level or L (Low) level detection signal DET(+), which indicates whether or not the + side threshold value Vrefp is exceeded, to the transfer circuit 385 as the quantized value of the difference signal Vdiff. .
  • the comparator 452 compares the difference signal Vdiff from the subtractor 383 with the - side threshold Vrefn input to the inverting input terminal (-).
  • the comparator 452 outputs an H (High) level or L (Low) level detection signal DET(-) indicating whether or not the minus side threshold value Vrefn is exceeded to the transfer circuit 385 as the quantized value of the difference signal Vdiff. .
  • FIG. 14 shows a more detailed circuit configuration example of the current-voltage conversion circuit 381, buffer 382, subtractor 383, and quantizer 384 shown in FIG.
  • FIG. 15 is a circuit diagram showing another configuration example of the quantizer 384.
  • FIG. 15 is a circuit diagram showing another configuration example of the quantizer 384.
  • the quantizer 384 shown in FIG. 14 always compared the difference signal Vdiff from the subtractor 383 with both the + side threshold (voltage) Vrefp and the - side threshold (voltage) Vrefn and output the comparison result.
  • the quantizer 384 in FIG. 15 includes one comparator 453 and a switch 454, and outputs a result of comparison with two thresholds (voltages) VthON or VthOFF switched by the switch 454. .
  • the switch 454 is connected to the inverting input terminal (-) of the comparator 453 and selects the terminal a or b according to the control signal from the driving section 342.
  • a voltage VthON as a threshold is supplied to the terminal a, and a voltage VthOFF ( ⁇ VthON) as a threshold is supplied to the terminal b. Therefore, the voltage VthON or VthOFF is supplied to the inverting input terminal of the comparator 453 .
  • the comparator 453 compares the difference signal Vdiff from the subtractor 383 with the voltage VthON or VthOFF, and transfers the H-level or L-level detection signal DET representing the comparison result to the transfer circuit 385 as the quantized value of the difference signal Vdiff. Output to
  • FIG. 16 shows a more detailed circuit configuration example of the current-voltage conversion circuit 381, buffer 382, subtractor 383, and quantizer 384 when the quantizer 384 shown in FIG. 15 is employed.
  • a terminal VAZ for initialization (AutoZero) is added as a terminal of the switch 454 in addition to the voltage VthON and the voltage VthOFF.
  • the switch 454 of the quantizer 384 selects the terminal VAZ at the timing when the H (High) level initialization signal AZ is supplied to the gate of the FET 471 composed of an N-type MOS (NMOS) FET in the subtractor 383. , perform initialization operations.
  • the switch 454 selects the terminal of the voltage VthON or the voltage VthOFF based on the control signal from the driving section 342, and the detection signal DET representing the comparison result with the selected threshold is sent from the quantizer 384 to the transfer circuit. 385.
  • the maintenance timing determination process and the threshold update process in the second embodiment are the same as those in the above-described first embodiment, except that the EVS camera 300 itself, rather than the information processing device 12, executes them. .
  • the sparks 24 and the coolant liquid 23 generated during grinding can be detected as events, and the timing of maintenance can be accurately notified.
  • an event sensor (EVS camera 11 or EVS camera 300) that detects brightness changes such as sparks 24 as an event and outputs them asynchronously can be used to simplify the process.
  • the event threshold can be dynamically changed according to the event detection status.
  • the machine tool 21 is a grinder
  • the machine tool 21 may be a machine that performs arbitrary processing such as cutting, grinding, cutting, forging, and bending.
  • Computer configuration example> A series of processes executed by the information processing apparatus 12 described above can be executed by hardware or by software. When executing a series of processes by software, a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a microcomputer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 17 is a block diagram showing a hardware configuration example of a computer as an information processing device that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 505 is further connected to the bus 504 .
  • An input unit 506 , an output unit 507 , a storage unit 508 , a communication unit 509 and a drive 510 are connected to the input/output interface 505 .
  • the input unit 506 consists of a keyboard, mouse, microphone, touch panel, input terminals, and the like.
  • the output unit 507 includes a display, a speaker, an output terminal, and the like.
  • a storage unit 508 includes a hard disk, a RAM disk, a nonvolatile memory, or the like.
  • a communication unit 509 includes a network interface and the like.
  • a drive 510 drives a removable recording medium 511 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 501 loads, for example, a program stored in the storage unit 508 into the RAM 503 via the input/output interface 505 and the bus 504, and executes the above-described series of programs. is processed.
  • the RAM 503 also appropriately stores data necessary for the CPU 501 to execute various processes.
  • the program executed by the computer (CPU 501) can be provided by being recorded on a removable recording medium 511 such as package media, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input/output interface 505 by loading the removable recording medium 511 into the drive 510 . Also, the program can be received by the communication unit 509 and installed in the storage unit 508 via a wired or wireless transmission medium. In addition, programs can be installed in the ROM 502 and the storage unit 508 in advance.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be executed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications are possible without departing from the gist of the present technology.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • this technique can take the following configurations.
  • a state estimation unit that estimates the state of a grindstone using event data from an event sensor that outputs, as event data, a temporal change in an electrical signal obtained by photoelectrically converting an optical signal, and outputs an estimation result.
  • the state estimation unit estimates the state of the grindstone using the event data obtained by capturing sparks generated by the grindstone and the workpiece, and outputs an estimation result.
  • the state estimation unit estimates the state of the grindstone based on the feature amount of the event data, and outputs an estimation result.
  • the feature amount of the event data is an event rate.
  • the feature amount of the event data is a feature amount detected from the event image.
  • the feature amount of the event data includes at least one of the number, size, speed, flight distance, and flight angle of sparks.
  • the information processing apparatus according to (5) or (6), wherein the feature amount of the event data includes at least one of the number, size, and speed of coolant liquid.
  • the state estimation unit outputs an alert based on the estimation result.
  • the information processing apparatus according to any one of (1) to (8), wherein the state estimating unit adjusts an event threshold based on the event data in parallel with an estimation process of estimating the state of the grindstone.
  • the state estimation unit estimates the state of the grindstone using a learning model generated by machine learning using the event data, and outputs an estimation result.
  • (11) The state estimator according to any one of (1) to (10) above, wherein the state estimating unit estimates the state of the grindstone using the sensor data acquired by an external sensor and the event data, and outputs an estimation result. Information processing equipment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)

Abstract

本技術は、イベントデータを用いて、より簡単にメンテナンスのタイミングを判定できるようにする情報処理装置に関する。 情報処理装置は、光信号を光電変換した電気信号の時間的変化をイベントデータとして出力するイベントセンサからのイベントデータを用いて砥石の状態を推定し、推定結果を出力する状態推定部とを備える。本技術は、例えば、工作機械の砥石のメンテナンスのタイミングを通知する情報処理システム等に適用できる。

Description

情報処理装置
　本技術は、情報処理装置に関し、特に、イベントデータを用いて、より簡単にメンテナンスのタイミングを判定できるようにした情報処理装置に関する。
　特許文献１には、機外計測装置により計測される実表面粗さを目的変数、機内計測装置による計測データを説明変数とした学習データセットを用いて機械学習を行うことで学習モデルを生成し、非接触式変位センサ等の機内計測装置で得られた計測データから、工作機械のメンテナンスの支援処理を行うメンテナンス支援装置が開示されている。
特開２０２０－１１４６１５号公報
　工作機械のメンテナンスのタイミングは、より簡単に判定できることが望ましい。
　本技術は、このような状況に鑑みてなされたものであり、イベントデータを用いて、より簡単にメンテナンスのタイミングを判定できるようにするものである。
　本技術の一側面の情報処理装置は、光信号を光電変換した電気信号の時間的変化をイベントデータとして出力するイベントセンサからの前記イベントデータを用いて砥石の状態を推定し、推定結果を出力する状態推定部を備える。
　本技術の一側面においては、光信号を光電変換した電気信号の時間的変化がイベントデータとして出力され、前記イベントデータを用いて砥石の状態が推定され、推定結果が出力される。
　情報処理装置は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用した情報処理システムの第１実施の形態の構成例を示すブロック図である。 イベントデータの例を示す図である。 イベントデータからフレームデータを生成する方法の例を説明する図である。 落下する火花を捉えたイベント画像を説明する図である。 情報処理装置の詳細構成例を示すブロック図である。 計測パラメータと物理量との関係を説明する図である。 計測パラメータと物理量との相関関係を示すテーブルである。 情報処理システムによるメンテナンスタイミング判定処理を説明するフローチャートである。 閾値更新処理を説明するフローチャートである。 本技術を適用した情報処理システムの第２実施の形態のEVSカメラの構成例を示すブロック図である。 撮像素子の概略構成例を示すブロック図である。 アドレスイベント検出回路の構成例を示すブロック図である。 電流電圧変換回路、減算器、および、量子化器の詳細構成を示す回路である。 アドレスイベント検出回路のより詳細な回路構成例を示す図である。 量子化器のその他の構成例を示す回路図である。 図１５の量子化器を採用した場合のアドレスイベント検出回路のより詳細な回路構成例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、添付図面を参照しながら、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．情報処理システムの第１実施の形態
２．イベントデータの例
３．情報処理装置の構成例
４．計測パラメータと物理量との関係
５．メンテナンスタイミング判定処理のフローチャート
６．閾値更新処理のフローチャート
７．情報処理システムの第２実施の形態
８．まとめ
９．コンピュータ構成例
＜１．情報処理システムの第１実施の形態＞
　図１は、本技術を適用した情報処理システムの第１実施の形態の構成例を示している。
　図１の情報処理システム１は、EVSカメラ１１、情報処理装置１２、および、ディスプレイ１３を有し、工作機械２１の砥石２２の状態を推定し、メンテナンスタイミングを通知するシステムである。
　工作機械２１は、加工物Wに対して、円筒研削、内面研削、平面研削等の研削加工を行う工作機械であり、いわゆる研削盤である。工作機械２１は、砥石２２を高速で回転させ、加工物Wを研削する。砥石２２と加工物Wの接触部には、上方のノズルからクーラント液２３が供給される。砥石２２による加工物Wの研削加工中、砥石２２と加工物Wの接触部から、火花２４が発生する。火花２４の他、クーラント液２３も滴下する。
　EVSカメラ１１は、光信号を光電変換した電気信号の時間的変化をイベントデータとして出力するイベントセンサを備えるカメラである。このようなイベントセンサは、EVS(event-based vision sensor)とも呼ばれる。一般的なイメージセンサを備えるカメラは、垂直同期信号に同期して撮影を行い、その垂直同期信号の周期で１フレーム（画面）の画像データであるフレームデータを出力するが、EVSカメラ１１は、イベントが発生したタイミングにおいてのみイベントデータを出力するため、非同期型またはアドレス制御型のカメラであるということができる。
　EVSカメラ１１は、研削加工中の加工物Wと砥石２２が撮像範囲となるように設置されており、研削中に発生する火花２４や、落下するクーラント液２３による光（輝度）の変化をイベントとして検出し、イベントデータを情報処理装置１２に出力する。
　情報処理装置１２は、EVSカメラ１１から出力されてきたイベントデータに基づいて、砥石２２の状態を推定する。例えば、情報処理装置１２は、イベントデータを処理することにより、砥石２２に目詰まりが発生している状態か否かを判定する。情報処理装置１２は、砥石２２に目詰まりが発生していると判定した場合、砥石２２の目詰まり発生のアラートを出力する。アラートとしては、ブザー等の音声出力でもよいし、信号灯の点灯でもよし、アラートメッセージの表示など、任意の方法を選択できる。本実施の形態では、情報処理装置１２は、「目詰まり発生。メンテナンスが必要です。」等のメッセージ（文字）をディスプレイ１３に表示させる。また、情報処理装置１２は、EVSカメラ１１からのイベントデータを用いた表示用画像を生成し、ディスプレイ１３に表示させる。
＜２．イベントデータの例＞
　図２は、EVSカメラ１１が出力するイベントデータの例を示している。
　EVSカメラ１１は、例えば、図２に示されるように、イベントが発生した時刻ti、イベントが発生した画素の位置を表す座標(xi, yi)、及び、イベントとしての輝度変化の極性piを含むイベントデータを出力する。
　イベントの時刻tiは、イベントが発生したときの時刻を表すタイムスタンプであり、例えば、センサ内の所定のクロック信号に基づくカウンタのカウント値で表される。イベントが発生したタイミングに対応するタイムスタンプは、イベントどうしの間隔がイベントの発生時のまま維持されている限り、イベントが発生した（相対的な）時刻を表す時刻情報であるということができる。
　極性piは、所定の閾値（以下、イベント閾値と称する。）を超える輝度変化（光量変化）がイベントとして発生した場合の輝度変化の方向を表し、輝度変化がプラス方向の変化（以下、ポジティブともいう。）か、または、マイナス方向の変化（以下、ネガティブともいう。）かを表す。イベントの極性piは、例えば、ポジティブのとき“１”で表され、ネガティブのとき“０”で表される。
　図２のイベントデータにおいて、あるイベントの時刻tiと、そのイベントに隣接するイベントの時刻ｔi+1との間隔は、一定であるとは限らない。すなわち、イベントの時刻tiとｔi+1とは、同一の時刻であることもあるし、異なる時刻であることもある。但し、イベントの時刻ti及びｔi+1については、式ti<=ｔi+1で表される関係があることとする。
　EVSカメラ１１は、輝度変化を検出した画素の位置座標、極性、および、時間情報のみを出力する。EVSカメラ１１は、位置座標、極性、および、時間情報という正味の変化（差分）のみ生成して出力するため、データの情報量に冗長度がなく、μsecオーダの高時間分解能を有する。これにより、瞬間的に発生する火花２４やクーラント液２３等を的確に捉えることができる。
　イベントデータは、垂直同期信号に同期して、フレーム周期で出力されるフレーム形式の画像データ（フレームデータ）と異なり、イベントの発生ごとに出力される。そのため、イベントデータについては、そのままでは、フレームデータに対応する画像を表示するディスプレイ１３で画像を表示することや、識別器（分類器）に入力して画像処理に用いることができない。イベントデータをディスプレイ１３に表示させるには、フレームデータに変換する必要がある。
　図３は、イベントデータからフレームデータを生成する方法の例を説明する図である。
　図３では、x軸、y軸、及び、時間軸tで構成される３次元（時）空間において、イベントデータとしての点が、そのイベントデータに含まれるイベントの時刻t、及び、イベントの画素としての座標(x, y)にプロットされている。
　すなわち、イベントデータに含まれるイベントの時刻t、及び、イベントの画素(x, y)で表される３次元空間上の位置(x, y, t)を、イベントの時空間位置ということとすると、図３では、イベントデータが、イベントの時空間位置(x, y, t)に、点としてプロットされている。
　EVSカメラ１１から出力されるイベントデータを画素値として、所定のフレーム間隔ごとに、所定のフレーム間隔の先頭から所定のフレーム幅内のイベントデータを用いて、イベント画像を生成することができる。
　フレーム幅及びフレーム間隔は、時間による指定とすることもできるし、イベントデータの数による指定とすることもできる。フレーム幅及びフレーム間隔の一方が、時間による指定であり、他方が、イベントデータの数による指定でもよい。
　ここで、フレーム幅及びフレーム間隔が、時間による指定であって、フレーム幅とフレーム間隔とが同一である場合、フレームボリュームは、隙間なく接した状態となる。また、フレーム間隔がフレーム幅より大である場合、フレームボリュームは、隙間を空けて並んだ状態となる。フレーム幅がフレーム間隔より大である場合、フレームボリュームは、一部が重複する形で並んだ状態となる。
　イベント画像の生成は、例えば、イベントの位置(x, y)のフレームの画素（の画素値）を白色に、フレームの他の位置の画素をグレー等の所定の色にセットすることで行うことができる。
　その他、フレームデータの生成は、イベントデータについて、イベントとしての光量変化の極性を区別する場合には、例えば、極性がポジティブである場合には画素を白色にセットし、極性がネガティブである場合には画素を黒色にセットし、フレームの他の位置の画素をグレー等の所定の色にセットすることで行うことができる。
　図４は、落下する一粒の火花２４を捉えたイベント画像の例を示している。
　火花２４は、周辺の背景よりも明るい光量となる。そのため、一粒の火花２４が、破線の位置から実線の位置へ落下する状態をEVSカメラ１１が捉えた場合、図４に示されるように、火花２４の進行方向である下側領域では、暗から明への輝度変化（光量変化）が発生し、ポジティブイベントが発生する。一方、進行方向と反対の火花２４の上側領域では、明から暗への輝度変化（光量変化）が発生し、ネガティブイベントが発生する。
　ディスプレイ１３に表示される表示用画像として、極性がポジティブである画素に白色をセットし、極性がネガティブである画素に黒色をセットし、フレームの他の位置の画素にはグレーをセットした画像を生成すると、図４の一番右側の画像のようになる。
＜３．情報処理装置の構成例＞
　図５は、情報処理装置１２の詳細構成例を示すブロック図である。
　なお、図５には、EVSカメラ１１およびディスプレイ１３の他に、オプションとして追加可能な外部センサ１４も図示してある。
　情報処理装置１２は、データ取得部５０、イベントデータ処理部５１、イベントデータ記憶部５２、画像生成部５３、画像記憶部５４、および、画像データ処理部５５を有している。また、情報処理装置１２は、砥石状態推定部５６，カメラ設定変更部５７、特徴量記憶部５８、および、出力部５９を有している。
　データ取得部５０は、EVSカメラ１１から任意のタイミングで出力されてくるイベントデータを取得し、イベントデータ処理部５１とイベントデータ記憶部５２に供給する。
　イベントデータ処理部５１は、データ取得部５０から供給されるイベントデータを用いた所定のイベントデータ処理を実行し、処理後のデータを砥石状態推定部５６に供給する。例えば、イベントデータ処理部５１は、イベントデータの発生頻度であるイベントレートを算出し、砥石状態推定部５６に供給する。
　イベントデータ記憶部５２は、データ取得部５０から供給されるイベントデータを一定期間記憶し、画像生成部５３に供給する。画像生成部５３は、イベントデータ記憶部５２に記憶されたイベントデータを用いて、イベント画像を生成する。すなわち、画像生成部５３は、イベントデータ記憶部５２に記憶されたイベントデータのうち、所定のフレーム間隔の先頭から所定のフレーム幅内のイベントデータを用いて、イベント画像を生成する。所定のフレーム間隔ごとに生成されるイベント画像は、画像記憶部５４に供給される。画像記憶部５４は、画像生成部５３から供給されるイベント画像を記憶する。
　画像データ処理部５５は、画像記憶部５４に記憶されているイベント画像を用いた所定の画像データ処理を実行する。例えば、画像データ処理部５５は、イベント画像内の火花２４の数、サイズ、速度、飛翔距離、および、飛翔角度を算出し、算出結果を砥石状態推定部５６に供給する。火花２４の数は、例えば、イベント画像内で検出された火花２４の個数を表す。火花２４のサイズは、例えば、イベント画像内で検出された火花２４の外形サイズ（縦サイズと横サイズ）を表す。火花２４の速度は、複数枚のイベント画像において検出される同一の火花２４の位置から算出される移動速度を表す。火花２４の飛翔距離は、火花２４が最初に検出された位置から、消滅する直前の位置までの距離を表す。火花２４の飛翔角度は、火花２４が最初に検出された位置を始点、消滅する直前の位置を終点とする方向と、鉛直下方向との間の角度を表す。
　情報処理装置１２は、イベント閾値の設定値によっては、火花２４だけでなく、クーラント液２３もイベントとして検出することができる。イベントデータとしてクーラント液２３も検出するような閾値設定の場合には、画像データ処理部５５は、イベント画像に基づいて、クーラント液２３の数、サイズ、および、速度も算出し、算出結果を砥石状態推定部５６に供給する。
　以下では、火花２４とクーラント液２３の数、サイズ、および、速度を区別するため、火花２４については、火花数、火花サイズ、火花速度と称し、クーラント液２３については、液滴数、液滴サイズ、液滴速度と称する場合がある。
　砥石状態推定部５６は、イベントデータ処理部５１または画像データ処理部５５から供給されるイベント処理データを用いて、砥石２２の状態を推定する。具体的には、砥石状態推定部５６は、イベントレート、火花数、火花サイズ、および火花速度のうちの少なくとも１つの特徴量を用いて、砥石２２に目詰まりが発生している状態か否かを判定する。
　例えば、砥石状態推定部５６は、火花サイズが、予め決定された第１の状態判定閾値VS1以下であるかどうかを判定し、火花サイズが第１の状態判定閾値VS1以下であると判定された場合、砥石２２に目詰まりが発生していると判定する。
　また例えば、砥石状態推定部５６は、火花数と火花サイズを、予め決定された状態判定閾値と比較する。具体的には、砥石状態推定部５６は、火花数が第１の状態判定閾値VS2以下であり、かつ、火花サイズが第２の状態判定閾値VS3以下であるかどうかを判定する。火花数が第１の状態判定閾値VS2以下であり、かつ、火花サイズが第２の状態判定閾値VS3以下であると判定された場合、砥石状態推定部５６は、砥石２２に目詰まりが発生していると判定する。
　砥石状態推定部５６は、砥石２２に目詰まりが発生していると判定された場合、「目詰まり発生。メンテナンスが必要です。」等のアラート画像を生成し、出力部５９を介して、ディスプレイ１３へ出力する。また、砥石状態推定部５６は、砥石２２の状態が正常状態であると判定されている場合には、表示用画像を所定のフレームレートで生成し、出力部５９を介して、ディスプレイ１３へ出力してもよい。
　さらに、砥石状態推定部５６は、イベントデータ処理部５１または画像データ処理部５５から供給されるイベント処理データに基づいて、EVSカメラ１１のイベント閾値を調整する機能も有している。例えば、砥石状態推定部５６は、イベントデータ処理部５１から供給されるイベントレートに基づいて、イベント閾値の増減をカメラ設定変更部５７へ指示する。カメラ設定変更部５７は、砥石状態推定部５６からのイベント閾値の増減の指示に基づいて、EVSカメラ１１のイベント閾値を変更する。
　特徴量記憶部５８は、砥石状態推定部５６がイベントデータ処理部５１または画像データ処理部５５から取得した特徴量を記憶する記憶部である。
　出力部５９は、砥石状態推定部５６から供給されるアラート画像をディスプレイ１３へ出力する。また、出力部５９は、イベント画像や表示用画像をディスプレイ１３へ出力してもよい。
　情報処理装置１２は、以上のように構成され、EVSカメラ１１から出力されてきたイベントデータに基づいて、砥石２２の状態を推定し、砥石２２の目詰まりの発生などを検出することができる。情報処理装置１２は、アラート画像をディスプレイ１３へ表示させることにより、作業者へメンテナンスを促すことができる。
　また、情報処理装置１２は、外部センサ１４を接続し、EVSカメラ１１から出力されてくるイベントデータに加えて、外部センサ１４で得られるセンサデータも用いて、砥石２２の状態を推定することもできる。外部センサ１４としては、例えば、研削中の音を検知するマイクロホンや、温度を測定する遠赤外線センサなどを採用することができる。勿論、外部センサ１４は、マイクロホン、遠赤外線センサ以外のセンサであってもよい。
　外部センサ１４が情報処理装置１２に接続された場合、外部センサ１４で生成されたセンサデータは、砥石状態推定部５６へ供給される。砥石状態推定部５６は、外部センサ１４から供給されるセンサデータと、イベントデータ処理部５１または画像データ処理部５５から供給されるイベント処理データとを用いて、砥石２２の状態を推定する。
＜４．計測パラメータと物理量との関係＞
　図６は、EVSカメラ１１（イベントセンサ）で測定可能なパラメータ（計測パラメータ）と、工作機械２１の研削加工に関する物理量との関係を説明する図である。
　図６では、EVSカメラ１１で計測可能な項目が、太線で囲んで示されている。
　工作機械２１のメンテナンスの要否を判定するための測定装置としては、例えば、図６の一番右側の列に記載されるような、表面粗さ計、RGBカメラ、熱電対、サーモグラフィ等が挙げられる。本実施の形態では、これらの測定装置の代わりに、EVSカメラ１１（イベントセンサ）が採用される。
　EVSカメラ１１は、イベントデータを生成して出力することができる。イベントデータには、火花２４のイベントデータとクーラント液２３のイベントデータとが含まれる。環境光や装置の振動に起因するイベントが検出される場合もある。環境光や装置の振動に起因するイベントはノイズに相当するので、イベント閾値を適切に設定することで除外することができる。
　火花２４のイベントデータでは、計測パラメータとして、火花数、火花サイズ、火花速度、および、火花破裂モードを測定することができる。火花破裂モードは、火花２４の破裂（割れ方）の特徴を示す分類である。加工物Wの材質によって火花破裂モードが異なる。火花破裂モードを検出することにより、加工物Wの材質を特定することができる。
　火花数は、砥粒脱落頻度や研削周速度、加工条件である送り速度に関係する。火花サイズは、砥石２２の砥粒の粒径、加工条件である送り速度や切込量に関係する。火花速度は、研削周速度に関係する。砥粒脱落頻度は、砥石２２の結合剤の結合度や気孔の気孔率に関係し、研削周速度は、加工条件である加工物Wの周速度、砥石２２の周速度に関係する。
　クーラント液２３のイベントデータでは、計測パラメータとして、液滴数、液滴サイズ、および、液滴速度を測定することができる。液滴数、液滴サイズ、および、液滴速度は、クーラント液２３の流量に関係する。
　工作機械２１の砥石２２のメンテナンスとして、特に砥石２２の目詰まりに着目すると、砥石２２の目詰まりは、火花２４のイベントデータで測定可能な火花サイズが大きく関連する。火花サイズは、物理量でいうと、砥粒の粒径に大きく関係する。
　図７は、図６において太線枠で示した、イベントデータに基づいて測定可能な計測パラメータと、それに関連する物理量との相関関係を示すテーブルである。
　図７では、テーブルの左側に示した物理量の値と、テーブルの上側に示した計測パラメータとの間に正の相関がある場合には、“＋”で表され、負の相関がある場合には、“－”で表され、正負以外の相関がある場合は、“〇”で表されている。
　例えば、砥石２２の砥粒の粒径と火花サイズは、砥粒が大きくなると、火花サイズも大きくなる相関関係を有する。結合剤の結合度と火花数は、結合度が高くなると、火花数が大きくなる相関関係を有する。気孔の気孔率と火花数および火花サイズとは、気孔率が高くなると、火花数および火花サイズが少なくなる相関関係を有する。
　例えば、クーラント液２３の流量と液滴数および液滴速度は、流量が大きくなると、液滴数および液滴速度も大きくなる相関関係を有する。
　図７に示されるような、イベントデータで測定可能な計測パラメータと、物理量との相関関係に従って、砥石状態推定部５６は、イベントデータのデータ処理結果から、物理量を推定し、メンテナンスのタイミングを判定することができる。
＜５．メンテナンスタイミング判定処理のフローチャート＞
　次に、図８のフローチャートを参照して、情報処理システム１によるメンテナンスタイミング判定処理について説明する。この処理は、例えば、EVSカメラ１１および情報処理装置１２が起動（電源オン）されたとき開始される。
　初めに、ステップＳ１１において、データ取得部５０は、EVSカメラ１１から任意のタイミングで出力されてくるイベントデータを取得し、イベントデータ処理部５１とイベントデータ記憶部５２に供給する。
　ステップＳ１２において、イベントデータ処理部５１は、データ取得部５０から供給されたイベントデータを用いた所定のイベントデータ処理を実行し、処理後のデータを砥石状態推定部５６に供給する。例えば、イベントデータ処理部５１は、イベントデータの発生頻度であるイベントレートを算出し、砥石状態推定部５６に供給する。
　ステップＳ１３において、イベントデータ記憶部５２は、データ取得部５０から供給されたイベントデータを一定期間記憶し、画像生成部５３に供給する。画像生成部５３は、イベントデータ記憶部５２に記憶されたイベントデータを用いて、イベント画像を生成し、画像記憶部５４に供給する。
　ステップＳ１４において、画像データ処理部５５は、画像記憶部５４に記憶されているイベント画像を用いた所定の画像データ処理を実行する。例えば、画像データ処理部５５は、イベント画像内の火花２４の数、サイズ、速度、飛翔距離、および、飛翔角度を算出し、算出結果を砥石状態推定部５６に供給する。
　ステップＳ１５において、砥石状態推定部５６は、イベントデータ処理部５１または画像データ処理部５５から供給されたイベント処理データを用いて、砥石２２の状態を推定する砥石状態推定処理を実行する。例えば、砥石状態推定部５６は、砥石状態推定処理として、火花サイズが第１の状態判定閾値VS1以下であるかどうかを判定する。あるいはまた、砥石状態推定部５６は、砥石状態推定処理として、火花数が第１の状態判定閾値VS2以下であり、かつ、火花サイズが第２の状態判定閾値VS3以下であるかどうかを判定する。
　ステップＳ１６において、砥石状態推定部５６は、砥石状態推定処理の結果に基づいて、砥石２２に目詰まりが発生しているか否かを判定する。
　ステップＳ１６で、砥石２２に目詰まりが発生していないと判定された場合、処理はステップＳ１１へ戻り、上述したステップＳ１１ないしＳ１６の処理が再度実行される。なお、砥石２２に目詰まりが発生していない正常状態の場合には、イベントデータに基づいて生成した表示用画像や、画像生成部５３で生成されたイベント画像などを、出力部５９を介してディスプレイ１３へ供給し、表示させてもよい。
　一方、ステップＳ１６で、砥石２２に目詰まりが発生していると判定された場合、処理はステップＳ１７へ進み、砥石状態推定部５６は、砥石２２の目詰まりのアラートを通知する。例えば、砥石状態推定部５６は、「目詰まり発生。メンテナンスが必要です。」等のアラート画像を生成し、出力部５９を介して、ディスプレイ１３へ出力する。ディスプレイ１３は、情報処理装置１２から供給されるアラート画像を表示する。
　情報処理システム１によるメンテナンスタイミング判定処理は、以上のように実行される。上記処理により、ディスプレイ１３に表示されたアラート画像を確認した作業者は、メンテナンスのタイミングであることを把握し、砥石２２のドレッシング等を行う。
＜学習モデルを用いた砥石状態推定処理＞
　上述した砥石状態推定処理では、火花２４の数、サイズ、速度、飛翔距離、および、飛翔角度や、クーラント液２３の数、サイズ、および、速度の少なくとも１つを特徴量として用いて、特徴量を、予め決定した所定の閾値と判定する閾値判定処理により、砥石２２の状態が推定された。
　その他、砥石２２の状態を推定する砥石状態推定処理として、機械学習を行うことにより生成した学習モデルを用いて、砥石２２の状態を推定し、メンテナンスのタイミングを判定してもよい。例えば、砥石状態推定部５６は、砥石２２に目詰まり等が発生し、メンテナンスが必要な砥石２２を用いた研削中に得られたイベントデータと、砥石２２が正常状態（メンテナンス不要の状態）のときの研削中に得られたイベントデータとを用いて、メンテナンスの要否を教師データとする機械学習により学習モデルを生成する。砥石状態推定部５６は、生成された学習モデルを用いて、入力されるイベントデータに基づき、砥石２２のメンテナンスの要否を推定する。あるいはまた、学習モデルを生成する際の教師データとして、イベントデータそのものではなく、火花２４の数、サイズ、速度、飛翔距離、および、飛翔角度等の特徴量を用いてもよい。学習モデルは、メンテナンスの要否だけでなく、目詰まり、目つぶれ、目こぼれ等の砥石２２の状態を判定できるように学習してもよい。
＜外部センサデータを用いた砥石状態推定処理＞
　また、情報処理装置１２に外部センサ１４が接続されている場合には、イベントデータのデータ処理結果に加えて、外部センサ１４で得られるセンサデータも用いて、砥石２２の状態を推定してもよい。イベントデータのデータ処理結果とセンサデータを用いた砥石状態推定処理は、閾値判定処理でもよいし、学習モデルを用いた判定処理でもよい。
＜６．閾値更新処理のフローチャート＞
　次に、図９のフローチャートを参照して、イベント閾値を動的に変更する閾値更新処理について説明する。この処理は、例えば、図８で説明したメンテナンスタイミング判定処理とともに開始され、メンテナンスタイミング判定処理と並行して実行される。
　初めに、ステップＳ３１において、砥石状態推定部５６は、イベントデータまたはイベント画像のデータ処理結果を取得する。このステップＳ３１の処理は、並行して実行される図８のメンテナンスタイミング判定処理に含まれるため、実質的には省略することができる。また、砥石状態推定部５６は、EVSカメラ１１から出力されてきたイベントデータそのものについても、イベントデータ処理部５１を介して取得してもよい。
　ステップＳ３２において、砥石状態推定部５６は、取得したデータ処理結果を用いて、クーラント液２３の影響度を算出する。例えば、砥石状態推定部５６は、イベントデータ処理部５１から供給されたイベントレートを用いる場合、火花２４が出ていない状態のイベントレートから、クーラント液２３の影響度を算出することができる。また例えば、イベント画像のデータ処理結果を用いる場合、砥石状態推定部５６は、火花数と液滴数との比率に基づいて、クーラント液２３の影響度を算出することができる。火花２４とクーラント液２３は、例えば、サイズによって分類することができる。
　ステップＳ３３において、砥石状態推定部５６は、イベント閾値を変更するか否かを判定する。例えば、砥石状態推定部５６は、現状、火花２４とクーラント液２３の両方がイベントとして検出されている状態から、火花２４のみを検出したい場合、イベント閾値を変更すると判定する。この場合、イベント閾値は現在の値から上げる方向に調整される。あるいはまた、現状、火花２４のみが検出されている状態から、火花２４とクーラント液２３の両方を検出するようにしたい場合、イベント閾値を変更すると判定する。この場合、イベント閾値は現在の値から下げる方向に調整される。
　ステップＳ３３で、イベント閾値を変更しないと判定された場合、処理はステップＳ３１に戻り、上述したステップＳ３１ないしＳ３３の処理が再度実行される。
　一方、ステップＳ３３で、イベント閾値を変更すると判定された場合、処理はステップＳ３４に進み、砥石状態推定部５６は、イベント閾値の増減をカメラ設定変更部５７へ指示する。カメラ設定変更部５７は、新たなイベント閾値をEVSカメラ１１へ供給することにより、新たなイベント閾値を設定する。新たなイベント閾値は、例えば、指示された増減方向へ予め決定された変更幅で変更した値とされる。
　以上の閾値更新処理によれば、砥石状態推定処理と並行して、イベントの検出状況に基づいてイベント閾値を調整することができる。火花２４とクーラント液２３の両方をイベントとして検出するか、または、火花２４のみをイベントとして検出するかは、例えば、動作モードの設定により、予め情報処理装置１２に指定しておくことができる。
＜７．情報処理システムの第２実施の形態＞
　次に、本技術を適用した情報処理システムの第２実施の形態について説明する。
　図１に示した情報処理システムの第１実施の形態では、EVSカメラ１１が火花２４等の輝度変化をイベントとして検出し、イベントデータを情報処理装置１２へ出力し、情報処理装置１２が、イベントデータを用いて砥石２２の状態を推定する処理を実行した。
　これに対して、以下で説明する第２実施の形態の情報処理システム１では、イベントデータを用いて砥石２２の状態を推定する処理も、EVSカメラ内で行われる。換言すれば、第１実施の形態におけるEVSカメラ１１と情報処理装置１２が、図１０に示す１台のEVSカメラ３００に置き換えられる。
＜EVSカメラの構成例＞
　図１０に示されるEVSカメラ３００は、イベントセンサと、第１実施の形態における情報処理装置１２の機能を実行する処理部とを備える撮像装置である。EVSカメラ３００は、図１のEVSカメラ１１と同一位置に設置され、火花２４やクーラント液２３の輝度変化をイベントとして検出し、イベントデータを生成する。また、EVSカメラ３００は、イベントデータに基づいて、砥石２２の状態を推定する砥石状態推定処理を実行し、砥石状態推定処理の結果に基づいて、メンテナンスアラートを出力する。例えば、メンテナンスが必要と判定された場合、EVSカメラ３００は、「目詰まり発生。メンテナンスが必要です。」等のアラート画像をディスプレイ１３に表示させる。さらに、EVSカメラ３００は、イベントデータに基づいて、作業者がモニタリングするための表示用画像を生成し、ディスプレイ１３に表示させることもできる。
　EVSカメラ３００は、光学部３１１、撮像素子３１２、制御部３１３，および、データ処理部３１４を備える。
　光学部３１１は、被写体からの光を集光して撮像素子３１２に入射させる。撮像素子３１２は、光学部３１１を介して入射される入射光を光電変換してイベントデータを生成し、データ処理部３１４に供給する。撮像素子３１２は、画素の輝度変化をイベントとして、イベントの発生を表すイベントデータを出力する受光素子である。
　制御部３１３は、撮像素子３１２を制御する。例えば、制御部３１３は、撮像素子３１２に対して、撮像の開始および終了を指示する。
　データ処理部３１４は、例えば、FPGA（FieldProgrammableGateArray）、DSP（DigitalSignalProcessor）、マイクロプロセッサ等により構成され、第１の実施の形態において情報処理装置１２が行う処理を実行する。データ処理部３１４は、イベントデータ処理部３２１と記録部３２２とを備える。例えば、イベントデータ処理部３２１は、撮像素子３１２から供給されるイベントデータを用いたイベントデータ処理、イベント画像を用いた画像データ処理、砥石２２の状態を推定する砥石状態推定処理等を行う。記録部３２２は、第１の実施の形態におけるイベントデータ記憶部５２、画像記憶部５４，および、特徴量記憶部５８に相当し、所定のデータを必要に応じて所定の記録媒体に記録して蓄積する。
＜撮像素子の構成例＞
　図１１は、撮像素子３１２の概略構成例を示すブロック図である。
　撮像素子３１２は、画素アレイ部３４１、駆動部３４２、Yアービタ３４３、Xアービタ３４４、及び、出力部３４５を備える。
　画素アレイ部３４１には、複数の画素３６１が二次元格子状に配列されている。各画素３６１は、光電変換素子としてのフォトダイオード３７１と、アドレスイベント検出回路３７２とを備える。アドレスイベント検出回路３７２は、フォトダイオード３７１の光電変換によって生成される電気信号としての光電流に所定の閾値を超える変化が発生した場合に、その光電流の変化をイベントとして検出する。イベントが検出された場合、アドレスイベント検出回路３７２は、イベントの発生を表すイベントデータの出力を要求するリクエストをYアービタ３４３およびXアービタ３４４に出力する。
　駆動部３４２は、画素アレイ部３４１の各画素３６１に制御信号を供給することにより、画素アレイ部３４１を駆動する。
　Yアービタ３４３は、画素アレイ部３４１内の同一行の画素３６１からのリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を、リクエストを送信してきた画素３６１に返す。Xアービタ３４４は、画素アレイ部３４１内の同一列の画素３６１からのリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を、リクエストを送信してきた画素３６１に返す。Yアービタ３４３とXアービタ３４４の両方から許可の応答が返信された画素３６１が、イベントデータを出力部３４５に出力することができる。
　なお、撮像素子３１２は、Yアービタ３４３とXアービタ３４４のいずれか一方のみを備える構成としてもよい。例えば、Xアービタ３４４のみで構成される場合、リクエストを送信してきた画素３６１を含む同一列の全ての画素３６１のデータが出力部３４５へ転送される。そして、出力部３４５または後段のデータ処理部３１４（図１０）において、実際にイベントを発した画素３６１のイベントデータのみが選択される。Yアービタ３４３のみで構成される場合には、行単位で画素データが出力部３４５へ転送され、後段で必要な画素３６１のイベントデータのみが選択される。
　出力部３４５は、画素アレイ部３４１を構成する各画素３６１が出力するイベントデータに必要な処理を施し、データ処理部３１４（図１０）に供給する。
＜アドレスイベント検出回路の構成例＞
　図１２は、アドレスイベント検出回路３７２の構成例を示すブロック図である。
　アドレスイベント検出回路３７２は、電流電圧変換回路３８１、バッファ３８２、減算器３８３、量子化器３８４、および、転送回路３８５を備える。
　電流電圧変換回路３８１は、対応するフォトダイオード３７１からの光電流を電圧信号に変換する。電流電圧変換回路３８１は、光電流の対数値に応じた電圧信号を生成し、バッファ３８２に出力する。
　バッファ３８２は、電流電圧変換回路３８１からの電圧信号をバッファリングし、減算器３８３に出力する。このバッファ３８２により、後段のスイッチング動作に伴うノイズのアイソレーションを確保するとともに、後段を駆動する駆動力を向上させることができる。なお、このバッファ３８２は、省略することもできる。
　減算器３８３は、駆動部３４２からの制御信号に従ってバッファ３８２からの電圧信号のレベルを低下させる。減算器３８３は、低下後の電圧信号を量子化器３８４に出力する。
　量子化器３８４は、減算器３８３からの電圧信号をデジタル信号に量子化し、イベントデータとして転送回路３８５に供給する。転送回路３８５は、イベントデータを、出力部３４５に転送（出力）する。すなわち、転送回路３８５は、イベントデータの出力を要求するリクエストを、Yアービタ３４３およびXアービタ３４４に供給する。そして、転送回路３８５は、リクエストに対して、イベントデータの出力を許可する旨の応答をYアービタ３４３およびXアービタ３４４から受け取ると、イベントデータを出力部３４５に転送する。
＜アドレスイベント検出回路の詳細構成例＞
　図１３は、電流電圧変換回路３８１、減算器３８３、および、量子化器３８４の詳細構成を示す回路である。図１３では、電流電圧変換回路３８１と接続されているフォトダイオード３７１も示されている。
　電流電圧変換回路３８１は、FET４１１乃至４１３で構成される。FET４１１及び４１３としては、例えば、N型のMOS(NMOS) FETを採用することができ、FET４１２としては、例えば、P型のMOS(PMOS) FETを採用することができる。
　フォトダイオード３７１は、入射する光を受光し、光電変換を行って、電気信号としての光電流を生成して流す。電流電圧変換回路３８１はフォトダイオード３７１からの光電流を、その光電流の対数に対応する電圧（以下、光電圧ともいう）VLOGに変換して、バッファ３８２に出力する。
　FET４１１のソースは、FET４１３のゲートと接続され、FET４１１のソースとFET４１３のゲートとの接続点には、フォトダイオード３７１による光電流が流れる。FET４１１のドレインは、電源VDDに接続され、そのゲートは、FET４１３のドレインに接続される。
　FET４１２のソースは、電源VDDに接続され、そのドレインは、FET４１１のゲートとFET４１３のドレインとの接続点に接続される。FET４１２のゲートには、所定のバイアス電圧Vbiasが印加される。FET４１３のソースは接地される。
　FET４１１のドレインは電源VDD側に接続されており、ソースフォロアになっている。ソースフォロアになっているFET４１１のソースには、フォトダイオード３７１が接続され、これにより、FET４１１（のドレインからソース）には、フォトダイオード３７１の光電変換により生成される電荷による光電流が流れる。FET４１１は、サブスレッショルド領域で動作し、FET４１１のゲートには、そのFET４１１に流れる光電流の対数に対応する光電圧VLOGが現れる。以上のように、フォトダイオード３７１では、FET４１１により、フォトダイオード３７１からの光電流が、その光電流の対数に対応する光電圧VLOGに変換される。
　光電圧VLOGは、FET４１１のゲートとFET４１３のドレインとの接続点から、バッファ３８２を介して、減算器３８３に出力される。
　減算器３８３は、電流電圧変換回路３８１からの光電圧VLOGについて、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号Vdiffを出力する。
　減算器３８３は、コンデンサ４３１、オペアンプ４３２、コンデンサ４３３、及び、スイッチ４３４を備える。量子化器３８４は、コンパレータ４５１および４５２を備える。
　コンデンサ４３１の一端は、バッファ３８２の出力に接続され、他端は、オペアンプ４３２の入力端子に接続される。したがって、オペアンプ４３２の（反転）入力端子には、コンデンサ４３１を介して光電圧VLOGが入力される。
　オペアンプ４３２の出力端子は、量子化器３８４のコンパレータ４５１および４５２の非反転入力端子（＋）に接続される。
　コンデンサ４３３の一端は、オペアンプ４３２の入力端子に接続され、他端は、オペアンプ４３２の出力端子に接続される。
　スイッチ４３４は、コンデンサ４３３の両端の接続をオン／オフするように、コンデンサ４３３に接続される。スイッチ４３４は、駆動部３４２の制御信号に従ってオン／オフすることにより、コンデンサ４３３の両端の接続をオン／オフする。
　コンデンサ４３３及びスイッチ４３４は、スイッチドキャパシタを構成する。オフになっているスイッチ４３４が一時的にオンにされ、再び、オフにされることにより、コンデンサ４３３は、電荷が放電され、新たに電荷を蓄積することができる状態にリセットされる。
　スイッチ４３４をオンした際のコンデンサ４３１の、フォトダイオード３７１側の光電圧VLOGをVinitと表すとともに、コンデンサ４３１の容量（静電容量）をC1と表すこととする。オペアンプ４３２の入力端子は、仮想接地になっており、スイッチ４３４がオンである場合にコンデンサ４３１に蓄積される電荷Qinitは、式（１）により表される。
　Qinit = C1 ×Vinit　　　　　　　　　　　　　　・・・（１）
　また、スイッチ４３４がオンである場合には、コンデンサ４３３の両端は短絡されるため、コンデンサ４３３に蓄積される電荷はゼロとなる。
　その後、スイッチ４３４がオフになった場合の、コンデンサ４３１の、フォトダイオード３７１側の光電圧VLOGを、Vafterと表すこととすると、スイッチ４３４がオフになった場合にコンデンサ４３１に蓄積される電荷Qafterは、式（２）により表される。
　Qafter = C1×Vafter　　　　　　　　　　　　　　・・・（２）
　コンデンサ４３３の容量をC2と表すこととすると、コンデンサ４３３に蓄積される電荷Q2は、オペアンプ４３２の出力電圧である差信号Vdiffを用いて、式（３）により表される。
　Q2 = -C2×Vdiff　　　　　　　　　　　　　　　　・・・（３）
　スイッチ４３４がオフする前後で、コンデンサ４３１の電荷とコンデンサ４３３の電荷とを合わせた総電荷量は変化しないため、式（４）が成立する。
　Qinit = Qafter + Q2　　　　　　　　　　　　　　・・・（４）
　式（４）に式（１）ないし式（３）を代入すると、式（５）が得られる。
　Vdiff = -(C1/C2)×(Vafter - Vinit) 　　　　　　　　　　・・・（５）
　式（５）によれば、減算器３８３では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差(Vafter - Vinit)に対応する差信号Vdiffの算出が行われる。式（５）によれば、減算器３８３の減算のゲインはC1/C2となる。したがって、減算器３８３は、コンデンサ４３３のリセット後の光電圧VLOGの変化をC1/C2倍した電圧を、差信号Vdiffとして出力する。
　減算器３８３は、駆動部３４２が出力する制御信号によりスイッチ４３４がオンオフされることにより、差信号Vdiffを出力する。
　減算器３８３から出力される差信号Vdiffは、量子化器３８４のコンパレータ４５１および４５２の非反転入力端子（＋）に供給される。
　コンパレータ４５１は、減算器３８３からの差信号Vdiffと、反転入力端子（－）に入力される＋側閾値Vrefpとを比較する。コンパレータ４５１は、＋側閾値Vrefpを超えたか否かを示す、H(High)レベル又はL(Low)レベルの検出信号DET(＋)を、差信号Vdiffの量子化値として転送回路３８５へ出力する。
　コンパレータ４５２は、減算器３８３からの差信号Vdiffと、反転入力端子（－）に入力される－側閾値Vrefnとを比較する。コンパレータ４５２は、－側閾値Vrefnを超えたか否かを示す、H(High)レベル又はL(Low)レベルの検出信号DET(-)を、差信号Vdiffの量子化値として転送回路３８５へ出力する。
　図１４は、図１３に示した電流電圧変換回路３８１、バッファ３８２、減算器３８３、および、量子化器３８４の、より詳細な回路構成例を示している。
　図１５は、量子化器３８４のその他の構成例を示す回路図である。
　図１４に示した量子化器３８４は、減算器３８３からの差信号Vdiffを、常時、＋側閾値（電圧）Vrefpと－側閾値（電圧）Vrefnの両方と比較し、比較結果を出力した。
　これに対して、図１５の量子化器３８４は、１つのコンパレータ４５３と、スイッチ４５４とを備え、スイッチ４５４で切り替えられる２つの閾値（電圧）VthONまたはVthOFFのどちらかと比較した比較結果を出力する。
　スイッチ４５４は、コンパレータ４５３の反転入力端子（－）に接続されており、駆動部３４２からの制御信号に応じて、端子ａまたはｂを選択する。端子ａには、閾値としての電圧VthONが供給され、端子ｂには、閾値としての電圧VthOFF (<VthON)が供給される。したがって、コンパレータ４５３の反転入力端子には、電圧VthONまたはVthOFFが供給される。
　コンパレータ４５３は、減算器３８３からの差信号Vdiffと、電圧VthONまたはVthOFFとを比較し、その比較結果を表すHレベル又はLレベルの検出信号DETを、差信号Vdiffの量子化値として転送回路３８５へ出力する。
　図１６は、図１５に示した量子化器３８４を採用した場合の電流電圧変換回路３８１、バッファ３８２、減算器３８３、および、量子化器３８４の、より詳細な回路構成例を示している。
　図１６の回路構成では、スイッチ４５４の端子として、電圧VthONおよび電圧VthOFF以外に、初期化(AutoZero)する際の端子VAZも追加されている。減算器３８３においてN型のMOS(NMOS) FET で構成されるFET４７１のゲートにH(High)レベルの初期化信号AZが供給されるタイミングで、量子化器３８４のスイッチ４５４は端子VAZを選択し、初期化動作を実行する。その後、スイッチ４５４は、駆動部３４２からの制御信号に基づいて、電圧VthONまたは電圧VthOFFの端子を選択し、選択された閾値との比較結果を表す検出信号DETが、量子化器３８４から転送回路３８５へ出力される。
　第２実施の形態におけるメンテナンスタイミング判定処理および閾値更新処理は、情報処理装置１２が実行するのではなく、EVSカメラ３００自身が実行する点を除いて、上述した第１実施の形態と同様である。これにより、研削中に発生する火花２４やクーラント液２３をイベントとして検出し、メンテナンスのタイミングを的確に通知することができる。
＜８．まとめ＞
　以上説明した情報処理システム１の各実施の形態によれば、火花２４等の輝度変化をイベントとして検出して非同期に出力するイベントセンサ（EVSカメラ１１またはEVSカメラ３００）を用いることにより、より簡単にメンテナンスのタイミングを判定することができる。また、イベントの検出状況に応じて、イベント閾値を動的に変更することができる。
　上述した実施の形態では、工作機械２１が研削盤である例を説明したが、工作機械２１は、切削、研削、切断、鍛造、折り曲げ等の任意の加工を施す機械であってよい。
＜９．コンピュータ構成例＞
　上述した情報処理装置１２が実行する一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１７は、上述した一連の処理をプログラムにより実行する情報処理装置としてのコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部５０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部５０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した複数の実施の形態の全てまたは一部を適宜組み合わせた形態を採用することができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　光信号を光電変換した電気信号の時間的変化をイベントデータとして出力するイベントセンサからの前記イベントデータを用いて砥石の状態を推定し、推定結果を出力する状態推定部
　を備える情報処理装置。
（２）
　前記状態推定部は、前記砥石と工作物とで発生する火花を捉えた前記イベントデータを用いて前記砥石の状態を推定し、推定結果を出力する
　前記（１）に記載の情報処理装置。
（３）
　前記状態推定部は、前記イベントデータの特徴量に基づいて前記砥石の状態を推定し、推定結果を出力する
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記イベントデータの特徴量は、イベントレートである
　前記（３）に記載の情報処理装置。
（５）
　前記イベントデータからイベント画像を生成する画像生成部をさらに備え、
　前記イベントデータの特徴量は、前記イベント画像から検出される特徴量である
　前記（３）に記載の情報処理装置。
（６）
　前記イベントデータの特徴量は、火花の数、サイズ、速度、飛翔距離、および、飛翔角度の少なくとも１つを含む
　前記（５）に記載の情報処理装置。
（７）
　前記イベントデータの特徴量は、クーラント液の数、サイズ、および、速度の少なくとも１つを含む
　前記（５）または（６）に記載の情報処理装置。
（８）
　前記状態推定部は、前記推定結果に基づいて、アラートを出力する
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記状態推定部は、前記砥石の状態を推定する推定処理と並行して、前記イベントデータに基づいてイベント閾値を調整する
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記状態推定部は、前記イベントデータを用いて機械学習により生成した学習モデルを用いて前記砥石の状態を推定し、推定結果を出力する
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記状態推定部は、外部センサで取得されたセンサデータと、前記イベントデータとを用いて前記砥石の状態を推定し、推定結果を出力する
　前記（１）乃至（１０）のいずれかに記載の情報処理装置。
１：情報処理システム，１１：EVSカメラ，１２：情報処理装置，１３：ディスプレイ，１４：外部センサ，２１：工作機械，２２：砥石，２３：クーラント液，２４：火花，５０：データ取得部，５１：イベントデータ処理部，５２：イベントデータ記憶部，５３：画像生成部，５４：画像記憶部，５５：画像データ処理部，５６：砥石状態推定部，５７：カメラ設定変更部，５８：特徴量記憶部，５９：出力部，３００：EVSカメラ，３１１：光学部，３１２：撮像素子，３１３：制御部，３１４：データ処理部，３２１：イベントデータ処理部，３２２：記録部，５０１：CPU，５０２：ROM，５０３：RAM，５０８：記憶部

Claims (11)

  1. 　光信号を光電変換した電気信号の時間的変化をイベントデータとして出力するイベントセンサからの前記イベントデータを用いて砥石の状態を推定し、推定結果を出力する状態推定部
    　を備える情報処理装置。
  2. 　前記状態推定部は、前記砥石と工作物とで発生する火花を捉えた前記イベントデータを用いて前記砥石の状態を推定し、推定結果を出力する
    　請求項１に記載の情報処理装置。
  3. 　前記状態推定部は、前記イベントデータの特徴量に基づいて前記砥石の状態を推定し、推定結果を出力する
    　請求項１に記載の情報処理装置。
  4. 　前記イベントデータの特徴量は、イベントレートである
    　請求項３に記載の情報処理装置。
  5. 　前記イベントデータからイベント画像を生成する画像生成部をさらに備え、
    　前記イベントデータの特徴量は、前記イベント画像から検出される特徴量である
    　請求項３に記載の情報処理装置。
  6. 　前記イベントデータの特徴量は、火花の数、サイズ、速度、飛翔距離、および、飛翔角度の少なくとも１つを含む
    　請求項５に記載の情報処理装置。
  7. 　前記イベントデータの特徴量は、クーラント液の数、サイズ、および、速度の少なくとも１つを含む
    　請求項５に記載の情報処理装置。
  8. 　前記状態推定部は、前記推定結果に基づいて、アラートを出力する
    　請求項１に記載の情報処理装置。
  9. 　前記状態推定部は、前記砥石の状態を推定する推定処理と並行して、前記イベントデータに基づいてイベント閾値を調整する
    　請求項１に記載の情報処理装置。
  10. 　前記状態推定部は、前記イベントデータを用いて機械学習により生成した学習モデルを用いて前記砥石の状態を推定し、推定結果を出力する
    　請求項１に記載の情報処理装置。
  11. 　前記状態推定部は、外部センサで取得されたセンサデータと、前記イベントデータとを用いて前記砥石の状態を推定し、推定結果を出力する
    　請求項１に記載の情報処理装置。
PCT/JP2022/000819 2021-02-26 2022-01-13 情報処理装置 WO2022181098A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112022001268.4T DE112022001268T5 (de) 2021-02-26 2022-01-13 Informationsverarbeitungsvorrichtung
US18/546,983 US20240139907A1 (en) 2021-02-26 2022-01-13 Information processing apparatus
JP2023502154A JPWO2022181098A1 (ja) 2021-02-26 2022-01-13
KR1020237027354A KR20230148154A (ko) 2021-02-26 2022-01-13 정보 처리 장치
CN202280015962.7A CN116867607A (zh) 2021-02-26 2022-01-13 信息处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021030435 2021-02-26
JP2021-030435 2021-02-26

Publications (1)

Publication Number Publication Date
WO2022181098A1 true WO2022181098A1 (ja) 2022-09-01

Family

ID=83048811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000819 WO2022181098A1 (ja) 2021-02-26 2022-01-13 情報処理装置

Country Status (6)

Country Link
US (1) US20240139907A1 (ja)
JP (1) JPWO2022181098A1 (ja)
KR (1) KR20230148154A (ja)
CN (1) CN116867607A (ja)
DE (1) DE112022001268T5 (ja)
WO (1) WO2022181098A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7355128B2 (ja) 2021-03-04 2023-10-03 Ｊｆｅスチール株式会社 被研削材の表面状態判定方法、被研削材の表面状態判定装置、研削装置、被研削材の研削方法及び金属材の製造方法
EP4346222A1 (de) * 2022-09-27 2024-04-03 Sick Ag Kamera und verfahren zur erkennung von blitzen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07164318A (ja) * 1993-12-14 1995-06-27 Nippon Steel Corp ベルト研削方法
JPH08323617A (ja) * 1995-05-25 1996-12-10 Hitachi Ltd 研削作業状態検出装置
JP2019042857A (ja) * 2017-08-31 2019-03-22 三菱重工工作機械株式会社 研削盤
WO2020170861A1 (ja) * 2019-02-21 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 イベント信号検出センサ及び制御方法
WO2020195770A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 状態検出装置、状態検出システム及び状態検出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7172636B2 (ja) 2019-01-18 2022-11-16 株式会社ジェイテクト 工作機械のメンテナンス支援装置および工作機械システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07164318A (ja) * 1993-12-14 1995-06-27 Nippon Steel Corp ベルト研削方法
JPH08323617A (ja) * 1995-05-25 1996-12-10 Hitachi Ltd 研削作業状態検出装置
JP2019042857A (ja) * 2017-08-31 2019-03-22 三菱重工工作機械株式会社 研削盤
WO2020170861A1 (ja) * 2019-02-21 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 イベント信号検出センサ及び制御方法
WO2020195770A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 状態検出装置、状態検出システム及び状態検出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7355128B2 (ja) 2021-03-04 2023-10-03 Ｊｆｅスチール株式会社 被研削材の表面状態判定方法、被研削材の表面状態判定装置、研削装置、被研削材の研削方法及び金属材の製造方法
EP4346222A1 (de) * 2022-09-27 2024-04-03 Sick Ag Kamera und verfahren zur erkennung von blitzen

Also Published As

Publication number Publication date
JPWO2022181098A1 (ja) 2022-09-01
DE112022001268T5 (de) 2023-12-21
US20240139907A1 (en) 2024-05-02
CN116867607A (zh) 2023-10-10
KR20230148154A (ko) 2023-10-24

Similar Documents

Publication Publication Date Title
WO2022181098A1 (ja) 情報処理装置
EP3563563B1 (en) Data rate control for event-based vision sensor
US10122944B2 (en) Low power and small form factor infrared imaging
CN108462844A (zh) 用于像素合并和读出的方法和装置
WO2006078861A2 (en) Method, system and apparatus for a time stamped visual motion sensor
US8538140B2 (en) Device and method for detecting whether an image is blurred
US20140092258A1 (en) Line based image processing and flexible memory system
US20140092257A1 (en) Non-uniformity correction techniques for infrared imaging devices
KR20170090347A (ko) 이미지 형성에 관한 동적 비전 센서의 이벤트 샘플링을 위한 장치 및 방법
EP2898669A1 (en) Pixel-wise noise reduction in thermal images
US7834919B2 (en) Imaging apparatus, imaging signal processing method, and program for fluctuation elimination in an image
US9165352B2 (en) Precipitation removal for vision-based parking management systems
US20210185258A1 (en) Dynamic vision sensor system
US20240107194A1 (en) Delay Equalization in Event-Based Vision Sensors
WO2022065076A1 (ja) 情報処理装置および情報処理システム
JP2004304375A (ja) 撮像装置
WO2023093986A1 (en) A monolithic image sensor, a camera module, an electronic device and a method for operating a camera module
CN117241139A (zh) 基于智能摄像机电源的功耗降低方法及系统
JP2022067623A (ja) 光電変換素子、光電変換素子の制御方法、および情報処理装置。
Zhang et al. Novel time-stamped pixel structure for high-speed 2D CMOS visual motion sensor
JP2004350153A (ja) 撮像装置
CN104103256A (zh) 电子装置与图像显示参数调整方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759141

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023502154

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18546983

Country of ref document: US

Ref document number: 202280015962.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112022001268

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22759141

Country of ref document: EP

Kind code of ref document: A1