WO2023105546A1 - 監視システム、監視方法およびプログラム記録媒体 - Google Patents

監視システム、監視方法およびプログラム記録媒体 Download PDF

Info

Publication number
WO2023105546A1
WO2023105546A1 PCT/JP2021/044621 JP2021044621W WO2023105546A1 WO 2023105546 A1 WO2023105546 A1 WO 2023105546A1 JP 2021044621 W JP2021044621 W JP 2021044621W WO 2023105546 A1 WO2023105546 A1 WO 2023105546A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring
monitoring target
abnormality
sound
detection
Prior art date
Application number
PCT/JP2021/044621
Other languages
English (en)
French (fr)
Inventor
知也 相馬
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/044621 priority Critical patent/WO2023105546A1/ja
Publication of WO2023105546A1 publication Critical patent/WO2023105546A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass

Definitions

  • the present invention relates to monitoring systems and the like.
  • the abnormality determination device of Patent Document 1 detects an abnormality of the device using the sound emitted by the device.
  • the abnormality determination device of Patent Literature 1 obtains a plurality of data, and uses the data of the minimum sound emitted by the device to detect an abnormal sound emitted by the device to be monitored.
  • the purpose is to provide a monitoring system, etc. that can easily detect anomalies in monitored objects.
  • the monitoring system of the present invention includes acquisition means for acquiring the sound emitted by the monitoring target, and a detection model for detecting an abnormality in the monitoring target based on the relationship between the frequencies of the sound emitted by the monitoring target, A detecting means for inputting the sound emitted by the monitored object acquired by the acquiring means and detecting an abnormality in the monitored object, and an output means for outputting the detection result.
  • a monitoring method of the present invention acquires a sound emitted by a monitoring target, inputs the acquired sound emitted by the monitoring target into a detection model for detecting an abnormality in the monitoring target based on a relationship between frequencies of the sound emitted by the monitoring target, Detects anomalies in monitored objects and outputs the detection results.
  • a process of acquiring a sound emitted by a monitoring target and a detection model for detecting an abnormality in the monitoring target based on the relationship between the frequencies of the sound emitted by the monitoring target and the acquired sound emitted by the monitoring target are added to the detection model.
  • a monitoring program is recorded that causes a computer to execute a process of inputting, detecting an abnormality to be monitored, and a process of outputting the detection result.
  • anomalies in monitored objects can be easily detected.
  • FIG. 1 is a diagram showing an overview of the configuration of a first embodiment of the present invention
  • FIG. BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the example of a structure of the monitoring system of the 1st Embodiment of this invention. It is a figure which shows the example of the display screen of the 1st Embodiment of this invention. It is a figure which shows the example of the display screen of the 1st Embodiment of this invention. It is a figure which shows the installation example of the sound collector in the 1st Embodiment of this invention. It is a figure which shows the installation example of the sound collector in the 1st Embodiment of this invention.
  • FIG. 1 is a diagram showing an overview of the configuration of the abnormality monitoring system of this embodiment.
  • the abnormality monitoring system includes a monitoring system 10 , a sound collector 20 and a terminal device 30 .
  • the monitoring system 10 and the sound collector 20 are connected via a network.
  • the monitoring system 10 and the terminal device 30 are connected via a network.
  • the number of sound collectors 20 and terminal devices 30 can be set as appropriate.
  • the anomaly monitoring system of this embodiment is a system that collects sounds emitted by a monitoring target and uses a detection model to detect anomalies in the monitoring target from the collected sounds.
  • the collected sound is not limited to the sound emitted by the monitoring target, and may include the surrounding sounds of the monitoring target.
  • Ambient sounds of the monitored object are sounds emitted by persons other than the monitored object in the place where the monitored object exists.
  • Surrounding sounds of the monitored object include, for example, human traffic sounds, vehicle traffic sounds, sounds caused by natural phenomena, sounds emitted by other devices, door opening/closing sounds, sounds generated by work, or other sounds generated around the monitored object. It is a sound that can be
  • the surrounding sounds of the monitoring target are not limited to the above examples.
  • the surrounding sounds of the monitored object are also called environmental sounds.
  • the monitoring system 10 detects abnormalities in the monitored object using a detection model that has learned sounds collected when the monitored object is operating in a normal state.
  • a normal state means a state in which the monitored object is operating normally.
  • Operating normally means a state in which the monitored object performs stable operation or output according to the application. In other words, operating normally means, for example, a state in which the device does not need to be stopped or adjusted.
  • Abnormal means, for example, a state in which the device needs to be stopped or adjusted.
  • the monitoring system decomposes the sound emitted by the monitored object collected in the normal state into sounds of each frequency, and generates a detection model by learning the invariant relationship between frequencies.
  • the sound intensity balance between frequencies is within a certain range, and there can be an invariable relationship in the sound intensity relationship between frequencies.
  • the monitoring system 10 detects the presence or absence of an abnormality in the monitoring target using a detection model generated by learning the relationship between the frequencies of the sounds emitted by the monitoring target.
  • FIG. 2 is a diagram showing an example of the configuration of the monitoring system 10. As shown in FIG.
  • the monitoring system 10 includes an acquisition unit 11 , a detection unit 12 , a detection model generation unit 13 , an output unit 14 and a storage unit 15 .
  • the acquisition unit 11 acquires the sound emitted by the monitoring target.
  • the acquisition unit 11 may acquire, as the sound emitted by the monitoring target, sound data of the sound emitted by the monitoring target and surrounding sounds collected at the location where the monitoring target is present.
  • the acquisition unit 11 acquires, for example, data of sounds emitted by the monitoring target collected by the sound collection device 20 from the sound collection device 20 .
  • the acquisition unit 11 acquires, for example, data of sounds emitted by the monitoring target collected by the sound collector 20 in real time. Further, the acquiring unit 11 may acquire the data of the sound emitted by the monitoring target recorded by the sound collecting device 20 as time-series data at regular time intervals.
  • the acquisition unit 11 acquires time-series data of sounds emitted by the monitoring target in the normal state from the sound collection device 20 .
  • the acquisition unit 11 may acquire the data of the sound emitted by the monitoring target by reading the data from the recording medium.
  • the acquisition unit 11 stores the acquired data of the sound emitted by the monitoring target in the storage unit 15 .
  • the acquisition unit 11 receives, from the terminal device 30, the selection result of the detection model input to the terminal device 30 by the operator's operation. get.
  • the detection unit 12 inputs the sound emitted by the monitoring target acquired by the acquisition unit 11 into a detection model for detecting an abnormality in the monitoring target based on the relationship between the frequencies of the sounds emitted by the monitoring target, and detects an abnormality in the monitoring target. do.
  • the detection model is a learning model that has learned the relationship between the frequencies of sounds emitted by the monitored object acquired when the monitored object is in the normal state.
  • the detection unit 12 uses the detection model to detect an abnormality in the ventilation fan from the collected operating sound of the ventilation fan along with ambient sounds. Details of the detection model will be described later.
  • the detection unit 12 may detect an abnormality in a monitoring target from sounds collected while the monitoring target is in operation, using a detection model generated for each monitoring target. Moreover, when there are a plurality of monitoring targets, the detection unit 12 may detect an abnormality in the monitoring targets using a detection model generated for each number of operating monitoring targets. Moreover, when the monitoring target has a plurality of operating modes, the detection unit 12 may detect an abnormality in the monitoring target using a detection model generated for each operating mode.
  • the detection unit 12 decomposes the sound data emitted by the monitoring target acquired by the acquisition unit 11 into sound data of each frequency.
  • the detection model generation unit 13 decomposes the monitoring target sound intensity data into sound intensity data for each frequency by, for example, FFT (Fast Fourier Transform).
  • FFT Fast Fourier Transform
  • the data of the strength of the sound emitted by the monitoring target may be obtained by the obtaining unit 11 as data of the strength of the sound of each frequency.
  • the detection unit 12 does not need to decompose the sound intensity of each frequency.
  • the detection model calculates, as an anomaly score, an index indicating an anomaly in the balance between the sound of each frequency and the sounds of other frequencies.
  • the detection model calculates, for example, the sum of the anomaly scores calculated for each frequency as the anomaly score to be monitored.
  • the anomaly score is an index that indicates the difference between the acquired sound frequency balance and the sound frequency balance in the normal state.
  • the abnormality score is set, for example, so that the value increases when the balance between frequencies is disturbed from the normal state.
  • the detection unit 12 detects that an abnormality has occurred in the monitoring target.
  • the detection unit 12 may detect an abnormality in the monitoring target based on a criterion according to the number of operating monitoring targets. For example, when there are a plurality of monitoring targets, the detection unit 12 may detect an abnormality using a different reference value for each number of operating monitoring targets.
  • the reference value used for each number of monitoring targets in operation is set by, for example, doubling the reference value according to the number of monitoring targets.
  • the reference value is set to A when there is one monitor, it can be set to 2 ⁇ A when there are two monitors and 3 ⁇ A when there are three monitors.
  • the reference value used for each number of monitoring targets in operation when determining an abnormality is not limited to the above example of being a multiple according to the number of monitoring targets, and may be set as appropriate.
  • the detection unit 12 may detect abnormalities in the monitoring targets based on reference values set in a plurality of stages.
  • the output unit 14 outputs detection results corresponding to the stages.
  • a plurality of stages are set as criteria corresponding to at least two stages, for example, a stage according to the start or preparation of maintenance of the monitored object and a stage according to the occurrence of an abnormality of the monitored object.
  • a plurality of stages may be set according to other criteria. Since the detection unit 12 detects a change in the monitored target with a reference value lower than that for detecting an abnormality, it becomes possible to perform maintenance work on the monitored target before an abnormality occurs.
  • the detection unit 12 may detect anomalies in the monitoring targets using a detection model corresponding to the number of active monitoring targets.
  • the detection model generation unit 13 generates a detection model for detecting abnormalities in the monitoring target based on the relationship between the frequencies of the sounds emitted by the monitoring target.
  • the detection model generation unit 13 learns the relationship between the frequencies of the sound emitted by the monitoring target acquired when the monitoring target is in the normal state, and generates a detection model.
  • the detection model generation unit 13 may generate a detection model for each monitoring target. Further, the detection model generation unit 13 may generate a detection model for each operation mode of the monitoring target or for each number of operating units.
  • the detection model generation unit 13 decomposes time-series data of sound intensity collected when the monitoring target is in a normal state into time-series data of sound intensity of each frequency.
  • the detection model generation unit 13 decomposes the time-series data of sound intensity collected during normal operation into time-series data of sound intensity of each frequency by, for example, FFT.
  • the time-series data of the sound intensity emitted by the monitoring target may be acquired by the acquisition unit 11 as sound intensity data of each frequency.
  • the detection model generation unit 13 does not decompose the sound intensity of each frequency.
  • the detection model generation unit 13 uses data obtained by decomposing the sound emitted by the monitoring target into the sound intensity of each frequency, learns the relationship between sound intensities between frequencies, and generates a detection model.
  • the detection model generation unit 13 learns the invariant relationship of sound intensity between frequencies using data at each time of the time-series data.
  • the detection model generation unit 13 learns the relationship of sound intensity between frequencies, and generates a relational expression indicating the relationship between the sound intensity of each frequency and the sound intensity of other frequencies.
  • the detection model generating unit 13 uses a relational expression to calculate, as an abnormality score, an index indicating the difference in sound intensity balance between frequency bands between the sound during monitoring and the sound in the normal state, which is obtained by the obtaining unit 11.
  • the detection model generating unit 13 generates, for example, a detection model that calculates a value obtained by summing the abnormality scores calculated for each frequency as the abnormality score of the monitoring target.
  • the frequencies used when totaling the abnormality scores are set in advance.
  • the detection model generation unit 13 counts the number of frequencies that deviate from the normal time by a reference value or more in the relational expression indicating the relationship between sound intensities between frequencies, and generates a detection model for calculating an abnormality score. good too.
  • the detection model generating unit 13 generates, for example, a detection model for detecting abnormality when the abnormality score is equal to or greater than a reference value indicating abnormality.
  • a method of analyzing the presence or absence of anomalies using a detection model generated by the method described above is also called invariant analysis.
  • the detection model generation unit 13 stores the generated detection model in the storage unit 15.
  • the detection model generator 13 may output the detection model to another computer that detects anomalies using the detection model.
  • the detection model generation unit 13 may generate a detection model using time-series data of sounds emitted by the monitoring target collected in a plurality of time periods. For example, if a monitoring target is installed in an environment where the ambient sound changes depending on the time of day, anomaly detection can be achieved by generating a detection model using time-series data collected over multiple time periods. accuracy can be improved. Further, the detection model generation unit 13 may generate a detection model using time-series data collected at a plurality of locations around the monitoring target.
  • the detection model generation unit 13 may generate a detection model using a plurality of time-series data collected by changing the operation mode of the monitoring target. By generating a detection model using multiple time-series data collected by changing the operation mode, even if it is difficult to change the detection model for each operation mode, the generated detection model can be Anomalies can be detected without relying on In addition, it is possible to suppress omission of abnormality detection.
  • the detection model generated by the detection model generation unit 13 is generated by a learning algorithm other than the above, as long as it can generate a learning model capable of learning sounds emitted by the monitoring target in a normal state and detecting anomalies. may be
  • the output unit 14 outputs the result of detection by the detection unit 12 to the terminal device 30, for example.
  • the output unit 14 outputs, for example, the result of presence/absence of abnormality and the abnormality score as the abnormality detection result to the terminal device 30 .
  • the output unit 14 may output the time series data of the abnormality score to the terminal device 30 .
  • the output unit 14 may output the time-series data of the abnormality score of each frequency to the terminal device 30 .
  • the output unit 14 further outputs information indicating that an anomaly has occurred in the monitored object to the terminal device 30 when the detecting unit 12 detects an anomaly in the monitored object.
  • the output unit 14 does not output the detection result in the normal state, but outputs information indicating that an abnormality has occurred in the monitoring target to the terminal device 30 when the detection unit 12 detects an abnormality in the monitoring target. You may
  • the output unit 14 may output the abnormality detection result to a display device connected to the monitoring system 10 .
  • the output unit 14 may output the abnormality detection result to a monitoring target control device or a management system.
  • FIG. 3 is a diagram showing an example of the display screen of the detection result of abnormality.
  • FIG. 3 shows an example of a display screen of an abnormality detection result when monitoring the operating state of the ventilation fan.
  • the name of the monitored object is displayed as "ventilation fan No. 1".
  • the value of the abnormality score and the operating state are displayed.
  • the operating status is displayed as "normal” when no abnormality is detected, and as "abnormal” when an abnormality is detected.
  • a graph of time-series data of anomaly scores is displayed.
  • the horizontal axis indicates time
  • the vertical axis indicates the abnormality score.
  • the broken line of the abnormality score graph in FIG. 3 indicates the value of the abnormality score
  • the dotted line indicates the abnormality detection criteria.
  • FIG. 4 shows an example of the display screen when an abnormality is detected in the example of FIG.
  • information indicating that an abnormality was detected in the operating status item is displayed as "abnormal".
  • the abnormality score indicated by the broken line in the graph exceeds the abnormality reference value indicated by the dotted line over time. That is, the graph shown in FIG. 4 indicates that the monitored object has changed from a normal state to an abnormal state.
  • the storage unit 15 stores each data used for monitoring the monitoring target.
  • the storage unit 15 stores the detection model generated by the detection model generation unit 13 as data used for monitoring the monitoring target.
  • the storage unit 15 also stores each data used for generating the detection model.
  • the storage unit 15 stores, as data used for generating a detection model, sound data emitted by the monitoring target that is collected when the monitoring target is in the normal state.
  • the storage unit 15 may store data of sounds emitted by the monitoring target acquired by the acquisition unit 11 during monitoring as data used for monitoring the monitoring target.
  • the sound collector 20 collects sounds emitted by the monitoring target.
  • the sound collector 20 is installed, for example, at a position away from the monitored object.
  • the place where the sound collector 20 is installed can be appropriately set to a position where the sound emitted by the monitored object can be collected.
  • the sound collector 20 collects sounds emitted by the monitored object together with ambient sounds.
  • the sound collector 20 may be installed so as to be in contact with the monitored object.
  • a microphone is used as the sound collector 20 .
  • the sound collector 20 outputs collected sound data to the monitoring system 10 .
  • the sound collecting device 20 may output collected sound data to the monitoring system 10 as sound intensity data of each frequency.
  • FIG. 5 is a diagram schematically showing an installation example of the sound collector 20.
  • the sound collector 20 is installed at a position where the sound to be monitored can be collected.
  • the sound collector 20 is not in contact with the monitored object. Therefore, the sound collecting device 20 also collects the sounds around the monitoring target, that is, the sounds emitted by the non-monitoring target together with the sounds emitted by the monitoring target.
  • the sound collector 20 outputs collected sound data to the monitoring system 10 .
  • FIG. 6 is a diagram schematically showing an installation example of the sound collector 20 when there are multiple monitoring targets.
  • FIG. 6 shows an example in which three ventilation fans are monitored.
  • the monitoring system 10 can perform monitoring using data obtained by collecting sounds emitted by a plurality of monitoring targets with a single sound collector 20 .
  • sounds are collected by one sound collector.
  • the sound collector 20 may be installed at that place.
  • multiple sound collectors 20 may be used for monitoring.
  • the terminal device 30 acquires the detection result of the abnormality of the monitored object from the monitoring system 10 .
  • the terminal device 30 displays the abnormality detection result on a display device (not shown).
  • the terminal device 30 may output the abnormality detection result using a method other than display. For example, when the terminal device 30 receives information indicating that an abnormality of the monitoring target has been detected, the terminal device 30 may output information indicating that an abnormality has been detected by light, sound, vibration, or a combination of these methods. good.
  • the method of outputting information indicating that an abnormality has been detected is not limited to the above.
  • the terminal device 30 for example, a personal computer is used.
  • the terminal device 30 may be a smart phone or a tablet computer.
  • a plurality of types of terminal devices may be used as the terminal device 30, for example, a personal computer installed in a management room and a smart phone possessed by a worker who performs monitoring.
  • the terminal device 30 is not limited to the above example.
  • FIG. 7 is a diagram showing an example of an operation flow when monitoring an abnormality in the abnormality monitoring system of this embodiment.
  • the acquisition unit 11 acquires the sound emitted by the monitoring target from the sound collector 20 (step S11).
  • the acquisition unit 11 acquires sound data emitted by the monitoring target as, for example, sound data including surrounding sounds of the monitoring target.
  • the detection unit 12 decomposes the acquired sound into sounds of each frequency (step S12). For example, the detection unit 12 decomposes the sound obtained by performing FFT into the sound intensity of each frequency.
  • the detection unit 12 uses the detection model to detect an abnormality in the monitoring target (step S13).
  • the detection unit 12 uses the detection model to calculate an abnormality score from the sound decomposed into each frequency. After calculating the anomaly score, the detection unit 12 compares the calculated anomaly score with a preset reference value to determine the presence or absence of an anomaly.
  • the output unit 14 When the presence or absence of an abnormality is determined, the output unit 14 outputs the detection result of the abnormality of the monitored object to the terminal device 30 (step S14).
  • the output unit 14 outputs, for example, the determination result of the presence/absence of abnormality and the abnormality score to the terminal device 30 as the abnormality detection result.
  • the terminal device 30 Upon acquiring the detection result of the presence or absence of an abnormality, the terminal device 30 displays the presence or absence of an abnormality and the value of the abnormality score on a display device (not shown).
  • FIG. 8 is a diagram showing an example of an operational flow when the monitoring system 10 generates a detection model.
  • the acquisition unit 11 acquires time-series data of sounds emitted by the monitoring target when the monitoring target is operating in a normal state (step S21). For example, the acquisition unit 11 acquires time-series data of sounds emitted by the monitoring target when the monitoring target is operating in a normal state from the sound collecting device 20 . The acquisition unit 11 stores the acquired time-series data of sounds in the storage unit 15 . The time-series data of the sound emitted by the monitoring target may be input to the monitoring system 10 by the operator's operation using a recording medium in which the data is recorded.
  • the detection model generation unit 13 decomposes the sound time-series data into sounds of each frequency (step S22).
  • the detection model generation unit 13 learns the relationship between the frequencies of the sound and generates a detection model (step S23).
  • the detection model generation unit 13 After generating the detection model, the detection model generation unit 13 stores the generated detection model in the storage unit 15 (step S24).
  • the accuracy of the detection model is verified, for example, based on the value of the anomaly score when the sound collected at the time of anomaly is used as input data. For example, when the value of the anomaly score is equal to or greater than a preset reference value, it is determined that the detection model satisfies the required accuracy. Verification of the accuracy of the detection model may be performed using operator-generated test data. For example, the accuracy of the detection model may be verified using synthetic data in which the sound of frequencies that are likely to fluctuate when an abnormality occurs is enhanced.
  • FIG. 9 is a diagram showing an example of a display screen of an abnormality detection result when there are a plurality of monitoring targets.
  • the display screen in the example of FIG. 9 shows an example of the display screen of the detection result of anomalies in three monitoring targets of ventilation fans No. 1, No. 2 and No. 3.
  • the abnormality score displayed in the graph is the score calculated from the collected operating sounds emitted by the three ventilation fans. Therefore, when the abnormality score is equal to or less than the reference value, it indicates that all three monitored objects are normal.
  • FIG. 10 shows an example of the display screen when an abnormality is detected in the monitoring target in the example shown in FIG.
  • information indicating that an abnormality has been detected is displayed as "abnormality" in the operating status item, indicating that one of the three ventilation fans is in an abnormal state. is shown.
  • the abnormality score indicated by the broken line exceeds the abnormality detection criteria indicated by the dotted line at some times. That is, the abnormality score graph indicates that one of the three ventilation fans changed from normal to abnormal.
  • FIG. 11 is a diagram showing an example of the display screen of the detection result of the presence or absence of abnormality when one of the three ventilation fans is stopped and operating.
  • the display screen shown in FIG. 11 shows an example in which ventilation fan No. 2 is stopped and ventilation fans Nos. 1 and 3 are to be monitored.
  • the value of the abnormality score determined to be abnormal is set to a low value. In this way, when monitoring three ventilation fans with the same specifications, by changing the criteria for judging anomalies, the detection unit 12 can detect the same A detection model can be used to detect the presence or absence of anomalies.
  • FIG. 12 shows an example in which a "detailed display” button for displaying a display screen of detection results for each frequency is set on a display screen similar to that of FIG.
  • the output unit 14 outputs the data of the detection result of each frequency.
  • FIG. 13 shows an example of the display screen of the detection result of each frequency.
  • the vertical axis of the graph of each frequency in FIG. 13 indicates the abnormality score of each frequency, and the horizontal axis indicates time.
  • FIG. 13 is an example of a display screen when the "details display” button is pressed on the screen of FIG.
  • graphs of time-series measurement results of frequency A, frequency B, frequency C, and frequency D are displayed.
  • a "return" button in FIG. 13 is selected to return to the original screen. For example, if the display screen of FIG. 13 is the display screen when the "detail display” button is pressed on the display screen of FIG. 12, the display screen of FIG. 12 is returned to when the "return” button is pressed. .
  • FIG. 13 shows an example of displaying only four frequency bands.
  • the number of frequency bands to be displayed can be set as appropriate.
  • the frequency band to be displayed may be selected by the operator's operation.
  • the time-series data of the frequency band whose variation width is equal to or greater than the standard may be displayed.
  • an "exclude” button is set for each frequency band.
  • the “exclude” button is a button for excluding the selected frequency band from the data used for abnormality detection.
  • the detection unit 12 detects an abnormality to be monitored by excluding the data for frequency B from the data used for detecting anomalies. do.
  • the detection unit 12 can prevent false detection by excluding the data of frequency B from the input data to the detection model. It can be suppressed to continue detecting anomalies.
  • a button may be further set on the display screen in the example of FIG. 13 to re-use the data of the frequency excluded from the data used for monitoring.
  • the monitoring system 10 of the anomaly detection system of the present embodiment generates a detection model that learns the relationship between the frequencies of sounds emitted when the monitored object is in the normal state.
  • the monitoring system 10 acquires the sound when the monitored object is operating, and detects anomalies in the monitored object using a detection model. Since the monitoring system 10 detects abnormalities in the monitoring target by using the imbalance between frequencies when abnormalities occur, it is possible to generate a detection model if there is time-series data of sounds in a normal state. For example, the monitoring system 10 does not require abnormal data as teacher data for generating a detection model. Therefore, the anomaly detection system of this embodiment can detect an anomaly in the monitored object without requiring a large amount of data.
  • the monitoring system 10 detects an anomaly when the balance between frequencies is lost when calculating an anomaly score for detecting an anomaly.
  • the abnormality score fluctuates because the sound of the frequency related to the abnormality fluctuates more than the other frequencies.
  • the loudness changes at many frequencies. Therefore, the influence of ambient sounds on the anomaly score is smaller than when an anomaly occurs. Therefore, the monitoring system 10 can detect abnormalities in the monitored object even when there is a source of sound other than the monitored object in the surroundings, and needs a configuration that removes the influence of the surrounding sound. do not. As a result, the monitoring system 10 can easily detect an abnormality in the monitored object. In addition, the monitoring system 10 can accurately detect abnormalities in the monitoring target while suppressing complication of the system.
  • the abnormality detection system of this embodiment includes, for example, turbines, water supply equipment, hot water supply equipment, drainage equipment, generators, inverters, desulfurization equipment, pumps, fans, molding machines, vacuum equipment, manufacturing equipment, plants, vehicles, ships, piping, etc. Or it can be applied to monitor other sound emitting devices. Applications of the anomaly detection system are not limited to the above examples.
  • FIG. 14 is a diagram showing an example of the configuration of the monitoring system 100 of this embodiment.
  • a monitoring system 100 of this embodiment includes an acquisition unit 101 , a detection unit 102 , and an output unit 103 .
  • Acquisition unit 101 acquires a sound emitted by a monitoring target.
  • the detection unit 102 inputs the sound emitted by the monitoring target acquired by the acquisition unit 101 into a detection model for detecting anomalies in the monitoring target based on the relationship between the frequencies of the sounds emitted by the monitoring target, and detects anomalies in the monitoring target. .
  • the output unit 103 outputs the result of detection.
  • the acquisition unit 11 of the first embodiment is an example of the acquisition unit 101.
  • the acquiring unit 101 is one aspect of an acquiring unit.
  • the detector 12 of the first embodiment is an example of the detector 102 .
  • the detection unit 102 is one aspect of a detection unit.
  • the output unit 14 of the first embodiment is an example of the output unit 103 .
  • the output unit 103 is one aspect of output means.
  • FIG. 15 shows an example of the operation flow of the monitoring system 100.
  • the acquisition unit 101 acquires a sound emitted by a monitoring target (step S101).
  • the detection unit 102 inputs the acquired sound emitted by the monitoring target to a detection model for detecting an abnormality in the monitoring target based on the relationship between the frequencies of the sound emitted by the monitoring target, The presence or absence of an abnormality in the monitored object is detected (step S102).
  • the output unit 103 outputs the detection result (step S103).
  • the monitoring system 100 of this embodiment detects anomalies in the monitored object using a detection model for detecting anomalies in the monitored object based on the relationship between the frequencies of the sounds emitted by the monitored object. Therefore, since the monitoring system 100 detects an abnormality in the monitoring target based on the relationship between the sound frequencies of the monitoring target, the monitoring system 100 can detect an abnormality in the monitoring target even if there is no abnormal state data. Therefore, the monitoring system 100 can easily detect an abnormality in the monitored object.
  • FIG. 15 shows an example of the configuration of a computer 200 that executes a computer program that performs each process in the monitoring system 10 of the first embodiment and the monitoring system 100 of the second embodiment.
  • the computer 200 includes a CPU (Central Processing Unit) 201 , a memory 202 , a storage device 203 , an input/output I/F (Interface) 204 and a communication I/F 205 .
  • CPU Central Processing Unit
  • the CPU 201 reads a computer program for each process from the storage device 203 and executes it.
  • the CPU 201 may be configured by a combination of multiple CPUs.
  • the CPU 201 may be configured by a combination of a CPU and another type of processor.
  • the CPU 201 may be configured by a combination of a CPU and a GPU (Graphics Processing Unit).
  • the memory 202 is composed of a DRAM (Dynamic Random Access Memory) or the like, and temporarily stores computer programs executed by the CPU 201 and data being processed.
  • the storage device 203 stores computer programs executed by the CPU 201 .
  • the memory device 203 is configured by, for example, a nonvolatile semiconductor memory device. Other storage devices such as a hard disk drive may be used as the storage device 203 .
  • the input/output I/F 204 is an interface that receives input from the operator and outputs display data and the like.
  • a communication I/F 205 is an interface that transmits and receives data to and from a terminal device or another information processing device. Further, the terminal device 30 of the first embodiment can also have the same configuration.
  • Each process in the monitoring system 10 of the first embodiment and the monitoring system 100 of the second embodiment may be performed by multiple computers connected via a network.
  • the processing related to anomaly detection and the processing related to detection model generation may be performed on different computers.
  • the storage unit of the monitoring system 10 may be provided by a storage device connected via a network or a storage device managed by a server connected via a network.
  • the computer program used to execute each process can also be stored in a recording medium and distributed.
  • a recording medium for example, a magnetic tape for data recording or a magnetic disk such as a hard disk can be used.
  • an optical disc such as a CD-ROM (Compact Disc Read Only Memory) can be used.
  • a nonvolatile semiconductor memory device may be used as a recording medium.
  • the sound emitted by the monitored object is a sound acquired in a plurality of time zones in which the surrounding sounds are different. 2.
  • the detection means detects an abnormality in the monitoring targets based on a criterion according to the number of the monitoring targets in operation. 4.
  • the monitoring system according to any one of Appendices 1 to 3.
  • the detection means detects an abnormality in the monitoring targets using a detection model corresponding to the number of the monitoring targets in operation. 4.
  • the monitoring system according to any one of Appendices 1 to 3.
  • the detection means detects an abnormality in the monitoring target based on criteria set in a plurality of stages,
  • the output means outputs the result of the detection corresponding to the stage. 6.
  • the monitoring system according to any one of appendices 1 to 5.
  • the plurality of stages are set as criteria corresponding to at least two stages of starting or preparing for maintenance of the monitored object and occurrence of an abnormality in the monitored object, 6.
  • Appendix 8 The sound emitted by the monitoring target is a sound collected by a sound collecting device in contact with the monitoring target. 8. The surveillance system according to any one of Appendixes 1-7.
  • Appendix 9 9. The monitoring system according to any one of appendices 1 to 8, further comprising detection model generation means for generating a detection model that learns a relationship between frequencies of sounds emitted by the monitoring target acquired when the monitoring target is in a normal state.
  • [Appendix 10] Acquire the sound emitted by the monitored object, inputting the acquired sound emitted by the monitoring target into a detection model that detects an abnormality of the monitoring target based on the relationship between the frequencies of the sounds emitted by the monitoring target, and detecting the abnormality of the monitoring target; output the result of the detection, Monitoring method.
  • Appendix 11 a process of acquiring a sound emitted by a monitoring target; A process of inputting the obtained sound emitted by the monitoring target into a detection model for detecting an abnormality of the monitoring target based on the relationship between the frequencies of the sounds emitted by the monitoring target, and detecting an abnormality of the monitoring target; A program recording medium recording a monitoring program for causing a computer to execute processing for outputting detection results.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

監視システムは、取得部と、検出部と、出力部とを備える。取得部は、監視対象が発する音を取得する。検出部は、監視対象が発する音の周波数間の関係に基づき前記監視対象の異常を検出する検出モデルに、取得部が取得した監視対象が発する音を入力し、監視対象の異常を検出する。出力部は、検出の結果を出力する。

Description

監視システム、監視方法およびプログラム記録媒体
 本発明は、監視システム等に関する。
 工場などにおいて、装置の異常は早期に検出される必要がある。装置の異常の検出は、例えば、装置に振動センサを取り付けて異常な振動を検出することで行われる。しかし、振動センサを用いる場合には、振動センサを取り付けられない箇所の異常を検出することが困難である。検査員による官能検査を行う場合にも、人が監視対象に近づく必要があり、また、検査精度について検査員の技能への依存度が高くなる。そのため、監視対象の異常を、人の技能によらずより容易に検出する技術があることが望ましい。
 特許文献1の異常判定装置は、装置が発する音を用いて装置の異常を検出する。特許文献1の異常判定装置は、複数のデータを取得し、装置が発する最小音のデータを用いて、監視対象の装置が発する異常音を検出する。
特開2020-183904号公報
 特許文献1の異常判定装置では、装置の異常の検出が容易にならない場合がある。
 上記の課題を解決するため、監視対象の異常を容易に検出することができる監視システム等を提供することを目的とする。
 上記の課題を解決するため、本発明の監視システムは、監視対象が発する音を取得する取得手段と、監視対象が発する音の周波数間の関係に基づき監視対象の異常を検出する検出モデルに、取得手段が取得した監視対象が発する音を入力し、監視対象の異常を検出する検出手段と、検出の結果を出力する出力手段とを備える。
 本発明の監視方法は、監視対象が発する音を取得し、監視対象が発する音の周波数間の関係に基づき監視対象の異常を検出する検出モデルに、取得した監視対象が発する音を入力し、監視対象の異常を検出し、検出の結果を出力する。
 本発明のプログラム記録媒体は、監視対象が発する音を取得する処理と、監視対象が発する音の周波数間の関係に基づき監視対象の異常を検出する検出モデルに、取得した監視対象が発する音を入力し、監視対象の異常を検出する処理と、検出の結果を出力する処理とをコンピュータに実行させる監視プログラムを記録する。
 本発明によると、監視対象の異常を容易に検出することができる。
本発明の第1の実施形態の構成の概要を示す図である。 本発明の第1の実施形態の監視システムの構成の例を示す図である。 本発明の第1の実施形態の表示画面の例を示す図である。 本発明の第1の実施形態の表示画面の例を示す図である。 本発明の第1の実施形態における集音装置の設置例を示す図である。 本発明の第1の実施形態における集音装置の設置例を示す図である。 本発明の第1の実施形態の監視システムの動作フローの例を示す図である。 本発明の第1の実施形態の監視システムの動作フローの例を示す図である。 本発明の第1の実施形態の表示画面の例を示す図である。 本発明の第1の実施形態の表示画面の例を示す図である。 本発明の第1の実施形態の表示画面の例を示す図である。 本発明の第1の実施形態の表示画面の例を示す図である。 本発明の第1の実施形態の表示画面の例を示す図である。 本発明の第2の実施形態の監視システムの構成の例を示す図である。 本発明の第2の実施形態の監視システムの動作フローの例を示す図である。 本発明の他の実施形態の構成の例を示す図である。
 本発明の第1の実施形態について図を参照して詳細に説明する。図1は、本実施形態の異常監視システムの構成の概要を示す図である。異常監視システムは、監視システム10と、集音装置20と、端末装置30を備える。監視システム10と、集音装置20は、ネットワークを介して接続されている。また、監視システム10と、端末装置30は、ネットワークを介して接続されている。集音装置20と、端末装置30の数は、適宜、設定され得る。
 本実施形態の異常監視システムは、監視対象が発する音を集音し、検出モデルを用いて、集音した音から監視対象の異常を検出するシステムである。集音した音には、監視対象が発する音に限られず、監視対象の周囲の音が含まれていてもよい。監視対象の周囲の音は、監視対象が存在する場所において、監視対象以外が発する音である。監視対象の周囲の音は、例えば、人の通行音、車両の通行音、自然現象による音、他の装置が発する音、扉の開閉音、作業によって生じる音またはその他の監視対象の周囲で発生する可能性のある音である。ただし、監視対象の周囲の音は、上記の例に限られない。監視対象の周囲の音は、環境音ともいう。
 監視システム10は、監視対象が通常状態で稼働している際に集音された音を学習した検出モデルを用いて、監視対象の異常を検出する。通常状態とは、監視対象が正常に稼働している状態のことをいう。正常に稼働しているとは、監視対象が用途に応じて安定した動作または出力を行っている状態のことをいう。すなわち、正常に稼働しているとは、例えば、装置の停止または調整が必要の無い状態のことをいう。また、異常とは、例えば、装置の停止または調整が必要な状態のことをいう。
 監視システムは、例えば、通常状態のときに集音された監視対象が発する音を各周波数の音に分解し、周波数間の不変関係を学習することによって検出モデルを生成する。通常状態のときの監視対象が発する音において、各周波数間の音の強さのバランスは一定の範囲内となり、各周波数間の音の強さの関係には、不変な関係が存在し得る。一方で、監視対象に異常が生じた場合には、監視対象から発する音は、異常に起因して周波数間の音の強さのバランスが崩れる。監視システム10は、例えば、この現象を基に、監視対象が発する音の周波数間の関係を学習することによって生成した検出モデルを用いて監視対象の異常の有無を検出する。
 監視システム10の構成について説明する。図2は、監視システム10の構成の例を示す図である。監視システム10は、取得部11と、検出部12と、検出モデル生成部13と、出力部14と、記憶部15を備える。
 取得部11は、監視対象が発する音を取得する。取得部11は、監視対象が発する音として、監視対象が発する音とともに、監視対象が存在する場所において周囲の音が集音された音のデータを取得してもよい。
 取得部11は、例えば、集音装置20が集音する監視対象が発する音のデータを、集音装置20から取得する。取得部11は、例えば、集音装置20が集音する監視対象が発する音のデータをリアルタイムに取得する。また、取得部11は、集音装置20が記録した監視対象が発する音のデータを、一定時間ごとに時系列データとして取得してもよい。
 取得部11は、検出モデルを生成する際には、通常状態において監視対象が発する音の時系列データを集音装置20から取得する。また、取得部11は、監視対象が発する音のデータを記録媒体から読み取ることによって取得してもよい。取得部11は、取得した監視対象が発する音のデータを記憶部15に保存する。
 取得部11は、検出モデルが監視対象の種類または数に応じて複数、生成されている場合に、例えば、作業者の操作によって端末装置30に入力される検出モデルの選択結果を端末装置30から取得する。
 検出部12は、監視対象が発する音の周波数間の関係に基づき前記監視対象の異常を検出する検出モデルに、取得部11が取得した監視対象が発する音を入力し、監視対象の異常を検出する。検出モデルは、監視対象が通常状態のときに取得された監視対象が発する音の周波数間の関係を学習した学習モデルである。
 例えば、監視対象が換気ファンである場合に、検出部12は、検出モデルを用いて、換気ファンの稼働音を周囲の音とともに集音した音から換気ファンの異常を検出する。検出モデルの詳細については、後で説明する。
 検出部12は、例えば、監視対象ごとに生成された検出モデルを用いて、監視対象が稼働中に集音された音から監視対象の異常を検出してもよい。また、監視対象が複数であるとき、検出部12は、稼働している監視対象の数ごとに生成された検出モデルを用いて、監視対象の異常を検出してもよい。また、監視対象に複数の稼働モードがあるとき、検出部12は、稼働モードごとに生成された検出モデルを用いて監視対象の異常の検出を行ってもよい。
 検出部12は、取得部11が取得した監視対象が発する音のデータを、各周波数の音のデータに分解する。検出モデル生成部13は、監視対象の音の強さのデータを、例えばFFT(Fast Fourier Transform)によって各周波数の音の強さのデータに分解する。監視対象が発する音の強さのデータは、取得部11によって各周波数の音の強さのデータとして取得されてもよい。各周波数の音の強さのデータとして取得された場合には、検出部12は、各周波数の音の強さへの分解を行わなくてよい。
 検出モデルは、各周波数の音について、他の周波数の音とのバランスの異常を示す指標を異常スコアとして算出する。検出モデルは、例えば、各周波数について算出した異常スコアの合計値を、監視対象の異常スコアとして算出する。異常スコアは、取得された音の周波数間のバランスと、通常状態の音の周波数間のバランスとのずれを示す指標である。異常スコアは、例えば、周波数間のバランスが通常状態から崩れると値が大きくなるように設定される。
 検出部12は、例えば、算出した異常スコアがあらかじめ設定された基準値以上である場合に、監視対象に異常が生じていることを検出する。検出部12は、監視対象が複数の場合に、稼働している監視対象の数に応じた基準に基づき監視対象の異常を検出してもよい。例えば、監視対象が複数台である場合に、検出部12は、稼動している監視対象の数ごとに異なる基準値を用いて異常の検出を行ってもよい。異常を検出する際に、稼動している監視対象の数ごとに用いる基準値は、例えば、基準値は、台数に応じて倍にすることで設定される。すなわち、監視対象が1台の場合に基準値をAとしたとすると、2台の場合に2×A、3台の場合に3×Aのように設定することができる。異常を判定する際に、稼動している監視対象の数ごとに用いる基準値は、台数に応じた倍数とする上記の例に限られず、適宜、設定され得る。
 同一の数の監視対象の監視を継続する場合において、検出部12は、複数の段階で設定された基準値に基づき、監視対象の異常を検出してもよい。複数の段階で設定された基準値に基づいて、監視対象の異常を検出する場合に、出力部14は、段階に応じた検出結果を出力する。複数の段階は、例えば、監視対象の保守の開始または準備に応じた段階と、監視対象の異常の発生に応じた段階の少なくとも2段階に対応する基準として設定される。複数の段階は、これ以外の基準により設定されてもよい。検出部12が異常の検出よりも低い基準値で監視対象の変化を検出することで、異常が発生する前に監視対象の保守作業を行うことが可能になる。
 検出部12は、監視対象が複数の場合に、稼働している監視対象の数に応じた検出モデルを用いて監視対象の異常を検出してもよい。
 検出モデル生成部13は、監視対象が発する音の周波数間の関係に基づき監視対象の異常を検出する検出モデルを生成する。検出モデル生成部13は、監視対象が通常状態のときに取得された監視対象が発する音の周波数間の関係を学習し、検出モデルを生成する。検出モデル生成部13は、監視対象ごとにそれぞれ検出モデルを生成してもよい。また、検出モデル生成部13は、監視対象の稼働モードごと、または稼働台数ごとにそれぞれ検出モデルを生成してもよい。
 検出モデル生成部13は、監視対象が通常状態の際に集音された音の強さの時系列データを、各周波数の音の強さの時系列データに分解する。検出モデル生成部13は、通常時に収集された音の強さの時系列データを、例えばFFTによって各周波数の音の強さの時系列データに分解する。監視対象が発する音の強さの時系列データは、取得部11によって各周波数の音の強さのデータとして取得されてもよい。各周波数の音の強さの時系列データとして取得された場合には、検出モデル生成部13は、各周波数の音の強さへの分解を行わない。
 検出モデル生成部13は、監視対象が発する音を各周波数の音の強さに分解したデータを用いて、周波数間の音の強さの関係を学習し、検出モデルを生成する。検出モデル生成部13は、時系列データの各時刻のデータを用いて、周波数間の音の強さの不変関係を学習する。検出モデル生成部13は、周波数間の音の強さの関係を学習し、各周波数の音の強さと、他の周波数の音の強さとの関係を示す関係式を生成する。検出モデル生成部13は、取得部11が取得した監視時の音と通常状態の音とにおける周波数帯域間の音の強さのバランスのずれを示す指標を、関係式を用いて異常スコアとして算出する検出モデルを生成する。検出モデル生成部13は、例えば、各周波数について算出した異常スコアを合計した値を、監視対象の異常スコアとして算出する検出モデルを生成する。異常スコアを合計する際に用いる周波数は、あらかじめ設定されている。
 検出モデル生成部13は、周波数間の音の強さの関係を示す関係式において、通常時から基準以上のずれが生じた周波数の数をカウントし、異常スコアを算出する検出モデルを生成してもよい。検出モデル生成部13は、例えば、異常スコアが異常を示す基準値以上であった場合に異常を検出する検出モデルを生成する。上記のような方法で生成された検出モデルによる異常の有無の分析方法は、インバリアント分析とも呼ばれる。
 検出モデル生成部13は、生成した検出モデルを記憶部15に保存する。検出モデル生成部13は、検出モデルを用いて異常の検出を行う他のコンピュータに検出モデルを出力してもよい。
 検出モデル生成部13は、複数の時間帯において集音された監視対象が発する音の時系列データを用いて検出モデルを生成してもよい。例えば、時間帯によって周囲の音に変化がある環境に監視対象が設置されている場合に、複数の時間帯において集音された時系列データを用いて検出モデルを生成することで、異常の検出の精度が向上し得る。また、検出モデル生成部13は、監視対象の周囲の複数の箇所において集音された時系列データを用いて検出モデルを生成してもよい。
 検出モデル生成部13は、監視対象の稼働モードを変えて集音された複数の時系列データを用いて検出モデルを生成してもよい。稼働モードを変えて集音された複数の時系列データを用いて検出モデルを生成することで、稼働モードごとに検出モデルを変更することが難しい場合においても、生成された検出モデルは、稼働モードに依存せずに異常を検出できるようになる。そして、異常の検出漏れを抑制することができる。
 検出モデル生成部13が生成する検出モデルは、監視対象が通常状態において発する音を学習し、異常を検出することができる学習モデルを生成できるものであれば上記以外の学習アルゴリズムによって生成されたものであってもよい。
 出力部14は、例えば、端末装置30に、検出部12による検出の結果を出力する。出力部14は、例えば、端末装置30に、異常の有無の結果と、異常スコアを異常の検出結果として出力する。出力部14は、端末装置30に、異常スコアの時系列データを出力してもよい。また、出力部14は、端末装置30に、各周波数の異常スコアの時系列データを出力してもよい。異常スコアの時系列データを出力する場合において、出力部14は、検出部12が監視対象の異常を検出した場合に、端末装置30に監視対象に異常が生じていることを示す情報をさらに出力してもよい。また、出力部14は、正常時は検出結果を出力せずに、検出部12が監視対象の異常を検出した場合に、端末装置30に監視対象に異常が生じていることを示す情報を出力してもよい。
 出力部14は、異常の検出結果を監視システム10に接続されている表示装置に出力してもよい。また、出力部14は、異常の検出結果を監視対象の制御装置または管理システムに出力してもよい。
 図3は、異常の検出結果の表示画面の例を示す図である。図3は、換気ファンの動作状態を監視する場合における異常の検出結果の表示画面の例を示している。図3では、監視対象の名称が「換気ファン1号機」として表示されている。また、図3では、異常スコアの値と、稼働状態が表示されている。図3の例では、稼働状態は例えば、異常が検出されていない場合に「正常」、異常が検出された場合に「異常」として表示される。また、図3の例では、異常スコアの時系列データのグラフが表示されている。図3の異常スコアのグラフでは、横軸が時刻、縦軸が異常スコアとして表示されている。図3の異常スコアのグラフの折れ線は、異常スコアの値を示し、点線は、異常の検出基準を示している。
 図4は、図3の例において異常が検出された場合における表示画面の例を示している。図4の例では、稼動状態に項目に異常を検出したことを示す情報が「異常」として表示されている。図4の例では、グラフにおいて折れ線で示される異常スコアが、時間の経過に伴い、点線で示す異常の基準値を超えている。すなわち、図4に示すグラフは、監視対象が正常な状態から異常な状態に変化したことを示している。
 記憶部15は、監視対象の監視に用いる各データを保存する。記憶部15は、監視対象の監視に用いるデータとして、検出モデル生成部13が生成した検出モデルを保存する。また、記憶部15は、検出モデルの生成に用いる各データを保存する。記憶部15は、検出モデルの生成に用いるデータとして、監視対象が通常状態の際に集音された監視対象が発する音のデータを保存する。また、記憶部15は、監視対象の監視に用いるデータとして、監視時に取得部11が取得する監視対象が発する音のデータを保存してもよい。
 集音装置20は、監視対象が発する音を集音する。集音装置20は、例えば、監視対象から離れた位置に設置される。集音装置20が設置される場所は、監視対象が発する音を集音できる位置に適宜、設定することができる。監視対象から離れた位置に設置される場合に、集音装置20は、監視対象が発する音を周囲の音とともに集音する。集音装置20は、監視対象に接するように設置されてもよい。集音装置20には、例えば、マイクロフォンが用いられる。集音装置20は、集音した音のデータを監視システム10に出力する。集音装置20は、集音した音のデータを各周波数の音の強さのデータとして監視システム10に出力してもよい。
 図5は、集音装置20の設置例を模式的に示す図である。図5では、監視対象の音を集音できる位置に集音装置20が設置されている。図5において、集音装置20は、監視対象と接してはいない。そのため、集音装置20は、監視対象の周囲の音、すなわち監視対象以外が発した音も、監視対象が発した音とともに集音する。集音装置20は、集音した音のデータを監視システム10に出力する。
 図6は、監視対象が複数の場合における集音装置20の設置例を模式的に示す図である。図6は、3台の換気ファンが監視対象となっている例を示している。監視システム10は、監視対象が複数の場合においても、1台の集音装置20において、複数の監視対象が発する音を集音したデータを用いて監視が行うことができる。図6の例では、3台の監視対象が隣接しているため、1台の集音装置において集音される。しかしながら、複数の監視対象が互いに離れている場合であっても、それぞれの監視対象が発する稼働音が到達する場所があるときには、その場所に集音装置20が設置されてもよい。また、監視対象が複数の場合に、複数台の集音装置20を用いて監視が行われてもよい。
 端末装置30は、監視システム10から監視対象の異常の検出結果を取得する。端末装置30は、異常の検出結果を図示しない表示装置に表示する。端末装置30は、表示以外の方法を用いて異常の検出結果を出力してもよい。端末装置30は、例えば、監視対象の異常が検出されたことを示す情報を受け取った場合に、光、音、振動または各方法の組み合わせによって異常が検出されたことを示す情報を出力してもよい。異常が検出されたことを示す情報の出力方法は、上記に限られない。
 端末装置30には、例えば、パーソナルコンピュータが用いられる。端末装置30は、スマートフォン、またはタブレット型コンピュータであってもよい。端末装置30には、例えば、管理室に設置されたパーソナルコンピュータと、監視を行う作業者が有するスマートフォンのように複数の種類の端末装置が用いられてもよい。また、端末装置30は、上記の例に限られない。
 本実施形態の異常監視システムの動作について説明する。図7は、本実施形態の異常監視システムにおいて、異常を監視する際の動作フローの例を示す図である。
 取得部11は、集音装置20から監視対象が発する音を取得する(ステップS11)。取得部11は、監視対象が発する音のデータを、例えば、監視対象の周囲の音が含まれる音のデータとして取得する。
 監視対象が発する音が取得されると、検出部12は、取得した音を各周波数の音に分解する(ステップS12)。検出部12は、例えば、FFTを行って取得した音を、各周波数の音の強さに分解する。
 各周波数の音に分解すると、検出部12は、検出モデルを用いて、監視対象の異常を検出する(ステップS13)。検出部12は、検出モデルを用いて、各周波数に分解した音から異常スコアを算出する。異常スコアを算出すると、検出部12は、算出した異常スコアをあらかじめ設定された基準値と比較し、異常の有無を判定する。
 異常の有無が判定されると、出力部14は、監視対象の異常の検出結果を端末装置30に出力する(ステップS14)。出力部14は、例えば、異常の有無の判定結果と、異常スコアを異常の検出結果として端末装置30に出力する。
 異常の有無の検出結果を取得すると、端末装置30は、図示しない表示装置に異常の有無と、異常スコアの値を表示する。
 検出モデルを生成する動作について説明する。図8は、監視システム10が検出モデルを生成する際の動作フローの例を示す図である。
 取得部11は、監視対象が通常状態で稼働している際の監視対象が発する音の時系列データを取得する(ステップS21)。取得部11は、例えば、集音装置20から、監視対象が通常状態で稼働している際の監視対象が発する音の時系列データを取得する。取得部11は、取得した音の時系列データを記憶部15に保存する。監視対象が発する音の時系列データは、データが記録された記録媒体を用いて作業者の操作によって監視システム10に入力されてもよい。
 通常状態の音のデータが保存されると、検出モデル生成部13は、音の時系列データを各周波数の音に分解する(ステップS22)。各周波数の音に分解すると、検出モデル生成部13は、音の周波数間の関係を学習し、検出モデルを生成する(ステップS23)。
 検出モデルを生成すると、検出モデル生成部13は、生成した検出モデルを記憶部15に保存する(ステップS24)。
 検出モデルの精度の検証は、例えば、異常時の集音された音を入力データとして用いた場合における異常スコアの値を基に行われる。異常スコアの値が、例えば、あらかじめ設定された基準値以上である場合に、検出モデルは、必要な精度を満たすと判断される。検出モデルの精度の検証は、作業者によって生成されたテストデータを用いて行われてもよい。例えば、異常が発生した際に変動しやすい周波数の音を強くした合成データを用いて、検出モデルの精度の検証が行われてもよい。
 異常の検出結果の表示画面の例についてさらに説明する。図9は、監視対象が複数の場合における異常の検出結果の表示画面の例を示す図である。図9の例の表示画面は、換気ファン1号機、2号機および3号機の3台の監視対象の異常の検出結果の表示画面の例を示している。図9に示す表示画面の例では、グラフに表示される異常スコアは、3台の換気ファンが発する動作音を集音した音から算出されたスコアである。したがって、異常スコアが基準値以下の場合には、3台の監視対象すべてが正常であることを示している。
 図10は、図9に示す例において、監視対象の異常が検出された場合における表示画面の例を示している。図10に示す表示画面の例では、稼動状態の項目に異常を検出したことを示す情報が「異常」として表示され、3台の換気ファンのうちいずれかの換気ファンが異常な状態であることを示している。図10に示す表示画面の例では、異常スコアのグラフにおいて、折れ線によって示される異常スコアが、一部の時刻において点線で示す異常の検出基準を超えている。すなわち、異常スコアのグラフは、3台の換気ファンのうちいずれかが正常な状態から異常な状態に変化したことを示している。
 図11は、3台の換気ファンのうち1台を停止して稼働している場合における異常の有無の検出結果の表示画面の例を示す図である。図11に示す表示画面は、換気ファン2号機が停止し、換気ファン1号機と3号機が監視対象とされている例を示している。図11の例の表示画面は、図9と比べて、換気ファンの稼働台数が少ないため、異常と判定する異常スコアの値が低い値に設定されている。このように、同じ仕様の3台の換気ファンを監視する場合において、異常を判断する際の基準を変えることにより、検出部12は、稼動している台数に変更があった場合にも、同じ検出モデルを用いて異常の有無を検出することができる。
 図12は、図9と同様の表示画面において、各周波数の検出結果の表示画面を表示する「詳細表示」ボタンが設定されている例を示している。図12に示す表示画面の例において、例えば、作業者のマウス操作によって「詳細表示」ボタンが押されると、出力部14は、各周波数の検出結果のデータを出力する。
 図13は、各周波数の検出結果の表示画面の例を示している。図13の各周波数のグラフの縦軸は、各周波数の異常スコア、横軸は、時刻を示している。図13は、図12の画面において「詳細表示」ボタンが押された場合における表示画面の一例である。図13の例の表示画面では、周波数A、周波数B、周波数Cおよび周波数Dの時系列の計測結果のグラフが表示されている。図13の「戻る」ボタンは、元の画面に戻る場合に選択される。例えば、図13の表示画面が図12の表示画面において「詳細表示」ボタンが押された場合における表示画面である場合には、「戻る」ボタンが押された場合に図12の表示画面に戻る。
 図13の例では、4つの周波数帯域のみを表示する例について示している。しかしながら、表示する周波数帯域の数は、適宜、設定され得る。また、表示する周波数帯域は、作業者の操作によって選択できるようにしてもよい。また、変動幅が基準以上の周波数帯域の時系列データが表示されるようにしてもよい。
 図13の例の表示画面では、周波数帯域ごとに「対象外」ボタンが設定されている。「対象外」ボタンは、選択された周波数帯域を異常の検出の際に用いるデータから除外するためのボタンである。例えば、図13の画面において、周波数Bの「対象外」ボタンが押された場合に、検出部12は、異常の検出に用いるデータから周波数Bのデータを除外して、監視対象の異常を検出する。例えば、周波数Bの音の強さの変動が監視対象となる異常に起因した変動でない場合に、周波数Bのデータを検出モデルへの入力データから除外することで、検出部12は、誤検知を抑制して異常の検出を継続することができる。また、図13の例の表示画面に、監視に用いるデータから除外した周波数のデータを再度、監視に用いるボタンをさらに設定してもよい。
 本実施形態の異常検出システムの監視システム10は、監視対象が通常状態のときに発する音の周波数間の関係を学習した検出モデルを生成する。監視システム10は、監視対象が稼働しているときの音を取得し、検出モデルを用いて監視対象の異常を検出する。監視システム10は、異常時に周波数間のバランスが崩れることを用いて監視対象の異常を検出するため、通常状態の音の時系列データがあれば検出モデルを生成することができる。例えば、監視システム10は、検出モデルの生成のための教師データとして異常時のデータを必要としない。よって、本実施形態の異常検出システムは、多くのデータを必要とせずに、監視対象の異常を検出することができる。
 監視システム10は、異常を検出する異常スコアを算出する際に周波数間のバランスが崩れた場合に異常を検出する。監視対象に異常が生じる場合には、異常に関係する周波数の音が他の周波数よりも大きく変動することで異常スコアが変動する。一方で、周囲の音による影響の場合には、多くの周波数において音の大きさが変わる。よって、異常スコアに対する周囲の音の影響は、異常が生じた場合に比べて小さい。そのため、監視システム10は、周囲に監視対象以外の音の発生源があるような場合においても、監視対象の異常を検出することができ、周囲の音の影響を除去するような構成を必要としない。その結果、監視システム10は、監視対象の異常を容易に検出することができる。また、監視システム10は、システムの複雑化を抑制しつつ、監視対象の異常を精度よく検出することができる。
 本実施形態の異常検出システムは、例えば、タービン、給水装置、給湯装置、排水装置、発電機、インバータ、脱硫装置、ポンプ、ファン、成型機、真空装置、製造装置、プラント、車両、船舶、配管またはその他の音を発する機器の監視に適用することができる。異常検出システムの適用先は、上記の例に限られない。
 (第2の実施形態)
 本発明の第2の実施形態について図を参照して詳細に説明する。図14は、本実施形態の監視システム100の構成の例を示す図である。
 本実施形態の監視システム100は、取得部101と、検出部102と、出力部103とを備える。取得部101は、監視対象が発する音を取得する。検出部102は、監視対象が発する音の周波数間の関係に基づき監視対象の異常を検出する検出モデルに、取得部101が取得した監視対象が発する音を入力し、監視対象の異常を検出する。出力部103は、検出の結果を出力する。
 ここで、第1の実施形態の取得部11は、取得部101の一例である。また、取得部101は、取得手段の一態様である。第1の実施形態の検出部12は、検出部102の一例である。また、検出部102は、検出手段の一態様である。第1の実施形態の出力部14は、出力部103の一例である。また、出力部103は、出力手段の一態様である。
 監視システム100の動作について説明する。図15は、監視システム100の動作フローの例を示すである。取得部101は、監視対象が発する音を取得する(ステップS101)。監視対象が発する音が取得されると、検出部102は、監視対象が発する音の周波数間の関係に基づき監視対象の異常を検出する検出モデルに、取得した監視対象が発する音を入力し、監視対象の異常の有無を検出する(ステップS102)。監視対象の異常を検出すると、異常の有無を検出すると、出力部103は、検出の結果を出力する(ステップS103)。
 本実施形態の監視システム100は、監視対象が発する音の周波数間の関係に基づき監視対象の異常を検出する検出モデルを用いて、監視対象の異常を検出している。よって、監視システム100は、監視対象が音の周波数間の関係に基づき監視対象の異常を検出するため、異常な状態のデータがなくても、監視対象の異常を検出することができる。そのため、監視システム100は、監視対象の異常を容易に検出することができる。
 第1の実施形態の監視システム10および第2の実施形態の監視システム100における各処理は、コンピュータプログラムをコンピュータで実行することによって実現することができる。図15は、第1の実施形態の監視システム10および第2の実施形態の監視システム100における各処理を行うコンピュータプログラムを実行するコンピュータ200の構成の例を示したものである。コンピュータ200は、CPU(Central Processing Unit)201と、メモリ202と、記憶装置203と、入出力I/F(Interface)204と、通信I/F205を備える。
 CPU201は、記憶装置203から各処理を行うコンピュータプログラムを読み出して実行する。CPU201は、複数のCPUの組み合わせによって構成されていてもよい。また、CPU201は、CPUと他の種類のプロセッサの組み合わせによって構成されていてもよい。例えば、CPU201は、CPUとGPU(Graphics Processing Unit)の組み合わせによって構成されていてもよい。メモリ202は、DRAM(Dynamic Random Access Memory)等によって構成され、CPU201が実行するコンピュータプログラムや処理中のデータが一時記憶される。記憶装置203は、CPU201が実行するコンピュータプログラムを記憶している。記憶装置203は、例えば、不揮発性の半導体記憶装置によって構成されている。記憶装置203には、ハードディスクドライブ等の他の記憶装置が用いられてもよい。入出力I/F204は、作業者からの入力の受付および表示データ等の出力を行うインタフェースである。通信I/F205は、端末装置または他の情報処理装置との間でデータの送受信を行うインタフェースである。また、第1の実施形態の端末装置30も同様の構成とすることができる。
 第1の実施形態の監視システム10および第2の実施形態の監視システム100における各処理は、ネットワークを介して接続された複数のコンピュータにおいて行われてもよい。例えば、異常検出に関する処理と、検出モデルの生成に関する処理は、別のコンピュータ上で行われてもよい。また、監視システム10の記憶部は、ネットワークを介して接続されたストレージ装置、またはネットワークを介して接続されたサーバが管理するストレージ装置が備えるようにしてもよい。
 各処理の実行に用いられるコンピュータプログラムは、記録媒体に格納して頒布することもできる。記録媒体としては、例えば、データ記録用磁気テープや、ハードディスクなどの磁気ディスクを用いることができる。また、記録媒体としては、CD-ROM(Compact Disc Read Only Memory)等の光ディスクを用いることもできる。不揮発性の半導体記憶装置を記録媒体として用いてもよい。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
 [付記1]
 監視対象が発する音を取得する取得手段と、
 前記監視対象が発する音の周波数間の関係に基づき前記監視対象の異常を検出する検出モデルに、前記取得手段が取得した前記監視対象が発する音を入力し、前記監視対象の異常を検出する検出手段と、
 検出の結果を出力する出力手段と
 を備える監視システム。
 [付記2]
 監視対象が発する音は、周囲の音とともに集音された音である、
 付記1に記載の監視システム。
 [付記3]
 監視対象が発する音は、前記周囲の音が異なる複数の時間帯において取得された音である、
 付記2に記載の監視システム。
 [付記4]
 前記検出手段は、前記監視対象が複数の場合に、稼働している前記監視対象の数に応じた基準に基づき前記監視対象の異常を検出する、
 付記1から3いずれかに記載の監視システム。
 [付記5]
 前記検出手段は、前記監視対象が複数の場合に、稼働している前記監視対象の数に応じた検出モデルを用いて前記監視対象の異常を検出する、
 付記1から3いずれかに記載の監視システム。
 [付記6]
 前記検出手段は、複数の段階で設定された基準に基づき、前記監視対象の異常を検出し、
 前記出力手段は、前記段階に応じた前記検出の結果を出力する、
 付記1から5いずれかに記載の監視システム。
 [付記7]
 前記複数の段階は、前記監視対象の保守の開始または準備と、前記監視対象の異常の発生の少なくとも2段階に対応する基準として設定される、
 付記6に記載の監視システム。
 [付記8]
 前記監視対象が発する音は、前記監視対象に接している集音装置で集音された音である、
 付記1から7いずれかに記載の監視システム。
 [付記9]
 前記監視対象が通常状態のときに取得された前記監視対象が発する音の周波数間の関係を学習した検出モデルを生成する検出モデル生成手段をさらに備える
 付記1から8いずれかに記載の監視システム。
 [付記10]
 監視対象が発する音を取得し、
 前記監視対象が発する音の周波数間の関係に基づき前記監視対象の異常を検出する検出モデルに、取得した前記監視対象が発する音を入力し、前記監視対象の異常を検出し、
 検出の結果を出力する、
 監視方法。
 [付記11]
 監視対象が発する音を取得する処理と、
 前記監視対象が発する音の周波数間の関係に基づき前記監視対象の異常を検出する検出モデルに、取得した前記監視対象が発する音を入力し、前記監視対象の異常を検出する処理と、
 検出の結果を出力する処理と
 をコンピュータに実行させる監視プログラムを記録したプログラム記録媒体。
 以上、上述した実施形態を例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
 10  監視システム
 11  取得部
 12  検出部
 13  検出モデル生成部
 14  出力部
 15  記憶部
 20  集音装置
 30  端末装置
 100  監視システム
 101  取得部
 102  検出部
 103  出力部
 200  コンピュータ
 201  CPU
 202  メモリ
 203  記憶装置
 204  入出力I/F
 205  通信I/F

Claims (11)

  1.  監視対象が発する音を取得する取得手段と、
     前記監視対象が発する音の周波数間の関係に基づき前記監視対象の異常を検出する検出モデルに、前記取得手段が取得した前記監視対象が発する音を入力し、前記監視対象の異常を検出する検出手段と、
     前記検出の結果を出力する出力手段と
     を備える監視システム。
  2.  監視対象が発する音は、周囲の音とともに集音された音である、
     請求項1に記載の監視システム。
  3.  監視対象が発する音は、前記周囲の音が異なる複数の時間帯において取得された音である、
     請求項2に記載の監視システム。
  4.  前記検出手段は、前記監視対象が複数の場合に、稼働している前記監視対象の数に応じた基準に基づき前記監視対象の異常を検出する、
     請求項1から3いずれかに記載の監視システム。
  5.  前記検出手段は、前記監視対象が複数の場合に、稼働している前記監視対象の数に応じた検出モデルを用いて前記監視対象の異常を検出する、
     請求項1から3いずれかに記載の監視システム。
  6.  前記検出手段は、複数の段階で設定された基準に基づき、前記監視対象の異常を検出し、
     前記出力手段は、前記段階に応じた前記検出の結果を出力する、
     請求項1から5いずれかに記載の監視システム。
  7.  前記複数の段階は、前記監視対象の保守の開始または準備と、前記監視対象の異常の発生の少なくとも2段階に対応する基準として設定される、
     請求項6に記載の監視システム。
  8.  前記監視対象が発する音は、前記監視対象に接している集音装置で集音された音である、
     請求項1から7いずれかに記載の監視システム。
  9.  前記監視対象が通常状態のときに取得された前記監視対象が発する音の周波数間の関係を学習した検出モデルを生成する検出モデル生成手段をさらに備える
     請求項1から8いずれかに記載の監視システム。
  10.  監視対象が発する音を取得し、
     前記監視対象が発する音の周波数間の関係に基づき前記監視対象の異常を検出する検出モデルに、取得した前記監視対象が発する音を入力し、前記監視対象の異常を検出し、
     前記検出の結果を出力する、
     監視方法。
  11.  監視対象が発する音を取得する処理と、
     前記監視対象が発する音の周波数間の関係に基づき前記監視対象の異常を検出する検出モデルに、取得した前記監視対象が発する音に入力し、前記監視対象の異常を検出する処理と、
     前記検出の結果を出力する処理と
     をコンピュータに実行させる監視プログラムを記録したプログラム記録媒体。
PCT/JP2021/044621 2021-12-06 2021-12-06 監視システム、監視方法およびプログラム記録媒体 WO2023105546A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/044621 WO2023105546A1 (ja) 2021-12-06 2021-12-06 監視システム、監視方法およびプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/044621 WO2023105546A1 (ja) 2021-12-06 2021-12-06 監視システム、監視方法およびプログラム記録媒体

Publications (1)

Publication Number Publication Date
WO2023105546A1 true WO2023105546A1 (ja) 2023-06-15

Family

ID=86729761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044621 WO2023105546A1 (ja) 2021-12-06 2021-12-06 監視システム、監視方法およびプログラム記録媒体

Country Status (1)

Country Link
WO (1) WO2023105546A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005257460A (ja) * 2004-03-11 2005-09-22 Chiyoda Corp 音響信号に基づく異常診断方法及び該方法を実行するために用いるプログラム
WO2011036815A1 (ja) * 2009-09-28 2011-03-31 株式会社 東芝 モニタリング装置
US20120035885A1 (en) * 2009-02-18 2012-02-09 Optimized Systems And Solutions Limited Method and apparatus for monitoring and analyzing vibrations in rotary machines
WO2014073427A1 (ja) * 2012-11-06 2014-05-15 ナガセテクノエンジニアリング株式会社 冷凍機状態判定装置及び冷凍機状態判定方法
WO2019235035A1 (ja) * 2018-06-08 2019-12-12 パナソニックIpマネジメント株式会社 収音解析システム及び収音解析方法
JP2020180819A (ja) * 2019-04-24 2020-11-05 沖電気工業株式会社 異常検知システム、異常検知装置、異常検知方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005257460A (ja) * 2004-03-11 2005-09-22 Chiyoda Corp 音響信号に基づく異常診断方法及び該方法を実行するために用いるプログラム
US20120035885A1 (en) * 2009-02-18 2012-02-09 Optimized Systems And Solutions Limited Method and apparatus for monitoring and analyzing vibrations in rotary machines
WO2011036815A1 (ja) * 2009-09-28 2011-03-31 株式会社 東芝 モニタリング装置
WO2014073427A1 (ja) * 2012-11-06 2014-05-15 ナガセテクノエンジニアリング株式会社 冷凍機状態判定装置及び冷凍機状態判定方法
WO2019235035A1 (ja) * 2018-06-08 2019-12-12 パナソニックIpマネジメント株式会社 収音解析システム及び収音解析方法
JP2020180819A (ja) * 2019-04-24 2020-11-05 沖電気工業株式会社 異常検知システム、異常検知装置、異常検知方法およびプログラム

Similar Documents

Publication Publication Date Title
US20240068864A1 (en) Systems and methods for monitoring of mechanical and electrical machines
JP5162114B2 (ja) 回転機械におけるイベント検出のための信号シグニチャ解析の方法および装置
US4060716A (en) Method and apparatus for automatic abnormal events monitor in operating plants
US8255522B2 (en) Event detection from attributes read by entities
US20210140851A1 (en) System and method for automatic diagnosis of power generation facility
US11178026B2 (en) Monitoring system, processing device, and monitoring device
US20090043518A1 (en) Method for assigning peak codes using region partition scheme, the peak codes for the method, and method for predicting/diagnosing faulty operation of mechanical device using peak codes
US8831233B2 (en) Monitoring apparatus and method
JP7068246B2 (ja) 異常判定装置、および、異常判定方法
KR102301201B1 (ko) IoT 센서 기반 회전 기기의 정밀 상태 진단 장치 및 방법
EP3759558B1 (en) Intelligent audio analytic apparatus (iaaa) and method for space system
CN113467433A (zh) 一种机械设备故障检测的方法及装置
EP3759789B1 (en) System and method for audio and vibration based power distribution equipment condition monitoring
US20190332102A1 (en) Machine health monitoring of rotating machinery
JP6989398B2 (ja) 故障診断装置、故障診断方法、および故障診断プログラム
US20220003637A1 (en) Apparatus for equipment monitoring
JP2005215833A (ja) 状態監視システムおよび状態監視方法
WO2023105546A1 (ja) 監視システム、監視方法およびプログラム記録媒体
JP2001296917A (ja) 精密電子機器の挙動と環境監視システム
Dauwe et al. Multi-criteria anomaly detection in urban noise sensor networks
KR20210070671A (ko) IoT 데이터 분석을 통한 모니터링 시스템 및 방법
Sarita et al. Fault Detection of Smart Grid Equipment Using Machine Learning and Data Analytics
Dietel et al. Fault detection in rotating machinery using spectral modeling
KR102212022B1 (ko) 양수 수차의 건전성 자동 판정 방법 및 이를 위한 시스템
US11892829B2 (en) Monitoring apparatus, method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21967054

Country of ref document: EP

Kind code of ref document: A1