WO2020009210A1 - 異常予測システム及び異常予測方法 - Google Patents

異常予測システム及び異常予測方法 Download PDF

Info

Publication number
WO2020009210A1
WO2020009210A1 PCT/JP2019/026752 JP2019026752W WO2020009210A1 WO 2020009210 A1 WO2020009210 A1 WO 2020009210A1 JP 2019026752 W JP2019026752 W JP 2019026752W WO 2020009210 A1 WO2020009210 A1 WO 2020009210A1
Authority
WO
WIPO (PCT)
Prior art keywords
abnormality
data
degree
unit
transition
Prior art date
Application number
PCT/JP2019/026752
Other languages
English (en)
French (fr)
Inventor
翔平 溝渕
亮太 藤井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US17/257,725 priority Critical patent/US11703845B2/en
Priority to JP2020529056A priority patent/JP7304545B2/ja
Priority to CN201980057955.1A priority patent/CN112639431A/zh
Publication of WO2020009210A1 publication Critical patent/WO2020009210A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/04—Frequency
    • G01H3/08—Analysing frequencies present in complex vibrations, e.g. comparing harmonics present
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks

Definitions

  • the present disclosure relates to an abnormality prediction system and an abnormality prediction method for acquiring an object measurement data and predicting an abnormal state.
  • Patent Literature 1 discloses an abnormality determination method and apparatus capable of stably determining various normal and abnormal states of a product having a vibrating section.
  • Patent Document 1 executes a time axis waveform analysis for obtaining a time axis waveform from measurement data and analyzing the time axis waveform, and a frequency axis waveform analysis for obtaining a frequency axis waveform from the measurement data and analyzing the frequency axis waveform, This is to judge a product abnormality from the comprehensive judgment result of the time axis waveform analysis and the frequency axis waveform analysis.
  • An object of the present disclosure is to provide an abnormality prediction system and an abnormality prediction method that are devised in view of the above-described conventional situation, and that can easily perform and confirm the determination and prediction of an abnormal state of a target device. .
  • the present disclosure relates to a data input unit that inputs processing target data including at least one of sound data and vibration data acquired from a target device, a storage unit that stores information regarding abnormality prediction of the processing target data, and the processing target data.
  • An abnormality degree calculation unit that calculates an abnormality degree of, an evaluation unit that performs processing related to abnormality prediction including failure occurrence prediction using the latest abnormality degree transition and the past abnormality degree transition of the processing target data,
  • an abnormality prediction system that includes a display processing unit that generates a display screen that displays a processing result including an abnormality degree transition and a result of the failure occurrence prediction, and a display unit that displays the display screen.
  • the present disclosure inputs processing target data including at least one of sound data and vibration data acquired from a target device, stores information relating to abnormality prediction of the processing target data, and calculates an abnormality degree of the processing target data. Then, using the most recent anomaly transition and the past anomaly transition of the processing target data, execute a process related to anomaly prediction including a failure occurrence prediction, and include the anomaly transition and the result of the failure occurrence prediction An abnormality prediction method is provided that generates a display screen that displays a processing result and displays the display screen on a display unit.
  • determination and prediction of an abnormal state of a target device can be easily performed and confirmed.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an abnormality prediction system according to a first embodiment.
  • FIG. 2 is a block diagram showing an example of a functional configuration of the abnormality prediction system according to the first embodiment.
  • FIG. 9 is a flowchart illustrating an example of a procedure of an event input process according to the present embodiment.
  • 5 is a flowchart illustrating an example of a procedure of an abnormality degree calculation process according to the present embodiment.
  • Flow chart showing an example of the procedure of the abnormality evaluation process according to the present embodiment.
  • Sequence diagram showing the operation of the abnormality prediction system according to Embodiment 1.
  • FIG. 4 is a block diagram showing an example of a functional configuration of an abnormality prediction system according to Embodiment 2.
  • FIG. 14 is a diagram showing a third example of a monitor display screen in the abnormality prediction system according to the fourth embodiment.
  • the figure which shows the other example at the time of displaying several visualization data on the monitor display screen of FIG. 14 is a flowchart showing an example of the procedure of sound data reproduction processing according to Embodiment 4.
  • 11 is a flowchart showing an example of the procedure of sound data visualization processing according to Embodiment 4.
  • a configuration of a system that obtains measurement data of a target and predicts an abnormal state, obtains and analyzes sound data or vibration data of equipment or a device serving as a target device, determines abnormality, and generates a failure.
  • 1 shows an example of an abnormality prediction system and an abnormality prediction method for performing processing related to abnormality prediction such as prediction.
  • a cooling fan of a computer is used as a target device, and sound data or vibration data of the cooling fan is analyzed as processing target data to perform abnormality prediction and used for determination at the time of device inspection or the like. An example is shown below.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of the abnormality prediction system according to the first embodiment.
  • the abnormality prediction system includes an information processing device (computer) having a processor and a memory, and includes a data processing device 10 that executes various processes on sound data or vibration data acquired as processing target data.
  • a microphone 61 as an example of a data input device (sound pickup unit), a monitor 62 as an example of a display device (display unit), and a keyboard 63 as an example of an operation input device are connected as user interfaces. Is done.
  • the data processing device 10, the microphone 61, the monitor 62, and the keyboard 63 are connected by a wired or wireless interface.
  • the data processing apparatus 10 acquires sound data or vibration data generated by the cooling fan 50 of the computer as a target apparatus that performs processing related to abnormality prediction such as abnormality determination and failure occurrence prediction, and analyzes the processing target data. Then, the data processing apparatus 10 executes a process related to abnormality prediction by performing calculation of an abnormality degree, determination of coincidence of transition of an abnormality degree, prediction of occurrence of a failure, and the like with respect to the processing target data.
  • the microphone 61 includes, for example, a condenser microphone, and is arranged near the cooling fan 50 of the computer as the target device, and collects sound data obtained by collecting sound of the cooling fan 50 to the data processing device 10. input.
  • the monitor 62 includes a display device such as a liquid crystal display and an organic EL (Electro-Luminescence) display, and displays a display screen of a processing result output by the data processing device 10.
  • the keyboard 63 receives an input from a user operation and inputs various input information such as a device event and a display content instruction to the data processing device 10.
  • the operation input device is not limited to a keyboard, and various input devices such as a mouse, a touchpad, and a touch panel may be used.
  • the acquired vibration data is analyzed to perform processing related to abnormality prediction such as abnormality determination and failure occurrence prediction. It is also possible to configure an abnormality prediction system that performs the processing.
  • the processing target data is vibration data instead of sound data. Since the sound is the vibration of air, a similar process can be applied.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the abnormality prediction system according to the first embodiment, and illustrates a functional configuration of the data processing device 10 illustrated in FIG.
  • Each function of the data processing device 10 is determined by a computer including a processor such as a CPU (Central Processing Unit) and a DSP (Digital Signal Processor) and a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory). By executing the processing according to the program.
  • the data processing device 10 includes a data input unit 11, a storage unit 12, an evaluation unit 13, a display processing unit 14, and a user operation input unit 15.
  • the data input unit 11 has an audio interface for connecting the microphone 61, includes an acoustic analysis unit 111 and an abnormal degree calculation unit 112, and performs processing by inputting sound data as processing target data.
  • the acoustic analysis unit 111 performs analog-to-digital conversion processing of the acquired sound data, frequency conversion processing by FFT (Fast Fourier Transform), etc., and MFCC (Mel-Frequency Cepstrum Coefficients), and extraction of characteristic amounts by extraction of envelope components of amplitude values. Perform pre-processing such as processing.
  • FFT Fast Fourier Transform
  • MFCC Fel-Frequency Cepstrum Coefficients
  • the abnormality degree calculator 112 calculates an abnormality degree indicating the degree of the abnormal state of the sound data by a predetermined algorithm.
  • the abnormality degree calculation unit 112 can also determine whether the sound data is close to a malfunction sound based on the calculated abnormality degree.
  • the abnormality degree calculation unit 112 can calculate the abnormality degree for each abnormality cause.
  • the causes of abnormality include a plurality of causes of abnormality such as chipping of a fan, clogging, and loose belt.
  • the abnormality degree calculation unit 112 can also execute processing using machine learning processing such as deep learning (Deep @ Learning). Note that the purpose of determining the acquired sound data may be not only detection of abnormal sounds at the time of failure or occurrence of failure, but also collection of learning sound data for performing sound classification and voice recognition.
  • the frequency conversion process and the feature amount extraction process may use one or more methods according to the characteristics of the device to be monitored. For example, when the target device is a cooling fan, there is a method of applying time-frequency conversion by FFT (Fast Fourier Transform), and then applying feature extraction processing by LPC (Linear Predictive Coding) and MFCC.
  • FFT Fast Fourier Transform
  • LPC Linear Predictive Coding
  • MFCC Linear Predictive Coding
  • the following method can be applied.
  • the start timing of the sudden sound is extracted from the amplitude value of the operation sound of the cooling fan.
  • a wavelet transform using a mother wavelet suitable for sudden sound generation, a time-frequency transform is performed, and a feature amount extracting process for extracting a maximum frequency peak value up to the third place for each analysis frame is performed.
  • the frequency conversion processing or feature quantity extraction processing used is not limited to these.
  • the degree of abnormality calculation unit 112 When calculating the degree of abnormality in the degree-of-abnormality calculation unit 112, it can be executed using all or a part of the time-frequency converted data calculated by the acoustic analysis unit 111 or the data subjected to the feature amount extraction processing. At this time, the degree of abnormality is expressed as a one-dimensional parameter corresponding to the cause of abnormality of the target device based on the multidimensional data calculated by the acoustic analysis unit 111. Further, a parameter indicating the degree of abnormality of the entire target device may be calculated using the degrees of abnormality corresponding to a plurality of causes of abnormality of the target device.
  • the machine learning process may be performed using one or more statistical classification techniques.
  • Statistical classification techniques include, for example, linear classifiers (linear classifiers), support vector machines (support vector machines), quadratic classifiers (quadratic classifiers), kernel density estimation (kernel estimation), decision trees (decision trees), Artificial neural networks, Bayesian techniques and / or networks, hidden Markov models, hidden classifiers, binary classifiers, multi-class classifiers ) Clustering (a clustering technique), random forest (a random forest technique), logistic regression (a logistic regression technique), linear regression (a linear regression technique), gradient boosting (a gradient boosting technique), and the like.
  • the statistical classification technique used is not limited to these.
  • the storage unit 12 includes a storage device including at least one of a semiconductor memory such as a RAM and a ROM, a storage device such as a solid state drive (SSD), and a hard disk drive (HDD).
  • the storage unit 12 includes a sound data storage unit 121, an abnormality degree storage unit 122, an event tag storage unit 123, and an evaluation result storage unit 124.
  • the sound data storage unit 121 stores the sound data acquired by the data input unit 11.
  • the abnormality degree storage unit 122 stores data of the abnormality degree calculated by the abnormality degree calculation unit 112.
  • the event tag storage unit 123 stores an event tag of a device event, which is input by a user and indicates a result of device failure, repair, inspection, or the like.
  • the evaluation result storage unit 124 stores the evaluation results of the abnormality prediction by the evaluation unit 13 such as the abnormality degree analysis and the failure occurrence prediction.
  • the evaluation unit 13 includes an abnormality degree transition matching unit 131 and a failure occurrence prediction unit 132.
  • the abnormal degree transition matching unit 131 performs, as the abnormal degree analysis processing, a matching processing of comparing the current abnormal degree transition and the past abnormal degree transition about one week before the failure result with respect to the acquired sound data, Calculate the coincidence rate (coincidence degree) of the abnormal degree transition.
  • the failure occurrence prediction unit 132 predicts, as failure occurrence prediction processing, the possibility that the target device will fail in the near future based on the processing result of the abnormality degree transition matching unit 131, and outputs the result as an abnormality prediction result. Based on the result of the abnormality prediction, it is possible to determine an abnormality in the past, present, and future, predict a failure occurrence, and the like.
  • the above-described abnormality rate transition coincidence rate and the processing result of the failure occurrence prediction are stored in the evaluation result storage unit 124 as the abnormality prediction evaluation result.
  • the evaluation unit 13 can also execute processing using machine learning processing such as deep learning.
  • machine learning processing such as deep learning.
  • the machine learning process may be performed using one or more statistical classification techniques exemplified above.
  • the display processing unit 14 has a video interface for connecting the monitor 62, includes an abnormality degree transition display unit 141, and an abnormality prediction result display unit 142, and performs image processing for monitor display.
  • the abnormal degree transition display unit 141 generates a display screen of an analysis result display in which the calculated transition of the abnormal degree is represented by a graph display or the like.
  • the abnormality transition display unit 141 displays a text, an icon, an image, or the like indicating the coincidence when the coincidence of the abnormality transition is equal to or more than a predetermined value based on the result of the abnormality analysis.
  • the abnormality prediction result display unit 142 generates a display screen of a prediction result display for notifying the user of the possibility of failure based on the result of the failure occurrence prediction processing, when there is a possibility of failure occurring in the near future.
  • the message notifying the possibility of failure is displayed by text, an icon, an image, or the like.
  • the abnormality degree transition display section 141 and the abnormality prediction result display section 142 display the abnormality degree transition of the future prediction result when there is a possibility that a failure will occur in the near future.
  • the display processing unit 14 outputs a display screen including the abnormal degree transition and the abnormal prediction result to the monitor 62 to display the display screen.
  • the user operation input unit 15 has an input interface for connecting the keyboard 63, and includes a device event input unit 151 and a display content instruction input unit 152.
  • the device event input unit 151 receives a device event indicating a result of device failure, repair, inspection, or the like input by a user operation, and inputs the event to the event tag storage unit 123 as an event tag.
  • the display content instruction input unit 152 receives a display content instruction input by a user operation, and inputs, to the display processing unit 14, instruction information for changing display content such as a range of a display section, a display item, and a display mode.
  • FIG. 3 is a diagram showing a first example of a monitor display screen in the abnormality prediction system according to the present embodiment.
  • image data for monitor display is generated by the display processing unit 14 and output to the monitor 62 for display.
  • a graph indicating the transition of the degree of abnormality is displayed as a processing result of the evaluation unit 13.
  • a graph of the degree of abnormality transition for each inspection day is shown for the target device that is inspected daily.
  • the data processing device 10 displays the current anomaly transition 611 based on the most recently acquired observation data based on the result of the anomaly analysis processing, and performs matching between the current observation data and the past observation data. Then, the coincidence rate of the abnormal degree transition is calculated.
  • the abnormal degree transition 613 of the future prediction is an abnormal degree transition having a higher degree of coincidence than a judgment criterion based on a predetermined condition from a large number of accumulated past performance data, and is close to the current abnormal degree transition 611. It is equivalent to the future prediction result.
  • the abnormal degree transition 613 of future prediction may indicate one sample of past observation data, or may indicate a representative value of a plurality of similar samples.
  • the data processing device 10 displays the coincidence rate 612 with the past data relating to the current abnormal degree transition together with the abnormal degree transition 613 of the future prediction.
  • the coincidence rate 612 of the abnormal degree transition may be displayed using icons, images, or the like, in addition to text such as XX%.
  • the anomaly degree of the observation data that is traced back to the past eight days from the present time is displayed as the current anomaly degree transition 611, and the past anomaly degree transition having a high degree of coincidence is used to display the anomaly degree from the past two days to eight days later.
  • the degree of abnormality is displayed as an abnormal degree transition 613 of future prediction.
  • the range of the display section can be changed by a display content instruction by a user operation.
  • various display contents such as display items such as transition of the degree of abnormality, a coincidence rate, and a display mode of a graph can be changed by a display content instruction by a user operation.
  • the anomaly transition 613 in the future prediction indicates the tendency of the anomaly transition in the near future to the user, and the user can intuitively grasp the manner of the anomaly transition by graphical display. Further, based on the abnormal degree transition 613 of the future prediction, it is also possible to predict the possibility of transition to the failure state, predict the failure occurrence, and determine the like. Note that, in the case of a plurality of past abnormal degree transitions having a high degree of coincidence, the abnormal degree transition 613 of the future prediction is displayed together with a plurality of abnormal degree transitions. For example, various display methods may be used, such as displaying an error level, or displaying an abnormal level transition having a higher abnormal level to secure a safety margin. Further, the abnormal degree transition 613 of the future prediction may display an abnormal degree transition of a prediction result obtained by performing prediction on the current abnormal degree transition 611 using a predetermined algorithm or a machine learning process.
  • the anomaly level of the anomaly level transition 613 of the future prediction gradually increases, and indicates the anomaly level transition in the case of failure after eight days.
  • the data processing apparatus 10 determines the possibility of occurrence of a failure from the abnormal degree transition 613 of the future prediction based on the result of the failure occurrence prediction processing, and determines that the possibility of occurrence of a failure in the near future is equal to or more than a predetermined value as shown in the illustrated example. If there is a possibility of failure, a message 614 for notifying the possibility of failure is displayed.
  • the message 614 indicating that there is a possibility of failure may be displayed using an icon, an image, or the like, as well as a text including a predicted occurrence date and time such as “a failure may occur after ⁇ days”.
  • the failure occurrence probability is predicted and calculated by using a predetermined algorithm or machine learning processing, and the failure occurrence probability within one week is XX%.
  • a message including the probability of occurrence may be displayed.
  • FIG. 4 is a diagram showing a second example of the monitor display screen in the abnormality prediction system according to the present embodiment.
  • the second example is a modification of the first example, and is an example in which the display mode of the abnormal degree transition of the future prediction is changed.
  • parts different from the first example will be mainly described.
  • the current abnormal degree transition 611, the coincidence rate 612 of the abnormal degree transition, the abnormal degree transition 613 of the future prediction, and the message 614 indicating that there is a possibility of failure are displayed.
  • the data processing apparatus 10 displays the abnormal degree transition from the present time to eight days later as the future predicted abnormal degree transition 613. That is, the value of the abnormal level at the present time is displayed in a state where the current abnormal level transition 611 and the future predicted abnormal level transition 613 match.
  • the range of the display section can be changed by a display content instruction by a user operation.
  • various display contents such as display items such as transition of the degree of abnormality, a coincidence rate, and a display mode of a graph can be changed by a display content instruction by a user operation. With such a display screen, the user can confirm the transition of the degree of abnormality that continuously changes from the present to the near future.
  • FIG. 5 is a diagram showing a third example of the monitor display screen in the abnormality prediction system according to the present embodiment.
  • the third example is an example showing a case where the coincidence rate of the abnormal degree transition in the first example is less than a predetermined value.
  • parts different from the first example will be mainly described.
  • the current abnormality transition 611 is displayed on the monitor display screen 603 of the third example, as in the first example.
  • the data processing apparatus 10 determines that the coincidence rate of the anomaly transition is less than a predetermined value, and there is no coincidence with the anomaly transition of the past observation data.
  • the abnormality prediction transition 613 of the future prediction is not displayed without being displayed.
  • the data processing apparatus 10 hides the abnormality transition 613 of the future prediction when the possibility that a failure will occur in the near future is less than a predetermined value and the failure probability is small, Only the current abnormal degree transition 611 may be displayed.
  • the data processing device 10 displays a message 615 notifying that there is no possibility of failure.
  • the message 615 indicating that there is no possibility of failure may be displayed using icons, images, or the like, as well as text such as “there is no possibility of failure”.
  • a failure occurrence probability may be predicted and calculated using a predetermined algorithm or machine learning processing, and a message including the occurrence probability may be displayed.
  • the range of the display section can be changed by a display content instruction by a user operation.
  • various display contents such as display items such as transition of an abnormal degree and a display mode of a graph can be changed by a display content instruction by a user operation.
  • FIG. 6 is a diagram showing a fourth example of the monitor display screen in the abnormality prediction system according to the present embodiment.
  • the fourth example is an example of displaying the degree of abnormality in future prediction for each cause of abnormality.
  • the data processing device 10 causes the evaluation unit 13 to calculate the degree of abnormality by classifying each acquired sound data for each cause of abnormality from information included in the sound data and calculating the degree of abnormality over the past, present, and future. Execute abnormality judgment and failure occurrence prediction for each abnormality cause.
  • the degree of abnormality for each cause of abnormality can be calculated based on changes in the characteristics of sound data. For example, when the target device is a cooling fan, the causes of abnormality include a plurality of causes of abnormality such as chipping of a fan, clogging, and loose belt.
  • the data processing device 10 causes the display processing unit 14 to display the abnormality degree ratio 616 for each abnormality cause in a bar graph or the like based on the results of the abnormality degree analysis processing and the failure occurrence prediction processing.
  • the abnormality degree ratio 616 for each abnormality cause includes a ratio display of each abnormality cause with respect to the sound data, for example, “XX failure: xx%, XX failure: yy%, ⁇ failure: zz%”. It is preferable to display the result of each abnormality cause for one target device in one graph as the abnormality degree ratio 616 for each abnormality cause, as shown in the example of the drawing.
  • the data processing device 10 displays a failure possibility message 617 regarding the corresponding cause of abnormality.
  • the component unit such as the component, the member, or the unit in the target device
  • the abnormality that occurs for each cause or phenomenon such as what causes the failure possibility.
  • FIG. 7 is a diagram showing a fifth example of the monitor display screen in the abnormality prediction system according to the present embodiment.
  • the fifth example is a modification of the fourth example, and is an example in which the display mode of a message indicating that there is a possibility of failure has been changed.
  • parts different from the first example will be mainly described.
  • the monitor display screen 608 of the fifth example has a current abnormality transition 611, a coincidence rate 612 of the abnormality transition, an abnormality transition 613 of the future prediction, an abnormality degree ratio 616 for each abnormality cause, and a failure.
  • a possible message 618 is displayed.
  • the data processing apparatus 10 displays the probability of occurrence of a failure for each cause of the failure as a message 618 indicating that there is a possibility of failure based on the calculated degree of abnormality for each cause of abnormality.
  • the message 618 indicating that there is a possibility of failure may include a possibility that a failure may occur due to each abnormal cause with respect to the sound data, for example, “xx failure: xx%, xx failure: yy%, ⁇ failure: zz%”. Includes percentage display. With such a display screen, the user can confirm the ratio of the degree of abnormality for each cause of abnormality and the possibility of occurrence of a failure for each cause of abnormality.
  • FIG. 8 is a flowchart illustrating an example of a procedure of an event input process according to the present embodiment.
  • a user inputs a device event indicating a result of a device failure, a repair, a check, or the like when checking or repairing a target device, and records a history of events that have occurred in the past.
  • the data processing device 10 executes an event input process corresponding to a user's device event input in the user operation input unit 15.
  • the data processing device 10 accepts a device event, which is input from the keyboard 63 or the like by a user operation and indicates the results of device failure, repair, inspection, and the like, in the device event input unit 151 of the user operation input unit 15 (S11).
  • the device event includes device identification information such as the device name, model number, and serial number of the target device, time information such as date and time, and event type information such as the name of the event that occurred. Then, the data processing device 10 stores and registers the device event information in the event tag storage unit 123 of the storage unit 12 as an event tag (S12).
  • the information of the event tag indicating the device event can be used in the failure occurrence prediction processing of the evaluation unit 13 for determining the possibility of failure based on the transition of the degree of abnormality. For example, prediction accuracy can be improved by using past inspection results, repair results, and the like as parameters for failure occurrence prediction.
  • FIG. 9 is a flowchart illustrating an example of a procedure of the abnormality degree calculation process according to the present embodiment.
  • the data processing device 10 executes, in the data input unit 11, an abnormality degree calculation process regarding sound data of the target device input from the microphone 61.
  • the data processing device 10 acquires sound data (or vibration data) of the cooling fan 50 collected by the microphone 61 in the sound analysis unit 111 of the data input unit 11 (S21), and performs preprocessing such as frequency conversion processing. Then, the signal of the sound data is analyzed (S22). Thereby, characteristic elements such as frequency characteristics of sound data are obtained. At this time, the data processing device 10 stores the acquired sound data in the sound data storage unit 121 of the storage unit 12. Then, the abnormality degree calculator 112 of the data input unit 11 calculates the abnormality degree of the acquired sound data (S23).
  • the degree of abnormality A can be calculated based on the sum of the distances between the current measurement data and the past measurement results for each frequency using the frequency characteristics of the sound data of the acoustic analysis result. It is determined by the sum of the amounts exceeding the maximum value or the minimum value of the sound pressure. That is, when the sound pressure for each frequency exceeds the maximum value or the minimum value, the degree of abnormality A is calculated based on the sum of the distances between the measured value and the maximum value or the minimum value.
  • the degree of abnormality A is represented by a mathematical expression, the following expression (1) is obtained.
  • A ⁇ (1 / n) di (1)
  • the sound pressure value at a certain frequency is xi
  • di
  • di
  • and di if Smin ⁇ xi ⁇ Smax. 0.
  • the degree of abnormality A is calculated by adding the distances di at all frequencies from 0 Hz to 24 kHz to obtain a total sum.
  • the degree of abnormality A may be calculated using a predetermined coefficient in accordance with the frequency characteristic of the processing target, the surrounding environment, the sound pickup conditions, and the like, such as performing predetermined weighting according to the frequency.
  • the data processing device 10 stores the data of the abnormality degree calculated by the abnormality degree calculation unit 112 in the abnormality degree storage unit 122 of the storage unit 12, and updates the latest abnormality degree value (S24). Further, the data processing apparatus 10 generates an image of the transition of the abnormality degree using the updated latest abnormality degree in the abnormality degree transition display unit 141 of the display processing unit 14 and updates the graph of the abnormality degree transition on the monitor display screen. (S25). Thus, the graph display indicating the current transition of the degree of abnormality is updated on the monitor display screen displayed on the monitor 62.
  • FIG. 10 is a flowchart showing an example of the procedure of the abnormality evaluation process according to the present embodiment.
  • the evaluation unit 13 executes an abnormality evaluation process based on a change in the degree of abnormality of the observation data of the target device.
  • the data processing device 10 refers to the latest abnormality degree transition data 702 stored in the abnormality degree storage unit 122 and the abnormality degree transition data 701 at the time of the past failure in the abnormality degree transition matching unit 131 of the evaluation unit 13, A matching process is performed between the abnormal degree transition at the time of the past failure and the latest abnormal degree transition (S31).
  • the failure occurrence prediction unit 132 of the evaluation unit 13 determines whether there is a possibility that the target device will fail in the near future based on the abnormal degree transition at the time of a past failure having a high degree of coincidence based on the result of the matching process, The result is output as an abnormality prediction result (S32).
  • the coincidence rate for example, the past abnormal degree transition and the latest abnormal degree transition are compared for each sample (for example, the abnormal degree value for each inspection date), and the number of samples whose difference is equal to or less than a predetermined value is compared. May be calculated by using a method of calculating the ratio of and calculating the percentage.
  • the matching rate may be calculated using a predetermined coefficient such as a Cohen's matching coefficient or an evaluation formula.
  • a monitor display screen for displaying a normality determination is generated in the abnormality degree transition display section 141 and the abnormality prediction result display section 142 of the display processing section 14, and the monitor 62 (S33).
  • the monitor display screen of the third example shown in FIG. 5 is displayed.
  • a monitor display screen is displayed on the anomaly transition display unit 141 and the anomaly prediction result display unit 142 of the display processing unit 14 to display an anomaly transition that may occur in the future. Then, it is displayed on the monitor 62 (S34).
  • the monitor display screen of the first example shown in FIG. 3 or the second example shown in FIG. 4 is displayed.
  • a graph display showing the current transition of the degree of abnormality and a message display showing an abnormality prediction result such as the possibility of failure occurrence are displayed.
  • the data processing apparatus 10 stores the abnormality prediction data including the abnormality prediction result such as the possibility of failure by the failure occurrence prediction unit 132 in the evaluation result storage unit 124 of the storage unit 12, and stores the abnormality prediction result (failure occurrence prediction). Is updated (S35).
  • FIG. 11 is a sequence diagram showing an operation of the abnormality prediction system according to the first embodiment.
  • FIG. 11 illustrates a flow of processing in the microphone 61 and the monitor 62 as the user interface and the data processing device 10 in the abnormality prediction system according to the first embodiment.
  • the sound data (or vibration data) of the cooling fan 50 as the target device is collected and acquired by the microphone 61 (S41), and the data processing device 10 inputs the acquired sound data and stores it in the sound data storage unit 121. Then, the sound data is updated (S51). Then, the data processing device 10 analyzes the signal of the sound data (S52), and calculates the degree of abnormality (S53). Next, the data processing apparatus 10 updates the value of the latest abnormality degree with the calculated abnormality degree (S54), outputs a graph of the abnormality degree transition on the monitor 62 (S42), and outputs the calculated abnormality degree data. Is stored in the abnormality degree storage unit 122, and the abnormality degree data is updated (S55). As a result, the monitor 62 displays a graph or the like of the transition of the degree of abnormality up to the present.
  • the data processing apparatus 10 performs a matching process between the abnormal degree transition at the time of the past failure and the latest abnormal degree transition (S56), and based on the result of the matching processing, a possibility that the data processing apparatus 10 will occur in the target apparatus in the near future. It is determined whether there is an abnormality with a possibility of failure (S57). Further, the data processing apparatus 10 updates the abnormality degree transition prediction graph output to the monitor 62, and outputs a message display indicating the possibility of failure (S43). As a result, on the display screen of the monitor 62, the graph display of the prediction graph of the transition of the degree of abnormality is updated, and a message indicating the possibility of failure is displayed. Then, the data processing device 10 stores the abnormality prediction data including the abnormality prediction result such as the possibility of failure occurrence in the evaluation result storage unit 124 and updates the abnormality prediction data (S58).
  • the processing target data of the sound data or the vibration data of the target device is obtained, the degree of abnormality is calculated, and the degree of abnormality data is stored and accumulated. Then, with respect to the latest abnormal degree transition of the current processing target data, a matching process with the past abnormal degree transition is performed to extract an abnormal degree transition with a high coincidence with a coincidence rate equal to or higher than a predetermined value, and the coincidence is high. It is determined whether there is a possibility of failure in the near future based on the transition of the degree of abnormality.
  • the latest abnormal degree transition is displayed as a processing result, and if there is an abnormal degree transition with a high degree of coincidence, this is displayed as an abnormal degree transition for future prediction, and a prediction result indicating the possibility of failure is displayed.
  • the user can visually grasp the current abnormal degree transition and the abnormal degree transition predicted in the future without requiring specialized knowledge and know-how regarding the target device and the sensor, and the measurement result, and can easily grasp the transition.
  • the determination and prediction of the abnormal state can be easily performed.
  • the user confirms the trend of the degree of abnormality and gives a sign of failure before a failure occurs in the target device. It can be easily grasped. Therefore, it is possible to perform advanced maintenance on the target device.
  • FIG. 12 is a diagram illustrating an example of a schematic configuration of the abnormality prediction system according to the second embodiment.
  • the abnormality prediction system according to the second embodiment is a configuration example in which the processing by the data processing device is executed in a distributed manner between the terminal device 20 at hand and the cloud computer 30 on the network.
  • the terminal device 20 is a local computer including an information processing device having a processor and a memory, and is connected to a microphone 61 as a user interface, a monitor 62, and a keyboard 63.
  • various information processing devices such as a desktop or notebook PC (Personal Computer), a tablet terminal, and a smartphone can be used.
  • the cloud computer 30 is connected to the terminal device 20 via a communication path 80 such as a wired or wireless network or a communication line, and is configured by a remote information processing device (remote computer) including a server device provided on the network. .
  • the overall function of the abnormality prediction system is the same as that of the first embodiment shown in FIG. 1, and here, the description will focus on the parts that are different from the first embodiment.
  • FIG. 13 is a block diagram illustrating an example of a functional configuration of the abnormality prediction system according to the second embodiment, and illustrates a functional configuration of the terminal device 20 and the server device 40 of the cloud computer 30 illustrated in FIG. I have.
  • Each function of the terminal device 20 and the server device 40 is realized by executing processing according to a predetermined program by a computer including a processor such as a CPU and a DSP and a memory such as a RAM and a ROM.
  • the terminal device 20 is configured by an information processing device having a processor and a memory, and includes a data input unit 21, a display processing unit 24, a user operation input unit 25, and a communication unit 26.
  • the data input unit 21 has an acoustic analysis unit 211 similar to the acoustic analysis unit 111 of the first embodiment.
  • the function of the acoustic analysis unit 211 may be included in the server device 40.
  • the display processing unit 24 includes an abnormality degree transition display unit 241 and an abnormality prediction result display unit 242 similar to the abnormality degree transition display unit 141 and the abnormality prediction result display unit 142 of the first embodiment.
  • the user operation input unit 25 has a device event input unit 251 and a display content instruction input unit 252 similar to the device event input unit 151 and the display content instruction input unit 152 of the first embodiment.
  • the communication unit 26 has a wired or wireless communication interface, and communicates with the server device 40 via the communication path 80.
  • the server device 40 is configured by an information processing device having a processor and a memory, and includes an abnormality degree calculation unit 412, a storage unit 42, an evaluation unit 43, a user operation input unit 45, and a communication unit 46.
  • the abnormality degree calculation section 412 has the same function as the abnormality degree calculation section 112 of the first embodiment.
  • the storage unit 42 is a sound data storage unit 421, an abnormality degree storage unit 422, and an event tag similar to the sound data storage unit 121, the abnormality degree storage unit 122, the event tag storage unit 123, and the evaluation result storage unit 124 of the first embodiment. It has a storage unit 423 and an evaluation result storage unit 424.
  • the evaluation unit 43 includes an abnormality degree transition matching unit 431 and a failure occurrence prediction unit 432 similar to the abnormality degree transition matching unit 131 and the failure occurrence prediction unit 132 of the first embodiment.
  • the user operation input unit 45 has a device event input unit 451 similar to the device event input unit 151 of the first embodiment, and the server device 40 can also perform device event input processing.
  • the communication unit 46 communicates with the terminal device 20 via the communication path 80, and communicates with the terminal device 20 for sound data, sound data after analysis processing, abnormality degree data, event tags, abnormality prediction evaluation result data, and the like. Send and receive.
  • the terminal device 20 obtains sound data of the target device, displays processing results such as abnormal degree transition and failure occurrence prediction, and the server device 40 calculates an abnormal degree and performs processing load such as failure occurrence prediction. Performs a relatively large process.
  • FIG. 14 is a sequence diagram showing an operation of the abnormality prediction system according to the second embodiment.
  • FIG. 14 illustrates a flow of processing in the microphone 61, the monitor 62, the keyboard 63, the terminal device 20, and the server device 40 as user interfaces in the abnormality prediction system according to the second embodiment.
  • the sound data (or vibration data) of the cooling fan 50 as the target device is collected and acquired by the microphone 61 (S61), and the terminal device 20 inputs the acquired sound data and analyzes the signal of the sound data. (S71). Then, the terminal device 20 transmits the analyzed sound data to the server device 40.
  • the server device 40 inputs the sound data received from the terminal device 20 and stores it in the sound data storage unit 421, updates the sound data (S81), and calculates an abnormal degree for the sound data (S82).
  • the server device 40 updates the value of the latest abnormality degree with the calculated abnormality degree (S83), stores the calculated abnormality degree data in the abnormality degree storage unit 422, and updates the abnormality degree data (S84).
  • the server device 40 transmits data on the calculated transition of the degree of abnormality to the terminal device 20.
  • the terminal device 20 receives the processing result regarding the transition of the degree of abnormality from the server device 40 and temporarily stores the processing result in a storage unit such as a memory or a storage device (S72). Then, the terminal device 20 performs display output of the graph of the transition of the degree of abnormality on the monitor 62 (S62). As a result, the monitor 62 displays a graph or the like of the transition of the degree of abnormality up to the present.
  • the server device 40 performs a matching process between the abnormal degree transition at the time of the past failure and the latest abnormal degree transition (S85), and based on the result of the matching processing, the possibility that the server device 40 may occur in the target device in the near future. It is determined whether there is a certain abnormality or not (S86). Further, the server device 40 transmits data relating to the failure occurrence prediction to the terminal device 20. Then, the server device 40 stores the abnormality prediction data including the abnormality prediction result such as the possibility of failure occurrence in the evaluation result storage unit 124 and updates the abnormality prediction data (S87).
  • the terminal device 20 receives the processing result regarding the failure occurrence prediction from the server device 40, and temporarily stores the processing result in the storage unit (S73). Then, the terminal device 20 updates the abnormality degree transition prediction graph output to the monitor 62 and outputs a message display indicating the possibility of failure (S63). As a result, on the display screen of the monitor 62, the graph display of the prediction graph of the transition of the degree of abnormality is updated, and a message indicating the possibility of failure is displayed.
  • the terminal device 20 receives a display content change instruction from the keyboard 63 (S64), generates a monitor display screen according to the change instruction based on the processing result data temporarily stored in the storage unit, and displays the display content. It is changed (S74).
  • display contents various display information such as display range of various information such as range of display section of abnormal degree transition, display mode of graph, identification information of the target device, measurement condition and the like can be changed.
  • the terminal device 20 outputs the display screen after the display content is changed to the monitor 62, and redisplays the graph of the transition of the degree of abnormality or the like (S65). As a result, a monitor display screen of the processing result of the display content according to the user operation is displayed on the monitor 62.
  • the user does not need any specialized knowledge or know-how, the current abnormal degree transition and the future predicted abnormal degree transition can be visually checked and easily grasped, and the abnormal state determination and Predictions can be made easily. Further, the user can easily check the prediction result of the transition of the degree of abnormality in the near future and the prediction result of the possibility of failure, and grasp the sign of failure before the failure occurs in the target device.
  • the processing relating to the abnormality prediction is executed in a distributed manner in a plurality of information processing apparatuses connected via a network or a communication line.
  • the calculation processing of the degree of abnormality, the matching processing of the transition of the degree of abnormality, and the prediction processing of the occurrence of a failure are performed by using an information processing apparatus such as a server apparatus having a high processing capability, thereby performing complicated algorithm calculations and high-speed processing. It becomes easy to respond to such situations.
  • each process related to the abnormality prediction is appropriately assigned to each process and executed by a plurality of information processing devices such as a local terminal device having a data input unit and a remote server device connected via a communication path. Is also good.
  • each process according to the present embodiment can be executed by an appropriate information processing device according to various conditions such as a system configuration, a usage environment, a data processing algorithm, a data amount, a data characteristic, and an output mode. It is. As described above, by dispersing and executing the processing according to the system configuration of the abnormality prediction system, it is possible to efficiently and quickly obtain an abnormality prediction analysis result such as abnormality degree analysis and failure occurrence prediction.
  • FIG. 15 is a diagram illustrating an example of a schematic configuration of the abnormality prediction system according to the third embodiment.
  • the abnormality prediction system according to the third embodiment is a modification of the second embodiment, and includes a microphone (an example of a sound collection unit), a monitor (an example of a display unit), and a camera (an example of an imaging unit) as terminal devices.
  • This is a configuration example using a mobile communication terminal 20A such as a smartphone.
  • the mobile communication terminal 20A is connected to a wireless communication network such as a mobile network and a wireless LAN, and is connected to a cloud computer 30 including a server device via a wired or wireless network or a communication path 80 such as a communication line.
  • the mobile communication terminal 20A has the same function as the terminal device 20 according to the second embodiment. Here, parts different from the second embodiment will be described.
  • An identification mark 55 including identification information of the target device is provided on the cooling fan 50 of the computer as the target device.
  • the identification mark 55 may be provided in the vicinity of the target device, such as around the target device, and may be appropriately disposed within a range where the measurement distance and the measurement position with respect to the target device can be defined.
  • various codes or images formed in a predetermined size such as a two-dimensional code such as a QR code (registered trademark), a bar code, and a color code can be used.
  • the mobile communication terminal 20A obtains the identification information of the target device by imaging the identification mark 55 by the camera of the mobile device, and defines the specified information from the microphone of the mobile device to the target device according to the size of the captured identification mark 55. The measurement distance can be secured.
  • FIG. 16 is a diagram showing an example of a display screen of the terminal device in the abnormality prediction system according to Embodiment 3.
  • the user takes an image of the identification mark 55 with the camera of the mobile communication terminal 20A.
  • the mobile communication terminal 20A displays, on a display screen 604 displayed on the display 62A, a captured image display unit 605 of the identification mark and a processing result display unit 606 including an abnormal degree transition.
  • the captured image display unit 605 displays guide frames 621 and 622 as guide displays indicating the upper and lower limits of the size of the identification mark, and displays the captured identification mark image 623.
  • the user holds the mobile communication terminal 20A so that the outer shape of the identification mark image 623 falls between the outer guide frame 621 and the inner guide frame 622, so that the measurement position and the measurement distance of the target device (the cooling fan 50) are measured. Can be secured. This makes it possible to always obtain sound data measured at the same appropriate measurement position and measurement distance when the abnormality degree transition is continuously obtained and the failure determination is performed.
  • the mobile communication terminal 20A inputs the sound data of the cooling fan 50 picked up by the microphone, and executes the subsequent processing.
  • the mobile communication terminal 20A collects the sound of the cooling fan 50 with its own microphone and obtains sound data with the identification mark image 623 between the guide frames 621 and 622 in the captured image display unit 605. At this time, when the identification mark image 623 is within the range of the guide frames 621 and 622 with the user turning on the recording button, the mobile communication terminal 20A starts sound pickup by the microphone.
  • the recording button may be activated when the identification mark image 623 is within the range of the guide frames 621 and 622, and then the user may operate the recording button to start sound collection. Subsequent processing is the same as in the second embodiment.
  • the user does not need any specialized knowledge or know-how, the current abnormal degree transition and the future predicted abnormal degree transition can be visually checked and easily grasped, and the abnormal state determination and Predictions can be made easily. Further, the user can easily check the prediction result of the transition of the degree of abnormality in the near future and the prediction result of the possibility of failure, and grasp the sign of failure before the failure occurs in the target device.
  • a mobile communication terminal by using a mobile communication terminal to set a measurement position and a measurement distance based on a captured image of a camera, obtain sound data, and display a processing result, it is possible to grasp a transition of an abnormal degree and to display an abnormal state. Determination, failure probability prediction, and the like can be easily performed.
  • a system can be configured by connecting a portable communication terminal having corresponding application software to a server device that executes processing related to abnormality prediction, an abnormality prediction system can be easily realized in various environments.
  • FIG. 17 is a block diagram illustrating an example of a functional configuration of the abnormality prediction system according to the fourth embodiment.
  • the abnormality prediction system according to the fourth embodiment is a configuration example having a sound data reproduction function and a sound data visualization function in addition to the structure of the first embodiment.
  • a description will be given focusing on portions different from the first embodiment, and a description of similar configurations and functions will be omitted.
  • the data processing device 10B is configured by an information processing device having a processor and a memory, and includes a data input unit 11, a storage unit 12, an evaluation unit 13, an output processing unit 14B, a user operation input unit 15B, and a data visualization unit 17.
  • the data visualization unit 17 includes a spectrogram analysis unit 171 and an amplitude value calculation unit 172, and generates visualization data of sound physical quantities, such as a generation process of a spectrogram of sound data and a calculation process of an amplitude value of sound data over time. Execute the process.
  • the spectrogram analysis unit 171 refers to the sound data linked to the specified test information, calculates the frequency spectrum of the sound data by spectrogram analysis processing, and generates a spectrogram in which the characteristics of the time change of each frequency component are imaged.
  • the test information includes various test attributes such as the date, time, target device or site at the time of acquisition regarding the acquired sound data.
  • the spectrogram analysis unit 171 performs a Fourier transform, a wavelet transform, or the like on the sound data to calculate a time-frequency characteristic. At the time of generation of the spectrogram, a process of compressing with a representative value of a predetermined frequency band may be added.
  • the data visualizing unit 17 outputs the visualized data based on the generated spectrogram to the visualized data display unit 143.
  • the amplitude value calculation unit 172 refers to the sound data linked to the designated test information, calculates the amplitude value of the sound data at predetermined time intervals, and generates a time transition graph representing the time transition of the volume.
  • the data visualization unit 17 outputs the generated visualization data based on the time transition graph of the volume to the visualization data display unit 143.
  • the data visualization unit 17 may generate visualization data of not only the spectrogram and the time transition of the sound volume but also other sound physical quantities.
  • the output processing unit 14B has a video interface for connecting the monitor 62 and an audio interface for connecting the speaker 64.
  • the output processing unit 14B includes an abnormality degree transition display unit 141, an abnormality prediction result display unit 142, a visualization data display unit 143, and a sound reproduction unit 144. Including.
  • the output processing unit 14B performs image processing for monitor display and sound data reproduction processing.
  • the visualization data display unit 143 generates a display screen that displays visualization data such as a sound spectrogram and a volume time transition graph based on the sound data visualization processing by the data visualization unit 17.
  • the sound reproducing unit 144 performs decoding of sound data, signal amplification, and the like, and outputs a sound signal for reproduction to the speaker 64.
  • the user operation input unit 15B has an input interface for connecting a keyboard 63, a pointer device such as a mouse (not shown), a device event input unit 151, a display content instruction input unit 152, a visualization data display operation unit 153, a sound reproduction operation unit. 154.
  • the visualization data display operation unit 153 receives an instruction to select sound data to be visualized, which is input by a user operation, and inputs inspection information of the sound to be visualized, which specifies the sound data to be visualized, to the data visualization unit 17 and the storage unit 12. I do. Further, the visualization data display operation unit 153 inputs visualization display information including a display mode of the visualization data to the output processing unit 14B.
  • the sound reproduction operation unit 154 receives an instruction to select sound data to be reproduced, which is input by a user operation, and inputs, to the output processing unit 14B and the storage unit 12, inspection information of the sound to be reproduced that specifies the sound data to be reproduced. .
  • FIG. 18 is a diagram showing a first example of a monitor display screen in the abnormality prediction system according to the fourth embodiment.
  • image data for monitor display is generated by the output processing unit 14B, output to the monitor 62, and displayed.
  • the first example of the fourth embodiment is an example of a monitor display screen when sound data is reproduced and output.
  • a current abnormal degree transition 611 As in the first embodiment, a current abnormal degree transition 611, an abnormal degree transition coincidence rate 612, a future predicted abnormal degree transition 613, and a message 614 indicating that there is a possibility of failure are displayed.
  • a cursor 641 for specifying sound data to be subjected to sound reproduction is displayed.
  • the data processing device 10B designates predetermined sound data among points indicating sound data with the cursor 641 in the abnormal degree transitions 611 and 613 of the monitor display screen and performs a click operation.
  • An instruction to select sound data to be reproduced is received by a user operation such as performing.
  • the data processing apparatus 10B receives the inspection information of the selected reproduction target sound, reproduces and outputs sound data associated with the specified inspection information, and outputs and reproduces a sound signal from the speaker 64.
  • the sound data to be reproduced is predicted to have a high possibility of failure (high abnormality degree) based on sound data (measurement data) storing past observation data and a prediction result of a future transition of the abnormality degree based on the past observation data. It is possible to reproduce past, present, and future predicted sound data such as sound data (estimated data).
  • the data processing device 10B instructs the user to select a plurality of sound data to be reproduced by performing a user operation such as clicking and clicking a plurality of sound data with the cursor 641.
  • the data processing device 10B generates a playback audio list 642 for displaying a list of playback data of a plurality of selected audio data, and displays the playback audio list 642 and the playback button 643 for inputting a playback instruction on the monitor display screen 631.
  • the illustrated example shows a case where the measurement data on March 4 and the measurement data on March 8 and the estimation data on March 16 are selected as the reproduction data.
  • the data processing device 10B continuously reproduces the sound data of the reproduction sound list 642 selected from the plurality. I do.
  • the measurement data on March 4 and the measurement data on March 8 and the estimation data on March 16 are continuously reproduced.
  • the degree of abnormality increases with the passage of time
  • the user can confirm a change in sound with respect to the degree of abnormality by selecting a plurality of sound data and continuously reproducing the sound data. Thereby, it is possible to feed back the relevance between the sound data abnormality degree and the reproduced sound to the user.
  • FIG. 19 is a diagram showing a second example of the monitor display screen in the abnormality prediction system according to Embodiment 4.
  • the second example of the fourth embodiment is an example of a monitor display screen when sound data is visualized and displayed by a spectrogram.
  • the monitor display screen 632 displays a current abnormal degree transition and a future predicted abnormal degree transition as in the first embodiment, and further displays a cursor 641 for specifying sound data to be visualized and displayed.
  • the data processing device 10B performs a click operation by pointing to predetermined sound data with the cursor 641, and clicking on points indicating sound data in the transition of the degree of abnormality on the monitor display screen.
  • An instruction to select sound data to be visualized is received by a user operation.
  • the data processing device 10B receives the inspection information of the selected visualization target sound, generates visualization data of the sound data associated with the specified inspection information, and displays the visualization data 651 of the spectrogram on the monitor display screen 632. .
  • a spectrogram corresponding to the sound data on March 8 is shown as visualization data, in which the horizontal axis represents time and the vertical axis represents frequency. From the spectrogram, a change in the peak of the frequency characteristic at the time of abnormality, an increase or decrease of the peak, and the like can be grasped.
  • the sound data to be visualized and displayed is predicted to have a high possibility of failure (high abnormality) based on sound data (measurement data) that stores past observation data and prediction results of future abnormal degree transition based on past observation data. It is possible to display visualization information of past, present, and future sound data such as sound data (estimated data) to be performed.
  • FIG. 20 is a diagram showing a case where a plurality of visualization data are displayed on the monitor display screen of FIG.
  • FIG. 20 shows an example in which a plurality of spectrograms are displayed side by side.
  • the data processing device 10B receives an instruction to select a plurality of sound data to be visualized by a user operation such as performing a click operation by pointing a plurality of sound data with the cursor 641 in the transition of the degree of abnormality on the monitor display screen 632.
  • the data processing device 10B generates a display audio list 652 for displaying a list of display data of a plurality of selected sound data, and displays a display audio list 652 and a display button 653 for inputting a display instruction on the monitor display screen 632.
  • the illustrated example shows a case where the measurement data on March 4 and the measurement data on March 8 and the estimation data on March 16 are selected as the display data.
  • the data processing device 10B When the user confirms the sound data of the display sound list 652 and performs a visualization instruction operation by a click operation of the display button 653 or the like, the data processing device 10B generates visualization data of the sound data of the plurality of display sound lists 652 selected. I do. Then, the data processing device 10B displays, on the monitor display screen 632, visualization data 654 obtained by connecting a plurality of spectrograms. In the illustrated example, the spectrograms of the measurement data of March 4 and the measurement data of March 8 and the estimation data of March 16 are displayed side by side.
  • the user when the degree of abnormality increases with the passage of time, by selecting and displaying a plurality of sound data, the user can easily confirm a change in the frequency characteristic with respect to the degree of abnormality using the visualized data. As a result, it is possible to feed back the association between the abnormal degree of the sound data and the sound characteristics to the user.
  • FIG. 21 is a diagram showing a third example of the monitor display screen in the abnormality prediction system according to the fourth embodiment.
  • the third example of the fourth embodiment is an example of a monitor display screen when sound data is visualized and displayed by a time transition graph of the volume.
  • the monitor display screen 633 displays a current abnormal degree transition and a future abnormal degree transition as in the first embodiment, and further displays a cursor 641 for specifying sound data to be visualized and displayed.
  • data processing device 10B accepts an instruction to select sound data to be visualized by a user operation such as pointing to predetermined sound data in abnormal degree transition with cursor 641.
  • the data processing device 10B receives the inspection information of the selected visualization target sound, generates the visualization data of the sound data associated with the specified inspection information, and displays the visualization data 655 of the time transition graph of the volume on the monitor display screen. 633.
  • a time transition graph representing the time transition of the volume corresponding to the sound data on March 8 is shown as the visualization data, in which the horizontal axis represents time and the vertical axis represents the sound pressure level of the volume. From the time transition graph of the volume, it is possible to grasp the level change of the volume and the increase of the volume at the time of abnormality.
  • visualization information of past, present, and future sound data such as past measurement data and guess data based on future prediction results, can also be displayed for volume time transitions.
  • FIG. 22 is a diagram showing an example of a case where a plurality of visualization data are displayed on the monitor display screen of FIG.
  • FIG. 22 shows one example in which a plurality of time transition graphs of volume are displayed side by side.
  • the data processing device 10B accepts an instruction to select a plurality of sound data to be visualized by a user operation such as performing a click operation by pointing a plurality of sound data with the cursor 641 in the abnormal degree transition of the monitor display screen 633.
  • the data processing device 10B displays a display audio list 652 and a display button 653 on the monitor display screen 633 as in the example of the spectrogram shown in FIG.
  • the data processing device 10B When the user confirms the sound data of the display sound list 652 and performs a visualization instruction operation by a click operation of the display button 653 or the like, the data processing device 10B generates visualization data of the sound data of the plurality of display sound lists 652 selected. I do.
  • the data processing device 10B displays, on the monitor display screen 633, visualization data 656 obtained by connecting a plurality of time transition graphs of the volume in the horizontal direction.
  • the time transition graphs of the respective volumes of the measurement data on March 4 and the measurement data on March 8 and the estimation data on March 16 are displayed side by side with the volume on the vertical axis being common. Is done. This makes it possible to compare the level change of the sound volume and the time transition. In this way, by displaying a plurality of time transition graphs of the sound volume side by side, the user can easily confirm the time transition of the sound volume accompanying the change in the degree of abnormality based on the visualization data.
  • FIG. 23 is a diagram showing another example of displaying a plurality of visualization data on the monitor display screen of FIG.
  • FIG. 23 shows another example in which time transition graphs of a plurality of sound volumes are displayed side by side.
  • FIG. 22 portions different from FIG. 22 will be described.
  • the data processing device 10B When the data processing device 10B receives a visualization instruction operation such as a click operation of the display button 653, the data processing device 10B generates visualization data of the sound data of the plurality of display audio lists 652 selected. Then, the data processing device 10B displays, on the monitor display screen 633, visualization data 657 obtained by connecting a plurality of time transition graphs of the volume in the vertical direction.
  • the time transition graph of each volume of the measurement data of March 4 and the measurement data of March 8 and the estimation data of March 16 are displayed side by side with the time on the horizontal axis being common. Is done. This makes it possible to compare the change of the volume in time units. In this way, by displaying a plurality of time transition graphs of the sound volume side by side, the user can easily confirm the time transition of the sound volume for each date by the visualization data.
  • FIG. 24 is a flowchart illustrating an example of a procedure of sound data reproduction processing according to the fourth embodiment.
  • the data processing device 10B receives one or a plurality of user-selected sound data to be reproduced from the sound reproduction operation unit 154 of the user operation input unit 15B by receiving an instruction to select sound data to be reproduced input from the keyboard 63 or the like by a user operation.
  • the inspection information corresponding to the sound data is received (S111).
  • the data processing device 10B acquires, from the sound data storage unit 121, the sound data associated with the specified test information in the sound reproduction unit 144 of the output processing unit 14B (S112).
  • the data processing device 10B performs a reproduction process on the acquired sound data in the sound reproduction unit 144 of the output processing unit 14B, and outputs the acquired sound data to the speaker 64 for reproduction (S113). Thereby, the predetermined sound data selected by the user is reproduced, and the user can listen to and confirm the desired sound data.
  • FIG. 25 is a flowchart illustrating an example of a procedure of sound data visualization processing according to the fourth embodiment.
  • the data processing device 10B receives an instruction to select sound data to be visualized and displayed on the sound reproduction operation unit 154 of the user operation input unit 15B, which is input from the keyboard 63 or the like by a user operation.
  • the inspection information corresponding to the sound data is received (S121).
  • the data processing device 10B causes the data visualization unit 17 to acquire the sound data associated with the specified test information from the sound data storage unit 121 (S122).
  • the data visualization unit 17 executes visualization processing of the sound data, and generates visualization data such as a spectrogram of the selected sound data and a time transition graph of the volume (S123). Then, the data processing device 10B generates a display screen for displaying the visualization data of the visualization processing result on the visualization data display unit 143 of the output processing unit 14B, and outputs the display screen to the monitor 62 for display (S124). Thereby, the visualization information of the predetermined sound data selected by the user is displayed, and the user can visually confirm the characteristics of the desired sound data.
  • FIG. 26 is a sequence diagram showing an operation of the abnormality prediction system according to the fourth embodiment.
  • FIG. 26 shows a flow of processing in the monitor 62, the keyboard 63, the speaker 64 as the user interface, and the data processing device 10B in the abnormality prediction system according to the fourth embodiment.
  • a sound reproduction instruction associated with the examination information selected by the user is input based on a user operation from the keyboard 63 or the like (S131).
  • the data processing device 10B inputs the selected examination information in the user operation input unit 15B. Then, the data processing device 10B refers to the sound data linked to the test information selected from the sound data stored in the storage unit 12, performs a sound data reproduction process by the output processing unit 14B, and outputs the sound data ( S141). Thereby, the sound associated with the selected inspection information is reproduced and output from the speaker 64 (S132).
  • a sound visualization instruction associated with the examination information selected by the user is input based on a user operation from the keyboard 63 or the like (S136).
  • the data processing device 10B inputs the selected test information in the user operation input unit 15B, and refers to the sound data linked to the selected test information from the sound data stored in the storage unit 12 (S146). ).
  • the data processing device 10B performs the visualization processing of the sound data by the data visualizing unit 17, and outputs the visualized data by the output processing unit 14B (S147).
  • visualization data of the sound associated with the selected test information is displayed and output on the monitor 62 as a spectrogram, a time transition graph of the volume, and the like (S137).
  • the reproduction or visualization display of the sound data selected by the user is performed using the prediction result of the abnormal degree transition and the prediction result of the possibility of failure. Accordingly, the user can recognize the sound data acquired by the target device in association with the abnormality degree or the possibility of failure of the prediction result regarding the sound data. For example, by specifying and reproducing desired sound data, it is possible to easily confirm the relationship between the degree of abnormality and the reproduced sound. In addition, by specifying desired sound data and visualizing the physical quantity of the sound, it is possible to easily confirm the relationship between the degree of abnormality and the sound characteristics.
  • FIG. 27 is a block diagram illustrating an example of a functional configuration of the abnormality prediction system according to the fifth embodiment.
  • the abnormality prediction system according to the fifth embodiment is a configuration example having a sound data reproduction function and a sound data visualization function as in the fourth embodiment, in addition to the configuration of the second embodiment.
  • a description will be given focusing on portions different from the second and fourth embodiments, and a description of the same configurations and functions will be omitted.
  • the terminal device 20C is configured by an information processing device having a processor and a memory, and includes a data input unit 21, an output processing unit 24C, a user operation input unit 25C, and a communication unit 26.
  • the output processing unit 24C includes an abnormality degree transition display unit 241, an abnormality prediction result display unit 242, a visualization data display unit 243, and a sound reproduction unit 244 similar to the output processing unit 14B of the fourth embodiment.
  • the user operation input unit 25C includes a device event input unit 251, a display content instruction input unit 252, a visualization data display operation unit 253, and a sound reproduction operation unit 254 similar to the user operation input unit 15B of the fourth embodiment.
  • the communication unit 26 has a wired or wireless communication interface, and communicates with the server device 40C of the cloud computer 30C via the communication path 80.
  • the server device 40C is configured by an information processing device having a processor and a memory, and includes an abnormality degree calculation unit 412, a storage unit 42, an evaluation unit 43, a user operation input unit 45, a communication unit 46, and a data visualization unit 47.
  • the data visualizing unit 47 includes a spectrogram analyzing unit 471 and an amplitude value calculating unit 472 similar to the data visualizing unit 17 of the fourth embodiment.
  • the communication unit 46 communicates with the terminal device 20C via the communication path 80, and communicates with the terminal device 20C, sound data, sound data after analysis processing, abnormality degree data, event tags, abnormality prediction evaluation result data, Send and receive visualization data.
  • the terminal device 20C performs acquisition of sound data of the target device, display of processing results such as abnormal degree transition and failure occurrence prediction, reproduction output of sound data, and display of sound visualization data.
  • the server device 40C performs a process with a relatively large processing load, such as calculation of the degree of abnormality, prediction of failure occurrence, and generation of visualization data.
  • the server device 40C can be configured by one or a plurality of servers (information processing devices). For example, it may be configured by a plurality of servers including a storage server that stores various data and a processing server that executes various processes. Further, some functions of the server device 40C may be provided in another server.
  • FIG. 28 is a sequence diagram showing an operation of the abnormality prediction system according to the fifth embodiment.
  • FIG. 28 shows the flow of processing in the monitor 62, the keyboard 63, the speaker 64, the terminal device 20C, and the server device 40C as user interfaces in the abnormality prediction system according to the fifth embodiment.
  • a sound reproduction instruction associated with the examination information selected by the user is input based on a user operation from the keyboard 63 or the like (S151).
  • the terminal device 20C receives and temporarily stores the selected test information in the user operation input unit 25C, and transmits the selected test information to the server device 40C from the communication unit 26 (S161).
  • the server device 40C refers to the sound data associated with the selected test information from the sound data stored in the storage unit 42, and transmits the sound data to the terminal device 20C (S171).
  • the terminal device 20C temporarily stores the sound data received from the server device 40C, performs a sound data reproducing process by the output processing unit 24C, and outputs the sound data (S162). Thereby, the sound associated with the selected examination information is reproduced and output from the speaker 64 (S152).
  • a sound visualization instruction associated with the examination information selected by the user is input based on a user operation from the keyboard 63 or the like (S156).
  • the terminal device 20C accepts and temporarily stores the selected examination information in the user operation input unit 25C, and transmits the selected examination information to the server device 40C from the communication unit 26 (S166).
  • the server device 40C refers to the sound data linked to the selected test information from the sound data stored in the storage unit 42 (S176). Then, the server device 40C performs the sound data visualization process by the data visualization unit 47, and transmits the visualized data to the terminal device 20C (S177).
  • the terminal device 20C temporarily stores the visualization data received from the server device 40C, and outputs the visualization data by the output processing unit 24C (S167). As a result, visualization data of the sound associated with the selected test information is displayed and output on the monitor 62 as a spectrogram, a time transition graph of the volume, and the like (S157).
  • the present embodiment by performing processing in a distributed manner according to the system configuration of the abnormality prediction system, it is possible to efficiently reproduce high-speed predetermined sound data or to perform visualization display, and the user can obtain sound data and The association with the degree of abnormality or the possibility of failure can be easily confirmed.
  • the abnormality prediction system includes the data input unit 11 that inputs the processing target data including at least one of the sound data and the vibration data acquired from the target device, and the information regarding the abnormality prediction of the processing target data.
  • the storage unit 12 for storing the abnormality degree
  • the abnormality degree calculation unit 112 for calculating the abnormality degree of the processing target data, and the latest abnormality degree transition and the past abnormality degree transition of the processing object data.
  • An evaluation unit 13 that executes a process related to prediction
  • a display processing unit 14 that generates a display screen that displays a processing result including an abnormal degree transition and a result of a failure occurrence prediction
  • a monitor 62 as a display unit that displays the display screen.
  • the user can easily confirm the transition of the abnormality degree and the result of the failure occurrence prediction by checking the display screen, and can easily determine and predict the abnormal state. Further, the user can confirm the trend of the degree of abnormality and easily grasp the sign of the failure before the failure occurs in the target device.
  • the evaluation unit 13 compares the latest abnormality degree transition of the processing target data with the past abnormality degree transition, and determines a past abnormality degree transition having a high degree of coincidence having a coincidence rate equal to or higher than a predetermined value. Based on this, the failure probability of the target device in the near future is predicted and output as a failure occurrence prediction result. For example, a past abnormal degree transition with a high degree of coincidence is used as it is as an abnormal degree transition for future prediction, or a predetermined arithmetic processing is performed using a past abnormal degree transition with a high degree of coincidence to calculate the abnormal degree transition of future prediction. Generation of an abnormal degree transition is predicted by machine learning processing using a past abnormal degree transition having a high degree of coincidence. As a result, it is possible to predict the possibility of a failure in the near future by using a past abnormality transition having a high degree of coincidence with the current abnormality transition, and to provide the result as a failure occurrence prediction result.
  • the display processing unit 14 displays the latest abnormality transition as the current abnormality transition, and uses the past abnormality transition when there is a past abnormality transition with a high degree of coincidence.
  • a display screen for displaying the transition of the degree of abnormality in the predicted future is generated. This allows the user to easily grasp the prediction result of the anomaly transition from the present to the near future by displaying the anomaly transition of the future prediction as the prediction result using the past anomaly transition with a high degree of coincidence. Can be.
  • the display processing unit 14 displays the coincidence rate of the abnormality transition on the display screen.
  • the user can grasp the degree of coincidence regarding the transition of the abnormal degree in the future prediction, and can utilize it for the judgment of the possibility of failure.
  • the display processing unit 14 displays a message indicating a failure occurrence prediction result on a display screen. For example, prediction results such as the possibility of occurrence of a failure and the date and time when a failure may occur are displayed. Thereby, the user can grasp the prediction result of the failure possibility that can occur in the near future.
  • the display processing unit 14 displays a message notifying the possibility of failure on the display screen. Thereby, the user can grasp that there is a possibility that a failure will occur in the near future, and the date and time when the failure may occur.
  • the evaluation unit 13 calculates a degree of abnormality for each cause of abnormality with respect to the processing target data and executes a process related to abnormality prediction, and the display processing unit 14 displays a ratio of the degree of abnormality for each cause of abnormality. Display on the screen.
  • the degree of abnormality for each cause of abnormality can be grasped, and appropriate measures can be taken according to the cause of abnormality.
  • the abnormality prediction system further includes a data visualization unit 17 that generates visualization data for visualizing a physical quantity of predetermined processing target data specified based on the transition of the degree of abnormality of the display screen, and performs an output process as a display processing unit.
  • the visualization data display unit 143 of the unit 14B displays the visualization data on a display screen. Thereby, the relevance between the abnormal degree of the sound data and the sound characteristics can be easily grasped by the visualization information.
  • the visualization data display unit 143 displays, as visualization data, a spectrogram or volume transition over time on one or a plurality of processing target data on a display screen. As a result, it is possible to easily grasp the relationship between the abnormal degree of the sound data and the sound characteristics based on the spectrogram or the time transition of the sound volume.
  • the abnormality prediction system further includes a sound reproducing unit 144 that reproduces predetermined processing target data specified based on the transition of the degree of abnormality of the display screen as a sound signal. This makes it possible to easily grasp the relationship between the degree of abnormality of the sound data and the reproduced sound.
  • the evaluation unit 13 predicts a failure probability of the target device in the near future using one or more statistical classification techniques. As a result, it is possible to predict an appropriate failure probability according to the acquired processing target data.
  • the abnormality degree calculation unit 112 calculates the abnormality degree of the processing target data using one or more statistical classification techniques. This makes it possible to calculate an appropriate degree of abnormality according to the acquired processing target data.
  • the abnormality prediction system further includes a data processing device 10 as an information processing device including a storage unit 12, an abnormality degree calculation unit 112, an evaluation unit 13, and a display processing unit 14.
  • the data processing apparatus 10 calculates the degree of abnormality, performs processing related to abnormality prediction including failure occurrence prediction, and generates a display screen that displays a processing result including an abnormality degree transition and a result of failure occurrence prediction, and provides the user with the information. It is possible to provide the transition of the degree of abnormality, the result of the failure occurrence prediction, and the like.
  • the abnormality prediction system includes the terminal device 20 having the data input unit 21 and the display processing unit 24, and the server device 40 having the storage unit 42, the abnormality degree calculation unit 412, and the evaluation unit 43.
  • the terminal device 20 and the server device 40 execute processing in a distributed manner, calculate the degree of abnormality, perform processing related to abnormality prediction including failure occurrence prediction, and process results including abnormality degree transition and the result of failure occurrence prediction.
  • generating a display screen to be displayed it is possible to provide the user with the transition of the degree of abnormality, the result of the failure occurrence prediction, and the like.
  • the mobile communication terminal 20A as a terminal device includes a microphone as a sound pickup unit for acquiring processing target data of the target device, and a camera as an imaging unit for imaging the identification mark 55 corresponding to the target device. And a display 62A as a display unit for displaying a captured image of the identification mark.
  • the display processing unit displays guide frames 621 and 622 as guide displays for defining the size of the captured image of the identification mark 55 and an identification mark image 623 as a captured image of the identification mark 55 captured by the imaging unit.
  • the data input unit is displayed on the display screen of the unit, and inputs the processing target data of the target device when the captured image falls within the range of the guide display.
  • the abnormality prediction method includes inputting processing target data including at least one of sound data and vibration data acquired from a target device, storing information relating to abnormality prediction of the processing target data, Is calculated using the most recent anomaly transition and the past anomaly transition of the data to be processed, and executes a process related to anomaly prediction including a failure occurrence prediction, and a process including the anomaly transition and the result of the failure occurrence prediction A display screen for displaying the result is generated, and the display screen is displayed on the display unit.
  • the user can easily confirm the transition of the abnormality degree and the result of the failure occurrence prediction by checking the display screen, and can easily determine and predict the abnormal state. Further, the user can confirm the trend of the degree of abnormality and easily grasp the sign of the failure before the failure occurs in the target device.
  • the present disclosure is useful as an abnormality prediction system and an abnormality prediction method that can easily execute and confirm the determination and prediction of an abnormal state of a target device.
  • Reference Signs List 10 data processing device 11, 21 data input unit 12, 42 storage unit 13, 43 evaluation unit 14, 24 display processing unit 15, 25 user operation input unit 20 terminal device 20A mobile communication terminal 26, 46 communication unit 30 cloud computer 40 server Device 50 Cooling fan (target device) 55 identification mark 61 microphone 62 monitor 63 keyboard 64 speaker 80 communication path 111, 211 sound analysis unit 112, 412 abnormality degree calculation unit 121, 421 sound data storage unit 122, 422 abnormality degree storage unit 123, 423 event tag storage unit 124, 424 Evaluation result storage section 131, 431 Abnormal degree transition matching section 132, 432 Failure occurrence prediction section 141, 241 Abnormal degree transition display section 142, 242 Abnormal prediction result display section 151, 251, 451 Device event input section 152, 252 Display contents Instruction input section

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

対象装置から取得した音データ又は振動データの少なくとも一方を含む処理対象データを入力するデータ入力部（１１）と、処理対象データの異常予測に関する情報を記憶する記憶部（１２）と、処理対象データの異常度を算出する異常度算出部（１１２）と、処理対象データの直近の異常度遷移と過去の異常度遷移とを用いて、故障発生予測を含む異常予測に関する処理を実行する評価部（１３）と、異常度遷移と故障発生予測の結果とを含む処理結果を表示する表示画面を生成する表示処理部（１４）と、表示画面を表示する表示部としてのモニタ（６２）と、を有する。

Description

異常予測システム及び異常予測方法
　本開示は、対象の計測データを取得して異常状態を予測する異常予測システム及び異常予測方法に関する。
　各種施設等において、対象物又は対象空間等の音、振動を計測し、取得した音データ又は振動データを解析して異常の検知、設備の稼働状況のモニタ、製品の良否判定などを行うシステムが従来より用いられている。この種の解析に用いられる装置として、例えば特許文献１には、振動部を有する製品の種々の正常、異常を安定して判定することができる異常判定方法及び装置が開示されている。特許文献１は、計測データから時間軸波形を求め該時間軸波形を解析する時間軸波形解析と、計測データから周波数軸波形を求め該周波数軸波形を解析する周波数軸波形解析とを実行し、時間軸波形解析及び周波数軸波形解析の総合判定結果から製品の異常を判定するものである。
日本国特開平１１－１７３９０９号公報
　例えば、各種施設の設備又は機器の点検、保守において、対象装置の計測データを取得して解析を行い、過去の計測データを利用して、異常の判定及び予測などを行うことも想定される。この場合、異常状態の判定及び予測を実施するユーザにとっては、計測データの特性、センサの特性、異常状態の傾向など、豊富な専門知識やノウハウを必要とする部分が多くある。習熟していないユーザにとっては、計測データの処理結果を適切に判断することが困難な場合がある。また、対象装置の異常状態が顕著となって故障が発生する前に、故障の予兆を容易に把握可能にすることも望まれている。
　本開示は、上述した従来の状況に鑑みて案出され、対象装置の異常状態の判定及び予測を容易に実施し確認することができる異常予測システム及び異常予測方法を提供することを目的とする。
　本開示は、対象装置から取得した音データ又は振動データの少なくとも一方を含む処理対象データを入力するデータ入力部と、前記処理対象データの異常予測に関する情報を記憶する記憶部と、前記処理対象データの異常度を算出する異常度算出部と、前記処理対象データの直近の異常度遷移と過去の異常度遷移とを用いて、故障発生予測を含む異常予測に関する処理を実行する評価部と、前記異常度遷移と前記故障発生予測の結果とを含む処理結果を表示する表示画面を生成する表示処理部と、前記表示画面を表示する表示部と、を有する異常予測システムを提供する。
　また、本開示は、対象装置から取得した音データ又は振動データの少なくとも一方を含む処理対象データを入力し、前記処理対象データの異常予測に関する情報を記憶し、前記処理対象データの異常度を算出し、前記処理対象データの直近の異常度遷移と過去の異常度遷移とを用いて、故障発生予測を含む異常予測に関する処理を実行し、前記異常度遷移と前記故障発生予測の結果とを含む処理結果を表示する表示画面を生成し、前記表示画面を表示部に表示する、異常予測方法を提供する。
　本開示によれば、対象装置の異常状態の判定及び予測を容易に実施し確認することができる。
実施の形態１に係る異常予測システムの概略構成の一例を示す図 実施の形態１に係る異常予測システムの機能的構成の一例を示すブロック図 本実施の形態に係る異常予測システムにおけるモニタ表示画面の第１例を示す図 本実施の形態に係る異常予測システムにおけるモニタ表示画面の第２例を示す図 本実施の形態に係る異常予測システムにおけるモニタ表示画面の第３例を示す図 本実施の形態に係る異常予測システムにおけるモニタ表示画面の第４例を示す図 本実施の形態に係る異常予測システムにおけるモニタ表示画面の第５例を示す図 本実施の形態に係るイベント入力処理の手順の一例を示すフローチャート 本実施の形態に係る異常度算出処理の手順の一例を示すフローチャート 本実施の形態に係る異常評価処理の手順の一例を示すフローチャート 実施の形態１に係る異常予測システムの動作を示すシーケンス図 実施の形態２に係る異常予測システムの概略構成の一例を示す図 実施の形態２に係る異常予測システムの機能的構成の一例を示すブロック図 実施の形態２に係る異常予測システムの動作を示すシーケンス図 実施の形態３に係る異常予測システムの概略構成の一例を示す図 実施の形態３に係る異常予測システムにおける端末装置の表示画面の一例を示す図 実施の形態４に係る異常予測システムの機能的構成の一例を示すブロック図 実施の形態４に係る異常予測システムにおけるモニタ表示画面の第１例を示す図 実施の形態４に係る異常予測システムにおけるモニタ表示画面の第２例を示す図 図１９のモニタ表示画面において可視化データを複数表示する場合を示す図 実施の形態４に係る異常予測システムにおけるモニタ表示画面の第３例を示す図 図２１のモニタ表示画面において可視化データを複数表示する場合の一例を示す図 図２１のモニタ表示画面において可視化データを複数表示する場合の他の例を示す図 実施の形態４に係る音データ再生処理の手順の一例を示すフローチャート 実施の形態４に係る音データ可視化処理の手順の一例を示すフローチャート 実施の形態４に係る異常予測システムの動作を示すシーケンス図 実施の形態５に係る異常予測システムの機能的構成の一例を示すブロック図 実施の形態５に係る異常予測システムの動作を示すシーケンス図
　以下、適宜図面を参照しながら、本開示に係る構成を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　本実施の形態では、対象の計測データを取得して異常状態を予測するシステムの構成例として、対象装置となる設備又は機器の音データ又は振動データを取得して解析し、異常判定、故障発生予測等の異常予測に関する処理を行う異常予測システム及び異常予測方法の一例を示す。ここでは、異常予測システムの機能の一例として、コンピュータの冷却ファンを対象装置とし、冷却ファンの音データ又は振動データを処理対象データとして解析して異常予測を行い、装置点検時の判定等に利用する場合を例示する。
（実施の形態１）
　図１は、実施の形態１に係る異常予測システムの概略構成の一例を示す図である。異常予測システムは、プロセッサ及びメモリを有する情報処理装置（コンピュータ）により構成され、処理対象データとして取得した音データ又は振動データの各種処理を実行するデータ処理装置１０を有して構成される。
　データ処理装置１０は、ユーザインタフェースとして、データ入力デバイス（収音部）の一例としてのマイク６１、表示デバイス（表示部）の一例としてのモニタ６２、操作入力デバイスの一例としてのキーボード６３がそれぞれ接続される。データ処理装置１０と、マイク６１、モニタ６２、キーボード６３とは、有線又は無線のインタフェースにより接続される。データ処理装置１０は、異常判定、故障発生予測等の異常予測に関する処理を行う対象装置として、コンピュータの冷却ファン５０より発生する音データ又は振動データを取得し、処理対象データの解析を実行する。そして、データ処理装置１０は、処理対象データに関して後述する異常度の算出、異常度遷移の一致判定、故障発生の予測等を行うことにより、異常予測に関する処理を実行する。
　マイク６１は、例えばコンデンサマイクロホン等を有して構成され、対象装置であるコンピュータの冷却ファン５０の近傍に配置され、冷却ファン５０の音を収音して取得した音データをデータ処理装置１０に入力する。モニタ６２は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置により構成され、データ処理装置１０により出力される処理結果の表示画面を表示する。キーボード６３は、ユーザ操作による入力を受け付け、装置イベント、表示内容指示等の各種入力情報をデータ処理装置１０に入力する。操作入力デバイスとしては、キーボードに限定されず、マウス、タッチバッド、タッチパネル等の各種入力デバイスを用いてもよい。
　なお、マイク６１の代わりに振動センサを用いて、その振動センサの出力を処理可能な入力インタフェースを用いることにより、取得した振動データを解析して異常判定、故障発生予測等の異常予測に関する処理を行う異常予測システムを構成することも可能である。この場合、処理対象データは、音データの代わりに振動データとなる。音は空気の振動であるので、同様な処理が適用可能である。以下、音データ又は振動データを含む処理対象データを代表して音データとして記載し、音データを処理する構成例について説明する。
　図２は、実施の形態１に係る異常予測システムの機能的構成の一例を示すブロック図であり、図１に示したデータ処理装置１０の機能的な構成を示している。データ処理装置１０の各機能は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等のプロセッサと、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリとを含むコンピュータによって、所定のプログラムに従って処理を実行することにより実現する。データ処理装置１０は、データ入力部１１、記憶部１２、評価部１３、表示処理部１４、ユーザ操作入力部１５を含む。
　データ入力部１１は、マイク６１を接続するオーディオインタフェースを有し、音響解析部１１１、異常度算出部１１２を含み、処理対象データとしての音データを入力して処理を行う。音響解析部１１１は、取得した音データのアナログ－ディジタル変換処理、ＦＦＴ（Fast Fourier Transform）等による周波数変換処理、及びＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）、振幅値の包絡成分抽出等による特徴量抽出処理などの前処理を実行する。音響解析部１１１にて前処理を施すことにより、後段の異常度算出部１１２による異常度算出処理等の処理結果の精度を向上できる。異常度算出部１１２は、所定のアルゴリズムによって音データの異常状態の程度を示す異常度を算出する。異常度算出部１１２は、算出した異常度に基づき、音データが故障音に近いかどうか異常判定を行うことも可能である。異常度算出部１１２は異常原因ごとの異常度を算出可能である。例えば、対象装置が冷却ファンである場合、異常原因としては、ファンの刃欠け、目詰まり、ベルトの緩みなどの複数の異常原因が挙げられる。異常度算出部１１２は、深層学習（Deep Learning）をはじめとする機械学習処理を用いて処理を実行することも可能である。なお、取得した音データの判定目的は、故障時や不良発生時の異音検知だけでなく、音の分類や音声認識を行うための学習用音データを収集することであってもよい。
　音響解析部１１１において、周波数変換処理及び特徴量抽出処理は監視対象とする装置の特性に応じて１つ以上の手法を用いても良い。例えば、対象装置が冷却ファンの場合、ＦＦＴ（Fast Fourier Transform）による時間－周波数変換の後、ＬＰＣ（Linear Predictive Coding）とＭＦＣＣによる特徴量抽出処理を適用する手法などが挙げられる。上記ＬＰＣ及びＭＦＣＣは人の声の解析手法として有用な方法として知られており、情報圧縮や音声認識の前処理として使用されているが、装置稼働音においても共振周波数抽出やスペクトル包絡抽出などにおいて有用な方法といえる。或いは、時間－周波数変換を行わず、稼働音に直接ヒルベルト変換（Hilbert Transform）を適用し、稼働音の振幅信号における包絡成分を得る特徴量抽出処理などを用いることもできる。また、冷却ファンにおいて定期的に発生する突発音を監視したい場合は、以下のような手法を適用可能である。この場合、例えば、冷却ファンの稼働音の振幅値などから突発音の開始タイミングを抽出する。そして、突発音に適したマザーウェーブレットによるウェーブレット変換を適用することで、時間－周波数変換を実施し、第３位までの最大周波数ピーク値を各分析フレーム毎に抽出する特徴量抽出処理を実施する手法などが挙げられる。ただし、使用される周波数変換処理又は特徴量抽出処理はこれらに限定されない。
　異常度算出部１１２において、異常度を算出する場合、音響解析部１１１により算出した時間－周波数変換済みデータ又は特徴量抽出処理済みデータの全てもしくは一部を使用して実行することができる。このとき、異常度は音響解析部１１１で算出した多次元のデータを元に、対象装置の異常原因に対応した１次元のパラメータとして表現される。また、対象装置の複数の異常原因に対応した異常度を用いて、対象装置全体の異常度を示すパラメータを算出しても良い。
　異常度算出部１１２において機械学習処理を用いる場合、機械学習処理は、１つ以上の統計的分類技術を用いて行っても良い。統計的分類技術としては、例えば、線形分類器（linear classifiers）、サポートベクターマシン（support vector machines）、二次分類器（quadratic classifiers）、カーネル密度推定（kernel estimation）、決定木（decision trees）、人工ニューラルネットワーク（artificial neural networks）、ベイジアン技術及び／又はネットワーク（Bayesian techniques and/or networks）、隠れマルコフモデル（hidden Markov models）、バイナリ分類子（binary classifiers）、マルチクラス分類器（multi-class classifiers）クラスタリング（a clustering technique）、ランダムフォレスト（a random forest technique）、ロジスティック回帰（a logistic regression technique）、線形回帰（a linear regression technique）、勾配ブースティング（a gradient boosting technique）などが挙げられる。ただし、使用される統計的分類技術はこれらに限定されない。
　記憶部１２は、ＲＡＭ、ＲＯＭ等による半導体メモリ、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等によるストレージデバイスなどの少なくともいずれか一つを含む記憶デバイスを有する。記憶部１２は、音データ記憶部１２１、異常度記憶部１２２、イベントタグ記憶部１２３、評価結果記憶部１２４を含む。音データ記憶部１２１は、データ入力部１１にて取得した音データを格納する。異常度記憶部１２２は、異常度算出部１１２にて算出した異常度のデータを格納する。イベントタグ記憶部１２３は、ユーザにより入力される装置故障、補修、点検等の実績を示す装置イベントのイベントタグを格納する。評価結果記憶部１２４は、評価部１３による異常度解析及び故障発生予測等の異常予測の評価結果を格納する。
　評価部１３は、異常度遷移マッチング部１３１、故障発生予測部１３２を含む。異常度遷移マッチング部１３１は、異常度解析処理として、取得した音データに関する、現在の異常度遷移と、故障実績から１週間程度前の過去の異常度遷移とを比較するマッチング処理を実行し、異常度遷移の一致率（一致度）を算出する。故障発生予測部１３２は、故障発生予測処理として、異常度遷移マッチング部１３１の処理結果をもとに、近い将来に対象装置が故障する可能性を予測し、異常予測結果として出力する。この異常予測結果に基づき、過去、現在、未来にわたる異常判定、故障発生予測等が可能である。上記の異常度遷移の一致率及び故障発生予測の処理結果は、異常予測の評価結果として評価結果記憶部１２４に記憶される。評価部１３は、深層学習をはじめとする機械学習処理を用いて処理を実行することも可能である。評価部１３において機械学習処理を用いる場合、機械学習処理は、先に例示した１つ以上の統計的分類技術を用いて行ってもよい。
　表示処理部１４は、モニタ６２を接続するビデオインタフェースを有し、異常度遷移表示部１４１、異常予測結果表示部１４２を含み、モニタ表示用の画像処理を行う。異常度遷移表示部１４１は、算出した異常度の遷移をグラフ表示等によって表現した解析結果表示の表示画面を生成する。異常度遷移表示部１４１は、異常度解析処理の結果に基づき、異常度遷移の一致率が所定値以上である場合、一致率を示すテキスト、アイコン、イメージ等を表示する。異常予測結果表示部１４２は、故障発生予測処理の結果に基づき、近い将来に故障発生の可能性がある場合、故障可能性をユーザに報知する予測結果表示の表示画面を生成する。故障可能性を報知するメッセージは、テキスト、アイコン、イメージ等によって表示する。また、異常度遷移表示部１４１及び異常予測結果表示部１４２は、故障発生予測処理の結果に基づき、近い将来に故障発生の可能性がある場合、将来の予測結果の異常度遷移を表示する。表示処理部１４は、上記の異常度遷移及び異常予測結果を含む表示画面を、モニタ６２に出力して表示させる。
　ユーザ操作入力部１５は、キーボード６３を接続する入力インタフェースを有し、装置イベント入力部１５１、表示内容指示入力部１５２を含む。装置イベント入力部１５１は、ユーザ操作により入力される装置故障、補修、点検等の実績を示す装置イベントを受け付け、イベントタグとしてイベントタグ記憶部１２３に入力する。表示内容指示入力部１５２は、ユーザ操作により入力される表示内容指示を受け付け、表示区間のレンジ、表示項目、表示態様などの表示内容などを変更する指示情報を表示処理部１４に入力する。
　次に、本実施の形態の異常予測システムにおいて、モニタ６２に表示する表示画面の例をいくつか示す。
　図３は、本実施の形態に係る異常予測システムにおけるモニタ表示画面の第１例を示す図である。図示例のモニタ表示画面は、表示処理部１４によってモニタ表示用の画像データが生成され、モニタ６２に出力されて表示される。
　モニタ表示画面６０１には、評価部１３の処理結果として異常度遷移を示すグラフが表示される。図示例では、毎日点検を行う対象装置について、各点検日ごとの異常度遷移のグラフを示している。データ処理装置１０は、グラフ表示において、異常度解析処理の結果に基づき、現在取得した直近の観測データによる現在の異常度遷移６１１を表示し、現在の観測データと過去の観測データとのマッチングを行って異常度遷移の一致率を算出する。そして、データ処理装置１０は、故障発生予測処理の結果に基づき、異常度遷移の一致率が所定値以上の場合、該当する過去の観測データの異常度遷移を将来予測の異常度遷移６１３として表示する。この将来予測の異常度遷移６１３は、蓄積した多数の過去の実績データの中から、所定条件に基づいた判定基準以上に一致度が高い異常度遷移であり、現在の異常度遷移６１１についての近い将来の予測結果に相当するものである。将来予測の異常度遷移６１３は、過去の観測データの１つのサンプルを示してもよいし、類似する複数サンプルの代表値を示してもよい。また、データ処理装置１０は、将来予測の異常度遷移６１３とともに、現在の異常度遷移に関する過去データとの一致率６１２を表示する。異常度遷移の一致率６１２は、○○％などのテキストだけでなく、アイコン、イメージ等を用いて表示してもよい。
　第１例では、現時点から過去８日前に遡った観測データの異常度を現在の異常度遷移６１１として表示し、一致度が高い過去の異常度遷移を用いて、過去２日前から８日後までの異常度を将来予測の異常度遷移６１３として表示している。なお、異常度遷移を表示する表示期間は、ユーザ操作による表示内容指示によって、表示区間のレンジを変更することが可能である。また、異常度遷移、一致率などの表示項目、グラフの表示態様など、各種表示内容を、ユーザ操作による表示内容指示によって変更することも可能である。
　将来予測の異常度遷移６１３は、近い将来の異常度の遷移の傾向をユーザに示すものであり、ユーザはグラフ表示によって直感的に異常度の遷移の仕方を把握できる。また、将来予測の異常度遷移６１３に基づき、故障状態に遷移する可能性の予測、故障発生の予測判定なども可能である。なお、将来予測の異常度遷移６１３は、一致度が高い過去の異常度遷移が複数存在する場合、複数の異常度遷移を一緒に表示する、所定の判定条件によって最も確からしい異常度遷移を選択して表示する、或いは安全マージンを確保するため異常度のより高い異常度遷移を表示するなど、種々の表示方法を用いてよい。また、将来予測の異常度遷移６１３は、所定のアルゴリズム又は機械学習処理を用いて、現在の異常度遷移６１１について予測を行った予測結果の異常度遷移を表示してもよい。
　図３の表示例では、将来予測の異常度遷移６１３の異常度が徐々に大きくなり、８日後に故障した場合の異常度遷移を示している。データ処理装置１０は、故障発生予測処理の結果に基づき、将来予測の異常度遷移６１３から故障が発生する可能性を判定し、図示例のように近い将来に故障発生の可能性が所定値以上で故障可能性がある場合、故障可能性有りを報知するメッセージ６１４を表示する。故障可能性有りのメッセージ６１４は、「○日後に故障が発生する可能性があります」などの発生予測日時を含むテキストだけでなく、アイコン、イメージ等を用いて表示してもよい。また、故障発生予測処理の結果として、所定のアルゴリズム又は機械学習処理を用いて、故障の発生確率を予測して算出し、「１週間以内に故障が発生する確率は○○％です」などの発生確率を含むメッセージを表示してもよい。
　図４は、本実施の形態に係る異常予測システムにおけるモニタ表示画面の第２例を示す図である。第２例は、第１例の変形例であり、将来予測の異常度遷移の表示態様を変更した例である。ここでは、第１例と異なる部分について主に説明する。
　第２例のモニタ表示画面６０２には、第１例と同様、現在の異常度遷移６１１、異常度遷移の一致率６１２、将来予測の異常度遷移６１３、故障可能性有りのメッセージ６１４が表示される。第２例では、データ処理装置１０は、異常度遷移の一致率が所定値以上の場合、将来予測の異常度遷移６１３として、現時点から８日後までの異常度遷移を表示する。すなわち、現時点の異常度の値を、現在の異常度遷移６１１と将来予測の異常度遷移６１３とで一致させた状態で表示する。なお、異常度遷移を表示する表示期間は、ユーザ操作による表示内容指示によって、表示区間のレンジを変更することが可能である。また、異常度遷移、一致率などの表示項目、グラフの表示態様など、各種表示内容を、ユーザ操作による表示内容指示によって変更することも可能である。このような表示画面により、ユーザは現在から近い将来まで連続的に推移する異常度の遷移を確認できる。
　図５は、本実施の形態に係る異常予測システムにおけるモニタ表示画面の第３例を示す図である。第３例は、第１例において異常度遷移の一致率が所定値未満の場合を示す例である。ここでは、第１例と異なる部分について主に説明する。
　第３例のモニタ表示画面６０３には、第１例と同様、現在の異常度遷移６１１が表示される。第３例では、データ処理装置１０は、異常度解析処理の結果に基づき、異常度遷移の一致率が所定値未満であり、過去の観測データの異常度遷移に一致するものが存在しない場合、将来予測の異常度遷移６１３を表示せずに非表示とする。なお、データ処理装置１０は、故障発生予測処理の結果に基づき、近い将来に故障が発生する可能性が所定値未満で故障可能性が小さい場合、将来予測の異常度遷移６１３を非表示とし、現在の異常度遷移６１１のみを表示してもよい。このとき、データ処理装置１０は、故障可能性無しを報知するメッセージ６１５を表示する。故障可能性無しのメッセージ６１５は、「故障する可能性はありません」などのテキストだけでなく、アイコン、イメージ等を用いて表示してもよい。また、故障発生予測処理の結果として、所定のアルゴリズム又は機械学習処理を用いて、故障の発生確率を予測して算出し、発生確率を含むメッセージを表示してもよい。なお、異常度遷移を表示する表示期間は、ユーザ操作による表示内容指示によって、表示区間のレンジを変更することが可能である。また、異常度遷移などの表示項目、グラフの表示態様など、各種表示内容を、ユーザ操作による表示内容指示によって変更することも可能である。
　図６は、本実施の形態に係る異常予測システムにおけるモニタ表示画面の第４例を示す図である。第４例は、異常原因ごとの将来予測の異常度を表示する例である。
　第４例のモニタ表示画面６０７には、第１例と同様、現在の異常度遷移６１１、異常度遷移の一致率６１２、将来予測の異常度遷移６１３が表示され、さらに、異常原因ごとの異常度割合６１６と、故障可能性有りのメッセージ６１７とが表示される。第４例では、データ処理装置１０は、評価部１３において、取得した１つの音データに関して、音データに含まれる情報から異常原因ごとに分類して異常度を算出し、過去、現在、未来にわたる異常原因ごとの異常判定、故障発生予測を実行する。異常原因ごとの異常度は、音データの特性の推移によって算出可能である。例えば、対象装置が冷却ファンである場合、異常原因としては、ファンの刃欠け、目詰まり、ベルトの緩みなどの複数の異常原因が挙げられる。
　データ処理装置１０は、表示処理部１４により、異常度解析処理及び故障発生予測処理の結果に基づき、棒グラフ等により異常原因ごとの異常度割合６１６を表示する。異常原因ごとの異常度割合６１６は、例えば、「○○故障：ｘｘ％、××故障：ｙｙ％、△△故障：ｚｚ％」のように音データに対する各異常原因の割合表示を含む。異常原因ごとの異常度割合６１６は、図示例のように、１つの対象装置について異常原因ごとの結果を纏めて、１つのグラフによって表示すると、視認性が良く好ましい。また、データ処理装置１０は、故障発生予測処理の結果に基づき、近い将来に所定値以上で故障可能性がある場合、該当する異常原因に関する故障可能性有りのメッセージ６１７を表示する。これにより、対象装置における部品、部材、ユニット等の構成単位の異常推定ではなく、どのような原因で故障可能性が生じるかなど、原因又は現象ごとに発生する異常の推定を実施可能となる。異常原因ごとの異常推定を行い、表示画面に表示することにより、原因によってはメンテナンスのみで対応可能である、修理又は交換が必要であるなど、ユーザにおいて異常原因に応じた適切な処置が可能になる。
　図７は、本実施の形態に係る異常予測システムにおけるモニタ表示画面の第５例を示す図である。第５例は、第４例の変形例であり、故障可能性有りのメッセージの表示態様を変更した例である。ここでは、第１例と異なる部分について主に説明する。
　第５例のモニタ表示画面６０８には、第４例と同様、現在の異常度遷移６１１、異常度遷移の一致率６１２、将来予測の異常度遷移６１３、異常原因ごとの異常度割合６１６、故障可能性有りのメッセージ６１８が表示される。第５例では、データ処理装置１０は、算出した異常原因ごとの異常度割合に基づき、故障可能性有りのメッセージ６１８として、故障が発生する可能性の割合を異常原因ごとに表示する。故障可能性有りのメッセージ６１８は、例えば、「○○故障：ｘｘ％、××故障：ｙｙ％、△△故障：ｚｚ％」のように音データに対する各異常原因により故障が発生する可能性の割合表示を含む。このような表示画面により、ユーザは異常原因ごとの異常度の割合、及び異常原因ごとの故障発生の可能性を確認することができる。
　次に、本実施の形態の異常予測システムにおける異常予測方法に関する処理手順の一例を示す。
　図８は、本実施の形態に係るイベント入力処理の手順の一例を示すフローチャートである。異常予測システムにおいて、ユーザは、対象装置の点検や補修の際などに、装置故障、補修、点検等の実績を示す装置イベントを入力し、過去に発生したイベントの履歴を記録する。データ処理装置１０は、ユーザ操作入力部１５において、ユーザの装置イベント入力に対応するイベント入力処理を実行する。
　データ処理装置１０は、ユーザ操作入力部１５の装置イベント入力部１５１において、ユーザ操作によりキーボード６３等から入力される装置故障、補修、点検等の実績を示す装置イベントを受け付ける（Ｓ１１）。装置イベントには、対象装置の装置名や型番、シリアル番号等による装置識別情報、日付や時間等の時間情報、発生したイベント名称等のイベント種別情報などが含まれる。そして、データ処理装置１０は、装置イベントの情報を記憶部１２のイベントタグ記憶部１２３にイベントタグとして格納し登録する（Ｓ１２）。装置イベントを示すイベントタグの情報は、評価部１３の故障発生予測処理において、異常度遷移に基づく故障可能性の有無判定などに利用することができる。例えば、過去の点検結果や補修実績などを故障発生予測のパラメータに用いることによって、予測精度を向上できる。
　図９は、本実施の形態に係る異常度算出処理の手順の一例を示すフローチャートである。データ処理装置１０は、データ入力部１１において、マイク６１から入力される対象装置の音データに関する異常度算出処理を実行する。
　データ処理装置１０は、データ入力部１１の音響解析部１１１において、マイク６１により収音した冷却ファン５０の音データ（又は振動データ）を取得し（Ｓ２１）、周波数変換処理などの前処理を施して音データの信号の解析を行う（Ｓ２２）。これにより、音データの周波数特性などの特徴要素を取得する。このとき、データ処理装置１０は、記憶部１２の音データ記憶部１２１に取得した音データを格納する。そして、データ入力部１１の異常度算出部１１２において、取得した音データの異常度を算出する（Ｓ２３）。
　ここで、異常度算出方法の一例を示す。異常度Ａは、音響解析結果の音データの周波数特性を用いて、対象の現在の測定データと過去の測定結果との周波数毎の距離の総和に基づいて算出可能であり、例えば各周波数毎の音圧の最大値又は最小値を超えた量の総和によって求められる。すなわち、周波数毎の音圧が最大値又は最小値を超えた場合の、その測定値と最大値又は最小値との距離の総和によって異常度Ａを算出する。異常度Ａを数式で表すと以下の式（１）のようになる。
　　Ａ＝Σ（１／ｎ）ｄｉ　　　…（１）
　　　ただし、Σはｉ＝０～ｎ－１、音響周波数帯域の０Ｈｚから２４ｋＨｚにおいて１０２４ステップ（ｎ＝１０２４）の範囲で（１／ｎ）ｄｉを加算するものであり、
　　　ある周波数の音圧値をｘｉとしたとき、Ｓｍａｘ＜ｘｉの場合はｄｉ＝｜Ｓｍａｘ－ｘｉ｜、Ｓｍｉｎ＞ｘｉの場合はｄｉ＝｜Ｓｍｉｎ－ｘｉ｜、Ｓｍｉｎ≦ｘｉ≦Ｓｍａｘの場合はｄｉ＝０である。
　式（１）を用いて、０Ｈｚから２４ｋＨｚのいずれかの周波数において音圧値ｘｉが最大値又は最小値を超えた場合、音圧値ｘｉと最大値又は最小値との距離ｄｉを算出し、０Ｈｚから２４ｋＨｚの全周波数において距離ｄｉを加算して総和を求めることにより、異常度Ａを算出する。なお、異常度Ａは、周波数によって所定の重み付けを行うなど、処理対象の周波数特性、周囲環境、収音条件などに応じて、所定の係数を用いて算出してもよい。
　次に、データ処理装置１０は、異常度算出部１１２により算出した異常度のデータを記憶部１２の異常度記憶部１２２に格納し、直近の異常度の値を更新する（Ｓ２４）。また、データ処理装置１０は、表示処理部１４の異常度遷移表示部１４１において、更新した直近の異常度を用いた異常度遷移の画像を生成し、モニタ表示画面の異常度遷移のグラフを更新する（Ｓ２５）。これにより、モニタ６２に表示されるモニタ表示画面において、現在の異常度遷移を示すグラフ表示が更新される。
　図１０は、本実施の形態に係る異常評価処理の手順の一例を示すフローチャートである。データ処理装置１０は、評価部１３において、対象装置の観測データの異常度推移に基づく異常評価処理を実行する。
　データ処理装置１０は、評価部１３の異常度遷移マッチング部１３１において、異常度記憶部１２２に格納された直近の異常度遷移データ７０２と過去の故障時の異常度遷移データ７０１とを参照し、過去の故障時の異常度遷移と直近の異常度遷移とのマッチング処理を行う（Ｓ３１）。そして、評価部１３の故障発生予測部１３２において、マッチング処理の結果により一致度が高い過去の故障時の異常度遷移に基づき、近い将来に対象装置が故障する可能性があるかどうか判定し、異常予測結果として出力する（Ｓ３２）。一致率の算出方法としては、例えば、過去の異常度遷移と直近の異常度遷移とをサンプル（例えば点検日毎の異常度値）ごとに比較し、差分が所定値以下で一致しているサンプル数の割合を算出してパーセントで示す方法などを用いればよい。また、コーエンの一致係数等の所定の係数又は評価式を用いて一致率を算出してもよい。
　ここで、近い将来の故障発生の可能性が少ない場合、表示処理部１４の異常度遷移表示部１４１及び異常予測結果表示部１４２において、正常判定の表示を行うモニタ表示画面を生成し、モニタ６２に表示させる（Ｓ３３）。この場合、例えば図５に示した第３例のモニタ表示画面を表示させる。また、近い将来の故障発生の可能性がある場合、表示処理部１４の異常度遷移表示部１４１及び異常予測結果表示部１４２において、将来可能性がある異常度遷移を表示するモニタ表示画面を生成し、モニタ６２に表示させる（Ｓ３４）。この場合、例えば図３に示した第１例又は図４に示した第２例のモニタ表示画面を表示させる。これにより、モニタ６２に表示されるモニタ表示画面において、現在の異常度遷移を示すグラフ表示と、故障発生可能性等の異常予測結果を示すメッセージ表示とが表示される。
　また、データ処理装置１０は、故障発生予測部１３２による故障発生可能性等の異常予測結果を含む異常予測データを記憶部１２の評価結果記憶部１２４に格納し、異常予測結果（故障発生予測）を更新する（Ｓ３５）。
　図１１は、実施の形態１に係る異常予測システムの動作を示すシーケンス図である。図１１では、実施の形態１の異常予測システムにおける、ユーザインタフェースとしてのマイク６１、モニタ６２と、データ処理装置１０とにおける処理の流れを示している。
　マイク６１により対象装置である冷却ファン５０の音データ（又は振動データ）を収音して取得し（Ｓ４１）、データ処理装置１０は、取得した音データを入力して音データ記憶部１２１に記憶し、音データを更新する（Ｓ５１）。そして、データ処理装置１０は、音データの信号の解析を行い（Ｓ５２）、異常度の算出を行う（Ｓ５３）。次に、データ処理装置１０は、算出した異常度によって直近の異常度の値を更新し（Ｓ５４）、モニタ６２に異常度遷移のグラフの表示出力を行い（Ｓ４２）、算出した異常度のデータを異常度記憶部１２２に記憶し、異常度データを更新する（Ｓ５５）。これにより、モニタ６２には現在までの異常度遷移のグラフ表示等が表示される。
　次に、データ処理装置１０は、過去の故障時の異常度遷移と直近の異常度遷移とのマッチング処理を行い（Ｓ５６）、マッチング処理の結果に基づき、近い将来に対象装置において発生する可能性のある異常があるかどうか、故障可能性を判定する（Ｓ５７）。また、データ処理装置１０は、モニタ６２に出力する異常度遷移の予測グラフを更新し、故障可能性の有無を示すメッセージ表示を出力する（Ｓ４３）。これにより、モニタ６２の表示画面において、異常度遷移の予測グラフのグラフ表示が更新され、故障可能性の有無を示すメッセージ表示が表示される。そして、データ処理装置１０は、故障発生可能性等の異常予測結果を含む異常予測データを評価結果記憶部１２４に記憶し、異常予測データを更新する（Ｓ５８）。
　上述したように、本実施の形態では、対象装置の音データ又は振動データの処理対象データを取得して異常度を算出し、異常度データを格納して蓄積する。そして、現在の処理対象データの直近の異常度推移について、過去の異常度推移とのマッチング処理を行って一致率が所定値以上となる一致度が高い異常度推移を抽出し、一致度が高い異常度推移によって近い将来に故障可能性があるかどうか判定する。また、処理結果として、直近の異常度推移を表示し、一致度が高い異常度推移がある場合はこれを将来予測の異常度推移として表示し、故障可能性を示す予測結果を表示する。これにより、ユーザは、対象装置及びセンサ、並びに測定結果に関する専門知識やノウハウを必要とせずに、現状の異常度推移と、将来予測される異常度推移とを目視確認して容易に把握でき、異常状態の判定及び予測を容易に実施できる。また、近い将来の異常度推移の予測結果、及び故障可能性の予測結果をユーザに提供できるため、ユーザは異常度の動向を確認し、対象装置に故障が発生する前に、故障の予兆を容易に把握することができる。よって、対象装置に対する高度な保守を実施することが可能になる。
（実施の形態２）
　図１２は、実施の形態２に係る異常予測システムの概略構成の一例を示す図である。実施の形態２の異常予測システムは、データ処理装置による処理を、手元の端末装置２０とネットワーク上のクラウドコンピュータ３０とにおいて分散して実行する構成例である。
　端末装置２０は、プロセッサ及びメモリを有する情報処理装置により構成されるローカルコンピュータであり、ユーザインタフェースとしてのマイク６１、モニタ６２、キーボード６３と接続される。端末装置２０は、デスクトップ型又はノート型のＰＣ（Personal Computer）、タブレット端末、スマートフォン等の各種の情報処理装置を用いることができる。クラウドコンピュータ３０は、有線又は無線のネットワーク又は通信回線等の通信路８０を介して端末装置２０と接続され、ネットワーク上に設けられるサーバ装置を含む遠隔の情報処理装置（リモートコンピュータ）により構成される。異常予測システムの全体の機能は図１に示した実施の形態１と同様であり、ここでは実施の形態１と異なる部分を中心に説明する。
　図１３は、実施の形態２に係る異常予測システムの機能的構成の一例を示すブロック図であり、図１２に示した端末装置２０及びクラウドコンピュータ３０のサーバ装置４０における機能的な構成を示している。端末装置２０、サーバ装置４０の各機能は、ＣＰＵ、ＤＳＰ等のプロセッサと、ＲＡＭ、ＲＯＭ等のメモリとを含むコンピュータによって、所定のプログラムに従って処理を実行することにより実現する。
　端末装置２０は、プロセッサ及びメモリを有する情報処理装置により構成され、データ入力部２１、表示処理部２４、ユーザ操作入力部２５、通信部２６を含む。データ入力部２１は、実施の形態１の音響解析部１１１と同様の音響解析部２１１を有する。なお、音響解析部２１１の機能をサーバ装置４０に有するようにしてもよい。表示処理部２４は、実施の形態１の異常度遷移表示部１４１、異常予測結果表示部１４２と同様の異常度遷移表示部２４１、異常予測結果表示部２４２を有する。ユーザ操作入力部２５は、実施の形態１の装置イベント入力部１５１、表示内容指示入力部１５２と同様の装置イベント入力部２５１、表示内容指示入力部２５２を有する。通信部２６は、有線又は無線の通信インタフェースを有し、通信路８０を介してサーバ装置４０と通信を行う。
　サーバ装置４０は、プロセッサ及びメモリを有する情報処理装置により構成され、異常度算出部４１２、記憶部４２、評価部４３、ユーザ操作入力部４５、通信部４６を含む。異常度算出部４１２は、実施の形態１の異常度算出部１１２と同様の機能を有する。記憶部４２は、実施の形態１の音データ記憶部１２１、異常度記憶部１２２、イベントタグ記憶部１２３、評価結果記憶部１２４と同様の音データ記憶部４２１、異常度記憶部４２２、イベントタグ記憶部４２３、評価結果記憶部４２４を有する。評価部４３は、実施の形態１の異常度遷移マッチング部１３１、故障発生予測部１３２と同様の異常度遷移マッチング部４３１、故障発生予測部４３２を有する。ユーザ操作入力部４５は、実施の形態１の装置イベント入力部１５１と同様の装置イベント入力部４５１を有し、サーバ装置４０においても装置イベントの入力処理が可能となっている。通信部４６は、通信路８０を介して端末装置２０と通信を行い、端末装置２０との間で音データ、解析処理後の音データ、異常度データ、イベントタグ、異常予測の評価結果データ等を送受信する。
　実施の形態２では、端末装置２０において対象装置の音データの取得、異常度遷移及び故障発生予測等の処理結果の表示を行い、サーバ装置４０において異常度の算出、故障発生予測等の処理負荷が比較的大きい処理を実行する。
　図１４は、実施の形態２に係る異常予測システムの動作を示すシーケンス図である。図１４では、実施の形態２の異常予測システムにおける、ユーザインタフェースとしてのマイク６１、モニタ６２、キーボード６３と、端末装置２０と、サーバ装置４０とにおける処理の流れを示している。
　マイク６１により対象装置である冷却ファン５０の音データ（又は振動データ）を収音して取得し（Ｓ６１）、端末装置２０は、取得した音データを入力して音データの信号の解析を行う（Ｓ７１）。そして、端末装置２０は解析処理後の音データをサーバ装置４０に送信する。サーバ装置４０は、端末装置２０から受信した音データを入力して音データ記憶部４２１に記憶し、音データを更新し（Ｓ８１）、音データについて異常度の算出を行う（Ｓ８２）。次に、サーバ装置４０は、算出した異常度によって直近の異常度の値を更新し（Ｓ８３）、算出した異常度のデータを異常度記憶部４２２に記憶し、異常度データを更新する（Ｓ８４）。また、サーバ装置４０は、端末装置２０に対して算出した異常度遷移に関するデータを送信する。
　端末装置２０は、サーバ装置４０からの異常度遷移に関する処理結果を受信し、メモリ又はストレージデバイスによる記憶部に一時格納する（Ｓ７２）。そして、端末装置２０は、モニタ６２に異常度遷移のグラフの表示出力を行う（Ｓ６２）。これにより、モニタ６２には現在までの異常度遷移のグラフ表示等が表示される。
　次に、サーバ装置４０は、過去の故障時の異常度遷移と直近の異常度遷移とのマッチング処理を行い（Ｓ８５）、マッチング処理の結果に基づき、近い将来に対象装置において発生する可能性のある異常があるかどうか、故障可能性を判定する（Ｓ８６）。また、サーバ装置４０は、端末装置２０に対して故障発生予測に関するデータを送信する。そして、サーバ装置４０は、故障発生可能性等の異常予測結果を含む異常予測データを評価結果記憶部１２４に記憶し、異常予測データを更新する（Ｓ８７）。
　端末装置２０は、サーバ装置４０からの故障発生予測に関する処理結果を受信し、記憶部に一時格納する（Ｓ７３）。そして、端末装置２０は、モニタ６２に出力する異常度遷移の予測グラフを更新し、故障可能性の有無を示すメッセージ表示を出力する（Ｓ６３）。これにより、モニタ６２の表示画面において、異常度遷移の予測グラフのグラフ表示が更新され、故障可能性の有無を示すメッセージ表示が表示される。
　また、端末装置２０は、キーボード６３からの表示内容の変更指示を受け付け（Ｓ６４）、記憶部に一時格納した処理結果のデータをもとに、変更指示に従ってモニタ表示画面を生成し、表示内容を変更する（Ｓ７４）。表示内容としては、異常度遷移の表示区間のレンジ、グラフの表示態様、対象装置の識別情報や測定条件等の各種情報の表示項目など、種々の表示情報を変更可能である。そして、端末装置２０は、モニタ６２に表示内容変更後の表示画面を出力し、異常度遷移のグラフなどの再表示を行う（Ｓ６５）。これにより、モニタ６２にはユーザ操作に応じた表示内容の処理結果のモニタ表示画面が表示される。
　本実施の形態によれば、ユーザが専門知識やノウハウを必要とせずに、現状の異常度推移と、将来予測される異常度推移とを目視確認して容易に把握でき、異常状態の判定及び予測を容易に実施できる。また、近い将来の異常度推移の予測結果、及び故障可能性の予測結果をユーザが容易に確認し、対象装置に故障が発生する前に、故障の予兆を把握することができる。
　本実施の形態では、異常予測に関する処理をネットワーク又は通信回線等を介して接続される複数の情報処理装置において分散して実行する構成となっている。特に、異常度の算出処理、異常度推移のマッチング処理、故障発生の予測処理については、高い処理能力を持つサーバ装置等の情報処理装置を用いて実行することにより、複雑なアルゴリズム演算や高速処理などへの対応が容易になる。なお、異常予測に関する各処理は、データ入力部を有するローカルの端末装置と、通信路を介して接続されるリモートのサーバ装置など、複数の情報処理装置において、処理毎に適宜割り当てて実行してもよい。例えば、システム構成、使用環境、データ処理のアルゴリズム、データ量、データ特性、出力態様などの各種条件に応じて、本実施の形態に係る各処理を適切な情報処理装置にて実行することが可能である。このように、異常予測システムのシステム構成に応じて処理を分散して実行することにより、効率良く高速に異常度解析及び故障発生予測等の異常予測の評価結果を得ることができる。
（実施の形態３）
　図１５は、実施の形態３に係る異常予測システムの概略構成の一例を示す図である。実施の形態３の異常予測システムは、実施の形態２の変形例であり、端末装置としてマイク（収音部の一例）、モニタ（表示部の一例）、及びカメラ（撮像部の一例）を有するスマートフォン等の携帯通信端末２０Ａを用いた構成例である。携帯通信端末２０Ａは、モバイルネットワーク、無線ＬＡＮ等の無線通信によるネットワークに接続され、有線又は無線のネットワーク又は通信回線等の通信路８０を介してサーバ装置を含むクラウドコンピュータ３０に接続される。携帯通信端末２０Ａは、実施の形態２の端末装置２０と同様の機能を有する。ここでは実施の形態２と異なる部分について説明する。
　対象装置であるコンピュータの冷却ファン５０には、対象装置の識別情報を含む識別マーク５５が設けられている。識別マーク５５は、対象装置の周囲など、近傍に設けていてもよく、対象装置との測定距離、測定位置を規定可能な範囲で適宜配置すればよい。識別マーク５５は、ＱＲコード（登録商標）等の二次元コード、バーコード、カラーコードなど、所定の大きさに形成された各種のコード又は画像を用いることができる。携帯通信端末２０Ａは、自装置のカメラによって識別マーク５５を撮像することにより、対象装置の識別情報を取得するとともに、撮像した識別マーク５５の大きさによって自装置のマイクから対象装置までの規定の測定距離を確保可能となっている。
　図１６は、実施の形態３に係る異常予測システムにおける端末装置の表示画面の一例を示す図である。冷却ファン５０の音データを収音して取得する際には、ユーザが携帯通信端末２０Ａのカメラにて識別マーク５５を撮像する。携帯通信端末２０Ａは、ディスプレイ６２Ａに表示される表示画面６０４において、識別マークの撮像画像表示部６０５と異常度遷移を含む処理結果表示部６０６とを表示する。撮像画像表示部６０５には、識別マークの大きさの上限及び下限を示すガイド表示としてのガイド枠６２１、６２２が表示され、撮像された識別マーク画像６２３が表示される。識別マーク画像６２３の外形が外側のガイド枠６２１と内側のガイド枠６２２の間に収まるように、ユーザが携帯通信端末２０Ａを保持することにより、対象装置（冷却ファン５０）の測定位置、測定距離を担保できる。これにより、異常度遷移を継続的に取得して故障判定を実行するにあたり、常に適切な同一の測定位置、測定距離で測定した音データを取得可能である。携帯通信端末２０Ａは、識別マーク画像６２３がガイド枠６２１、６２２の範囲内に収まった場合に、マイクにて収音した冷却ファン５０の音データを入力し、その後の処理を実行する。
　携帯通信端末２０Ａは、撮像画像表示部６０５において識別マーク画像６２３がガイド枠６２１、６２２の間にある状態で、自装置のマイクによって冷却ファン５０の音を収音し、音データを取得する。このとき、携帯通信端末２０Ａは、ユーザが録音ボタンをオンした状態で、識別マーク画像６２３がガイド枠６２１、６２２の範囲内にある場合に、マイクによる収音を開始する。或いは、識別マーク画像６２３がガイド枠６２１、６２２の範囲内にある場合に録音ボタンをアクティブとし、その後ユーザが録音ボタンを操作することによって収音を開始してもよい。その後の処理は実施の形態２と同様である。
　本実施の形態によれば、ユーザが専門知識やノウハウを必要とせずに、現状の異常度推移と、将来予測される異常度推移とを目視確認して容易に把握でき、異常状態の判定及び予測を容易に実施できる。また、近い将来の異常度推移の予測結果、及び故障可能性の予測結果をユーザが容易に確認し、対象装置に故障が発生する前に、故障の予兆を把握することができる。
　本実施の形態のように、携帯通信端末を用いて、カメラ撮像画像による測定位置及び測定距離の設定、音データの取得、及び処理結果を表示を行うことによって、異常度推移の把握、異常状態の判定、故障可能性の予測等を簡便に実施することができる。また、異常予測に関する処理を実行するサーバ装置に、対応するアプリケーションソフトウェアを有する携帯通信端末を接続することによって、システムを構成できるので、種々の環境において容易に異常予測システムを実現できる。
（実施の形態４）
　図１７は、実施の形態４に係る異常予測システムの機能的構成の一例を示すブロック図である。実施の形態４の異常予測システムは、実施の形態１の構成に加えて、音データの再生機能及び音データの可視化機能を有する構成例である。ここでは実施の形態１と異なる部分を中心に説明し、同様の構成及び機能については説明を省略する。
　データ処理装置１０Ｂは、プロセッサ及びメモリを有する情報処理装置により構成され、データ入力部１１、記憶部１２、評価部１３、出力処理部１４Ｂ、ユーザ操作入力部１５Ｂ、データ可視化部１７を含む。
　データ可視化部１７は、スペクトログラム解析部１７１、振幅値算出部１７２を含み、音データのスペクトログラムの生成処理、音データの時間経過に伴う振幅値の算出処理など、音物理量の可視化データを生成する可視化処理を実行する。スペクトログラム解析部１７１は、指定された検査情報に紐付いた音データを参照し、スペクトログラム解析処理によって音データの周波数スペクトルを算出して各周波数成分の時間変化の特性を画像化したスペクトログラムを生成する。検査情報は、取得した音データに関する取得時の日付、時間、対象装置又は部位などの各種検査属性を含むものである。スペクトログラム解析部１７１は、スペクトログラムの生成処理において、音データに対してフーリエ変換、ウェーブレット変換等を行って時間－周波数特性を算出する。なお、スペクトログラムの生成の際に、所定の周波数帯域の代表値によって圧縮する処理を加えてもよい。データ可視化部１７は、生成したスペクトログラムによる可視化データを可視化データ表示部１４３に出力する。
　振幅値算出部１７２は、指定された検査情報に紐付いた音データを参照し、所定時間毎の音データの振幅値を算出して音量の時間遷移を表す時間遷移グラフを生成する。データ可視化部１７は、生成した音量の時間遷移グラフによる可視化データを可視化データ表示部１４３に出力する。なお、データ可視化部１７は、スペクトログラム、音量の時間遷移に限らず、その他の音物理量の可視化データを生成してもよい。
　出力処理部１４Ｂは、モニタ６２を接続するビデオインタフェース及びスピーカ６４を接続するオーディオインタフェースを有し、異常度遷移表示部１４１、異常予測結果表示部１４２、可視化データ表示部１４３、音再生部１４４を含む。出力処理部１４Ｂは、モニタ表示用の画像処理、及び音データの再生処理を実行する。可視化データ表示部１４３は、データ可視化部１７による音データの可視化処理に基づき、音のスペクトログラム、音量の時間遷移グラフ等の可視化データを表示する表示画面を生成する。音再生部１４４は、音データのデコード、信号増幅等を行い、再生用の音信号をスピーカ６４に出力する。
　ユーザ操作入力部１５Ｂは、キーボード６３、図示しないマウス等のポインタデバイスを接続する入力インタフェースを有し、装置イベント入力部１５１、表示内容指示入力部１５２、可視化データ表示操作部１５３、音再生操作部１５４を含む。可視化データ表示操作部１５３は、ユーザ操作により入力される可視化対象の音データの選択指示を受け付け、データ可視化部１７及び記憶部１２に可視化対象の音データを指定する可視化対象音の検査情報を入力する。また、可視化データ表示操作部１５３は、出力処理部１４Ｂに可視化データの表示態様などを含む可視化表示情報を入力する。音再生操作部１５４は、ユーザ操作により入力される再生対象の音データの選択指示を受け付け、出力処理部１４Ｂ及び記憶部１２に再生対象の音データを指定する再生対象音の検査情報を入力する。
　次に、実施の形態４の異常予測システムにおいて、モニタ６２に表示する表示画面の例をいくつか示す。
　図１８は、実施の形態４に係る異常予測システムにおけるモニタ表示画面の第１例を示す図である。図示例のモニタ表示画面は、出力処理部１４Ｂによってモニタ表示用の画像データが生成され、モニタ６２に出力されて表示される。
　実施の形態４の第１例は、音データを再生出力する場合のモニタ表示画面の一例である。モニタ表示画面６３１には、実施の形態１と同様、現在の異常度遷移６１１、異常度遷移の一致率６１２、将来予測の異常度遷移６１３、故障可能性有りのメッセージ６１４が表示される。また、モニタ表示画面６３１には、音再生を行う対象の音データを指定するカーソル６４１が表示される。実施の形態４の第１例では、データ処理装置１０Ｂは、モニタ表示画面の異常度遷移６１１、６１３において、各音データを示す点のうち、所定の音データをカーソル６４１で指示してクリック操作する等のユーザ操作により、再生対象の音データの選択指示を受け付ける。データ処理装置１０Ｂは、選択指示された再生対象音の検査情報を入力し、指定された検査情報に紐付いた音データを再生出力し、音信号をスピーカ６４より出力して再生する。再生する音データは、過去の観測データを記憶した音データ（計測データ）、過去の観測データに基づいた将来の異常度遷移の予測結果により故障可能性が高い（異常度が高い）と予測される音データ（推測データ）など、過去、現在、将来予測のそれぞれの音データを再生可能である。
　また、データ処理装置１０Ｂは、モニタ表示画面の異常度遷移６１１、６１３において、複数の音データをカーソル６４１で指示してクリック操作する等のユーザ操作により、複数の再生対象の音データの選択指示を受け付ける。この場合、データ処理装置１０Ｂは、複数選択された音データの再生データを一覧表示する再生音声リスト６４２を生成し、モニタ表示画面６３１に再生音声リスト６４２と再生指示を入力する再生ボタン６４３とを表示する。図示例では、再生データとして、３月４日の計測データ、３月８日の計測データ、３月１６日の推測データを選択した場合を示している。ユーザが再生音声リスト６４２の音データを確認し、再生ボタン６４３のクリック操作等により再生指示操作を行うと、データ処理装置１０Ｂは、複数選択された再生音声リスト６４２の音データを連続して再生する。図示例の場合、３月４日の計測データ、３月８日の計測データ、３月１６日の推測データが連続して再生される。例えば、時間経過に伴って異常度が上昇する場合に、複数の音データを選択して連続再生することにより、ユーザは異常度に対する音の変化を確認できる。これにより、音データの異常度と再生音との関連性をユーザにフィードバックすることができる。
　図１９は、実施の形態４に係る異常予測システムにおけるモニタ表示画面の第２例を示す図である。実施の形態４の第２例は、音データをスペクトログラムによって可視化表示する場合のモニタ表示画面の一例である。
　モニタ表示画面６３２には、実施の形態１と同様、現在の異常度遷移及び将来予測の異常度遷移が表示され、さらに、可視化表示を行う対象の音データを指定するカーソル６４１が表示される。実施の形態４の第２例では、データ処理装置１０Ｂは、モニタ表示画面の異常度遷移において、各音データを示す点のうち、所定の音データをカーソル６４１で指示してクリック操作する等のユーザ操作により、可視化対象の音データの選択指示を受け付ける。データ処理装置１０Ｂは、選択指示された可視化対象音の検査情報を入力し、指定された検査情報に紐付いた音データの可視化データを生成し、スペクトログラムの可視化データ６５１をモニタ表示画面６３２に表示する。図示例では、可視化データとして、３月８日の音データに対応するスペクトログラムを示しており、横軸は時間、縦軸は周波数を表している。スペクトログラムによって、異常時の周波数特性のピークの変化、ピークの増加又は減少などを把握できる。可視化表示する音データは、過去の観測データを記憶した音データ（計測データ）、過去の観測データに基づいた将来の異常度遷移の予測結果により故障可能性が高い（異常度が高い）と予測される音データ（推測データ）など、過去、現在、将来予測のそれぞれの音データの可視化情報を表示可能である。
　図２０は、図１９のモニタ表示画面において可視化データを複数表示する場合を示す図である。図２０では、複数のスペクトログラムを並べて表示する例を示している。
　データ処理装置１０Ｂは、モニタ表示画面６３２の異常度遷移において、複数の音データをカーソル６４１で指示してクリック操作する等のユーザ操作により、複数の可視化対象の音データの選択指示を受け付ける。この場合、データ処理装置１０Ｂは、複数選択された音データの表示データを一覧表示する表示音声リスト６５２を生成し、モニタ表示画面６３２に表示音声リスト６５２と表示指示を入力する表示ボタン６５３とを表示する。図示例では、表示データとして、３月４日の計測データ、３月８日の計測データ、３月１６日の推測データを選択した場合を示している。ユーザが表示音声リスト６５２の音データを確認し、表示ボタン６５３のクリック操作等により可視化指示操作を行うと、データ処理装置１０Ｂは、複数選択された表示音声リスト６５２の音データの可視化データを生成する。そして、データ処理装置１０Ｂは、複数のスペクトログラムを連結した可視化データ６５４をモニタ表示画面６３２に表示する。図示例の場合、３月４日の計測データ、３月８日の計測データ、３月１６日の推測データの各スペクトログラムが並べて表示される。例えば、時間経過に伴って異常度が上昇する場合に、複数の音データを選択して可視化表示することにより、ユーザは可視化データによって異常度に対する周波数特性の変化を容易に確認できる。これにより、音データの異常度と音特性との関連性をユーザにフィードバックすることができる。
　図２１は、実施の形態４に係る異常予測システムにおけるモニタ表示画面の第３例を示す図である。実施の形態４の第３例は、音データを音量の時間遷移グラフによって可視化表示する場合のモニタ表示画面の一例である。
　モニタ表示画面６３３には、実施の形態１と同様、現在の異常度遷移及び将来予測の異常度遷移が表示され、さらに、可視化表示を行う対象の音データを指定するカーソル６４１が表示される。実施の形態４の第３例では、データ処理装置１０Ｂは、異常度遷移における所定の音データをカーソル６４１で指示する等のユーザ操作により、可視化対象の音データの選択指示を受け付ける。データ処理装置１０Ｂは、選択指示された可視化対象音の検査情報を入力し、指定された検査情報に紐付いた音データの可視化データを生成し、音量の時間遷移グラフの可視化データ６５５をモニタ表示画面６３３に表示する。図示例では、可視化データとして、３月８日の音データに対応する音量の時間遷移を表す時間遷移グラフを示しており、横軸は時間、縦軸は音量の音圧レベルを表している。音量の時間遷移グラフによって、異常時の音量のレベル変化、音量の増加などを把握できる。スペクトログラムと同様に、音量の時間遷移についても、過去の計測データ、将来の予測結果に基づく推測データなど、過去、現在、将来予測のそれぞれの音データの可視化情報を表示可能である。
　図２２は、図２１のモニタ表示画面において可視化データを複数表示する場合の一例を示す図である。図２２では、複数の音量の時間遷移グラフを並べて表示する一つの例を示している。
　データ処理装置１０Ｂは、モニタ表示画面６３３の異常度遷移において、複数の音データをカーソル６４１で指示してクリック操作する等のユーザ操作により、複数の可視化対象の音データの選択指示を受け付ける。この場合、データ処理装置１０Ｂは、図２０に示したスペクトログラムの例と同様に、モニタ表示画面６３３に表示音声リスト６５２と表示ボタン６５３とを表示する。ユーザが表示音声リスト６５２の音データを確認し、表示ボタン６５３のクリック操作等により可視化指示操作を行うと、データ処理装置１０Ｂは、複数選択された表示音声リスト６５２の音データの可視化データを生成する。そして、データ処理装置１０Ｂは、複数の音量の時間遷移グラフを横方向に連結した可視化データ６５６をモニタ表示画面６３３に表示する。図示例の場合、３月４日の計測データ、３月８日の計測データ、３月１６日の推測データのそれぞれの音量の時間遷移グラフが、縦軸の音量を共通化した状態で並べて表示される。これにより、音量のレベル変化、時間遷移を比較可能である。このように、複数の音量の時間遷移グラフを並べて表示することにより、ユーザは可視化データによって異常度の変化に伴う音量の時間遷移を容易に確認できる。
　図２３は、図２１のモニタ表示画面において可視化データを複数表示する場合の他の例を示す図である。図２３では、複数の音量の時間遷移グラフを並べて表示する他の例を示している。ここでは、図２２と異なる部分について説明する。
　データ処理装置１０Ｂは、表示ボタン６５３のクリック操作等による可視化指示操作を受け付けると、複数選択された表示音声リスト６５２の音データの可視化データを生成する。そして、データ処理装置１０Ｂは、複数の音量の時間遷移グラフを縦方向に連結した可視化データ６５７をモニタ表示画面６３３に表示する。図示例の場合、３月４日の計測データ、３月８日の計測データ、３月１６日の推測データのそれぞれの音量の時間遷移グラフが、横軸の時間を共通化した状態で並べて表示される。これにより、音量の時間単位の変化を比較可能である。このように、複数の音量の時間遷移グラフを並べて表示することにより、ユーザは可視化データによって日付ごとの音量の時間遷移を容易に確認できる。
　次に、実施の形態４の異常予測システムにおける音データの再生及び可視化に関する処理手順の一例を示す。
　図２４は、実施の形態４に係る音データ再生処理の手順の一例を示すフローチャートである。データ処理装置１０Ｂは、ユーザ操作入力部１５Ｂの音再生操作部１５４において、ユーザ操作によりキーボード６３等から入力される再生対象の音データの選択指示を受けて、ユーザが選択した１つ又は複数の音データに対応する検査情報を受け付ける（Ｓ１１１）。そして、データ処理装置１０Ｂは、出力処理部１４Ｂの音再生部１４４において、指定された検査情報に紐付いた音データを音データ記憶部１２１より取得する（Ｓ１１２）。続いて、データ処理装置１０Ｂは、出力処理部１４Ｂの音再生部１４４において、取得した音データを再生処理し、スピーカ６４に出力して再生する（Ｓ１１３）。これにより、ユーザが選択した所定の音データが再生され、ユーザにおいて所望の音データを聴いて確認できる。
　図２５は、実施の形態４に係る音データ可視化処理の手順の一例を示すフローチャートである。データ処理装置１０Ｂは、ユーザ操作入力部１５Ｂの音再生操作部１５４において、ユーザ操作によりキーボード６３等から入力される可視化表示対象の音データの選択指示を受けて、ユーザが選択した１つ又は複数の音データに対応する検査情報を受け付ける（Ｓ１２１）。そして、データ処理装置１０Ｂは、データ可視化部１７において、指定された検査情報に紐付いた音データを音データ記憶部１２１より取得する（Ｓ１２２）。続いて、データ処理装置１０Ｂは、データ可視化部１７において、音データの可視化処理を実行し、選択された音データのスペクトログラム、音量の時間遷移グラフ等の可視化データを生成する（Ｓ１２３）。そして、データ処理装置１０Ｂは、出力処理部１４Ｂの可視化データ表示部１４３において、可視化処理結果の可視化データを表示する表示画面を生成し、モニタ６２に出力して表示する（Ｓ１２４）。これにより、ユーザが選択した所定の音データの可視化情報が表示され、ユーザにおいて所望の音データの特徴を視覚的に確認できる。
　図２６は、実施の形態４に係る異常予測システムの動作を示すシーケンス図である。図２６では、実施の形態４の異常予測システムにおける、ユーザインタフェースとしてのモニタ６２、キーボード６３、スピーカ６４と、データ処理装置１０Ｂとにおける処理の流れを示している。
　音データの再生処理を行う場合、キーボード６３等からのユーザ操作に基づき、ユーザが選択した検査情報に紐付けられた音の再生指示を入力する（Ｓ１３１）。データ処理装置１０Ｂは、ユーザ操作入力部１５Ｂにおいて、選択された検査情報を入力する。そして、データ処理装置１０Ｂは、記憶部１２に記憶された音データの中から選択された検査情報に紐付いた音データを参照し、出力処理部１４Ｂにより音データの再生処理を行って出力する（Ｓ１４１）。これにより、スピーカ６４からは選択した検査情報に紐付けられた音が再生出力される（Ｓ１３２）。
　音データの可視化処理を行う場合、キーボード６３等からのユーザ操作に基づき、ユーザが選択した検査情報に紐付けられた音の可視化指示を入力する（Ｓ１３６）。データ処理装置１０Ｂは、ユーザ操作入力部１５Ｂにおいて、選択された検査情報を入力し、記憶部１２に記憶された音データの中から、選択された検査情報に紐付いた音データを参照する（Ｓ１４６）。そして、データ処理装置１０Ｂは、データ可視化部１７により音データの可視化処理を実施し、出力処理部１４Ｂにより可視化データを出力する（Ｓ１４７）。これにより、モニタ６２には選択した検査情報に紐付けられた音の可視化データがスペクトログラム、音量の時間遷移グラフ等によって表示出力される（Ｓ１３７）。
　上述したように、本実施の形態では、異常度遷移の予測結果及び故障可能性の予測結果を用いて、ユーザにより選択された音データの再生、或いは可視化表示を行う。これにより、ユーザは、対象装置において取得した音データと、この音データに関する予測結果の異常度又は故障可能性とを関連付けて認識できる。例えば、所望の音データを指定して再生することにより、異常度と再生音との関連性を容易に確認できる。また、所望の音データを指定して音の物理量を可視化することにより、異常度と音特性との関連性を容易に確認できる。
（実施の形態５）
　図２７は、実施の形態５に係る異常予測システムの機能的構成の一例を示すブロック図である。実施の形態５の異常予測システムは、実施の形態２の構成に加えて、実施の形態４と同様に音データの再生機能及び音データの可視化機能を有する構成例である。ここでは実施の形態２及び実施の形態４と異なる部分を中心に説明し、同様の構成及び機能については説明を省略する。
　端末装置２０Ｃは、プロセッサ及びメモリを有する情報処理装置により構成され、データ入力部２１、出力処理部２４Ｃ、ユーザ操作入力部２５Ｃ、通信部２６を含む。出力処理部２４Ｃは、実施の形態４の出力処理部１４Ｂと同様の異常度遷移表示部２４１、異常予測結果表示部２４２、可視化データ表示部２４３、音再生部２４４を有する。ユーザ操作入力部２５Ｃは、実施の形態４のユーザ操作入力部１５Ｂと同様の装置イベント入力部２５１、表示内容指示入力部２５２、可視化データ表示操作部２５３、音再生操作部２５４を有する。通信部２６は、有線又は無線の通信インタフェースを有し、通信路８０を介してクラウドコンピュータ３０Ｃのサーバ装置４０Ｃと通信を行う。
　サーバ装置４０Ｃは、プロセッサ及びメモリを有する情報処理装置により構成され、異常度算出部４１２、記憶部４２、評価部４３、ユーザ操作入力部４５、通信部４６、データ可視化部４７を含む。データ可視化部４７は、実施の形態４のデータ可視化部１７と同様のスペクトログラム解析部４７１、振幅値算出部４７２を有する。通信部４６は、通信路８０を介して端末装置２０Ｃと通信を行い、端末装置２０Ｃとの間で音データ、解析処理後の音データ、異常度データ、イベントタグ、異常予測の評価結果データ、可視化データ等を送受信する。
　実施の形態５では、端末装置２０Ｃにおいて対象装置の音データの取得、異常度遷移及び故障発生予測等の処理結果の表示、音データの再生出力、音の可視化データの表示を行う。また、サーバ装置４０Ｃにおいて異常度の算出、故障発生予測、可視化データの生成等の処理負荷が比較的大きい処理を実行する。なお、サーバ装置４０Ｃは、１つ又は複数のサーバ（情報処理装置）により構成することが可能である。例えば、各種のデータを記憶する記憶サーバと、各種の処理を実行する処理サーバとを含む複数のサーバにより構成してもよい。また、サーバ装置４０Ｃにおける一部の機能を他のサーバに設けてもよい。
　図２８は、実施の形態５に係る異常予測システムの動作を示すシーケンス図である。図２８では、実施の形態５の異常予測システムにおける、ユーザインタフェースとしてのモニタ６２、キーボード６３、スピーカ６４と、端末装置２０Ｃと、サーバ装置４０Ｃとにおける処理の流れを示している。
　音データの再生処理を行う場合、キーボード６３等からのユーザ操作に基づき、ユーザが選択した検査情報に紐付けられた音の再生指示を入力する（Ｓ１５１）。端末装置２０Ｃは、ユーザ操作入力部２５Ｃにおいて、選択された検査情報の受け付け及び一時保管を行い、通信部２６よりサーバ装置４０Ｃに送信する（Ｓ１６１）。サーバ装置４０Ｃは、記憶部４２に記憶された音データの中から、選択された検査情報に紐付いた音データを参照し、端末装置２０Ｃに送信する（Ｓ１７１）。端末装置２０Ｃは、サーバ装置４０Ｃから受信した音データを一時保管し、出力処理部２４Ｃにより音データの再生処理を行って出力する（Ｓ１６２）。これにより、スピーカ６４からは選択した検査情報に紐付けられた音が再生出力される（Ｓ１５２）。
　音データの可視化処理を行う場合、キーボード６３等からのユーザ操作に基づき、ユーザが選択した検査情報に紐付けられた音の可視化指示を入力する（Ｓ１５６）。端末装置２０Ｃは、ユーザ操作入力部２５Ｃにおいて、選択された検査情報の受け付け及び一時保管を行い、通信部２６よりサーバ装置４０Ｃに送信する（Ｓ１６６）。サーバ装置４０Ｃは、記憶部４２に記憶された音データの中から、選択された検査情報に紐付いた音データを参照する（Ｓ１７６）。そして、サーバ装置４０Ｃは、データ可視化部４７により音データの可視化処理を実施し、端末装置２０Ｃに可視化データを送信する（Ｓ１７７）。端末装置２０Ｃは、サーバ装置４０Ｃから受信した可視化データを一時保管し、出力処理部２４Ｃにより可視化データを出力する（Ｓ１６７）。これにより、モニタ６２には選択した検査情報に紐付けられた音の可視化データがスペクトログラム、音量の時間遷移グラフ等によって表示出力される（Ｓ１５７）。
　本実施の形態では、異常予測システムのシステム構成に応じて処理を分散して実行することにより、効率良く高速に所定の音データの再生、或いは可視化表示を行うことができ、ユーザが音データと異常度又は故障可能性との関連性を容易に確認できる。
　以上のように、本実施の形態の異常予測システムは、対象装置から取得した音データ又は振動データの少なくとも一方を含む処理対象データを入力するデータ入力部１１と、処理対象データの異常予測に関する情報を記憶する記憶部１２と、処理対象データの異常度を算出する異常度算出部１１２と、処理対象データの直近の異常度遷移と過去の異常度遷移とを用いて、故障発生予測を含む異常予測に関する処理を実行する評価部１３と、異常度遷移と故障発生予測の結果とを含む処理結果を表示する表示画面を生成する表示処理部１４と、表示画面を表示する表示部としてのモニタ６２と、を有する。これにより、ユーザは容易に異常度遷移と故障発生予測の結果とを表示画面を確認して把握でき、異常状態の判定及び予測を容易に実施できる。また、ユーザは異常度の動向を確認し、対象装置に故障が発生する前に、故障の予兆を容易に把握できる。
　また、異常予測システムにおいて、評価部１３は、処理対象データの直近の異常度遷移と過去の異常度遷移とを比較し、所定値以上の一致率を有する一致度が高い過去の異常度遷移に基づき、対象装置の近い将来の故障可能性を予測し、故障発生予測結果として出力する。例えば、一致度が高い過去の異常度遷移をそのまま将来予測の異常度遷移として用いる、又は、一致度が高い過去の異常度遷移を用いて所定の演算処理を施して将来予測の異常度遷移を生成する、或いは、一致度が高い過去の異常度遷移を利用した機械学習処理によって異常度遷移を予測する、などの処理によって近い将来の異常度遷移の予測を行う。これにより、現在の異常度遷移に対して一致度が高い過去の異常度遷移を用いて、近い将来の故障可能性を予測し、故障発生予測結果として提供できる。
　また、異常予測システムにおいて、表示処理部１４は、直近の異常度遷移を現在の異常度遷移として表示し、一致度が高い過去の異常度遷移が存在する場合、この過去の異常度遷移を用いた将来予測の異常度遷移を表示する表示画面を生成する。これにより、一致度が高い過去の異常度遷移を用いた予測結果として、将来予測の異常度遷移を表示することで、ユーザは現在から近い将来にわたる異常度遷移の予測結果を容易に把握することができる。
　また、異常予測システムにおいて、表示処理部１４は、一致度が高い過去の異常度遷移が存在する場合、表示画面に異常度遷移の一致率を表示する。これにより、ユーザは将来予測の異常度遷移に関する一致度の程度を把握でき、故障可能性の判断などに活用できる。
　また、異常予測システムにおいて、表示処理部１４は、表示画面に故障発生予測結果を示すメッセージを表示する。例えば、故障が発生する可能性の有無、故障発生可能性がある日時、などの予測結果を表示する。これにより、ユーザは近い将来に発生し得る故障可能性の予測結果を把握できる。
　また、異常予測システムにおいて、表示処理部１４は、対象装置の近い将来の故障可能性が所定値以上である場合、表示画面に故障可能性有りを報知するメッセージを表示する。これにより、ユーザは近い将来に故障が発生する可能性があること、故障発生可能性がある日時などを把握できる。
　また、異常予測システムにおいて、評価部１３は、処理対象データに関する異常原因ごとの異常度を算出して異常予測に関する処理を実行し、表示処理部１４は、異常原因ごとの異常度の割合を表示画面に表示する。これにより、異常原因ごとの異常度を把握でき、異常原因に応じた適切な処置が可能になる。
　また、異常予測システムにおいて、表示画面の異常度遷移に基づき指定された所定の処理対象データの物理量を可視化するための可視化データを生成するデータ可視化部１７を有し、表示処理部としての出力処理部１４Ｂの可視化データ表示部１４３は、可視化データを表示画面に表示する。これにより、可視化情報によって音データの異常度と音特性との関連性を容易に把握できる。
　また、異常予測システムにおいて、可視化データ表示部１４３は、可視化データとして、一つ又は複数の処理対象データに関するスペクトログラム又は音量の時間遷移を表示画面に表示する。これにより、スペクトログラム又は音量の時間遷移によって音データの異常度と音特性との関連性を容易に把握できる。
　また、異常予測システムにおいて、表示画面の異常度遷移に基づき指定された所定の処理対象データを音信号として再生する音再生部１４４を有する。これにより、音データの異常度と再生音との関連性を容易に把握できる。
　また、異常予測システムにおいて、評価部１３は、１つ以上の統計的分類技術を用いて、対象装置の近い将来の故障可能性の予測を行う。これにより、取得した処理対象データに応じた適切な故障可能性の予測が可能となる。
　また、異常予測システムにおいて、異常度算出部１１２は、１つ以上の統計的分類技術を用いて、処理対象データの異常度の算出を行う。これにより、取得した処理対象データに応じた適切な異常度の算出が可能となる。
　また、異常予測システムにおいて、記憶部１２、異常度算出部１１２、評価部１３、表示処理部１４を有する情報処理装置としてのデータ処理装置１０を備える。これにより、データ処理装置１０において、異常度の算出、故障発生予測を含む異常予測に関する処理、異常度遷移と故障発生予測の結果とを含む処理結果を表示する表示画面の生成を行い、ユーザに異常度推移、故障発生予測の結果等を提供できる。
　また、異常予測システムにおいて、データ入力部２１、表示処理部２４を有する端末装置２０と、記憶部４２、異常度算出部４１２、評価部４３を有するサーバ装置４０と、を備える。これにより、端末装置２０とサーバ装置４０とにおいて分散して処理を実行し、異常度の算出、故障発生予測を含む異常予測に関する処理、異常度遷移と故障発生予測の結果とを含む処理結果を表示する表示画面の生成を行い、ユーザに異常度推移、故障発生予測の結果等を提供できる。
　また、異常予測システムにおいて、端末装置としての携帯通信端末２０Ａは、対象装置の処理対象データを取得する収音部としてのマイクと、対象装置に対応する識別マーク５５を撮像する撮像部としてのカメラと、識別マークの撮像画像を表示する表示部としてのディスプレイ６２Ａと、を有する。表示処理部は、識別マーク５５の撮像画像の大きさを規定するためのガイド表示としてのガイド枠６２１、６２２と、撮像部が識別マーク５５を撮像した撮像画像としての識別マーク画像６２３とを表示部の表示画面に表示し、データ入力部は、撮像画像がガイド表示の範囲内に収まった場合に、対象装置の処理対象データを入力する。これにより、携帯通信端末２０Ａを用いて、撮像画像による測定位置及び測定距離の設定、音データの取得、及び処理結果の表示を行うことによって、異常度推移の把握、異常状態の判定、故障可能性の予測等を簡便に実施できる。
　本実施の形態の異常予測方法は、対象装置から取得した音データ又は振動データの少なくとも一方を含む処理対象データを入力し、処理対象データの異常予測に関する情報を記憶し、処理対象データの異常度を算出し、処理対象データの直近の異常度遷移と過去の異常度遷移とを用いて、故障発生予測を含む異常予測に関する処理を実行し、異常度遷移と故障発生予測の結果とを含む処理結果を表示する表示画面を生成し、表示画面を表示部に表示する。これにより、ユーザは容易に異常度遷移と故障発生予測の結果とを表示画面を確認して把握でき、異常状態の判定及び予測を容易に実施できる。また、ユーザは異常度の動向を確認し、対象装置に故障が発生する前に、故障の予兆を容易に把握できる。
　以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０１８年７月６日出願の日本特許出願（特願２０１８－１２９１６８）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示は、対象装置の異常状態の判定及び予測を容易に実施し確認することができる異常予測システム及び異常予測方法として有用である。
　１０　データ処理装置
　１１、２１　データ入力部
　１２、４２　記憶部
　１３、４３　評価部
　１４、２４　表示処理部
　１５、２５　ユーザ操作入力部
　２０　端末装置
　２０Ａ　携帯通信端末
　２６、４６　通信部
　３０　クラウドコンピュータ
　４０　サーバ装置
　５０　冷却ファン（対象装置）
　５５　識別マーク
　６１　マイク
　６２　モニタ
　６３　キーボード
　６４　スピーカ
　８０　通信路
　１１１、２１１　音響解析部
　１１２、４１２　異常度算出部
　１２１、４２１　音データ記憶部
　１２２、４２２　異常度記憶部
　１２３、４２３　イベントタグ記憶部
　１２４、４２４　評価結果記憶部
　１３１、４３１　異常度遷移マッチング部
　１３２、４３２　故障発生予測部
　１４１、２４１　異常度遷移表示部
　１４２、２４２　異常予測結果表示部
　１５１、２５１、４５１　装置イベント入力部
　１５２、２５２　表示内容指示入力部

Claims (17)

  1. 　対象装置から取得した音データ又は振動データの少なくとも一方を含む処理対象データを入力するデータ入力部と、
    　前記処理対象データの異常予測に関する情報を記憶する記憶部と、
    　前記処理対象データの異常度を算出する異常度算出部と、
    　前記処理対象データの直近の異常度遷移と過去の異常度遷移とを用いて、故障発生予測を含む異常予測に関する処理を実行する評価部と、
    　前記異常度遷移と前記故障発生予測の結果とを含む処理結果を表示する表示画面を生成する表示処理部と、
    　前記表示画面を表示する表示部と、
    　を有する異常予測システム。
  2. 　請求項１に記載の異常予測システムであって、
    　前記評価部は、
    　前記処理対象データの直近の異常度遷移と過去の異常度遷移とを比較し、所定値以上の一致率を有する一致度が高い過去の異常度遷移に基づき、前記対象装置の近い将来の故障可能性を予測し、故障発生予測結果として出力する、
    　異常予測システム。
  3. 　請求項２に記載の異常予測システムであって、
    　前記表示処理部は、
    　前記直近の異常度遷移を現在の異常度遷移として表示し、前記一致度が高い過去の異常度遷移が存在する場合、この過去の異常度遷移を用いた将来予測の異常度遷移を表示する表示画面を生成する、
    　異常予測システム。
  4. 　請求項３に記載の異常予測システムであって、
    　前記表示処理部は、
    　前記一致度が高い過去の異常度遷移が存在する場合、前記表示画面に前記異常度遷移の一致率を表示する、
    　異常予測システム。
  5. 　請求項３又は４に記載の異常予測システムであって、
    　前記表示処理部は、
    　前記表示画面に前記故障発生予測結果を示すメッセージを表示する、
    　異常予測システム。
  6. 　請求項５に記載の異常予測システムであって、
    　前記表示処理部は、
    　前記対象装置の近い将来の故障可能性が所定値以上である場合、前記表示画面に故障可能性有りを報知するメッセージを表示する、
    　異常予測システム。
  7. 　請求項１から６のいずれか一項に記載の異常予測システムであって、
    　前記異常度算出部は、
    　前記処理対象データについて時間－周波数変換処理、特徴量抽出処理のうちの少なくとも一つの前処理を実行し、前記時間－周波数変換処理後の時間－周波数変換処理済みデータ又は前記特徴量抽出処理後の特徴量抽出処理済みデータの全てもしくは一部を使用して異常度を算出する、
    　異常予測システム。
  8. 　請求項１から７のいずれか一項に記載の異常予測システムであって、
    　前記評価部は、前記処理対象データに関する異常原因ごとの異常度を算出して前記異常予測に関する処理を実行し、
    　前記表示処理部は、前記異常原因ごとの異常度の割合を前記表示画面に表示する、
    　異常予測システム。
  9. 　請求項１に記載の異常予測システムであって、
    　前記表示画面の異常度遷移に基づき指定された所定の前記処理対象データの物理量を可視化するための可視化データを生成するデータ可視化部を有し、
    　前記表示処理部は、前記可視化データを前記表示画面に表示する、
    　異常予測システム。
  10. 　請求項９に記載の異常予測システムであって、
    　前記表示処理部は、前記可視化データとして、一つ又は複数の前記処理対象データに関するスペクトログラム又は音量の時間遷移を前記表示画面に表示する、
    　異常予測システム。
  11. 　請求項１に記載の異常予測システムであって、
    　前記表示画面の異常度遷移に基づき指定された所定の前記処理対象データを音信号として再生する音再生部を有する、
    　異常予測システム。
  12. 　請求項１又は２に記載の異常予測システムであって、
    　前記評価部は、１つ以上の統計的分類技術を用いて、前記対象装置の近い将来の故障可能性の予測を行う、
    　異常予測システム。
  13. 　請求項１又は２に記載の異常予測システムであって、
    　前記異常度算出部は、１つ以上の統計的分類技術を用いて、前記処理対象データの異常度の算出を行う、
    　異常予測システム。
  14. 　請求項１に記載の異常予測システムであって、
    　前記記憶部、前記異常度算出部、前記評価部、前記表示処理部を有する情報処理装置を備える、
    　異常予測システム。
  15. 　請求項１に記載の異常予測システムであって、
    　前記データ入力部、前記表示処理部を有する端末装置と、
    　前記記憶部、前記異常度算出部、前記評価部を有するサーバ装置と、を備える、
    　異常予測システム。
  16. 　請求項１５に記載の異常予測システムであって、
    　前記端末装置は、
    　前記対象装置の処理対象データを取得する収音部と、
    　前記対象装置に対応する識別マークを撮像する撮像部と、
    　前記識別マークの撮像画像を表示する表示部と、を有し、
    　前記表示処理部は、前記識別マークの撮像画像の大きさを規定するためのガイド表示と、前記撮像部が前記識別マークを撮像した撮像画像とを前記表示部の表示画面に表示し、
    　前記データ入力部は、前記撮像画像が前記ガイド表示の範囲内に収まった場合に、前記対象装置の処理対象データを入力する、
    　異常予測システム。
  17. 　対象装置から取得した音データ又は振動データの少なくとも一方を含む処理対象データを入力し、
    　前記処理対象データの異常予測に関する情報を記憶し、
    　前記処理対象データの異常度を算出し、
    　前記処理対象データの直近の異常度遷移と過去の異常度遷移とを用いて、故障発生予測を含む異常予測に関する処理を実行し、
    　前記異常度遷移と前記故障発生予測の結果とを含む処理結果を表示する表示画面を生成し、
    　前記表示画面を表示部に表示する、
    　異常予測方法。
PCT/JP2019/026752 2018-07-06 2019-07-04 異常予測システム及び異常予測方法 WO2020009210A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/257,725 US11703845B2 (en) 2018-07-06 2019-07-04 Abnormality predicting system and abnormality predicting method
JP2020529056A JP7304545B2 (ja) 2018-07-06 2019-07-04 異常予測システム及び異常予測方法
CN201980057955.1A CN112639431A (zh) 2018-07-06 2019-07-04 异常预测系统和异常预测方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-129168 2018-07-06
JP2018129168 2018-07-06

Publications (1)

Publication Number Publication Date
WO2020009210A1 true WO2020009210A1 (ja) 2020-01-09

Family

ID=69059220

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026752 WO2020009210A1 (ja) 2018-07-06 2019-07-04 異常予測システム及び異常予測方法

Country Status (4)

Country Link
US (1) US11703845B2 (ja)
JP (1) JP7304545B2 (ja)
CN (1) CN112639431A (ja)
WO (1) WO2020009210A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783591A (zh) * 2020-06-23 2020-10-16 北京百度网讯科技有限公司 异常检测方法、装置、设备和存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455203B2 (en) * 2016-09-14 2022-09-27 Nec Corporation Abnormality detection support device, abnormality detection support method, and program
JP7017488B2 (ja) * 2018-09-14 2022-02-08 株式会社日立製作所 音点検システムおよび音点検方法
US11106191B2 (en) * 2018-09-19 2021-08-31 Hypertherm, Inc. Multi-sensor analysis and data point correlation for predictive monitoring and maintenance of a pressurized fluid cutting system
TWI760904B (zh) * 2020-10-28 2022-04-11 恩波信息科技股份有限公司 基於聲音的機械監測系統及方法
JP7036261B1 (ja) * 2021-04-26 2022-03-15 株式会社安川電機 異常検知装置、プログラム、異常検知方法、及び製造方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01216218A (ja) * 1988-02-25 1989-08-30 Toshiba Corp 軸振動異常診断装置
US4885707A (en) * 1987-02-19 1989-12-05 Dli Corporation Vibration data collecting and processing apparatus and method
JPH10274558A (ja) * 1997-01-28 1998-10-13 Matsushita Electric Works Ltd 回転機器の異常診断方法およびその装置
JP2004117092A (ja) * 2002-09-25 2004-04-15 Omron Corp 波形データ再生装置及び波形データ再生方法並びにプログラム製品並びに波形データ再生システム
JP2005241089A (ja) * 2004-02-25 2005-09-08 Mitsubishi Electric Corp 機器診断装置、冷凍サイクル装置、機器診断方法、機器監視システム、冷凍サイクル監視システム
JP2011027452A (ja) * 2009-07-22 2011-02-10 Jfe Mechanical Co Ltd データ収集装置及び該データ収集装置を備えた設備機器の診断装置
US20140182350A1 (en) * 2013-01-03 2014-07-03 Dexcom, Inc. End of life detection for analyte sensors
JP2015094587A (ja) * 2013-11-08 2015-05-18 セイコーエプソン株式会社 寿命予測方法、寿命予測装置、寿命予測システム、寿命演算装置及び回転機械

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3484665B2 (ja) 1997-12-15 2004-01-06 オムロン株式会社 異常判定方法および装置
JP2008289084A (ja) 2007-05-21 2008-11-27 Funai Electric Co Ltd 監視システムおよび監視装置
KR20100069736A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 휴대 단말기의 컨텐츠 재생 장치 및 재생 방법
US8315673B2 (en) * 2010-01-12 2012-11-20 Qualcomm Incorporated Using a display to select a target object for communication
US9170982B2 (en) * 2012-02-09 2015-10-27 Vehcon, Inc. Machinery fingerprinting
US10533920B2 (en) * 2014-08-05 2020-01-14 Acoem France Automatic rotating-machine fault diagnosis with confidence level indication
US9808205B2 (en) * 2014-08-27 2017-11-07 Seiko Epson Corporation Abnormality prediction device, abnormality prediction system, abnormality prediction method, biological information measuring device, biological information measuring system, and warning notification method
JP6183346B2 (ja) * 2014-12-10 2017-08-23 日本精工株式会社 異常診断装置、軸受、回転装置、産業機械及び車両
DE102016008987B4 (de) * 2015-07-31 2021-09-16 Fanuc Corporation Maschinenlernverfahren und Maschinenlernvorrichtung zum Lernen von Fehlerbedingungen, und Fehlervorhersagevorrichtung und Fehlervorhersagesystem, das die Maschinenlernvorrichtung einschließt
US10082878B2 (en) * 2015-11-11 2018-09-25 Swan Solutions, Inc. Method for controlling and calibrating a device with a gesture
US20170178311A1 (en) * 2015-12-20 2017-06-22 Prophecy Sensors, Llc Machine fault detection based on a combination of sound capture and on spot feedback
JP6658250B2 (ja) 2016-04-20 2020-03-04 株式会社Ihi 異常診断方法、異常診断装置、及び異常診断プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4885707A (en) * 1987-02-19 1989-12-05 Dli Corporation Vibration data collecting and processing apparatus and method
JPH01216218A (ja) * 1988-02-25 1989-08-30 Toshiba Corp 軸振動異常診断装置
JPH10274558A (ja) * 1997-01-28 1998-10-13 Matsushita Electric Works Ltd 回転機器の異常診断方法およびその装置
JP2004117092A (ja) * 2002-09-25 2004-04-15 Omron Corp 波形データ再生装置及び波形データ再生方法並びにプログラム製品並びに波形データ再生システム
JP2005241089A (ja) * 2004-02-25 2005-09-08 Mitsubishi Electric Corp 機器診断装置、冷凍サイクル装置、機器診断方法、機器監視システム、冷凍サイクル監視システム
JP2011027452A (ja) * 2009-07-22 2011-02-10 Jfe Mechanical Co Ltd データ収集装置及び該データ収集装置を備えた設備機器の診断装置
US20140182350A1 (en) * 2013-01-03 2014-07-03 Dexcom, Inc. End of life detection for analyte sensors
JP2015094587A (ja) * 2013-11-08 2015-05-18 セイコーエプソン株式会社 寿命予測方法、寿命予測装置、寿命予測システム、寿命演算装置及び回転機械

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783591A (zh) * 2020-06-23 2020-10-16 北京百度网讯科技有限公司 异常检测方法、装置、设备和存储介质
CN111783591B (zh) * 2020-06-23 2024-04-26 北京百度网讯科技有限公司 异常检测方法、装置、设备和存储介质

Also Published As

Publication number Publication date
JPWO2020009210A1 (ja) 2021-07-15
US11703845B2 (en) 2023-07-18
US20210255613A1 (en) 2021-08-19
CN112639431A (zh) 2021-04-09
JP7304545B2 (ja) 2023-07-07

Similar Documents

Publication Publication Date Title
WO2020009210A1 (ja) 異常予測システム及び異常予測方法
US20190392252A1 (en) Systems and methods for selecting a forecast model for analyzing time series data
JP7149197B2 (ja) 異常音検知装置および異常音検知方法
US11288577B2 (en) Deep long short term memory network for estimation of remaining useful life of the components
JP2022500745A (ja) 異常検出および／または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム
US10228994B2 (en) Information processing system, information processing method, and program
US10565080B2 (en) Discriminative hidden kalman filters for classification of streaming sensor data in condition monitoring
US11609812B2 (en) Anomalous equipment trace detection and classification
EP3759558B1 (en) Intelligent audio analytic apparatus (iaaa) and method for space system
EP3796115B1 (en) Anomaly detection for robotic arms using vibration data
JP2020042519A (ja) 異常検知装置、異常検知方法、及び異常検知プログラム
CN117131110B (zh) 一种基于关联分析的容性设备介质损耗监测方法及系统
JP7407382B2 (ja) 音データ処理方法、音データ処理装置及びプログラム
US20130181827A1 (en) Automated incorporation of expert feedback into a monitoring system
CN112368720A (zh) 信息处理设备、信息处理方法和程序
CN116597939A (zh) 基于大数据的药品质量控制管理分析系统及方法
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
Afia et al. Intelligent fault classification of air compressors using Harris hawks optimization and machine learning algorithms
US20120078912A1 (en) Method and system for event correlation
WO2019235035A1 (ja) 収音解析システム及び収音解析方法
CN115376692A (zh) 一种健康数据的处理方法、装置、电子设备及存储介质
Harris et al. A general anomaly detection approach applied to rolling element bearings via reduced-dimensionality transition matrix analysis
JP2011138374A (ja) 診断装置および診断方法
JP7117573B2 (ja) 音状態表示方法、音状態表示装置および音状態表示システム
Salem et al. Predicting Forced Blower Failures Using Machine Learning Algorithms and Vibration Data for Effective Maintenance Strategies

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19829764

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020529056

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19829764

Country of ref document: EP

Kind code of ref document: A1