WO2019235035A1 - 収音解析システム及び収音解析方法 - Google Patents

収音解析システム及び収音解析方法 Download PDF

Info

Publication number
WO2019235035A1
WO2019235035A1 PCT/JP2019/013458 JP2019013458W WO2019235035A1 WO 2019235035 A1 WO2019235035 A1 WO 2019235035A1 JP 2019013458 W JP2019013458 W JP 2019013458W WO 2019235035 A1 WO2019235035 A1 WO 2019235035A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
sound data
collection analysis
detection
learning
Prior art date
Application number
PCT/JP2019/013458
Other languages
English (en)
French (fr)
Inventor
昭年 泉
亮太 藤井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2019235035A1 publication Critical patent/WO2019235035A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass

Definitions

  • This disclosure relates to a sound collection analysis system and a sound collection analysis method for acquiring and analyzing sound data to be processed.
  • Patent Document 1 discloses an abnormality determination method and apparatus that can stably determine various normalities and abnormalities of a product having a vibration part.
  • Patent Document 1 executes a time axis waveform analysis for obtaining a time axis waveform from measurement data and analyzing the time axis waveform, and a frequency axis waveform analysis for obtaining a frequency axis waveform from measurement data and analyzing the frequency axis waveform, The product abnormality is judged from the comprehensive judgment result of the time axis waveform analysis and the frequency axis waveform analysis.
  • the present disclosure relates to collected sound data, based on the result of analysis processing using the learning result, even a user who is not skilled enough to make an appropriate determination such as an abnormal state by his own experience, It is an object to appropriately and easily determine whether it is a true abnormality.
  • a further object of the present disclosure is to avoid sound interruption, which is a cause of failure during analysis processing, for collected sound data.
  • the sound collection analysis system of the present disclosure is an interface that inputs an audio signal to be collected, an AD converter that converts the audio signal into digital sound data, and a buffer that holds the sound data for a predetermined time period.
  • An audio interface including: a control unit that executes various controls related to the detection of abnormal sound in the sound data; a learning processing unit that executes a learning process related to detection of abnormal sound in the sound data; and A detection processing unit that executes detection processing, a determination processing unit that executes determination processing related to abnormal sound detection of the sound data, a storage unit that stores information related to abnormal sound detection of the sound data, and an abnormal sound of the sound data
  • a display unit that displays a display screen relating to detection, and the control unit captures the sound data via the audio interface.
  • the learning processing unit executes the learning process of the sound data acquired by the control unit until receiving an instruction to end the learning process, and obtains the learning result.
  • the detection processing unit uses the frequency characteristic of the sound data indicating the learning result acquired by the learning processing unit. The degree of abnormality of the sound data to be detected is calculated, the determination processing unit determines the presence or absence of abnormality by comparing the degree of abnormality calculated by the detection processing unit with a predetermined threshold, and the control unit When it is determined that the unit is abnormal, an alert display indicating abnormal sound detection is displayed on the display unit.
  • the sound collection analysis system of the present disclosure is an interface for inputting an audio signal to be collected, an AD converter that converts the audio signal into digital sound data, and a buffer that holds the sound data for a predetermined time
  • An audio interface including: a processing unit that executes various processes related to recording of the sound data; and a storage unit that stores information related to recording of the sound data, wherein the processing unit stores the sound data Acquired via the audio interface, upon receiving an instruction to start recording processing, starts recording the acquired sound data to the storage unit, detects the occurrence of sound breaks where the sound data becomes discontinuous, When the occurrence of sound interruption occurs, a log including the sound interruption occurrence time is recorded in the storage unit as an event log at the time of sound interruption occurrence, Until it receives an end instruction of recording sound processing continues recording to the storage unit of the sound data, when receiving the end instruction, it terminates the recording of the sound data.
  • the sound collection analysis method of the present disclosure is an interface for inputting an audio signal to be collected, an AD converter that converts the audio signal into digital sound data, and holds the sound data for a predetermined time.
  • the digitally converted sound data is acquired via the audio interface and an instruction to start the learning process of the abnormal sound detection process is received
  • the learning process of the acquired sound data is executed until an instruction to end the learning process is received
  • the frequency characteristic of the sound data indicating the learning result is acquired and an instruction to start the detection process of the abnormal sound detection process is received
  • An alert display indicating abnormal sound detection is displayed on the display unit.
  • the sound collection analysis method of the present disclosure is an interface for inputting an audio signal to be collected, an AD converter for converting the audio signal into digital sound data, and holding the sound data for a predetermined time
  • a sound collection analysis method in a sound collection analysis system comprising: an audio interface including: a buffer; a processing unit that executes various processes related to recording of the sound data; and a storage unit that stores information related to recording of the sound data
  • the processing unit acquires the sound data via the audio interface and receives an instruction to start a recording process
  • the recording unit starts recording the acquired sound data into the storage unit.
  • the collected sound data is a user who is not skilled enough to make an appropriate determination of an abnormal state or the like based on his / her experience based on the result of analysis processing using the learning result.
  • the block diagram which shows an example of a structure of the sound-collection analysis system which concerns on this Embodiment
  • (A) is a figure which shows an example of a waveform when there is no sound interruption
  • (B) is a figure which shows an example of a waveform when sound interruption occurs
  • the flowchart which shows an example of the procedure of the recording process which concerns on this Embodiment
  • the flowchart which shows an example of the procedure of the sound interruption detection process which concerns on this Embodiment
  • the flowchart which shows an example of the procedure of the learning process in the abnormal sound detection process which concerns on this Embodiment
  • FIG. 1 is a block diagram illustrating an example of a configuration of a sound collection analysis system according to the present embodiment.
  • a sound collection analysis system and sound collection analysis method for collecting sound of an object or a target space using one or a plurality of microphones and analyzing the acquired sound data to detect abnormal sounds Is illustrated.
  • the sound collection analysis system includes one or a plurality of microphones (MIC) 110, an audio interface (audio I / F) 120, and an information processing device (PC) 140.
  • MIC microphones
  • audio I / F audio interface
  • PC information processing device
  • a vibration sensor is used instead of the microphone 110, and the acquired vibration is obtained by using the audio interface 120 that can process the output of the vibration sensor.
  • the data to be processed is vibration waveform data instead of sound data. Since sound is vibration of air, the sound collection analysis system (or vibration analysis method) can also be said to be a kind of vibration analysis system (or vibration analysis method).
  • the microphone 110 includes a sound collection device that inputs sound waves generated in an object or a target space and outputs the sound signals as audio signals (or vibration waveform signals, hereinafter the same).
  • the audio interface 120 is an audio input interface that converts the audio signal acquired by the microphone 110 into digital data that can be processed in various ways.
  • the audio interface 120 includes an input unit 121, an AD converter (ADC) 122, a buffer 123, and a communication unit 124.
  • the input unit 121 has an input terminal for inputting an audio signal.
  • the AD converter 122 converts an analog audio signal into digital sound data (or vibration waveform data, the same applies hereinafter) with a predetermined quantization bit and sampling frequency.
  • the sampling frequency of the AD converter 122 is 48 kHz, for example.
  • the buffer 123 has a memory for storing sound data, and buffers sound data for a predetermined time.
  • the buffer capacity of the buffer 123 is about 40 msec, for example. By setting the buffer capacity to be relatively small in this way, it is possible to reduce the delay in recording processing and the like in the sound collection analysis system.
  • the communication unit 124 includes a communication interface such as USB (Universal Serial Bus), for example, and can transmit and receive data to and from an external device such as the information processing apparatus 140. The communication unit 124 transmits the acquired sound data to the information processing device 140.
  • USB Universal Serial Bus
  • the information processing apparatus 140 includes, for example, a PC (Personal Computer) having a processor and a memory, and executes various types of information processing related to recording processing, abnormal sound detection processing, and the like according to the present embodiment.
  • the information processing apparatus 140 may use various information processing apparatuses such as a tablet terminal and a smartphone instead of the PC.
  • the information processing apparatus 140 includes a communication unit 141, a processing unit 142, a storage unit 143, an operation input unit 144, and a display unit 145.
  • the communication unit 141 has, for example, a communication interface such as USB (Universal Serial ⁇ ⁇ ⁇ Bus), and can transmit and receive data to and from an external device such as the audio interface 120.
  • the communication unit 141 inputs sound data transmitted from the audio interface 120.
  • the processing unit 142 includes a processor such as a CPU (Central Processing Unit) and a DSP (Digital Signal Processor).
  • the processing unit 142 executes processing according to a predetermined program, and realizes functions such as recording processing and abnormal sound detection processing described later.
  • the processing unit 142 includes a control unit 151 that executes various controls, a learning processing unit 152 that executes learning processing, a detection processing unit 153 that executes detection processing, and a determination processing unit 154 that executes determination processing. .
  • the processes of the control unit 151, the learning processing unit 152, the detection processing unit 153, and the determination processing unit 154 will be described later.
  • the storage unit 143 includes at least one of a semiconductor memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory), a storage device such as an SSD (Solid State Drive), an HDD (Hard Disk Drive), and the like. Have a device.
  • the storage unit 143 is a program that executes functions of a sound collection analysis system such as a recording process and an abnormal sound detection process, various setting data related to the sound collection analysis system, and sound data of the acquired determination target sound, for example, for detecting abnormal sound
  • Various kinds of information such as learning data of the determination target sound, log data during operation such as event log when sound interruption occurs are stored.
  • Statistical classification techniques include, for example, linear classifiers, support vector machines (support vector machines), quadratic classifiers, kernel density estimation (kernel estimation), decision trees (decision trees), Artificial neural networks, Bayesian technology and / or networks, Bayesian technologies and / or networks, hidden Markov models, binary classifiers, multi-class classifiers ) Clustering (a clustering technique), Random Forest (a random forest technique), Logistic Regression (a logistic regression technique), Linear Regression (a linear regression technique), Gradient Boosting (a gradient boosting technique).
  • the statistical classification technique used is not limited to these.
  • the generation of learning data may be performed by the processing unit 142 in the information processing apparatus 140, or may be performed by a server connected to the information processing apparatus 140 using a network, for example.
  • the purpose of determining the sound data to be acquired may be to collect learning sound data for performing sound classification and voice recognition, as well as detecting abnormal sound at the time of failure or failure.
  • the operation input unit 144 includes input devices such as a keyboard, a mouse, a touch pad, and a touch panel.
  • the operation input unit 144 inputs a user operation related to the function of the sound collection analysis system to the processing unit 142.
  • the display unit 145 includes a display device such as a liquid crystal display or an organic EL (ElectroLuminescence) display.
  • the display unit 145 displays a display screen when processing such as recording processing and abnormal sound detection processing by the processing unit 142 is executed.
  • the operation input unit 144 is assumed to have a configuration in which a touch panel is provided at the top of the display unit 145, and various operation objects are displayed on the display screen, and the operation when the user performs a touch operation on the operation object is illustrated. .
  • FIG. 2 is a diagram showing an example of a display screen at the time of executing the recording process according to the present embodiment.
  • the information processing apparatus 140 displays a recording function screen 210 as shown in FIG. 2 on the display unit 145 when executing a recording process for collecting the target sound.
  • the recording function screen 210 On the recording function screen 210, various information related to sound input such as an input device, a recording file division interval, and a sampling frequency are displayed, and a recording button 211, a recording volume display 212, and an event log display 213 are displayed.
  • the recording function screen 210 displays an alert display 214 indicating that a problem has occurred during recording.
  • the recording button 211 toggles display of recording start and recording stop for each touch operation, and according to a user operation, for example, an operation instruction to start or stop recording for acquiring learning sound data used for determining presence / absence of abnormal sound. input.
  • the recording volume display 212 displays the signal input level of the current recording sound, for example, by a bar display or the like.
  • the event log display 213 records a sound interruption occurrence time indicating the possibility of sound interruption as an event log when the sound interruption occurs, and displays the event log at that time. Also, as the event log display 213, the recording file division time is recorded as the event log when the sound data recording file is divided, and the event log at that time is displayed.
  • the alert display 214 is displayed by, for example, a text message when a malfunction occurs during recording.
  • the information processing apparatus 140 When the user visually recognizes the recording function screen 210 and operates the recording button 211 to instruct to start recording, the information processing apparatus 140 starts recording the learning sound data. When the user operates the recording button 211 to instruct recording stop, the information processing apparatus 140 stops recording the learning sound data.
  • the sound interruption occurs where the sound data becomes discontinuous.
  • the buffer capacity is reduced in order to reduce the delay in the sound collection analysis system as in this embodiment, the probability of sound interruption may increase.
  • an event log at the time of sound interruption is recorded, and the sound data at the time of sound interruption can be removed later, and the sound data at the time of sound interruption is removed in the learning process for detecting abnormal sound . As a result, sound interruption that is a cause of failure during analysis processing is avoided.
  • FIGS. 3A and 3B are diagrams for explaining the state of sound interruption, where FIG. 3A is a diagram illustrating an example of a waveform when there is no sound interruption, and FIG. 3B is a diagram illustrating an example of a waveform when sound interruption occurs. It is.
  • FIG. 3 a simple sine wave waveform is shown and described as a simple example.
  • 3A and 3B the horizontal axis represents time t, and the vertical axis represents the sound pressure level of the audio signal.
  • the waveform of the audio signal becomes a continuous waveform on the time axis, and normal sound data is recorded.
  • a sound interruption Sd occurs as shown in FIG.
  • the information processing apparatus 140 determines that there is a possibility of sound interruption, and logs including the sound interruption occurrence time are recorded. It is recorded in the storage unit 143 as an event log, and is displayed on the event log display 213 in association with the file in which the sound interruption occurs.
  • a method of linking for example, there is a method of adding time information including date to the file name of the file in which the sound interruption occurs, but the method is not limited to this.
  • FIG. 4 is a flowchart showing an example of a recording process procedure according to the present embodiment.
  • the information processing apparatus 140 displays the recording function screen 210 on the display unit 145 by a tab operation or a menu operation of the display screen by the user, and receives a start instruction by pressing the recording start button of the recording button 211, and performs a recording process. Start.
  • the information processing apparatus 140 acquires sound data to be recorded captured via the microphone 110 and the audio interface 120 (S11).
  • the sound data is acquired at a predetermined timing based on a sampling interval corresponding to the sampling frequency of the audio signal.
  • the acquired sound data is recorded in the storage unit 143 as a recording file.
  • the information processing apparatus 140 performs a sound break detection process for detecting a sound break in the acquired sound data (S12).
  • FIG. 5 is a flowchart showing an example of the procedure of sound interruption detection processing according to the present embodiment.
  • the information processing apparatus 140 refers to the sound data acquisition time and determines whether or not the difference between the previous sound data acquisition time and the current sound data acquisition time is equal to or greater than a predetermined time. (S121). If the difference between the acquisition times is greater than or equal to the predetermined time, the information processing apparatus 140 determines that there is a possibility of sound interruption and detects the occurrence of sound interruption (S122). For example, the buffer capacity of 40 msec is set as the predetermined time for detecting sound interruption, and the occurrence of sound interruption is detected when the sound data acquisition time is 40 msec or longer.
  • the information processing apparatus 140 determines whether or not there is a sound interruption after the sound interruption detection process (S13), and if there is a sound interruption, additionally records an event log when the sound interruption occurs in the storage unit 143 ( S14). Further, the information processing apparatus 140 determines whether it is the file update timing of the recording file (S15), and if it is the file update timing, the recording file is divided by changing the recording file to another file and switching ( S16). In addition, an event log at the time of dividing the recording file is added to the storage unit 143.
  • the update time of the recording file that is, the length (division interval) of one recording file is appropriately set according to the system configuration, specifications, purpose of use, etc., for example, 1 minute, 5 minutes, 10 minutes, 30 minutes, etc. To do.
  • the information processing apparatus 140 determines whether or not there is a predetermined number of sound break occurrence event logs within a predetermined time (S17), and if a predetermined number of sound breaks occur within a predetermined time, the display unit An alert display 214 indicating the occurrence of a failure is displayed at 145 to notify the user of the occurrence of a failure during recording (S18).
  • the alert display 214 displays a message such as “Frequent sound interruption, please restart”.
  • the alert display 214 can prompt the user to restart the system and restart the recording process.
  • a recording file update time is used as a predetermined time for alert display, or a time such as 1 minute or 3 minutes is appropriately set, and a predetermined number such as 3 or 5 is appropriately set.
  • the information processing apparatus 140 determines whether or not the user has pressed the recording end button of the recording button 211 and has given an end instruction (S19). Exit. The information processing apparatus 140 repeats steps S11 to S19 and continues the recording process until an end instruction is received. Through the above recording process, target sound data for a predetermined recording period is acquired and stored in the storage unit 143.
  • the sound data at the time of sound interruption may be removed and recorded in the recording file.
  • this embodiment it is possible to detect a sound break in the sound data acquired during the recording process and record an event log including the sound break occurrence time. By using this event log to remove sound data at the time of sound interruption, it is possible to execute appropriate processing in processing such as learning processing regarding recorded sound data.
  • the system can be restarted to resume the recording process, and the recording process can be continued normally. Therefore, it is possible to avoid sound interruption that becomes a cause of failure during analysis processing.
  • FIG. 6 is a diagram showing an example of a display screen at the time of executing the learning process in the abnormal sound detection process according to the present embodiment.
  • the sound collection analysis system of the present embodiment can execute simple detection processing that can be easily detected by the user in order to detect abnormal sounds in the collected sound data.
  • an abnormal sound detection process as a simple detection process is illustrated.
  • the processing unit 142 of the information processing device 140 performs various controls related to the detection of abnormal sound in the sound data by the control unit 151, executes a learning process related to detection of the abnormal sound in the sound data by the learning processing unit 152, and performs detection processing by the detection processing unit 153.
  • Detection processing related to detection of abnormal sound in sound data is executed, and determination processing related to detection of abnormal sound in sound data is executed by the determination processing unit 154.
  • a learning process prior to detection and a detection process using the learning result are executed.
  • the information processing apparatus 140 displays a simple detection function screen 250 as illustrated in FIG. 6 on the display unit 145 when executing the learning process of the abnormal sound detection process.
  • the simple detection function screen 250 of FIG. 6 is an aspect of an execution screen for abnormal noise detection processing, and is a screen displayed when the learning processing is executed.
  • the information processing apparatus 140 learns the sound fluctuation during a specific time, and displays the frequency characteristics of the sound data as an example of display information indicating the learning result. As the frequency characteristics of the sound data, for example, the maximum value and the minimum value of the sound pressure level for each frequency are acquired.
  • the simple detection function screen 250 displays various information related to sound data such as an input device and a sampling frequency, and a learning button 251, a detection button 252, and a frequency characteristic display 253 are displayed.
  • the learning button 251 toggles a learning start and a learning stop for each touch operation, and inputs a learning start or stop operation instruction according to a user operation.
  • the detection button 252 toggles display of detection start and detection for each touch operation, and inputs an operation instruction to start or stop abnormal noise detection according to a user operation.
  • the frequency characteristic display 253 displays the frequency characteristic (spectrum) of the sound data in a graph display.
  • the horizontal axis represents frequency and the vertical axis represents sound pressure level.
  • the frequency characteristic display 253 during the learning process displays the maximum value Smax and the minimum value Smin of each frequency of the sound data in the learning period up to the present time, and displays the frequency characteristic value St of the current sound data.
  • a predetermined time in a situation where no noise is generated by the user is appropriately set according to the environment of the detection target site, various conditions, and the like.
  • the information processing apparatus 140 When the user visually recognizes the simple detection function screen 250 and operates the learning button 251 to instruct the start of learning, the information processing apparatus 140 starts learning of sound data used for determining the degree of abnormality, for example. Further, when the user operates the learning button 251 to instruct to stop learning, the information processing apparatus 140 stops learning of sound data used for determination of the degree of abnormality, for example.
  • FIG. 7 is a flowchart illustrating an example of a learning process procedure in the abnormal sound detection process according to the present embodiment.
  • the information processing apparatus 140 displays the simple detection function screen 250 on the display unit 145 by a tab operation or a menu operation of the display screen by the user and accepts a start instruction by pressing the learning start button of the learning button 251, a learning process is performed. To start.
  • the information processing apparatus 140 acquires the sound data to be learned recorded by the recording process (S21).
  • the acquisition of sound data is sequentially executed in time series for the sound data at each time.
  • the information processing apparatus 140 converts the sound data on the time axis into the frequency axis by using frequency conversion processing such as FFT (Fast Fourier Transform) for the acquired sound data, and from 0 Hz to 24 kHz (1/2 of the sampling frequency) The spectrum of the frequency band of is acquired.
  • FFT Fast Fourier Transform
  • the information processing apparatus 140 updates the maximum value Smax and the minimum value Smin of the sound pressure for each frequency based on the acquired sound data at a predetermined time (S22).
  • the maximum value Smax and the minimum value Smin for each frequency are examples of frequency characteristics of sound data indicating a learning process result (learning result), and are stored in the storage unit 143 as learning result data. Further, the information processing apparatus 140 updates the graph of the frequency characteristic display 253 using the acquired sound data at a predetermined time and the updated maximum value Smax and minimum value Smin (S23).
  • the method described above is an example of a simple learning process, but the determination target sound learning process may be performed using one or more statistical classification techniques exemplified above.
  • the information processing apparatus 140 determines whether or not the user has pressed the learning end button of the learning button 251 and has given an end instruction (S24). Exit. The information processing apparatus 140 repeatedly executes steps S21 to S24 until the end instruction is accepted, and continues the learning process. As a learning result, the maximum value Smax and the minimum value Smin for each frequency of the sound data in a predetermined learning period are obtained by the learning process described above, stored in the storage unit 143, and displayed on the frequency characteristic display 253. .
  • the information processing apparatus 140 removes the sound data in the sound interruption period when there is a sound interruption in the sound data acquired during the learning process, and does not reflect the result in the learning result. For example, referring to the event log at the time of occurrence of sound interruption recorded in the recording process, the update of the maximum value and the maximum value of the sound pressure for each frequency is stopped for the sound data in the period when the sound interruption occurs. Alternatively, the acquisition of sound data during a period in which sound interruption occurs is stopped and sound data in the sound interruption period is removed. Note that recording of sound data during a period in which sound interruption occurs during recording processing may be stopped, and sound data in the sound interruption period may be deleted from the recording file.
  • FIG. 8 is a diagram showing an example of a display screen when executing the detection process in the abnormal sound detection process according to the present embodiment.
  • the information processing apparatus 140 displays a simple detection function screen 260 as illustrated in FIG. 8 on the display unit 145 when executing the abnormal noise detection process.
  • a simple detection function screen 260 in FIG. 8 is an aspect of an execution screen for an abnormal sound detection process, and is a screen displayed when the detection process is executed.
  • the information processing device 140 compares the frequency characteristics of the sound data to be detected with the learned sound data, and if the difference between the frequency characteristics of both is large, it is determined that the noise is abnormal and the abnormal sound is detected. Record detection information.
  • the simple detection function screen 250 of FIG. 6 various information regarding sound data is displayed on the simple detection function screen 260, and a learning button 251, a detection button 252, and a frequency characteristic display 253 are displayed.
  • an abnormality level display 261 and a sound pressure display 262 are displayed on the right side of the frequency characteristic display 253.
  • the simple detection function screen 260 displays an alert display 263 and an abnormal sound detection list 264 indicating that an abnormality has been detected.
  • the frequency characteristic display 253 at the time of the detection process displays the maximum value Smax and the minimum value Smin of each frequency of the sound data learned by the learning process described above, and the frequency characteristic value of the current sound data that is the object of determination of the degree of abnormality. St is displayed.
  • the abnormality level display 261 displays the degree of abnormality calculated by a predetermined abnormality level calculation method, for example, by bar display or the like.
  • the abnormality level display 261 displays a threshold Ath for abnormal noise determination by a line or the like.
  • the threshold value of the degree of abnormality can be arbitrarily set according to the environment of the detection target site, various conditions, etc., for example, when the user designates it by a click operation or the like.
  • the sound pressure display 262 displays the sound pressure level of the current sound data as a total sound pressure level of the sound data, for example, by a bar display or the like.
  • the sound pressure display 262 displays the maximum value SPmax and the minimum value SPmin of the total sound pressure level as a learning result by a line or the like.
  • the alert display 263 is displayed by, for example, a text message when abnormal sound is detected.
  • the abnormal noise detection list 264 displays a list of detection information such as abnormal noise detection time when abnormal noise is detected. When the user designates detection information in the abnormal sound detection list 264 by a click operation or the like, the frequency characteristic of the sound data at the corresponding abnormal sound detection time can be displayed on the frequency characteristic display 253.
  • the information processing apparatus 140 When the user visually recognizes the simple detection function screen 260 and operates the detection button 252 to instruct the start of abnormal noise detection, the information processing apparatus 140 starts detecting abnormal noise in the sound data. Further, when the user operates the detection button 252 to instruct the abnormal sound detection stop, the information processing apparatus 140 stops the abnormal sound detection of the sound data.
  • FIG. 9 is a flowchart showing an example of the procedure of the detection process in the abnormal sound detection process according to the present embodiment.
  • the information processing apparatus 140 displays the simple detection function screen 260 on the display unit 145 by a tab operation or a menu operation of the display screen by the user and receives a start instruction by a pressing operation of the detection start button of the detection button 252, a detection process is performed. To start.
  • the information processing apparatus 140 acquires sound data to be detected recorded by the recording process (S31).
  • the acquisition of sound data is sequentially executed in time series for the sound data at each time.
  • the information processing apparatus 140 converts the sound data on the time axis into the frequency axis by frequency conversion processing such as FFT on the acquired sound data, and acquires the spectrum in the frequency band from 0 Hz to 24 kHz.
  • the information processing apparatus 140 calculates the degree of abnormality of the sound data to be detected based on the acquired sound data at a predetermined time and the maximum value Smax and the minimum value Smin of the sound pressure for each frequency of the learning result ( S32).
  • the information processing apparatus 140 displays a graph of the frequency characteristic display 253, the abnormality degree display 261, and the sound pressure display 262 using the acquired sound data to be detected and the maximum value Smax and the minimum value Smin of the learning result. To do.
  • the information processing apparatus 140 determines whether or not the calculated abnormality level is equal to or greater than a predetermined threshold value (S33). If the abnormality level is equal to or greater than the threshold value, an alert display 263 indicating abnormal sound detection is displayed on the display unit 145, to the user. Notify that an abnormal sound has been detected (S34). The alert display 263 displays a message such as “abnormal”, for example. At this time, the information processing apparatus 140 stores the detection information such as the degree of abnormality at the time of detection and the abnormal sound detection time in the storage unit 143 and displays the list in the abnormal sound detection list 264. The alert display 263 and the abnormal sound detection list 264 allow the user to recognize that an abnormal sound has been detected by simple detection.
  • the information processing apparatus 140 determines whether or not the user has pressed the detection end button of the detection button 252 and has received an end instruction (S35). Exit. The information processing apparatus 140 repeatedly executes steps S31 to S35 and continues the detection process until an end instruction is received. Through the above detection process, the frequency characteristics and abnormality level of the current sound data are displayed on the simple detection function screen 260, and it is displayed that abnormal noise has been detected when the abnormality level exceeds a predetermined threshold.
  • the information processing apparatus 140 removes the sound data during the sound interruption period so that the sound data acquired during the detection process is not reflected in the abnormal sound detection result. For example, by referring to the event log recorded in the recording process at the time of sound interruption, the calculation of the degree of abnormality is stopped or the degree of abnormality is set to 0 for the sound data in the period when the sound interruption occurs. Alternatively, the acquisition of sound data during a period in which sound interruption occurs is stopped and sound data in the sound interruption period is removed.
  • the degree of abnormality A can be calculated based on the sum of distances for each frequency between the current sound data to be detected and the learning result, using the frequency characteristics of the sound data of the learning result, for example, the sound pressure for each frequency. It is determined by the sum of amounts exceeding the maximum or minimum value. That is, the degree of abnormality A is calculated from the sum of the distances between the measured value and the maximum or minimum value when the sound pressure for each frequency exceeds the maximum or minimum value.
  • the degree of abnormality A is expressed by a mathematical formula, the following formula (1) is obtained.
  • A ⁇ (1 / n) di (1)
  • di
  • di
  • if Smin> xi, and di if Smin ⁇ xi ⁇ Smax. 0.
  • the distance di between the sound pressure value xi and the maximum value or the minimum value is calculated using Equation (1).
  • the degree of abnormality A is calculated by adding the distance di at all frequencies from 0 Hz to 24 kHz to obtain the sum.
  • the degree of abnormality A may be calculated using a predetermined coefficient in accordance with the frequency characteristics to be processed, the surrounding environment, sound collection conditions, and the like, such as performing predetermined weighting depending on the frequency.
  • the abnormality frequency is determined in consideration of the excess frequency in a predetermined unit time, etc. It is possible to reduce noise and to detect abnormal noise more accurately.
  • the degree of abnormality may be calculated using one or more statistical classification techniques exemplified above.
  • various processes related to the recording process and abnormal sound detection process of the present embodiment executed in the information processing apparatus 140 described above are server apparatuses connected via a communication path such as a wired or wireless network or a communication line. At least a part may be executed by another information processing apparatus.
  • FIG. 10 is a block diagram showing another example of the configuration of the sound collection analysis system according to the present embodiment.
  • the sound collection analysis system includes an information processing device 140A and a server device 340.
  • the information processing apparatus 140A includes a communication unit 141, a processing unit 142A, a storage unit 143, an operation input unit 144, a display unit 145, and a communication unit 146.
  • the processing unit 142A has the function of the control unit 151.
  • the communication unit 146 has a wired or wireless communication interface and communicates with the external server device 340.
  • the information processing apparatus 140A is connected to the server apparatus 340 via a communication path 300 such as a wired or wireless network or a communication line.
  • the rest is the same as the configuration of the sound collection analysis system shown in FIG. 1, and only different parts will be described here.
  • the server device 340 is configured by an information processing device (computer) having a processor and a memory, and executes various types of information processing related to abnormal sound detection processing and the like according to the present embodiment.
  • the server device 340 includes a communication unit 341, a processing unit 342, and a storage unit 243.
  • the communication unit 341 transmits and receives various data such as sound data and learning data to and from the information processing apparatus 140A.
  • the processing unit 342 includes a processor such as a CPU (Central Processing Unit) and a DSP (Digital Signal Processing).
  • the processing unit 342 executes processing according to a predetermined program, and realizes functions such as the abnormal sound detection processing described above.
  • the processing unit 342 includes a control unit 351 that executes various controls, a learning processing unit 352 that executes learning processing, a detection processing unit 353 that executes detection processing, and a determination processing unit 354 that executes determination processing.
  • the learning processing unit 352, the detection processing unit 353, and the determination processing unit 354 are the learning processing unit 152, the detection processing unit 153, and the determination processing unit 154 of the processing unit 142 of the information processing apparatus 140 in the configuration example of FIG. The same processing is performed. Note that some of the learning processing unit 352, the detection processing unit 353, and the determination processing unit 354 may be executed by the server device 340, and the rest may be executed by the processing unit 142A of the information processing device 140A.
  • the processing according to the present embodiment is configured to be executed in a distributed manner in a plurality of information processing apparatuses connected via a network or a communication line.
  • learning processing and detection processing for abnormal sound detection processing are executed using an information processing device such as a server device having a high processing capability, so that it is easy to deal with complex algorithm calculations and high-speed processing.
  • the processing by the learning processing unit, detection processing unit, and determination processing unit is appropriately assigned for each process in a local information processing apparatus connected to the audio interface or a remote information processing apparatus connected through a communication path. May be executed.
  • each process according to the present embodiment can be executed by an appropriate information processing apparatus according to various conditions such as system configuration, use environment, data processing algorithm, data amount, data characteristics, and output mode. It is.
  • the recording process is preferably executed in the information processing apparatus 140A connected to the audio interface 120 of the voice input unit. In this case, it is possible to perform high-speed processing with a small sound delay and to detect sound breakage accurately.
  • the frequency characteristics of sound data can be learned by updating and recording the maximum value and minimum value for each frequency of the acquired sound data, and an accurate abnormal sound can be obtained using the learning result. Detection can be performed. Also, the degree of abnormality can be calculated based on the sum of distances for each frequency between the sound data to be detected and the learning result, and the occurrence of abnormal noise can be determined easily and appropriately based on this degree of abnormality. At this time, the user can easily recognize the occurrence of the abnormal noise by the abnormality display on the display screen and the alert display indicating the abnormal noise detection. Therefore, even if it is not the expert who has the experience and know-how regarding abnormal noise detection, it is possible to easily detect abnormal noise.
  • the sound collection analysis system is an interface for inputting an audio signal to be collected, an AD converter 122 that converts the audio signal into digital sound data, and a sound for a predetermined time.
  • the audio interface 120 includes a buffer 123 that holds data, a processing unit 142 that executes various processes related to recording of sound data, and a storage unit 143 that stores information related to recording of sound data.
  • the processing unit 142 acquires sound data via the audio interface 120 and receives a recording process start instruction, the processing unit 142 starts recording the acquired sound data in the storage unit 143.
  • the processing unit 142 detects the occurrence of a sound interruption in which the sound data is discontinuous, and when the sound interruption occurs, the processing unit 142 stores a log including the sound interruption occurrence time as an event log when the sound interruption occurs. 143, and recording of the sound data in the storage unit 143 is continued until an instruction to end the recording process is received. In addition, when receiving an end instruction, the processing unit 142 ends the recording of the sound data.
  • the processing unit 142 detects the occurrence of sound interruption when the difference between the previous acquisition time and the current acquisition time of the acquired sound data is equal to or longer than a predetermined time. Thereby, it becomes possible to detect occurrence of sound interruption easily and appropriately. For example, by setting the predetermined time for determining the difference to the buffer capacity of the buffer 123, it is possible to appropriately detect that the sound data is discontinuous.
  • the sound collection analysis system includes a display unit 145 that displays a display screen relating to recording of sound data, and the processing unit 142 is configured to generate sound interruptions in the acquired sound data more than a predetermined number of times within a predetermined time. Then, an alert display indicating the occurrence of a malfunction is displayed on the display unit 145. Thereby, when sound interruption occurs frequently, by notifying the user of the occurrence of a failure by alert display, it is possible to restart the system and restore the recording process, and the recording process can be continued normally.
  • the processing unit 142 records the acquired sound data as a recording file in the storage unit 143, and changes the recording file to another file at every predetermined file update timing to divide the recording file. Thereby, the acquired sound data can be divided into recording files of an appropriate length even for long-time recording.
  • the processing unit 142 removes and records the sound data at the time of the sound interruption occurrence.
  • the process can be performed without including the sound data at the time of sound interruption occurrence. Can be executed.
  • the processing unit 142 displays a log including the sound interruption occurrence time on the display unit 145 as an event log at the time of sound interruption occurrence. Therefore, when a sound interruption occurs, the user can easily recognize that the sound interruption occurred and the sound interruption occurrence time by displaying the event log.
  • the sound collection analysis method of the present embodiment is an interface for inputting an audio signal to be collected, an AD converter 122 that converts the audio signal into digital sound data, and a buffer that holds sound data for a predetermined time.
  • an audio interface 120 including a processing unit 142 that executes various processes related to recording of sound data, and a storage unit 143 that stores information related to recording of sound data. It is. When the processing unit 142 acquires sound data via the audio interface 120 and receives an instruction to start recording processing, recording of the acquired sound data in the storage unit 143 is started.
  • the log including the sound interruption occurrence time is recorded in the storage unit 143 as an event log at the time of sound interruption occurrence, Recording of sound data in the storage unit 143 is continued until an instruction to end the recording process is received. When receiving an end instruction, recording of sound data is ended. Thereby, recording of the acquired sound data and detection of sound interruption can be performed appropriately.
  • the sound collection analysis system is an interface for inputting an audio signal to be collected, an AD converter 122 that converts the audio signal into digital sound data, and a buffer that holds sound data for a predetermined time.
  • a control unit 151 that executes various controls related to the detection of abnormal sound in the sound data
  • a learning processing unit 152 that executes a learning process related to the detection of abnormal sound in the sound data
  • an abnormal sound in the sound data A detection processing unit 153 that executes detection processing related to detection, a determination processing unit 154 that executes determination processing related to abnormal sound detection in sound data, a storage unit 143 that stores information related to abnormal sound detection in sound data, and a And a display unit 145 that displays a display screen related to abnormal noise detection.
  • the control unit 151 When the control unit 151 obtains sound data via the audio interface 120 and the learning processing unit 152 receives an instruction to start the learning process of the abnormal sound detection process, the control unit 151 receives the instruction to end the learning process. A learning process of the acquired sound data is executed, and a frequency characteristic of the sound data indicating the learning result is acquired. Further, when the detection processing unit 153 receives an instruction to start the detection process of the abnormal sound detection process, the detection processing unit 153 uses the frequency characteristics of the sound data indicating the learning result acquired by the learning processing unit 152 to detect the degree of abnormality of the detection target sound data. The determination processing unit 154 determines the presence / absence of an abnormality by comparing the degree of abnormality calculated by the detection processing unit 153 with a predetermined threshold value. When the determination processing unit 154 determines that there is an abnormality, the control unit 151 displays an alert display indicating abnormal noise detection on the display unit 145.
  • the degree of abnormality can be calculated based on the sum of distances for each frequency between the sound data to be detected and the learning result, and the determination of the occurrence of abnormal noise can be easily and appropriately executed based on the degree of abnormality.
  • the user can easily recognize the occurrence of the abnormal noise by the alert display indicating the abnormal noise detection. Therefore, the abnormal state can be easily determined by the analysis process using the learning result.
  • the learning processing unit 152 updates the maximum value and the minimum value of the sound pressure for each frequency of the sound data as the frequency characteristics of the sound data in the learning process, and the control unit 151 Are displayed on the display unit 145 as learning results. Thereby, the learning result of the frequency characteristics of the sound data can be easily and accurately acquired by updating the maximum value and the minimum value for each frequency of the acquired sound data.
  • the detection processing unit 153 uses the maximum value and the minimum value for each frequency of the learning result in the detection process, and detects the sound data to be detected for each frequency and the maximum value or the minimum value. The sum of distances is obtained, and the degree of abnormality is calculated based on the sum. As a result, the distance can be calculated by comparing the maximum or minimum value of the sound pressure for each frequency of the sound data, and the degree of abnormality can be calculated accurately based on the sum of the distances. And it can be executed properly.
  • the control unit 151 displays a frequency characteristic display including the frequency characteristic of the acquired sound data and the frequency characteristic of the sound data of the learning result on the display unit 145. Accordingly, the user can easily confirm the acquired sound data and the frequency characteristic of the learning result by looking at the frequency characteristic display, and can easily recognize the occurrence of the abnormal sound based on the deviation from the learning result.
  • the control unit 151 displays an abnormality level display indicating the calculation result of the abnormality level of the sound data to be detected on the display unit 145.
  • the user can easily check the degree of abnormality of the acquired sound data by looking at the abnormality level display, and can easily recognize the occurrence of abnormal noise by comparison with a predetermined threshold, for example.
  • a threshold value used for determining an abnormality in the detection process of the detection processing unit 153 can be set by a user operation in the abnormality level display displayed on the display unit 145. As a result, the user can easily set an appropriate threshold and detect abnormal noise.
  • the learning processing unit 152 when occurrence of discontinuous sound interruption occurs in the sound data to be detected, the learning processing unit 152 removes sound data at the time of occurrence of the sound interruption and executes learning processing. . As a result, in the learning process, the process can be performed in a state where there is no sound data at the time of sound interruption, and appropriate process execution can be performed.
  • control unit 151 refers to the event log at the time of sound break occurrence regarding the sound data to be detected, and removes the sound data at the time of sound break occurrence. Thereby, the sound data at the time of occurrence of sound interruption can be easily and appropriately removed using the event log.
  • the learning processing unit 152 performs learning processing on the acquired sound data using one or more statistical classification techniques. Thereby, appropriate learning according to the acquired sound data becomes possible.
  • the detection processing unit 153 calculates the degree of abnormality using one or more statistical classification techniques. Thereby, it is possible to calculate an appropriate degree of abnormality according to the acquired sound data.
  • the sound collection analysis method is an interface for inputting an audio signal to be collected, an AD converter 122 that converts the audio signal into digital sound data, and a buffer that holds sound data for a predetermined time.
  • 123 is a sound collection analysis method using a sound collection analysis system including an audio interface 120 including a display unit 123 and a display unit 145 that displays a display screen related to detection of abnormal sound in sound data.
  • the abnormality level of the sound data to be detected is calculated using the frequency characteristics of the sound data indicating the learning result, and the calculated abnormality level and a predetermined threshold value are calculated. Whether or not there is an abnormality is determined by comparing the two, and if it is determined that there is an abnormality, an alert display indicating abnormal sound detection is displayed on the display unit 145.
  • accurate abnormal sound detection can be executed using the learning result of the frequency characteristics of the sound data.
  • the present disclosure is useful as a sound collection analysis system and a sound collection analysis method that can easily determine an abnormal state with respect to collected sound data by an analysis process using a learning result.
  • Microphone MIC
  • Audio interface Audio I / F
  • PC Information processing equipment
  • ADC AD converter
  • Buffer 124
  • Communication unit 141
  • Processing unit 142
  • Storage unit 144
  • Operation input unit 145 Display unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

制御部は、オーディオインタフェースを介して音データを取得し、処理部は、録音処理の開始指示を受けると、取得した音データの記憶部への記録を開始する。異音検知処理の学習処理の開始指示を受けた場合、学習処理の終了指示を受けるまで取得した音データの学習処理を実行し、学習結果を示す音データの周波数特性を取得する。検知処理部は、異音検知処理の検知処理の開始指示を受けた場合、学習結果を示す音データの周波数特性を用いて検知対象の音データの異常度を算出し、判定処理部は、算出した異常度と所定の閾値との比較によって異常の有無を判定し、異常ありと判定した場合、制御部は、異音検知を示すアラート表示を表示部に表示する。さらに処理部は、音データが不連続となる音切れの発生を検知し、音切れの発生が生じた場合、当該音切れ発生時刻を含むログを音切れ発生時のイベントログとして記憶部に記録し、録音処理の終了指示を受けるまで音データの記憶部への記録を継続する。

Description

収音解析システム及び収音解析方法
　本開示は、処理対象の音データを取得して解析する収音解析システム及び収音解析方法に関する。
　生産工場等において、対象物又は対象空間等の音を収音し、取得した音データを解析して異常の検知、製品の良否判定などを行うシステムが用いられている。この種の解析に用いられる装置として、例えば特許文献１には、振動部を有する製品の種々の正常、異常を安定して判定することができる異常判定方法及び装置が開示されている。特許文献１は、計測データから時間軸波形を求め該時間軸波形を解析する時間軸波形解析と、計測データから周波数軸波形を求め該周波数軸波形を解析する周波数軸波形解析とを実行し、時間軸波形解析及び周波数軸波形解析の総合判定結果から製品の異常を判定するものである。
日本国特開平１１－１７３９０９号公報
　本開示は、収音した音データに関して、学習結果を用いた解析処理の結果に基づいて、自身の経験等によって異常状態等の適切な判定が可能なほど熟練していないユーザであっても、真の異常であるか否かを適切かつ容易に判定することを目的とする。さらに本開示は、収音した音データに関して、解析処理時の不具合要因となる音切れを回避することを目的とする。
　本開示の収音解析システムは、収音対象のオーディオ信号を入力するインタフェースであって、前記オーディオ信号をディジタルの音データに変換するＡＤコンバータと、所定時間分の前記音データを保持するバッファと、を含むオーディオインタフェースと、前記音データの異音検知に関する各種制御を実行する制御部と、前記音データの異音検知に関する学習処理を実行する学習処理部と、前記音データの異音検知に関する検知処理を実行する検知処理部と、前記音データの異音検知に関する判定処理を実行する判定処理部と、前記音データの異音検知に関する情報を記憶する記憶部と、前記音データの異音検知に関する表示画面を表示する表示部と、を有し、前記制御部は、前記音データを前記オーディオインタフェースを介して取得し、前記学習処理部は、異音検知処理の学習処理の開始指示を受けた場合、前記学習処理の終了指示を受けるまで前記制御部が取得した音データの学習処理を実行し、学習結果を示す音データの周波数特性を取得し、前記検知処理部は、異音検知処理の検知処理の開始指示を受けた場合、前記学習処理部が取得した学習結果を示す音データの周波数特性を用いて検知対象の音データの異常度を算出し、前記判定処理部は、前記検知処理部が算出した異常度と所定の閾値との比較によって異常の有無を判定し、前記制御部は、前記判定処理部が異常ありと判定した場合、異音検知を示すアラート表示を前記表示部に表示する。
　さらに本開示の収音解析システムは、収音対象のオーディオ信号を入力するインタフェースであって、前記オーディオ信号をディジタルの音データに変換するＡＤコンバータと、所定時間分の前記音データを保持するバッファと、を含むオーディオインタフェースと、前記音データの記録に関する各種処理を実行する処理部と、前記音データの記録に関する情報を記憶する記憶部と、を有し、前記処理部は、前記音データを前記オーディオインタフェースを介して取得し、録音処理の開始指示を受けると、前記取得した音データの前記記憶部への記録を開始し、前記音データが不連続となる音切れの発生を検知し、前記音切れの発生が生じた場合、当該音切れ発生時刻を含むログを音切れ発生時のイベントログとして前記記憶部に記録し、前記録音処理の終了指示を受けるまで前記音データの前記記憶部への記録を継続し、前記終了指示を受けると、前記音データの記録を終了する。
　また、本開示の収音解析方法は、収音対象のオーディオ信号を入力するインタフェースであって、前記オーディオ信号をディジタルの音データに変換するＡＤコンバータと、所定時間分の前記音データを保持するバッファと、を含むオーディオインタフェースと、前記音データの異音検知に関する表示画面を表示する表示部と、を有する収音解析システムを用いた収音解析方法であって、収音対象のオーディオ信号がディジタル変換された音データを前記オーディオインタフェースを介して取得し、異音検知処理の学習処理の開始指示を受けた場合、前記学習処理の終了指示を受けるまで前記取得した音データの学習処理を実行し、学習結果を示す音データの周波数特性を取得し、異音検知処理の検知処理の開始指示を受けた場合、前記学習結果を示す音データの周波数特性を用いて検知対象の音データの異常度を算出し、前記算出した異常度と所定の閾値との比較によって異常の有無を判定し、異常ありと判定した場合、異音検知を示すアラート表示を前記表示部に表示する。
　さらにまた、本開示の収音解析方法は、収音対象のオーディオ信号を入力するインタフェースであって、前記オーディオ信号をディジタルの音データに変換するＡＤコンバータと、所定時間分の前記音データを保持するバッファと、を含むオーディオインタフェースと、前記音データの記録に関する各種処理を実行する処理部と、前記音データの記録に関する情報を記憶する記憶部と、を有する収音解析システムにおける収音解析方法であって、前記処理部により、前記音データを前記オーディオインタフェースを介して取得し、録音処理の開始指示を受けると、前記取得した音データの前記記憶部への記録を開始し、前記音データが不連続となる音切れの発生を検知し、前記音切れの発生が生じた場合、当該音切れ発生時刻を含むログを音切れ発生時のイベントログとして前記記憶部に記録し、前記録音処理の終了指示を受けるまで前記音データの前記記憶部への記録を継続し、前記終了指示を受けると、前記音データの記録を終了する。
　本開示によれば、収音した音データに関して、学習結果を用いた解析処理の結果に基づいて、自身の経験等によって異常状態等の適切な判定が可能なほど熟練していないユーザであっても、真の異常であるか否かを適切かつ容易に異常状態を判定することができる。さらに本開示によれば、収音した音データに関して、解析処理時の不具合要因となる音切れを回避することができる。
本実施の形態に係る収音解析システムの構成の一例を示すブロック図 本実施の形態に係る録音処理の実行時の表示画面の一例を示す図 音切れの発生状態を説明する図であり、（Ａ）は音切れが無い場合の波形の一例を示す図、（Ｂ）は音切れが発生した場合の波形の一例を示す図 本実施の形態に係る録音処理の手順の一例を示すフローチャート 本実施の形態に係る音切れ検知処理の手順の一例を示すフローチャート 本実施の形態に係る異音検知処理における学習処理実行時の表示画面の一例を示す図 本実施の形態に係る異音検知処理における学習処理の手順の一例を示すフローチャート 本実施の形態に係る異音検知処理における検知処理実行時の表示画面の一例を示す図 本実施の形態に係る異音検知処理における検知処理の手順の一例を示すフローチャート 本実施の形態に係る収音解析システムの構成の他の例を示すブロック図
　以下、適宜図面を参照しながら、本開示に係る構成を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（収音解析システムの構成）
　図１は、本実施の形態に係る収音解析システムの構成の一例を示すブロック図である。本実施の形態では、１つ又は複数のマイクロホンを用いて対象物又は対象空間等の音を収音し、取得した音データを解析して異音を検知する収音解析システム及び収音解析方法を例示する。収音解析システムは、１つ又は複数のマイクロホン（ＭＩＣ）１１０、オーディオインタフェース（オーディオＩ／Ｆ）１２０、情報処理装置（ＰＣ）１４０を含む構成である。なお、図１に示す収音解析システム又は収音解析方法の応用として、マイクロホン１１０の代わりに振動センサを用いて、その振動センサの出力を処理可能なオーディオインタフェース１２０を用いることにより、取得した振動波形データを解析して異常を検知する振動解析システム又は振動解析方法を構成することも可能である。この場合、処理対象のデータは、音データの代わりに振動波形データとなる。音は空気の振動であるので、収音解析システム（又は振動解析方法）も、一種の振動解析システム（又は振動解析方法）と言える。
　マイクロホン１１０は、対象物又は対象空間等において生じる音波を入力して電気信号のオーディオ信号（又は振動波形信号、以下同じ）として出力する集音デバイスを有して構成される。オーディオインタフェース１２０は、マイクロホン１１０にて取得したオーディオ信号を各種信号処理可能なディジタルデータに変換するオーディオ入力用のインタフェースである。オーディオインタフェース１２０は、入力部１２１、ＡＤコンバータ（ＡＤＣ）１２２、バッファ１２３、通信部１２４を有する。入力部１２１は、オーディオ信号を入力する入力端子を有する。ＡＤコンバータ１２２は、所定の量子化ビット及びサンプリング周波数によってアナログのオーディオ信号をディジタルの音データ（又は振動波形データ、以下同じ）に変換する。ＡＤコンバータ１２２のサンプリング周波数は、例えば４８ｋＨｚとする。
　バッファ１２３は、音データを保持するメモリを有し、所定時間分の音データをバッファリングする。バッファ１２３のバッファ容量は、例えば４０ｍｓｅｃ程度とする。このように比較的小さなバッファ容量とすることによって、収音解析システムにおける録音処理等の遅延を小さくすることが可能である。通信部１２４は、例えばＵＳＢ（Universal Serial Bus）等の通信インタフェースを有し、情報処理装置１４０等の外部機器との間でデータの送受信が可能になっている。通信部１２４は、取得した音データを情報処理装置１４０に伝送する。
　情報処理装置１４０は、例えばプロセッサ及びメモリを有するＰＣ（Personal Computer）等により構成され、本実施の形態に係る録音処理、異音検知処理等に関する各種の情報処理を実行する。情報処理装置１４０は、ＰＣの代わりにタブレット端末、スマートフォン等の各種の情報処理装置を用いてもよい。情報処理装置１４０は、通信部１４１、処理部１４２、記憶部１４３、操作入力部１４４、表示部１４５を有する。通信部１４１は、例えばＵＳＢ（Universal Serial Bus）等の通信インタフェースを有し、オーディオインタフェース１２０等の外部機器との間でデータの送受信が可能になっている。通信部１４１は、オーディオインタフェース１２０から伝送される音データを入力する。
　処理部１４２は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等のプロセッサを有する。処理部１４２は、所定のプログラムに従って処理を実行し、後述する録音処理、異音検知処理等の機能を実現する。処理部１４２は、機能的構成として、各種制御を実行する制御部１５１、学習処理を実行する学習処理部１５２、検知処理を実行する検知処理部１５３、判定処理を実行する判定処理部１５４を有する。これらの制御部１５１、学習処理部１５２、検知処理部１５３、判定処理部１５４の処理については後述する。記憶部１４３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等による半導体メモリ、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等によるストレージデバイスなどの少なくともいずれか一つを含む記憶デバイスを有する。記憶部１４３は、録音処理、異音検知処理等の収音解析システムの機能を実行するプログラム、収音解析システムに関する各種の設定データ、取得した判定対象音の音データ、例えば異音検知のための判定対象音の学習データ、音切れ発生時のイベントログ等の動作時のログデータなど、各種情報を記憶する。
　学習データを生成するための学習は、１つ以上の統計的分類技術を用いて行っても良い。統計的分類技術としては、例えば、線形分類器（linear classifiers）、サポートベクターマシン（support vector machines）、二次分類器（quadratic classifiers）、カーネル密度推定（kernel estimation）、決定木（decision trees）、人工ニューラルネットワーク（artificial neural networks）、ベイジアン技術及び／又はネットワーク（Bayesian techniques and/or networks）、隠れマルコフモデル（hidden Markov models）、バイナリ分類子（binary classifiers）、マルチクラス分類器（multi-class classifiers）クラスタリング（a clustering technique）、ランダムフォレスト（a random forest technique）、ロジスティック回帰（a logistic regression technique）、線形回帰（a linear regression technique）、勾配ブースティング（a gradient boosting technique）などが挙げられる。ただし、使用される統計的分類技術はこれらに限定されない。さらに、学習データの生成は、情報処理装置１４０内の処理部１４２で行われても良いし、例えばネットワークを用いて情報処理装置１４０と接続されるサーバで行われても良い。また、取得する音データの判定目的は、故障時や不良発生時の異音検知だけでなく、音の分類や音声認識を行うための学習用音データを収集することであってもよい。
　操作入力部１４４は、キーボード、マウス、タッチバッド、タッチパネル等の入力デバイスを有する。操作入力部１４４は、収音解析システムの機能に関するユーザ操作を処理部１４２に入力する。表示部１４５は、液晶ディスプレイ、有機ＥＬ（ElectroLuminescence）ディスプレイ等の表示デバイスを有する。表示部１４５は、処理部１４２による録音処理、異音検知処理等の処理実行時の表示画面を表示する。以下では、操作入力部１４４として、表示部１４５において上部にタッチパネルが設けられた構成を想定し、表示画面に各種の操作オブジェクトが表示され、ユーザが操作オブジェクトをタッチ操作する場合の動作を例示する。
（録音処理）
　図２は、本実施の形態に係る録音処理の実行時の表示画面の一例を示す図である。情報処理装置１４０は、対象の音を収音する録音処理を実行する際に、図２に示すような録音機能画面２１０を表示部１４５に表示する。
　録音機能画面２１０には、入力デバイス、録音ファイルの分割間隔、サンプリング周波数等の音入力に関する各種情報が表示され、録音ボタン２１１、録音音量表示２１２、イベントログ表示２１３が表示される。また、録音機能画面２１０には、録音時の不具合発生を示すアラート表示２１４が表示される。録音ボタン２１１は、録音開始と録音停止とがタッチ操作毎にトグル表示され、ユーザ操作に従って、例えば異音の有無判定に用いる学習用音データを取得するための録音の開始又は停止の操作指示を入力する。録音音量表示２１２は、例えばバー表示等によって現在の録音音声の信号入力レベルを表示する。イベントログ表示２１３は、例えば音切れのイベントが発生した場合に、音切れ発生時のイベントログとして、音切れの可能性を示す音切れ発生時刻を記録し、その時のイベントログを表示する。また、イベントログ表示２１３として、音データの録音ファイルの分割時のイベントログとして、録音ファイルの分割時刻を記録し、その時のイベントログを表示する。アラート表示２１４は、録音時に不具合が発生したときに例えばテキストメッセージ等により表示する。
　ユーザが録音機能画面２１０を視認し、録音ボタン２１１を操作して録音開始を指示すると、情報処理装置１４０は、学習用音データの記録を開始する。また、ユーザが録音ボタン２１１を操作して録音停止を指示すると、情報処理装置１４０は、学習用音データの記録を停止する。
　収音解析システムでは、例えば音データの処理に時間を要する、データ伝送に時間を要する、処理実行時にエラーが起きるなどの事象が発生した場合、音データが不連続となるいわゆる音切れが発生することがある。本実施の形態のように、収音解析システムにおける遅延を小さくするためにバッファ容量を小さくした場合、音切れの発生確率が高くなるおそれがある。本実施の形態では、音切れ発生時のイベントログを記録し、音切れ発生時の音データを後で除去可能として、異音検知のための学習処理において音切れ発生時の音データを除去する。これにより、解析処理時の不具合要因となる音切れを回避する。
　図３は、音切れの発生状態を説明する図であり、（Ａ）は音切れが無い場合の波形の一例を示す図、（Ｂ）は音切れが発生した場合の波形の一例を示す図である。図３では、簡単な例として純音の正弦波の波形を示して説明する。図３の（Ａ）、（Ｂ）において、共に横軸は時間ｔを表し、縦軸は音声信号の音圧レベルを表している。図３の（Ａ）のように音切れが無い場合、オーディオ信号の波形は時間軸上で連続波形となり、正常な音データが記録される。一方、図３の（Ｂ）のように音切れＳｄが発生した場合、この音切れＳｄの位置において、途切れた期間の前後のオーディオ信号が繋がった不連続な状態の音データとして記録される。このため、音切れ発生時は、録音対象に異常が無いにも関わらず、正常でない音データが記録されて異音と判定されてしまうことが生じ得る。
　本実施の形態では、録音実行時において、音データが所定時間以上途切れると、情報処理装置１４０は、音切れの可能性ありと判断し、当該音切れ発生時刻を含むログを音切れ発生時のイベントログとして記憶部１４３に記録し、当該音切れが発生しているファイルと紐づけて、イベントログ表示２１３に表示する。紐づけの方法としては、例えば、当該音切れが発生しているファイルのファイル名に、年月日を含む時刻情報を付加する方法があるが、これに限定はされない。
　図４は、本実施の形態に係る録音処理の手順の一例を示すフローチャートである。情報処理装置１４０は、ユーザによる表示画面のタブ操作又はメニュー操作等によって録音機能画面２１０を表示部１４５に表示し、録音ボタン２１１の録音開始ボタンの押下操作による開始指示を受け付けると、録音処理を開始する。
　録音処理において、まず情報処理装置１４０は、マイクロホン１１０、オーディオインタフェース１２０を経由して取り込んだ録音対象の音データを取得する（Ｓ１１）。音データの取得は、オーディオ信号のサンプリング周波数に応じたサンプリング間隔に基づき、所定タイミングで実行される。取得した音データは、記憶部１４３に録音ファイルとして記録する。そして、情報処理装置１４０は、取得した音データにおいて音切れを検知する音切れ検知処理を実行する（Ｓ１２）。
　図５は、本実施の形態に係る音切れ検知処理の手順の一例を示すフローチャートである。音切れ検知処理において、情報処理装置１４０は、音データの取得時刻を参照し、前回の音データの取得時刻と今回の音データの取得時刻との差分が所定時間以上であるかどうかを判定する（Ｓ１２１）。取得時刻の差分が所定時間以上である場合、情報処理装置１４０は、音切れの可能性ありと判断し、音切れの発生を検知する（Ｓ１２２）。例えば、音切れ検知の所定時間としてバッファ容量の４０ｍｓｅｃを設定し、音データの取得時刻が４０ｍｓｅｃ以上間隔が空いた場合に、音切れの発生を検知する。
　図４に戻り、情報処理装置１４０は、音切れ検知処理の後、音切れの有無を判定し（Ｓ１３）、音切れがある場合、音切れ発生時のイベントログを記憶部１４３に追記する（Ｓ１４）。また、情報処理装置１４０は、録音ファイルのファイル更新タイミングであるかを判定し（Ｓ１５）、ファイル更新タイミングである場合、録音ファイルを別ファイルに変更して切り替えることにより、録音ファイルを分割する（Ｓ１６）。また、録音ファイルの分割時のイベントログを記憶部１４３に追記する。ここで、録音ファイルの更新時間、すなわち１つの録音ファイルの長さ（分割間隔）は、例えば１分、５分、１０分、３０分など、システム構成や仕様、使用目的などに応じて適宜設定する。
　また、情報処理装置１４０は、所定時間内に所定個数以上の音切れ発生時のイベントログがあるかどうか判定し（Ｓ１７）、所定時間内に所定回数以上の音切れが発生した場合、表示部１４５に不具合発生を示すアラート表示２１４を表示し、ユーザに録音時の不具合の発生を報知する（Ｓ１８）。アラート表示２１４は、例えば「音切れ頻繁に発生、再起動してください」などのメッセージを表示する。このアラート表示２１４によって、ユーザにシステムの再起動を促し、録音処理を再起動させることが可能である。例えば、アラート表示の所定時間として、録音ファイルの更新時間を用いたり、或いは１分、３分などの時間を適宜設定し、所定個数として３個、５個などの個数を適宜設定し、例えば１分間に３回音切れが発生したらアラート表示を行うようにする。収音解析システムの録音処理において、短い時間に音切れが複数回発生した場合、その後も音切れを繰り返すことが多いため、システムを再起動して録音処理をやり直すことが好ましい。このようなエラー処理を設けることによって、異音検知のための適切な音データを取得することが可能になる。
　そして、情報処理装置１４０は、ユーザによる録音ボタン２１１の録音終了ボタンの押下操作がなされ、終了指示があったかどうかを判定し（Ｓ１９）、録音ボタン２１１の再押下による終了指示を受け付けると、録音処理を終了する。情報処理装置１４０は、終了指示を受け付けるまでは、ステップＳ１１～Ｓ１９を繰り返し実行し、録音処理を継続する。上記の録音処理によって、所定の録音期間の対象の音データが取得され、記憶部１４３に記憶される。
　なお、取得した音データを記憶部１４３に記録する際に、音切れ発生時の音データを除去して録音ファイルに記録するようにしてもよい。
　このように、本実施の形態では、録音処理の際に取得した音データの音切れを検知し、音切れ発生時刻を含むイベントログを記録可能である。このイベントログを用いて、音切れ発生時の音データを除去することにより、録音した音データに関する学習処理等の処理において適切な処理実行が可能となる。また、音切れが高頻度で発生した場合、不具合発生を示すアラート表示によってユーザに報知することにより、システムを再起動して録音処理を復帰させることができ、録音処理を正常に継続できる。よって、解析処理時の不具合要因となる音切れを回避できる。
（異音検知処理）
　図６は、本実施の形態に係る異音検知処理における学習処理実行時の表示画面の一例を示す図である。本実施の形態の収音解析システムは、収音した音データにおける異音を検知するために、ユーザにおいて簡易に検知できる簡易検知処理を実行可能となっている。ここでは、簡易検知処理としての異音検知処理を例示する。情報処理装置１４０の処理部１４２は、制御部１５１により音データの異音検知に関する各種制御を実行し、学習処理部１５２により音データの異音検知に関する学習処理を実行し、検知処理部１５３により音データの異音検知に関する検知処理を実行し、判定処理部１５４により音データの異音検知に関する判定処理を実行する。本実施の形態の異音検知処理において、検知に先立つ学習処理と、学習結果を用いた検知処理とを実行する。情報処理装置１４０は、異音検知処理の学習処理を実行する際に、図６に示すような簡易検知機能画面２５０を表示部１４５に表示する。図６の簡易検知機能画面２５０は、異音検知処理の実行画面の一態様であり、学習処理実行時に表示される画面である。学習処理では、情報処理装置１４０は特定時間中の音変動を学習し、学習結果を示す表示情報の一例として、音データの周波数特性を表示する。音データの周波数特性として、例えば各周波数毎の音圧レベルの最大値と最小値を取得する。
　簡易検知機能画面２５０には、入力デバイス、サンプリング周波数等の音データに関する各種情報が表示され、学習ボタン２５１、検知ボタン２５２、周波数特性表示２５３が表示される。学習ボタン２５１は、学習開始と学習停止とがタッチ操作毎にトグル表示され、ユーザ操作に従って学習の開始又は停止の操作指示を入力する。検知ボタン２５２は、検知開始と検知停止とがタッチ操作毎にトグル表示され、ユーザ操作に従って異音検知の開始又は停止の操作指示を入力する。
　周波数特性表示２５３は、音データの周波数特性（スペクトル）をグラフ表示によって表示する。周波数特性表示２５３において、横軸は周波数、縦軸は音圧レベルである。学習処理時の周波数特性表示２５３は、現時点までの学習期間における音データの各周波数の最大値Ｓｍａｘと最小値Ｓｍｉｎを表示し、現在の音データの周波数特性値Ｓｔを表示する。学習開始から学習停止までの学習期間は、例えば１０分間など、ユーザが異音が発生していない状況での所定時間を検知対象の現場の環境、各種条件などに応じて適宜設定する。
　ユーザが簡易検知機能画面２５０を視認し、学習ボタン２５１を操作して学習開始を指示すると、情報処理装置１４０は、例えば異常度の判定に用いる音データの学習を開始する。また、ユーザが学習ボタン２５１を操作して学習停止を指示すると、情報処理装置１４０は、例えば異常度の判定に用いる音データの学習を停止する。
　図７は、本実施の形態に係る異音検知処理における学習処理の手順の一例を示すフローチャートである。情報処理装置１４０は、ユーザによる表示画面のタブ操作又はメニュー操作等によって簡易検知機能画面２５０を表示部１４５に表示し、学習ボタン２５１の学習開始ボタンの押下操作による開始指示を受け付けると、学習処理を開始する。
　学習処理において、まず情報処理装置１４０は、録音処理によって記録した学習対象の音データを取得する（Ｓ２１）。音データの取得は、各時刻の音データについて時系列に順次実行される。このとき、情報処理装置１４０は、取得した音データについて、ＦＦＴ（Fast Fourier Transform）等の周波数変換処理によって時間軸の音データを周波数軸に変換し、０Ｈｚから２４ｋＨｚ（サンプリング周波数の１／２）の周波数帯域のスペクトルを取得する。そして、情報処理装置１４０は、取得した所定時刻の音データをもとに、周波数毎の音圧の最大値Ｓｍａｘと最小値Ｓｍｉｎを更新する（Ｓ２２）。周波数毎の最大値Ｓｍａｘ及び最小値Ｓｍｉｎは、学習処理の結果（学習結果）を示す音データの周波数特性の一例であり、学習結果データとして記憶部１４３に記憶する。また、情報処理装置１４０は、取得した所定時刻の音データと更新した最大値Ｓｍａｘと最小値Ｓｍｉｎとを用いて、周波数特性表示２５３のグラフを更新する（Ｓ２３）。以上に記載した方法は、簡易的な学習処理の一例であるが、判定対象音の学習処理は、先に例示した１つ以上の統計的分類技術を用いて行っても良い。
　そして、情報処理装置１４０は、ユーザによる学習ボタン２５１の学習終了ボタンの押下操作がなされ、終了指示があったかどうかを判定し（Ｓ２４）、学習ボタン２５１の再押下による終了指示を受け付けると、学習処理を終了する。情報処理装置１４０は、終了指示を受け付けるまでは、ステップＳ２１～Ｓ２４を繰り返し実行し、学習処理を継続する。上記の学習処理によって、学習結果として、所定の学習期間における音データの各周波数毎の最大値Ｓｍａｘ及び最小値Ｓｍｉｎが求められ、記憶部１４３に記憶されるとともに、周波数特性表示２５３に表示される。
　情報処理装置１４０は、学習処理時に取得する音データにおいて音切れがある場合、音切れ期間の音データを除去し、学習結果に反映させないようにする。例えば、録音処理において記録された音切れ発生時のイベントログを参照し、音切れが発生している期間の音データについては周波数毎の音圧の最大値及び最大値の更新を停止する。或いは、音切れが発生している期間の音データの取得を停止して、音切れ期間の音データを除去する。なお、録音処理時に音切れが発生している期間の音データの記録を停止して録音ファイルから音切れ期間の音データを削除するようにしてもよい。
　図８は、本実施の形態に係る異音検知処理における検知処理実行時の表示画面の一例を示す図である。情報処理装置１４０は、異音検知処理の検知処理を実行する際に、図８に示すような簡易検知機能画面２６０を表示部１４５に表示する。図８の簡易検知機能画面２６０は、異音検知処理の実行画面の一態様であり、検知処理実行時に表示される画面である。検知処理では、情報処理装置１４０は検知対象の音データと学習した音データの周波数特性を比較し、両者の周波数特性の乖離が大きい場合、異常と判定して異音が検知されたことを示す検知情報を記録する。
　簡易検知機能画面２６０には、図６の簡易検知機能画面２５０と同様、音データに関する各種情報が表示され、学習ボタン２５１、検知ボタン２５２、周波数特性表示２５３が表示される。また、周波数特性表示２５３の右側部に、異常度表示２６１、音圧表示２６２が表示される。また、簡易検知機能画面２６０には、異常検知されたことを示すアラート表示２６３、異音検知リスト２６４が表示される。
　検知処理時の周波数特性表示２５３は、上述した学習処理によって学習された音データの各周波数の最大値Ｓｍａｘと最小値Ｓｍｉｎを表示し、異常度の判定対象となる現在の音データの周波数特性値Ｓｔを表示する。異常度表示２６１は、例えばバー表示等によって所定の異常度算出方法により算出した異常度を表示する。また、異常度表示２６１には、異音判定のための閾値Ａｔｈをライン等によって表示する。異常度の閾値は、例えばユーザがクリック操作等によって指定することにより、検知対象の現場の環境、各種条件などに応じて任意に設定可能である。音圧表示２６２は、音データの総音圧レベルとして、例えばバー表示等によって現在の音データの音圧レベルを表示する。また、音圧表示２６２には、学習結果の総音圧レベルの最大値ＳＰｍａｘと最小値ＳＰｍｉｎをライン等によって表示する。アラート表示２６３は、異音が検知されたときに例えばテキストメッセージ等により表示する。異音検知リスト２６４は、異音が検知されたときに、例えば異音検知時刻等の検知情報をリスト表示する。異音検知リスト２６４の中の検知情報をユーザがクリック操作等によって指定することにより、該当する異音検知時刻における音データの周波数特性を周波数特性表示２５３に表示することも可能である。
　ユーザが簡易検知機能画面２６０を視認し、検知ボタン２５２を操作して異音検知開始を指示すると、情報処理装置１４０は、音データの異音検知を開始する。また、ユーザが検知ボタン２５２を操作して異音検知停止を指示すると、情報処理装置１４０は、音データの異音検知を停止する。
　図９は、本実施の形態に係る異音検知処理における検知処理の手順の一例を示すフローチャートである。情報処理装置１４０は、ユーザによる表示画面のタブ操作又はメニュー操作等によって簡易検知機能画面２６０を表示部１４５に表示し、検知ボタン２５２の検知開始ボタンの押下操作による開始指示を受け付けると、検知処理を開始する。
　検知処理において、まず情報処理装置１４０は、録音処理によって記録した検知対象の音データを取得する（Ｓ３１）。音データの取得は、各時刻の音データについて時系列に順次実行される。このとき、情報処理装置１４０は、取得した音データについて、ＦＦＴ等の周波数変換処理によって時間軸の音データを周波数軸に変換し、０Ｈｚから２４ｋＨｚの周波数帯域のスペクトルを取得する。そして、情報処理装置１４０は、取得した所定時刻の音データと、学習結果の周波数毎の音圧の最大値Ｓｍａｘと最小値Ｓｍｉｎをもとに、検知対象の音データの異常度を算出する（Ｓ３２）。また、情報処理装置１４０は、取得した検知対象の音データと学習結果の最大値Ｓｍａｘと最小値Ｓｍｉｎとを用いて、周波数特性表示２５３のグラフ、及び異常度表示２６１、音圧表示２６２を表示する。
　情報処理装置１４０は、算出した異常度が所定の閾値以上かどうか判定し（Ｓ３３）、異常度が閾値以上である場合、表示部１４５に異音検知を示すアラート表示２６３を表示し、ユーザに異音が検知されたことを報知する（Ｓ３４）。アラート表示２６３は、例えば「異常」などのメッセージを表示する。このとき、情報処理装置１４０は、検知時の異常度、異音検知時刻等の検知情報を記憶部１４３に記憶し、異音検知リスト２６４にリスト表示する。このアラート表示２６３及び異音検知リスト２６４によって、ユーザに簡易検知による異音が検知されたことを認知させることが可能である。
　そして、情報処理装置１４０は、ユーザによる検知ボタン２５２の検知終了ボタンの押下操作がなされ、終了指示があったかどうかを判定し（Ｓ３５）、検知ボタン２５２の再押下による終了指示を受け付けると、検知処理を終了する。情報処理装置１４０は、終了指示を受け付けるまでは、ステップＳ３１～Ｓ３５を繰り返し実行し、検知処理を継続する。上記の検知処理によって、現在の音データの周波数特性及び異常度が簡易検知機能画面２６０に表示され、異常度が所定の閾値を超えた場合に異音検知されたことが表示される。
　情報処理装置１４０は、検知処理時に取得する音データにおいて音切れがある場合、音切れ期間の音データを除去し、異音検知結果に反映させないようにする。例えば、録音処理において記録された音切れ発生時のイベントログを参照し、音切れが発生している期間の音データについては異常度の算出を停止するか、異常度を０とする。或いは、音切れが発生している期間の音データの取得を停止して、音切れ期間の音データを除去する。
　ここで、異常度算出方法の一例を示す。異常度Ａは、学習結果の音データの周波数特性を用いて、検知対象の現在の音データと学習結果との周波数毎の距離の総和に基づいて算出可能であり、例えば各周波数毎の音圧の最大値又は最小値を超えた量の総和によって求められる。すなわち、周波数毎の音圧が最大値又は最小値を超えた場合の、その測定値と最大値又は最小値との距離の総和によって異常度Ａを算出する。異常度Ａを数式で表すと以下の式（１）のようになる。
　Ａ＝Σ（１／ｎ）ｄｉ　　　…（１）
　　ただし、Σはｉ＝０～ｎ－１、０Ｈｚから２４ｋＨｚにおいて１０２４ステップ（ｎ＝１０２４）の範囲で（１／ｎ）ｄｉを加算するものであり、
　　ある周波数の音圧値をｘｉとしたとき、Ｓｍａｘ＜ｘｉの場合はｄｉ＝｜Ｓｍａｘ－ｘｉ｜、Ｓｍｉｎ＞ｘｉの場合はｄｉ＝｜Ｓｍｉｎ－ｘｉ｜、Ｓｍｉｎ≦ｘｉ≦Ｓｍａｘの場合はｄｉ＝０である。
　式（１）を用いて、０Ｈｚから２４ｋＨｚのいずれかの周波数において音圧値ｘｉが最大値又は最小値を超えた場合、音圧値ｘｉと最大値又は最小値との距離ｄｉを算出し、０Ｈｚから２４ｋＨｚの全周波数において距離ｄｉを加算して総和を求めることにより、異常度Ａを算出する。なお、異常度Ａは、周波数によって所定の重み付けを行うなど、処理対象の周波数特性、周囲環境、収音条件などに応じて、所定の係数を用いて算出してもよい。算出した異常度Ａが所定の閾値Ａｔｈを超えた場合（Ａ＞Ａｔｈ）、異音が検知されたと判定する。このとき、単純に異常度Ａが閾値Ａｔｈを超えるだけでなく、閾値Ａｔｈに対する異常度Ａの乖離の程度、所定の単位時間における超過頻度などを加味して異常を判定することにより、誤判定を削減でき、より的確に異音の検知を実施することが可能である。以上、異常度算出方法の一例について記載したが、異常度の算出は、先に例示した１つ以上の統計的分類技術を用いて行っても良い。
　なお、上述した情報処理装置１４０において実行する本実施の形態の録音処理、異音検知処理に関する各種の処理は、有線又は無線のネットワーク又は通信回線等の通信路を介して接続されるサーバ装置等の他の情報処理装置によって少なくとも一部を実行するようにしてもよい。
　図１０は、本実施の形態に係る収音解析システムの構成の他の例を示すブロック図である。本例では、ネットワーク又は通信回線を介して接続されるサーバ装置によって異音検知に関する処理を実行する構成例を示す。収音解析システムは、情報処理装置１４０Ａ及びサーバ装置３４０を含む構成である。情報処理装置１４０Ａは、通信部１４１、処理部１４２Ａ、記憶部１４３、操作入力部１４４、表示部１４５、通信部１４６を有し、処理部１４２Ａは制御部１５１の機能を有している。通信部１４６は、有線又は無線の通信インタフェースを有し、外部のサーバ装置３４０と通信を行う。情報処理装置１４０Ａは、有線又は無線のネットワーク又は通信回線等の通信路３００を介してサーバ装置３４０と接続される。その他は図１に示した収音解析システムの構成と同様であり、ここでは異なる部分のみ説明する。
　サーバ装置３４０は、プロセッサ及びメモリを有する情報処理装置（コンピュータ）により構成され、本実施の形態に係る異音検知処理等に関する各種の情報処理を実行する。サーバ装置３４０は、通信部３４１、処理部３４２、記憶部２４３を有する。通信部３４１は、情報処理装置１４０Ａとの間で音データ、学習データ等の各種データを送受信する。処理部３４２は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等のプロセッサを有する。処理部３４２は、所定のプログラムに従って処理を実行し、前述した異音検知処理等の機能を実現する。処理部３４２は、機能的構成として、各種制御を実行する制御部３５１、学習処理を実行する学習処理部３５２、検知処理を実行する検知処理部３５３、判定処理を実行する判定処理部３５４を有する。ここで、学習処理部３５２、検知処理部３５３、判定処理部３５４は、前述した図１の構成例における情報処理装置１４０の処理部１４２の学習処理部１５２、検知処理部１５３、判定処理部１５４と同様の処理を行う。なお、学習処理部３５２、検知処理部３５３、判定処理部３５４のうちの一部の処理をサーバ装置３４０において実行し、残りを情報処理装置１４０Ａの処理部１４２Ａにおいて実行してもよい。
　本例では、本実施の形態に係る処理をネットワーク又は通信回線等を介して接続される複数の情報処理装置において分散して実行する構成となっている。特に、異音検知処理の学習処理、検知処理については、高い処理能力を持つサーバ装置等の情報処理装置を用いて実行することにより、複雑なアルゴリズム演算や高速処理などへの対応が容易になる。学習処理部、検知処理部、判定処理部による処理は、オーディオインタフェースと接続されるローカルの情報処理装置、又は通信路を介して接続されるリモートの情報処理装置などにおいて、処理毎に適宜割り当てて実行してもよい。例えば、システム構成、使用環境、データ処理のアルゴリズム、データ量、データ特性、出力態様などの各種条件に応じて、本実施の形態に係る各処理を適切な情報処理装置にて実行することが可能である。また、録音処理は、音声入力部のオーディオインタフェース１２０に接続される情報処理装置１４０Ａにおいて実行することが好ましい。この場合、音の遅延が少ない高速な処理が可能であり、また、的確な音切れ検知が可能になる。
　このように、本実施の形態では、取得した音データの周波数毎の最大値及び最小値等を更新して記録することによって音データの周波数特性を学習でき、学習結果を用いて的確な異音検知を実行できる。また、検知対象の音データと学習結果との周波数毎の距離の総和に基づいて異常度を算出し、この異常度によって異音発生の判定を容易かつ適切に実行できる。この際、表示画面の異常度表示や異音検知を示すアラート表示によって、ユーザは容易に異音の発生を認識できる。よって、異音検知に関する経験やノウハウを持つ熟練者でなくとも、簡便に異音検知を実施可能である。
　以上のように、本実施の形態の収音解析システムは、収音対象のオーディオ信号を入力するインタフェースであって、オーディオ信号をディジタルの音データに変換するＡＤコンバータ１２２と、所定時間分の音データを保持するバッファ１２３と、を含むオーディオインタフェース１２０と、音データの記録に関する各種処理を実行する処理部１４２と、音データの記録に関する情報を記憶する記憶部１４３と、を有する。処理部１４２は、音データをオーディオインタフェース１２０を介して取得し、録音処理の開始指示を受けると、取得した音データの記憶部１４３への記録を開始する。また、処理部１４２は、音データが不連続となる音切れの発生を検知し、音切れの発生が生じた場合、当該音切れ発生時刻を含むログを音切れ発生時のイベントログとして記憶部１４３に記録し、録音処理の終了指示を受けるまで音データの記憶部１４３への記録を継続する。また、処理部１４２は、終了指示を受けると、音データの記録を終了する。
　これにより、録音処理の際に取得した音データの音切れを検知して音切れ発生時刻を含むイベントログを記録し、このイベントログ用いて、音切れ発生時の音データを除去することが可能となる。例えば、録音した音データに関する学習処理等において、音切れ発生時の音データを除去して処理を行うことにより、適切な処理実行が可能となる。よって、解析処理時の不具合要因となる音切れを回避できる。
　また、収音解析システムにおいて、処理部１４２は、取得した音データの前回の取得時刻と今回の取得時刻との差分が所定時間以上である場合、音切れの発生を検知する。これにより、容易かつ適切に音切れの発生を検知可能となる。例えば、差分を判定する所定時間をバッファ１２３のバッファ容量に設定することにより、音データが不連続となることを適切に検知可能である。
　また、収音解析システムにおいて、音データの記録に関する表示画面を表示する表示部１４５を有し、処理部１４２は、取得した音データにおいて音切れの発生が所定時間内に所定回数以上発生した場合、不具合発生を示すアラート表示を表示部１４５に表示する。これにより、音切れが高頻度で発生した場合、アラート表示によって不具合発生をユーザに報知することにより、システムを再起動して録音処理を復帰させることが可能となり、録音処理を正常に継続できる。
　また、収音解析システムにおいて、処理部１４２は、取得した音データを録音ファイルとして記憶部１４３に記録し、所定のファイル更新タイミング毎に録音ファイルを別ファイルに変更して録音ファイルを分割する。これにより、長時間の録音であっても取得した音データを適切な長さの録音ファイルに分割できる。
　また、収音解析システムにおいて、処理部１４２は、取得した音データにおいて音切れの発生が生じた場合、当該音切れ発生時の音データを除去して記録する。これにより、取得した音データを音切れが無い状態で記録できるため、例えば、録音した音データに関する学習処理等において、音切れ発生時の音データを含まない状態で処理を行うことができ、適切な処理実行が可能となる。
　また、収音解析システムにおいて、処理部１４２は、音切れの発生が生じた場合、音切れ発生時刻を含むログを音切れ発生時のイベントログとして表示部１４５に表示する。これにより、音切れが発生した場合、イベントログの表示によって音切れが発生したこと及び音切れ発生時刻をユーザが容易に認識できる。
　本実施の形態の収音解析方法は、収音対象のオーディオ信号を入力するインタフェースであって、オーディオ信号をディジタルの音データに変換するＡＤコンバータ１２２と、所定時間分の音データを保持するバッファ１２３と、を含むオーディオインタフェース１２０と、音データの記録に関する各種処理を実行する処理部１４２と、音データの記録に関する情報を記憶する記憶部１４３と、を有する収音解析システムにおける収音解析方法である。処理部１４２により、音データをオーディオインタフェース１２０を介して取得し、録音処理の開始指示を受けると、取得した音データの記憶部１４３への記録を開始する。また、音データが不連続となる音切れの発生を検知し、音切れの発生が生じた場合、当該音切れ発生時刻を含むログを音切れ発生時のイベントログとして記憶部１４３に記録し、録音処理の終了指示を受けるまで音データの記憶部１４３への記録を継続する。また、終了指示を受けると、音データの記録を終了する。これにより、取得した音データの記録及び音切れの検知を適切に実行できる。
　本実施の形態の収音解析システムは、収音対象のオーディオ信号を入力するインタフェースであって、オーディオ信号をディジタルの音データに変換するＡＤコンバータ１２２と、所定時間分の音データを保持するバッファ１２３と、を含むオーディオインタフェース１２０と、音データの異音検知に関する各種制御を実行する制御部１５１と、音データの異音検知に関する学習処理を実行する学習処理部１５２と、音データの異音検知に関する検知処理を実行する検知処理部１５３と、音データの異音検知に関する判定処理を実行する判定処理部１５４と、音データの異音検知に関する情報を記憶する記憶部１４３と、音データの異音検知に関する表示画面を表示する表示部１４５と、を有する。制御部１５１は、音データをオーディオインタフェース１２０を介して取得し、学習処理部１５２は、異音検知処理の学習処理の開始指示を受けた場合、学習処理の終了指示を受けるまで制御部１５１が取得した音データの学習処理を実行し、学習結果を示す音データの周波数特性を取得する。また、検知処理部１５３は、異音検知処理の検知処理の開始指示を受けた場合、学習処理部１５２が取得した学習結果を示す音データの周波数特性を用いて検知対象の音データの異常度を算出し、判定処理部１５４は、検知処理部１５３が算出した異常度と所定の閾値との比較によって異常の有無を判定する。制御部１５１は、判定処理部１５４が異常ありと判定した場合、異音検知を示すアラート表示を表示部１４５に表示する。
　これにより、音データの周波数特性の学習結果を用いて、的確な異音検知を実行できる。また、例えば検知対象の音データと学習結果との周波数毎の距離の総和に基づいて異常度を算出し、この異常度によって異音発生の判定を容易かつ適切に実行できる。この際、異音検知を示すアラート表示によって、ユーザは容易に異音の発生を認識できる。よって、学習結果を用いた解析処理によって容易に異常状態を判定できる。
　また、収音解析システムにおいて、学習処理部１５２は、学習処理において、音データの周波数特性として、音データの周波数毎の音圧の最大値と最小値を更新し、制御部１５１は、音データの各周波数毎の最大値及び最小値を学習結果として表示部１４５に表示する。これにより、取得した音データの周波数毎の最大値及び最小値を更新することによって、音データの周波数特性の学習結果を容易かつ的確に取得できる。
　また、収音解析システムにおいて、検知処理部１５３は、検知処理において、学習結果の各周波数毎の最大値及び最小値を用いて、周波数毎の検知対象の音データと最大値又は最小値との距離の総和を求め、総和に基づいて異常度を算出する。これにより、音データの周波数毎の音圧の最大値又は最小値との比較によって距離を算出し、距離の総和に基づいて的確に異常度を算出でき、この異常度によって、異音検知を容易かつ適切に実行できる。
　また、収音解析システムにおいて、制御部１５１は、取得した音データの周波数特性と学習結果の音データの周波数特性とを含む周波数特性表示を、表示部１４５に表示する。これにより、周波数特性表示を見ることによってユーザは容易に取得した音データ及び学習結果の周波数特性を確認でき、学習結果との乖離によって容易に異音の発生を認識できる。
　また、収音解析システムにおいて、制御部１５１は、検知対象の音データの異常度の算出結果を示す異常度表示を、表示部１４５に表示する。これにより、異常度表示を見ることによってユーザは容易に取得した音データの異常度の程度を確認でき、例えば所定の閾値との比較によって容易に異音の発生を認識できる。
　また、収音解析システムにおいて、検知処理部１５３の検知処理における異常の判定に用いる閾値は、表示部１４５に表示した異常度表示において、ユーザ操作によって設定可能である。これにより、ユーザが容易に適切な閾値を設定して異音検知を実行できる。
　また、収音解析システムにおいて、学習処理部１５２は、検知対象の音データにおいて不連続となる音切れの発生が生じた場合、当該音切れ発生時の音データを除去して学習処理を実行する。これにより、学習処理において、音切れ発生時の音データが無い状態で処理を行うことができ、適切な処理実行が可能となる。
　また、収音解析システムにおいて、制御部１５１は、検知対象の音データに関する音切れ発生時のイベントログを参照し、音切れ発生時の音データを除去する。これにより、イベントログを用いて音切れ発生時の音データを容易かつ適切に除去できる。
　また、収音解析システムにおいて、学習処理部１５２は、１つ以上の統計的分類技術を用いて、取得した音データの学習処理を行う。これにより、取得した音データに応じた適切な学習が可能となる。
　また、収音解析システムにおいて、検知処理部１５３は、１つ以上の統計的分類技術を用いて、異常度の算出を行う。これにより、取得した音データに応じた適切な異常度の算出が可能となる。
　本実施の形態の収音解析方法は、収音対象のオーディオ信号を入力するインタフェースであって、オーディオ信号をディジタルの音データに変換するＡＤコンバータ１２２と、所定時間分の音データを保持するバッファ１２３と、を含むオーディオインタフェース１２０と、音データの異音検知に関する表示画面を表示する表示部１４５と、を有する収音解析システムを用いた収音解析方法である。収音対象のオーディオ信号がディジタル変換された音データをオーディオインタフェース１２０を介して取得し、異音検知処理の学習処理の開始指示を受けた場合、学習処理の終了指示を受けるまで取得した音データの学習処理を実行し、学習結果を示す音データの周波数特性を取得する。また、異音検知処理の検知処理の開始指示を受けた場合、学習結果を示す音データの周波数特性を用いて検知対象の音データの異常度を算出し、算出した異常度と所定の閾値との比較によって異常の有無を判定し、異常ありと判定した場合、異音検知を示すアラート表示を表示部１４５に表示する。これにより、音データの周波数特性の学習結果を用いて、的確な異音検知を実行できる。
　以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０１８年６月８日出願の日本特許出願（特願２０１８－１１０３３０、及び特願２０１８－１１０３３１）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示は、収音した音データに関して、学習結果を用いた解析処理によって容易に異常状態を判定することができる収音解析システム及び収音解析方法として有用である。
　１１０　マイクロホン（ＭＩＣ）
　１２０　オーディオインタフェース（オーディオＩ／Ｆ）
　１４０　情報処理装置（ＰＣ）
　１２１　入力部
　１２２　ＡＤコンバータ（ＡＤＣ）
　１２３　バッファ
　１２４　通信部
　１４１　通信部
　１４２　処理部
　１４３　記憶部
　１４４　操作入力部
　１４５　表示部

Claims (26)

  1. 　収音対象のオーディオ信号を入力するインタフェースであって、前記オーディオ信号をディジタルの音データに変換するＡＤコンバータと、所定時間分の前記音データを保持するバッファと、を含むオーディオインタフェースと、
    　前記音データの異音検知に関する各種制御を実行する制御部と、
    　前記音データの異音検知に関する学習処理を実行する学習処理部と、
    　前記音データの異音検知に関する検知処理を実行する検知処理部と、
    　前記音データの異音検知に関する判定処理を実行する判定処理部と、
    　前記音データの異音検知に関する情報を記憶する記憶部と、
    　前記音データの異音検知に関する表示画面を表示する表示部と、を有し、
    　前記制御部は、
    　前記音データを前記オーディオインタフェースを介して取得し、
    　前記学習処理部は、
    　異音検知処理の学習処理の開始指示を受けた場合、前記学習処理の終了指示を受けるまで前記制御部が取得した音データの学習処理を実行し、学習結果を示す音データの周波数特性を取得し、
    　前記検知処理部は、
    　異音検知処理の検知処理の開始指示を受けた場合、前記学習処理部が取得した学習結果を示す音データの周波数特性を用いて検知対象の音データの異常度を算出し、
    　前記判定処理部は、
    　前記検知処理部が算出した異常度と所定の閾値との比較によって異常の有無を判定し、
    　前記制御部は、
    　前記判定処理部が異常ありと判定した場合、異音検知を示すアラート表示を前記表示部に表示する、
    　収音解析システム。
  2. 　請求項１に記載の収音解析システムであって、
    　前記学習処理部は、
    　前記学習処理において、前記音データの周波数特性として、前記音データの周波数毎の音圧の最大値と最小値を更新し、
    　前記制御部は、
    　前記音データの各周波数毎の最大値及び最小値を前記学習結果として前記表示部に表示する、
    　収音解析システム。
  3. 　請求項２に記載の収音解析システムであって、
    　前記検知処理部は、
    　前記検知処理において、前記学習結果の各周波数毎の最大値及び最小値を用いて、周波数毎の前記検知対象の音データと前記最大値又は前記最小値との距離の総和を求め、前記総和に基づいて前記異常度を算出する、
    　収音解析システム。
  4. 　請求項１から３のいずれか一項に記載の収音解析システムであって、
    　前記制御部は、
    　前記取得した音データの周波数特性と前記学習結果の音データの周波数特性とを含む周波数特性表示を、前記表示部に表示する、
    　収音解析システム。
  5. 　請求項１から４のいずれか一項に記載の収音解析システムであって、
    　前記制御部は、
    　前記検知対象の音データの異常度の算出結果を示す異常度表示を、前記表示部に表示する、
    　収音解析システム。
  6. 　請求項５に記載の収音解析システムであって、
    　前記検知処理部の検知処理における異常の判定に用いる閾値は、
    　前記表示部に表示した前記異常度表示において、ユーザ操作によって設定可能である、
    　収音解析システム。
  7. 　請求項１から６のいずれか一項に記載の収音解析システムであって、
    　前記学習処理部は、
    　前記検知対象の音データにおいて不連続となる音切れの発生が生じた場合、当該音切れ発生時の音データを除去して前記学習処理を実行する、
    　収音解析システム。
  8. 　請求項７に記載の収音解析システムであって、
    　前記制御部は、
    　前記検知対象の音データに関する音切れ発生時のイベントログを参照し、前記音切れ発生時の音データを除去する、
    　収音解析システム。
  9. 　請求項１から８のいずれか一項に記載の収音解析システムであって、
    　前記学習処理部は、１つ以上の統計的分類技術を用いて、前記取得した音データの学習処理を行う、
    　収音解析システム。
  10. 　請求項１から９のいずれか一項に記載の収音解析システムであって、
    　前記検知処理部は、１つ以上の統計的分類技術を用いて、前記異常度の算出を行う、
    　収音解析システム。
  11. 　収音対象のオーディオ信号を入力するインタフェースであって、前記オーディオ信号をディジタルの音データに変換するＡＤコンバータと、所定時間分の前記音データを保持するバッファと、を含むオーディオインタフェースと、
    　前記音データの異音検知に関する表示画面を表示する表示部と、を有する収音解析システムを用いた収音解析方法であって、
    　収音対象のオーディオ信号がディジタル変換された音データを前記オーディオインタフェースを介して取得し、
    　異音検知処理の学習処理の開始指示を受けた場合、前記学習処理の終了指示を受けるまで前記取得した音データの学習処理を実行し、学習結果を示す音データの周波数特性を取得し、
    　異音検知処理の検知処理の開始指示を受けた場合、前記学習結果を示す音データの周波数特性を用いて検知対象の音データの異常度を算出し、
    　前記算出した異常度と所定の閾値との比較によって異常の有無を判定し、異常ありと判定した場合、異音検知を示すアラート表示を前記表示部に表示する、
    　収音解析方法。
  12. 　請求項１１に記載の収音解析方法であって、
    　前記学習処理において、前記音データの周波数特性として、前記音データの周波数毎の音圧の最大値と最小値を更新し、
    　前記音データの各周波数の最大値及び最小値を前記学習結果として前記表示部に表示する、
    　収音解析方法。
  13. 　請求項１２に記載の収音解析方法であって、
    　前記検知処理において、前記学習結果の各周波数毎の最大値及び最小値を用いて、周波数毎の前記検知対象の音データと前記最大値又は前記最小値との距離の総和を求め、前記総和に基づいて前記異常度を算出する、
    　収音解析方法。
  14. 　請求項１１に記載の収音解析方法であって、
    　前記取得した音データの周波数特性と前記学習結果の音データの周波数特性とを含む周波数特性表示を、前記表示部に表示する、
    　収音解析方法。
  15. 　請求項１１に記載の収音解析方法であって、
    　前記検知対象の音データの異常度の算出結果を示す異常度表示を、前記表示部に表示する、
    　収音解析方法。
  16. 　請求項１５に記載の収音解析方法であって、
    　前記検知処理における異常の判定に用いる閾値は、
    　前記表示部に表示した前記異常度表示において、ユーザ操作によって設定可能である、
    　収音解析方法。
  17. 　請求項１１に記載の収音解析方法であって、
    　前記検知対象の音データにおいて不連続となる音切れの発生が生じた場合、当該音切れ発生時の音データを除去して前記学習処理を実行する、
    　収音解析方法。
  18. 　請求項１７に記載の収音解析方法であって、
    　前記検知対象の音データに関する音切れ発生時のイベントログを参照し、前記音切れ発生時の音データを除去する、
    　収音解析方法。
  19. 　請求項１１に記載の収音解析方法であって、
    　前記学習処理は、１つ以上の統計的分類技術を用いて、前記取得した音データの学習処理を行う、
    　収音解析方法。
  20. 　請求項１１に記載の収音解析方法であって、
    　前記検知処理は、１つ以上の統計的分類技術を用いて、前記異常度の算出を行う、
    　収音解析方法。
  21. 　請求項１１に記載の収音解析方法であって、
    　前記収音解析システムは、前記音データの記録に関する情報を記憶する記憶部をさらに備え、
    　前記オーディオインタフェースを介して前記音データを取得し、
    　録音処理の開始指示を受けると、前記取得した音データの前記記憶部への記録を開始し、
    　前記音データが不連続となる音切れの発生を検知し、
    　前記音切れの発生が生じた場合、当該音切れ発生時刻を含むログを音切れ発生時のイベントログとして前記記憶部に記録し、
    　前記録音処理の終了指示を受けるまで前記音データの前記記憶部への記録を継続し、
    　前記終了指示を受けると、前記音データの記録を終了する、
    　収音解析方法。
  22. 　請求項２１に記載の収音解析方法であって、
    　前記取得した音データの前回の取得時刻と今回の取得時刻との差分が所定時間以上である場合、前記音切れの発生を検知する、
    　収音解析方法。
  23. 　請求項２１に記載の収音解析方法であって、
    　前記音データの記録に関する表示画面を前記表示部に表示し、
    　前記取得した音データにおいて音切れの発生が所定時間内に所定回数以上発生した場合、不具合発生を示すアラート表示を前記表示部に表示する、
    　収音解析方法。
  24. 　請求項２１に記載の収音解析方法であって、
    　前記取得した音データを録音ファイルとして前記記憶部に記録し、所定のファイル更新タイミング毎に前記録音ファイルを別ファイルに変更して録音ファイルを分割する、
    　収音解析システム。
  25. 　請求項２１に記載の収音解析方法であって、
    　前記取得した音データにおいて音切れの発生が生じた場合、当該音切れ発生時の音データを除去して記録する、
    　収音解析方法。
  26. 　請求項２１に記載の収音解析方法であって、
    　前記音切れの発生が生じた場合、前記音切れ発生時刻を含むログを音切れ発生時のイベントログとして表示部に表示する、
    　収音解析方法。
PCT/JP2019/013458 2018-06-08 2019-03-27 収音解析システム及び収音解析方法 WO2019235035A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-110331 2018-06-08
JP2018110330 2018-06-08
JP2018110331 2018-06-08
JP2018-110330 2018-06-08

Publications (1)

Publication Number Publication Date
WO2019235035A1 true WO2019235035A1 (ja) 2019-12-12

Family

ID=68770164

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013458 WO2019235035A1 (ja) 2018-06-08 2019-03-27 収音解析システム及び収音解析方法

Country Status (1)

Country Link
WO (1) WO2019235035A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111477199A (zh) * 2020-04-02 2020-07-31 北京瑞迪欧文化传播有限责任公司 一种嵌入式音乐控制系统
WO2023105546A1 (ja) * 2021-12-06 2023-06-15 日本電気株式会社 監視システム、監視方法およびプログラム記録媒体
TWI860042B (zh) 2023-08-16 2024-10-21 致伸科技股份有限公司 異音檢測裝置與運用於其中之異音檢測方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113351A (ja) * 1995-08-15 1997-05-02 Omron Corp 振動監視装置及び振動監視条件決定装置
JP2014137323A (ja) * 2013-01-18 2014-07-28 Hitachi Power Solutions Co Ltd 異常診断装置およびこれを用いた異常診断方法
CN105181019A (zh) * 2015-09-15 2015-12-23 安徽精科检测技术有限公司 用于旋转类机械早期故障预警分析的计算机程序产品
JP2016063590A (ja) * 2014-09-17 2016-04-25 株式会社東芝 配電網の故障予兆診断システムおよびその方法
JP2017020793A (ja) * 2015-07-07 2017-01-26 株式会社アニモ 情報処理方法及び装置
JP2018009970A (ja) * 2016-07-01 2018-01-18 株式会社リコー 診断装置、診断システム、診断方法およびプログラム
JP2018025945A (ja) * 2016-08-09 2018-02-15 株式会社リコー 診断装置、学習装置および診断システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113351A (ja) * 1995-08-15 1997-05-02 Omron Corp 振動監視装置及び振動監視条件決定装置
JP2014137323A (ja) * 2013-01-18 2014-07-28 Hitachi Power Solutions Co Ltd 異常診断装置およびこれを用いた異常診断方法
JP2016063590A (ja) * 2014-09-17 2016-04-25 株式会社東芝 配電網の故障予兆診断システムおよびその方法
JP2017020793A (ja) * 2015-07-07 2017-01-26 株式会社アニモ 情報処理方法及び装置
CN105181019A (zh) * 2015-09-15 2015-12-23 安徽精科检测技术有限公司 用于旋转类机械早期故障预警分析的计算机程序产品
JP2018009970A (ja) * 2016-07-01 2018-01-18 株式会社リコー 診断装置、診断システム、診断方法およびプログラム
JP2018025945A (ja) * 2016-08-09 2018-02-15 株式会社リコー 診断装置、学習装置および診断システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111477199A (zh) * 2020-04-02 2020-07-31 北京瑞迪欧文化传播有限责任公司 一种嵌入式音乐控制系统
CN111477199B (zh) * 2020-04-02 2021-11-30 北京瑞迪欧文化传播有限责任公司 一种嵌入式音乐控制系统
WO2023105546A1 (ja) * 2021-12-06 2023-06-15 日本電気株式会社 監視システム、監視方法およびプログラム記録媒体
TWI860042B (zh) 2023-08-16 2024-10-21 致伸科技股份有限公司 異音檢測裝置與運用於其中之異音檢測方法

Similar Documents

Publication Publication Date Title
JP7304545B2 (ja) 異常予測システム及び異常予測方法
US8155968B2 (en) Voice recognition apparatus and method for performing voice recognition comprising calculating a recommended distance range between a user and an audio input module based on the S/N ratio
US10097687B2 (en) Nuisance call detection device and method
JP6374466B2 (ja) センサインタフェース装置、測定情報通信システム、測定情報通信方法、及び測定情報通信プログラム
US10637751B2 (en) Methods and systems for online monitoring using a variable data sampling rate
US20240046953A1 (en) Sound data processing method, sound data processing device, and program
JP5197853B2 (ja) モニタリング装置
WO2019235035A1 (ja) 収音解析システム及び収音解析方法
JP7512495B2 (ja) 状態監視装置、方法及びプログラム
JP2023075189A (ja) 状態監視装置、方法及びプログラム
RU2597487C2 (ru) Устройство обработки, способ обработки, программа, машиночитаемый носитель записи информации и система обработки
JP6731802B2 (ja) 検出装置、検出方法及び検出プログラム
US20210302197A1 (en) Abnormality detection apparatus and abnormality detection method
JP2019066339A (ja) 音による診断装置、診断方法、および診断システム
JP6441550B1 (ja) コンピュータシステム、設備異常音判定方法及びプログラム
US20230366729A1 (en) Trained autoencoder, trained autoencoder generation method, non-stationary vibration detection method, non-stationary vibration detection device, and computer program
JP7288218B2 (ja) 異常音判定システム、異常音判定装置、及びプログラム
US20220335257A1 (en) Neural network based anomaly detection for time-series data
KR20230073210A (ko) 진동 해석 시스템, 및 진동 해석 방법
US20220351707A1 (en) Method and device for flattening power of musical sound signal, and method and device for detecting beat timing of musical piece
JP2021519122A (ja) 呼吸障害のある被験者の検出
US20220011271A1 (en) Sound state display method, sound state display apparatus, and sound state display system
US20220269958A1 (en) Device-invariant, frequency-domain signal processing with machine learning
JP2020155906A (ja) システム、機器、情報処理装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19814074

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19814074

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP