WO2021074973A1 - モデル生成方法、モデル生成装置、プログラム - Google Patents

モデル生成方法、モデル生成装置、プログラム Download PDF

Info

Publication number
WO2021074973A1
WO2021074973A1 PCT/JP2019/040514 JP2019040514W WO2021074973A1 WO 2021074973 A1 WO2021074973 A1 WO 2021074973A1 JP 2019040514 W JP2019040514 W JP 2019040514W WO 2021074973 A1 WO2021074973 A1 WO 2021074973A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
value
model
replacement
predetermined
Prior art date
Application number
PCT/JP2019/040514
Other languages
English (en)
French (fr)
Inventor
裕 清川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2019/040514 priority Critical patent/WO2021074973A1/ja
Priority to US17/763,374 priority patent/US20220335964A1/en
Priority to JP2021552019A priority patent/JP7420144B2/ja
Publication of WO2021074973A1 publication Critical patent/WO2021074973A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training

Definitions

  • the present invention relates to a method, an apparatus, and a program for generating a model for removing noise from acoustic data.
  • analysis processing of acoustic data such as detecting a specific event such as an abnormality occurring in the plant may be performed from the acoustic data collected in the plant.
  • noise removal processing such as suppressing or reducing the noise in order to improve the accuracy of the analysis processing for the acoustic data.
  • a method of removing noise from acoustic data the following methods can be considered.
  • a noise removal processing method a method of separating signals based on the difference in the statistical model between the acoustic data to be analyzed and the noise can be considered.
  • filter processing such as smoothing of acoustic data or using a high-pass filter.
  • the noise removal method described above causes the following problems.
  • an object of the present invention is to provide a method, an apparatus, and a program for solving the above-mentioned problem that noise cannot be removed from acoustic data with high accuracy.
  • the model generation method which is one embodiment of the present invention, is From the actual data of the acoustic data, the replacement data in which the predetermined value in the actual data is replaced with the replacement value which is a value different from the predetermined value is generated.
  • a model for removing noise from predetermined acoustic data is generated by learning using the actual data and the replacement data of the acoustic data. It takes the configuration.
  • the model generator which is one embodiment of the present invention, is A data generation unit that generates replacement data from the actual data of acoustic data by replacing a predetermined value in the actual data with a replacement value that is a value different from the predetermined value.
  • a learning unit that learns using the actual data of the acoustic data and the replacement data to generate a model for removing noise from predetermined acoustic data, and a learning unit. With, It takes the configuration.
  • the program which is one form of the present invention is For information processing equipment A data generation unit that generates replacement data from the actual data of acoustic data by replacing a predetermined value in the actual data with a replacement value that is a value different from the predetermined value. A learning unit that learns using the actual data of the acoustic data and the replacement data to generate a model for removing noise from predetermined acoustic data, and a learning unit. To realize, It takes the configuration.
  • the present invention can accurately remove noise from acoustic data by being configured as described above.
  • FIG. 1 It is a block diagram which shows the structure of the noise removing device in Embodiment 1 of this invention. It is a figure which shows the state of the process at the time of generating the model for noise removal by the noise removal apparatus disclosed in FIG. It is a figure which shows the state of the process at the time of generating the model for noise removal by the noise removal apparatus disclosed in FIG. It is a figure which shows the state of the process at the time of generating the model for noise removal by the noise removal apparatus disclosed in FIG. It is a figure which shows the state of the process at the time of generating the model for noise removal by the noise removal apparatus disclosed in FIG. It is a figure which shows the state of the process at the time of generating the model for noise removal by the noise removal apparatus disclosed in FIG. It is a figure which shows the state of the process at the time of generating the model for noise removal by the noise removal apparatus disclosed in FIG.
  • FIG. 1 is a diagram for explaining a configuration of a noise removing device
  • FIGS. 2 to 11 are diagrams for explaining a processing operation of the noise removing device.
  • the noise removing device 10 in this embodiment is connected to a monitoring target P such as a plant. Then, the noise removing device 10 acquires acoustic data such as mechanical sounds in the plant measured by the microphone installed in the monitored target P, and generates a model for removing noise from the acoustic data. Functions as a generator. Further, the noise removing device 10 functions to remove noise from the measured acoustic data by using the generated model.
  • the noise removing device 10 outputs the noise-removed acoustic data to an analysis device (not shown), the acoustic data is analyzed by the analysis device, and the state of the monitoring target P is monitored based on the analysis result.
  • the analysis device can detect that the monitored target P is in a specific state such as an abnormality by analyzing the acoustic data from which noise has been removed.
  • the noise removing device 10 is not necessarily limited to processing the acoustic data measured from the plant, and may process any acoustic data measured at any place.
  • acoustic data such as unreproducible acoustic data, acoustic data that cannot increase the number of trials, and acoustic data that cannot measure only noise at the measurement location is desirable as a processing target.
  • Any acoustic data may be processed.
  • the model generating device may only perform the process of generating a model for removing noise from the acoustic data.
  • the noise removing device 10 is composed of one or a plurality of information processing devices including an arithmetic unit and a storage device. Then, as shown in FIG. 1, the noise removing device 10 includes a measuring unit 11, a clipping unit 12, a defect generation unit 13, a learning unit 14, and a noise removing unit 15, which are constructed by the arithmetic unit executing a program. To be equipped. Further, the noise removing device 10 includes an acoustic data storage unit 16 and a model storage unit 17 formed in the storage device. Hereinafter, each configuration will be described in detail.
  • the measurement unit 11 acquires acoustic data, which is a sound signal measured by a single microphone installed in the monitoring target P, and stores it in the acoustic data storage unit 16.
  • the measuring unit 11 acquires acoustic data measured at a sampling frequency of 44.1 kHz, and for example, as shown by reference numeral D1 in FIG. 2, digital data in which the number of samples is plotted on the horizontal axis and the amplitude is plotted on the vertical axis. Acoustic data will be acquired.
  • reference numeral D1 in FIG. 2 only the acoustic data corresponding to the period corresponding to the number of samplings of 1000 points is shown, but the period of the acquired acoustic data is not limited to such a period.
  • the measurement unit 11 is not always necessary, and the acoustic data may be stored in the acoustic data storage unit 16 in advance.
  • the clipping unit 12 (data generation unit) divides and cuts out the acoustic data stored in the acoustic data storage unit 16 for each predetermined period, and performs a process of generating a plurality of acoustic data for the predetermined period.
  • the clipping unit 12 generates 5000 divided acoustic data D2 (actual data) obtained by dividing the acoustic data D1 for 1000 sampling points into a period for 64 sampling points.
  • the clipping unit 12 randomly generates the divided acoustic data D2 cut out from the acoustic data D1 in a period of 64 consecutive sampling points.
  • the periods of the plurality of divided acoustic data D2 generated by the clipping unit 12 may overlap each other in the original acoustic data D1.
  • a window for a predetermined period such as 64 sampling points may be prepared, and the acoustic data in the window may be cut out as the divided acoustic data D2 while moving the window.
  • the clipping unit 12 is not necessarily limited to generating the divided sound data D2 for the above-mentioned period (64 points), and may generate the divided sound data D2 for a certain period. Further, the clipping unit 12 does not necessarily have to generate 5000 divided acoustic data, and may generate any number of divided acoustic data. Alternatively, the clipping 12 is not always necessary, and the acoustic data measured by the measuring unit 11 or a plurality of acoustic data stored in advance may be prepared and used as the above-mentioned divided acoustic data D2.
  • the defect generation unit 13 (data generation unit) generates defective data D3 (replacement data) in which some values are missing from each divided acoustic data D2 (actual data) generated as described above.
  • the defect generation unit 13 sets the amplitude value (predetermined value) at a predetermined sampling point (predetermined time point) in the divided acoustic data D2 shown in the upper part of FIG. 3 to a value different from the actual value.
  • the missing data D3 shown in the lower part of FIG. 3 is generated by replacing with the value (replacement value).
  • the missing value may be any value, but for example, as the missing value, the average value of each value in the same divided acoustic data D2 may be calculated and used, or another value may be copied and used.
  • the missing value in the present embodiment may be "0", but it is not necessarily limited to a value that eliminates the amplitude value such as "0", and is included in the divided acoustic data D2 which is the actual data. It may be a value different from the value of the amplitude at a predetermined sampling point of.
  • the defect generation unit 13 generates the missing data D3 by replacing only the amplitude value at one sampling point with the missing value in one divided acoustic data D2.
  • the defect generation unit 13 is not necessarily limited to replacing only the amplitude value at one sampling point with the missing value in one divided acoustic data D2.
  • the defect generation unit 13 may replace the amplitude values at the plurality of sampling points with the defect values in one divided acoustic data D2.
  • the defect generation unit 13 replaces the value of one amplitude with the missing value for each of the divided acoustic data D2 in the same manner as described above, and generates each missing data D3 corresponding to each divided acoustic data D2. At this time, the defect generation unit 13 replaces the amplitude values of different sampling points on the original acoustic data D1 before division with the missing values for each divided acoustic data D2. For example, in the example of FIG. 4, in the divided acoustic data D2 in which the period of the sampling number is 64 points, only the value of the amplitude of the 40th sampling number is replaced with the missing value.
  • the period of the divided acoustic data D2 cut out is different from the example of FIG. 3, but even if the divided acoustic data D2 is the same, the amplitude values of the different sampling points are replaced with missing values.
  • the defect generation unit 13 randomly determines the sampling points to be replaced with the missing values in each of the divided acoustic data D2, and as a result, the replacement with the missing values does not occur at many sampling points. It becomes.
  • the learning unit 14 performs network learning using the divided acoustic data D2 and the missing data D3 generated as described above, and generates a model for removing noise from predetermined acoustic data. Specifically, the learning unit 14 first generates a missing data set D3'that is a collection of a plurality of missing data D3s. At this time, as shown in FIG. 5, the learning unit 14 generates a missing data set D3'consisting of a combination of a plurality of missing data D3 in which the missing values are replaced at different sampling points. As an example, the learning unit 14 generates 100 missing data D3s as one missing data set D3'.
  • the learning unit 14 uses a plurality of missing data D3s included in the missing data set D3'as input values to be input to the model at once, and learns the plurality of missing data D3s collectively. Specifically, in the learning unit 14, for each missing data D3 in the missing data set D3', the amplitude value of the sampling point replaced with the missing value in the missing data D3 is before being replaced with such a missing value. Network learning is performed so as to predict and output a value approaching the amplitude value in the divided acoustic data D2. For example, in the example of FIG. 6, learning is performed so that the value of the missing value F approaches the value T of the actual data before being replaced with the missing value as shown by the arrow. At this time, the learning unit 14 learns to predict the value T of the actual data before being replaced by the missing value F, in particular, from the value of the amplitude of the missing data D3 other than the missing value F.
  • the learning unit 14 Prior to the above-mentioned learning, the learning unit 14 has a loss, which is the difference between the missing value in the missing data D2 and the value T of the actual data before being replaced by the missing value F in the corresponding divided acoustic data D2. Calculate the value. Then, the learning unit 14 learns a model that predicts a value that minimizes the loss value with respect to the value T of the actual data as the value of the sampling point replaced by the missing value in the missing data D2.
  • the learning unit 14 learns about a large number of missing data D3s by inputting a plurality of missing data sets D3', and predicts the value of the sampling point replaced by the missing value. To generate. Then, the learning unit 14 stores the generated model in the model storage unit 17.
  • the model generated in this way has a function of removing missing values, and can be applied to noise removal.
  • the noise removing unit 15 removes noise in predetermined acoustic data by using the model stored in the model storage unit 17. Specifically, the noise removing unit 15 first acquires the acoustic data in the monitored target P measured by the measuring unit 11 as described above. Then, the noise removing unit 15 reads out the model stored in the model storage unit 17, inputs the acquired acoustic data to the model, and acquires the output thereof. Then, the noise removing unit 15 can acquire the acoustic data from which the noise has been removed as an output. The noise removing unit 15 outputs the output acoustic data to a predetermined analysis processing device or stores it for analysis processing.
  • the noise removing device 10 acquires acoustic data D1 which is a sound signal measured by a single microphone installed in the monitoring target P (step S1). Then, as shown in FIG. 2, the noise removing device 10 randomly divides the acoustic data D1 into a period of a fixed number of samplings to generate a plurality of divided acoustic data D2 (step S2).
  • the noise removing device 10 deletes a part of the amplitude value in each divided acoustic data D2 and generates the missing data D3 corresponding to each divided acoustic data D2 (step S3).
  • the noise removing device 10 generates the missing data D3 by replacing only the amplitude value at one sampling point with the missing value for one divided acoustic data D2.
  • the noise removing device 10 generates the missing data D3 by replacing the amplitude values of different sampling points on the original acoustic data D1 before the division with the missing values for each divided acoustic data D2.
  • the missing data D3 is generated as shown in the lower figures of FIGS. 3 and 4.
  • the noise removing device 10 generates a missing data set D3'in which a plurality of missing data D3s are put together (step S4). At this time, as shown in FIG. 5, the noise removing device 10 generates a missing data set D3'of a plurality of missing data D3 in which the missing values are replaced at different sampling points.
  • the noise removing device 10 determines that each missing data D3 in each missing data set D3'is replaced with a missing value in the missing data D3 and a missing value F in the corresponding divided acoustic data D2.
  • the loss value which is the difference between the data value T and the data value T, is calculated (step S5).
  • the noise removing device 10 performs network learning using the missing data D3 and the loss value (step S6). Specifically, the noise removing device 10 uses a plurality of missing data D3s included in the missing data set D3'as input values to be input to the model at one time, and the values at the sampling points replaced with the missing values in each missing data D3. As a result, network training of the model is performed so as to predict a value that minimizes the loss value with respect to the value of the actual data before being replaced with the missing value. That is, the noise removing device 10 learns the input missing value in the missing data D3 so that the value of the sampling point replaced with the missing value in the missing data D3 is used as the teacher signal. As a result, the generated model is learned to predict the value of the actual data before being replaced by the missing value as the value at the sampling point replaced by the missing value in the missing data D3.
  • the noise removing device 10 learns about a large number of missing data D3s by inputting a plurality of missing data sets D3', and generates a model that predicts the value of the sampling point replaced by the missing value (step S7). After that, the noise removing device 10 stores the generated model in the model storage unit 17.
  • the model generated as described above has a function of removing missing values from acoustic data, and can also be applied to noise removal.
  • the noise removing device 10 acquires the acoustic data in the monitored target P measured by the measuring unit 11 (step S11). Then, the noise removing device 10 inputs the acquired acoustic data to the model stored in the model storage unit 17 (step S12), and acquires the output (step S13). Then, the noise removing device 10 outputs the output acoustic data to a predetermined analysis processing device or stores it for analysis processing.
  • the acoustic data is deleted, and a model learned to predict the value of the actual data before the deletion is generated as the value of the defective portion.
  • noise can be accurately removed from the acoustic data. Therefore, even if the acoustic data has no reproducibility, the number of trials cannot be increased, or the acoustic data cannot measure only the noise at the measurement location, the noise can be removed with high accuracy.
  • the analysis system can be improved by performing various analysis processes using the noise-removed acoustic data. For example, it can also be used for detecting the occurrence of a specific event such as an abnormality from acoustic data measured in a plant or the like.
  • the value of the amplitude at one sampling point is deleted in one divided acoustic data D2, and the value of the defective portion is predicted from the value of the actual data of the other portion. Is being generated. Therefore, since a model that calculates one predicted value from a plurality of values can be generated, a model that predicts the value of the defective portion more effectively can be generated, and noise removal can be effectively performed.
  • a plurality of divided acoustic data D2 having different defective parts are collectively learned. Therefore, it is possible to generate a model that can appropriately handle all kinds of acoustic data, and it is possible to perform noise removal more effectively.
  • the graph of FIG. 9 is an output when a model is generated by learning using acoustic data (gray line: noise addition signal) with Gaussian noise added, and acoustic data with Gaussian noise added to the model is input.
  • solid black line: signal before noise addition are shown. Looking at this graph, it can be said that the model output reproduces the signal before noise addition to some extent, and it can be seen that the noise is appropriately removed.
  • the graph of FIG. 10 learns using acoustic data (gray line: noise addition signal) in which a random impulse signal is added as noise to generate a model, and acoustic data in which random impulse noise is added to the model.
  • the output when is input (dotted line: model output) and the acoustic data before adding noise (solid black line: signal before noise addition) are shown. Looking at this graph, it can be said that the model output reproduces the signal before noise addition to some extent, and it can be seen that the noise is appropriately removed.
  • the graph of FIG. 11 learns using acoustic data (gray line: noise addition signal) obtained by adding a periodic impulse signal as noise to generate a model, and the noise of the periodic impulse signal is added to the model.
  • the output (dotted line: model output) when the acoustic data with the addition of noise is input and the acoustic data before the noise is added (solid black line: signal before noise addition) are shown. Looking at this graph, it cannot be said that the model output reproduces the signal before noise addition. That is, even if the model generated by the method in the present embodiment is used, the periodic impulse signal is not removed as noise.
  • FIGS. 12 to 14 are block diagrams showing the configuration of the model generation device according to the second embodiment
  • FIG. 14 is a flowchart showing the operation of the model generation device.
  • the outline of the configuration of the model generation device and the model generation method described in the above-described embodiment is shown.
  • the model generation device 100 is composed of a general information processing device, and is equipped with the following hardware configuration as an example.
  • -CPU Central Processing Unit
  • -ROM Read Only Memory
  • RAM Random Access Memory
  • 103 storage device
  • -Program group 104 loaded into RAM 303
  • a storage device 105 that stores the program group 304.
  • a drive device 106 that reads and writes the storage medium 110 external to the information processing device.
  • -Communication interface 107 that connects to the communication network 111 outside the information processing device -I / O interface 108 for inputting / outputting data -Bus 109 connecting each component
  • the model generation device 100 can construct and equip the data generation unit 121 and the learning unit 122 shown in FIG. 19 by acquiring the program group 104 by the CPU 101 and executing the program group 104.
  • the program group 104 is stored in, for example, a storage device 105 or a ROM 102 in advance, and the CPU 101 loads the program group 104 into the RAM 103 and executes the program group 104 as needed. Further, the program group 104 may be supplied to the CPU 101 via the communication network 111, or may be stored in the storage medium 110 in advance, and the drive device 106 may read the program and supply the program to the CPU 101.
  • the extraction unit 121 and the calculation unit 122 described above may be constructed by an electronic circuit.
  • FIG. 12 shows an example of the hardware configuration of the information processing device which is the model generation device 100, and the hardware configuration of the information processing device is not limited to the above case.
  • the information processing device may be composed of a part of the above-described configuration, such as not having the drive device 106.
  • the model generation device 100 executes the model generation method shown in the flowchart of FIG. 14 by the functions of the data generation unit 121 and the learning unit 122 constructed by the program as described above.
  • the model generator 100 is From the actual data of the acoustic data, replacement data in which the predetermined value in the actual data is replaced with a replacement value which is a value different from the predetermined value is generated (step S101). Learning is performed using the actual data of the acoustic data and the replacement data to generate a model for removing noise from the predetermined acoustic data (step S102).
  • the model generation device 100 and the model generation method in the present embodiment are configured as described above, thereby replacing a predetermined value of the acoustic data with a replacement value, and using the replacement data and the actual data from the acoustic data.
  • Appendix 2 The model generation method described in Appendix 1. Using the actual data of the acoustic data and the replacement data, the model that predicts the actual data from the replacement data is generated. Model generation method.
  • Appendix 3 The model generation method according to Appendix 1 or 2. From the substitution data, the model that predicts the predetermined value in the actual data replaced with the substitution value is generated. Model generation method.
  • Appendix 4 The model generation method according to any one of Appendix 1 to 3.
  • the difference between the replacement value and the predetermined value in the actual data replaced by the replacement value is calculated as a loss value, and the replacement value is replaced with the replacement value based on the replacement data and the loss value.
  • Appendix 5 The model generation method according to any one of Appendix 1 to 4. With respect to the actual data for one predetermined period, only the predetermined value at one time point in the actual data is replaced with the replacement value to generate the replacement data. Model generation method.
  • Appendix 6 The model generation method according to any one of Appendix 1 to 5.
  • the plurality of the replacement data are generated by replacing the predetermined value at a predetermined time in the actual data with the replacement value.
  • the model is generated by learning based on the plurality of the actual data and the plurality of the replacement data. Model generation method.
  • Appendix 7 The model generation method described in Appendix 6 A plurality of the replacement data are generated by replacing the predetermined values at different time points in the actual data with the replacement values for each of the actual data in the plurality of predetermined periods. Model generation method.
  • Appendix 8 The model generation method according to Appendix 6 or 7.
  • the model is generated by simultaneously learning the plurality of the actual data and the plurality of replacement data corresponding to each of the plurality of the actual data. Model generation method.
  • Appendix 9 The model generation method described in Appendix 8. A plurality of the actual data and a plurality of the replacement data having different time points when the predetermined value in the actual data is replaced with the replacement value are simultaneously learned to generate the model. Model generation method.
  • the replacement data in which the predetermined value in the actual data is replaced with the replacement value which is a value different from the predetermined value is generated.
  • a model for removing noise from predetermined acoustic data is generated by learning using the actual data and the replacement data of the acoustic data. Input predetermined acoustic data to the generated model and acquire the output from the model. Noise removal method.
  • a data generation unit that generates replacement data from the actual data of acoustic data by replacing a predetermined value in the actual data with a replacement value that is a value different from the predetermined value.
  • a learning unit that learns using the actual data of the acoustic data and the replacement data to generate a model for removing noise from predetermined acoustic data, and a learning unit.
  • a model generator equipped with.
  • the model generator according to Appendix 11 uses the actual data of the acoustic data and the replacement data to generate the model that predicts the actual data from the replacement data. Model generator.
  • the model generator according to any one of Appendix 11 to 11.2.
  • the learning unit calculates the difference between the substitution value and the predetermined value in the actual data replaced by the substitution value as a loss value, and based on the substitution data and the loss value, the learning unit said. Generate the model that predicts the predetermined value in the actual data that has been replaced by the replacement value. Model generator.
  • the model generator according to any one of Appendix 11 to 11.3.
  • the data generation unit generates the replacement data by substituting only the predetermined value at one time point in the actual data with the replacement value for the actual data for one predetermined period.
  • Model generator
  • the model generator according to any one of Appendix 11 to 11.4.
  • the data generation unit generates a plurality of the replacement data by replacing the predetermined value at a predetermined time in the actual data with the replacement value for each of the actual data in the plurality of predetermined periods.
  • the learning unit generates the model by learning based on the plurality of the actual data and the plurality of the replacement data. Model generator.
  • the model generator according to Appendix 11.5. The data generation unit generates a plurality of the replacement data by replacing the predetermined values at different time points in the actual data with the replacement values for each of the actual data in the plurality of predetermined periods. Model generator.
  • a data generation unit that generates replacement data from the actual data of acoustic data by replacing a predetermined value in the actual data with a replacement value that is a value different from the predetermined value.
  • a learning unit that learns using the actual data of the acoustic data and the replacement data to generate a model for removing noise from predetermined acoustic data, and a learning unit.
  • a noise removal unit that inputs predetermined acoustic data to the generated model and acquires the output from the model. Noise removal device equipped with.
  • a data generation unit that generates replacement data from the actual data of acoustic data by replacing a predetermined value in the actual data with a replacement value that is a value different from the predetermined value.
  • a learning unit that learns using the actual data of the acoustic data and the replacement data to generate a model for removing noise from predetermined acoustic data, and a learning unit.
  • a data generation unit that generates replacement data from the actual data of acoustic data by replacing a predetermined value in the actual data with a replacement value that is a value different from the predetermined value.
  • a learning unit that learns using the actual data of the acoustic data and the replacement data to generate a model for removing noise from predetermined acoustic data, and a learning unit.
  • a noise removal unit that inputs predetermined acoustic data to the generated model and acquires the output from the model.
  • Non-temporary computer-readable media include various types of tangible storage media.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (RandomAccessMemory)).
  • the program may also be supplied to the computer by various types of temporary computer readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本発明のモデル生成装置１００は、音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部１２１と、音響データの実データと置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部１２２と、を備える。

Description

モデル生成方法、モデル生成装置、プログラム
　本発明は、音響データからノイズを除去するモデルを生成する方法、装置、プログラムに関する。
　製造工場や処理施設などのプラントでは、かかるプラント内で採取した音響データから、プラント内に生じた異常などの特定の事象を検出する、というような音響データの解析処理が行われることがある。このとき、音響データにノイズが含まれている場合には、かかる音響データに対する解析処理の精度を上げるために、ノイズを抑圧したり軽減するなどノイズ除去処理を行うことが望ましい。
　ここで、音響データからノイズを除去する方法としては、以下のような方法が考えられる。まず、ノイズ除去処理方法として、解析対象である音響データとノイズとの統計的モデルの違いに基づいて信号を分離する方法が考えられる。また、他の方法として、音響データの平滑化やハイパスフィルタを用いるなどのフィルタ処理を行うことも考えられる。
特開２００４－０１２８８４号公報
　しかしながら、上述したようなノイズ除去方法では、以下のような問題が生じる。まず、解析処理にて検出したい特定の事象が異常状態などの発生頻度が少なく非定常的である場合には、その音響データが効果的な統計的モデルで表されにくい、という問題が生じる。また、そもそも実際の音響データとノイズとの統計的モデルを得ることが困難である。さらには、人物の音声とは異なり、音響データにおいてはフォルマントを持たない場合があるため、統計的モデルを得ることが困難である。このように、上述した統計的モデルを用いたノイズ除去方法では、音響データとノイズとの差異を明確に示すような効果的な統計的モデルを得ることが困難であるため、高精度にノイズを除去することができない。
　また、音響データの平滑化やハイパスフィルタを用いるなどのフィルタ処理では、特定帯域の信号が除去されてしまうため、音響データ自体が劣化してしまう。つまり、音響データからノイズのみを高精度に除去することができない。
　このため、本発明の目的は、上述した課題である、音響データから高精度にノイズを除去することができない、ことを解決するための方法、装置、プログラムを提供することにある。
　本発明の一形態であるモデル生成方法は、
　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し、
　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する、
という構成をとる。
　また、本発明の一形態であるモデル生成装置は、
　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
を備えた、
という構成をとる。
　また、本発明の一形態であるプログラムは、
　情報処理装置に、
　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
を実現させる、
という構成をとる。
　本発明は、以上のように構成されることにより、音響データから精度よくノイズを除去することができる。
本発明の実施形態１におけるノイズ除去装置の構成を示すブロック図である。 図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの処理の様子を示す図である。 図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの処理の様子を示す図である。 図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの処理の様子を示す図である。 図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの処理の様子を示す図である。 図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの処理の様子を示す図である。 図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの動作を示すフローチャートである。 図１に開示したノイズ除去装置によるノイズ除去用のモデルを用いて音響データからノイズを除去するときの動作を示すフローチャートである。 図１に開示したノイズ除去装置によって生成したノイズ除去用のモデルを用いて音響データを処理した結果を示す図である。 図１に開示したノイズ除去装置によって生成したノイズ除去用のモデルを用いて音響データを処理した結果を示す図である。 図１に開示したノイズ除去装置によって生成したノイズ除去用のモデルを用いて音響データを処理した結果を示す図である。 本発明の実施形態２におけるノイズ除去装置のハードウェア構成を示すブロック図である。 本発明の実施形態２におけるノイズ除去装置の構成を示すブロック図である。 本発明の実施形態２におけるノイズ除去装置の動作を示すフローチャートである。
　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図１１を参照して説明する。図１は、ノイズ除去装置の構成を説明するための図であり、図２乃至図１１は、ノイズ除去装置の処理動作を説明するための図である。
　［構成］
　本実施形態におけるノイズ除去装置１０は、プラントなどの監視対象Ｐに接続されている。そして、ノイズ除去装置１０は、監視対象Ｐに設置されたマイクロフォンにて計測されたプラント内における機械音などの音響データを取得して、かかる音響データからノイズを除去するためのモデルを生成するモデル生成装置として機能する。また、ノイズ除去装置１０は、生成したモデルを用いて、計測した音響データからノイズを除去するよう機能する。
　なお、ノイズ除去装置１０は、ノイズを除去した音響データを図示しない解析装置に出力し、かかる解析装置にて音響データが解析され、解析結果に基づいて監視対象Ｐの状態が監視されることとなる。例えば、解析装置では、ノイズを除去した音響データを解析することによって、監視対象Ｐに異常が生じているなどの特定の状態であることを検出することができる。
　但し、ノイズ除去装置１０は、必ずしもプラントから計測した音響データを処理対象とすることに限定されず、いかなる場所で計測されたいかなる音響データを処理対象としてもよい。例えば、本実施形態におけるノイズ除去装置１０では、再現性がない音響データ、試行回数が増やせない音響データ、計測場所における雑音のみの測定ができない音響データ、というような音響データが処理対象として望ましいが、いかなる音響データを処理対象としてもよい。また、本実施形態における装置では、必ずしも音響データからノイズを除去する処理まで行う必要はなく、モデル生成装置として音響データからノイズを除去するためのモデルを生成する処理のみを行ってもよい。
　上記ノイズ除去装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、ノイズ除去装置１０は、図１に示すように、演算装置がプログラムを実行することで構築された、計測部１１、クリッピング部１２、欠損生成部１３、学習部１４、ノイズ除去部１５、を備える。また、ノイズ除去装置１０は、記憶装置に形成された、音響データ記憶部１６、モデル記憶部１７、を備える。以下、各構成について詳述する。
　上記計測部１１は、監視対象Ｐに設置された単一のマイクロフォンにて計測された音信号である音響データを取得し、音響データ記憶部１６に記憶する。例えば、計測部１１は、サンプリング周波数４４．１ｋＨｚで計測された音響データを取得し、例えば、図２の符号Ｄ１で示すように、横軸にサンプリング数、縦軸に振幅をプロットしたデジタルデータの音響データを取得することとなる。なお、図２の符号Ｄ１の例では、サンプリング数１０００点分の期間に相当する音響データしか図示していないが、取得する音響データの期間はかかる期間であることに限定されない。なお、計測部１１は必ずしも必要ではなく、予め音響データ記憶部１６に音響データが記憶されていてもよい。
　上記クリッピング部１２（データ生成部）は、音響データ記憶部１６に記憶されている音響データを所定期間毎に分割して切り出し、かかる所定期間の音響データを複数生成する処理を行う。一例として、クリッピング部１２は、図２に示すように、サンプリング数１０００点分の音響データＤ１を、サンプリング数６４点分の期間に分割した分割音響データＤ２（実データ）を５０００個生成する。このとき、クリッピング部１２は、音響データＤ１からランダムに、連続するサンプリング数６４点分の期間にて切り出した分割音響データＤ２を生成する。なお、クリッピング部１２が生成する複数の分割音響データＤ２の期間は、元となる音響データＤ１内で相互に重なっていてもよい。例えば、サンプリング数６４点分といった所定期間のウインドウを用意し、かかるウインドウを移動させながらウインドウ内の音響データを分割音響データＤ２として切り出してもよい。
　ここで、クリッピング部１２は、必ずしも上述した期間（６４点分）の分割音響データＤ２を生成することに限定されず、いなかる期間の分割音響データＤ２を生成してもよい。また、クリッピング部１２は、分割音響データを必ずしも５０００個生成する必要はなく、いかなる数の分割音響データを生成してもよい。あるいは、クリッピング１２は必ずしも必要はなく、計測部１１で計測された音響データ、あるいは、予め記憶された音響データを複数用意することで、上述した分割音響データＤ２として利用してもよい。
　上記欠損生成部１３（データ生成部）は、上述したように生成した各分割音響データＤ２（実データ）から、それぞれ一部の値が欠損した欠損データＤ３（置換データ）を生成する。一例として、欠損生成部１３は、図３の上段に示す分割音響データＤ２内の所定のサンプリング点（所定時点）における振幅の値（所定の値）を、実際の値とは異なる値である欠損値（置換値）に置き換えて、図３の下段に示す欠損データＤ３を生成する。このとき、欠損値は任意の値でよいが、例えば、欠損値として、同一の分割音響データＤ２内の各値の平均値を算出して用いたり、別の値をコピーして用いてもよい。なお、本実施形態における欠損値は「０」であってもよいが、必ずしも「０」のように振幅の値を無くならせる値であることに限定されず、実データである分割音響データＤ２内の所定のサンプリング点における振幅の値とは異なる値であればよい。
　また、欠損生成部１３は、１つの分割音響データＤ２において、１つのサンプリング点における振幅の値のみを、欠損値に置き換えて欠損データＤ３を生成する。例えば、図３の例では、サンプリング数の期間が６４点である分割音響データＤ２において、サンプリング数３２番目の振幅の値のみを欠損値に置き換えている。但し、欠損生成部１３は、必ずしも１つの分割音響データＤ２において、１つのサンプリング点における振幅の値のみを欠損値に置き換えることに限定されない。欠損生成部１３は、１つの分割音響データＤ２において、複数のサンプリング点における振幅の値をそれぞれ欠損値に置き換えてもよい。
　そして、欠損生成部１３は、各分割音響データＤ２のそれぞれに対して、上述同様に１つの振幅の値を欠損値に置き換えて、各分割音響データＤ２に対応する各欠損データＤ３を生成する。このとき、欠損生成部１３は、各分割音響データＤ２について、分割前の元となる音響データＤ１上における異なるサンプリング点の振幅の値を、欠損値に置き換える。例えば、図４の例では、サンプリング数の期間が６４点である分割音響データＤ２において、サンプリング数４０番目の振幅の値のみを欠損値に置き換えている。これにより、そもそも図３の例とは切り出した分割音響データＤ２の期間が異なるが、仮に分割音響データＤ２が同一の場合であっても、異なるサンプリング点の振幅の値を欠損値に置き換える。但し、欠損生成部１３は、各分割音響データＤ２のそれぞれにおいて、欠損値に置き換えるサンプリング点をランダムに決定することで、結果として多くのサンプリング点において重複して欠損値への置き換えが生じないこととなる。
　上記学習部１４は、上述したように生成した分割音響データＤ２と欠損データＤ３とを用いてネットワーク学習を行い、所定の音響データからノイズを除去するモデルを生成する。具体的に、学習部１４は、まず、複数の欠損データＤ３をまとめた欠損データセットＤ３’を生成する。このとき、学習部１４は、図５に示すように、異なるサンプリング点で欠損値を置き換えた複数の欠損データＤ３の組み合わせからなる欠損データセットＤ３’を生成する。一例として、学習部１４は、１００個の欠損データＤ３を１つの欠損データセットＤ３’として生成する。
　そして、学習部１４は、欠損データセットＤ３’に含まれる複数の欠損データＤ３を一度にモデルに入力する入力値とし、これら複数の欠損データＤ３をまとめて学習する。具体的に、学習部１４は、欠損データセットＤ３’内の各欠損データＤ３について、当該欠損データＤ３内における欠損値に置き換えられたサンプリング点の振幅の値が、かかる欠損値に置き換えられる前の分割音響データＤ２内の振幅の値に近づく値を予測して出力するようネットワーク学習を行う。例えば、図６の例では、欠損値Ｆの値が、矢印に示すように欠損値に置き換えられる前の実データの値Ｔに近づく値を出力するよう学習を行う。このとき、学習部１４は、特に、欠損データＤ３の欠損値Ｆ以外の振幅の値から、欠損値Ｆに置き換えられる前の実データの値Ｔを予測するよう学習する。
　なお、学習部１４は、上述した学習に先立ち、欠損データＤ２内の欠損値と、対応する分割音響データＤ２内における欠損値Ｆに置き換えられる前の実データの値Ｔと、の差である損失値を算出しておく。そして、学習部１４は、欠損データＤ２内の欠損値に置き換えられたサンプリング点の値として、実データの値Ｔに対する損失値を最小とするような値を予測するモデルを学習する。
　以上のようにして、学習部１４は、複数の欠損データセットＤ３’を入力とすることで、多数の欠損データＤ３について学習することとなり、欠損値に置き換えられたサンプリング点の値を予測するモデルを生成する。そして、学習部１４は、生成したモデルをモデル記憶部１７に記憶しておく。このようにして生成されたモデルは、欠損値を除去する機能を有することとなり、ノイズ除去にも適用可能となる。
　上記ノイズ除去部１５は、モデル記憶部１７に記憶されているモデルを用いて、所定の音響データ内のノイズを除去する。具体的に、ノイズ除去部１５は、まず、上述したように計測部１１にて計測された監視対象Ｐ内の音響データを取得する。そして、ノイズ除去部１５は、モデル記憶部１７に記憶されているモデルを読み出し、かかるモデルに、取得した音響データを入力して、その出力を取得する。すると、ノイズ除去部１５は、ノイズが除去された音響データを出力として取得することができる。なお、ノイズ除去部１５は、出力された音響データを、所定の解析処理装置に出力したり、解析処理用に記憶しておく。
　［動作］
　次に、上述したノイズ除去装置１０の動作を、主に図７乃至図８のフローチャートを参照して説明する。まず、図７のフローチャートを参照して、ノイズ除去装置１０がモデル生成装置として作動し、音響データのノイズを除去するためのモデルを生成するときの動作を説明する。
　ノイズ除去装置１０は、監視対象Ｐに設置された単一のマイクロフォンにて計測された音信号である音響データＤ１を取得する（ステップＳ１）。そして、ノイズ除去装置１０は、図２に示すように、音響データＤ１をランダムに一定のサンプリング数の期間で区切って分割し、複数の分割音響データＤ２を生成する（ステップＳ２）。
　続いて、ノイズ除去装置１０は、各分割音響データＤ２において一部の振幅の値を欠損させて、各分割音響データＤ２にそれぞれ対応する欠損データＤ３を生成する（ステップＳ３）。このとき、ノイズ除去装置１０は、１つの分割音響データＤ２について、１つのサンプリング点における振幅の値のみを欠損値に置き換えることで欠損データＤ３を生成する。さらに、ノイズ除去装置１０は、各分割音響データＤ２について、分割前の元となる音響データＤ１上における異なるサンプリング点の振幅の値を欠損値に置き換えて、欠損データＤ３を生成する。例えば、図３，４の下図に示すように欠損データＤ３を生成する。
　続いて、ノイズ除去装置１０は、複数の欠損データＤ３をまとめた欠損データセットＤ３’を生成する（ステップＳ４）。このとき、ノイズ除去装置１０は、図５に示すように、それぞれが異なるサンプリング点で欠損値を置き換えた複数の欠損データＤ３の欠損データセットＤ３’を生成する。
　続いて、ノイズ除去装置１０は、各欠損データセットＤ３’内の各欠損データＤ３について、当該欠損データＤ３内の欠損値と、対応する分割音響データＤ２内における欠損値Ｆに置き換えられる前の実データの値Ｔと、の差である損失値を算出する（ステップＳ５）。
　そして、ノイズ除去装置１０は、欠損データＤ３と損失値とを用いて、ネットワーク学習を行う（ステップＳ６）。具体的に、ノイズ除去装置１０は、欠損データセットＤ３’に含まれる複数の欠損データＤ３を一度にモデルに入力する入力値とし、各欠損データＤ３内で欠損値に置き換えられたサンプリング点における値として、欠損値に置き換えられる前の実データの値に対する損失値が最小となるような値を予測するように、モデルのネットワーク学習を行う。つまり、ノイズ除去装置１０は、入力された欠損データＤ３内の欠損値に対して、当該欠損データＤ３内の欠損値に置き換えられたサンプリング点の値を教師信号とするように学習を行う。これにより、生成されるモデルは、欠損データＤ３内で欠損値に置き換えられたサンプリング点における値として、欠損値に置き換えられる前の実データの値を予測するよう学習される。
　そして、ノイズ除去装置１０は、複数の欠損データセットＤ３’を入力として多数の欠損データＤ３について学習し、欠損値に置き換えられたサンプリング点の値を予測するモデルを生成する（ステップＳ７）。その後、ノイズ除去装置１０は、生成したモデルをモデル記憶部１７に記憶しておく。
　以上のようにして生成されたモデルは、音響データから欠損値を除去する機能を有することとなり、ノイズ除去にも適用可能となる。
　次に、図８のフローチャートを参照して、ノイズ除去装置１０がモデルを用いて所定の音響データのノイズを除去するときの動作を説明する。まず、ノイズ除去装置１０は、計測部１１にて計測された監視対象Ｐ内の音響データを取得する（ステップＳ１１）。そして、ノイズ除去装置１０は、モデル記憶部１７に記憶されているモデルに対して、取得した音響データを入力して（ステップＳ１２）、その出力を取得する（ステップＳ１３）。そして、ノイズ除去装置１０は、出力された音響データを、所定の解析処理装置に出力したり、解析処理用に記憶しておく。
　以上のように、本実施形態におけるノイズ除去装置１０では、音響データを欠損させて、かかる欠損箇所の値として、欠損させる前の実データの値を予測するよう学習したモデルを生成しているため、かかるモデルによって音響データからノイズを精度よく除去することができる。このため、再現性がない音響データ、試行回数が増やせない音響データ、計測場所における雑音のみの測定ができない音響データ、というような音響データであっても、精度よくノイズ除去を行うことができる。そして、ノイズ除去を行った音響データを用いて様々な解析処理を行うことで、解析制度の向上を図ることができる。例えば、プラントなどで計測した音響データから、異常などの特定の事象の発生を検出するという用途にも利用することができる。
　そして、本実施形態では、特に、１つの分割音響データＤ２内で１つのサンプリング点における振幅の値を欠損させており、かかる欠損箇所の値を、他の箇所の実データの値から予測するモデルを生成している。このため、複数の値から１つの予測値を算出するモデルを生成できるため、より効果的に欠損箇所の値を予測するモデルを生成することができ、ノイズ除去を効果的に行うことができる。
　また、本実施形態では、それぞれ欠損箇所が異なる複数の分割音響データＤ２をまとめて学習している。このため、あらゆる音響データに適切に対応できるモデルを生成でき、ノイズ除去をより効果的に行うことができる。
　ここで、本実施形態におけるノイズ除去装置１０にて生成したモデルを用いて、実際にノイズ除去を行った事例を、図９乃至図１１を参照して説明する。まず、図９のグラフは、ガウスノイズを加算した音響データ（グレー線：ノイズ加算信号）を用いて学習してモデルを生成し、かかるモデルにガウスノイズを加算した音響データを入力したときの出力（点線：モデル出力）と、ガウスノイズを加算する前の音響データ（黒実線：ノイズ加算前信号）と、を示している。このグラフを見ると、モデル出力は、ノイズ加算前信号をある程度再現しているといえ、ノイズを適切に除去していることがわかる。
　次に、図１０のグラフは、ランダムインパルス信号をノイズとして加算した音響データ（グレー線：ノイズ加算信号）を用いて学習してモデルを生成し、かかるモデルにランダムインパルスのノイズを加算した音響データを入力したときの出力（点線：モデル出力）と、ノイズを加算する前の音響データ（黒実線：ノイズ加算前信号）と、を示している。このグラフを見ると、モデル出力は、ノイズ加算前信号をある程度再現しているといえ、ノイズを適切に除去していることがわかる。
　次に、図１１のグラフは、周期的なインパルス信号をノイズとして加算した音響データ（グレー線：ノイズ加算信号）を用いて学習してモデルを生成し、かかるモデルに周期的なインパルス信号のノイズを加算した音響データを入力したときの出力（点線：モデル出力）と、ノイズを加算する前の音響データ（黒実線：ノイズ加算前信号）と、を示している。このグラフを見ると、モデル出力は、ノイズ加算前信号を再現しているといえない。つまり、本実施形態における方法で生成したモデルを用いたとしても、周期的なインパルス信号はノイズとして除去されないこととなる。これにより、プラント内などの施設においてモータなどの機械による周期的なインパルス信号が通常状態として生じているような環境においては、かかる周期的なインパルス信号が除去されない。このため、音響データから不要に通常状態の信号を除去してしまうことを抑制することができ、ノイズのみを適切に除去することができる。その結果、精度よくノイズを除去した音響データを取得することができる。
　＜実施形態２＞
　次に、本発明の第２の実施形態を、図１２乃至図１４を参照して説明する。図１２乃至図１３は、実施形態２におけるモデル生成装置の構成を示すブロック図であり、図１４は、モデル生成装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明したモデル生成装置及びモデル生成方法の構成の概略を示している。
　まず、図１２を参照して、本実施形態におけるモデル生成装置１００のハードウェア構成を説明する。モデル生成装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１（演算装置）
　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２（記憶装置）
　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３（記憶装置）
　・ＲＡＭ３０３にロードされるプログラム群１０４
　・プログラム群３０４を格納する記憶装置１０５
　・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
　・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
　・データの入出力を行う入出力インタフェース１０８
　・各構成要素を接続するバス１０９
　そして、モデル生成装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１９に示すデータ生成部１２１と学習部１２２とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した抽出部１２１と算出部１２２とは、電子回路で構築されるものであってもよい。
　なお、図１２は、モデル生成装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。
　そして、モデル生成装置１００は、上述したようにプログラムによって構築されたデータ生成部１２１と学習部１２２との機能により、図１４のフローチャートに示すモデル生成方法を実行する。
　図１４に示すように、モデル生成装置１００は、
　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し（ステップＳ１０１）、
　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する（ステップＳ１０２）。
　本実施形態におけるモデル生成装置１００及びモデル生成方法は、以上のように構成されることにより、音響データの所定の値を置換値に置き換えて、かかる置換データと実データとを用いて音響データからノイズを除去するモデルを生成している。このため、生成されたモデルは、置換値を除去する機能を有することとなり、ノイズ除去にも適用可能となる。その結果、再現性がない音響データ、試行回数が増やせない音響データ、計測場所における雑音のみの測定ができない音響データ、というような音響データであっても、精度よくノイズ除去を行うことができる。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における時系列データ処理方法、時系列データ処理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し、
　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する、
モデル生成方法。
（付記２）
　付記１に記載のモデル生成方法であって、
　前記音響データの前記実データと前記置換データとを用いて、前記置換データから前記実データを予測する前記モデルを生成する、
モデル生成方法。
（付記３）
　付記1又は２に記載のモデル生成方法であって、
　前記置換データから、前記置換値に置き換えられた前記実データ内の前記所定の値を予測する前記モデルを生成する、
モデル生成方法。
（付記４）
　付記1乃至３のいずれかに記載のモデル生成方法であって、
　前記置換値と、当該置換値に置き換えられた前記実データ内の前記所定の値と、の差を損失値として算出し、前記置換データと前記損失値とに基づいて、前記置換値に置き換えられた前記実データ内の前記所定の値を予測する前記モデルを生成する、
モデル生成方法。
（付記５）
　付記1乃至４のいずれかに記載のモデル生成方法であって、
　１つの所定期間の前記実データについて、当該実データ内の１つの時点における前記所定の値のみを前記置換値に置き換えて前記置換データを生成する、
モデル生成方法。
（付記６）
　付記１乃至５のいずれかに記載のモデル生成方法であって、
　複数の所定期間の前記実データのそれぞれについて、当該実データ内の所定時点における前記所定の値を前記置換値に置き換えることで、複数の前記置換データを生成し、
　複数の前記実データと複数の前記置換データとに基づいて学習して前記モデルを生成する、
モデル生成方法。
（付記７）
　付記６に記載のモデル生成方法であって、
　複数の所定期間の前記実データのそれぞれについて、当該実データ内のそれぞれ異なる時点における前記所定の値を前記置換値に置き換えることで、複数の前記置換データを生成する、
モデル生成方法。
（付記８）
　付記６又は７に記載のモデル生成方法であって、
　複数の前記実データと、当該複数の前記実データのそれぞれに対応する複数の前記置換データと、を同時に学習して前記モデルを生成する、
モデル生成方法。
（付記９）
　付記８に記載のモデル生成方法であって、
　前記実データ内における前記所定の値を前記置換値に置き換えた時点がそれぞれ異なる複数の前記実データと複数の前記置換データとを同時に学習して前記モデルを生成する、
モデル生成方法。
（付記１０）
　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し、
　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成し、
　生成した前記モデルに対して所定の音響データを入力して、当該モデルからの出力を取得する、
ノイズ除去方法。
（付記１１）
　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
を備えたモデル生成装置。
（付記１１．１）
　付記１１に記載のモデル生成装置であって、
　前記学習部は、前記音響データの前記実データと前記置換データとを用いて、前記置換データから前記実データを予測する前記モデルを生成する、
モデル生成装置。
（付記１１．２）
　付記１１又は１１．１に記載のモデル生成装置であって、
　前記学習部は、前記置換データから、前記置換値に置き換えられた前記実データ内の前記所定の値を予測する前記モデルを生成する、
モデル生成装置。
（付記１１．３）
　付記１１乃至１１．２のいずれかに記載のモデル生成装置であって、
　前記学習部は、前記置換値と、当該置換値に置き換えられた前記実データ内の前記所定の値と、の差を損失値として算出し、前記置換データと前記損失値とに基づいて、前記置換値に置き換えられた前記実データ内の前記所定の値を予測する前記モデルを生成する、
モデル生成装置。
（付記１１．４）
　付記１１乃至１１．３のいずれかに記載のモデル生成装置であって、
　前記データ生成部は、１つの所定期間の前記実データについて、当該実データ内の１つの時点における前記所定の値のみを前記置換値に置き換えて前記置換データを生成する、
モデル生成装置。
（付記１１．５）
　付記１１乃至１１．４のいずれかに記載のモデル生成装置であって、
　前記データ生成部は、複数の所定期間の前記実データのそれぞれについて、当該実データ内の所定時点における前記所定の値を前記置換値に置き換えることで、複数の前記置換データを生成し、
　前記学習部は、複数の前記実データと複数の前記置換データとに基づいて学習して前記モデルを生成する、
モデル生成装置。
（付記１１．６）
　付記１１．５に記載のモデル生成装置であって、
　前記データ生成部は、複数の所定期間の前記実データのそれぞれについて、当該実データ内のそれぞれ異なる時点における前記所定の値を前記置換値に置き換えることで、複数の前記置換データを生成する、
モデル生成装置。
（付記１１．７）
　付記１１．５又は１１．６に記載のモデル生成装置であって、
　前記学習部は、複数の前記実データと、当該複数の前記実データのそれぞれに対応する複数の前記置換データと、を同時に学習して前記モデルを生成する、
モデル生成装置。
（付記１１．８）
　付記１１．７に記載のモデル生成装置であって、
　前記学習部は、前記実データ内における前記所定の値を前記置換値に置き換えた時点がそれぞれ異なる複数の前記実データと複数の前記置換データとを同時に学習して前記モデルを生成する、
モデル生成装置。
（付記１２）
　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
　生成した前記モデルに対して所定の音響データを入力して、当該モデルからの出力を取得するノイズ除去部と、
を備えたノイズ除去装置。
（付記１３）
　情報処理装置に、
　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
を実現させるためのプログラム。
（付記１４）
　情報処理装置に、
　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
　生成した前記モデルに対して所定の音響データを入力して、当該モデルからの出力を取得するノイズ除去部と、
を実現させるためのプログラム。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
１０　ノイズ除去装置
１１　計測部
１２　クリッピング部
１３　欠損生成部
１４　学習部
１５　ノイズ除去部
１６　音響データ記憶部
１７　モデル記憶部
１００　モデル生成装置
１０１　ＣＰＵ
１０２　ＲＯＭ
１０３　ＲＡＭ
１０４　プログラム群
１０５　記憶装置
１０６　ドライブ装置
１０７　通信インタフェース
１０８　入出力インタフェース
１０９　バス
１１０　記憶媒体
１１１　通信ネットワーク
１２１　データ生成部
１２２　学習部
 

Claims (14)

  1. 　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し、
    　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する、
    モデル生成方法。
  2. 　請求項１に記載のモデル生成方法であって、
    　前記音響データの前記実データと前記置換データとを用いて、前記置換データから前記実データを予測する前記モデルを生成する、
    モデル生成方法。
  3. 　請求項1又は２に記載のモデル生成方法であって、
    　前記置換データから、前記置換値に置き換えられた前記実データ内の前記所定の値を予測する前記モデルを生成する、
    モデル生成方法。
  4. 　請求項1乃至３のいずれかに記載のモデル生成方法であって、
    　前記置換値と、当該置換値に置き換えられた前記実データ内の前記所定の値と、の差を損失値として算出し、前記置換データと前記損失値とに基づいて、前記置換値に置き換えられた前記実データ内の前記所定の値を予測する前記モデルを生成する、
    モデル生成方法。
  5. 　請求項1乃至４のいずれかに記載のモデル生成方法であって、
    　１つの所定期間の前記実データについて、当該実データ内の１つの時点における前記所定の値のみを前記置換値に置き換えて前記置換データを生成する、
    モデル生成方法。
  6. 　請求項１乃至５のいずれかに記載のモデル生成方法であって、
    　複数の所定期間の前記実データのそれぞれについて、当該実データ内の所定時点における前記所定の値を前記置換値に置き換えることで、複数の前記置換データを生成し、
    　複数の前記実データと複数の前記置換データとに基づいて学習して前記モデルを生成する、
    モデル生成方法。
  7. 　請求項６に記載のモデル生成方法であって、
    　複数の所定期間の前記実データのそれぞれについて、当該実データ内のそれぞれ異なる時点における前記所定の値を前記置換値に置き換えることで、複数の前記置換データを生成する、
    モデル生成方法。
  8. 　請求項６又は７に記載のモデル生成方法であって、
    　複数の前記実データと、当該複数の前記実データのそれぞれに対応する複数の前記置換データと、を同時に学習して前記モデルを生成する、
    モデル生成方法。
  9. 　請求項８に記載のモデル生成方法であって、
    　前記実データ内における前記所定の値を前記置換値に置き換えた時点がそれぞれ異なる複数の前記実データと複数の前記置換データとを同時に学習して前記モデルを生成する、
    モデル生成方法。
  10. 　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し、
    　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成し、
    　生成した前記モデルに対して所定の音響データを入力して、当該モデルからの出力を取得する、
    ノイズ除去方法。
  11. 　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
    　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
    を備えたモデル生成装置。
  12. 　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
    　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
    　生成した前記モデルに対して所定の音響データを入力して、当該モデルからの出力を取得するノイズ除去部と、
    を備えたノイズ除去装置。
  13. 　情報処理装置に、
    　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
    　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
    を実現させるためのプログラム。
  14. 　情報処理装置に、
    　音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
    　前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
    　生成した前記モデルに対して所定の音響データを入力して、当該モデルからの出力を取得するノイズ除去部と、
    を実現させるためのプログラム。
     
PCT/JP2019/040514 2019-10-15 2019-10-15 モデル生成方法、モデル生成装置、プログラム WO2021074973A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/040514 WO2021074973A1 (ja) 2019-10-15 2019-10-15 モデル生成方法、モデル生成装置、プログラム
US17/763,374 US20220335964A1 (en) 2019-10-15 2019-10-15 Model generation method, model generation apparatus, and program
JP2021552019A JP7420144B2 (ja) 2019-10-15 2019-10-15 モデル生成方法、モデル生成装置、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/040514 WO2021074973A1 (ja) 2019-10-15 2019-10-15 モデル生成方法、モデル生成装置、プログラム

Publications (1)

Publication Number Publication Date
WO2021074973A1 true WO2021074973A1 (ja) 2021-04-22

Family

ID=75538672

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040514 WO2021074973A1 (ja) 2019-10-15 2019-10-15 モデル生成方法、モデル生成装置、プログラム

Country Status (3)

Country Link
US (1) US20220335964A1 (ja)
JP (1) JP7420144B2 (ja)
WO (1) WO2021074973A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097278A (ja) * 1996-09-20 1998-04-14 Nippon Telegr & Teleph Corp <Ntt> 音声認識方法および装置
US20020002414A1 (en) * 2000-03-10 2002-01-03 Chang-Meng Hsiung Method for providing control to an industrail process using one or more multidimensional variables
JP2002014692A (ja) * 2000-06-28 2002-01-18 Matsushita Electric Ind Co Ltd 音響モデル作成装置及びその方法
JP2009128906A (ja) * 2007-11-19 2009-06-11 Mitsubishi Electric Research Laboratories Inc 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム
JP2013541023A (ja) * 2010-12-07 2013-11-07 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 試験音声信号の雑音を除去する結果として試験雑音除去音声信号内で減衰したスペクトル成分を復元するための方法
JP2015097355A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 収音装置及びその制御方法、プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5229478B2 (ja) * 2008-12-25 2013-07-03 日本電気株式会社 統計モデル学習装置、統計モデル学習方法、およびプログラム
CA3088899C (en) 2018-01-22 2021-04-06 Jack Copper Systems and methods for preparing data for use by machine learning algorithms

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097278A (ja) * 1996-09-20 1998-04-14 Nippon Telegr & Teleph Corp <Ntt> 音声認識方法および装置
US20020002414A1 (en) * 2000-03-10 2002-01-03 Chang-Meng Hsiung Method for providing control to an industrail process using one or more multidimensional variables
JP2002014692A (ja) * 2000-06-28 2002-01-18 Matsushita Electric Ind Co Ltd 音響モデル作成装置及びその方法
JP2009128906A (ja) * 2007-11-19 2009-06-11 Mitsubishi Electric Research Laboratories Inc 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム
JP2013541023A (ja) * 2010-12-07 2013-11-07 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 試験音声信号の雑音を除去する結果として試験雑音除去音声信号内で減衰したスペクトル成分を復元するための方法
JP2015097355A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 収音装置及びその制御方法、プログラム

Also Published As

Publication number Publication date
JPWO2021074973A1 (ja) 2021-04-22
US20220335964A1 (en) 2022-10-20
JP7420144B2 (ja) 2024-01-23

Similar Documents

Publication Publication Date Title
JP6377592B2 (ja) 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム
US20160014508A1 (en) Systems and methods for protecting a speaker
JP5197853B2 (ja) モニタリング装置
JP6374466B2 (ja) センサインタフェース装置、測定情報通信システム、測定情報通信方法、及び測定情報通信プログラム
US20140254804A1 (en) Systems and methods for protecting a speaker
US20240046953A1 (en) Sound data processing method, sound data processing device, and program
Klippel End-of-line testing
JP2022163038A (ja) 異常判定システム
CN116564332A (zh) 频响分析方法、装置、设备及存储介质
JP2015114294A (ja) 音響装置の検査装置及び音響装置の検査方法並びに音響装置の検査プログラム
KR19990082532A (ko) 이상 검출 방법 및 이상 검출 시스템
JP2001091414A (ja) 異常判定方法および装置
WO2021074973A1 (ja) モデル生成方法、モデル生成装置、プログラム
JP2002090266A (ja) 余寿命予測装置
JP6960766B2 (ja) 雑音抑圧装置、雑音抑圧方法及びプログラム
JP2022124667A (ja) 打音検査についての情報処理方法及び装置
CN114184270A (zh) 一种设备振动数据处理方法、装置、设备及存储介质
KR20230062189A (ko) 인공지능 기반의 전력 설비 진단 방법 및 이를 이용한 장치
JP4747323B2 (ja) 音響監視支援装置及び音響監視支援方法
WO2022173041A1 (ja) 異常音判定システム、異常音判定装置、及びプログラム
US20210033450A1 (en) Vibration Waveform DC Disturbance Removal
US20220358953A1 (en) Sound model generation device, sound model generation method, and recording medium
JP7482016B2 (ja) 故障検知装置、方法およびプログラム
CN114026403A (zh) 机器状态的声学分析
JP2007107902A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19949086

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021552019

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19949086

Country of ref document: EP

Kind code of ref document: A1