WO2023054313A1 - Abnormal sound determination method, abnormal sound determination program, and abnormal sound determination system - Google Patents
Abnormal sound determination method, abnormal sound determination program, and abnormal sound determination system Download PDFInfo
- Publication number
- WO2023054313A1 WO2023054313A1 PCT/JP2022/035838 JP2022035838W WO2023054313A1 WO 2023054313 A1 WO2023054313 A1 WO 2023054313A1 JP 2022035838 W JP2022035838 W JP 2022035838W WO 2023054313 A1 WO2023054313 A1 WO 2023054313A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound
- data
- abnormal
- abnormal sound
- sound data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M7/00—Vibration-testing of structures; Shock-testing of structures
- G01M7/02—Vibration-testing by means of a shake table
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
- G01N29/12—Analysing solids by measuring frequency or resonance of acoustic waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/46—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by spectral analysis, e.g. Fourier analysis or wavelet analysis
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Acoustics & Sound (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
According to the present invention, an abnormal sound determination method includes an acquisition step for acquiring sound data, a filter processing step for adjusting the sound data in accordance with a person's ability to hear, and a data generation step for generating adjusted sound data as input data for machine learning.
Description
本開示は、異常音判定方法、異常音判定プログラム及び異常音判定システムに関する。
The present disclosure relates to an abnormal sound determination method, an abnormal sound determination program, and an abnormal sound determination system.
従来から、構造物における検査方法として、コンクリートを打音検査してその打音から構造物の異常を検知し、コンクリートの浮きや腐食等を検知する方法が提案されている。例えば、非特許文献１には、ハンマー等による打音のデジタル化と、収集、蓄積、分析を可能とした異常検知システムが開示されている。
Conventionally, as an inspection method for structures, a method has been proposed in which concrete is hammered and abnormalities in the structure are detected from the hammering sound, such as lifting or corrosion of concrete. For example, Non-Patent Document 1 discloses an anomaly detection system that enables digitization, collection, storage, and analysis of hammering sounds of hammers and the like.
非特許文献１のシステムは、構造物の異常の有無を自動判定させるものであるが、対象物の異常モード等によっては人の点検技能を用いた異常判定を要する場合もある。しかし、近年の点検員の数が減少傾向にあるという状況において、熟練点検員の技能を教授する機会が減少してきており、他の点検員等に対する技能教習が十分に行えないという課題がある。
The system of Non-Patent Document 1 automatically determines the presence or absence of abnormalities in structures, but depending on the abnormal mode of the object, it may be necessary to use human inspection skills to determine abnormalities. However, in the situation where the number of inspectors has been decreasing in recent years, the opportunity to teach the skills of skilled inspectors is decreasing, and there is a problem that the skill training for other inspectors cannot be sufficiently performed.
本開示は、以上の点に鑑み、点検技能の教習に使用可能な異常音判定方法、異常音判定プログラム及び異常音判定システムを提供することを目的とする。
In view of the above points, the present disclosure aims to provide an abnormal sound determination method, an abnormal sound determination program, and an abnormal sound determination system that can be used for inspection skill training.
上記した目的を達成するために、本開示に係る異常音判定方法は、音データを取得する取得工程と、前記音データを人の聴別能力に倣って調整するフィルタ処理工程と、調整後の前記音データを機械学習用の入力データとして生成するデータ生成工程と、を含む。
In order to achieve the above object, the abnormal sound determination method according to the present disclosure includes an acquisition step of acquiring sound data, a filtering step of adjusting the sound data according to human hearing ability, and and a data generating step of generating the sound data as input data for machine learning.
上記した目的を達成するために、本開示に係る異常音判定プログラムは、音データを取得する取得工程と、前記音データを人の聴別能力に倣って調整するフィルタ処理工程と、調整後の前記音データを機械学習用の入力データとして生成するデータ生成工程と、をコンピュータに実行させる。
In order to achieve the above-described object, the abnormal sound determination program according to the present disclosure includes an acquisition step of acquiring sound data, a filtering step of adjusting the sound data according to human hearing ability, and after adjustment and a data generation step of generating the sound data as input data for machine learning.
上記した目的を達成するために、本開示に係る異常音判定システムは、音データを取得する入力部と、前記音データを人の聴別能力に倣って調整し、調整後の前記音データを機械学習用の入力データとして生成する処理部と、を備える。
In order to achieve the above object, the abnormal sound determination system according to the present disclosure includes an input unit that acquires sound data, adjusts the sound data according to human hearing ability, and outputs the adjusted sound data. and a processing unit that generates input data for machine learning.
本開示によれば、点検技能の教習に使用可能な異常音判定方法、異常音判定プログラム及び異常音判定システムを提供することができる。
According to the present disclosure, it is possible to provide an abnormal sound determination method, an abnormal sound determination program, and an abnormal sound determination system that can be used for inspection skill training.
以下、本開示の実施形態を図面に基づき説明する。図１に示す異常音判定システム１は、音データ２１を取得する入力部１１と、音データ２１の判定結果３（解析結果）を出力する出力部１２と、制御部１３と、記憶部１４とを有する。入力部１１は、有線又は無線による通信手段として外部から音データ２１を取得してもよいし、マイク、振動ピックアップ、振動加速度ピックアップ等のセンサ（集音手段）として機能して外部から集音した音（振動）を電気信号に変換可能に構成されていてもよい。
Hereinafter, embodiments of the present disclosure will be described based on the drawings. The abnormal sound determination system 1 shown in FIG. have The input unit 11 may acquire the sound data 21 from the outside as a wired or wireless communication means, or function as a sensor (sound collecting means) such as a microphone, a vibration pickup, a vibration acceleration pickup, etc. to collect sound from the outside. It may be configured to be able to convert sound (vibration) into an electrical signal.
出力部１２は、後述する異常音判定プログラム２３によって判定された判定結果３を、例えば、ディスプレイに表示させることができ、または、他の装置（例えば、他の表示部若しくはスピーカ）に有線若しくは無線により判定結果３に関するデータを出力することができる。
The output unit 12 can display the determination result 3 determined by the abnormal sound determination program 23 described later, for example, on a display, or can be sent to another device (for example, another display unit or speaker) wired or wirelessly. can output data about the determination result 3 by .
制御部１３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路であり、各種のプログラムを動作させる処理部として機能する。制御部１３は、入力部１１、出力部１２及び記憶部１４の動作を制御する。また、制御部１３は、異常音判定プログラム２３等の各種のプログラムを実行することができる。
The control unit 13 is a circuit such as a CPU (Central Processing Unit), MPU (Micro Processing Unit), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), etc., and is a processing unit that operates various programs. function as The control unit 13 controls operations of the input unit 11 , the output unit 12 and the storage unit 14 . Also, the control unit 13 can execute various programs such as the abnormal sound determination program 23 .
記憶部１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、半導体メモリ等の記憶装置である。記憶部１４は、音データ２１、画像データ２２及び異常音判定プログラム２３を記憶する。音データ２１は、入力部１１により取得されたデータである。音データ２１は、異常音を含む異常データと、異常音を含まない非異常音データとを含むことができる。異常音判定プログラム２３に入力させる複数の音データ２１は、異常音判定システム１の用途や機能に応じて、異常データ及び非異常データの一方又は両方を含むことができる。異常音判定プログラム２３は、入力データ生成部２３１と判定部２３２とを含む。入力データ生成部２３１は、音データ２１に基づいて画像データ２２を生成する。画像データ２２は、判定部２３２に入力する入力データとして用いられる。
The storage unit 14 is a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), an optical disk, or a semiconductor memory. The storage unit 14 stores sound data 21 , image data 22 and an abnormal sound determination program 23 . The sound data 21 is data acquired by the input unit 11 . The sound data 21 can include abnormal data including abnormal sounds and non-abnormal sound data not including abnormal sounds. The plurality of sound data 21 to be input to the abnormal sound determination program 23 can include one or both of abnormal data and non-abnormal data depending on the application and function of the abnormal sound determination system 1 . The abnormal sound determination program 23 includes an input data generation section 231 and a determination section 232 . The input data generator 231 generates image data 22 based on the sound data 21 . The image data 22 is used as input data to be input to the determination section 232 .
判定部２３２は、画像データ２２を入力して元の音データ２１に異常音が含まれるか否かの異常判定を行う機能を有する。また、判定部２３２は、入力された画像データ２２を教師データとして用いて機械学習を行うことができる。画像データ２２を教師データとして用いる場合は、この画像データ２２に、元の音データ２１に異常音が含まれているか否かのラベルを含めることができる。なお、異常音判定プログラム２３は、コンピュータが読取可能な記憶媒体（例えば記憶部１４等の記憶装置）に記憶しておくことができる。記憶媒体は、ＨＤＤ、ＳＳＤ、フラッシュメモリなどであってもよい。
The determination unit 232 has a function of inputting the image data 22 and determining whether or not the original sound data 21 contains an abnormal sound. Further, the determination unit 232 can perform machine learning using the input image data 22 as teacher data. When the image data 22 is used as teacher data, the image data 22 can include a label indicating whether or not the original sound data 21 contains an abnormal sound. The abnormal sound determination program 23 can be stored in a computer-readable storage medium (for example, a storage device such as the storage unit 14). The storage medium may be HDD, SSD, flash memory, or the like.
また、異常音判定システム１は、一つの装置により構成してもよいし、複数の装置により構成してもよい。例えば、入力部１１、出力部１２、制御部１３及び記憶部１４の一部を異なる複数の装置に配置してもよい。また、異常音判定システム１は、入力部１１、出力部１２、制御部１３及び記憶部１４を互いに重複して含む複数の装置が互いに有線又は無線により通信可能に接続されており、本実施形態で説明する処理を実行可能に構成されていてもよい。また、異常音判定システム１は、異常音判定システム１を制御するためのコンピュータ（不図示）を備える。
In addition, the abnormal sound determination system 1 may be composed of one device, or may be composed of a plurality of devices. For example, part of the input unit 11, the output unit 12, the control unit 13, and the storage unit 14 may be arranged in a plurality of different devices. Further, in the abnormal sound determination system 1, a plurality of devices including the input unit 11, the output unit 12, the control unit 13, and the storage unit 14 are connected to each other so as to be communicable by wire or wirelessly. may be configured to be able to execute the processing described in . The abnormal sound determination system 1 also includes a computer (not shown) for controlling the abnormal sound determination system 1 .
図２は、異常音判定システム１における異常音判定方法の概要を示す図である。異常音判定システム１が取得した音データ２１は、入力データ生成部２３１（図１参照）により中間データ（一次分割データ２１ｎ、二次分割データ２１ｎｍ）に変換される。その後、中間データに基づいて画像データ２２が生成される。画像データ２２は、音データ２１毎に対応して複数生成することができる。判定部２３２が画像データ２２の異常判定を行うと、異常音判定システム１は画像データ２２（換言すれば、元の音データ２１）の判定結果３を出力する。
FIG. 2 is a diagram showing an outline of an abnormal sound determination method in the abnormal sound determination system 1. FIG. The sound data 21 acquired by the abnormal sound determination system 1 is converted into intermediate data (primary split data 21n, secondary split data 21nm) by the input data generator 231 (see FIG. 1). Image data 22 is then generated based on the intermediate data. A plurality of image data 22 can be generated corresponding to each sound data 21 . When the judgment unit 232 judges the abnormality of the image data 22, the abnormal sound judgment system 1 outputs the judgment result 3 of the image data 22 (in other words, the original sound data 21).
次に、本実施形態の異常音判定方法について説明する。図３は、異常音判定プログラム２３の入力データ生成部２３１における処理を示すフローチャートである。ステップＳ０１で、制御部１３は、入力部１１を介して音データ２１を取得する（取得工程）。音データ２１は、例えば、トンネルの内壁等のコンクリートに対する打音検査を行った際の複数の打音波形２１０（音波形）を含む（図２参照）。音データ２１に複数の打音波形２１０が含まれる場合、制御部１３は、音データ２１から打音波形２１０の一つを抽出することができる。
Next, the abnormal sound determination method of this embodiment will be described. FIG. 3 is a flow chart showing processing in the input data generator 231 of the abnormal sound determination program 23. As shown in FIG. In step S01, the control unit 13 acquires the sound data 21 via the input unit 11 (acquisition step). The sound data 21 includes, for example, a plurality of hammering sound waveforms 210 (sound waveforms) when performing a hammering test on concrete such as the inner wall of a tunnel (see FIG. 2). When the sound data 21 includes a plurality of hitting sound waveforms 210 , the control unit 13 can extract one of the hitting sound waveforms 210 from the sound data 21 .
図４は、音データ２１の打音波形２１０を示す図である。図４の縦軸は音圧［Ｐａ］を示しており、横軸は時間［ｓ］を示している。また、図４の破線は、タイミングＴ０＝０［ｓ］から５０ｍｓ毎に区切ったタイミングを示している。
FIG. 4 is a diagram showing the striking waveform 210 of the sound data 21. FIG. The vertical axis of FIG. 4 indicates sound pressure [Pa], and the horizontal axis indicates time [s]. Also, dashed lines in FIG. 4 indicate timings separated by 50 ms from the timing T0=0 [s].
ステップＳ０２からステップＳ０７のフィルタ処理工程では、制御部１３は、音データ２１を人の聴別能力に倣って調整する処理を行う。
In the filtering process from step S02 to step S07, the control unit 13 adjusts the sound data 21 according to human hearing ability.
ステップＳ０２で、制御部１３は、時間の調整として、音データ２１をタイミングＴ０から５０ｍｓ毎に分割する時間分割処理を行う。制御部１３は、音データ２１を、発音タイミング（Ｔ０）を含む予め定めた複数の時間領域の区間に分割する。本実施形態では、タイミングＴ０を基準に、－１００ｍｓから＋３００ｍｓまでの区間を、区間（１）～（８）まで８分割した一次分割データ２１１～２１８（以下、纏めて一次分割データ２１ｎ（ｎ＝１～８）という場合がある。）が中間データとして生成される。なお、一次分割データ２１ｎからは、－１００ｍｓよりも前の区間と、＋３００ｍｓの後の区間が除かれている。図４の打音波形２１０は、時間領域に表した場合、おおよそ区間（３）及び区間（４）に亘って音圧値が観測されている。
In step S02, the control unit 13 performs time division processing for dividing the sound data 21 every 50 ms from timing T0 as time adjustment. The control unit 13 divides the sound data 21 into a plurality of predetermined time domain intervals including the pronunciation timing (T0). In the present embodiment, primary divided data 211 to 218 (hereinafter collectively referred to as primary divided data 21n (n= 1 to 8) are generated as intermediate data. Note that the section before -100 ms and the section after +300 ms are excluded from the primary divided data 21n. In the percussion waveform 210 of FIG. 4, when represented in the time domain, sound pressure values are observed over roughly the section (3) and the section (4).
ステップＳ０３で、制御部１３は、区間（１）から区間（８）に分割した各一次分割データ２１１～２１８を周波数領域のデータに変換する。図５は、周波数領域に変換した一次分割データ２１１～２１８を示す図である。制御部１３は、時間領域の一次分割データ２１１～２１８を、フーリエ変換を用いて周波数領域のデータ（周波数スペクトル）に変換することができる。
In step S03, the control unit 13 converts each of the primary divided data 211 to 218 divided into sections (1) to (8) into frequency domain data. FIG. 5 is a diagram showing primary divided data 211 to 218 transformed into the frequency domain. The control unit 13 can transform the primary divided data 211 to 218 in the time domain into data in the frequency domain (frequency spectrum) using Fourier transform.
ステップＳ０４で、制御部１３は、図６に示される周波数重み付け特性Ｆ１を用いて、周波数領域に変換した一次分割データ２１１～２１８に対し重み付けを行い、音圧レベルの調整を行う。
In step S04, the control unit 13 uses the frequency weighting characteristic F1 shown in FIG. 6 to weight the primary divided data 211 to 218 converted into the frequency domain, and adjust the sound pressure level.
音データ２１をマイク等で集音した場合、音データ２１には人には聞こえない周波数領域の音まで含まれる場合がある。例えば、点検員が打音検査を行った際の打音波形２１０を想定した場合、人が聞こえない周波数領域の音が含まれる音データ２１を、教師データや被判定データ（纏めて「入力データ」ともいう。）として使用しても、熟練点の検員による判定技能を判定部２３２により再現することが難しい。従って、一次分割データ２１１～２１８を周波数重み付け特性Ｆ１により調整を行う。
When the sound data 21 is collected by a microphone or the like, the sound data 21 may include sounds in a frequency range that cannot be heard by humans. For example, assuming a hammering sound waveform 210 when an inspector conducts a hammering test, sound data 21 containing sounds in a frequency range that humans cannot hear is used as teacher data or judgment data (collectively, “input data ), it is difficult for the judging section 232 to reproduce the judging skill of a skilled inspector. Therefore, the primary divided data 211 to 218 are adjusted by the frequency weighting characteristic F1.
図６の周波数重み付け特性Ｆ１は、人の耳に合わせた音圧調整であり、低周波数領域と高周波数領域において聴感度が低いことを示している。従って、制御部１３は、音圧レベルの調整として、音データ２１の周波数毎の音圧レベルの大きさを低周波数領域と高周波数領域において相対的に低下させることで、人の聴感度に倣って重み付けして調整することができる。
The frequency weighting characteristic F1 in FIG. 6 is a sound pressure adjustment that matches the human ear, and indicates that the hearing sensitivity is low in the low frequency region and the high frequency region. Therefore, the control unit 13 adjusts the sound pressure level by relatively decreasing the magnitude of the sound pressure level for each frequency of the sound data 21 in the low frequency region and the high frequency region, thereby following the human hearing sensitivity. can be weighted and adjusted.
ステップＳ０５で、制御部１３は、１／３オクターブバンドパスフィルタにより一次分割データ２１１～２１８（音データ２１）から可聴帯域のデータを抽出して、一次分割データ２１１～２１８（音データ２１）を複数の周波数帯域に分割する周波数帯域の調整を行う。制御部１３は、各一次分割データ２１１～２１８に対して、１／３オクターブとなる周波数間隔のバンドパスフィルタをかけて、複数の帯域（本実施形態では３２区間）で周波数分割した中間データである二次分割データ２１ｎｍ（ｎ＝１～８、ｍ＝１～３２であり、ｎは時分割領域を表し、ｍは周波数分割領域を表す。）を生成する。なお、１オクターブは周波数比が２倍となる周波数間隔である。
In step S05, the control unit 13 extracts data in the audible band from the primary divided data 211 to 218 (sound data 21) using a 1/3 octave bandpass filter, and extracts the primary divided data 211 to 218 (sound data 21). Adjust the frequency band that is divided into multiple frequency bands. The control unit 13 applies a band-pass filter with a frequency interval of 1/3 octave to each of the primary divided data 211 to 218, and divides the frequencies into a plurality of bands (32 sections in this embodiment) to obtain intermediate data. Some secondary division data 21 nm (where n=1 to 8 and m=1 to 32, where n represents the time division domain and m represents the frequency division domain) is generated. Note that one octave is a frequency interval that doubles the frequency ratio.
図７は、１／３オクターブバンドパスフィルタの各区間［１］～［３２］を示す図である。最も周波数の低い区間［１］は、可聴域と不可聴域の低周波側の境界付近に位置している。また、最も周波数の高い区間［３２］は、人の可聴域と不可聴域の高周波側の境界付近に位置している。
FIG. 7 is a diagram showing each section [1] to [32] of the 1/3 octave bandpass filter. The lowest frequency section [1] is located near the boundary between the audible range and the inaudible range on the low frequency side. Also, the section [32] with the highest frequency is located near the boundary between the human audible range and the inaudible range on the high frequency side.
なお、制御部１３は、１／３オクターブバンドパスフィルタに限らず、各一次分割データ２１１～２１８に対して、１／Ｎオクターブ（例えば、Ｎは２４以上の自然数）となる周波数間隔のバンドパスフィルタをかけて、複数の区間で周波数分割した二次分割データ２１ｎｍ（ｎ＝１～８、ｍ＝１～３２であり、ｎは時分割領域を表し、ｍは周波数分割領域を表す。）を生成してもよい。
Note that the control unit 13 is not limited to the 1/3 octave bandpass filter, and applies a bandpass filter with a frequency interval of 1/N octave (for example, N is a natural number of 24 or more) for each of the primary divided data 211 to 218. Secondary division data 21 nm (n = 1 to 8, m = 1 to 32, where n represents the time division domain and m represents the frequency division domain) obtained by filtering and frequency-dividing in a plurality of sections. may be generated.
ステップＳ０６で、制御部１３は、二次分割データ２１ｎｍを時間領域のデータに変換する。制御部１３は、時間領域の二次分割データ２１ｎｍを、逆フーリエ変換を用いて時間領域のデータ（時間スペクトル）に変換することができる。
In step S06, the control unit 13 converts the secondary division data 21nm into time domain data. The control unit 13 can convert the time-domain secondary division data 21 nm into time-domain data (time spectrum) using an inverse Fourier transform.
ステップＳ０７で、制御部１３は、図８に示される時間重み付け特性Ｆ２を用いて、時間領域に変換した二次分割データ２１ｎｍに対し重み付けを行い、音圧レベルの調整を行う（時間重み付け処理）。音の音圧は極めて短時間に変化する。時間重み付け特性Ｆ２は、人の耳の時間応答に近似させた特性（いわゆるＦａｓｔ特性）であり、立ち上がりの時定数τ＝１２５ｍｓの特性を有する。時間重み付け特性Ｆ２の立ち上がりのタイミング（０ｓ）からの傾きは、３４．７ｄＢ／ｓである。なお、時間重み付け処理に用いる特性は、時間重み付け特性Ｆ２に限らない。
In step S07, the control unit 13 uses the time weighting characteristic F2 shown in FIG. 8 to weight the secondary divided data 21 nm converted into the time domain, and adjust the sound pressure level (time weighting process). . The sound pressure of sound changes in an extremely short time. The time weighting characteristic F2 is a characteristic (so-called fast characteristic) approximated to the time response of the human ear, and has a rising time constant τ=125 ms. The slope from the rising timing (0 s) of the time weighting characteristic F2 is 34.7 dB/s. Note that the characteristic used for the time weighting process is not limited to the time weighting characteristic F2.
ステップＳ０８で、制御部１３は、ステップＳ０２～Ｓ０７のフィルタ処理により取得した二次分割データ２１ｎｍから、図９に示す画像データ２２を生成する（データ生成工程）。調整後の複数の二次分割データ２１ｎｍ（音データ２１）によって、画像データ２２が生成される。画像データ２２は、異常音判定プログラム２３の判定部２３２が読み込み可能な入力データとして用いられる。
At step S08, the control unit 13 generates the image data 22 shown in FIG. 9 from the secondary division data 21nm obtained by the filtering processes at steps S02 to S07 (data generation step). Image data 22 is generated from a plurality of secondary divided data 21nm (sound data 21) after adjustment. The image data 22 is used as input data that can be read by the determination unit 232 of the abnormal sound determination program 23 .
画像データ２２は、周波数及び時間の互いに直交する二方向に、周波数帯域の各区間［１］～［３２］及び時間の各区間（１）～（８）に対応する音圧（音圧レベル）をグレースケールの画素値として配置している。各セル２２１の画素値（グレースケールの濃淡）は、音圧レベルを示している。なお、画像データ２２の画素値として用いる音圧レベルは、周波数及び時間で分割した二次分割データ２１ｎｍの音圧の平均値や積分値を用いてもよい。また図９では、説明のため簡易的に３段階の画素値にレベル分けして示している。画素値の大きさ（明るさ）は、セル２２１ａ、セル２２１ｂ、セル２２１ｃの順に大きい。従って、音圧レベルは、セル２２１ａ、セル２２１ｂ、セル２２１ｃの順に大きくなるように対応している。
The image data 22 includes sound pressures (sound pressure levels) corresponding to each section [1] to [32] of the frequency band and each section (1) to (8) of the time in two mutually orthogonal directions of frequency and time. are arranged as grayscale pixel values. The pixel value (grayscale gradation) of each cell 221 indicates the sound pressure level. As the sound pressure level used as the pixel value of the image data 22, an average value or an integrated value of the sound pressure of the secondary divided data 21 nm divided by frequency and time may be used. In addition, in FIG. 9, for the sake of explanation, the pixel values are simply divided into three levels and shown. The magnitude (brightness) of pixel values increases in the order of cell 221a, cell 221b, and cell 221c. Therefore, the sound pressure level corresponds to increase in order of the cell 221a, the cell 221b, and the cell 221c.
異常音判定システム１は、入力部１１に入力された一つの音データ２１（具体的には、一つの打音波形２１０を含む音データ）に対応して一つの画像データ２２を生成する。複数の音データ２１からは、それぞれ対応する複数の画像データ２２が生成される。
The abnormal sound determination system 1 generates one image data 22 corresponding to one sound data 21 input to the input unit 11 (specifically, sound data including one hitting sound waveform 210). A plurality of corresponding image data 22 are generated from the plurality of sound data 21 .
音データ２１の調整後に生成された画像データ２２は、判定部２３２に機械学習用の教師データとして入力させることができる。なお、画像データ２２を教師データとして用いる場合、教師データとして、画像データ２２に対応する元の音データ２１に異常音が含まれているか否かのラベルを含めることができる。
The image data 22 generated after adjusting the sound data 21 can be input to the determination unit 232 as teacher data for machine learning. When the image data 22 is used as teacher data, the teacher data can include a label indicating whether or not the original sound data 21 corresponding to the image data 22 contains an abnormal sound.
また、画像データ２２は、学習済の判定部２３２に被判定データとして入力させることができる。制御部１３は、判定部２３２により、入力させた画像データ２２が異常音を含むか否かを判定させることができる。その後、制御部１３は、判定部２３２による画像データ２２（音データ２１）の異常有無の判定結果３を、出力部１２を介して出力することができる。
Also, the image data 22 can be input to the learned determination unit 232 as data to be determined. The control unit 13 can cause the determination unit 232 to determine whether or not the input image data 22 includes an abnormal sound. After that, the control unit 13 can output the determination result 3 of the presence/absence of abnormality in the image data 22 (sound data 21 ) by the determination unit 232 via the output unit 12 .
このように、異常音判定システム１を用いた異常判定方法では、入力データである画像データ２２を、教師データ又は被判定データとして機械学習プログラム（判定部２３２）に入力させる判定工程を含むことができる。
As described above, the abnormality determination method using the abnormal sound determination system 1 may include a determination step of inputting the image data 22, which is input data, into the machine learning program (determination unit 232) as teacher data or data to be determined. can.
本実施形態では、人の聴別能力に倣って調整された音データ２１を基に判定部２３２を学習させて、その判定部２３２により他の音データ２１の異常音の有無を判定させている。従って、例えば、打音点検の分野において、音データ２１を耳で聴いて判定した被教習者の判定結果と、同じ音データ２１を異常音判定プログラム２３により判定させて得た判定結果３とを比較することで、被教習者は熟練の点検員による判定を想定した判定結果と照合して点検技能の向上を図ることができる。
In this embodiment, the judging section 232 is made to learn based on the sound data 21 adjusted according to the human hearing ability, and the judging section 232 judges whether or not there is an abnormal sound in the other sound data 21. . Therefore, for example, in the field of hammering sound inspection, the judgment result of the trainee who listened to the sound data 21 and the judgment result 3 obtained by judging the same sound data 21 by the abnormal sound judging program 23 are combined. By comparing, the trainee can improve the inspection skill by collating the judgment result of the experienced inspector with the assumed judgment result.
また、実際の点検作業現場において異常音判定システム１（異常音判定プログラム２３）を用いることで、点検員は他の点検員と同伴しなくても熟練の点検員と同等の判定結果３を参照しながら打音点検作業を行うことができる。そのため、現場で作業を行いながら実地で点検員の点検技能の向上を図ることができる。
In addition, by using the abnormal sound determination system 1 (abnormal sound determination program 23) at the actual inspection work site, the inspector can refer to the determination result 3 equivalent to that of a skilled inspector without accompanying other inspectors. It is possible to perform hammering inspection work while Therefore, it is possible to improve the inspection skill of the inspector while performing the work at the site.
なお、本実施形態の異常音判定方法は、Ｇｒａｄ－ＣＡＭにより異常有無の判定根拠を可視化した根拠画像を作成する可視化工程を含んでもよい。Ｇｒａｄ－ＣＡＭは、畳み込みニューラルネットワークの最後の畳み込み層により抽出された特徴量に着目して、機械学習が画像のどの部分を見て判定しているのかを可視化する技術である。例えば、画像データ２２と同じ行列数の画像に、カラーグラデーションにより判定根拠に対する寄与率の多いセルに着色を施した根拠画像を作成及び表示することにより、熟練の点検員が、主にどの周波数及びタイミングの音を、異常有無の判定根拠としているのかを、他の点検員に客観的に把握させることができる。従って、異常音判定プログラム２３を用いて被教習者が教習を受けることで、人による技能教習の機会を十分に得られなくても、どの領域の音を聴別すれば正確な判定が行えるのかを被教習者に習得させることができる。
It should be noted that the abnormal sound determination method of the present embodiment may include a visualization step of creating a ground image in which grounds for determination of the presence or absence of abnormality are visualized by Grad-CAM. Grad-CAM is a technique for visualizing which part of an image is being judged by machine learning by focusing on the feature amount extracted by the last convolutional layer of a convolutional neural network. For example, by creating and displaying a basis image in which cells with a large contribution rate to the judgment basis are colored by color gradation in an image with the same number of rows and columns as the image data 22, a skilled inspector can mainly determine which frequency and It is possible to make other inspectors objectively grasp whether the sound of the timing is used as the basis for the determination of the presence or absence of an abnormality. Therefore, even if the trainee receives training using the abnormal sound determination program 23, even if he/she cannot obtain a sufficient opportunity for skill training by a person, what region of sound should be identified to make an accurate determination? can be learned by the learner.
このように、本開示の実施形態に係る異常音判定システム１において実行可能な異常音判定方法は、音データ２１を取得する取得工程（Ｓ０１）と、音データ２１を人の聴別能力に倣って調整するフィルタ処理工程（Ｓ０２～Ｓ０７の一部又は全部）と、調整後の音データ２１を機械学習用の入力データとして生成するデータ生成工程とを備える構成とした。これにより、入力データを機械学習済の判定プログラム（例えば、判定部２３２）により異常判定させた場合であっても、熟練点検員の異常有無判定に近似した判定結果を得ることができる。このように、点検技能の教習に使用可能な異常音判定方法、異常音判定プログラム及び異常音判定システム１を構成することができる。
As described above, the abnormal sound determination method executable in the abnormal sound determination system 1 according to the embodiment of the present disclosure includes the acquisition step (S01) of acquiring the sound data 21, and and a data generation step of generating the adjusted sound data 21 as input data for machine learning. As a result, even when the machine-learned determination program (e.g., determination unit 232) determines whether the input data is abnormal, it is possible to obtain a determination result similar to the abnormality determination performed by a skilled inspector. Thus, the abnormal sound determination method, abnormal sound determination program, and abnormal sound determination system 1 that can be used for inspection skill training can be configured.
また、入力データとして生成した画像データ２２は、可聴域を含めつつ不可聴域が除かれるように調整しているため、聴別技能に関連の低い余分なデータを省いてデータ量の増加を低減することができる。
In addition, since the image data 22 generated as input data is adjusted so that the audible range is included and the inaudible range is excluded, extra data that is less relevant to hearing skills is omitted to reduce the increase in the amount of data. can do.
以上で本開示の実施形態の説明を終えるが、本開示の態様はこの実施形態に限定されるものではない。
Although the description of the embodiment of the present disclosure is finished above, the aspect of the present disclosure is not limited to this embodiment.
例えば、本実施形態のフィルタ処理工程では、音圧レベル、周波数帯域及び時間の全てを調整する構成について説明したが、音データ２１に対して音圧レベル、周波数帯域及び時間の一つ又は複数（一部又は全部を含む）を調整する構成としてもよい。
For example, in the filter processing process of the present embodiment, the configuration for adjusting all of the sound pressure level, frequency band and time has been described, but one or more of the sound pressure level, frequency band and time for the sound data 21 ( part or all) may be adjusted.
また、本実施形態では、音データ２１としてコンクリートに対する打音検査の打音波形２１０を含む構成について説明したが、音データ２１は、金属加工音、自動車、電車、新幹線若しくは飛行機等から発せられる機械音、振動音、打音若しくは騒音のいずれか一部又は複数の音波形（図４で示した打音波形２１０に相当）を含んでもよい。音データ２１としては、異常音を含む又は含まない音波形を用いることができる。異常音は、タイヤ音、車等の車体の故障音、路面の異常音等が考えられる。
In addition, in the present embodiment, the sound data 21 includes the hammering sound waveform 210 of the hammering test for concrete. It may include a part or a plurality of sound waveforms (corresponding to the hitting sound waveform 210 shown in FIG. 4) of sound, vibrating sound, hitting sound, or noise. As the sound data 21, a sound waveform containing or not containing an abnormal sound can be used. Abnormal sounds may include tire sounds, vehicle failure sounds, road surface abnormal sounds, and the like.
また、音データ２１は、検査により取得したデータに限らず、その他の任意の手段により取得したデータであってもよい。
In addition, the sound data 21 is not limited to data acquired by inspection, and may be data acquired by any other means.
また、図３で示した異常音判定方法のステップＳ０２～Ｓ０７の処理の順は、一つの例であり、適宜順番を入れ替えて実行してもよい。
Also, the order of the processing of steps S02 to S07 of the abnormal sound determination method shown in FIG. 3 is an example, and the order may be changed as appropriate.
１ 異常音判定システム
３ 判定結果
１１ 入力部
１２ 出力部
１３ 制御部
１４ 記憶部
２１ 音データ
２１ｎ（２１１～２１８） 一次分割データ
２１ｎｍ 二次分割データ
２２ 画像データ
２３ 異常音判定プログラム
２１０ 打音波形
２２１（２２１ａ～２２１ｃ） セル
２３１ 入力データ生成部
２３２ 判定部
Ｆ１ 周波数重み付け特性
Ｆ２ 時間重み付け特性
Ｔ０ タイミング
τ 時定数
1 abnormalsound determination system 3 determination result 11 input unit 12 output unit 13 control unit 14 storage unit 21 sound data 21n (211 to 218) primary divided data 21nm secondary divided data 22 image data 23 abnormal sound determination program 210 hammering waveform 221 (221a to 221c) Cell 231 Input data generator 232 Judgment unit F1 Frequency weighting characteristic F2 Time weighting characteristic T0 Timing τ Time constant
３ 判定結果
１１ 入力部
１２ 出力部
１３ 制御部
１４ 記憶部
２１ 音データ
２１ｎ（２１１～２１８） 一次分割データ
２１ｎｍ 二次分割データ
２２ 画像データ
２３ 異常音判定プログラム
２１０ 打音波形
２２１（２２１ａ～２２１ｃ） セル
２３１ 入力データ生成部
２３２ 判定部
Ｆ１ 周波数重み付け特性
Ｆ２ 時間重み付け特性
Ｔ０ タイミング
τ 時定数
1 abnormal
Claims (10)
- 音データを取得する取得工程と、
前記音データを人の聴別能力に倣って調整するフィルタ処理工程と、
調整後の前記音データを機械学習用の入力データとして生成するデータ生成工程と、
を含む異常音判定方法。 an acquisition step of acquiring sound data;
a filtering step of adjusting the sound data according to human hearing ability;
a data generation step of generating the adjusted sound data as input data for machine learning;
Abnormal sound determination method including - 前記フィルタ処理工程は、前記音データに対して音圧レベル、周波数帯域及び時間の一つ又は複数を調整する請求項１に記載の異常音判定方法。 The abnormal sound determination method according to claim 1, wherein the filter processing step adjusts one or more of sound pressure level, frequency band and time for the sound data.
- 前記フィルタ処理工程では、前記音圧レベル、前記周波数帯域及び前記時間の全てが調整される請求項２に記載の異常音判定方法。 The abnormal sound determination method according to claim 2, wherein in the filtering step, all of the sound pressure level, the frequency band and the time are adjusted.
- 前記フィルタ処理工程は、
前記音圧レベルの調整として、前記音データの周波数毎の前記音圧レベルの大きさを人の聴感度に倣って重み付けして調整し、
前記周波数帯域の調整として、１／３オクターブバンドパスフィルタにより前記音データから可聴帯域のデータを抽出して、前記音データを複数の帯域に分割し、
前記時間の調整として、前記音データを、発音タイミングを含む予め定めた複数の時間領域の区分に分割する、
請求項３に記載の異常音判定方法。 The filtering step includes
Adjusting the sound pressure level by weighting and adjusting the magnitude of the sound pressure level for each frequency of the sound data according to human hearing sensitivity,
As the adjustment of the frequency band, extracting audible band data from the sound data with a 1/3 octave bandpass filter, dividing the sound data into a plurality of bands,
As the adjustment of the time, the sound data is divided into a plurality of predetermined time domain segments including pronunciation timings.
The abnormal sound determination method according to claim 3. - 前記入力データは、前記周波数帯域及び前記時間の互いに直交する二方向に、前記周波数帯域及び前記時間に対応する前記音圧レベルをグレースケールの画素値として配置させた画像データである請求項３又は請求項４に記載の異常音判定方法。 4. The input data is image data in which the sound pressure levels corresponding to the frequency band and the time are arranged as grayscale pixel values in two mutually orthogonal directions of the frequency band and the time. The abnormal sound determination method according to claim 4.
- 前記音データは、異常音を含む異常データと前記異常音を含まない非異常音データとを含み、
前記入力データを、教師データ又は被判定データとして機械学習プログラムに入力させる判定工程を含む請求項１から請求項５のいずれか一項に記載の異常音判定方法。 The sound data includes abnormal data including abnormal sounds and non-abnormal sound data not including the abnormal sounds,
6. The abnormal sound determination method according to any one of claims 1 to 5, further comprising a determination step of inputting said input data to a machine learning program as teacher data or data to be determined. - 前記音データは、機械音、振動音又は打音のいずれかを含む請求項１から請求項６のいずれか一項に記載の異常音判定方法。 The abnormal sound determination method according to any one of claims 1 to 6, wherein the sound data includes any one of mechanical sound, vibration sound, and hammering sound.
- Ｇｒａｄ－ＣＡＭにより異常有無の判定根拠を可視化した根拠画像を作成する可視化工程を含む請求項１から請求項７のいずれか一項に記載の異常音判定方法。 The abnormal sound determination method according to any one of claims 1 to 7, including a visualization step of creating a ground image in which grounds for determining the presence or absence of an abnormality are visualized by Grad-CAM.
- 音データを取得する取得工程と、
前記音データを人の聴別能力に倣って調整するフィルタ処理工程と、
調整後の前記音データを機械学習用の入力データとして生成するデータ生成工程と、
をコンピュータに実行させるための異常音判定プログラム。 an acquisition step of acquiring sound data;
a filtering step of adjusting the sound data according to human hearing ability;
a data generation step of generating the adjusted sound data as input data for machine learning;
An abnormal sound judgment program for causing a computer to execute. - 音データを取得する入力部と、
前記音データを人の聴別能力に倣って調整し、調整後の前記音データを機械学習用の入力データとして生成する処理部と、
を備える異常音判定システム。
an input unit for acquiring sound data;
a processing unit that adjusts the sound data according to human hearing ability and generates the adjusted sound data as input data for machine learning;
Abnormal sound determination system.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021-158823 | 2021-09-29 | ||
| JP2021158823A JP2023049213A (en) | 2021-09-29 | 2021-09-29 | Abnormal sound determination method, abnormal sound determination program, and abnormal sound determination system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023054313A1 true WO2023054313A1 (en) | 2023-04-06 |
Family
ID=85782693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/035838 WO2023054313A1 (en) | 2021-09-29 | 2022-09-27 | Abnormal sound determination method, abnormal sound determination program, and abnormal sound determination system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2023049213A (en) |
| WO (1) | WO2023054313A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002267529A (en) * | 2001-03-09 | 2002-09-18 | Matsushita Electric Ind Co Ltd | Sound analyzing method and sound analyzer |
| WO2016117358A1 (en) * | 2015-01-21 | 2016-07-28 | 三菱電機株式会社 | Examination data processing device and examination data processing method |
| CN110579354A (en) * | 2019-10-16 | 2019-12-17 | 西安交通大学 | Bearing detection method based on convolutional neural network |
| JP2020095123A (en) * | 2018-12-11 | 2020-06-18 | 株式会社小野測器 | Sound evaluation AI system and sound evaluation AI program |
-
2021
- 2021-09-29 JP JP2021158823A patent/JP2023049213A/en active Pending
-
2022
- 2022-09-27 WO PCT/JP2022/035838 patent/WO2023054313A1/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002267529A (en) * | 2001-03-09 | 2002-09-18 | Matsushita Electric Ind Co Ltd | Sound analyzing method and sound analyzer |
| WO2016117358A1 (en) * | 2015-01-21 | 2016-07-28 | 三菱電機株式会社 | Examination data processing device and examination data processing method |
| JP2020095123A (en) * | 2018-12-11 | 2020-06-18 | 株式会社小野測器 | Sound evaluation AI system and sound evaluation AI program |
| CN110579354A (en) * | 2019-10-16 | 2019-12-17 | 西安交通大学 | Bearing detection method based on convolutional neural network |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023049213A (en) | 2023-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6061693B2 (en) | Abnormality diagnosis apparatus and abnormality diagnosis method using the same | |
| CN104819846B (en) | Rolling bearing sound signal fault diagnosis method based on short-time Fourier transform and sparse laminated automatic encoder | |
| CN108877758A (en) | A kind of spatial field active denoising method | |
| WO2023054313A1 (en) | Abnormal sound determination method, abnormal sound determination program, and abnormal sound determination system | |
| CN103050128B (en) | Vibration distortion-based voice frequency objective quality evaluating method and system | |
| CN103151049A (en) | Method and system for service quality assurance facing mobile voice frequency | |
| JP2021536596A (en) | Methods and devices for fingerprinting acoustic signals via normalization | |
| KR101907276B1 (en) | System for practicing musical instrument and method for supporting the practice | |
| JP2009287923A (en) | Method and apparatus for evaluating unstableness of rock mass on slope of rock bed | |
| CN103405234A (en) | System and method for multi-dimensional measurement of hearing disturbance based on main frequency simulation adjustment technology | |
| KR102580051B1 (en) | Apparatus for monitoring for internal defect of structure and method for the same | |
| CN112992182B (en) | Vehicle wind noise level testing system and testing method thereof | |
| US9148732B2 (en) | Method for testing hearing aids | |
| JP7294422B2 (en) | SOUND MODEL GENERATOR, SOUND SIGNAL PROCESSING SYSTEM, SOUND MODEL GENERATION METHOD, AND PROGRAM | |
| JP4844049B2 (en) | Trunk cavity state estimation device | |
| JP7166230B2 (en) | Apparatus and method for acquiring tile soundness standard | |
| JP2012055636A (en) | System and method for designing golf club | |
| JP2020034555A (en) | Nondestructive inspection system, method and program | |
| Marshall et al. | Metrics including time-varying loudness models to assess the impact of sonic booms and other transient sounds | |
| KR101798577B1 (en) | The Fitting Method of Hearing Aids Using Personal Customized Living Noise | |
| CN115040117B (en) | Portable hearing test evaluation method and system | |
| JP7175861B2 (en) | TILE HEALTH DETERMINATION DEVICE AND METHOD | |
| JP2008132262A (en) | Method and program for evaluating high and low pitch of hit sound of golf club head, and method and program for evaluating good impression of hit sound of golf club head | |
| JP2023179189A (en) | Method for calculating sound evaluation index, method for generating evaluation data, sound evaluation device, and computer program | |
| Żera | Timbre Solfege and auditory profile analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22876179 Country of ref document: EP Kind code of ref document: A1 |