WO2019132740A1 - Способ обработки векторных сигналов для распознавания образов на основе вейвлет - анализа - Google Patents
Способ обработки векторных сигналов для распознавания образов на основе вейвлет - анализа Download PDFInfo
- Publication number
- WO2019132740A1 WO2019132740A1 PCT/RU2018/050171 RU2018050171W WO2019132740A1 WO 2019132740 A1 WO2019132740 A1 WO 2019132740A1 RU 2018050171 W RU2018050171 W RU 2018050171W WO 2019132740 A1 WO2019132740 A1 WO 2019132740A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- wavelet
- models
- signal
- windows
- training
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 title claims abstract description 10
- 238000004458 analytical method Methods 0.000 title claims description 10
- 238000003909 pattern recognition Methods 0.000 title claims description 9
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000010200 validation analysis Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 53
- 238000002474 experimental method Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 230000004807 localization Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 238000012886 linear function Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000008774 maternal effect Effects 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 239000007789 gas Substances 0.000 description 31
- 238000013528 artificial neural network Methods 0.000 description 21
- 239000000203 mixture Substances 0.000 description 11
- 238000013459 approach Methods 0.000 description 9
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 8
- 229910002091 carbon monoxide Inorganic materials 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 229910052739 hydrogen Inorganic materials 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002068 genetic effect Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000000540 analysis of variance Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000212384 Bifora Species 0.000 description 1
- 241001590701 Vidia Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 description 1
- 150000002484 inorganic compounds Chemical class 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
Definitions
- the present invention relates to data processing methods used to build systems that allow to solve problems of pattern recognition, classification and quantitative content of a target parameter (regression), based on measurements, which are continuous one-dimensional signals, using wavelet analysis to train an adaptive model.
- the invention can be used to determine gases and their concentration based on signals, for example, from semiconductor sensors; determination of types of inorganic compounds and their concentrations in solutions based on spectroscopy methods; and etc.
- Methods are known from the prior art that provide a solution to pattern recognition problems, classifying and determining the quantitative content of a target parameter, after conducting a so-called training procedure with a teacher on an array of input and output data that are iteratively supplied to the system corresponding to the problem being solved.
- a method for determining the types of gases measured on an array of sensors with adaptive regression algorithms and a computer-implemented system (US 2006 / 0155486A1).
- the resistance of metal-oxide sensors is measured, the intervals of readings are determined during individual cycles of sensor operation during their heating from ambient temperature to 1000 ° C, multidimensional linear regression and FLS algorithms are used as regressors (projections on latent structures or partial least squares), pre-process the initial data based on simple mathematical operations of logarithmization, potentiation, and also limit the scale of changes The sequence of measured values.
- the solution based on the selected algorithm (method) was compared with the result of a model of a trained artificial neural network — another popular method that has the properties of universal function approximation and is widely used: for example, in the task of determining air pollution (US2016 / 0125307A1) and searching for areas of gas leakage from cylinders (US2014 / 0165729A1).
- a disadvantage of the known technical solutions is the redundancy of the number of model parameters, which complicates the process of their selection and reduces the generalizing abilities of the models.
- a significant disadvantage of complex non-linear methods which include neural networks, is their poor resistance to the presence of noise in the signal applied to the input layer of the neural network.
- the presence of noise is characteristic of actual measurement signals.
- a large number of different techniques are used: a sparse representation of the original signals using a random Gaussian distribution (US2016 / 0123943A1) to further filter the learning values of the neural nets on selected tags; approximation by the Lagrange polynomials of the original signal of the sensor array and analysis of the parameters of the fitting model (US2013 / 0064423A1); neural networks of auto-associative memory to eliminate noise and effectively compress the supplied examples of bioelectric activity signals recorded using EEG (electroencephalogram) and MEG (magnetoencephalogram) (US 8725669B 1); adding noise to the training set, the distribution parameters of which are selected with a genetic algorithm (US20030191728A1).
- An implementation with a genetic algorithm involves learning neural networks after each iteration of adding noise, in terms of genetic algorithms: after generating a generation of individuals, i.e. a set of samples with slightly different distribution parameters, each of which will require training in a neural network.
- the main disadvantage of this approach is the need to train a huge number of neural network models, which requires significant computational resources and computation time.
- the properties of the wavelet functions allow using them not only for modeling signals, but also the surfaces of the function of mapping input variables to the output, forming the so-called wavelets - nodes of the back-propagation network, unlike the classical neural network, which are not a weighted sum of the input characteristics, but their multiple product, whose members are the wavelet transform of these features.
- the scale and position parameters are adjusted on the basis of the gradient descent algorithm; therefore, a differentiability constraint is imposed on the wavelet function.
- the disadvantages of wavelet neural networks include the inability to work with large-scale input data, since this dimension will correspond to the number of components in wavelet, and therefore, the process of adjusting wavelet parameters in the learning process will be difficult. In connection with this problem, this algorithm is used in tasks that operate with only a few variables, such as in patent US2016 / 0161448A1, which operates with three spatial coordinates with magnetic field flux sensors.
- the method includes creating a training data set, normalizing and transforming this array into wavelet coefficients; the selection of essential features using analysis of variation, pattern recognition in the framework of solving the problem of classification - determining the gas composition is carried out on the basis of selected wavelet coefficients.
- the present invention is to create a method of processing data of vector signals for pattern recognition based on wavelet analysis, ensuring the selection of the most important sections of the original signal for solving the problem of determining the target parameter.
- the technical result of the invention is the ability to determine the target parameter (qualitative or quantitative), resistant to the presence of the noise component, due to the selection of the measured signals of different-scale areas, the most relevant problem to be solved with high resistance to signal distortion.
- steps including:
- each sample from the resulting training sample array is processed using the wavelet transform, with the convolution of the wavelet function over the overlapping windows of this level of detail to obtain the wavelet coefficients (ai. And p );
- D) select the reference function, the maximum number of its variables, followed by building a family of models for displaying, using the selected function, the wavelet coefficients (ai. A and p ) for at least one target value; D) after which each model from the family according to item G) is trained on a training set with the selection of the weight parameters of the models wi. w n and the subsequent selection of the best models according to the criterion calculated on the validation set;
- step E) checking the selected models in step D) on a test sample by calculating the criterion for evaluating the convergence of the algorithm
- steps B) - I) are repeated until the convergence criterion determined by the value of the objective function on the test set is reached, resulting in a set of paired combinations s and t corresponding to the significant parts of the measured signal, which determine the desired target parameter.
- x (t) use the values continuously obtained from the measuring equipment.
- High-frequency noise is removed using a median filter. Normalization of the preprocessed signal is performed by dividing the signal values at each point by the integral value of the measured signal. Samples of the array of the measured signal are chosen of the same length.
- Each of the sets of an array of samples of the measured signal — training, test, and validation — is formed from a subset of measurement samples obtained during experiments conducted at different times.
- As a target parameter using a quantitative or qualitative parameter.
- the wavelet transform is where x (t) is the original signal, y * is the complex-conjugate mother wavelet function.
- wavelet functions use functions that satisfy the following properties: localization; zero average; limitations; differentiability; self-similarity.
- the overlap of adjacent windows is at least 30% of the width of the window.
- the convolution of the signal with the wavelet function is carried out in the Fourier space, for which: the Fourier transform of discrete signals is computed, representing a sequence of values ⁇ xn ⁇ :
- h 0, 1, ..., Nl, N is the number of samples in the studied data series; h is the interval between successive samples of the time domain, k / h (0, ..., (N-l) / h) forms the set of frequencies of the original signal x n .
- the training is carried out by minimizing the internal criterion - the sum of squares of the regression residuals on the training set:
- the internal criterion is minimized using the least squares algorithm:
- the selection of the best models is carried out on the basis of the external criterion calculated on the validation set — the sum of squares of the regression residuals of the models built on the training set, normalized to the corresponding target values:
- one fourth of the models are selected, which are the best in terms of evaluating the external criterion on the validation set.
- transition to the next level of detail is carried out only if the accuracy of determining the target parameter on the test set for at least one of the selected models exceeded the results obtained at the previous level of detail;
- figure 1 shows a view of a continuous source signal of gas sensor resistance at a CO concentration of 20 ppm during the 3 measurement cycles obtained when implementing an example of a specific embodiment using the proposed method.
- Positions in the figure denote 1-continuous resistance signal; 2 - a continuous thermometer signal, reflecting a controlled change in the temperature of the sensors over several measurement cycles.
- FIG. Figure 2 shows the Morlet wavelet function as a function of the center frequency parameter. The wavelet function in position 3 in this figure has a 2.5 times smaller central frequency value than that shown in position 4.
- Figure 3 shows a graphic image of two iterations of the proposed method.
- Position 5 shows an example of a pre-processed sample of the original signal, from which selected areas represented by positions 6, 7 and 8, then produce a convolution with the wavelet function presented in position 9, the result of which are the variables aS, and 1 2, aH
- the arrow indicated by position 10 represents the described procedure of selection of informative signal ranges then the selected areas (in this example, positions 7, 8) are crushed in accordance with the scale parameter of detail level 2, covering the signal with windows shown in positions 11, 12, 13, 14, 15, after which the procedure is repeated with convolution, bringing the floor they take into account an array of variables a 2 i, a 2 2 , a 2 h, a 2 4 , and 2 5 , which can be used in the subsequent selection procedure to the convergence of the algorithm.
- the present invention may be subject to various changes and modifications as understood by a person skilled in the art based on the reading of the above description. Such changes do not limit the scope of claims.
- the types of targets can change, the criterion of calculation convergence, the amount of input data for carrying out calculations, the absolute values of predetermined parameters, etc. can change.
- the method is not limited to any class of wavelet functions or learning algorithm, as well as the dimension of the input data.
- the measured signal is preprocessed to remove noise and amplitude jumps of the signal, which can be implemented by various methods known from the prior art: for example, subtracting the pedestal [Steven W. Smith. The Engineer and Engineer's Guide to Digital Signal Processing. - Second Edition. - San-Diego: California Technical Publishing, 1999], eliminating local drift by small-order polynomials [A. Gallant and W. Fuller. Fitting segmented polynomial regression models join points have not been estimated.
- the continuous signal is divided into separate samples of equal length, within cycles, as shown in the example in FIG.
- the total array of examples of signal samples is divided into 3 sets: training, test and test.
- the classic recommendation for this procedure is to split the set randomly at a ratio of 70:20: 10, respectively [T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Fearning, Springer- Verlag New York, 745p. 2009], but its ultimate goal is to ensure that the data sets are representative of the data.
- PFoS ONE 12 (8): e0181853, 2017] each of which must contain such samples so that the target parameter within the sets lies within the general boundaries.
- An additional factor that provides an objective assessment of the accuracy of the solution of the problem is the approach to the deliberate formation of sets of data samples obtained in the framework of experiments independent of those whose samples were included in the training sample. This approach eliminates the dependence of the system on the general conditions of the experiment (humidity, atmospheric pressure, etc.), as well as time characteristics of the measuring equipment behavior (“aging” of the sensory material, external pickup of the measuring circuit, etc.).
- each sample is assigned a target parameter.
- the example given within the scope of this description concerns the determination of the types and concentrations of gases in the mixture, including the part related to the classification (determining the type of gas), characterized by a narrow set of discrete values, and the part related to the regression (determining the concentration of gas), characterized by some continuous grid values within the limits of the minimum and maximum values.
- determining the type of gas characterized by a narrow set of discrete values
- the part related to the regression determining the concentration of gas
- a statistical model is built, which boils down to minimizing the objective function, the form of which depends on the desired parameter to be determined - whether it is qualitative or quantitative. So, for the task of determining a quantitative target parameter (representing continuous set of values, regression problem) it is preferable to use the value of the standard deviation [T. Hastie, R.
- the initial parameters - the center frequencies of the selected wavelets, the scale value and the degree of overlap of adjacent windows.
- the value of the overlap of the wavelet windows is chosen not less than 30%, 50% overlap of the wavelet windows is preferred.
- the scale of the first level is chosen to be about half the number of samples of the sample signals, so that as a result of the conversion, several wavelet coefficients are obtained, as shown in the upper part of Fig. 3.
- Wavelet transform can be performed directly, with the most effective use of the algorithm for the convolution operation in Fourier space [Hramov, AE, Koronovskii, AA, Makarov, VA, Pavlov, AN, Sitnikova, E. Wavelets in Neuroscience. Springer- Verlag Berlin Heidelberg, 318p. 2015], for example, using commercially available software products that implement the Fourier transform algorithm [http: // soft w are. intel. com / en- us / mkl / features / fft, http s: // de ve 1 oper n vidia.com/citffl,
- the algorithm receives Fourier transforms of the signal samples and wavelet functions, then convolve them and perform the inverse Fourier transform to return to the original space.
- the result of this step is a set of wavelet coefficients - one coefficient for each window.
- a family of models is constructed that display the supplied set of coefficients for the values of the target parameter.
- the family contains models that transform input variables using a support function, each model within the family contains its own unique set of variables.
- Deep Learning. arXiv: 1703.00788] which allow you to train the model to acceptable level for a small number of iterations.
- an assessment is made of the work of models on a validation set made up of samples that did not participate in the model training process. After that, they select a specified number of models that have demonstrated the best results and test their performance evaluations on a test data set, samples of which were not involved in training or in the choice of models. If an improvement in the accuracy of determining the target parameter on the test set (E) is observed, in comparison with the results obtained at previous levels of detail, the signal regions corresponding to these models are declared most significant for this level of detail (G).
- an air composition measurement cycle was carried out using semiconductor gas sensors manufactured by SGX Sensortech (Switzerland).
- the sensors operated in continuous mode, the signal sampling rate was 0.1 sec, and a cyclical change in their temperature was implemented, as shown in Fig. 1.
- thermal stabilization areas were introduced at extreme temperatures, which were changed from 150 to 450 degrees Celsius at a speed of 15 degrees per second, the length of each stationary temperature area was 10 seconds.
- sensors were purged. street air for one hour. Measurements for a given type of gas were carried out for 2 hours, interrupting them with half-hour blow-downs of the installation with outdoor air.
- One series of experiments included no more than three series of measurements, after which the hour air was blown with outside air and the measurement setup was turned off. Sequential series of experiments were performed on different types of gases in order to eliminate the influence of the “aging” factor of the sensory material on the measured signal. The experiments were carried out with carbon monoxide (CO), hydrogen (H 2 ), a mixture of these two gases, outside air, as well as outside air with a controlled humidity level.
- CO and H 2 gases were supplied from the cylinders connected to the installation, mixing with the intake air from the outside; the change in their concentration was carried out by adjusting the flow of gas exiting the cylinder.
- Concentrations varied in the ranges from 7 to 126 ppm (points per million) and 33 to 540 ppm for CO and H 2, respectively, within a uniform grid of 9 values. Samples from Zx experiments for each type of gas were included in the training set, samples from the other two experiments were included in the validation set, and from one experiment in the test set.
- Stage A was implemented by conducting procedures aimed at improving the quality of the signal - the noise was cleared using a median filter with a width of 8 counts, the drift of the sensor baseline was eliminated by eliminating local trends by polynomials not higher than the third order.
- Each signal sample was composed of a vector of measured values of the heating-stabilization-cooling-stabilization cycle resistance — a total of 600 samples. To eliminate the influence of the absolute amplitude of the sensory response, the samples were normalized to their own integral value. Each sample was assigned a well-known gas type (quality characteristic) and quantitative (gas concentration, CO, H 2 gases and mixtures thereof) (stage B).
- the Morlet wavelet was chosen as the wavelet function; in calculating the wavelet coefficients, only the real part was used, and the imaginary values were rejected.
- the initial value of the center frequency was chosen 2 * p 3/2 , which ensured 5 cycles of the sinusoid within the selected scale.
- the value of the scale parameter was chosen by 200 points, the degree of overlap of adjacent wavelet windows is 50%.
- the calculation of wavelet coefficients was carried out in the framework of the convolution in Fourier space with a preliminary Fourier transform of the signal samples and the wavelet function and the inverse transformation of the result. So for each selected window on the sample signal was calculated by one wavelet coefficient.
- stage D a family of linear models was constructed (stage D), including all possible combinations of variables.
- the selection of the coefficients of the models was carried out by the method of least squares on the signal samples of the training set.
- the global limit on the number of variables in the model is 12, the limit on the minimum possible window size is 8 samples.
- the classification problem was solved, the desired value was encoded using the one-hot encoding method, i.e. in the presence of 4 different values of the target parameter (gas entities): CO, H 2 , a mixture of CO and H 2 , outside air, the desired value was coded with a vector of four values, 3 of which were equal to zero, and one of them was equal to one, which corresponded to the absence or presence of gas.
- the regression task was solved in a similar way with the difference that the output values were represented as an array of continuously varying values within the specified concentration ranges. The average absolute error in determining the concentrations on the test set of samples was less than 10% of the relative concentration value.
- step D 120 models were built for this level, after which their accuracy of work was evaluated on the validation set (stage D). By this criterion, 25% of the best models were chosen. Since this is the first step, no test was performed on the test sample (step E). Thus, the unique wavelet coefficients of the selected models were chosen and the corresponding areas were declared essential for the solution of the problem (step F).
- the signal areas selected at step W were used at the next level of detail (step 3), characterized by a window size that was half the size of the previous step, and the center frequency was increased 4/3 times to keep the number of periods of a Morle wavelet sinusoid inside the window. Keeping the same degree of overlap, we chose the positions of the windows on the samples of the signals inside the selected areas and then repeated the actions according to points V.-Z.
- a computer based on the intel 6600k processor, an nvidia gtx l060gb video card, and 32gb ram based on the linux operating system were used.
- Using a graphics accelerator and Python's tensorflow libraries made it possible to speed up Fourier transform calculations and organize multithreaded computations.
- the advantage of the developed approach was demonstrated in the ability to solve both the problem of determining the type of gas, and determining the concentrations of individual gases and their mixtures.
- the claimed method in addition to the possibility of determining the type of gas (qualitative target parameter), allows determining the concentration of the gases being studied (quantitative target parameter), and also provides high accuracy of determining the target parameter (qualitative or quantitative) with the release different-scale areas of the measured signal.
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Complex Calculations (AREA)
- Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
Abstract
Способ включает: первичную обработку сигнала, для каждого образца массива выборки определяют окна текущего уровня детализации, с обеспечением перекрытия соседних окон; каждый образец массива выборки обрабатывают с помощью вейвлет-преобразования; выбирают опорную функцию, максимальное количество ее переменных с последующим построением семейства моделей для отображения с помощью выбранной функции вейвлет-коэффициентов на одно целевое значение; каждую модель из семейства обучают на тренировочном наборе с подбором весовых параметров моделей и последующим выбором лучших моделей по критерию, рассчитанному на валидационном наборе; проверяют выбранные модели на тестовой выборке путем расчета критерия оценки сходимости алгоритма; выбирают значимые участки (ЗУ), соответствующие окнам данного уровня детализации, переходят к следующему уровню детализации внутри выбранных ЗУ, соответствующих лучшим моделям, содержащим вейвлет- коэффициенты ai, ранее рассчитанным внутри этих окон; для каждого окна участков, определенных на первом уровне детализации, применяют соответствующее вейвлет- преобразование с меньшим параметром масштаба с получением детализированного представления набора ЗУ.
Description
СПОСОБ ОБРАБОТКИ ВЕКТОРНЫХ СИГНАЛОВ ДЛЯ РАСПОЗНАВАНИЯ ОБРАЗОВ НА ОСНОВЕ ВЕЙВЛЕТ- АНАЛИЗА
Область техники
Настоящее изобретение относится к методам обработки данных, используемых для построения систем, позволяющих решать задачи распознавание образов, классификации и количественного содержания целевого параметра (регрессии), на основе измерений, представляющих из себя непрерывные одномерные сигналы, с использованием вейвлетного анализа для обучения адаптивной модели.
В частности, изобретение может быть использовано для определения газов и их концентрации на основе сигналов, например, с полупроводниковых сенсоров; определения типов неорганических соединений и их концентраций в растворах на основе методов спектроскопии; и др.
Уровень техники
Из уровня техники известны способы, обеспечивающие решение задач распознавания образов, классификации и определения количественного содержания целевого параметра, после проведения, так называемой, процедуры обучения с учителем на массиве соответствующих решаемой задаче входных и выходных данных, итеративно подаваемых в систему.
В частности, известен способ определения типов газов, измеренных на массиве сенсоров с адаптивными регрессионными алгоритмами и компьютерно- реализуемая система (US 2006/0155486А1). Согласно способу измеряют сопротивление металл-оксидных сенсоров, определяют интервалы показаний на протяжении отдельных циклов работы сенсоров в процессе их нагрева от температуры окружающей среды до температуры 1000°С, в качестве регрессоров используют алгоритмы многомерной линейной регрессии и ПЛС (проекций на латентные структуры или частичных наименьших квадратов), проводят процедуру предобработки исходных данных на основе простых математических операций логарифмирования, потенцирования, а также ограничивают масштаб изменений последовательно измеряемых значений. Также, проблему нестационарных дрейфовых эффектов, проявляющихся в измеренном сигнале, решают посредством локальных линейных регрессоров, задачей которых является корректировка локально возникающих трендов. Многомерные регрессионные модели
использовались в сходных задачах, описанных в патентах US007142105B2, US2016/0132617A1, US2016/0231229A1, определения концентраций и типов газов на основе спектроскопических измерений. Помимо линейных моделей для определения типов и концентраций газовых смесей известно использование нелинейного метода К-ближайших соседей (US2013/0197384A1), с помощью которого была продемонстрирована возможность диагностики респираторных заболеваний путем определения компонент газовой смеси по показаниям surface acoustic wave sensors. Решение на основе выбранного алгоритма (способа) сравнивалось с результатом модели обученной искусственной нейронной сети - ещё одного популярного метода, обладающего свойствами универсальной аппроксимации функций и имеющего широкое применение: например в задаче определения загрязнений воздуха (US2016/0125307A1) и поиска областей утечки газов из баллонов (US2014/0165729A1). Недостатком известных технических решений является избыточность числа параметров модели, что затрудняет процесс их подбора и снижает обобщающие способности моделей. Данная проблема возникает в связи с зависимостью числа параметров нейронной сети от числа входных переменных, поскольку в отличие от простых линейных моделей в нейронной сети связь между входными и выходными переменными осуществляется через, так называемые, скрытые слои нейронов, в которых осуществляется применение некоторой заданной передаточной функции к взвешенной сумме значений предыдущего слоя, в данном случае - входных признаков. Таким образом, количество параметров нейронной сети равно сумме произведений числа нейронов каждого слоя с ближайшим предыдущим, т.е., если на вход нейронной сети подаются примеры сигналов, состоящих из 100 точек и при этом нейронная сеть содержит 10 нейронов в единственном скрытом слое и предсказывает 2 выходных значения, решая тем самым задачу бинарной классификации, то количество параметров модели увеличивается до значения 100*10 + 10*2 = 1020.
Кроме того, существенным недостатком сложных нелинейных методов, к которым относятся и нейронные сети, является их плохая устойчивость к наличию шумов в сигнале, подаваемом на входной слой нейронной сети. Присутствие шумов характерно для сигналов реальных измерений. Для борьбы с шумами и дрейфовыми эффектами применяют большое количество различных методик: разреженное представление исходных сигналов с помощью случайного гауссова распределения (US2016/0123943A1) для последующей фильтрации значений обучении нейронной
сети на выбранных признаках; аппроксимацию полиномами Лагранжа исходного сигнала массива сенсоров и анализ параметров аппроксимирующей модели (US2013/0064423A1); нейронные сети автоассоциативной памяти для устранения шумов и эффективного сжатия подаваемых примеров сигналов биоэлектрической активности, записанной с помощью ЭЭГ (электроэнцефалограмма) и МЭГ (магнитоэнцефалограмма) (US 8725669В 1); добавление шума в обучающую выборку, параметры распределения которого подбирают с генетическим алгоритмом (US20030191728A1). Указанные подходы также имеют ряд существенных недостатков, затрудняющих их использование: полиномы Лагранжа хорошо описывают гладкие функции, однако будут испытывать серьезные трудности в случае наличия резких локальных изменений уровня сигнала, что является довольно характерным явлением для тех же газовых сенсоров при переключении нагревательного элемента сенсора на охлаждение. Нейронная сеть автоассоциативной памяти требует огромной обучающей выборки ввиду большого количества параметров, при этом в любом случае может проявляться отсутствие формальных ограничений на её ответы и потенциальная опасность переучивания системы на одном типе дисторсии сигнала, после чего система будет пытаться устранить именно её независимо от её наличия или присутствия других типов шумов и смещений базовой линии. Реализация с генетическим алгоритмом предполагает обучение нейронных сетей после каждой итерации добавления шума, говоря терминами генетических алгоритмов: после генерации поколения индивидуумов, т.е. набора выборок с несколько отличающимися параметрами распределения, на каждой из которых потребуется обучения нейронной сети. Основным недостатком данного подхода является необходимость обучения огромного числа нейросетевых моделей, что требует наличия значительных вычислительных ресурсов и времени вычислений.
Более классическими методами устранения шумов в измеряемом сигнале являются спектральные методы, базирующиеся на фурье-преобразовании. Существенным недостатком такого представления сигнала является утеря его локальной структуры. Данный недостаток был устранен в рамках развивающейся с конца 80х годов теории вейвлетов, а именно введением требований ограниченности, локализованности и ортогональности на функции-вейвлеты, с которыми осуществляется свертка. Последнее позволяет реконструировать сигнал после удаления некоторых компонент в вейвлет-пространстве, что является классической
техникой для устранения шумов в сигнале. Подобный механизм был применен в патентах US2015/0149119A1, US6211515В 1, US6647252, где осуществляется отсечка коэффициентов жестким порогом на определенных уровнях детализации. Однако такой подход может оказаться неэффективным, поскольку подобная процедура отсекает лишь заданный набор частот и амплитуд, тогда как дисторсия может иметь более сложный характер, для чего следует применять более сложные механизмы по отбору вейвлет- коэффициентов. Таким образом, после отсечения шумовых компонент сигнала в пространстве вейвлет коэффициентов можно не реконструировать сигнал, а использовать отобранные вейвлет-коэффициенты для решения конечной задачи. В качестве методов отбора в патентах US2016/0305865 и US 8064722 использовался метод главных компонент, переводящий данные в новые координаты, соответствующие направлениям максимальной дисперсии. В патенте US 8064722 в качестве альтернативы был использован дисперсионный анализ (ANOVA) для выбора тех вейвлет-коэффициентов, которые изменяются в зависимости от состава газовой смеси (целевого параметра). Полученные таким образом переменные использовались в качестве входных признаков для решения конечной задачи определения типа газов алгоритмами классификации: К- ближайших соседей (US2016/0305865); нейронные сети и метод линейного дискриминантного анализа (US 8064722). Следует отметить, что вейвлет- преобразование на каждом уровне детализации фактически производит понижение размерности данных (например, результатом классического алгоритма дискретного вейвлет-преобразования сигнала N переменных являются N/2J вейвлет- коэффициентов на каждом уровне детализации j) и эффективное решение конечной задачи может быть получено путем прямого использования вейвлет-коэффициентов в качестве входных признаков классификатора (нейронной сети), минуя дополнительные процедуры отбора признаков (US2011/0071376А1 и US8595164). Предполагается, что существенные признаки будут выбраны самой нейронной сетью на этапе обучения, тогда как малозначительным переменным будут присвоены минимальные весовые коэффициенты и их присутствие не будет сказываться работе системы.
Альтернативным подходом к выбору существенных признаков является подход алгоритма метода группового учета аргумента (МГУ А), использующий стратегию итеративного усложнения математической модели полиномиальной регрессии, реализуемой в рамках так называемого многорядного алгоритма. Данный
алгоритм был применен для выбора существенных локальных областей из изображений в патенте US7076098B2.
Свойства вейвлет-функций позволяют использовать их не только для моделирования сигналов, но и поверхности функции отображения входных переменных на выходные, формируя так называемые вейвлоны - узлы сети обратного распространения, в отличие от классической нейронной сети представляющие из себя не преобразование взвешенной суммы входных признаков, а их множественное произведение, члены которого есть вейвлет-преобразование данных признаков. Параметры масштаба и положения подстраиваются на основе алгоритма градиентного спуска, поэтому на вейвлет-функции накладывается ограничение дифференцируемости. К недостаткам вейвлет нейронных сетей можно отнести невозможность работы с входными данными большой размерности, поскольку эта же размерность будет соответствовать количеству слагаемых в вейвлоне, в связи с чем, будет затруднен процесс корректировки параметров вейвлонов в процесс обучения. В связи с указанной проблемой данный алгоритм применяется в задачах, оперирующих лишь несколькими переменными, как например, в патенте US2016/0161448A1, оперирующий с датчиками потока магнитного поля по трем пространственным координатам.
Наиболее близким к заявляемому решению является способ и система для анализа сигнала сенсоров, представленного в векторной форме, для распознавания образов (US8064722B1). Способ включает создание тренировочного массива данных, нормализацию и трансформацию этого массива в вейвлет-коэффициенты; отбор существенных признаков с помощью анализа вариации, распознавание образов в рамках решения задачи классификации - определения газового состава осуществляют по отобранным вейвлет-коэффициентам.
Однако отбор существенных вейвлет-коэффициентов в известном способе проводится с помощью метода дисперсионного анализа, что предполагает простые линейные связи между входными и выходными значениями; однако их связь может иметь более сложный характер, из-за чего в линейном приближении некоторые существенные признаки могут быть отброшены, что негативно сказывается на точности получаемого результата.
Раскрытие изобретения
Задачей настоящего изобретения является создание способа обработки данных векторных сигналов для распознавания образов на основе вейвлет-анализа, обеспечивающего выделение наиболее важных участков исходного сигнала для решения задачи определения целевого параметра.
Техническим результатом изобретения является возможность определения целевого параметра (качественного или количественного), устойчивого к присутствию шумовой составляющей, за счет выделения из измеряемых сигналов разномасштабных участков, наиболее релевантных решаемой задаче с высокой устойчивостью к искажению сигнала.
Поставленная задача решается обработкой векторных сигналов для распознавания образов на основе вейвлет-анализа, посредством выполнения шагов (этапов), включающих:
A) первичную обработку измеренного одномерного сигнала x(t) посредством удаления высокочастотного шума, с последующим нормированием предобработанного сигнала с получением массива образцов измеренного сигнала для формирования обучающей выборки, разделенной на тренировочный, валидационный и тестовый набор, где каждому образцу измеренного сигнала сопоставляют известное значение, по меньшей мере, одного целевого параметра;
Б) для каждого образца из полученного массива обучающей выборки определяют окна текущего уровня детализации, соответствующих заданным значением параметров ширины s и положения их центров - t, с обеспечением перекрытия соседних окон;
B) каждый образец из полученного массива обучающей выборки обрабатывают с помощью вейвлет-преобразования, с осуществлением свертки вейвлет-функции по перекрывающимся окнам данного уровня детализации с получением вейвлет-коэффициентов (ai . ап);
Г) выбирают опорную функцию, максимальное количество ее переменных, с последующим построением семейства моделей для отображения с помощью выбранной функции вейвлет-коэффициентов (ai . ап) на, по меньшей мере, одно целевое значение;
Д) после чего каждую модель из семейства по п.Г) обучают на тренировочном наборе с подбором весовых параметров моделей wi . wn и последующим выбором лучших моделей по критерию, рассчитанному на валидационном наборе;
Е) проверку выбранных моделей на шаге Г) на тестовой выборке путем расчета критерия оценки сходимости алгоритма;
Ж) выбор значимых участков, соответствующих окнам данного уровня детализации,
3) переход к следующему уровню детализации внутри выбранных по п.Ж) значимых участков - окон текущего уровня детализации, соответствующих лучшим моделям, содержащим вейвлет-коэффициенты ai, ранее рассчитанным внутри этих окон;
И) для каждого окна из значимых участков, определенных на первом уровне детализации, применяют соответствующее вейвлет-преобразование с меньшим параметром масштаба с получением детализированного представления набора значимых участков,
после чего этапы В) - И) повторяют до достижения критерия сходимости, определяемого по значению целевой функции на тестовом наборе, в результате чего получают набор парных комбинаций s и t, соответствующих значимым участкам измеренного сигнала, по которым определяют искомый целевой параметр.
В качестве одномерного сигнала x(t) используют значения, непрерывно получаемые с измерительного оборудования. Высокочастотный шум удаляют с использованием медианного фильтра. Нормирование предобработанного сигнала осуществляют посредством деления значений сигнала в каждой точке на интегральное значение измеренного сигнала. Образцы массива измеренного сигнала выбирают одинаковой длины. Каждый из наборов массива образцов измеренного сигнала - тренировочного, тестового и валидационного, формируют из подмножества образцов измерений, полученных в ходе экспериментов, проведенных в разное время. В качестве целевого параметра используют количественный или качественный параметр.
Вейвлет-преобразовние представляет собой
где x(t) - исходный сигнал, y* - комплексно-сопряженная материнская вейвлет-функция.
В качестве вейвлет-функции используют функции, удовлетворяющими следующим свойствам: локализации; нулевого среднего; ограниченности; дифференцируемости; самоподобия.
Перекрытие соседних окон составляет не менее 30% от ширины окна.
Свертку сигнала с вейвлет-функцией осуществляют в фурье-пространстве, для чего: вычисляют Фурье-образ дискретных сигналов, представляющих из себя последовательности значений {хп}:
вычисляют Фурье-образ вейвлет-функции:
умножают Фурье-образ дискретных сигналов на комплексно-сопряженный Фурье-образ вейвлет-функции и производят обратное Фурье-преобразование:
где h - 0, 1, ... , N-l, N - число отсчетов в исследуемом ряду данных; h - интервал между последовательными отсчетами временного домена, k/h (0, ..., (N- l)/h) образует множество частот исходного сигнала хп.
В качестве опорной функции выбирают линейную функцию, состоящую из членов нулевого и первого порядка:
Обучение проводят посредством минимизации внутреннего критерия - суммы квадратов регрессионных остатков на тренировочном наборе:
Минимизацию внутреннего критерия осуществляют с помощью алгоритма наименьших квадратов:
w = (АгА) 1Ату
Выбор лучших моделей осуществляют на основе внешнего критерия, рассчитанного на валидационном наборе - суммы квадратов регрессионных остатков моделей, построенных на тренировочном наборе, с нормировкой на соответствующие целевые значения:
Из построенного семейства моделей выбирают четвертую часть моделей, являющихся лучшими по оценке внешнего критерия на валидационном наборе.
Переход к следующему уровню детализации осуществляют лишь в том случае, если точность определения целевого параметра на тестовом наборе для хотя бы одной из отобранных моделей превзошла результаты, полученные на предыдущем уровне детализации;
Краткое описание чертежей
Изобретение поясняется чертежами, где на фиг.1 представлен вид непрерывного исходного сигнала сопротивления газовых сенсоров при концентрации СО 20ррт на протяжении Зх циклов измерений, полученного при реализации примера конкретного выполнения посредством заявляемого способа. Позициями на фигуре обозначены 1- непрерывный сигнал сопротивления; 2 - непрерывный сигнал термометра, отражающий контролируемое изменение температуры сенсоров на протяжении нескольких циклов измерений. На фиг. 2 представлен вид вейвлет-функции Морле в зависимости от параметра центральной частоты. Вейвлет- функция в позиции 3 на данной фигуре имеет в 2.5 раза меньшее значение центральной частоты, чем изображенная в позиции 4. На фиг.З представлено графическое изображение двух итераций предлагаемого способа. На позиции 5 изображен пример предобработанного образца исходного сигнала, из
которого выделены области, представленные позициями 6, 7 и 8, после чего производят свертку с вейвлет-функцией, представленной в позиции 9, результатом чего являются переменные aS, а12, аЧ Стрелка, обозначенная позицией 10, изображает описанную процедуру отбора информативных диапазонов сигнала, после чего выбранные участки (в данном примере, позиции 7, 8) дробятся в соответствии с параметром масштаба уровня детализации 2, покрывая сигнал окнами, изображенными в позициях 11, 12, 13, 14, 15, после чего процедуру повторяют со сверткой, в результате чего получают массив переменных a2i, а2 2, а2з, а2 4, а2 5, которые могут быть использованы в последующей процедуре отбора до сходимости алгоритма.
Осуществление изобретения
Ниже представлено более детальное описание осуществления заявляемого способа, которое предназначено для пояснения сущности заявляемого изобретения. Настоящее изобретение может подвергаться различным изменениям и модификациям, понятным специалисту на основе прочтения приведенного описания. Такие изменения не ограничивают объем притязаний. Например, могут изменяться типы целевых показателей, может изменяться критерий сходимости расчета, объем исходных данных для проведения расчетов, абсолютные значения заранее заданных параметров и т.д. Способ не ограничен каким-либо классом вейвлет-функций или алгоритмом обучения, а также размерностью входных данных.
Согласно способу на первом этапе (А) осуществляют предобработку измеренного сигнала с целью удаления шума и амплитудных скачков сигнала, которая может быть реализована различными методами, известными из уровня техники: например, вычитания пьедестала [Steven W. Smith. The Scientist and Engineer’s Guide to Digital Signal Processing. — Second Edition. — San-Diego: California Technical Publishing, 1999], устранения локального дрейфа полиномами малых порядков [A. Gallant and W. Fuller. Fitting segmented polynomial regression models whose join points have to be estimated. Journal of the American Statistical Association, 68(341): 144-147, 1973]; ограничения выбросов, путем ограничения допустимой амплитуды скачков локальной производной, фильтрация высокочастотного шума с помощью сглаживающих фильтров, таких как скользящее среднее или медианный фильтр [Steven W. Smith. The Scientist and Engineer’s Guide to Digital Signal Processing.— Second Edition.— San-Diego: California Technical
Publishing, 1999], а также частотных фильтров [Britton C. Rorabaugh. Approximation Methods for Electronic Filter Design.— New York: McGraw-Hill, 1999.], позволяющих устранить высокочастотный шум и медленные осцилляции, связанные с дрейфом базовой линии.
После удаления из сигнала шума и амплитудных скачков производят разделение непрерывного сигнала на отдельные образцы равной длины, в рамках циклов, как показано в примере на фиг.1. Общий массив примеров-образцов сигнала разделяют на 3 набора: тренировочный, вылидационный и тестовый. Классической рекомендацией для этой процедуры является разделение набора случайным образом в соотношении 70:20: 10 соответственно [Т. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Fearning, Springer- Verlag New York, 745p. 2009], однако её конечной целью является обеспечение представительности наборов данных [Fi D-C, Hu SC, Fin F-S, Yeh C-W Detecting representative data and generating synthetic samples to improve learning accuracy with imbalanced data sets. PFoS ONE 12(8): е0181853, 2017], каждый из которых должен содержать такие образцы, чтобы целевой параметр внутри наборов лежал в рамках общих границ. Дополнительным фактором, обеспечивающим объективную оценку точности решения задачи, является подход к умышленному формированию наборов из образцов данных, полученных в рамках экспериментов, независимых от тех, чьи образцы были включены в тренировочную выборку. Такой подход исключает зависимость системы от общих условий проведения эксперимента (влажность, атмосферное давление и т.п.), а также временных особенностей поведения измерительного оборудования («старение» сенсорного материала, внешние наводки измерительной электроцепи и т.п.).
На следующем этапе (Б) каждому образцу сопоставляют целевой параметр. Пример, приведенный в рамках данного описания, касается определения типов и концентраций газов в смеси, включает часть, связанную с классификацией (определением типа газа), характеризующейся узким набором дискретных значений, и части, связанной с регрессией (определением концентрации газа), характеризующейся некоторой непрерывной сеткой значений в рамках установленных границ минимального и максимального значения. Для определения типов и концентраций газов строят статистическую модель, что сводится к минимизации целевой функции, вид которой зависит от определяемого искомого параметра - является он качественным или количественным. Так, для задачи определения количественного целевого параметра (представляющего из себя
непрерывный набор значений, задача регрессии) предпочтительно использование значения среднеквадратичного отклонения [Т. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning, Springer- Verlag New York, 745p. 2009], тогда как для определения качественного целевого параметра (представляющего из себя одно из нескольких детерминированных значений целевого параметра, задача классификации) предпочтительно использование так называемой функции softmax. При выборе целевых функций необходимо, чтобы функции удовлетворяли требованию дифференцируемости для случаев, когда предполагается использовать алгоритм градиентного спуска при обучении моделей [Bishop, С.М. Pattern Recognition and Machine Learning.— Springer, 2006.— 738 p].
На следующем этапе (В) выбирают семейства вейвлет-функций. Стандартные требования к вейвлет-функциям (локализованность, нулевое среднее и пр. [Charles К. Chui. An Introduction to Wavelets, Volume 1 (Wavelet Analysis and Its Applications) lst Edition. Academic Press, 266p. 1992] дополняют требованием дифференцируемости для обеспечения возможности применения алгоритма градиентного спуска при обучении моделей. Отличительной особенностью заявляемого способа является отсутствие необходимости проведения обратного преобразования из пространства вейвлет-коэффициентов в исходное пространство, что снимает требование к ортогональности вейвлет-функций и становится возможным одновременное использование вейвлет-функций различных семейств вейвлетов. Пример вейвлет-функции: вейвлет Морле - центральная частота вейвлета, j - мнимая
единица, ??— условное обозначение положения точки на оси в пространственном домене.
После выбора вейвлет функций задают начальные параметры - центральные частоты выбранных вейвлетов, значение масштаба и степень перекрытия соседних окон. Значение перекрытия вейвлет-окон выбирают не менее 30%, предпочтительным является 50% перекрытие вейвлет-окон. Масштаб первого уровня выбирают порядка половины числа отсчетов образца сигналов, чтобы в результате преобразования получилось несколько вейвлет-коэффициентов, как изображено в верхней части фиг.З.
Вейвлет-преобразование можно осуществлять напрямую, при этом наиболее эффективным является использование алгоритма проведения операции свертки в
Фурье-пространстве [Hramov, А.Е., Koronovskii, A. A., Makarov, V.A., Pavlov, A.N., Sitnikova, Е. Wavelets in Neuroscience. Springer- Verlag Berlin Heidelberg, 318p. 2015], например, с использованием имеющихся на рынке программных продуктов, реализующих алгоритм Фурье-преобразования [http :// soft w are . intel. com/en- us/mkl/features/fft, http s ://de v e 1 oper n vidia.com/citffl ,
алгоритма получают Фурье-образы образцов сигналов и вейвлет-функции, после чего производят их свертку и проделывают обратное Фурье-преобразование, чтобы вернуться в исходное пространство. Результатом данного шага является набор вейвлет-коэффициентов - по одному коэффициенту для каждого окна.
На следующем этапе реализации изобретения (Г) после определения вейвлет- коэффициентов проводят построение семейства моделей, отображающих подаваемый набор коэффициентов на значения целевого параметра. Семейство содержит модели, осуществляющие преобразование входных переменных с помощью опорной функции, каждая модель внутри семейства содержит свой уникальный набор переменных. Таким образом, семейство состоит из моделей, получающих на вход все возможные комбинации входных переменных, среди которых будут отобраны лучшие на основании значения внешнего критерия, рассчитанного на валидационном наборе. Поскольку при большом количестве переменных количество моделей, которые потребуется обучить на данном шаге равно n!, то количество входных переменных ограничивают сверху, для уменьшения числа моделей до ™ = В качестве опорной функции рекомендуется
использовать линейную функцию, однако возможно применение и полиномиальных функций и универсальных аппроксиматоров функций, например, радиальных базисных функций [Schwenker, Friedhelm; Kestler, Hans A.; Palm, Gunther. Three learning phases for radial -basis-function networks. Neural Networks. 14: 439-458. 2001] и искусственных нейронных сетей [Simon Haykin. Neural Networks: A Comprehensive Foundation (2nd ed.). Upper Saddle River, NJ: Prentice Hall. 842p. 1999].
На следующем этапе (Д) для сокращения объема требуемых вычислений проводят обучение простых функций с помощью метода наименьших квадратов, однако для обучения сложных адаптивных моделей возможно использование модифицированных алгоритмов градиентного спуска [Caglar Gulcehre, Jose Sotelo,
Marcin Moczulski, Yoshua Bengio. A Robust Adaptive Stochastic Gradient Method for
Deep Learning. arXiv: 1703.00788], которые позволяют обучать модель до
приемлемого уровня за небольшое количество итераций. После окончания процедуры обучения моделей на тренировочном наборе производят оценку работы моделей на валидационном наборе, составленном из образцов, не участвовавших в процессе обучения моделей. После чего отбирают заданное число моделей, продемонстрировавших лучшие результаты, и проводят проверку оценки их эффективности на тестовом наборе данных, образцы которых не были задействованы ни в обучении, ни в выборе моделей. Если наблюдают улучшение точности определения целевого параметра на тестовом наборе (Е), в сравнении с результатами, полученными на предыдущих уровнях детализации, то области сигнала, соответствующие этим моделям, объявляют наиболее значимыми для данного уровня детализации (Ж). Если же улучшение точности определения целевого параметра на тестовом наборе не наблюдается или уровень детализации достиг значений уровня дискретизации сигналов (т.е. не представляется возможным выбрать окно меньшей ширины), то не переходят на следующий уровень детализации.
Если переходят к следующему уровню детализации на следующем этапе заявляемого способа (3), то выбирают новое значение параметра масштаба, предпочтительно двукратно меньше того, что использовалось на предыдущем уровне детализации и изменяют значение центральной частоты вейвлета для сохранения его формы в новом масштабе и далее размещают эти окна в выбранных на предыдущем шаге областях сигнала, рассчитывают вейвлет-коэффициенты (И) и далее повторяют пункты В. -И.
Пример осуществления изобретения
Для демонстрации эффективности разработанного подхода был проведен цикл измерений состава воздуха с помощью полупроводниковых газовых сенсоров производства SGX Sensortech (Швейцария). Сенсоры работали в непрерывном режиме, частота дискретизации сигнала составляла 0.1 сек, при этом было реализовано циклическое изменение их температуры, как показано на фиг.1. Для уменьшения скачкообразности показаний сенсоров и плавности реакции ПИД управляющей системы были введены области термостабилизации на крайних значениях температуры, которую изменяли от 150 до 450 градусов цельсия со скоростью 15 градусов в секунду, длина каждой области стационарной температуры - 10 сек. Перед началом каждого эксперимента проводили продувку сенсоров
уличным воздухом в течение одного часа. Измерения для заданного типа газа осуществляли по 2 часа, прерывая их получасовыми продувками установки уличным воздухом. Одна серия экспериментов включала не более трех серий измерений, после чего производили часовую продувку уличным воздухом и отключали измерительную установку. Последовательные серии экспериментов проводили на разных типах газов для исключения влияния фактора «старения» сенсорного материала на измеряемый сигнал. Эксперименты проводили с угарным газом (СО), водородом (Н2), смесью этих двух газов, уличным воздухом, а также уличным воздухом с контролируемым уровнем влажности. Газы СО и Н2 подавались из подключенных к установке баллонов, смешиваясь с нагнетаемым уличным воздухом; изменение их концентрации проводилось путем регулировки потока газа, выходящего из баллона. Концентрации менялись в диапазонах от 7 до 126 ppm (points per million) и 33 до 540ppm для СО и Н2, соответственно, в рамках равномерной сетки из 9 значений. В тренировочный набор были включены образцы из Зх экспериментов для каждого типа газа, в валидационный - образцы из других двух экспериментов, в тестовый - из одного эксперимента.
Этап А был реализован проведением процедур, направленных на улучшение качества сигнала - очищение от шума производилось с помощью медианного фильтра шириной 8 отсчетов, устранение дрейфа базовой линии сенсоров проводилось путем устранения локальных трендов полиномами не выше третьего порядка. Каждый образец сигнала был составлен из вектора измеряемых значений сопротивления цикла нагревание-стабилизация-охлаждение-стабилизация - всего 600 отсчетов. Для устранения влияния абсолютной амплитуды сенсорного ответа образцы нормировались на собственное интегральное значение. Каждому образцу поставили в соответствие известный тип газа (качественная характеристика) и количественное (концентрация газа, для газов СО, Н2 и их смеси) (этап Б).
В качестве вейвлет-функции на этапе В был выбран вейвлет Морле, при расчете вейвлет-коэффициентов использовали только действительную часть, мнимые значения отбрасывали. Начальное значение центральной частоты выбирали 2*p3/2 , что обеспечило 5 циклов синусоиды внутри выбранного масштаба. Значение параметра масштаба выбрали 200 точек, степень перекрытия соседних вейвлет-окон - 50%. Расчет вейвлетов-коэффициентов проводили в рамках осуществления свертки в Фурье-пространстве с предварительным Фурье-преобразованием образцов сигнала и вейвлет-функции и обратным преобразованием результата. Таким образом, для
каждого выбранного окна на образце сигнала рассчитали по одному вейвлет- коэффициенту.
После того как были рассчитаны вейвлет-коэффициенты на них было построено семейство линейных моделей (этап Г), включающих все возможные комбинации переменных. Подбор коэффициентов моделей осуществляли методом наименьших квадратов на образцах сигнала тренировочного набора. Глобальное ограничение на количество переменных в модели составило 12, ограничение на минимально возможный размер окна - 8 отсчетов. На данном этапе проводили решение задачи классификации, кодирование желаемого значения проводили методом one-hot encoding, т.е. при наличии 4 различных значений целевого параметра (газовых сущностей): СО, Н2, смесь СО и Н2, уличный воздух, желаемое значение кодировали вектором из четырех значений, 3 из которых были равны нулю, а одно из них - единице, что соответствовало отсутствию или наличию газа. Задача регрессии была решена сходным образом с тем отличием, что выходные значения представлялись в виде массива непрерывно меняющихся значений внутри указанных диапазонов концентраций. Средняя абсолютная ошибка определения концентраций на тестовом наборе образцов составила менее 10% относительного значения концентрации.
В результате для данного уровня построили 120 моделей, после чего их точность работы оценили на валидационном наборе (этап Д). По данному критерию выбрали 25% лучших моделей. Поскольку это первый шаг, то проверку работы на тестовой выборке не проводили (этап Е). Таким образом, выбрали уникальные вейвлет-коэффициенты отобранных моделей и соответствующие им области объявили существенными для решения задачи (этап Ж).
Выбранные на шаге Ж области сигнала использовали на следующем уровне детализации (этап 3), характеризующемся размером окна, вдвое меньшим, чем на предыдущем шаге, а центральная частота была увеличена в 4/3 раз для сохранения количества периодов синусоиды вейвлета Морле внутри окна. Сохраняя ту же степень перекрытия, выбрирали положения окон на образцах сигналов внутри выбранных областей и далее повторяли действия по п.В.-З.
Для технической реализации вычислительного алгоритма использовали компьютер на базе процессора intel 6600k, видеокарта nvidia gtx l060gb, 32gb ram на базе операционной системы linux. Использование графического ускорителя и
библиотеки tensorflow языка python позволили ускорить вычисления фурье- преобразования и организовать многопоточные вычисления.
Таким образом, преимущество разработанного подхода было продемонстрировано в возможности решения как задачи определения типа газа, так и определения концентраций отдельных газов и их смеси. По сравнению с известным способом по патенту US8064722B1, заявляемый способ, помимо возможности определения типа газа (качественного целевого параметра), позволяет определять концентрацию исследуемых газов (количественного целевого параметра), а также обеспечивает высокую точность определения целевого параметра (качественного или количественного) с выделением значимых разномасштабных областей измеряемого сигнала.
Claims
1. Способ обработки векторных сигналов для распознавания образов на основе вейвлет-анализа, включающий
A) первичную обработку измеренного одномерного сигнала x(t) посредством удаления высокочастотного шума, с последующим нормированием предобработанного сигнала с получением массива образцов измеренного сигнала для формирования обучающей выборки, разделенной на тренировочный, валидационный и тестовый набор, где каждому образцу измеренного сигнала сопоставляют известное значение, по меньшей мере, одного целевого параметра;
Б) для каждого образца из полученного массива обучающей выборки определяют окна текущего уровня детализации, соответствующих заданным значением параметров ширины s и положения их центров - t, с обеспечением перекрытия соседних окон;
B) каждый образец из полученного массива обучающей выборки обрабатывают с помощью вейвлет-преобразования, с осуществлением свертки вейвлет-функции по перекрывающимся окнам данного уровня детализации с получением вейвлет-коэффициентов (ai . ап);
Г) выбирают опорную функцию, максимальное количество ее переменных, с последующим построением семейства моделей для отображения с помощью выбранной функции вейвлет-коэффициентов (ai . ап) на, по меньшей мере, одно целевое значение;
Д) после чего каждую модель из семейства по п.Г) обучают на тренировочном наборе с подбором весовых параметров моделей wi . wn и последующим выбором лучших моделей по критерию, рассчитанному на валидационном наборе;
Е) проверку выбранных моделей на шаге Г) на тестовой выборке путем расчета критерия оценки сходимости алгоритма;
Ж) выбор значимых участков, соответствующих окнам данного уровня детализации,
3) переход к следующему уровню детализации внутри выбранных по п.Ж) значимых участков - окон текущего уровня детализации, соответствующих лучшим моделям, содержащим вейвлет-коэффициенты ai, ранее рассчитанным внутри этих окон;
И) для каждого окна из значимых участков, определенных на первом уровне детализации, применяют соответствующее вейвлет-преобразование с меньшим параметром масштаба с получением детализированного представления набора значимых участков,
после чего этапы В) - И) повторяют до достижения критерия сходимости, определяемого по значению целевой функции на тестовом наборе, в результате чего получают набор парных комбинаций s и t, соответствующих значимым участкам измеренного сигнала, по которым определяют искомый целевой параметр.
2. Способ по п.1, характеризующийся тем, что в качестве одномерного сигнала x(t) используют значения, непрерывно получаемые с измерительного оборудования.
3. Способ по п.1, характеризующийся тем, что высокочастотный шум удаляют с использованием медианного фильтра.
4. Способ по п.1, характеризующийся тем, что нормирование предобработанного сигнала осуществляют посредством деления значений сигнала в каждой точке на интегральное значение измеренного сигнала.
5. Способ по п.1, характеризующийся тем, что образцы массива измеренного сигнала выбирают одинаковой длины.
6. Способ по п.1, характеризующийся тем, каждый из наборов массива образцов измеренного сигнала - тренировочного, тестового и валидационного, формируют из подмножества образцов измерений, полученных в ходе экспериментов, проведенных в разное время.
7. Способ по п.1., характеризующийся тем, что в качестве целевого параметра используют количественный или качественный параметр.
8. Способ по п.1., характеризующийся тем, что вейвлет-преобразовние представляет собой
9. Способ по п.1, характеризующийся тем, что в качестве вейвлет- функции используют функции, удовлетворяющими следующим свойствам:
локализации; нулевого среднего; ограниченности; дифференцируемости; самоподобия.
10. Способ по п.1, характеризующийся тем, что перекрытие соседних окон составляет не менее 30% от ширины окна.
11. Способ по п.1, характеризующийся тем, что свертку сигнала с вейвлет-функцией осуществляют в фурье-пространстве, для чего: вычисляют Фурье- образ дискретных сигналов, представляющих из себя последовательности значений
{хп}:
вычисляют Фурье-образ вейвлет-функции:
умножают Фурье-образ дискретных сигналов на комплексно-сопряженный Фурье-образ вейвлет-функции и производят обратное Фурье-преобразование:
12. Способ по п.1, характеризующийся тем, что в качестве опорной функции выбирают линейную функцию, состоящую из членов нулевого и первого порядка:
13. Способ по п.1, характеризующийся тем, что обучение проводят посредством минимизации внутреннего критерия - суммы квадратов регрессионных остатков на тренировочном наборе:
14. Способ по п.13, характеризующийся тем, что минимизацию внутреннего критерия осуществляют с помощью алгоритма наименьших квадратов:
w = (АгА) 1Ату
15. Способ по п.1, характеризующийся тем, что выбор лучших моделей осуществляют на основе внешнего критерия, рассчитанного на валидационном наборе - суммы квадратов регрессионных остатков моделей, построенных на тренировочном наборе, с нормировкой на соответствующие целевые значения:
16. Способ по п.1, характеризующийся тем, что из построенного семейства моделей выбирают четвертую часть моделей, являющихся лучшими по оценке внешнего критерия на валидационном наборе.
17. Способ по п.1, характеризующийся тем, что переход к следующему уровню детализации осуществляют лишь в том случае, если точность определения целевого параметра на тестовом наборе для хотя бы одной из отобранных моделей превзошла результаты, полученные на предыдущем уровне детализации.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017147021 | 2017-12-29 | ||
| RU2017147021A RU2690001C1 (ru) | 2017-12-29 | 2017-12-29 | Способ обработки векторных сигналов для распознавания образов на основе вейвлет-анализа |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019132740A1 true WO2019132740A1 (ru) | 2019-07-04 |
Family
ID=67037644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/RU2018/050171 WO2019132740A1 (ru) | 2017-12-29 | 2018-12-29 | Способ обработки векторных сигналов для распознавания образов на основе вейвлет - анализа |
Country Status (2)
| Country | Link |
|---|---|
| RU (1) | RU2690001C1 (ru) |
| WO (1) | WO2019132740A1 (ru) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599425A (zh) * | 2019-09-17 | 2019-12-20 | 青岛海月辉科技有限公司 | 一种适用于acfm信号小波去噪的小波参数选择方法 |
| CN110808580A (zh) * | 2019-10-25 | 2020-02-18 | 国网天津市电力公司电力科学研究院 | 基于小波变换和极限学习机的电压暂降源快速辨识方法 |
| CN110880004A (zh) * | 2019-11-21 | 2020-03-13 | 北京三缘聚科技有限公司 | 一种数字图像模式类的特征提取网络及方法 |
| CN113205022A (zh) * | 2021-04-23 | 2021-08-03 | 湖南万脉医疗科技有限公司 | 一种基于小波分析的呼吸异常监测方法及系统 |
| CN113326774A (zh) * | 2021-05-28 | 2021-08-31 | 武汉科技大学 | 一种基于AlexNet网络的机床能耗状态识别方法及系统 |
| CN113420710A (zh) * | 2021-07-07 | 2021-09-21 | 国能龙源蓝天节能技术有限公司 | 一种基于多分辨率小波的传感器数据降噪方法 |
| CN114691666A (zh) * | 2022-04-18 | 2022-07-01 | 西安电子科技大学 | 基于小波去噪优化的飞行试验数据缺失值填补方法 |
| CN115049223A (zh) * | 2022-05-25 | 2022-09-13 | 国网浙江省电力有限公司 | 一种基于多维数据挖掘的电网设备参数风险评级方法 |
| CN116455086A (zh) * | 2023-06-19 | 2023-07-18 | 法拉迪电气有限公司 | 基于数据驱动的新能源合环智能调控方法 |
| CN116702095B (zh) * | 2023-06-01 | 2024-04-05 | 大连海事大学 | 一种模块化海上船舶运动姿态实时预报方法 |
| CN118484682A (zh) * | 2024-07-16 | 2024-08-13 | 江西联创光电超导应用有限公司 | 一种有色金属加热过程温度预测方法及系统 |
| CN118624987A (zh) * | 2024-08-09 | 2024-09-10 | 四川纳拓新材料技术有限公司 | 一种测量导电涂层与集流体间接触电阻的系统及方法 |
| WO2024207651A1 (zh) * | 2023-04-04 | 2024-10-10 | 清华大学 | 模型和数据联合驱动的工业负荷需求响应特性刻画方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287862A (zh) * | 2020-11-06 | 2021-01-29 | 天津大学 | 基于小波卷积神经网络的故障诊断方法 |
| CN113822170B (zh) * | 2021-08-31 | 2024-02-06 | 西安理工大学 | 身体非静止状态的手部震颤识别方法 |
| CN116381176B (zh) * | 2023-04-11 | 2024-04-12 | 南京农业大学 | 基于低成本传感器和智能算法的灌区水体温室气体监测系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8064722B1 (en) * | 2006-03-07 | 2011-11-22 | The United States Of America As Represented By The Secretary Of The Navy | Method and system for analyzing signal-vector data for pattern recognition from first order sensors |
| US8595164B2 (en) * | 2011-01-27 | 2013-11-26 | Ming-Chui DONG | Wavelet modeling paradigms for cardiovascular physiological signal interpretation |
| US20160161448A1 (en) * | 2014-12-08 | 2016-06-09 | Tsinghua University | Imaging method and apparatus based on magnetic fulx leakage testing |
-
2017
- 2017-12-29 RU RU2017147021A patent/RU2690001C1/ru active
-
2018
- 2018-12-29 WO PCT/RU2018/050171 patent/WO2019132740A1/ru active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8064722B1 (en) * | 2006-03-07 | 2011-11-22 | The United States Of America As Represented By The Secretary Of The Navy | Method and system for analyzing signal-vector data for pattern recognition from first order sensors |
| US8595164B2 (en) * | 2011-01-27 | 2013-11-26 | Ming-Chui DONG | Wavelet modeling paradigms for cardiovascular physiological signal interpretation |
| US20160161448A1 (en) * | 2014-12-08 | 2016-06-09 | Tsinghua University | Imaging method and apparatus based on magnetic fulx leakage testing |
Non-Patent Citations (1)
| Title |
|---|
| SAKRUTINA E.A. ET AL.: "Doklad na 12-om Vserossyskom soveschanii po problemam upravlenija", IDENTIFIKATSIYA SISTEM NA OSNOVE VEIVLET- ANALIZA, 2014, Moscow * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599425A (zh) * | 2019-09-17 | 2019-12-20 | 青岛海月辉科技有限公司 | 一种适用于acfm信号小波去噪的小波参数选择方法 |
| CN110808580A (zh) * | 2019-10-25 | 2020-02-18 | 国网天津市电力公司电力科学研究院 | 基于小波变换和极限学习机的电压暂降源快速辨识方法 |
| CN110808580B (zh) * | 2019-10-25 | 2023-07-28 | 国网天津市电力公司电力科学研究院 | 基于小波变换和极限学习机的电压暂降源快速辨识方法 |
| CN110880004A (zh) * | 2019-11-21 | 2020-03-13 | 北京三缘聚科技有限公司 | 一种数字图像模式类的特征提取网络及方法 |
| CN113205022B (zh) * | 2021-04-23 | 2022-10-11 | 湖南万脉医疗科技有限公司 | 一种基于小波分析的呼吸异常监测方法及系统 |
| CN113205022A (zh) * | 2021-04-23 | 2021-08-03 | 湖南万脉医疗科技有限公司 | 一种基于小波分析的呼吸异常监测方法及系统 |
| CN113326774A (zh) * | 2021-05-28 | 2021-08-31 | 武汉科技大学 | 一种基于AlexNet网络的机床能耗状态识别方法及系统 |
| CN113420710A (zh) * | 2021-07-07 | 2021-09-21 | 国能龙源蓝天节能技术有限公司 | 一种基于多分辨率小波的传感器数据降噪方法 |
| CN114691666A (zh) * | 2022-04-18 | 2022-07-01 | 西安电子科技大学 | 基于小波去噪优化的飞行试验数据缺失值填补方法 |
| CN115049223A (zh) * | 2022-05-25 | 2022-09-13 | 国网浙江省电力有限公司 | 一种基于多维数据挖掘的电网设备参数风险评级方法 |
| WO2024207651A1 (zh) * | 2023-04-04 | 2024-10-10 | 清华大学 | 模型和数据联合驱动的工业负荷需求响应特性刻画方法 |
| CN116702095B (zh) * | 2023-06-01 | 2024-04-05 | 大连海事大学 | 一种模块化海上船舶运动姿态实时预报方法 |
| CN116455086A (zh) * | 2023-06-19 | 2023-07-18 | 法拉迪电气有限公司 | 基于数据驱动的新能源合环智能调控方法 |
| CN116455086B (zh) * | 2023-06-19 | 2023-09-08 | 法拉迪电气有限公司 | 基于数据驱动的新能源合环智能调控方法 |
| CN118484682A (zh) * | 2024-07-16 | 2024-08-13 | 江西联创光电超导应用有限公司 | 一种有色金属加热过程温度预测方法及系统 |
| CN118624987A (zh) * | 2024-08-09 | 2024-09-10 | 四川纳拓新材料技术有限公司 | 一种测量导电涂层与集流体间接触电阻的系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2690001C1 (ru) | 2019-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2690001C1 (ru) | Способ обработки векторных сигналов для распознавания образов на основе вейвлет-анализа | |
| Sun et al. | Probabilistic sequential network for deep learning of complex process data and soft sensor application | |
| Zhang et al. | Multivariate time series analysis in climate and environmental research | |
| Kumar et al. | Intuitionistic fuzzy time series: an approach for handling nondeterminism in time series forecasting | |
| Guo et al. | A deep learning just-in-time modeling approach for soft sensor based on variational autoencoder | |
| Saxe et al. | On random weights and unsupervised feature learning. | |
| Murray-Smith | A local model network approach to nonlinear modelling | |
| Milidiú et al. | Time-series forecasting through wavelets transformation and a mixture of expert models | |
| CN108399434B (zh) | 基于特征提取的高维时间序列数据的分析预测方法 | |
| Wei et al. | A BiLSTM hybrid model for ship roll multi-step forecasting based on decomposition and hyperparameter optimization | |
| Nurhopipah et al. | Dataset splitting techniques comparison for face classification on CCTV images | |
| Seleznev et al. | Bayesian framework for simulation of dynamical systems from multidimensional data using recurrent neural network | |
| Meronen et al. | Periodic activation functions induce stationarity | |
| Choi et al. | Nonlinear regression using RBFN with linear submodels | |
| Leauprasert et al. | Intelligent machine learning techniques for condition assessment of power transformers | |
| CN115631869A (zh) | 一种传染病预测模型的构建方法 | |
| Thanou et al. | Multi-graph learning of spectral graph dictionaries | |
| Money et al. | Random feature approximation for online nonlinear graph topology identification | |
| Zhang et al. | Wavelet sampling and generalization in neural networks | |
| Talukder et al. | TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis | |
| Kodogiannis et al. | A fuzzy-wavelet neural network model for the detection of meat spoilage using an electronic nose | |
| Gade et al. | Change Point Detection With Conceptors | |
| Jeng et al. | Hybrid SVMR-GPR for modeling of chaotic time series systems with noise and outliers | |
| Sumayli et al. | Separation of organic molecules using porous polymeric membranes: Model development using advanced hybrid CFD and artificial intelligence | |
| CN115355166A (zh) | 一种基于短时傅里叶变换的空压机故障诊断方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18893428 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18893428 Country of ref document: EP Kind code of ref document: A1 |