RU2744041C1 - Method and a system for predicting time series values using an artificial neural network - Google Patents

Method and a system for predicting time series values using an artificial neural network Download PDF

Info

Publication number
RU2744041C1
RU2744041C1 RU2019128366A RU2019128366A RU2744041C1 RU 2744041 C1 RU2744041 C1 RU 2744041C1 RU 2019128366 A RU2019128366 A RU 2019128366A RU 2019128366 A RU2019128366 A RU 2019128366A RU 2744041 C1 RU2744041 C1 RU 2744041C1
Authority
RU
Russia
Prior art keywords
ann
values
training
time
series
Prior art date
Application number
RU2019128366A
Other languages
Russian (ru)
Inventor
Леонид Сергеевич Чернышев
Original Assignee
Леонид Сергеевич Чернышев
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Леонид Сергеевич Чернышев filed Critical Леонид Сергеевич Чернышев
Priority to RU2019128366A priority Critical patent/RU2744041C1/en
Application granted granted Critical
Publication of RU2744041C1 publication Critical patent/RU2744041C1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Abstract

FIELD: artificial neural network.SUBSTANCE: invention relates to predicting time series values using an artificial neural network (ANN). The invention can be used to solve a wide range of problems where it is required to predict new values of the studied characteristic from its known values in the past. The method and system for forecasting a time series using an artificial neural network includes: a method for creating extended metadata series, a method for encrypting data for constructing optimal training samples for an ANN, a method and a training subsystem for an artificial neural network, a subsystem for ANN operation in a forecast mode, a method for constructing a forecast with using an ANN that has passed the training procedure.EFFECT: invention improves accuracy of predicting time series values of arbitrary characteristics.5 cl, 7 dwg

Description

Заявленное изобретение относится к области прогнозирования значений временного ряда с использованием искусственной нейронной сети позволяет повысить точность прогнозирования значений временных рядов произвольных характеристик. The claimed invention relates to the field of predicting time series values using an artificial neural network to improve the accuracy of predicting the values of time series of arbitrary characteristics.

Распространенные параметрические способы построения прогноза в виде экстраполяции-степенная и полиномиальная регрессии [1] обладают недостатком, заключающимся в возможности возникновения неконтролируемой ошибки на интервале прогнозирования, особенно при высоком порядке прогнозирующей функции. Методы прогноза, основанные на идеях декомпозиции процессов по эмпирическим модам, использовании тригонометрических многочленов и вейвлетов не обеспечивают достаточной точности при росте числа составляющих процесса - т.е. роста количества влияющих переменных. Методы прогноза с использованием базисных функций (радиальные, «цилиндрические» и «эллиптические») менее чувствительные к росту размерности функции. Большое распространение получило прогнозирование временных рядов моделями авторегрессии-скользящего среднего [2]. Однако использование этих моделей часто может приводить к нелинейному росту ошибки уже при удалении на несколько шагов вперед. The widespread parametric methods of constructing a forecast in the form of extrapolation — power and polynomial regression [1] have the disadvantage that an uncontrolled error may occur in the forecasting interval, especially with a high order of the predicting function. Forecasting methods based on the ideas of decomposition of processes by empirical modes, the use of trigonometric polynomials and wavelets do not provide sufficient accuracy with an increase in the number of process components, i.e. growth in the number of influencing variables. Forecasting methods using basic functions (radial, "cylindrical" and "elliptic") are less sensitive to the growth of the function dimension. Forecasting of time series with autoregressive moving average models has become widespread [2]. However, the use of these models can often lead to a nonlinear increase in the error even after a few steps away.

В статье [7] обосновывается эффективность применения компонентов нейронных сетей - многослойных персептронов для аппроксимации и прогнозов функций нескольких переменных и их производных. The article [7] substantiates the efficiency of using neural network components - multilayer perceptrons for approximation and predictions of functions of several variables and their derivatives.

Однако работ, посвященных экстраполяции данных с использованием нейронных сетей в настоящее время не так много. В патенте RU 2459254 С2 изложен Способ компьютеризованного обучения одной или более нейронных сетей. Согласно изобретению вычисляется скорость изменения исходного временного ряда данных для получения значений производных. However, there are currently not many works devoted to data extrapolation using neural networks. Patent RU 2459254 C2 describes a method for computerized learning of one or more neural networks. According to the invention, the rate of change of the original time series of data is calculated to obtain derivative values.

Эти значения производных подвергаются Разложению по Эмпирическим Модам, которое является известным методом. Моды, извлеченные этим Разложением по Эмпирическим Модам, а также некоторые запаздывающие по времени значения временного ряда используются в качестве входов для нейронных сетей, в то время как выходом этих сетей являются будущие значения временного ряда, которые должны прогнозироваться. Эти сети обучаются и используются для прогнозирования будущих значений временного ряда. Изобретение обеспечивает хорошие результаты прогнозирования ввиду использования значений производных в качестве входов, причем также прошлые значения учитываются в качестве входов. Данный метод имеет основной недостаток в том, что при применении метода эмпирических мод часть информации о динамике процесса удаляется из обработки. В результате-нейронная сеть получит не полную информацию о процессе, в связи с чем растут ошибки прогноза. These derivative values undergo Empirical Mode Decomposition, which is a known method. The modes extracted by this Empirical Mode Decomposition, as well as some lagging time series values, are used as inputs to neural networks, while the output of these networks is the future time series values to be predicted. These networks are trained and used to predict future values of the time series. The invention provides good predictive results due to the use of derivative values as inputs, whereby past values are also taken into account as inputs. This method has the main disadvantage that when applying the method of empirical modes, part of the information about the dynamics of the process is removed from processing. As a result, the neural network will receive incomplete information about the process, and therefore forecast errors are growing.

В патенте №2533321 С1 описаны способ адаптивного прогнозирования остаточного ресурса эксплуатации сложных объектов и устройство для его осуществления. В котором нейросетевую модель предполагалось использовать для оценки надежности эксплуатации объекта контроля. Использовалась трехслойная искусственная нейронная сеть прямого распространения. Обучение выполнялось с использованием скользящего окна по методу обратного распространения ошибки. На каждом шаге обучения берут k значений ряда (по размеру окна) и обучают сеть, предъявляя в качестве эталона на выходе ИНС (k+1) значение ряда. Затем окно перемещается на шаг вправо и цикл обучения возобновляется. Данный процесс повторяют, начиная с первой позиции окна, до тех пор, пока не будут получены приемлемые результаты по точности. При экстраполяции ряда более чем на один шаг используются данные, полученные в результате предшествующих этапов экстраполяции. ИНС обучалась на 20 измерениях, и определялся остаточный ресурс сложного технического объекта. Недостатком метода явилось наличие значительных ошибок в экстраполяции, которые позволили лишь определить тенденцию.In the patent No. 2533321 C1, a method for adaptive forecasting of the residual resource of operation of complex objects and a device for its implementation are described. In which the neural network model was supposed to be used to assess the reliability of the operation of the control object. A three-layer artificial neural network of feed forward was used. The training was performed using a sliding window using the backpropagation method. At each step of training, k values of the series are taken (according to the size of the window) and the network is trained, presenting the value of the series as a reference at the output of the ANN (k + 1). The window then moves one step to the right and the learning cycle resumes. This process is repeated starting from the first window position until acceptable accuracy results are obtained. When extrapolating a series by more than one step, the data obtained as a result of the previous extrapolation steps are used. ANN was trained on 20 dimensions, and the residual resource of a complex technical object was determined. The disadvantage of this method was the presence of significant errors in extrapolation, which only allowed to determine the trend.

Наиболее близкой к настоящему изобретению является работа, изложенная в патенте RU 2600099 С1 Способ нейросетевого прогнозирования изменения значений функции с ее предварительной вейвлет-обработкой и устройство его осуществления устройство нейросетевого прогнозирования изменения значений функций, а также прогнозирования изменений значений временных рядов данных или дискретных отсчетов непрерывных функциональных зависимостей, содержащее блок формирования временного ряда x(k), с выхода которого через последовательно соединенные блок предварительной вейвлет-обработки, блок выделения аппроксимирующих коэффициентов m-го уровня Cm, а также блок формирования скользящего окна данных из n отсчетов аппроксимирующих коэффициентов с помощью n-разрядного сдвигового регистра, сигналы подаются на входы нейронной сети, построенной по схеме многослойного персептрона прямого распространения, с последующей итерационной процедурой обучения нейронной сети, в ходе которой осуществляется настройка весовых или синаптических коэффициентов по критерию минимизации ошибок прогноза. Обработанные детализирующие коэффициенты разложения di совместно с аппроксимирующими коэффициентами Cm подаются на вход блока восстановления временного ряда в реальном времени S(k) с пониженной погрешностью представления информации за счет его вейвлет-обработки.The closest to the present invention is the work described in patent RU 2600099 C1 Method for neural network prediction of changes in function values with its preliminary wavelet processing and a device for its implementation a device for neural network prediction of changes in function values, as well as predicting changes in values of time series of data or discrete readings of continuous functional dependencies, containing a block for generating a time series x (k), from the output of which through a series-connected block of preliminary wavelet processing, a block for extracting approximating coefficients of the m-th level C m , as well as a block for forming a sliding data window of n samples of approximating coefficients using n -bit shift register, signals are fed to the inputs of the neural network, built according to the multi-layer feedforward perceptron scheme, followed by an iterative neural network training procedure, during which the weight or synaptic coefficients according to the criterion of minimizing forecast errors. The processed detailing coefficients of the expansion d i together with the approximating coefficients C m are fed to the input of the real-time time series reconstruction unit S (k) with a reduced error in the information presentation due to its wavelet processing.

Основной проблемой при применении прогностического аппарата, описанного в данном методе является невозможность обеспечить приемлемую точность прогноза на временных сдвигах, превышающих число нейронов входного слоя. Увеличение числа нейронов входного слоя приводит к драматическому росту затрат машинного времени на работу аппарата.The main problem when using the prognostic apparatus described in this method is the impossibility of providing an acceptable forecast accuracy at time shifts that exceed the number of neurons in the input layer. An increase in the number of neurons in the input layer leads to a dramatic increase in the consumption of computer time for the operation of the apparatus.

Предложенные в настоящей работе Способ и система прогнозирования временного ряда с использованием искусственной нейронной сети (ИНС) включают в себя: способ создания продленных рядов - для извлечения максимума информации даже из коротких временных рядов известных значений исследуемой характеристики; способ шифрования данных для построения оптимальных выборок обучения ИНС - преобразующий известные значения исследуемой характеристики в набор зашифрованных метаданных; способ и подсистему обучения искусственной нейронной сети, позволяющий получить набор синаптических коэффициентов ИНС, обеспечивающих наиболее точный прогноз исследуемой характеристики; способ построения прогноза с использованием синаптических весов ИНС, прошедшей процедуру обучения. Рассмотрим способы и подсистемы подробно.The method and system for forecasting a time series using an artificial neural network (ANN) proposed in this work include: a method for creating extended series - for extracting a maximum of information even from short time series of known values of the studied characteristic; data encryption method for constructing optimal ANN training samples - converting the known values of the investigated characteristic into a set of encrypted metadata; a method and subsystem for training an artificial neural network, which makes it possible to obtain a set of synaptic ANN coefficients that provide the most accurate prediction of the studied characteristic; a method for constructing a forecast using the synaptic weights of an ANN that has passed the training procedure. Let's consider the methods and subsystems in detail.

Способ по п. 2 изобретения - Способ создания продленных рядов, в котором для подготовки обучающей выборки искусственной нейронной сети (ИНС) создаются дополнительные разбиения исходной временной шкалы ряда на дополнительные временные интервалы различной длины. Разбиение производится следующим образом: На первом этапе, момент времени 1-го известного значения временного ряда - принимается за начало нового интервала, а в качестве длины нового интервала берется сумма длин первого и последующего временных интервалов между известными значениями исходного временного ряда прогнозируемой характеристики. Следующий интервальный отрезок строится путем сдвига начала нового интервала на один старый интервал вправо по временной шкале, т.е. на один шаг исходного временного ряда. Длина его также будет составлять два старых интервала - 2-й и 3-й. Новые отрезки строятся, пока концом последнего отрезка не окажется момент времени последнего известного значения. На втором этапе строятся интервальные отрезки, где длина отрезка еще увеличивается на длину одного старого интервала. Длина новых отрезков будет составлять уже 3 исходных интервала (3 шага ряда). Второй и последующие отрезки второго этапа строятся также длиной в 3 старых интервала путем сдвига на один старый интервал. Сдвиги повторяются вплоть до момента достижения концом последнего нового отрезка момента времени последнего известного значения временного ряда. Этапы построения отрезков продолжаются, пока на последнем этапе не будет построен отрезок длиной в интервал времени между 1-ми последним известным значением исходного временного ряда. Таим образом, в нашем распоряжении оказывается построено

Figure 00000001
интервальных отрезков. Например, для имеющегося временного ряда длинной в 31 известное значение, может быть построено 465 интервалов, для которых могут быть построены ряды метаданных, эффективно используемых при построении прогноза. Описанная процедура программно реализована в блоке 201 Создания продленных рядов Подсистемы 104.The method according to claim 2 of the invention - A method for creating extended series, in which additional partitions of the original timeline of the series into additional time intervals of various lengths are created to prepare a training sample of an artificial neural network (ANN). The splitting is performed as follows: At the first stage, the moment of time of the 1st known value of the time series is taken as the beginning of a new interval, and the sum of the lengths of the first and subsequent time intervals between the known values of the initial time series of the predicted characteristic is taken as the length of the new interval. The next interval segment is constructed by shifting the beginning of a new interval by one old interval to the right along the time scale, i.e. one step in the original time series. Its length will also be two old intervals - 2nd and 3rd. New segments are drawn until the end of the last segment is the time of the last known value. At the second stage, interval segments are constructed, where the segment length is still increased by the length of one old interval. The length of the new segments will already be 3 initial intervals (3 steps of the row). The second and subsequent segments of the second stage are also constructed with a length of 3 old intervals by shifting the old interval by one. The shifts are repeated until the end of the last new segment reaches the last known value of the time series. The stages of building segments continue until, at the last stage, a segment with a length in the time interval between the 1st last known value of the initial time series is constructed. Thus, we have at our disposal built
Figure 00000001
interval segments. For example, for the available time series with a length of 31 known values, 465 intervals can be built, for which a series of metadata can be built that is effectively used in forecasting. The described procedure is programmatically implemented in block 201 Creation of extended rows of Subsystem 104.

Способ по п. 3 изобретения - Способ шифрования данных для построения оптимальных выборок обучения ИНС программно реализован в блоке 103 Системы прогнозирования значений временного ряда. Для всех значений рядов данных M(t,j), где t - значение моментов времени, j - номер ряда поступивших в блок 103 из блока Записи данных 101 Системы прогнозирования значений временного ряда определяется минимальное по модулю значение. Далее умножают все ряды на константу D - в этой реализации изобретения, при которой это выбранное минимальное значение становится больше 1, либо используют другие способы в других реализациях изобретения для приведения всех значений временных рядов к значениям больше 2. Далее выбирают максимальное по модулю из всех значений временных рядов поступивших в Блок 103, умноженных на D. Далее берут десятичный логарифм и определяют константу DD, при делении на которую значение десятичного логарифма от выбранного значения оказывается не более значения порога Р, которое должно быть меньше единицы. В данной реализации изобретения значение Р выбиралось = 0,6 и может быть выбрано любым, желательно близким к 0.5, но заведомо меньшего 1 в других реализациях изобретения. Далее формируют ряды Ms(t,j), состоящие из функции sign(знака) каждого из значений рядов, находящихся в блоке 103. Далее - значение каждого ряда M(t,j), умножается на соответствующее значение рядов знака Ms(t,j), образуя ряды только положительных значений Mp(t,j), далее - от каждого значения рядов Mp(t,j), умноженных на D берется десятичный логарифм, делится на константу DD, и затем снова умножается на соответствующее значение рядов знака Ms(t,j), образуя ряды зашифрованных метаданных Mm(t,j), имеющих как положительный, так и отрицательный знаки, не превышающие по модулю значение порога Р, меньшее единицы, подготовленных для эффективного использования нейросетью. Полученные ряды метаданных записываются в блок шифрования метаданных 103 Системы прогнозирования значений временного ряда (фиг. 1). Для минимизации ошибки прогноза в качестве сигналов входа ИНС в режиме обучения лучше всего использовать выборки, значения которых на следующем шаге случайным образом отличаются от значений на предыдущем шаге. Для этого в блоке 103 с помощью генератора случайных чисел генерируется ряд RD, равный по длине ранее записанным рядам Mm(t,j). Далее производится одновременная сортировка всех рядов Mm(t,j), и RD таким образом, чтобы значения RD встали в порядке возрастания - так производится случайное одновременное перемешивание рядов метаданных Mm(t,j). Новые ряды перезаписываются в блок 103 Системы прогнозирования значений временного ряда.The method according to claim 3 of the invention - A method for encrypting data for constructing optimal training samples of the ANN is software implemented in block 103 of the System for predicting the values of the time series. For all the values of the data series M (t, j), where t is the value of the moments in time, j is the number of the series received in block 103 from the block 103 Data records 101 of the Forecasting System values of the time series, the minimum value in absolute value is determined. Next, all the series are multiplied by the constant D - in this implementation of the invention, in which this selected minimum value becomes greater than 1, or other methods are used in other implementations of the invention to bring all values of the time series to values greater than 2. Next, the maximum in absolute value of all values is selected time series received in Block 103, multiplied by D. Next, take the decimal logarithm and determine the constant DD, when dividing by which the value of the decimal logarithm of the selected value turns out to be no more than the threshold value P, which must be less than one. In this implementation of the invention, the value of P was chosen = 0.6 and can be chosen by anyone, desirably close to 0.5, but certainly less than 1 in other implementations of the invention. Next, the rows Ms (t, j) are formed, consisting of the function sign (sign) of each of the values of the rows in block 103. Further, the value of each row M (t, j) is multiplied by the corresponding value of the rows of the sign Ms (t, j ), forming series of only positive values of Mp (t, j), then - from each value of the series Mp (t, j), multiplied by D, the decimal logarithm is taken, divided by the constant DD, and then again multiplied by the corresponding value of the series of the sign Ms ( t, j), forming rows of encrypted metadata Mm (t, j), having both positive and negative signs, not exceeding the absolute value of the threshold P, less than one, prepared for effective use by the neural network. The obtained series of metadata are recorded in the metadata encryption unit 103 of the System for predicting the values of the time series (Fig. 1). To minimize the forecast error, it is best to use samples as input signals of the ANN in the training mode, the values of which at the next step randomly differ from the values at the previous step. For this, in block 103, a row RD is generated using a random number generator, equal in length to the previously recorded rows Mm (t, j). Next, all the rows Mm (t, j) and RD are sorted simultaneously so that the RD values are in ascending order - this is how random simultaneous mixing of the metadata rows Mm (t, j) is performed. New series are overwritten in block 103 of the System for predicting the values of the time series.

Система прогнозирования значений временного ряда интересующей характеристики Система состоит Блока 101 записи данных (Фиг. 1), записывающего в память временной ряд исходных данных, выделяя отдельно ряд значений исследуемой характеристики и ряд моментов времени, соответствующих известным значениям этой характеристики, Блока 102 Записи и вывода результата прогнозирования, Блока 103 шифрования данных, реализующего шифрование и пересортировку данных обучающей и контрольных выборок в наиболее удобный формат для обучения ИНС, а также двух подсистем:The system for predicting the values of the time series of the characteristic of interest The system consists of a Data Recorder 101 (Fig. 1), which records the time series of the initial data into memory, separating separately a number of values of the investigated characteristic and a number of points in time corresponding to the known values of this characteristic, Block 102 of Recording and output of the result forecasting, Block 103 data encryption, which implements encryption and re-sorting of data from training and control samples into the most convenient format for training ANN, as well as two subsystems:

Подсистема обучения искусственной нейронной сети для прогнозирования значений временного ряда-104 на (Фиг. 2), состоящая из Блока присваивания начальных значений синаптическим весам 200, в котором генерируется массив начальных синаптических весовых коэффициентов, Блока 201 Создания продленных рядов метаданных, реализующего разбиение на временные интервалы согласно Способу по п 2 настоящего изобретения, на основании которых будут строится обучающая (входных значений ИНС) и контрольная(контрольных значений ИНС)выборки для обучения ИНС. Также состоящей из блока 202 Формирования входных сигналов, в который из блока 103 Системы прогнозирования значений временного ряда, зависимости от заданных параметров L1 и L2 поступают часть значений из рядов Mm(t,j1), где параметр времени t ограничен нижней границей L1 и верхней границей L2, а индекс j1 - означает, что ряды относятся к рядам обучающих выборок. Блок 202 в зависимости от управляющих параметров Q и W Подсистемы 104 отправляет в различной последовательности элементы рядов обучающих выборок, относящихся к одному моменту времени t, на входные нейроны Блока Прямого распространения сигнала в ИНС 204 Подсистемы 104. Также состоящей из Блока контрольных обучающих сигналов 203 (фиг. 2), в который из блока 103, зависимости от заданных параметров L1 и L2 поступают часть значений из рядов Mm(t,j2), где параметр времени t ограничен нижней границей L1 и верхней границей L2, а индекс j2 - означает, что ряды относятся к рядам Контрольных выборок. Блок 203 в зависимости от управляющих параметров Q и W Подсистемы 104 отправляет в различной последовательности элементы рядов Контрольных выборок, относящихся к одному моменту времени t, на Блок Оценки ошибки 205 Подсистемы 104. Также состоящая из блока прямого распространения сигнала искусственной нейронной сети (ИНС) 204 (фиг. 2), основу которого составляет ИНС прямого распространения, состоящая в настоящей реализации из трех слоев, (или - более трех слоев в других реализациях) - одного входного, одного скрытого и одного выходного слоев, содержащих в данной реализации 23 нейрона входного слоя, 23 нейрона скрытого слоя, 1 нейрона выходного слоя и содержащего другое количество нейронов в слоях в других реализациях данного изобретения, но не менее 2х нейронов во входном слое. Под искусственным нейроном понимается конструкция, состоящая из сумматора входных сигналов от нейронов предыдущего слоя или сигналов входа (для нейронов входного слоя), передающий суммированный сигнал через функцию активации, представляющую из себя гиперболический тангенс для нейронов скрытого и выходного слоев и константу = 1 для нейронов входного слоя в настоящей реализации изобретения и возможные другие функции активации в других реализациях данного изобретения, на все нейроны следующего слоя. Переход выходных сигналов с нейронов одного слоя на нейроны следующего слоя происходит через синаптические связи между нейронами соседних слоев, которые на практике реализуются путем умножения выходного сигнала с i-го нейрона, направленного на k-й нейрон следующего слоя на коэффициент синаптической связи bi,k (фиг. 4),A subsystem for training an artificial neural network for predicting the values of the time series-104 on (Fig. 2), consisting of the Block for assigning initial values to synaptic weights 200, in which an array of initial synaptic weights is generated, Block 201 for Generating extended series of metadata that implements division into time intervals according to the Method according to claim 2 of the present invention, on the basis of which the training (ANN input values) and control (ANN control values) samples for ANN training will be constructed. Also consisting of a block 202 for the Formation of input signals, to which from block 103 of the Forecasting System of Time Series Values, depending on the given parameters L1 and L2, part of the values from the series Mm (t, j1) are received, where the time parameter t is limited by the lower limit L1 and the upper limit L2, and the index j1 means that the series refer to the series of training samples. Block 202, depending on the control parameters Q and W of the Subsystem 104, sends in a different sequence the elements of the series of training samples related to one moment of time t to the input neurons of the Forward signal propagation unit in the ANN 204 of the Subsystem 104. Also consisting of the Block of control training signals 203 ( Fig. 2), to which from block 103, depending on the given parameters L1 and L2, part of the values from the series Mm (t, j2) are received, where the time parameter t is limited by the lower limit L1 and the upper limit L2, and the index j2 means that series refer to series of Control samples. Block 203, depending on the control parameters Q and W of the Subsystem 104, sends in a different sequence the elements of the rows of Control samples related to one moment of time t to the Error Estimator 205 of the Subsystem 104. Also consisting of a forward propagation block of the artificial neural network (ANN) signal 204 (Fig. 2), the basis of which is an ANN of direct propagation, which in this implementation consists of three layers, (or more than three layers in other implementations) - one input, one hidden and one output layers, containing in this implementation 23 neurons of the input layer , 23 neurons of the hidden layer, 1 neuron of the output layer and containing a different number of neurons in the layers in other implementations of the present invention, but not less than 2 neurons in the input layer. An artificial neuron is understood as a structure consisting of an adder of input signals from neurons of the previous layer or input signals (for neurons of the input layer), which transmits the summed signal through an activation function, which is a hyperbolic tangent for neurons of the hidden and output layers and a constant = 1 for neurons of the input layer in the present implementation of the invention and possible other activation functions in other implementations of the present invention, to all neurons of the next layer. The transition of output signals from neurons of one layer to neurons of the next layer occurs through synaptic connections between neurons of neighboring layers, which in practice are realized by multiplying the output signal from the i-th neuron directed to the k-th neuron of the next layer by the synaptic connection coefficient b i, k (fig. 4),

Таким образом, обозначив входной слой индексом j=0, скрытый слой индексом j=1, выходной слой индексом j=2, имеем формулу для расчета выходного сигнала всех нейронов скрытого слоя OUTi,1 и единственного нейрона выходного слоя OUT0,2 в виде:

Figure 00000002
Thus, denoting the input layer with the index j = 0, the hidden layer with the index j = 1, and the output layer with the index j = 2, we have the formula for calculating the output signal of all neurons in the hidden layer OUT i, 1 and the only neuron in the output layer OUT 0.2 in the form :
Figure 00000002

где индекс i - показывает номер нейрона j-го слоя (j=1, 2), причем для j=2 индекс i принимает единственное значение i=0. Данный выходной сигнал получен суммированием выходов k-х нейронов предыдущего слоя, умноженных на веса синапсов k-х нейронов предыдущего слоя ведущих к данному i-му нейрону и прошедшего через функцию активации - гиперболический тангенс.where the index i - shows the number of the neuron of the j-th layer (j = 1, 2), and for j = 2 the index i takes the only value i = 0. This output signal is obtained by summing the outputs of the k-th neurons of the previous layer, multiplied by the weights of the synapses of the k-th neurons of the previous layer leading to this i-th neuron and passing through the activation function - the hyperbolic tangent.

В состав Подсистемы 104 также входит блок Оценки ошибки 205 (фиг. 2), в котором происходит определение разности между выходными сигналами блока Прямого распространения сигнала 204 и контрольными сигналами от блока 202 блока Контрольных обучающих сигналов. При достижении установленной точности соответствия выходных сигналов контрольному, блок оценки ошибки останавливает процесс обучения. В состав Подсистемы 104 также входит блок 206 Обратного распространения ошибки, основу которого составляет расчетный модуль, работающий на известном методе обратного распространения ошибки, изложенного, например в [3, 5, 6] Конечным результатом работы Подсистемы 104 обучения ИНС является полный набор весовых синаптических коэффициентов (bi,k)j входного и скрытого слоев, (j=0 - для входного слоя и j=1 - для скрытого слоя), т.к у нейрона выходного слоя нет синапсов исходящей связи, которые блок 206 на каждом шаге обучения передает на Подсистему 105 работы ИНС в режиме прогноза.The Subsystem 104 also includes an Error Estimator 205 (Fig. 2), in which the difference between the output signals of the Forward signal propagation block 204 and pilot signals from block 202 of the Test Training Signals block is determined. When the specified accuracy of the correspondence of the output signals to the control one is reached, the error estimator stops the learning process. The Subsystem 104 also includes a Backpropagation unit 206, which is based on a computational module operating on the well-known method of backpropagation of an error, set forth, for example, in [3, 5, 6]. The end result of the work of the ANN Learning Subsystem 104 is a complete set of weight synaptic coefficients (b i, k ) j of the input and hidden layers, (j = 0 - for the input layer and j = 1 - for the hidden layer), because the neuron of the output layer does not have outgoing communication synapses, which block 206 transmits at each training step to the Subsystem 105 of the ANN operation in the forecast mode.

Подсистема построения прогноза, называемая далее «Подсистема105» состоящая из блока 301 Модерации входных данных Подсистемы 105 в который подаются временные ряды из Блока Записи данных 101 Системы прогнозирования значений временного ряда, из которых в соответствии со Способом по п. 5 настоящего изобретения, подготавливаются выборка входного сигнала, который шифруется в метаданные в блоке Шифрования данных 103 Системы прогнозирования значений временного ряда в соответствии со Способом по п. 3 изобретения и поступает на блок прямого распространения сигнала ИНС 302 Подсистемы 105, который по своим функциям и программному решению полностью аналогичен Блоку 204 Подсистемы 104 и работает с ним одновременно, используя одинаковый набор весов (bi,k)j но используя свой набор входных данных, взятых как из временного диапазона, соответствующего обучению, так и временного диапазона, на котором необходимо построение прогноза. Выходные значения блока 302 Подсистемы 2 подаются наблок Дешифрования данных 303 Подсистемы 105, который переводит прогнозные метаданные в реальные цифровые значения методом, обратным методу шифрования в блоке 103 Системы, Дешифрованные данные подаются на блок Записи и вывода результата прогноза 102 Системы прогнозирования значений временного ряда с использованием искусственной нейронной сети, который осуществляет цифровой и графический вывод результата прогноза и на блок 304 Контроля ошибки прогноза Подсистем в 105, который сравнивает полученные прогнозные значения на входных данных диапазона обучения с известными значениями исследуемой характеристики. В случае выполнения критерия установленной минимальной ошибки прогноза на диапазоне обучения, Блок 304 передает сигнал о остановке обучения на Подсистему 104 Обучения искусственной нейронной сети. В этом случае, Подсистема может прекратить обучение, но может и продолжить обучение до выполнения ее внутреннего критерия прекращения обучения. Решение определяется установкой приоритета одного из критериев над другим перед началом обучения ИНС.A forecasting subsystem, hereinafter referred to as "Subsystem105", consisting of a block 301 for Moderation of the input data of the Subsystem 105 into which time series are fed from the Block of Data Recording 101 of the System for predicting values of a time series, from which, in accordance with the Method according to claim 5 of the present invention, a sample of the input is prepared. signal, which is encrypted into metadata in the Data Encryption Block 103 of the Time Series Values Prediction System in accordance with the Method according to claim 3 of the invention and is fed to the ANN 302 Signal Direct Propagation Block of the Subsystem 105, which in its functions and software solution is completely similar to Block 204 of the Subsystem 104 and works with it simultaneously, using the same set of weights (b i, k ) j but using its own set of input data taken from both the time range corresponding to training and the time range on which the forecast is needed. The output values of the block 302 of Subsystem 2 are fed to the block of Decryption of data 303 of the Subsystem 105, which converts the predicted metadata into real digital values by the method opposite to the encryption method in the block 103 of the System, The decrypted data is fed to the block Recording and output of the forecast result 102 Systems for predicting the values of the time series using artificial neural network, which performs digital and graphical output of the forecast result and to the block 304 of the Forecast error control of the Subsystems in 105, which compares the predicted values obtained on the input data of the training range with the known values of the studied characteristic. If the criterion of the specified minimum forecast error on the learning range is met, Block 304 transmits a signal to stop learning to the Subsystem 104 of the Artificial Neural Network Learning. In this case, the Subsystem can stop training, but it can continue training until its internal training termination criterion is met. The decision is determined by setting the priority of one of the criteria over the other before the start of the ANN training.

Способ по п 4 изобретения - Способ обучения искусственной нейронной сети заключающийся в том, что в данной реализации изобретения на первом этапе в блоке 200 Подсистемы 104 создаются начальные синаптические веса (b0i,k)j генератором случайных чисел в диапазоне от -0.5 до 0.5. В других реализациях - возможно присвоение других значений начальным синаптическим весам). Затем, блок 101 Системы прогнозирования значений временного ряда передает в блок Создания продленных рядов 201 Подсистемы 4 ряд моментов времени соответствующих исходному ряду известных значений прогнозируемой характеристики для генерации продленных рядов согласно Способу по п. 2 изобретения. Затем, по построенным в блоке 201 новым интервальным отрезкам строятся 3 ряда: Ряд значения момента времени конца отрезка - в виде ряда ММ0, приращение времени - как разница между значениями времени конца и начала интервального отрезка - в виде ряда MD0 и приращение самих известных значений временного ряда прогнозируемой характеристики на этом интервальном отрезке, как разница между ее значениями в моменты времени, соответствующие концу и началу интервального отрезка- в виде ряда MD1.The method according to claim 4 of the invention - A method for training an artificial neural network, which consists in the fact that in this implementation of the invention, at the first stage, in block 200 of Subsystem 104, initial synaptic weights (b0 i, k ) j are created by a random number generator in the range from -0.5 to 0.5. In other implementations, it is possible to assign different values to the initial synaptic weights). Then, the block 101 of the System for predicting the values of the time series transmits to the block Creation of extended series 201 of Subsystem 4 a number of points in time corresponding to the initial series of known values of the predicted characteristic for generating extended series according to the Method according to claim 2 of the invention. Then, according to the new interval segments constructed in block 201, 3 rows are built: The series of the time value of the end of the segment - in the form of a series MM0, the time increment - as the difference between the time values of the end and the beginning of the interval segment - in the form of a series MD0 and the increment of the known values of the time a series of predicted characteristics on this interval segment, as the difference between its values at the points in time corresponding to the end and the beginning of the interval segment, in the form of a series MD1.

В настоящей реализации изобретения 2 первых ряда ММ0 и MD0 используются как ряды обучающей выборки, а 3-й ряд - MD1 как ряд значений контрольной выборки. В других реализациях изобретения Обучающая и Контрольная выборки могут формироваться другим способом. Далее - в блок Шифрования данных 103 Системы прогнозирования значений временного ряда (фиг. 1) поступают все 3 ряда - ММ0, MD0, и MD1. Согласно способу по п. 3 настоящего изобретения значения рядов ММ0, MD0, и MD1 шифруются в ряды метаданных MMm0, MDm0, и MDm1 затем, в соответствии с параметрами Подсистемы 104 L1 и L2 - блоком Формирования входного сигнала 202 Подсистемы 104 и блоком Контрольных обучающих сигналов 203 Подсистемы 104 подаются, соответственно, входной сигнал на 204 Блок Прямого распространения сигнала в ИНС Подсистемы 104 и контрольный сигнал на блок Оценки ошибки 205 Подсистемы 104. Далее, после прохождения входного сигнала через ИНС прямого распространения блока 204, с ее выходного нейрона снимается выходной сигнал, который поступает в блок Оценки ошибки 205 Подсистемы 104. Далее блоком 205 вычисляется разность между выходным сигналом блока 204 и контрольным сигналом от блока 203. Данная разность отправляется на блок Обратного распространения ошибки 206 Подсистемы 104. Обучение - корректировка полного набора синаптических коэффициентов (весов) ИНС производится с помощью расчетного модуля блока 206. На следующем этапе Блок 206 Подсистемы 104 транслирует в качестве сигнала ошибку, полученную из блока 205 на все нейроны скрытого слоя, а затем от них - на все нейроны входного слоя, где методом оптимизации, известный как метод градиентного спуска в настоящей реализации изобретения, или - другим известным методом в других реализациях изобретения производится корректировка весовых синаптических коэффициентов (bi,k)j Данный способ обучения является стандартным способом обучения ИНС и описан, например в [3, 5, 6]. Параметром скорости обучения является константа SPEED, значение которой задается оператором произвольно из диапазона (0,1). После первого цикла обратного распространения сигнала и первой корректировки синаптических коэффициентов (bi,k)j значения весов отправляются в блок 302 Прямого распространения ИНС где строится верификационный прогноз, который дешифровывается в блоке 303 и поступает на блок 304 оценки точности прогноза, где сравнивается с известными значениями исходного временного ряда. В случае, если в блоке 304 выполнен критерий точности прогноза, то блок 304 отправляет сигнал остановки обучения на блок 206 Подсистемы 105. Подсистема 104 может прекратить обучение, но может и продолжить обучение до получения сигнала только от своего блока 205 о прекращения обучения. Решение о прекращении обучения определяется параметрической установкой приоритета одного из критериев над другим перед началом обучения ИНС.In the present implementation of the invention, the first 2 rows MM0 and MD0 are used as the rows of the training sample, and the 3rd row is MD1 as the series of values of the control sample. In other implementations of the invention, the Training and Control samples may be generated in a different way. Then, all 3 rows - MM0, MD0, and MD1 - are sent to the Data Encryption Unit 103 of the Time Series Values Prediction System (Fig. 1). According to the method according to claim 3 of the present invention, the values of the rows MM0, MD0, and MD1 are encrypted into the metadata rows MMm0, MDm0, and MDm1 then, in accordance with the parameters of the L1 and L2 Subsystems 104, by the Input Signal Conditioner 202 of the Subsystem 104 and the Control Training Signals unit 203 of Subsystem 104, respectively, the input signal to 204 Block of Forward Signal Propagation in the ANN of Subsystem 104 and the control signal to the block of Error Estimation 205 of Subsystem 104 are supplied. Further, after the input signal passes through the ANN of forward propagation of block 204, the output signal is removed from its output neuron , which enters the Error Estimator 205 of Subsystem 104. Next, block 205 calculates the difference between the output signal of block 204 and the control signal from block 203. This difference is sent to the Backpropagation block of error 206 of Subsystem 104. Learning - correction of the full set of synaptic coefficients (weights) ANN is produced using the computational module of block 206. On In the next step, Block 206 of Subsystem 104 broadcasts as a signal the error received from block 205 to all neurons of the hidden layer, and then from them to all neurons of the input layer, where by the optimization method, known as the gradient descent method in the present implementation of the invention, or by another the known method in other implementations of the invention is the correction of the weight synaptic coefficients (b i, k ) j This training method is a standard method of training ANN and is described, for example, in [3, 5, 6]. The learning rate parameter is the SPEED constant, the value of which is set by the operator arbitrarily from the range (0,1). After the first cycle of signal backpropagation and the first correction of the synaptic coefficients (b i, k ) j , the weight values are sent to the ANN Forward Propagation block 302 where a verification forecast is constructed, which is decrypted in block 303 and fed to the forecast accuracy estimation block 304, where it is compared with the known ones. values of the original time series. If the prediction accuracy criterion is met in block 304, block 304 sends a signal to stop learning to block 206 of Subsystem 105. Subsystem 104 can stop learning, but it can also continue learning until it receives a signal only from its block 205 to stop learning. The decision to terminate training is determined by the parametric setting of the priority of one of the criteria over the other before the start of training the ANN.

Если сигналов на остановку обучения не поступало, то ИНС работает в соответствии с заданными значениями параметров блока 206 Q и W. Если Q>1, то происходит повтор процедуры обучения (корректировки весов (bi,k)j - т.е. повторение прямого прохода без изменения значений входного и контрольного сигналов, поступающих на блоки 204 и 205 соответственно с блоков 202 и 203. Повторяется вычисление ошибки блоком 205 и процедура обратного прохода сигнала ошибки, выполняемая блоком 206, в результате которого на блоке 206 заново рассчитывается корректировка весов (bi,k)j. Таких циклов обучения производится либо Q раз, либо до получения сигнала остановки, поступившего от блока оценки ошибки 205, либо-блока 304, свидетельствующего о достижении заданной точности обучения. Если число циклов обучения достигло параметра Q и обучение остановлено не было, то происходит переход на новые значения входных данных и контрольного значения, поступающих из блоков 202 и 203 и являющимися следующими по порядку значениями рядов MM0m, MD0m, MD1m. С этими входными данными так же, как и ранее - Q или менее раз проводится процедура обучения сети (корректировка тех же весовых синаптических коэффициентов) методом обратного распространения ошибки. Далее вводятся все новые и новые данные путем сдвига рядов MM0m, MD0m, MD1m каждый раз на один шаг с каждым разом выполняя корректировку коэффициентов (bi,k)j. При достижении блоками 202 и 203 числа сдвигов = L2-L1 - т.е. достижения конца поданных на обучение выборок из рядов MM0m, MD0m, MD1m при значении параметра W>1 производится повтор всех предыдущих операций (новая эпоха обучения). Операции продолжаются до тех пор, пока число новых эпох не достигнет заданного ранее параметра W, либо не поступит сигнал от блоков 205 или 304, свидетельствующих о достижении успеха в обучении. Блок оценки ошибки 205 как и блок 304 позволяет производить визуализацию достигнутой точности обучения в виде вывода значения ошибки, как в цифровом виде в форме значения среднеквадратичного отклонения выходного сигнала блока от тестовых значений так и в графическом виде. Если после прохождения всех заданных параметрами Q и W числа циклов приемлемое качество достигнуто не было, то необходимо провести корректировку параметров SPEED, Q и W. Результатом использования Способа обучения ИНС по данному пункту изобретения является полный набор весовых синаптических коэффициентов (bi,k)j If there were no signals to stop learning, then the ANN operates in accordance with the specified values of the parameters of block 206 Q and W. If Q> 1, then the learning procedure is repeated (correcting the weights (b i, k ) j - i.e., repetition of the direct pass without changing the values of the input and control signals supplied to blocks 204 and 205, respectively, from blocks 202 and 203. The calculation of the error by block 205 is repeated and the procedure of backward passage of the error signal performed by block 206, as a result of which the correction of the weights (b i, k ) j . Such training cycles are performed either Q times, or until a stop signal is received from the error estimation unit 205, or block 304, indicating that the specified training accuracy has been achieved. was, then there is a transition to the new values of the input data and the control value coming from blocks 202 and 203 and are the next in order the values of the series MM0m, MD0m, MD1m. With these input data, in the same way as before - Q or less times, the network training procedure (correction of the same synaptic weight coefficients) is carried out by the method of back propagation of the error. Further, more and more new data are entered by shifting the rows MM0m, MD0m, MD1m each time one step, each time performing the correction of the coefficients (b i, k ) j . When blocks 202 and 203 reach the number of shifts = L2-L1 - i.e. reaching the end of the samples submitted for training from the series MM0m, MD0m, MD1m with a parameter value W> 1, all previous operations are repeated (a new learning epoch). Operations continue until the number of new epochs reaches the previously set W parameter, or a signal is received from blocks 205 or 304, indicating the success of training. The error estimation unit 205, as well as the unit 304, allows visualization of the achieved training accuracy in the form of outputting the error value, both in digital form in the form of the value of the root-mean-square deviation of the block's output signal from the test values and in graphical form. If, after passing all the number of cycles specified by the parameters Q and W, the acceptable quality has not been achieved, then it is necessary to adjust the parameters SPEED, Q and W. The result of using the ANN training method according to this paragraph of the invention is a complete set of weight synaptic coefficients (b i, k ) j

Способ по п. 5 изобретения - способ построения прогноза с использованием синаптических весов ИНС, прошедшей процедуру обучения. Способ по данному пункту изобретения заключается в рандомизации длин интервальных отрезков, параметры которых, а именно - параметр значения времени, соответствующего концу интервального отрезка - величина, представляющая собой сигнал, подаваемый на вход 1 блока 302 Подсистемы 105 и длина самого интервального отрезка в качестве приращения параметра времени - величина, представляющая собой сигнал, подаваемый на вход 2 блока 302 Подсистемы 105, используются для построения прогноза. Процедура производится из соображения, что зачастую сложно получить идеальное обучение ИНС-часто разные уровни сигналов входа дают разные уровни ошибок, даже если в среднем ошибка была засчитана как соответствующая критерию окончания обучения. Таким образом, для минимизации ошибки прогноза в качестве сигналов входа необходимо использовать выборки, значения которых на следующем шаге отличаются от значений на предыдущем шаге. Для этого блоком 301 формирования случайных длин отрезков Подсистемы 105 формируется ряд, квази-случайных временных параметров AS - в этой реализации изобретения по формуле,

Figure 00000003
где AS - параметр времени конца i-го временного интервала, а второе слагаемое - является длиной i-го временного интервального отрезка, и рассчитывается как верхняя граница от частного случайного числа, распределенного от 0 до 6 и другого случайного числа распределенного от 0 до 6 плюс 1. В других реализациях данного изобретения расчет длин интервальных отрезков для прове6дения процедуры прогнозирования может быть рассчитан другим способом. Далее формируются соответствующие построенным отрезкам параметры, которые проходят процедуру форматирования и шифрования в блоке 103 Системы прогнозирования значений временного ряда, затем подаются на входы блока 302 Подсистемы 105, в который загружены параметры bi,j прошедших полную процедуру обучения (корректировки) согласно Способу п. 3 настоящего изобретения. Далее - выходной сигнал из блока 302 Подсистемы 105 поступает на вход блока 303 Расшифровки метаданных Подсистемы 105, где проходит расшифровку и перевод из метаданных в реальные прогнозные приращения характеристики значения. Далее в блоке Записи и вывода результата 102 Системы прогнозирования значений временного ряда, согласно данной реализации изобретения восстанавливаются прогнозные значения характеристики на основе полученных прогнозных данных приращения этой характеристики. Результат прогнозирования выводятся в виде временного ряда, а также - графически.The method according to claim 5 of the invention is a method for constructing a forecast using the synaptic weights of an ANN that has passed the training procedure. The method according to this paragraph of the invention consists in randomizing the lengths of interval segments, the parameters of which, namely, the parameter of the time value corresponding to the end of the interval segment, is a value that is a signal supplied to input 1 of block 302 of Subsystem 105 and the length of the interval segment itself as an increment of the parameter time - a value representing a signal supplied to the input 2 of block 302 of Subsystem 105, are used to build a forecast. The procedure is carried out on the basis that it is often difficult to obtain an ideal ANN training - often different levels of input signals give different levels of errors, even if on average the error was counted as corresponding to the criterion of the end of training. Thus, to minimize the forecast error, it is necessary to use samples as input signals, the values of which at the next step differ from the values at the previous step. For this, the block 301 for generating random lengths of segments of the Subsystem 105 forms a series of quasi-random time parameters AS - in this implementation of the invention according to the formula,
Figure 00000003
where AS is the time parameter of the end of the i-th time interval, and the second term is the length of the i-th time interval, and is calculated as the upper bound of a particular random number distributed from 0 to 6 and another random number distributed from 0 to 6 plus 1. In other implementations of the present invention, the calculation of the interval lengths for performing the prediction procedure may be calculated in a different way. Next, the parameters corresponding to the constructed segments are formed, which are formatted and encrypted in block 103 of the Forecasting System of Time Series Values, and then fed to the inputs of block 302 of Subsystem 105, into which the parameters b i, j are loaded, which have passed the full training (correction) procedure according to the Method of p. 3 of the present invention. Further - the output signal from the block 302 of the Subsystem 105 is fed to the input of the block 303 Decoding the metadata of the Subsystem 105, where the decryption and translation from the metadata into the real predicted increments of the value characteristic takes place. Further, in the block Recording and output of the result 102 of the System for predicting the values of the time series, according to this embodiment of the invention, the predicted values of the characteristic are restored based on the obtained predicted data of the increment of this characteristic. The forecast result is displayed in the form of a time series, as well as graphically.

Способ обучения сети с оценкой точности по прогнозу Способ обучения ИНС, отличающийся от способа по п. 4 Изобретения тем, что приоритетным критерием качества обучения ИНС служит не внутренний критерий подсистемы обучения, а критерий верификации качества готового прогноза Подсистемы работы ИНС в режиме прогноза, который контролируется блоком 304 Контроля ошибки прогноза. Критерием качества прогноза может служить среднеквадратичное отклонение значений прогноза от известных значений характеристики на временном интервале известных значений характеристики.Method of network training with forecasting accuracy estimation Method of ANN training, which differs from the method according to clause 4 of the Invention in that the priority criterion of the quality of ANN training is not the internal criterion of the training subsystem, but the criterion for verifying the quality of the finished forecast of the ANN operation subsystem in the forecast mode, which is controlled block 304 Control forecast error. The criterion for the quality of the forecast can be the standard deviation of the forecast values from the known values of the characteristic on the time interval of the known values of the characteristic.

Ниже разберем конкретный пример последовательного функционирования всех способов и подсистем.Below we will analyze a specific example of the sequential functioning of all methods and subsystems.

Пусть у нас имеется временной ряд значений K(t) с известными значениями на отрезке t=[0,30], с дискретностью = 1.Suppose we have a time series of values K (t) with known values on the interval t = [0.30], with discreteness = 1.

Пусть K зависит от t через функцию x(x), представляющую из себя комбинацию тренда, гармонической функции случайного шума: Пусть зависимость K от x имеет следующий вид:Let K depend on t through the function x (x), which is a combination of the trend, the harmonic function of random noise: Let the dependence of K on x have the following form:

Figure 00000004
Figure 00000004

Графически зависимость K(t) представлена на Фиг. 5а). Будем считать то значения К при t>30 нам уже не известны На первом этапе строим ряды метаданных по Способу п. 2Graphically, the K (t) relationship is shown in FIG. 5a). We will assume that the values of K at t> 30 are no longer known to us.At the first stage, we build the series of metadata according to the Method of item 2

Figure 00000005
Figure 00000005

Далее - готовим обучающую выборку для ИНС. В качестве входа на обучение ИНС пойдут зашифрованные по Способу п. 3 значения моментов времени (t), соответствующие концам новых интервальных отрезков MM0s, и длины этих отрезков MD0s в качестве значений приращений времени. И в качестве контрольного обучающего сигнала при обучении ИНС пойдут зашифрованные значения приращения характеристики К за временные интервалы, равные длинам новых отрезков - MD1s. Эти метаданные выглядят так:Next, we prepare a training sample for the ANN. As an input to the ANN training, the values of the time instants (t), encrypted according to the Method of item 3, corresponding to the ends of the new interval segments MM0s, and the lengths of these segments MD0s, as the values of the time increments, will be used. And as a control training signal when training the ANN, the encrypted values of the increment of the characteristic K will go over time intervals equal to the lengths of the new segments - MD1s. This metadata looks like this:

Figure 00000006
Figure 00000006

Согласно Способу по п. 3 начинаем обучение ИНС. Пусть в нашем случае используется близкое к предельному количество новых отрезков. Для интервала t=[0,30] число отрезков будет равно 465. Берем L1=0, L2=462. Тогда пошаговая процедура ввода параметров обучения на ИНС начнется с нулевого индекса рядов MM0m, MD0m, MD1m.According to the Method according to claim 3, we begin training the ANN. Let in our case the number of new segments close to the limiting one is used. For the interval t = [0.30], the number of segments will be 465. Take L1 = 0, L2 = 462. Then the step-by-step procedure for entering the training parameters on the ANN will start from the zero index of the series MM0m, MD0m, MD1m.

В настоящей реализации изобретения рекомендуется начинать процесс обучения, с относительно больших значений параметра SPEED - из диапазона[0,1, 0,5] - и малых значений параметров Q и W.In the present implementation of the invention, it is recommended to start the learning process with relatively large values of the SPEED parameter - from the range [0.1, 0.5] - and small values of the parameters Q and W.

Пусть SPEED=0.5, Q=2, W=2. Согласно этим параметрам каждая тройка из 462 значений рядов MM0m, MD0m, MD1m поучаствует в двойных циклах обучения - коррекции синаптических весов, а затем - дождавшись своей очереди после окончания двойных циклов для каждого из 462 других членов своего ряда, снова поучаствует в двойном обратном проходе ошибки.Let SPEED = 0.5, Q = 2, W = 2. According to these parameters, each triple of 462 values of the series MM0m, MD0m, MD1m will take part in double learning cycles - correction of synaptic weights, and then, having waited for its turn after the end of double cycles for each of 462 other members of its series, will again take part in the double reverse pass of the error ...

Коррекция синаптических весов i-го нейрона скрытого слоя рассчитывается по формуле:

Figure 00000007
, где g - индекс значений обучающих метаданных (от 0 до 462) и, OUT - значение выходного сигнала снятого с единственного (нулевого) нейрона выходного слоя для расположенных на g - м месте в своих рядах пары значений метаданных MM0m, MD0m, подающихся на вход ИНС.Correction of the synaptic weights of the i-th neuron of the hidden layer is calculated by the formula:
Figure 00000007
, where g is the index of the values of the training metadata (from 0 to 462) and, OUT is the value of the output signal taken from the only (zero) neuron of the output layer for the pairs of metadata values MM0m, MD0m located at the gth place in their rows, supplied to the input ANN.

В свою очередь,In turn,

Figure 00000008
Figure 00000008

где (OUT0,nj) - MD0mg как раз и представляет собой ошибку обучения, приходящую от блока 205, транслирующуюся от выходного нейрона к нейронам входного слоя через нейроны скрытого слоя.where (OUT 0, nj ) - MD0m g is precisely the learning error coming from block 205, which is translated from the output neuron to the neurons of the input layer through the neurons of the hidden layer.

Результат такого обучения в виде значений выходного сигнала, прошедшей 1-е тестовое обучение ИНС для каждого индекса входных параметров g - лежащего в пределах от 0 до 462, представлен на Фиг. 5б).The result of such training in the form of values of the output signal that has passed the 1st test training of the ANN for each index of the input parameters g - lying in the range from 0 to 462, is shown in Fig. 5 B).

Выходной сигнал «мечется» от значений -1 до +1, Что означает полное «переобучение» ИНС из-за слишком большого параметра SPEED. Следующий подход необходимо сделать уменьшив SPPED в 10 раз. Для параметров:The output signal "rushes" from -1 to +1, which means a complete "retraining" of the ANN due to too large SPEED parameter. The next approach must be done by reducing the SPPED by 10 times. For parameters:

Figure 00000009
Figure 00000009

(где QQ - соответствует Q).(where QQ - corresponds to Q).

Наблюдается картина, отраженная на Фиг 5.в): что означает сильное «недообучение» ИНС. Уровень выходного сигнала (красная кривая) очень сильно слабее контрольного (синего). Это значит, что входной сигнал проходя через синаптические связи ИНС очень слабо «регулирует» выход. Необходима очередная коррекция параметров обучения.The picture is observed, reflected in Fig. 5.c): which means a strong "under-training" of the ANN. The output signal level (red curve) is very much weaker than the control signal (blue). This means that the input signal, passing through the synaptic connections of the ANN, very weakly "regulates" the output. The next correction of the training parameters is required.

В этом случае рекомендуется в 10 раз увеличить параметр WIn this case, it is recommended to increase the parameter W 10 times

Figure 00000010
Figure 00000010

Результат (Фиг. 5г) лучше не стал. До сих пор - недообучение. Увеличиваем W еще на 25%, a Q - в 2 раза. Такую комбинацию параметров ноутбук с процессором AMD-RYZEN 5 с частотой 2000 МГЦ просчитывал порядка 4 минут.The result (Fig. 5d) did not get any better. Until now - under-training. We increase W by another 25%, and Q - 2 times. A laptop with an AMD-RYZEN 5 processor with a frequency of 2000 MHz calculated this combination of parameters for about 4 minutes.

Новая комбинация параметровNew combination of parameters

Figure 00000011
Figure 00000011

На Фиг. 5д), е) Показан как результат обучения ИНС - Фиг. 5д), так и прогноза: Фиг. 5 е) мы «проскочили» точку «равновесия» - сеть несильно, но переобучена, отклик превосходит контрольный сигнал, прогноз устремился в бесконечность. Тем не менее видно, что параметры Q и W подобраны почти корректно.FIG. 5e), f) Shown as a result of training ANN - Fig. 5e) and forecast: Fig. 5 f) we have "passed" the point of "equilibrium" - the network is not strong, but overtrained, the response exceeds the control signal, the forecast rushed to infinity. Nevertheless, it can be seen that the parameters Q and W were chosen almost correctly.

Вручную прощупаем точку равновесия: снизив на 1 значение W:We will manually probe the balance point: by decreasing the W value by 1:

Figure 00000012
Figure 00000012

Результат - на - (Фиг. 6а), б). Уже - переобучение!Result - on - (Fig. 6a), b). Already - retraining!

Значит фиксируем параметры Q и W на заданном уровне - Q=4 и W=24 и начинаем автоматический подъем по параметру SPEED с дискретностью 0.0001.This means that we fix the parameters Q and W at a given level - Q = 4 and W = 24 and start an automatic rise according to the SPEED parameter with a discreteness of 0.0001.

Блок контроля ошибки прогноза 304 Подсистемы 105 предлагает нам остановится уже на 2-й итерации при параметрах:The forecast error control unit 304 of Subsystem 105 suggests that we stop at the 2nd iteration with the parameters:

Figure 00000013
Figure 00000013

Результат показан на - Фиг. 6в), г).The result is shown in FIG. 6c), d).

На (Фиг. 6,г) видно, что линия нейросетевого прогноза - дает хорошую прогнозную экстраполяцию даже на интервалах - существенно превышающих отрезок обучения t=[0,30]It can be seen in (Fig. 6, d) that the neural network forecast line gives a good predictive extrapolation even at intervals that significantly exceed the training interval t = [0.30]

Найти положение равновесия можно и на других комбинациях параметров, например:The equilibrium position can also be found using other combinations of parameters, for example:

Figure 00000014
Figure 00000014

Результат показан на - Фиг. 6д), е).The result is shown in FIG. 6e), f).

Основной вывод о процессе обучения: Процесс обучения не может быть полностью автоматизирован, т.к. оператор вручную должен провести «грубую» совместную настройку 3-х параметров - SPEED, Q и W. Нащупать факт прохождения «равновесия» а затем - тонкую настройку по одному из трех параметров проводить уже автоматически, пользуясь критерием остановки обучения с блока 205 Подситемы 104 или блока 304 Подсистемы 105. На приведенных примерах демонстрировалась регрессия временного ряда по временной шкале t с введением плавающих длин отрезков. Задача существенно упрощается, если требуется провести регрессию характеристики K по переменной х, не линейно зависящей от t. Ниже дана иллюстрация высочайшей точности прогноза параметра K не по известным значениям t, а по известным значениям X(t).The main conclusion about the learning process: The learning process cannot be fully automated, because the operator must manually carry out a "rough" joint adjustment of 3 parameters - SPEED, Q and W. To feel the fact of passing the "equilibrium" and then to fine-tune one of the three parameters already automatically, using the criterion for stopping training from block 205 of Subsystem 104 or block 304 of Subsystem 105. On the given examples, the regression of the time series on the time scale t with the introduction of floating lengths of segments was demonstrated. The problem is greatly simplified if it is required to carry out a regression of the characteristic K with respect to the variable x, which is not linearly dependent on t. Below is an illustration of the highest prediction accuracy for the parameter K not from the known values of t, but from the known values of X (t).

Тестирование алгоритма проводится на сравнении с результатами, полученными аппроксимацией полиномиальными/экспоненциальными функциями, построенными по алгоритму оптимизации Левенберга - Марквардта.The testing of the algorithm is carried out on comparison with the results obtained by approximation by polynomial / exponential functions constructed using the Levenberg - Marquardt optimization algorithm.

Пусть характеристика К зависит от переменных X(t) и Y(t) представляющих собой суперпозицию высокочастотного колебания, полиномиального тренда и рациональной функции:Let the characteristic K depend on the variables X (t) and Y (t), which are a superposition of a high-frequency oscillation, a polynomial trend and a rational function:

Figure 00000015
Figure 00000015

Ниже проиллюстрировано качество прогноза нейросети из трех слоев (входной-скрытый-выходной) длиной слоя 5 нейронов и параметрамиThe quality of the forecast of a neural network of three layers (input-hidden-output) with a layer length of 5 neurons and parameters is illustrated below

Figure 00000016
Figure 00000016

где QQ=1 - параметр «пакетности», W - число эпох, L2-L1=30 - длина временного отрезка обучения.where QQ = 1 is the "batch" parameter, W is the number of epochs, L2-L1 = 30 is the length of the training time interval.

Результат показан на Фиг. 7.The result is shown in FIG. 7.

Данная сеть очень хорошо аппроксимировала характеристику К в диапазоне 30-60, т.е. за пределами диапазона обучения - t=(0-30) (синие точки) Ей конкурировали - регрессионные аппроксимации, построенные по данным участка 0-30 с помощью полиномов 2-й степени (зеленая линия) - с помощью полиномов 3-й степени (фиолетовая линия) методом наименьших квадратов. Видно, что после выхода за пределы отрезка обучения - t=(0-30) прогнозы по полиномиальной регрессии начинают сильно терять точность. Более высокие порядки полиномов начинали терять точность с ужасающей скоростью. Более продвинутый конкурирующий метод прогнозирования с помощью степенных функций вида, f(x,b,c):=b⋅xc.This network very well approximated the K characteristic in the range of 30-60, i.e. outside the training range - t = (0-30) (blue dots) She was competing - regression approximations built from the data of the 0-30 section using polynomials of the 2nd degree (green line) - using polynomials of the 3rd degree (purple line) by the least squares method. It can be seen that after going beyond the training interval - t = (0-30), polynomial regression predictions begin to lose their accuracy greatly. Higher orders of polynomials began to lose precision at an alarming rate. A more advanced competing forecasting method using power functions of the form, f (x, b, c): = b⋅x c .

В котором параметры модели b,c находятся по алгоритму оптимизации Левенберга - Марквардта [4] показали более точный результат, чем полиномиальная аппроксимация, однако Прогноз, построенный по описанному в работе методу изобретения с использованием обученной согласно методу изобретения ИНС, оказался точнее.In which the parameters of the model b, c are found according to the Levenberg-Marquardt optimization algorithm [4] showed a more accurate result than the polynomial approximation, however, the forecast constructed according to the method of the invention described in the work using the ANN trained according to the method of invention turned out to be more accurate.

В способе одним из самых важных моментов является способ обучения искусственной нейронной сети (ИНС), при котором производится корректировка набора весовых коэффициентов, характеризующих синоптические связи между нейронами разных слоев ИНС. Особенностью данного способа является уникальность подбора сигналов, как входных, подающихся на входные нейроны ИНС, так и контрольного - необходимого для оценки ошибки. Для формирования конечных сигналов начальные данные предварительно шифруются способом, описание которого будет приведено ниже. Также ниже будет подробно описан способ разбиения исходного временного ряда на временные интервальные отрезки различной длинны - формирование временной шкалы ряда. Согласно Способу по данному пункту изобретения на первый нейрон входного слоя ИНС подается зашифрованное значение моментов времени построенной, описанным ниже способом, временной шкалы ряда, соответствующее концу интервального отрезка для определенного шага временного ряда. На второй нейрон входного слоя ИНС подается зашифрованное значение, соответствующее длине интервального отрезка данного шага временной шкалы ряда, характеризующее приращение параметра времени. Контрольным сигналом является зашифрованное значение приращения прогнозируемой характеристики на временном интервале, с начальным и конечным моментами времени, соответствующих интервальному отрезку данного шага временной шкалы ряда. В процессе обучения будут использованы три основные параметра: скорость обучения SPEED, число циклов обучения с одинаковыми входным и контрольным сигналами - Q и число эпох - W, представляющее из себя число повторяющихся «проходов» по всей длине подготовленной для обучения ИНС выборки комбинаций входных и контрольного сигналов.In the method, one of the most important points is the method of training an artificial neural network (ANN), in which the set of weighting coefficients characterizing synoptic connections between neurons of different layers of the ANN is adjusted. A feature of this method is the uniqueness of the selection of signals, both input, supplied to the input neurons of the ANN, and the control one, which is necessary for evaluating the error. To generate the final signals, the initial data is pre-encrypted in a manner described below. Also, below will be described in detail the method of dividing the original time series into time intervals of different lengths - the formation of the time scale of the series. According to the Method according to this paragraph of the invention, the encrypted value of the time points of the time scale of the series, which corresponds to the end of the interval segment for a certain step of the time series, is supplied to the first neuron of the input layer of the ANN. An encrypted value is fed to the second neuron of the input layer of the ANN, which corresponds to the length of the interval segment of the given step of the time scale of the series, which characterizes the increment of the time parameter. The control signal is the encrypted value of the predicted characteristic increment in the time interval, with the start and end points of time corresponding to the interval segment of the given step of the time scale of the series. In the training process, three main parameters will be used: the SPEED learning rate, the number of training cycles with the same input and control signals - Q, and the number of epochs - W, which is the number of repeated "passes" along the entire length of the sample of combinations of input and control samples prepared for ANN training. signals.

Рассмотрим этапы реализации способа обучения ИНС: на первом этапе строится искусственная нейронная сеть (ИНС) прямого распространения, содержащая входной слой нейронов, как минимум один скрытый слой нейронов, и выходной слой нейронов с начальным набором весовых синаптических коэффициентов заданных генератором случайных чисел в диапазоне от -0.5 до 0.5. В других реализациях - возможно присвоение других значений начальным синаптическим весам. Затем создаются разбиения исходной временной шкалы временного ряда интересующей характеристики на временные интервальные отрезки различной длины, например в соответствии со способом, который будет описан ниже, и строятся 3 новых ряда: ряд значения момента времени конца отрезка-в виде ряда MM0, приращение времени - как разница между значениями времени конца и начала интервального отрезка - в виде ряда MD0 и приращение самих известных значений временного ряда прогнозируемой характеристики на этом интервальном отрезке, как разница между ее значениями в моменты времени, соответствующие концу и началу интервального отрезка - в виде ряда MD1.Let us consider the stages of the implementation of the ANN training method: at the first stage, an artificial neural network (ANN) of direct propagation is built, containing an input layer of neurons, at least one hidden layer of neurons, and an output layer of neurons with an initial set of weight synaptic coefficients specified by a random number generator in the range from - 0.5 to 0.5. In other implementations, it is possible to assign different values to the initial synaptic weights. Then, partitions of the original time scale of the time series of the characteristic of interest are created into time intervals of different lengths, for example, in accordance with the method that will be described below, and 3 new series are built: a series of the time value of the end of the interval in the form of a series MM0, the time increment as the difference between the time values of the end and the beginning of the interval segment - in the form of the MD0 series and the increment of the known values of the time series of the predicted characteristic on this interval segment, as the difference between its values at the time points corresponding to the end and the beginning of the interval segment - in the form of the MD1 series.

В настоящей реализации изобретения 2 первых ряда MM0 и MD0 используются как ряды обучающей выборки, а 3-й ряд - MD1 как ряд значений контрольной выборки. Затем все 3 ряда - MM0, MD0 и MD11 шифруются, например, способом, описание которого будет дано ниже, в ряды метаданных MMm0, MDm0 и MDm1. Ряды MMm0, MDm0 подаются на 1-й и 2-й нейроны входного слоя ИНС в качестве входного сигнала. После прохождения входного сигнала через ИНС прямого распространения с ее выходного нейрона для каждого шага рядов MMm0, MDm0 снимается выходной сигнал, используемый для вычисления разности между ним и, выступающим контрольным сигналом, значением ряда MDm1 на том же шаге. Данная разность является сигналом ошибки, используемая в процедуре обучения. Сигнал ошибки подается на все нейроны скрытого слоя, а затем от них - на все нейроны входного слоя, где стандартным методом обратного распространения ошибки, с использованием, например, оптимизации по методу «градиентного спуска», описанному в [3,5,6] в настоящей реализации изобретения, или другим известным методом в других реализациях изобретения, производится корректировка весовых синаптических коэффициентов Параметром скорости обучения является константа SPEED, значение которой на первом этапе задается произвольно из диапазона (0,1). После первого цикла обратного распространения сигнала и первой корректировки синаптических коэффициентов значения весов используются для построения верификационного прогноза. Входной сигнал использующий значения рядов MMm0 ,MDm0 того же шага временного ряда, как и до этого, снова проходит через ИНС с обновленными коэффициентами. Выходной сигнал с единственного нейрона выходного слоя после дешифровки используется в оценки точности прогноза, сравниваясь с известными значениями исходного временного ряда. В случае, если выполнен критерий точности обучения, например расхождение выходного и контрольного значения менее 1%, то обучение на данном шаге может быть остановлено и начата новая эпоха.In the present implementation of the invention, the first 2 rows MM0 and MD0 are used as the rows of the training sample, and the 3rd row is MD1 as the series of values of the control sample. Then all 3 rows - MM0, MD0 and MD11 are encrypted, for example, in the manner described below, into the metadata rows MMm0, MDm0 and MDm1. Rows MMm0, MDm0 are fed to the 1st and 2nd neurons of the input layer of the ANN as an input signal. After the input signal passes through the feedforward ANN from its output neuron, for each step of the MMm0, MDm0 rows, the output signal is removed, which is used to calculate the difference between it and the serving control signal, the value of the MDm1 row at the same step. This difference is an error signal used in the training procedure. The error signal is fed to all neurons of the hidden layer, and then from them to all neurons of the input layer, where by the standard backpropagation method, using, for example, the optimization according to the "gradient descent" method described in [3,5,6] in In the present implementation of the invention, or in another known method in other implementations of the invention, the synaptic weights are adjusted. The learning rate parameter is the SPEED constant, the value of which at the first stage is set arbitrarily from the range (0,1). After the first cycle of signal backpropagation and the first correction of the synaptic coefficients, the values of the weights are used to construct the verification prediction. The input signal using the values of the series MMm0, MDm0 of the same time series step as before, again passes through the ANN with updated coefficients. The output signal from a single neuron of the output layer after decoding is used to estimate the forecast accuracy, comparing with the known values of the original time series. If the criterion of training accuracy is met, for example, the discrepancy between the output and control values is less than 1%, then training at this step can be stopped and a new epoch started.

Если критерий точности обучения не выполнен, то обучение ИНС продолжается в соответствии с заданными значениями параметров Q - числа циклов обучения с одинаковыми входным и контрольным сигналами заданного числа эпох - W, представляющее из себя число повторяющихся «проходов» по всей длине подготовленной для обучения ИНС выборки комбинаций входных и контрольного сигналов. Если Q>1, то происходит повтор процедуры обучения (корректировки весов), т.е. повторение прямых проходов без изменения значений входного и контрольного сигналов, с изменением набора весов после каждого прохода методом обратного распространения ошибки - в данной реализации изобретения- с использованием оптимизации по методу «градиентного спуска». Таких циклов обучения производится либо Q раз, либо до достижения заданной точности обучения. Если число циклов обучения достигло параметра Q и обучение остановлено не было, то происходит переход на новые значения входных данных и контрольного значения, являющимися следующими по порядку значениями рядов MM0m, MD0m, MD1m. С этими входными данными так же, как и ранее - Q или менее раз проводится процедура обучения сети (корректировка тех же весовых синаптических коэффициентов) методом обратного распространения ошибки. Далее вводятся все новые и новые данные путем сдвига рядов MM0m, MD0m, MD1m каждый раз на один шаг с каждым разом выполняя корректировку коэффициентов. При достижении конца поданных на обучение выборок из рядов MM0m, MD0m, MD1m при значении параметра W>1 производится повтор всех предыдущих операций (новая эпоха обучения). Операции продолжаются до тех пор, пока число новых эпох не достигнет заданного ранее параметра W, либо не поступит сигнал свидетельствующий о достижении успеха в обучении. Если после прохождения всех заданных параметрами: Q - числом «проходов» на одном шаге, числом шагов по временным интервалам выборок, а также числом эпох W - общего числа циклов приемлемое точность обучения достигнуто не было, то необходимо провести корректировку параметров SPEED, Q и W.If the training accuracy criterion is not met, then ANN training continues in accordance with the specified values of the parameters Q - the number of training cycles with the same input and control signals of a given number of epochs - W, which is the number of repeated "passes" along the entire length of the sample prepared for ANN training combinations of input and control signals. If Q> 1, then the training procedure (weight adjustment) is repeated, i.e. repetition of forward passes without changing the values of the input and control signals, with a change in the set of weights after each pass by the method of back propagation of the error - in this embodiment of the invention - using optimization by the method of "gradient descent". Such training cycles are performed either Q times, or until a given training accuracy is achieved. If the number of training cycles has reached the Q parameter and training has not been stopped, then a transition occurs to new values of the input data and the control value, which are the next in order the values of the series MM0m, MD0m, MD1m. With these input data, in the same way as before - Q or less times, the network training procedure (correction of the same synaptic weight coefficients) is carried out by the method of back propagation of the error. Further, more and more new data are entered by shifting the rows MM0m, MD0m, MD1m each time by one step, each time performing the correction of the coefficients. When the end of the samples submitted for training from the series MM0m, MD0m, MD1m is reached with a parameter value W> 1, all previous operations are repeated (a new learning epoch). The operations continue until the number of new epochs reaches the previously set W parameter, or a signal is received indicating the success of training. If, after passing all the specified parameters: Q - the number of "passes" at one step, the number of steps in the time intervals of the samples, and the number of epochs W - the total number of cycles, an acceptable training accuracy has not been achieved, then it is necessary to adjust the SPEED, Q and W parameters ...

Полный набор скорректированных изложенными способом весовых синаптических коэффициентов используется для построения наиболее точного прогноза. После завершения обучения ИНС производят деление общего временного интервала, на котором требуются построение прогноза, на отрезки случайной длины, затем подаются зашифрованные значения моментов времени, соответствующие концам построенным интервальным отрезкам случайной длины и длины самих интервальных отрезков в качестве приращения параметра времени – как сигналы входа ИНС, т.е. значениями, подающимися на первый и второй нейроны входного слоя обученной ИНС для построения прогноза, далее выходной сигнал ИНС с ее единственного выходного нейрона проходит расшифровку и перевод из метаданных в прогнозные значения характеристики на основе полученных прогнозных данных приращения этой характеристики.The full set of synaptic weights corrected by the described method is used to construct the most accurate prediction. After the completion of the ANN training, the total time interval on which the forecast is required is divided into segments of random length, then the encrypted values of the time points corresponding to the ends of the constructed interval segments of random length and the length of the interval segments themselves are supplied as an increment of the time parameter - as the input signals of the ANN , i.e. values supplied to the first and second neurons of the input layer of the trained ANN to build a forecast, then the output signal of the ANN from its only output neuron is decrypted and translated from metadata into predicted values of the characteristic based on the obtained forecast data of the increment of this characteristic.

Описание Способа по п.2 формулы изобретения, в котором для наиболее эффективного обучения ИНС и построения прогноза создаются дополнительные разбиения исходной временной шкалы ряда на временные интервалы различной длины,Description of the Method according to claim 2 of the claims, in which additional partitions of the initial time scale of the series into time intervals of different lengths are created for the most efficient training of the ANN and the construction of a forecast,

Для подготовки обучающей выборки искусственной нейронной сети (ИНС) создаются дополнительные разбиения исходной временной шкалы ряда на дополнительные временные интервалы различной длины. Разбиение производится следующим образом.To prepare a training sample of an artificial neural network (ANN), additional partitions of the original time scale of the series are created into additional time intervals of various lengths. The splitting is done as follows.

На первом этапе, момент времени 1-го известного значения временного ряда - принимается за начало нового интервала, а в качестве длины нового интервала берется сумма длин первого и последующего временных интервалов между известными значениями исходного временного ряда прогнозируемой характеристики. Следующий интервальный отрезок строится путем сдвига начала нового интервала на один старый интервал вправо по временной шкале, т.е. на один шаг исходного временного ряда. Длина его также будет составлять два старых интервала - 2-й и 3-й. Новые отрезки строятся, пока концом последнего отрезка не окажется момент времени последнего известного значения. На втором этапе строятся интервальные отрезки, где длина отрезка еще увеличивается на длину одного старого интервала. Длина новых отрезков будет составлять уже 3 исходных интервала (3 шага ряда). Второй и последующие отрезки второго этапа строятся так же длиной в 3 старых интервала путем сдвига на один старый интервал. Сдвиги повторяются вплоть до момента достижения концом последнего нового отрезка момента времени последнего известного значения временного ряда. Этапы построения отрезков продолжаются, пока на последнем этапе не будет построен отрезок длиной в интервал времени между 1-м и последним известным значением исходного временного ряда. Таим образом, в нашем распоряжении оказывается построено интервальных отрезков. Например, для имеющегося временного ряда длинной в 31 известное значение, может быть построено 465 интервалов, для которых могут быть построены ряды метаданных, эффективно используемых при построении прогноза. Описанная процедура программно реализована в блоке 201 Создания продленных рядов Подсистемы 104.Системы прогнозирования значений временного ряда интересующей характеристики.At the first stage, the moment of time of the 1st known value of the time series is taken as the beginning of a new interval, and the sum of the lengths of the first and subsequent time intervals between the known values of the initial time series of the predicted characteristic is taken as the length of the new interval. The next interval segment is constructed by shifting the beginning of a new interval by one old interval to the right along the time scale, i.e. one step in the original time series. Its length will also be two old intervals - 2nd and 3rd. New segments are drawn until the end of the last segment is the time of the last known value. At the second stage, interval segments are constructed, where the segment length is still increased by the length of one old interval. The length of the new segments will already be 3 initial intervals (3 steps of the row). The second and subsequent segments of the second stage are constructed in the same length of 3 old intervals by shifting the old interval by one. The shifts are repeated until the end of the last new segment reaches the last known value of the time series. The stages of building segments continue until at the last stage a segment with a length in the time interval between the 1st and the last known value of the original time series is built. Thus, we have at our disposal the plotted interval segments. For example, for the available time series with a length of 31 known values, 465 intervals can be built, for which a series of metadata can be built that is effectively used in forecasting. The described procedure is programmatically implemented in the block 201 Creation of extended series of Subsystem 104. Systems for predicting the values of the time series of the characteristic of interest.

Кроме того, для построения прогноза производится рандомизация длин интервальных отрезков, программно реализованная в блоке 301 формирования случайных длин отрезков Подсистемы105, параметры которых, а именно - параметр значения времени, соответствующего концу интервального отрезка - величина, представляющая собой сигнал, подаваемый на первый нейрон входного слоя ИНС и длина самого интервального отрезка в качестве приращения параметра времени - величина, представляющая собой сигнал, подаваемый второй нейрон входного слоя ИНС. Процедура производится из соображения, что зачастую сложно получить идеальное обучение ИНС - часто разные уровни сигналов входа дают разные уровни ошибок, даже если в среднем ошибка была засчитана как соответствующая критерию окончания обучения. Таким образом, для минимизации ошибки прогноза в качестве сигналов входа необходимо использовать выборки, значения которых на следующем шаге отличаются от значений на предыдущем шаге. Для этого формируется ряд, квази-случайных временных параметров AS -в этой реализации изобретения по формуле, где AS- параметр времени конца i-го временного интервала, а второе слагаемое - является длиной i-го временного интервального отрезка, и рассчитывается как верхняя граница от частного случайного числа, распределенного от 0 до 6 и другого случайного числа распределённого от 0 до 6 плюс 1.В других реализациях данного изобретения расчет длин интервальных отрезков для проведения процедуры прогнозирования может быть рассчитан другим способом. Далее формируются соответствующие построенным отрезкам параметры, которые после прохождения процедуры форматирования и шифрования подаются на 1й и 2й входные нейроны обученной ИНС. Далее -выходной сигнал - с нейрона выходного слоя ИНС проходит расшифровку и перевод из метаданных в реальные прогнозные приращения значений исследуемой характеристики. Далее -восстанавливаются прогнозные значения характеристики. Результат прогнозирования выводятся в виде временного ряда, а также графически.In addition, to construct a forecast, the lengths of the interval segments are randomized, which is programmatically implemented in the block 301 for generating the random lengths of the segments of the Subsystem 105, the parameters of which, namely, the parameter of the time value corresponding to the end of the interval segment, is a value representing the signal supplied to the first neuron of the input layer ANN and the length of the interval itself as an increment of the time parameter - a value that is a signal supplied by the second neuron of the input layer of the ANN. The procedure is carried out from the consideration that it is often difficult to obtain an ideal training of the ANN - often different levels of input signals give different levels of errors, even if the average error was counted as corresponding to the criterion of training completion. Thus, to minimize the forecast error, it is necessary to use samples as input signals, the values of which at the next step differ from the values at the previous step. For this, a series of quasi-random time parameters AS is formed in this implementation of the invention according to the formula, where AS is the time parameter of the end of the i-th time interval, and the second term is the length of the i-th time interval, and is calculated as the upper bound from a particular random number distributed from 0 to 6 and another random number distributed from 0 to 6 plus 1. In other implementations of the present invention, the calculation of the lengths of the interval segments for carrying out the prediction procedure can be calculated in another way. Next, the parameters corresponding to the constructed segments are formed, which, after passing the formatting and encryption procedure, are fed to the 1st and 2nd input neurons of the trained ANN. Further - the output signal - from the neuron of the output layer of the ANN is deciphered and translated from metadata into real predicted increments of the values of the studied characteristic. Next, the predicted values of the characteristic are restored. The forecast result is displayed in the form of a time series, as well as graphically.

Описание Способа по п.3 формулы изобретения, в котором для наиболее эффективного обучения ИНС и построения прогноза данные проходят процедуру шифрования.Description of the Method according to claim 3 of the claims, in which for the most efficient training of the ANN and the construction of the forecast, the data is encrypted.

Данный способ программно реализован в блоке 103 Системы прогнозирования значений временного ряда. Для всех значений рядов данных M(t,j), где t-значение моментов времени, j - номер ряда, поступивших в блок 103 из блока Записи данных 101 Системы прогнозирования значений временного ряда определяется минимальное по модулю значение. Далее умножают все ряды на константу D - в этой реализации изобретения, при которой это выбранное минимальное значение становится больше 1, либо используют другие способы в других реализациях изобретения для приведения всех значений временных рядов к значениям больше 2. Далее выбирают максимальное по модулю из всех значений временных рядов поступивших в Блок 103, умноженных на D. Далее берут десятичный логарифм и определяют константу DD, при делении на которую значение десятичного логарифма от выбранного значения оказывается не более значения порога Р, которое должно быть меньше единицы. В данной реализации изобретения значение Р выбиралось =0,6 и может быть выбрано любым, желательно близким к 0.5, но заведомо меньшего 1 в других реализациях изобретения. Далее формируют ряды Ms(t,j), состоящие из функции sign(знака) каждого из значений рядов, находящихся в блоке 103. Далее значение каждого ряда M(t,j), умножается на соответствующее значение рядов знака Ms(t,j), образуя ряды только положительных значений Mp(t,j), далее от каждого значения рядов Mp(t,j), умноженных на D берется десятичный логарифм, делится на константу DD, и затем снова умножается на соответствующее значение рядов знака Ms(t,j), образуя ряды зашифрованных метаданных Mm(t,j), имеющих как положительный, так и отрицательный знаки, не превышающие по модулю значение порога Р, меньшее единицы, подготовленных для эффективного использования нейросетью. Полученные ряды метаданных записываются в блок шифрования метаданных 103 Системы прогнозирования значений временного ряда(фиг.1). Для минимизации ошибки прогноза в качестве сигналов входа ИНС в режиме обучения лучше всего использовать выборки, значения которых на следующем шаге случайным образом отличаются от значений на предыдущем шаге. Для этого в блоке 103 с помощью генератора случайных чисел генерируется ряд RD, равный по длине ранее записанным рядам Mm(t,j). Далее производится одновременная сортировка всех рядов Mm(t,j), и RD таким образом, чтобы значения RD встали в порядке возрастания - так производится случайное одновременное перемешивание рядов метаданных Mm(t,j). Новые ряды перезаписываются в блок 103 Системы прогнозирования значений временного ряда.This method is software implemented in block 103 of the System for predicting the values of the time series. For all the values of the data series M (t, j), where t is the value of the moments in time, j is the number of the series that arrived in block 103 from the Data Record 101 block of the Time Series Values Prediction System, the minimum modulo value is determined. Next, all the series are multiplied by the constant D - in this implementation of the invention, in which this selected minimum value becomes greater than 1, or other methods are used in other implementations of the invention to bring all values of the time series to values greater than 2. Next, the maximum in absolute value of all values is selected time series received in Block 103, multiplied by D. Next, take the decimal logarithm and determine the constant DD, when dividing by which the value of the decimal logarithm of the selected value turns out to be no more than the threshold value P, which must be less than one. In this implementation of the invention, the value of P was chosen = 0.6 and can be chosen by anyone, desirably close to 0.5, but certainly less than 1 in other implementations of the invention. Next, the rows Ms (t, j) are formed, consisting of the function sign (sign) of each of the values of the rows in block 103. Further, the value of each row M (t, j) is multiplied by the corresponding value of the rows of the sign Ms (t, j) , forming series of only positive values of Mp (t, j), then from each value of the series Mp (t, j) multiplied by D, the decimal logarithm is taken, divided by the constant DD, and then again multiplied by the corresponding value of the series of the sign Ms (t, j), forming rows of encrypted metadata Mm (t, j), having both positive and negative signs, not exceeding the absolute value of the threshold P, less than one, prepared for effective use by the neural network. The obtained series of metadata are recorded in the metadata encryption unit 103 of the System for predicting the values of the time series (Fig. 1). To minimize the forecast error, it is best to use samples as input signals of the ANN in the training mode, the values of which at the next step randomly differ from the values at the previous step. For this, in block 103, a row RD is generated using a random number generator, equal in length to the previously recorded rows Mm (t, j). Next, all the rows Mm (t, j) and RD are sorted simultaneously so that the RD values are in ascending order - this is how random simultaneous mixing of the metadata rows Mm (t, j) is performed. New series are overwritten in block 103 of the System for predicting the values of the time series.

Описание Способа по п.4 формулы изобретения: Способ по п.1 изобретения в котором для остановки обучения ИНС используют в качестве критерия качества обучения ИНС не внутренний критерий Подсистемы 104 обучения ИНС, а критерий верификации качества прогноза Подсистемы 105.Description of the Method according to claim 4 of the claims: The method according to claim 1 of the invention, in which to stop the training of the ANN, not the internal criterion of the ANN training Subsystem 104, but the criterion for verifying the quality of the forecast of the Subsystem 105 is used as a criterion for the quality of the ANN training.

Способ обучения ИНС отличающийся от способа по п.1 Изобретения, тем, что приоритетным критерием качества обучения ИНС служит не внутренний критерий подсистемы обучения, а критерий верификации качества готового прогноза Подсистемы работы ИНС в режиме прогноза, который контролируется блоком 304 Контроля ошибки прогноза. Критерием качества прогноза может служить среднеквадратичное отклонение значений прогноза от известных значений характеристики, рассчитанное для всех шагов по временным интервальным отрезкам где имеются известные значения исследуемой характеристики и для которых были построены прогнозы в режиме верификации прогноза.The method of teaching ANN differs from the method according to claim 1 of the Invention, in that the priority criterion for the quality of teaching of the ANN is not the internal criterion of the training subsystem, but the criterion for verifying the quality of the finished forecast of the Subsystem of the ANN operation in the forecast mode, which is controlled by the block 304 Prediction error control. The criterion for the quality of the forecast can be the standard deviation of the forecast values from the known values of the characteristic, calculated for all steps along the time interval intervals where there are known values of the studied characteristic and for which the forecasts were built in the forecast verification mode.

Описание по п.5 формулы изобретения. Система прогнозирования значений временного ряда интересующей характеристикиDescription according to claim 5 of the claims. The system for predicting the values of the time series of the characteristic of interest

Система прогнозирования значений временного ряда интересующей характеристики состоит из Блока 101 записи данных (Фиг .1), записывающего в память временной ряд исходных данных, выделяя отдельно ряд значений исследуемой характеристики и ряд моментов времени, соответствующих известным значениям этой характеристики, Блока 102 Записи и вывода результата прогнозирования, Блока 103 шифрования данных, реализующего шифрование и пересортировку данных обучающей и контрольных выборок в наиболее удобный формат для обучения ИНС, а также двух подсистем:The system for predicting the values of the time series of the characteristic of interest consists of a Data Recorder 101 (Fig. 1), which records the time series of the initial data into memory, separating separately a number of values of the investigated characteristic and a number of points in time corresponding to the known values of this characteristic, the Block 102 of Recording and Output of the result forecasting, Block 103 data encryption, which implements encryption and re-sorting of data from training and control samples into the most convenient format for training ANN, as well as two subsystems:

Подсистема обучения искусственной нейронной сети для прогнозирования значений временного ряда 104 на (Фиг.2), состоящая из Блока присваивания начальных значений синаптическим весам 200, в котором генерируется массив начальных синаптических весовых коэффициентов, Блока 201 Создания продленных рядов метаданных, реализующего разбиение на временные интервалы согласно Способу по п 2 настоящего изобретения, на основании которых будут строится обучающая (входных значений ИНС ) и контрольная (контрольных значений ИНС) выборки для обучения ИНС.An artificial neural network training subsystem for predicting the values of the time series 104 in (Fig. 2), consisting of the Block for assigning initial values to synaptic weights 200, in which an array of initial synaptic weights is generated, Block 201 for Generating extended series of metadata, which implements division into time intervals according to The method according to claim 2 of the present invention, on the basis of which the training (ANN input values) and control (ANN control values) samples for ANN training will be constructed.

Также состоящей из блока 202Формирования входных сигналов, в который из блока 103 Системы прогнозирования значений временного ряда, зависимости от заданных параметров L1 и L2 поступают часть значений из рядов Mm(t,j1), где параметр времени t ограничен нижней границей L1 и верхней границей L2, а индекс j1 означает, что ряды относятся к рядам обучающих выборок. Блок 202 в зависимости от управляющих параметров Q и W Подсистемы104 отправляет в различной последовательности элементы рядов обучающих выборок, относящихся к одному моменту времени t, на входные нейроны Блока Прямого распространения сигнала в ИНС 204 Подсистемы104. Также состоящей из Блока контрольных обучающих сигналов 203 (фиг.2), в который из блока 103 , зависимости от заданных параметров L1 и L2 поступают часть значений из рядов Mm(t,j2), где параметр времени t ограничен нижней границей L1 и верхней границей L2, а индекс j2–означает, что ряды относятся к рядам Контрольных выборок. Блок 203 в зависимости от управляющих параметров Q и W Подсистемы 104 отправляет в различной последовательности элементы рядов Контрольных выборок, относящихся к одному моменту времени t, на Блок Оценки ошибки 205 Подсистемы 104. Также состоящая из блока прямого распространения сигнала искусственной нейронной сети (ИНС) 204 (фиг.2), основу которого составляет ИНС прямого распространения, состоящая в настоящей реализации из трех слоев (или более трех слоев в других реализациях) - одного входного, одного скрытого и одного выходного слоев, содержащих в данной реализации 23 нейрона входного слоя, 23 нейрона скрытого слоя, 1 нейрона выходного слоя и содержащего другое количество нейронов в слоях в других реализациях данного изобретения, но не менее 2-х нейронов во входном слое. Под искусственным нейроном понимается конструкция, состоящая из сумматора входных сигналов от нейронов предыдущего слоя или сигналов входа (для нейронов входного слоя), передающий суммированный сигнал через функцию активации, представляющую из себя гиперболический тангенс для нейронов скрытого и выходного слоев и константу=1 для нейронов входного слоя в настоящей реализации изобретения и возможные другие функции активации в других реализациях данного изобретения, на все нейроны следующего слоя. Переход выходных сигналов с нейронов одного слоя на нейроны следующего слоя происходит через синаптические связи между нейронами соседних слоев, которые на практике реализуются путём умножения выходного сигнала с i-го нейрона, направленного на k-й нейрон следующего слоя на коэффициент синаптической связи (фиг.4),Also consisting of block 202 Formation of input signals, to which from block 103 of the Forecasting system of time series values, depending on the given parameters L1 and L2, part of the values from the series Mm (t, j1) are received, where the time parameter t is limited by the lower limit L1 and the upper limit L2 , and the index j1 means that the series are related to the series of training samples. Block 202, depending on the control parameters Q and W of the Subsystem 104, sends in a different sequence the elements of the series of training samples related to the same time instant t to the input neurons of the Forward Signal Propagation Block in the ANN 204 of the Subsystem 104. Also consisting of the Block of control training signals 203 (Fig. 2), into which, from block 103, depending on the given parameters L1 and L2, part of the values from the series Mm (t, j2) are received, where the time parameter t is limited by the lower limit L1 and the upper limit L2, and the index j2 means that the series refer to the series of the Control samples. Block 203, depending on the control parameters Q and W of the Subsystem 104, sends in a different sequence the elements of the rows of Control samples related to one moment of time t to the Error Estimator 205 of the Subsystem 104. Also consisting of a forward propagation block of the artificial neural network (ANN) signal 204 (Fig. 2), the basis of which is an ANN of direct propagation, consisting in this implementation of three layers (or more than three layers in other implementations) - one input, one hidden and one output layers, containing in this implementation 23 neurons of the input layer, 23 neuron of the hidden layer, 1 neuron of the output layer and containing a different number of neurons in the layers in other implementations of the present invention, but not less than 2 neurons in the input layer. An artificial neuron is understood as a structure consisting of an adder of input signals from neurons of the previous layer or input signals (for neurons of the input layer), which transmits the summed signal through the activation function, which is a hyperbolic tangent for neurons of the hidden and output layers and a constant = 1 for neurons of the input layer in the present implementation of the invention and possible other activation functions in other implementations of the present invention, to all neurons of the next layer. The transition of output signals from neurons of one layer to neurons of the next layer occurs through synaptic connections between neurons of neighboring layers, which in practice are implemented by multiplying the output signal from the i-th neuron directed to the k-th neuron of the next layer by the synaptic connection coefficient (Fig. 4 ),

Таким образом, обозначив входной слой индексом j=0, скрытый слой индексом j=1, выходной слой индексом j=2,имеем формулу для расчета выходного сигнала всех нейронов скрытого слоя и единственного нейрона выходного слоя в виде: Thus, denoting the input layer with the index j = 0, the hidden layer with the index j = 1, and the output layer with the index j = 2, we have the formula for calculating the output signal of all neurons in the hidden layer and the only neuron in the output layer in the form:

где индекс i-показывает номер нейрона j-го слоя (j=1,2), причем для j=2 индекс i принимает единственное значение i=0. Данный выходной сигнал получен суммированием выходов k-х нейронов предыдущего слоя, умноженных на веса синапсов k-х нейронов предыдущего слоя ведущих к данному i-му нейрону и прошедшего через функцию активации – гиперболический тангенс.where the index i-shows the number of the neuron of the j-th layer (j = 1,2), and for j = 2 the index i takes the only value i = 0. This output signal is obtained by summing the outputs of the k-th neurons of the previous layer, multiplied by the weights of the synapses of the k-th neurons of the previous layer leading to this i-th neuron and passing through the activation function - the hyperbolic tangent.

В состав Подсистемы 104 также входит блок Оценки ошибки 205 (фиг.2), в котором происходит определение разности между выходными сигналами блока Прямого распространения сигнала 204 и контрольными сигналами от блока 202 блока Контрольных обучающих сигналов. При достижении установленной точности соответствия выходных сигналов контрольному, блок оценки ошибки останавливает процесс обучения. В состав Подсистемы 104 также входит блок 206 Обратного распространения ошибки, основу которого составляет расчётный модуль, работающий на известном методе обратного распространения ошибки, изложенном, например, в [3,5,6]. Конечным результатом работы Подсистемы 104 обучения ИНС является полный набор весовых синаптических коэффициентов входного и скрытого слоев, (j=0 - для входного слоя и j=1 - для скрытого слоя), т.к. у нейрона выходного слоя нет синапсов исходящей связи, которые блок 206 на каждом шаге обучения передает на Подсистему 105 работы ИНС в режиме прогноза.The Subsystem 104 also includes an Error Estimator 205 (FIG. 2), in which the difference between the output signals of the Forward signal propagation block 204 and the pilot signals from the block 202 of the Test Training Signals block is determined. When the specified accuracy of the correspondence of the output signals to the control one is reached, the error estimator stops the learning process. The Subsystem 104 also includes a Backpropagation unit 206, which is based on a computational module operating on the well-known error backpropagation method, set forth, for example, in [3,5,6]. The end result of the work of the ANN Learning Subsystem 104 is a complete set of weight synaptic coefficients of the input and hidden layers, (j = 0 - for the input layer and j = 1 - for the hidden layer), since the neuron of the output layer does not have outgoing communication synapses, which block 206 at each step of training transmits to the Subsystem 105 of the ANN in the forecast mode.

Подсистема построения прогноза, называемая далее «Подсистема 105» состоящая из блока 301 Модерации входных данных Подсистемы105 в который подаются временные ряды из Блока Записи данных 101Системы прогнозирования значений временного ряда, из которых в соответствии со Способом по п.2 настоящего изобретения, подготавливаются выборка входного сигнала, который шифруется в метаданные в блоке Шифрования данных 103Системы прогнозирования значений временного ряда в соответствии со Способом по п.3 изобретения и поступает на блок прямого распространения сигнала ИНС 302 Подсистемы 105, который по своим функциям и программному решению полностью аналогичен Блоку 204 Подсистемы 104 и работает с ним одновременно, используя одинаковый набор весов но используя свой набор входных данных, взятых как из временного диапазона, соответствующего обучению, так и временного диапазона, на котором необходимо построение прогноза. Выходные значения блока 302 Подсистемы 2 подаются на блок Дешифрования данных303 Подсистемы105, который переводит прогнозные метаданные в реальные цифровые значения методом, обратным методу шифрования в блоке 103 Системы, Дешифрованные данные подаются на блок Записи и вывода результата прогноза 102 Системы прогнозирования значений временного ряда с использованием искусственной нейронной сети, который осуществляет цифровой и графический вывод результата прогноза и на блок 304 Контроля ошибки прогноза Подсистемв 105, который сравнивает полученные прогнозные значения на входных данных диапазона обучения с известными значениями исследуемой характеристики. В случае выполнения критерия установленной минимальной ошибки прогноза на диапазоне обучения, Блок 304 передает сигнал о остановке обучения на Подсистему 104Обучения искусственной нейронной сети. В этом случае, Подсистема может прекратить обучение, но может и продолжить обучение до выполнения ее внутреннего критерия прекращения обучения. Решение определяется установкой приоритета одного из критериев над другим перед началом обучения ИНС. A forecasting subsystem, hereinafter referred to as "Subsystem 105", consisting of a block 301 for Moderation of the input data of a Subsystem 105 into which time series are fed from the Data Record Block 101 of a system for predicting time series values, from which, in accordance with the Method according to claim 2 of the present invention, a sample of the input signal is prepared , which is encrypted into metadata in the Data Encryption Block 103 of the Time Series Values Prediction System in accordance with the Method according to claim 3 of the invention and is fed to the INS 302 Signal Direct Propagation Block of Subsystem 105, which in its functions and software solution is completely similar to Block 204 of Subsystem 104 and operates with it simultaneously, using the same set of weights but using its own set of input data taken from both the time range corresponding to training and the time range on which the forecast is needed. The output values of the block 302 of the Subsystem 2 are fed to the data decryption block 303 of the Subsystem 105, which converts the predicted metadata into real digital values by the method opposite to the encryption method in the block 103 of the System. a neural network, which performs digital and graphical output of the forecast result and to the block 304 of the Forecast error control of the Subsystems 105, which compares the obtained forecast values on the input data of the training range with the known values of the studied characteristic. If the criterion of the specified minimum forecast error on the training range is met, Block 304 transmits a signal to stop training to the Training Subsystem 104 of the artificial neural network. In this case, the Subsystem can stop training, but it can continue training until its internal training termination criterion is met. The decision is determined by setting the priority of one of the criteria over the other before the start of the ANN training.

Claims (5)

1. Способ прогнозирования значений временного ряда интересующей характеристики, основанный на использовании предварительно обучаемой искусственной нейронной сети (ИНС) прямого распространения, содержащей входной слой нейронов, как минимум один скрытый слой нейронов, и выходной слой нейронов, для обучения которой записывают временной ряд исходных данных, выделяя отдельно ряд значений исследуемой характеристики и ряд моментов времени, строят искусственную нейронную сеть с начальным набором весовых синаптических коэффициентов, при этом для подготовки обучающей выборки искусственной нейронной сети (ИНС) создаются разбиения исходной временной шкалы ряда на временные интервальные отрезки различной длины, при этом для обучения ИНС используют три ряда: ряд значений момента времени конца отрезка, ряд приращений времени как разница между значениями времени конца и начала интервального отрезка и ряд приращений самих известных значений временного ряда прогнозируемой характеристики на этом интервальном отрезке как разница между ее значениями в моменты времени, соответствующие концу и началу интервального отрезка, причем в настоящей реализации изобретения 2 первых ряда используются как ряды обучающей выборки, а 3-й ряд - как ряд значений контрольной выборки, при этом после прохождения процедуры шифрования и преобразования в ряды метаданных, в соответствии с параметрами формирования входного сигнала ряды обучающей выборки, или их части, подаются в качестве входного сигнала прямого распространения при процедуре обучения ИНС, причем на первый нейрон входного слоя ИНС подается зашифрованное значение временной шкалы - моментов времени исходного временного ряда, соответствующее концу интервального отрезка определенного шага, а на второй нейрон входного слоя ИНС подается зашифрованное значение, соответствующее длине интервального отрезка, данного шага временного ряда, характеризующее приращение параметра времени, при этом контрольным сигналом является зашифрованное значение приращения прогнозируемой характеристики на временном интервале, с начальным и конечным моментами времени, соответствующих интервальному отрезку данного шага временного ряда, затем, после прохождения входного сигнала через ИНС прямого распространения, с ее выходного нейрона снимается выходной сигнал, вычисляется разность между выходным сигналом и контрольным сигналом, далее методом обратного распространения ошибки с использованием стандартного метода оптимизации, известного на данном уровне техники как метод градиентного спуска, производится корректировка весовых синаптических коэффициентов - обучение ИНС; далее с использованием трех основных параметров обучения, таких как скорость обучения, число циклов обучения с одинаковыми входным и контрольным сигналами и число эпох, представляющее из себя число повторяющихся «проходов» по всей длине подготовленной для обучения ИНС выборки комбинаций входных и контрольного сигналов, на ИНС вводятся все новые и новые данные путем сдвига двух первых рядов обучающей выборки и ряда контрольной выборки каждый раз на один шаг временного ряда, с каждым разом выполняя корректировку синаптических коэффициентов, что позволяет в результате получить корректировку набора синаптических весовых коэффициентов ИНС, обеспечивающих наиболее точный прогноз исследуемой характеристики; при этом для построения наиболее точного прогноза от обученной ИНС производят деление общего временного интервала, на котором требуются построение прогноза, на отрезки случайной длины, затем подаются зашифрованные значения моментов времени, соответствующие концам построенных интервальных отрезков случайной длины и зашифрованные значения длин самих интервальных отрезков в качестве приращения параметра времени - как сигналы входа ИНС, т.е. значениями, подающимися на первый и второй нейроны входного слоя обученной ИНС для построения прогноза, далее выходной сигнал ИНС с ее единственного выходного нейрона проходит расшифровку и перевод из метаданных в прогнозные значения характеристики на основе полученных прогнозных данных приращения этой характеристики.1. A method for predicting the values of the time series of the characteristic of interest, based on the use of a pre-trained artificial neural network (ANN) of direct propagation, containing an input layer of neurons, at least one hidden layer of neurons, and an output layer of neurons, for training which the time series of the initial data is recorded, separating separately a number of values of the studied characteristic and a number of points in time, construct an artificial neural network with an initial set of weight synaptic coefficients, while for the preparation of a training sample of an artificial neural network (ANN), partitions of the initial time scale of the series into time interval segments of various lengths are created, while for ANN training uses three series: a number of values of the time of the end of the segment, a number of time increments as the difference between the values of the end and the beginning of the interval segment and a number of increments of the known values of the time series of the predicted characteristic on this interval the initial segment as the difference between its values at the moments of time corresponding to the end and the beginning of the interval segment, and in the present implementation of the invention, the first 2 rows are used as the rows of the training sample, and the third row is used as a series of values of the control sample, while after passing the encryption procedure and transformation into metadata rows, in accordance with the parameters of the formation of the input signal, the training sample rows, or their parts, are fed as an input signal of direct propagation during the ANN training procedure, and the encrypted value of the time scale is fed to the first neuron of the input layer of the ANN - the time points of the original time row corresponding to the end of the interval segment of a certain step, and the encrypted value corresponding to the length of the interval segment of the given step of the time series is fed to the second neuron of the input layer of the ANN, which characterizes the increment of the time parameter, while the control signal is the encrypted value of The estimation of the predicted characteristic on the time interval, with the initial and final moments of time corresponding to the interval segment of the given step of the time series, then, after the input signal passes through the ANN of forward propagation, the output signal is removed from its output neuron, the difference between the output signal and the control signal is calculated, then, by the method of back propagation of the error using a standard optimization method, known in the art as the gradient descent method, the synaptic weight coefficients are corrected - training the ANN; further, using three main training parameters, such as the learning rate, the number of training cycles with the same input and control signals, and the number of epochs, which is the number of repeated "passes" along the entire length of the sample of combinations of input and control signals prepared for training the ANN, on the ANN more and more new data are introduced by shifting the first two rows of the training sample and a number of the control sample each time by one step of the time series, each time adjusting the synaptic coefficients, which results in an adjustment of the set of synaptic ANN weights that provide the most accurate forecast of the studied characteristics; At the same time, to build the most accurate forecast from the trained ANN, the total time interval on which the forecast is required is divided into segments of random length, then the encrypted values of the time points corresponding to the ends of the constructed interval segments of random length and encrypted values of the lengths of the interval segments themselves are supplied as increments of the time parameter - as signals of the ANN input, i.e. values supplied to the first and second neurons of the input layer of the trained ANN to build a forecast, then the output signal of the ANN from its only output neuron is decrypted and translated from metadata into predicted values of the characteristic based on the obtained forecast data of the increment of this characteristic. 2. Способ по п.1 изобретения, в котором для наиболее эффективного обучения ИНС и построения прогноза создаются дополнительные разбиения исходной временной шкалы ряда на временные интервалы различной длины.2. The method according to claim 1 of the invention, in which for the most efficient training of the ANN and the construction of the forecast, additional partitions of the initial time scale of the series into time intervals of different lengths are created. 3. Способ по п.1 изобретения, в котором для наиболее эффективного обучения ИНС и построения прогноза данные проходят процедуру шифрования.3. The method according to claim 1 of the invention, in which for the most efficient training of the ANN and the construction of the forecast, the data is encrypted. 4. Способ по п.1 изобретения, в котором для остановки обучения ИНС используют в качестве критерия качества обучения ИНС не внутренний критерий Подсистемы 104 обучения ИНС, а критерий верификации качества прогноза Подсистемы 105.4. The method according to claim 1 of the invention, in which for stopping the training of the ANN, not the internal criterion of the Subsystem 104 for training the ANN, but the criterion for verifying the quality of the forecast of the Subsystem 105 is used as a criterion for the quality of training of the ANN. 5. Система прогнозирования значений временного ряда интересующей характеристики, состоящая из связанных между собой блоков и подсистем: Блока 101 записи данных, записывающего в память временной ряд исходных данных, выделяя отдельно ряд значений исследуемой характеристики и ряд моментов времени, соответствующих известным значениям этой характеристики, а также моментов времени, на которых требуется построение прогноза по рассматриваемой характеристике, и из которого данные передаются в Блок 103 шифрования данных, реализующего шифрование и пересортировку данных обучающей и контрольных выборок, из которого данные в свою очередь передаются на подсистемы: Подсистему 104 Обучения ИНС и Подсистему 105 Работы ИНС в режиме прогноза, причем особенностью Подсистемы 104 Обучения ИНС является наличие блока формирования входных сигналов ИНС 202, состоящего из 2-х подблоков, на первый из которых может подаваться сигнал в виде значений временной шкалы исходного временного ряда, на второй из которых может подаваться сигнал в виде значений, соответствующих длине временного интервала, а также блока контрольного сигнала 203, на который может подаваться сигнал в виде значений приращения известных значений прогнозируемой характеристики; также данные из Блока 103 шифрования данных передаются на Подсистему 105 Работы ИНС в режиме прогноза с возможностью трансляции от Подсистемы 104 полного набора весовых синаптических коэффициентов в процессе их корректировки и возможностью трансляции на Подсистему 104 сигнала о достижении критерия точности прогноза и остановки обучения; причем после окончания процедуры обучения от Подсистемы105 Работы ИНС в режиме прогноза выходные данные передаются на Блок 102 Записи и вывода результата прогнозирования.5. The system for predicting the values of the time series of the characteristic of interest, consisting of interconnected blocks and subsystems: Block 101 of data recording, which records the time series of the initial data into memory, separating separately a number of values of the studied characteristic and a number of points in time corresponding to the known values of this characteristic, and also the points in time at which a forecast is required for the considered characteristic, and from which the data is transmitted to the Data encryption unit 103, which encrypts and re-sorts the data of the training and control samples, from which the data, in turn, is transmitted to the subsystems: Subsystem 104 of the Training ANN and the Subsystem 105 ANN operations in the forecast mode, and a feature of the ANN Training Subsystem 104 is the presence of a block for generating input signals of ANN 202, consisting of 2 sub-blocks, to the first of which a signal can be supplied in the form of values of the time scale of the initial time series, to the second of which x can be signaled in the form of values corresponding to the length of the time interval, as well as a block of the pilot signal 203, which can be signaled in the form of increment values of known values of the predicted characteristic; Also, data from the Data encryption unit 103 is transmitted to the Subsystem 105 of the ANN in the forecast mode with the possibility of broadcasting from the Subsystem 104 of the full set of weight synaptic coefficients in the process of their correction and the possibility of broadcasting to the Subsystem 104 a signal about the achievement of the forecast accuracy criterion and stopping the training; moreover, after the end of the training procedure from the Subsystem 105 of the ANN Operation in the forecast mode, the output data is transmitted to the Block 102 of Recording and output of the forecast result.
RU2019128366A 2019-09-10 2019-09-10 Method and a system for predicting time series values using an artificial neural network RU2744041C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2019128366A RU2744041C1 (en) 2019-09-10 2019-09-10 Method and a system for predicting time series values using an artificial neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2019128366A RU2744041C1 (en) 2019-09-10 2019-09-10 Method and a system for predicting time series values using an artificial neural network

Publications (1)

Publication Number Publication Date
RU2744041C1 true RU2744041C1 (en) 2021-03-02

Family

ID=74857633

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019128366A RU2744041C1 (en) 2019-09-10 2019-09-10 Method and a system for predicting time series values using an artificial neural network

Country Status (1)

Country Link
RU (1) RU2744041C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114894619A (en) * 2022-05-10 2022-08-12 中南大学 Method for predicting axial load-strain curve of concrete filled steel tubular column based on long-term and short-term memory network

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611726B1 (en) * 1999-09-17 2003-08-26 Carl E. Crosswhite Method for determining optimal time series forecasting parameters
US20110066579A1 (en) * 2009-09-16 2011-03-17 Oki Electric Industry Co., Ltd. Neural network system for time series data prediction
RU2459254C2 (en) * 2007-04-27 2012-08-20 Сименс Акциенгезелльшафт Method for computer-aided training of one or more neural networks
RU2533321C1 (en) * 2013-06-28 2014-11-20 Антон Андреевич Бекаревич Method for adaptive forecasting of residual operating life of complex objects, and device for its implementation
RU2600099C1 (en) * 2015-03-23 2016-10-20 Юрий Анатольевич Кропотов Method of neural network forecasting of change of values of function with its complementary wavelet processing and device for its implementation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611726B1 (en) * 1999-09-17 2003-08-26 Carl E. Crosswhite Method for determining optimal time series forecasting parameters
RU2459254C2 (en) * 2007-04-27 2012-08-20 Сименс Акциенгезелльшафт Method for computer-aided training of one or more neural networks
US20110066579A1 (en) * 2009-09-16 2011-03-17 Oki Electric Industry Co., Ltd. Neural network system for time series data prediction
RU2533321C1 (en) * 2013-06-28 2014-11-20 Антон Андреевич Бекаревич Method for adaptive forecasting of residual operating life of complex objects, and device for its implementation
RU2600099C1 (en) * 2015-03-23 2016-10-20 Юрий Анатольевич Кропотов Method of neural network forecasting of change of values of function with its complementary wavelet processing and device for its implementation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114894619A (en) * 2022-05-10 2022-08-12 中南大学 Method for predicting axial load-strain curve of concrete filled steel tubular column based on long-term and short-term memory network
CN114894619B (en) * 2022-05-10 2024-04-05 中南大学 Method for predicting axial compressive load-strain curve of concrete filled steel tube column based on long-short-term memory network

Similar Documents

Publication Publication Date Title
US20210256348A1 (en) Automated methods for conversions to a lower precision data format
CN108564326B (en) Order prediction method and device, computer readable medium and logistics system
CN110222371B (en) Bayes and neural network-based engine residual life online prediction method
CN111985523A (en) Knowledge distillation training-based 2-exponential power deep neural network quantification method
CN113544599A (en) Method for executing a process and optimizing a control signal used in the process
CN110309537B (en) Intelligent health prediction method and system for aircraft
EP3779801A1 (en) Method for optimizing neural network parameter appropriate for hardware implementation, neural network operation method, and apparatus therefor
RU2744041C1 (en) Method and a system for predicting time series values using an artificial neural network
CN114707712A (en) Method for predicting requirement of generator set spare parts
CN109065176B (en) Blood glucose prediction method, device, terminal and storage medium
CN115576502B (en) Data storage method and device, electronic equipment and storage medium
CN110991604A (en) Time sequence financial data prediction method based on wavelet cyclic neural network
CN115081609A (en) Acceleration method in intelligent decision, terminal equipment and storage medium
CN114154415A (en) Equipment life prediction method and device
CN104200269A (en) Real-time fault diagnosis method based on online learning minimum embedding dimension network
CN113469262A (en) Incremental learning method based on Fisher information matrix
CN111476408A (en) Power communication equipment state prediction method and system
CN110110853B (en) Deep neural network compression method and device and computer readable medium
CN111126659A (en) Power load prediction method and system
Herzallah et al. Robust control of nonlinear stochastic systems by modelling conditional distributions of control signals
US20210142151A1 (en) Artificial neural network training
CN112596396B (en) Coating machine die head adjusting and adjusting parameter calculation model training method and device
CN116541667B (en) Interpolation method and system for buoy time sequence data missing value
US20240028879A1 (en) System and method for parameter multiplexed gradient descent
EP3968234A1 (en) Method, computer program product and system for optimising the use of an artificial neural network