RU2744041C1 - Method and a system for predicting time series values using an artificial neural network - Google Patents
Method and a system for predicting time series values using an artificial neural network Download PDFInfo
- Publication number
- RU2744041C1 RU2744041C1 RU2019128366A RU2019128366A RU2744041C1 RU 2744041 C1 RU2744041 C1 RU 2744041C1 RU 2019128366 A RU2019128366 A RU 2019128366A RU 2019128366 A RU2019128366 A RU 2019128366A RU 2744041 C1 RU2744041 C1 RU 2744041C1
- Authority
- RU
- Russia
- Prior art keywords
- ann
- values
- training
- time
- series
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
Description
Заявленное изобретение относится к области прогнозирования значений временного ряда с использованием искусственной нейронной сети позволяет повысить точность прогнозирования значений временных рядов произвольных характеристик. The claimed invention relates to the field of predicting time series values using an artificial neural network to improve the accuracy of predicting the values of time series of arbitrary characteristics.
Распространенные параметрические способы построения прогноза в виде экстраполяции-степенная и полиномиальная регрессии [1] обладают недостатком, заключающимся в возможности возникновения неконтролируемой ошибки на интервале прогнозирования, особенно при высоком порядке прогнозирующей функции. Методы прогноза, основанные на идеях декомпозиции процессов по эмпирическим модам, использовании тригонометрических многочленов и вейвлетов не обеспечивают достаточной точности при росте числа составляющих процесса - т.е. роста количества влияющих переменных. Методы прогноза с использованием базисных функций (радиальные, «цилиндрические» и «эллиптические») менее чувствительные к росту размерности функции. Большое распространение получило прогнозирование временных рядов моделями авторегрессии-скользящего среднего [2]. Однако использование этих моделей часто может приводить к нелинейному росту ошибки уже при удалении на несколько шагов вперед. The widespread parametric methods of constructing a forecast in the form of extrapolation — power and polynomial regression [1] have the disadvantage that an uncontrolled error may occur in the forecasting interval, especially with a high order of the predicting function. Forecasting methods based on the ideas of decomposition of processes by empirical modes, the use of trigonometric polynomials and wavelets do not provide sufficient accuracy with an increase in the number of process components, i.e. growth in the number of influencing variables. Forecasting methods using basic functions (radial, "cylindrical" and "elliptic") are less sensitive to the growth of the function dimension. Forecasting of time series with autoregressive moving average models has become widespread [2]. However, the use of these models can often lead to a nonlinear increase in the error even after a few steps away.
В статье [7] обосновывается эффективность применения компонентов нейронных сетей - многослойных персептронов для аппроксимации и прогнозов функций нескольких переменных и их производных. The article [7] substantiates the efficiency of using neural network components - multilayer perceptrons for approximation and predictions of functions of several variables and their derivatives.
Однако работ, посвященных экстраполяции данных с использованием нейронных сетей в настоящее время не так много. В патенте RU 2459254 С2 изложен Способ компьютеризованного обучения одной или более нейронных сетей. Согласно изобретению вычисляется скорость изменения исходного временного ряда данных для получения значений производных. However, there are currently not many works devoted to data extrapolation using neural networks. Patent RU 2459254 C2 describes a method for computerized learning of one or more neural networks. According to the invention, the rate of change of the original time series of data is calculated to obtain derivative values.
Эти значения производных подвергаются Разложению по Эмпирическим Модам, которое является известным методом. Моды, извлеченные этим Разложением по Эмпирическим Модам, а также некоторые запаздывающие по времени значения временного ряда используются в качестве входов для нейронных сетей, в то время как выходом этих сетей являются будущие значения временного ряда, которые должны прогнозироваться. Эти сети обучаются и используются для прогнозирования будущих значений временного ряда. Изобретение обеспечивает хорошие результаты прогнозирования ввиду использования значений производных в качестве входов, причем также прошлые значения учитываются в качестве входов. Данный метод имеет основной недостаток в том, что при применении метода эмпирических мод часть информации о динамике процесса удаляется из обработки. В результате-нейронная сеть получит не полную информацию о процессе, в связи с чем растут ошибки прогноза. These derivative values undergo Empirical Mode Decomposition, which is a known method. The modes extracted by this Empirical Mode Decomposition, as well as some lagging time series values, are used as inputs to neural networks, while the output of these networks is the future time series values to be predicted. These networks are trained and used to predict future values of the time series. The invention provides good predictive results due to the use of derivative values as inputs, whereby past values are also taken into account as inputs. This method has the main disadvantage that when applying the method of empirical modes, part of the information about the dynamics of the process is removed from processing. As a result, the neural network will receive incomplete information about the process, and therefore forecast errors are growing.
В патенте №2533321 С1 описаны способ адаптивного прогнозирования остаточного ресурса эксплуатации сложных объектов и устройство для его осуществления. В котором нейросетевую модель предполагалось использовать для оценки надежности эксплуатации объекта контроля. Использовалась трехслойная искусственная нейронная сеть прямого распространения. Обучение выполнялось с использованием скользящего окна по методу обратного распространения ошибки. На каждом шаге обучения берут k значений ряда (по размеру окна) и обучают сеть, предъявляя в качестве эталона на выходе ИНС (k+1) значение ряда. Затем окно перемещается на шаг вправо и цикл обучения возобновляется. Данный процесс повторяют, начиная с первой позиции окна, до тех пор, пока не будут получены приемлемые результаты по точности. При экстраполяции ряда более чем на один шаг используются данные, полученные в результате предшествующих этапов экстраполяции. ИНС обучалась на 20 измерениях, и определялся остаточный ресурс сложного технического объекта. Недостатком метода явилось наличие значительных ошибок в экстраполяции, которые позволили лишь определить тенденцию.In the patent No. 2533321 C1, a method for adaptive forecasting of the residual resource of operation of complex objects and a device for its implementation are described. In which the neural network model was supposed to be used to assess the reliability of the operation of the control object. A three-layer artificial neural network of feed forward was used. The training was performed using a sliding window using the backpropagation method. At each step of training, k values of the series are taken (according to the size of the window) and the network is trained, presenting the value of the series as a reference at the output of the ANN (k + 1). The window then moves one step to the right and the learning cycle resumes. This process is repeated starting from the first window position until acceptable accuracy results are obtained. When extrapolating a series by more than one step, the data obtained as a result of the previous extrapolation steps are used. ANN was trained on 20 dimensions, and the residual resource of a complex technical object was determined. The disadvantage of this method was the presence of significant errors in extrapolation, which only allowed to determine the trend.
Наиболее близкой к настоящему изобретению является работа, изложенная в патенте RU 2600099 С1 Способ нейросетевого прогнозирования изменения значений функции с ее предварительной вейвлет-обработкой и устройство его осуществления устройство нейросетевого прогнозирования изменения значений функций, а также прогнозирования изменений значений временных рядов данных или дискретных отсчетов непрерывных функциональных зависимостей, содержащее блок формирования временного ряда x(k), с выхода которого через последовательно соединенные блок предварительной вейвлет-обработки, блок выделения аппроксимирующих коэффициентов m-го уровня Cm, а также блок формирования скользящего окна данных из n отсчетов аппроксимирующих коэффициентов с помощью n-разрядного сдвигового регистра, сигналы подаются на входы нейронной сети, построенной по схеме многослойного персептрона прямого распространения, с последующей итерационной процедурой обучения нейронной сети, в ходе которой осуществляется настройка весовых или синаптических коэффициентов по критерию минимизации ошибок прогноза. Обработанные детализирующие коэффициенты разложения di совместно с аппроксимирующими коэффициентами Cm подаются на вход блока восстановления временного ряда в реальном времени S(k) с пониженной погрешностью представления информации за счет его вейвлет-обработки.The closest to the present invention is the work described in patent RU 2600099 C1 Method for neural network prediction of changes in function values with its preliminary wavelet processing and a device for its implementation a device for neural network prediction of changes in function values, as well as predicting changes in values of time series of data or discrete readings of continuous functional dependencies, containing a block for generating a time series x (k), from the output of which through a series-connected block of preliminary wavelet processing, a block for extracting approximating coefficients of the m-th level C m , as well as a block for forming a sliding data window of n samples of approximating coefficients using n -bit shift register, signals are fed to the inputs of the neural network, built according to the multi-layer feedforward perceptron scheme, followed by an iterative neural network training procedure, during which the weight or synaptic coefficients according to the criterion of minimizing forecast errors. The processed detailing coefficients of the expansion d i together with the approximating coefficients C m are fed to the input of the real-time time series reconstruction unit S (k) with a reduced error in the information presentation due to its wavelet processing.
Основной проблемой при применении прогностического аппарата, описанного в данном методе является невозможность обеспечить приемлемую точность прогноза на временных сдвигах, превышающих число нейронов входного слоя. Увеличение числа нейронов входного слоя приводит к драматическому росту затрат машинного времени на работу аппарата.The main problem when using the prognostic apparatus described in this method is the impossibility of providing an acceptable forecast accuracy at time shifts that exceed the number of neurons in the input layer. An increase in the number of neurons in the input layer leads to a dramatic increase in the consumption of computer time for the operation of the apparatus.
Предложенные в настоящей работе Способ и система прогнозирования временного ряда с использованием искусственной нейронной сети (ИНС) включают в себя: способ создания продленных рядов - для извлечения максимума информации даже из коротких временных рядов известных значений исследуемой характеристики; способ шифрования данных для построения оптимальных выборок обучения ИНС - преобразующий известные значения исследуемой характеристики в набор зашифрованных метаданных; способ и подсистему обучения искусственной нейронной сети, позволяющий получить набор синаптических коэффициентов ИНС, обеспечивающих наиболее точный прогноз исследуемой характеристики; способ построения прогноза с использованием синаптических весов ИНС, прошедшей процедуру обучения. Рассмотрим способы и подсистемы подробно.The method and system for forecasting a time series using an artificial neural network (ANN) proposed in this work include: a method for creating extended series - for extracting a maximum of information even from short time series of known values of the studied characteristic; data encryption method for constructing optimal ANN training samples - converting the known values of the investigated characteristic into a set of encrypted metadata; a method and subsystem for training an artificial neural network, which makes it possible to obtain a set of synaptic ANN coefficients that provide the most accurate prediction of the studied characteristic; a method for constructing a forecast using the synaptic weights of an ANN that has passed the training procedure. Let's consider the methods and subsystems in detail.
Способ по п. 2 изобретения - Способ создания продленных рядов, в котором для подготовки обучающей выборки искусственной нейронной сети (ИНС) создаются дополнительные разбиения исходной временной шкалы ряда на дополнительные временные интервалы различной длины. Разбиение производится следующим образом: На первом этапе, момент времени 1-го известного значения временного ряда - принимается за начало нового интервала, а в качестве длины нового интервала берется сумма длин первого и последующего временных интервалов между известными значениями исходного временного ряда прогнозируемой характеристики. Следующий интервальный отрезок строится путем сдвига начала нового интервала на один старый интервал вправо по временной шкале, т.е. на один шаг исходного временного ряда. Длина его также будет составлять два старых интервала - 2-й и 3-й. Новые отрезки строятся, пока концом последнего отрезка не окажется момент времени последнего известного значения. На втором этапе строятся интервальные отрезки, где длина отрезка еще увеличивается на длину одного старого интервала. Длина новых отрезков будет составлять уже 3 исходных интервала (3 шага ряда). Второй и последующие отрезки второго этапа строятся также длиной в 3 старых интервала путем сдвига на один старый интервал. Сдвиги повторяются вплоть до момента достижения концом последнего нового отрезка момента времени последнего известного значения временного ряда. Этапы построения отрезков продолжаются, пока на последнем этапе не будет построен отрезок длиной в интервал времени между 1-ми последним известным значением исходного временного ряда. Таим образом, в нашем распоряжении оказывается построено интервальных отрезков. Например, для имеющегося временного ряда длинной в 31 известное значение, может быть построено 465 интервалов, для которых могут быть построены ряды метаданных, эффективно используемых при построении прогноза. Описанная процедура программно реализована в блоке 201 Создания продленных рядов Подсистемы 104.The method according to
Способ по п. 3 изобретения - Способ шифрования данных для построения оптимальных выборок обучения ИНС программно реализован в блоке 103 Системы прогнозирования значений временного ряда. Для всех значений рядов данных M(t,j), где t - значение моментов времени, j - номер ряда поступивших в блок 103 из блока Записи данных 101 Системы прогнозирования значений временного ряда определяется минимальное по модулю значение. Далее умножают все ряды на константу D - в этой реализации изобретения, при которой это выбранное минимальное значение становится больше 1, либо используют другие способы в других реализациях изобретения для приведения всех значений временных рядов к значениям больше 2. Далее выбирают максимальное по модулю из всех значений временных рядов поступивших в Блок 103, умноженных на D. Далее берут десятичный логарифм и определяют константу DD, при делении на которую значение десятичного логарифма от выбранного значения оказывается не более значения порога Р, которое должно быть меньше единицы. В данной реализации изобретения значение Р выбиралось = 0,6 и может быть выбрано любым, желательно близким к 0.5, но заведомо меньшего 1 в других реализациях изобретения. Далее формируют ряды Ms(t,j), состоящие из функции sign(знака) каждого из значений рядов, находящихся в блоке 103. Далее - значение каждого ряда M(t,j), умножается на соответствующее значение рядов знака Ms(t,j), образуя ряды только положительных значений Mp(t,j), далее - от каждого значения рядов Mp(t,j), умноженных на D берется десятичный логарифм, делится на константу DD, и затем снова умножается на соответствующее значение рядов знака Ms(t,j), образуя ряды зашифрованных метаданных Mm(t,j), имеющих как положительный, так и отрицательный знаки, не превышающие по модулю значение порога Р, меньшее единицы, подготовленных для эффективного использования нейросетью. Полученные ряды метаданных записываются в блок шифрования метаданных 103 Системы прогнозирования значений временного ряда (фиг. 1). Для минимизации ошибки прогноза в качестве сигналов входа ИНС в режиме обучения лучше всего использовать выборки, значения которых на следующем шаге случайным образом отличаются от значений на предыдущем шаге. Для этого в блоке 103 с помощью генератора случайных чисел генерируется ряд RD, равный по длине ранее записанным рядам Mm(t,j). Далее производится одновременная сортировка всех рядов Mm(t,j), и RD таким образом, чтобы значения RD встали в порядке возрастания - так производится случайное одновременное перемешивание рядов метаданных Mm(t,j). Новые ряды перезаписываются в блок 103 Системы прогнозирования значений временного ряда.The method according to claim 3 of the invention - A method for encrypting data for constructing optimal training samples of the ANN is software implemented in
Система прогнозирования значений временного ряда интересующей характеристики Система состоит Блока 101 записи данных (Фиг. 1), записывающего в память временной ряд исходных данных, выделяя отдельно ряд значений исследуемой характеристики и ряд моментов времени, соответствующих известным значениям этой характеристики, Блока 102 Записи и вывода результата прогнозирования, Блока 103 шифрования данных, реализующего шифрование и пересортировку данных обучающей и контрольных выборок в наиболее удобный формат для обучения ИНС, а также двух подсистем:The system for predicting the values of the time series of the characteristic of interest The system consists of a Data Recorder 101 (Fig. 1), which records the time series of the initial data into memory, separating separately a number of values of the investigated characteristic and a number of points in time corresponding to the known values of this characteristic, Block 102 of Recording and output of the result forecasting,
Подсистема обучения искусственной нейронной сети для прогнозирования значений временного ряда-104 на (Фиг. 2), состоящая из Блока присваивания начальных значений синаптическим весам 200, в котором генерируется массив начальных синаптических весовых коэффициентов, Блока 201 Создания продленных рядов метаданных, реализующего разбиение на временные интервалы согласно Способу по п 2 настоящего изобретения, на основании которых будут строится обучающая (входных значений ИНС) и контрольная(контрольных значений ИНС)выборки для обучения ИНС. Также состоящей из блока 202 Формирования входных сигналов, в который из блока 103 Системы прогнозирования значений временного ряда, зависимости от заданных параметров L1 и L2 поступают часть значений из рядов Mm(t,j1), где параметр времени t ограничен нижней границей L1 и верхней границей L2, а индекс j1 - означает, что ряды относятся к рядам обучающих выборок. Блок 202 в зависимости от управляющих параметров Q и W Подсистемы 104 отправляет в различной последовательности элементы рядов обучающих выборок, относящихся к одному моменту времени t, на входные нейроны Блока Прямого распространения сигнала в ИНС 204 Подсистемы 104. Также состоящей из Блока контрольных обучающих сигналов 203 (фиг. 2), в который из блока 103, зависимости от заданных параметров L1 и L2 поступают часть значений из рядов Mm(t,j2), где параметр времени t ограничен нижней границей L1 и верхней границей L2, а индекс j2 - означает, что ряды относятся к рядам Контрольных выборок. Блок 203 в зависимости от управляющих параметров Q и W Подсистемы 104 отправляет в различной последовательности элементы рядов Контрольных выборок, относящихся к одному моменту времени t, на Блок Оценки ошибки 205 Подсистемы 104. Также состоящая из блока прямого распространения сигнала искусственной нейронной сети (ИНС) 204 (фиг. 2), основу которого составляет ИНС прямого распространения, состоящая в настоящей реализации из трех слоев, (или - более трех слоев в других реализациях) - одного входного, одного скрытого и одного выходного слоев, содержащих в данной реализации 23 нейрона входного слоя, 23 нейрона скрытого слоя, 1 нейрона выходного слоя и содержащего другое количество нейронов в слоях в других реализациях данного изобретения, но не менее 2х нейронов во входном слое. Под искусственным нейроном понимается конструкция, состоящая из сумматора входных сигналов от нейронов предыдущего слоя или сигналов входа (для нейронов входного слоя), передающий суммированный сигнал через функцию активации, представляющую из себя гиперболический тангенс для нейронов скрытого и выходного слоев и константу = 1 для нейронов входного слоя в настоящей реализации изобретения и возможные другие функции активации в других реализациях данного изобретения, на все нейроны следующего слоя. Переход выходных сигналов с нейронов одного слоя на нейроны следующего слоя происходит через синаптические связи между нейронами соседних слоев, которые на практике реализуются путем умножения выходного сигнала с i-го нейрона, направленного на k-й нейрон следующего слоя на коэффициент синаптической связи bi,k (фиг. 4),A subsystem for training an artificial neural network for predicting the values of the time series-104 on (Fig. 2), consisting of the Block for assigning initial values to
Таким образом, обозначив входной слой индексом j=0, скрытый слой индексом j=1, выходной слой индексом j=2, имеем формулу для расчета выходного сигнала всех нейронов скрытого слоя OUTi,1 и единственного нейрона выходного слоя OUT0,2 в виде: Thus, denoting the input layer with the index j = 0, the hidden layer with the index j = 1, and the output layer with the index j = 2, we have the formula for calculating the output signal of all neurons in the hidden layer OUT i, 1 and the only neuron in the output layer OUT 0.2 in the form :
где индекс i - показывает номер нейрона j-го слоя (j=1, 2), причем для j=2 индекс i принимает единственное значение i=0. Данный выходной сигнал получен суммированием выходов k-х нейронов предыдущего слоя, умноженных на веса синапсов k-х нейронов предыдущего слоя ведущих к данному i-му нейрону и прошедшего через функцию активации - гиперболический тангенс.where the index i - shows the number of the neuron of the j-th layer (j = 1, 2), and for j = 2 the index i takes the only value i = 0. This output signal is obtained by summing the outputs of the k-th neurons of the previous layer, multiplied by the weights of the synapses of the k-th neurons of the previous layer leading to this i-th neuron and passing through the activation function - the hyperbolic tangent.
В состав Подсистемы 104 также входит блок Оценки ошибки 205 (фиг. 2), в котором происходит определение разности между выходными сигналами блока Прямого распространения сигнала 204 и контрольными сигналами от блока 202 блока Контрольных обучающих сигналов. При достижении установленной точности соответствия выходных сигналов контрольному, блок оценки ошибки останавливает процесс обучения. В состав Подсистемы 104 также входит блок 206 Обратного распространения ошибки, основу которого составляет расчетный модуль, работающий на известном методе обратного распространения ошибки, изложенного, например в [3, 5, 6] Конечным результатом работы Подсистемы 104 обучения ИНС является полный набор весовых синаптических коэффициентов (bi,k)j входного и скрытого слоев, (j=0 - для входного слоя и j=1 - для скрытого слоя), т.к у нейрона выходного слоя нет синапсов исходящей связи, которые блок 206 на каждом шаге обучения передает на Подсистему 105 работы ИНС в режиме прогноза.The
Подсистема построения прогноза, называемая далее «Подсистема105» состоящая из блока 301 Модерации входных данных Подсистемы 105 в который подаются временные ряды из Блока Записи данных 101 Системы прогнозирования значений временного ряда, из которых в соответствии со Способом по п. 5 настоящего изобретения, подготавливаются выборка входного сигнала, который шифруется в метаданные в блоке Шифрования данных 103 Системы прогнозирования значений временного ряда в соответствии со Способом по п. 3 изобретения и поступает на блок прямого распространения сигнала ИНС 302 Подсистемы 105, который по своим функциям и программному решению полностью аналогичен Блоку 204 Подсистемы 104 и работает с ним одновременно, используя одинаковый набор весов (bi,k)j но используя свой набор входных данных, взятых как из временного диапазона, соответствующего обучению, так и временного диапазона, на котором необходимо построение прогноза. Выходные значения блока 302 Подсистемы 2 подаются наблок Дешифрования данных 303 Подсистемы 105, который переводит прогнозные метаданные в реальные цифровые значения методом, обратным методу шифрования в блоке 103 Системы, Дешифрованные данные подаются на блок Записи и вывода результата прогноза 102 Системы прогнозирования значений временного ряда с использованием искусственной нейронной сети, который осуществляет цифровой и графический вывод результата прогноза и на блок 304 Контроля ошибки прогноза Подсистем в 105, который сравнивает полученные прогнозные значения на входных данных диапазона обучения с известными значениями исследуемой характеристики. В случае выполнения критерия установленной минимальной ошибки прогноза на диапазоне обучения, Блок 304 передает сигнал о остановке обучения на Подсистему 104 Обучения искусственной нейронной сети. В этом случае, Подсистема может прекратить обучение, но может и продолжить обучение до выполнения ее внутреннего критерия прекращения обучения. Решение определяется установкой приоритета одного из критериев над другим перед началом обучения ИНС.A forecasting subsystem, hereinafter referred to as "Subsystem105", consisting of a
Способ по п 4 изобретения - Способ обучения искусственной нейронной сети заключающийся в том, что в данной реализации изобретения на первом этапе в блоке 200 Подсистемы 104 создаются начальные синаптические веса (b0i,k)j генератором случайных чисел в диапазоне от -0.5 до 0.5. В других реализациях - возможно присвоение других значений начальным синаптическим весам). Затем, блок 101 Системы прогнозирования значений временного ряда передает в блок Создания продленных рядов 201 Подсистемы 4 ряд моментов времени соответствующих исходному ряду известных значений прогнозируемой характеристики для генерации продленных рядов согласно Способу по п. 2 изобретения. Затем, по построенным в блоке 201 новым интервальным отрезкам строятся 3 ряда: Ряд значения момента времени конца отрезка - в виде ряда ММ0, приращение времени - как разница между значениями времени конца и начала интервального отрезка - в виде ряда MD0 и приращение самих известных значений временного ряда прогнозируемой характеристики на этом интервальном отрезке, как разница между ее значениями в моменты времени, соответствующие концу и началу интервального отрезка- в виде ряда MD1.The method according to claim 4 of the invention - A method for training an artificial neural network, which consists in the fact that in this implementation of the invention, at the first stage, in
В настоящей реализации изобретения 2 первых ряда ММ0 и MD0 используются как ряды обучающей выборки, а 3-й ряд - MD1 как ряд значений контрольной выборки. В других реализациях изобретения Обучающая и Контрольная выборки могут формироваться другим способом. Далее - в блок Шифрования данных 103 Системы прогнозирования значений временного ряда (фиг. 1) поступают все 3 ряда - ММ0, MD0, и MD1. Согласно способу по п. 3 настоящего изобретения значения рядов ММ0, MD0, и MD1 шифруются в ряды метаданных MMm0, MDm0, и MDm1 затем, в соответствии с параметрами Подсистемы 104 L1 и L2 - блоком Формирования входного сигнала 202 Подсистемы 104 и блоком Контрольных обучающих сигналов 203 Подсистемы 104 подаются, соответственно, входной сигнал на 204 Блок Прямого распространения сигнала в ИНС Подсистемы 104 и контрольный сигнал на блок Оценки ошибки 205 Подсистемы 104. Далее, после прохождения входного сигнала через ИНС прямого распространения блока 204, с ее выходного нейрона снимается выходной сигнал, который поступает в блок Оценки ошибки 205 Подсистемы 104. Далее блоком 205 вычисляется разность между выходным сигналом блока 204 и контрольным сигналом от блока 203. Данная разность отправляется на блок Обратного распространения ошибки 206 Подсистемы 104. Обучение - корректировка полного набора синаптических коэффициентов (весов) ИНС производится с помощью расчетного модуля блока 206. На следующем этапе Блок 206 Подсистемы 104 транслирует в качестве сигнала ошибку, полученную из блока 205 на все нейроны скрытого слоя, а затем от них - на все нейроны входного слоя, где методом оптимизации, известный как метод градиентного спуска в настоящей реализации изобретения, или - другим известным методом в других реализациях изобретения производится корректировка весовых синаптических коэффициентов (bi,k)j Данный способ обучения является стандартным способом обучения ИНС и описан, например в [3, 5, 6]. Параметром скорости обучения является константа SPEED, значение которой задается оператором произвольно из диапазона (0,1). После первого цикла обратного распространения сигнала и первой корректировки синаптических коэффициентов (bi,k)j значения весов отправляются в блок 302 Прямого распространения ИНС где строится верификационный прогноз, который дешифровывается в блоке 303 и поступает на блок 304 оценки точности прогноза, где сравнивается с известными значениями исходного временного ряда. В случае, если в блоке 304 выполнен критерий точности прогноза, то блок 304 отправляет сигнал остановки обучения на блок 206 Подсистемы 105. Подсистема 104 может прекратить обучение, но может и продолжить обучение до получения сигнала только от своего блока 205 о прекращения обучения. Решение о прекращении обучения определяется параметрической установкой приоритета одного из критериев над другим перед началом обучения ИНС.In the present implementation of the invention, the first 2 rows MM0 and MD0 are used as the rows of the training sample, and the 3rd row is MD1 as the series of values of the control sample. In other implementations of the invention, the Training and Control samples may be generated in a different way. Then, all 3 rows - MM0, MD0, and MD1 - are sent to the
Если сигналов на остановку обучения не поступало, то ИНС работает в соответствии с заданными значениями параметров блока 206 Q и W. Если Q>1, то происходит повтор процедуры обучения (корректировки весов (bi,k)j - т.е. повторение прямого прохода без изменения значений входного и контрольного сигналов, поступающих на блоки 204 и 205 соответственно с блоков 202 и 203. Повторяется вычисление ошибки блоком 205 и процедура обратного прохода сигнала ошибки, выполняемая блоком 206, в результате которого на блоке 206 заново рассчитывается корректировка весов (bi,k)j. Таких циклов обучения производится либо Q раз, либо до получения сигнала остановки, поступившего от блока оценки ошибки 205, либо-блока 304, свидетельствующего о достижении заданной точности обучения. Если число циклов обучения достигло параметра Q и обучение остановлено не было, то происходит переход на новые значения входных данных и контрольного значения, поступающих из блоков 202 и 203 и являющимися следующими по порядку значениями рядов MM0m, MD0m, MD1m. С этими входными данными так же, как и ранее - Q или менее раз проводится процедура обучения сети (корректировка тех же весовых синаптических коэффициентов) методом обратного распространения ошибки. Далее вводятся все новые и новые данные путем сдвига рядов MM0m, MD0m, MD1m каждый раз на один шаг с каждым разом выполняя корректировку коэффициентов (bi,k)j. При достижении блоками 202 и 203 числа сдвигов = L2-L1 - т.е. достижения конца поданных на обучение выборок из рядов MM0m, MD0m, MD1m при значении параметра W>1 производится повтор всех предыдущих операций (новая эпоха обучения). Операции продолжаются до тех пор, пока число новых эпох не достигнет заданного ранее параметра W, либо не поступит сигнал от блоков 205 или 304, свидетельствующих о достижении успеха в обучении. Блок оценки ошибки 205 как и блок 304 позволяет производить визуализацию достигнутой точности обучения в виде вывода значения ошибки, как в цифровом виде в форме значения среднеквадратичного отклонения выходного сигнала блока от тестовых значений так и в графическом виде. Если после прохождения всех заданных параметрами Q и W числа циклов приемлемое качество достигнуто не было, то необходимо провести корректировку параметров SPEED, Q и W. Результатом использования Способа обучения ИНС по данному пункту изобретения является полный набор весовых синаптических коэффициентов (bi,k)j If there were no signals to stop learning, then the ANN operates in accordance with the specified values of the parameters of block 206 Q and W. If Q> 1, then the learning procedure is repeated (correcting the weights (b i, k ) j - i.e., repetition of the direct pass without changing the values of the input and control signals supplied to
Способ по п. 5 изобретения - способ построения прогноза с использованием синаптических весов ИНС, прошедшей процедуру обучения. Способ по данному пункту изобретения заключается в рандомизации длин интервальных отрезков, параметры которых, а именно - параметр значения времени, соответствующего концу интервального отрезка - величина, представляющая собой сигнал, подаваемый на вход 1 блока 302 Подсистемы 105 и длина самого интервального отрезка в качестве приращения параметра времени - величина, представляющая собой сигнал, подаваемый на вход 2 блока 302 Подсистемы 105, используются для построения прогноза. Процедура производится из соображения, что зачастую сложно получить идеальное обучение ИНС-часто разные уровни сигналов входа дают разные уровни ошибок, даже если в среднем ошибка была засчитана как соответствующая критерию окончания обучения. Таким образом, для минимизации ошибки прогноза в качестве сигналов входа необходимо использовать выборки, значения которых на следующем шаге отличаются от значений на предыдущем шаге. Для этого блоком 301 формирования случайных длин отрезков Подсистемы 105 формируется ряд, квази-случайных временных параметров AS - в этой реализации изобретения по формуле, где AS - параметр времени конца i-го временного интервала, а второе слагаемое - является длиной i-го временного интервального отрезка, и рассчитывается как верхняя граница от частного случайного числа, распределенного от 0 до 6 и другого случайного числа распределенного от 0 до 6 плюс 1. В других реализациях данного изобретения расчет длин интервальных отрезков для прове6дения процедуры прогнозирования может быть рассчитан другим способом. Далее формируются соответствующие построенным отрезкам параметры, которые проходят процедуру форматирования и шифрования в блоке 103 Системы прогнозирования значений временного ряда, затем подаются на входы блока 302 Подсистемы 105, в который загружены параметры bi,j прошедших полную процедуру обучения (корректировки) согласно Способу п. 3 настоящего изобретения. Далее - выходной сигнал из блока 302 Подсистемы 105 поступает на вход блока 303 Расшифровки метаданных Подсистемы 105, где проходит расшифровку и перевод из метаданных в реальные прогнозные приращения характеристики значения. Далее в блоке Записи и вывода результата 102 Системы прогнозирования значений временного ряда, согласно данной реализации изобретения восстанавливаются прогнозные значения характеристики на основе полученных прогнозных данных приращения этой характеристики. Результат прогнозирования выводятся в виде временного ряда, а также - графически.The method according to claim 5 of the invention is a method for constructing a forecast using the synaptic weights of an ANN that has passed the training procedure. The method according to this paragraph of the invention consists in randomizing the lengths of interval segments, the parameters of which, namely, the parameter of the time value corresponding to the end of the interval segment, is a value that is a signal supplied to input 1 of
Способ обучения сети с оценкой точности по прогнозу Способ обучения ИНС, отличающийся от способа по п. 4 Изобретения тем, что приоритетным критерием качества обучения ИНС служит не внутренний критерий подсистемы обучения, а критерий верификации качества готового прогноза Подсистемы работы ИНС в режиме прогноза, который контролируется блоком 304 Контроля ошибки прогноза. Критерием качества прогноза может служить среднеквадратичное отклонение значений прогноза от известных значений характеристики на временном интервале известных значений характеристики.Method of network training with forecasting accuracy estimation Method of ANN training, which differs from the method according to clause 4 of the Invention in that the priority criterion of the quality of ANN training is not the internal criterion of the training subsystem, but the criterion for verifying the quality of the finished forecast of the ANN operation subsystem in the forecast mode, which is controlled
Ниже разберем конкретный пример последовательного функционирования всех способов и подсистем.Below we will analyze a specific example of the sequential functioning of all methods and subsystems.
Пусть у нас имеется временной ряд значений K(t) с известными значениями на отрезке t=[0,30], с дискретностью = 1.Suppose we have a time series of values K (t) with known values on the interval t = [0.30], with discreteness = 1.
Пусть K зависит от t через функцию x(x), представляющую из себя комбинацию тренда, гармонической функции случайного шума: Пусть зависимость K от x имеет следующий вид:Let K depend on t through the function x (x), which is a combination of the trend, the harmonic function of random noise: Let the dependence of K on x have the following form:
Графически зависимость K(t) представлена на Фиг. 5а). Будем считать то значения К при t>30 нам уже не известны На первом этапе строим ряды метаданных по Способу п. 2Graphically, the K (t) relationship is shown in FIG. 5a). We will assume that the values of K at t> 30 are no longer known to us.At the first stage, we build the series of metadata according to the Method of
Далее - готовим обучающую выборку для ИНС. В качестве входа на обучение ИНС пойдут зашифрованные по Способу п. 3 значения моментов времени (t), соответствующие концам новых интервальных отрезков MM0s, и длины этих отрезков MD0s в качестве значений приращений времени. И в качестве контрольного обучающего сигнала при обучении ИНС пойдут зашифрованные значения приращения характеристики К за временные интервалы, равные длинам новых отрезков - MD1s. Эти метаданные выглядят так:Next, we prepare a training sample for the ANN. As an input to the ANN training, the values of the time instants (t), encrypted according to the Method of item 3, corresponding to the ends of the new interval segments MM0s, and the lengths of these segments MD0s, as the values of the time increments, will be used. And as a control training signal when training the ANN, the encrypted values of the increment of the characteristic K will go over time intervals equal to the lengths of the new segments - MD1s. This metadata looks like this:
Согласно Способу по п. 3 начинаем обучение ИНС. Пусть в нашем случае используется близкое к предельному количество новых отрезков. Для интервала t=[0,30] число отрезков будет равно 465. Берем L1=0, L2=462. Тогда пошаговая процедура ввода параметров обучения на ИНС начнется с нулевого индекса рядов MM0m, MD0m, MD1m.According to the Method according to claim 3, we begin training the ANN. Let in our case the number of new segments close to the limiting one is used. For the interval t = [0.30], the number of segments will be 465. Take L1 = 0, L2 = 462. Then the step-by-step procedure for entering the training parameters on the ANN will start from the zero index of the series MM0m, MD0m, MD1m.
В настоящей реализации изобретения рекомендуется начинать процесс обучения, с относительно больших значений параметра SPEED - из диапазона[0,1, 0,5] - и малых значений параметров Q и W.In the present implementation of the invention, it is recommended to start the learning process with relatively large values of the SPEED parameter - from the range [0.1, 0.5] - and small values of the parameters Q and W.
Пусть SPEED=0.5, Q=2, W=2. Согласно этим параметрам каждая тройка из 462 значений рядов MM0m, MD0m, MD1m поучаствует в двойных циклах обучения - коррекции синаптических весов, а затем - дождавшись своей очереди после окончания двойных циклов для каждого из 462 других членов своего ряда, снова поучаствует в двойном обратном проходе ошибки.Let SPEED = 0.5, Q = 2, W = 2. According to these parameters, each triple of 462 values of the series MM0m, MD0m, MD1m will take part in double learning cycles - correction of synaptic weights, and then, having waited for its turn after the end of double cycles for each of 462 other members of its series, will again take part in the double reverse pass of the error ...
Коррекция синаптических весов i-го нейрона скрытого слоя рассчитывается по формуле: , где g - индекс значений обучающих метаданных (от 0 до 462) и, OUT - значение выходного сигнала снятого с единственного (нулевого) нейрона выходного слоя для расположенных на g - м месте в своих рядах пары значений метаданных MM0m, MD0m, подающихся на вход ИНС.Correction of the synaptic weights of the i-th neuron of the hidden layer is calculated by the formula: , where g is the index of the values of the training metadata (from 0 to 462) and, OUT is the value of the output signal taken from the only (zero) neuron of the output layer for the pairs of metadata values MM0m, MD0m located at the gth place in their rows, supplied to the input ANN.
В свою очередь,In turn,
где (OUT0,nj) - MD0mg как раз и представляет собой ошибку обучения, приходящую от блока 205, транслирующуюся от выходного нейрона к нейронам входного слоя через нейроны скрытого слоя.where (OUT 0, nj ) - MD0m g is precisely the learning error coming from
Результат такого обучения в виде значений выходного сигнала, прошедшей 1-е тестовое обучение ИНС для каждого индекса входных параметров g - лежащего в пределах от 0 до 462, представлен на Фиг. 5б).The result of such training in the form of values of the output signal that has passed the 1st test training of the ANN for each index of the input parameters g - lying in the range from 0 to 462, is shown in Fig. 5 B).
Выходной сигнал «мечется» от значений -1 до +1, Что означает полное «переобучение» ИНС из-за слишком большого параметра SPEED. Следующий подход необходимо сделать уменьшив SPPED в 10 раз. Для параметров:The output signal "rushes" from -1 to +1, which means a complete "retraining" of the ANN due to too large SPEED parameter. The next approach must be done by reducing the SPPED by 10 times. For parameters:
(где QQ - соответствует Q).(where QQ - corresponds to Q).
Наблюдается картина, отраженная на Фиг 5.в): что означает сильное «недообучение» ИНС. Уровень выходного сигнала (красная кривая) очень сильно слабее контрольного (синего). Это значит, что входной сигнал проходя через синаптические связи ИНС очень слабо «регулирует» выход. Необходима очередная коррекция параметров обучения.The picture is observed, reflected in Fig. 5.c): which means a strong "under-training" of the ANN. The output signal level (red curve) is very much weaker than the control signal (blue). This means that the input signal, passing through the synaptic connections of the ANN, very weakly "regulates" the output. The next correction of the training parameters is required.
В этом случае рекомендуется в 10 раз увеличить параметр WIn this case, it is recommended to increase the
Результат (Фиг. 5г) лучше не стал. До сих пор - недообучение. Увеличиваем W еще на 25%, a Q - в 2 раза. Такую комбинацию параметров ноутбук с процессором AMD-RYZEN 5 с частотой 2000 МГЦ просчитывал порядка 4 минут.The result (Fig. 5d) did not get any better. Until now - under-training. We increase W by another 25%, and Q - 2 times. A laptop with an AMD-RYZEN 5 processor with a frequency of 2000 MHz calculated this combination of parameters for about 4 minutes.
Новая комбинация параметровNew combination of parameters
На Фиг. 5д), е) Показан как результат обучения ИНС - Фиг. 5д), так и прогноза: Фиг. 5 е) мы «проскочили» точку «равновесия» - сеть несильно, но переобучена, отклик превосходит контрольный сигнал, прогноз устремился в бесконечность. Тем не менее видно, что параметры Q и W подобраны почти корректно.FIG. 5e), f) Shown as a result of training ANN - Fig. 5e) and forecast: Fig. 5 f) we have "passed" the point of "equilibrium" - the network is not strong, but overtrained, the response exceeds the control signal, the forecast rushed to infinity. Nevertheless, it can be seen that the parameters Q and W were chosen almost correctly.
Вручную прощупаем точку равновесия: снизив на 1 значение W:We will manually probe the balance point: by decreasing the W value by 1:
Результат - на - (Фиг. 6а), б). Уже - переобучение!Result - on - (Fig. 6a), b). Already - retraining!
Значит фиксируем параметры Q и W на заданном уровне - Q=4 и W=24 и начинаем автоматический подъем по параметру SPEED с дискретностью 0.0001.This means that we fix the parameters Q and W at a given level - Q = 4 and W = 24 and start an automatic rise according to the SPEED parameter with a discreteness of 0.0001.
Блок контроля ошибки прогноза 304 Подсистемы 105 предлагает нам остановится уже на 2-й итерации при параметрах:The forecast
Результат показан на - Фиг. 6в), г).The result is shown in FIG. 6c), d).
На (Фиг. 6,г) видно, что линия нейросетевого прогноза - дает хорошую прогнозную экстраполяцию даже на интервалах - существенно превышающих отрезок обучения t=[0,30]It can be seen in (Fig. 6, d) that the neural network forecast line gives a good predictive extrapolation even at intervals that significantly exceed the training interval t = [0.30]
Найти положение равновесия можно и на других комбинациях параметров, например:The equilibrium position can also be found using other combinations of parameters, for example:
Результат показан на - Фиг. 6д), е).The result is shown in FIG. 6e), f).
Основной вывод о процессе обучения: Процесс обучения не может быть полностью автоматизирован, т.к. оператор вручную должен провести «грубую» совместную настройку 3-х параметров - SPEED, Q и W. Нащупать факт прохождения «равновесия» а затем - тонкую настройку по одному из трех параметров проводить уже автоматически, пользуясь критерием остановки обучения с блока 205 Подситемы 104 или блока 304 Подсистемы 105. На приведенных примерах демонстрировалась регрессия временного ряда по временной шкале t с введением плавающих длин отрезков. Задача существенно упрощается, если требуется провести регрессию характеристики K по переменной х, не линейно зависящей от t. Ниже дана иллюстрация высочайшей точности прогноза параметра K не по известным значениям t, а по известным значениям X(t).The main conclusion about the learning process: The learning process cannot be fully automated, because the operator must manually carry out a "rough" joint adjustment of 3 parameters - SPEED, Q and W. To feel the fact of passing the "equilibrium" and then to fine-tune one of the three parameters already automatically, using the criterion for stopping training from
Тестирование алгоритма проводится на сравнении с результатами, полученными аппроксимацией полиномиальными/экспоненциальными функциями, построенными по алгоритму оптимизации Левенберга - Марквардта.The testing of the algorithm is carried out on comparison with the results obtained by approximation by polynomial / exponential functions constructed using the Levenberg - Marquardt optimization algorithm.
Пусть характеристика К зависит от переменных X(t) и Y(t) представляющих собой суперпозицию высокочастотного колебания, полиномиального тренда и рациональной функции:Let the characteristic K depend on the variables X (t) and Y (t), which are a superposition of a high-frequency oscillation, a polynomial trend and a rational function:
Ниже проиллюстрировано качество прогноза нейросети из трех слоев (входной-скрытый-выходной) длиной слоя 5 нейронов и параметрамиThe quality of the forecast of a neural network of three layers (input-hidden-output) with a layer length of 5 neurons and parameters is illustrated below
где QQ=1 - параметр «пакетности», W - число эпох, L2-L1=30 - длина временного отрезка обучения.where QQ = 1 is the "batch" parameter, W is the number of epochs, L2-L1 = 30 is the length of the training time interval.
Результат показан на Фиг. 7.The result is shown in FIG. 7.
Данная сеть очень хорошо аппроксимировала характеристику К в диапазоне 30-60, т.е. за пределами диапазона обучения - t=(0-30) (синие точки) Ей конкурировали - регрессионные аппроксимации, построенные по данным участка 0-30 с помощью полиномов 2-й степени (зеленая линия) - с помощью полиномов 3-й степени (фиолетовая линия) методом наименьших квадратов. Видно, что после выхода за пределы отрезка обучения - t=(0-30) прогнозы по полиномиальной регрессии начинают сильно терять точность. Более высокие порядки полиномов начинали терять точность с ужасающей скоростью. Более продвинутый конкурирующий метод прогнозирования с помощью степенных функций вида, f(x,b,c):=b⋅xc.This network very well approximated the K characteristic in the range of 30-60, i.e. outside the training range - t = (0-30) (blue dots) She was competing - regression approximations built from the data of the 0-30 section using polynomials of the 2nd degree (green line) - using polynomials of the 3rd degree (purple line) by the least squares method. It can be seen that after going beyond the training interval - t = (0-30), polynomial regression predictions begin to lose their accuracy greatly. Higher orders of polynomials began to lose precision at an alarming rate. A more advanced competing forecasting method using power functions of the form, f (x, b, c): = b⋅x c .
В котором параметры модели b,c находятся по алгоритму оптимизации Левенберга - Марквардта [4] показали более точный результат, чем полиномиальная аппроксимация, однако Прогноз, построенный по описанному в работе методу изобретения с использованием обученной согласно методу изобретения ИНС, оказался точнее.In which the parameters of the model b, c are found according to the Levenberg-Marquardt optimization algorithm [4] showed a more accurate result than the polynomial approximation, however, the forecast constructed according to the method of the invention described in the work using the ANN trained according to the method of invention turned out to be more accurate.
В способе одним из самых важных моментов является способ обучения искусственной нейронной сети (ИНС), при котором производится корректировка набора весовых коэффициентов, характеризующих синоптические связи между нейронами разных слоев ИНС. Особенностью данного способа является уникальность подбора сигналов, как входных, подающихся на входные нейроны ИНС, так и контрольного - необходимого для оценки ошибки. Для формирования конечных сигналов начальные данные предварительно шифруются способом, описание которого будет приведено ниже. Также ниже будет подробно описан способ разбиения исходного временного ряда на временные интервальные отрезки различной длинны - формирование временной шкалы ряда. Согласно Способу по данному пункту изобретения на первый нейрон входного слоя ИНС подается зашифрованное значение моментов времени построенной, описанным ниже способом, временной шкалы ряда, соответствующее концу интервального отрезка для определенного шага временного ряда. На второй нейрон входного слоя ИНС подается зашифрованное значение, соответствующее длине интервального отрезка данного шага временной шкалы ряда, характеризующее приращение параметра времени. Контрольным сигналом является зашифрованное значение приращения прогнозируемой характеристики на временном интервале, с начальным и конечным моментами времени, соответствующих интервальному отрезку данного шага временной шкалы ряда. В процессе обучения будут использованы три основные параметра: скорость обучения SPEED, число циклов обучения с одинаковыми входным и контрольным сигналами - Q и число эпох - W, представляющее из себя число повторяющихся «проходов» по всей длине подготовленной для обучения ИНС выборки комбинаций входных и контрольного сигналов.In the method, one of the most important points is the method of training an artificial neural network (ANN), in which the set of weighting coefficients characterizing synoptic connections between neurons of different layers of the ANN is adjusted. A feature of this method is the uniqueness of the selection of signals, both input, supplied to the input neurons of the ANN, and the control one, which is necessary for evaluating the error. To generate the final signals, the initial data is pre-encrypted in a manner described below. Also, below will be described in detail the method of dividing the original time series into time intervals of different lengths - the formation of the time scale of the series. According to the Method according to this paragraph of the invention, the encrypted value of the time points of the time scale of the series, which corresponds to the end of the interval segment for a certain step of the time series, is supplied to the first neuron of the input layer of the ANN. An encrypted value is fed to the second neuron of the input layer of the ANN, which corresponds to the length of the interval segment of the given step of the time scale of the series, which characterizes the increment of the time parameter. The control signal is the encrypted value of the predicted characteristic increment in the time interval, with the start and end points of time corresponding to the interval segment of the given step of the time scale of the series. In the training process, three main parameters will be used: the SPEED learning rate, the number of training cycles with the same input and control signals - Q, and the number of epochs - W, which is the number of repeated "passes" along the entire length of the sample of combinations of input and control samples prepared for ANN training. signals.
Рассмотрим этапы реализации способа обучения ИНС: на первом этапе строится искусственная нейронная сеть (ИНС) прямого распространения, содержащая входной слой нейронов, как минимум один скрытый слой нейронов, и выходной слой нейронов с начальным набором весовых синаптических коэффициентов заданных генератором случайных чисел в диапазоне от -0.5 до 0.5. В других реализациях - возможно присвоение других значений начальным синаптическим весам. Затем создаются разбиения исходной временной шкалы временного ряда интересующей характеристики на временные интервальные отрезки различной длины, например в соответствии со способом, который будет описан ниже, и строятся 3 новых ряда: ряд значения момента времени конца отрезка-в виде ряда MM0, приращение времени - как разница между значениями времени конца и начала интервального отрезка - в виде ряда MD0 и приращение самих известных значений временного ряда прогнозируемой характеристики на этом интервальном отрезке, как разница между ее значениями в моменты времени, соответствующие концу и началу интервального отрезка - в виде ряда MD1.Let us consider the stages of the implementation of the ANN training method: at the first stage, an artificial neural network (ANN) of direct propagation is built, containing an input layer of neurons, at least one hidden layer of neurons, and an output layer of neurons with an initial set of weight synaptic coefficients specified by a random number generator in the range from - 0.5 to 0.5. In other implementations, it is possible to assign different values to the initial synaptic weights. Then, partitions of the original time scale of the time series of the characteristic of interest are created into time intervals of different lengths, for example, in accordance with the method that will be described below, and 3 new series are built: a series of the time value of the end of the interval in the form of a series MM0, the time increment as the difference between the time values of the end and the beginning of the interval segment - in the form of the MD0 series and the increment of the known values of the time series of the predicted characteristic on this interval segment, as the difference between its values at the time points corresponding to the end and the beginning of the interval segment - in the form of the MD1 series.
В настоящей реализации изобретения 2 первых ряда MM0 и MD0 используются как ряды обучающей выборки, а 3-й ряд - MD1 как ряд значений контрольной выборки. Затем все 3 ряда - MM0, MD0 и MD11 шифруются, например, способом, описание которого будет дано ниже, в ряды метаданных MMm0, MDm0 и MDm1. Ряды MMm0, MDm0 подаются на 1-й и 2-й нейроны входного слоя ИНС в качестве входного сигнала. После прохождения входного сигнала через ИНС прямого распространения с ее выходного нейрона для каждого шага рядов MMm0, MDm0 снимается выходной сигнал, используемый для вычисления разности между ним и, выступающим контрольным сигналом, значением ряда MDm1 на том же шаге. Данная разность является сигналом ошибки, используемая в процедуре обучения. Сигнал ошибки подается на все нейроны скрытого слоя, а затем от них - на все нейроны входного слоя, где стандартным методом обратного распространения ошибки, с использованием, например, оптимизации по методу «градиентного спуска», описанному в [3,5,6] в настоящей реализации изобретения, или другим известным методом в других реализациях изобретения, производится корректировка весовых синаптических коэффициентов Параметром скорости обучения является константа SPEED, значение которой на первом этапе задается произвольно из диапазона (0,1). После первого цикла обратного распространения сигнала и первой корректировки синаптических коэффициентов значения весов используются для построения верификационного прогноза. Входной сигнал использующий значения рядов MMm0 ,MDm0 того же шага временного ряда, как и до этого, снова проходит через ИНС с обновленными коэффициентами. Выходной сигнал с единственного нейрона выходного слоя после дешифровки используется в оценки точности прогноза, сравниваясь с известными значениями исходного временного ряда. В случае, если выполнен критерий точности обучения, например расхождение выходного и контрольного значения менее 1%, то обучение на данном шаге может быть остановлено и начата новая эпоха.In the present implementation of the invention, the first 2 rows MM0 and MD0 are used as the rows of the training sample, and the 3rd row is MD1 as the series of values of the control sample. Then all 3 rows - MM0, MD0 and MD11 are encrypted, for example, in the manner described below, into the metadata rows MMm0, MDm0 and MDm1. Rows MMm0, MDm0 are fed to the 1st and 2nd neurons of the input layer of the ANN as an input signal. After the input signal passes through the feedforward ANN from its output neuron, for each step of the MMm0, MDm0 rows, the output signal is removed, which is used to calculate the difference between it and the serving control signal, the value of the MDm1 row at the same step. This difference is an error signal used in the training procedure. The error signal is fed to all neurons of the hidden layer, and then from them to all neurons of the input layer, where by the standard backpropagation method, using, for example, the optimization according to the "gradient descent" method described in [3,5,6] in In the present implementation of the invention, or in another known method in other implementations of the invention, the synaptic weights are adjusted. The learning rate parameter is the SPEED constant, the value of which at the first stage is set arbitrarily from the range (0,1). After the first cycle of signal backpropagation and the first correction of the synaptic coefficients, the values of the weights are used to construct the verification prediction. The input signal using the values of the series MMm0, MDm0 of the same time series step as before, again passes through the ANN with updated coefficients. The output signal from a single neuron of the output layer after decoding is used to estimate the forecast accuracy, comparing with the known values of the original time series. If the criterion of training accuracy is met, for example, the discrepancy between the output and control values is less than 1%, then training at this step can be stopped and a new epoch started.
Если критерий точности обучения не выполнен, то обучение ИНС продолжается в соответствии с заданными значениями параметров Q - числа циклов обучения с одинаковыми входным и контрольным сигналами заданного числа эпох - W, представляющее из себя число повторяющихся «проходов» по всей длине подготовленной для обучения ИНС выборки комбинаций входных и контрольного сигналов. Если Q>1, то происходит повтор процедуры обучения (корректировки весов), т.е. повторение прямых проходов без изменения значений входного и контрольного сигналов, с изменением набора весов после каждого прохода методом обратного распространения ошибки - в данной реализации изобретения- с использованием оптимизации по методу «градиентного спуска». Таких циклов обучения производится либо Q раз, либо до достижения заданной точности обучения. Если число циклов обучения достигло параметра Q и обучение остановлено не было, то происходит переход на новые значения входных данных и контрольного значения, являющимися следующими по порядку значениями рядов MM0m, MD0m, MD1m. С этими входными данными так же, как и ранее - Q или менее раз проводится процедура обучения сети (корректировка тех же весовых синаптических коэффициентов) методом обратного распространения ошибки. Далее вводятся все новые и новые данные путем сдвига рядов MM0m, MD0m, MD1m каждый раз на один шаг с каждым разом выполняя корректировку коэффициентов. При достижении конца поданных на обучение выборок из рядов MM0m, MD0m, MD1m при значении параметра W>1 производится повтор всех предыдущих операций (новая эпоха обучения). Операции продолжаются до тех пор, пока число новых эпох не достигнет заданного ранее параметра W, либо не поступит сигнал свидетельствующий о достижении успеха в обучении. Если после прохождения всех заданных параметрами: Q - числом «проходов» на одном шаге, числом шагов по временным интервалам выборок, а также числом эпох W - общего числа циклов приемлемое точность обучения достигнуто не было, то необходимо провести корректировку параметров SPEED, Q и W.If the training accuracy criterion is not met, then ANN training continues in accordance with the specified values of the parameters Q - the number of training cycles with the same input and control signals of a given number of epochs - W, which is the number of repeated "passes" along the entire length of the sample prepared for ANN training combinations of input and control signals. If Q> 1, then the training procedure (weight adjustment) is repeated, i.e. repetition of forward passes without changing the values of the input and control signals, with a change in the set of weights after each pass by the method of back propagation of the error - in this embodiment of the invention - using optimization by the method of "gradient descent". Such training cycles are performed either Q times, or until a given training accuracy is achieved. If the number of training cycles has reached the Q parameter and training has not been stopped, then a transition occurs to new values of the input data and the control value, which are the next in order the values of the series MM0m, MD0m, MD1m. With these input data, in the same way as before - Q or less times, the network training procedure (correction of the same synaptic weight coefficients) is carried out by the method of back propagation of the error. Further, more and more new data are entered by shifting the rows MM0m, MD0m, MD1m each time by one step, each time performing the correction of the coefficients. When the end of the samples submitted for training from the series MM0m, MD0m, MD1m is reached with a parameter value W> 1, all previous operations are repeated (a new learning epoch). The operations continue until the number of new epochs reaches the previously set W parameter, or a signal is received indicating the success of training. If, after passing all the specified parameters: Q - the number of "passes" at one step, the number of steps in the time intervals of the samples, and the number of epochs W - the total number of cycles, an acceptable training accuracy has not been achieved, then it is necessary to adjust the SPEED, Q and W parameters ...
Полный набор скорректированных изложенными способом весовых синаптических коэффициентов используется для построения наиболее точного прогноза. После завершения обучения ИНС производят деление общего временного интервала, на котором требуются построение прогноза, на отрезки случайной длины, затем подаются зашифрованные значения моментов времени, соответствующие концам построенным интервальным отрезкам случайной длины и длины самих интервальных отрезков в качестве приращения параметра времени – как сигналы входа ИНС, т.е. значениями, подающимися на первый и второй нейроны входного слоя обученной ИНС для построения прогноза, далее выходной сигнал ИНС с ее единственного выходного нейрона проходит расшифровку и перевод из метаданных в прогнозные значения характеристики на основе полученных прогнозных данных приращения этой характеристики.The full set of synaptic weights corrected by the described method is used to construct the most accurate prediction. After the completion of the ANN training, the total time interval on which the forecast is required is divided into segments of random length, then the encrypted values of the time points corresponding to the ends of the constructed interval segments of random length and the length of the interval segments themselves are supplied as an increment of the time parameter - as the input signals of the ANN , i.e. values supplied to the first and second neurons of the input layer of the trained ANN to build a forecast, then the output signal of the ANN from its only output neuron is decrypted and translated from metadata into predicted values of the characteristic based on the obtained forecast data of the increment of this characteristic.
Описание Способа по п.2 формулы изобретения, в котором для наиболее эффективного обучения ИНС и построения прогноза создаются дополнительные разбиения исходной временной шкалы ряда на временные интервалы различной длины,Description of the Method according to
Для подготовки обучающей выборки искусственной нейронной сети (ИНС) создаются дополнительные разбиения исходной временной шкалы ряда на дополнительные временные интервалы различной длины. Разбиение производится следующим образом.To prepare a training sample of an artificial neural network (ANN), additional partitions of the original time scale of the series are created into additional time intervals of various lengths. The splitting is done as follows.
На первом этапе, момент времени 1-го известного значения временного ряда - принимается за начало нового интервала, а в качестве длины нового интервала берется сумма длин первого и последующего временных интервалов между известными значениями исходного временного ряда прогнозируемой характеристики. Следующий интервальный отрезок строится путем сдвига начала нового интервала на один старый интервал вправо по временной шкале, т.е. на один шаг исходного временного ряда. Длина его также будет составлять два старых интервала - 2-й и 3-й. Новые отрезки строятся, пока концом последнего отрезка не окажется момент времени последнего известного значения. На втором этапе строятся интервальные отрезки, где длина отрезка еще увеличивается на длину одного старого интервала. Длина новых отрезков будет составлять уже 3 исходных интервала (3 шага ряда). Второй и последующие отрезки второго этапа строятся так же длиной в 3 старых интервала путем сдвига на один старый интервал. Сдвиги повторяются вплоть до момента достижения концом последнего нового отрезка момента времени последнего известного значения временного ряда. Этапы построения отрезков продолжаются, пока на последнем этапе не будет построен отрезок длиной в интервал времени между 1-м и последним известным значением исходного временного ряда. Таим образом, в нашем распоряжении оказывается построено интервальных отрезков. Например, для имеющегося временного ряда длинной в 31 известное значение, может быть построено 465 интервалов, для которых могут быть построены ряды метаданных, эффективно используемых при построении прогноза. Описанная процедура программно реализована в блоке 201 Создания продленных рядов Подсистемы 104.Системы прогнозирования значений временного ряда интересующей характеристики.At the first stage, the moment of time of the 1st known value of the time series is taken as the beginning of a new interval, and the sum of the lengths of the first and subsequent time intervals between the known values of the initial time series of the predicted characteristic is taken as the length of the new interval. The next interval segment is constructed by shifting the beginning of a new interval by one old interval to the right along the time scale, i.e. one step in the original time series. Its length will also be two old intervals - 2nd and 3rd. New segments are drawn until the end of the last segment is the time of the last known value. At the second stage, interval segments are constructed, where the segment length is still increased by the length of one old interval. The length of the new segments will already be 3 initial intervals (3 steps of the row). The second and subsequent segments of the second stage are constructed in the same length of 3 old intervals by shifting the old interval by one. The shifts are repeated until the end of the last new segment reaches the last known value of the time series. The stages of building segments continue until at the last stage a segment with a length in the time interval between the 1st and the last known value of the original time series is built. Thus, we have at our disposal the plotted interval segments. For example, for the available time series with a length of 31 known values, 465 intervals can be built, for which a series of metadata can be built that is effectively used in forecasting. The described procedure is programmatically implemented in the block 201 Creation of extended series of
Кроме того, для построения прогноза производится рандомизация длин интервальных отрезков, программно реализованная в блоке 301 формирования случайных длин отрезков Подсистемы105, параметры которых, а именно - параметр значения времени, соответствующего концу интервального отрезка - величина, представляющая собой сигнал, подаваемый на первый нейрон входного слоя ИНС и длина самого интервального отрезка в качестве приращения параметра времени - величина, представляющая собой сигнал, подаваемый второй нейрон входного слоя ИНС. Процедура производится из соображения, что зачастую сложно получить идеальное обучение ИНС - часто разные уровни сигналов входа дают разные уровни ошибок, даже если в среднем ошибка была засчитана как соответствующая критерию окончания обучения. Таким образом, для минимизации ошибки прогноза в качестве сигналов входа необходимо использовать выборки, значения которых на следующем шаге отличаются от значений на предыдущем шаге. Для этого формируется ряд, квази-случайных временных параметров AS -в этой реализации изобретения по формуле, где AS- параметр времени конца i-го временного интервала, а второе слагаемое - является длиной i-го временного интервального отрезка, и рассчитывается как верхняя граница от частного случайного числа, распределенного от 0 до 6 и другого случайного числа распределённого от 0 до 6 плюс 1.В других реализациях данного изобретения расчет длин интервальных отрезков для проведения процедуры прогнозирования может быть рассчитан другим способом. Далее формируются соответствующие построенным отрезкам параметры, которые после прохождения процедуры форматирования и шифрования подаются на 1й и 2й входные нейроны обученной ИНС. Далее -выходной сигнал - с нейрона выходного слоя ИНС проходит расшифровку и перевод из метаданных в реальные прогнозные приращения значений исследуемой характеристики. Далее -восстанавливаются прогнозные значения характеристики. Результат прогнозирования выводятся в виде временного ряда, а также графически.In addition, to construct a forecast, the lengths of the interval segments are randomized, which is programmatically implemented in the
Описание Способа по п.3 формулы изобретения, в котором для наиболее эффективного обучения ИНС и построения прогноза данные проходят процедуру шифрования.Description of the Method according to claim 3 of the claims, in which for the most efficient training of the ANN and the construction of the forecast, the data is encrypted.
Данный способ программно реализован в блоке 103 Системы прогнозирования значений временного ряда. Для всех значений рядов данных M(t,j), где t-значение моментов времени, j - номер ряда, поступивших в блок 103 из блока Записи данных 101 Системы прогнозирования значений временного ряда определяется минимальное по модулю значение. Далее умножают все ряды на константу D - в этой реализации изобретения, при которой это выбранное минимальное значение становится больше 1, либо используют другие способы в других реализациях изобретения для приведения всех значений временных рядов к значениям больше 2. Далее выбирают максимальное по модулю из всех значений временных рядов поступивших в Блок 103, умноженных на D. Далее берут десятичный логарифм и определяют константу DD, при делении на которую значение десятичного логарифма от выбранного значения оказывается не более значения порога Р, которое должно быть меньше единицы. В данной реализации изобретения значение Р выбиралось =0,6 и может быть выбрано любым, желательно близким к 0.5, но заведомо меньшего 1 в других реализациях изобретения. Далее формируют ряды Ms(t,j), состоящие из функции sign(знака) каждого из значений рядов, находящихся в блоке 103. Далее значение каждого ряда M(t,j), умножается на соответствующее значение рядов знака Ms(t,j), образуя ряды только положительных значений Mp(t,j), далее от каждого значения рядов Mp(t,j), умноженных на D берется десятичный логарифм, делится на константу DD, и затем снова умножается на соответствующее значение рядов знака Ms(t,j), образуя ряды зашифрованных метаданных Mm(t,j), имеющих как положительный, так и отрицательный знаки, не превышающие по модулю значение порога Р, меньшее единицы, подготовленных для эффективного использования нейросетью. Полученные ряды метаданных записываются в блок шифрования метаданных 103 Системы прогнозирования значений временного ряда(фиг.1). Для минимизации ошибки прогноза в качестве сигналов входа ИНС в режиме обучения лучше всего использовать выборки, значения которых на следующем шаге случайным образом отличаются от значений на предыдущем шаге. Для этого в блоке 103 с помощью генератора случайных чисел генерируется ряд RD, равный по длине ранее записанным рядам Mm(t,j). Далее производится одновременная сортировка всех рядов Mm(t,j), и RD таким образом, чтобы значения RD встали в порядке возрастания - так производится случайное одновременное перемешивание рядов метаданных Mm(t,j). Новые ряды перезаписываются в блок 103 Системы прогнозирования значений временного ряда.This method is software implemented in
Описание Способа по п.4 формулы изобретения: Способ по п.1 изобретения в котором для остановки обучения ИНС используют в качестве критерия качества обучения ИНС не внутренний критерий Подсистемы 104 обучения ИНС, а критерий верификации качества прогноза Подсистемы 105.Description of the Method according to claim 4 of the claims: The method according to
Способ обучения ИНС отличающийся от способа по п.1 Изобретения, тем, что приоритетным критерием качества обучения ИНС служит не внутренний критерий подсистемы обучения, а критерий верификации качества готового прогноза Подсистемы работы ИНС в режиме прогноза, который контролируется блоком 304 Контроля ошибки прогноза. Критерием качества прогноза может служить среднеквадратичное отклонение значений прогноза от известных значений характеристики, рассчитанное для всех шагов по временным интервальным отрезкам где имеются известные значения исследуемой характеристики и для которых были построены прогнозы в режиме верификации прогноза.The method of teaching ANN differs from the method according to
Описание по п.5 формулы изобретения. Система прогнозирования значений временного ряда интересующей характеристикиDescription according to claim 5 of the claims. The system for predicting the values of the time series of the characteristic of interest
Система прогнозирования значений временного ряда интересующей характеристики состоит из Блока 101 записи данных (Фиг .1), записывающего в память временной ряд исходных данных, выделяя отдельно ряд значений исследуемой характеристики и ряд моментов времени, соответствующих известным значениям этой характеристики, Блока 102 Записи и вывода результата прогнозирования, Блока 103 шифрования данных, реализующего шифрование и пересортировку данных обучающей и контрольных выборок в наиболее удобный формат для обучения ИНС, а также двух подсистем:The system for predicting the values of the time series of the characteristic of interest consists of a Data Recorder 101 (Fig. 1), which records the time series of the initial data into memory, separating separately a number of values of the investigated characteristic and a number of points in time corresponding to the known values of this characteristic, the Block 102 of Recording and Output of the result forecasting,
Подсистема обучения искусственной нейронной сети для прогнозирования значений временного ряда 104 на (Фиг.2), состоящая из Блока присваивания начальных значений синаптическим весам 200, в котором генерируется массив начальных синаптических весовых коэффициентов, Блока 201 Создания продленных рядов метаданных, реализующего разбиение на временные интервалы согласно Способу по п 2 настоящего изобретения, на основании которых будут строится обучающая (входных значений ИНС ) и контрольная (контрольных значений ИНС) выборки для обучения ИНС.An artificial neural network training subsystem for predicting the values of the
Также состоящей из блока 202Формирования входных сигналов, в который из блока 103 Системы прогнозирования значений временного ряда, зависимости от заданных параметров L1 и L2 поступают часть значений из рядов Mm(t,j1), где параметр времени t ограничен нижней границей L1 и верхней границей L2, а индекс j1 означает, что ряды относятся к рядам обучающих выборок. Блок 202 в зависимости от управляющих параметров Q и W Подсистемы104 отправляет в различной последовательности элементы рядов обучающих выборок, относящихся к одному моменту времени t, на входные нейроны Блока Прямого распространения сигнала в ИНС 204 Подсистемы104. Также состоящей из Блока контрольных обучающих сигналов 203 (фиг.2), в который из блока 103 , зависимости от заданных параметров L1 и L2 поступают часть значений из рядов Mm(t,j2), где параметр времени t ограничен нижней границей L1 и верхней границей L2, а индекс j2–означает, что ряды относятся к рядам Контрольных выборок. Блок 203 в зависимости от управляющих параметров Q и W Подсистемы 104 отправляет в различной последовательности элементы рядов Контрольных выборок, относящихся к одному моменту времени t, на Блок Оценки ошибки 205 Подсистемы 104. Также состоящая из блока прямого распространения сигнала искусственной нейронной сети (ИНС) 204 (фиг.2), основу которого составляет ИНС прямого распространения, состоящая в настоящей реализации из трех слоев (или более трех слоев в других реализациях) - одного входного, одного скрытого и одного выходного слоев, содержащих в данной реализации 23 нейрона входного слоя, 23 нейрона скрытого слоя, 1 нейрона выходного слоя и содержащего другое количество нейронов в слоях в других реализациях данного изобретения, но не менее 2-х нейронов во входном слое. Под искусственным нейроном понимается конструкция, состоящая из сумматора входных сигналов от нейронов предыдущего слоя или сигналов входа (для нейронов входного слоя), передающий суммированный сигнал через функцию активации, представляющую из себя гиперболический тангенс для нейронов скрытого и выходного слоев и константу=1 для нейронов входного слоя в настоящей реализации изобретения и возможные другие функции активации в других реализациях данного изобретения, на все нейроны следующего слоя. Переход выходных сигналов с нейронов одного слоя на нейроны следующего слоя происходит через синаптические связи между нейронами соседних слоев, которые на практике реализуются путём умножения выходного сигнала с i-го нейрона, направленного на k-й нейрон следующего слоя на коэффициент синаптической связи (фиг.4),Also consisting of
Таким образом, обозначив входной слой индексом j=0, скрытый слой индексом j=1, выходной слой индексом j=2,имеем формулу для расчета выходного сигнала всех нейронов скрытого слоя и единственного нейрона выходного слоя в виде: Thus, denoting the input layer with the index j = 0, the hidden layer with the index j = 1, and the output layer with the index j = 2, we have the formula for calculating the output signal of all neurons in the hidden layer and the only neuron in the output layer in the form:
где индекс i-показывает номер нейрона j-го слоя (j=1,2), причем для j=2 индекс i принимает единственное значение i=0. Данный выходной сигнал получен суммированием выходов k-х нейронов предыдущего слоя, умноженных на веса синапсов k-х нейронов предыдущего слоя ведущих к данному i-му нейрону и прошедшего через функцию активации – гиперболический тангенс.where the index i-shows the number of the neuron of the j-th layer (j = 1,2), and for j = 2 the index i takes the only value i = 0. This output signal is obtained by summing the outputs of the k-th neurons of the previous layer, multiplied by the weights of the synapses of the k-th neurons of the previous layer leading to this i-th neuron and passing through the activation function - the hyperbolic tangent.
В состав Подсистемы 104 также входит блок Оценки ошибки 205 (фиг.2), в котором происходит определение разности между выходными сигналами блока Прямого распространения сигнала 204 и контрольными сигналами от блока 202 блока Контрольных обучающих сигналов. При достижении установленной точности соответствия выходных сигналов контрольному, блок оценки ошибки останавливает процесс обучения. В состав Подсистемы 104 также входит блок 206 Обратного распространения ошибки, основу которого составляет расчётный модуль, работающий на известном методе обратного распространения ошибки, изложенном, например, в [3,5,6]. Конечным результатом работы Подсистемы 104 обучения ИНС является полный набор весовых синаптических коэффициентов входного и скрытого слоев, (j=0 - для входного слоя и j=1 - для скрытого слоя), т.к. у нейрона выходного слоя нет синапсов исходящей связи, которые блок 206 на каждом шаге обучения передает на Подсистему 105 работы ИНС в режиме прогноза.The
Подсистема построения прогноза, называемая далее «Подсистема 105» состоящая из блока 301 Модерации входных данных Подсистемы105 в который подаются временные ряды из Блока Записи данных 101Системы прогнозирования значений временного ряда, из которых в соответствии со Способом по п.2 настоящего изобретения, подготавливаются выборка входного сигнала, который шифруется в метаданные в блоке Шифрования данных 103Системы прогнозирования значений временного ряда в соответствии со Способом по п.3 изобретения и поступает на блок прямого распространения сигнала ИНС 302 Подсистемы 105, который по своим функциям и программному решению полностью аналогичен Блоку 204 Подсистемы 104 и работает с ним одновременно, используя одинаковый набор весов но используя свой набор входных данных, взятых как из временного диапазона, соответствующего обучению, так и временного диапазона, на котором необходимо построение прогноза. Выходные значения блока 302 Подсистемы 2 подаются на блок Дешифрования данных303 Подсистемы105, который переводит прогнозные метаданные в реальные цифровые значения методом, обратным методу шифрования в блоке 103 Системы, Дешифрованные данные подаются на блок Записи и вывода результата прогноза 102 Системы прогнозирования значений временного ряда с использованием искусственной нейронной сети, который осуществляет цифровой и графический вывод результата прогноза и на блок 304 Контроля ошибки прогноза Подсистемв 105, который сравнивает полученные прогнозные значения на входных данных диапазона обучения с известными значениями исследуемой характеристики. В случае выполнения критерия установленной минимальной ошибки прогноза на диапазоне обучения, Блок 304 передает сигнал о остановке обучения на Подсистему 104Обучения искусственной нейронной сети. В этом случае, Подсистема может прекратить обучение, но может и продолжить обучение до выполнения ее внутреннего критерия прекращения обучения. Решение определяется установкой приоритета одного из критериев над другим перед началом обучения ИНС. A forecasting subsystem, hereinafter referred to as "
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019128366A RU2744041C1 (en) | 2019-09-10 | 2019-09-10 | Method and a system for predicting time series values using an artificial neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019128366A RU2744041C1 (en) | 2019-09-10 | 2019-09-10 | Method and a system for predicting time series values using an artificial neural network |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2744041C1 true RU2744041C1 (en) | 2021-03-02 |
Family
ID=74857633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2019128366A RU2744041C1 (en) | 2019-09-10 | 2019-09-10 | Method and a system for predicting time series values using an artificial neural network |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2744041C1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114894619A (en) * | 2022-05-10 | 2022-08-12 | 中南大学 | Method for predicting axial load-strain curve of concrete filled steel tubular column based on long-term and short-term memory network |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6611726B1 (en) * | 1999-09-17 | 2003-08-26 | Carl E. Crosswhite | Method for determining optimal time series forecasting parameters |
US20110066579A1 (en) * | 2009-09-16 | 2011-03-17 | Oki Electric Industry Co., Ltd. | Neural network system for time series data prediction |
RU2459254C2 (en) * | 2007-04-27 | 2012-08-20 | Сименс Акциенгезелльшафт | Method for computer-aided training of one or more neural networks |
RU2533321C1 (en) * | 2013-06-28 | 2014-11-20 | Антон Андреевич Бекаревич | Method for adaptive forecasting of residual operating life of complex objects, and device for its implementation |
RU2600099C1 (en) * | 2015-03-23 | 2016-10-20 | Юрий Анатольевич Кропотов | Method of neural network forecasting of change of values of function with its complementary wavelet processing and device for its implementation |
-
2019
- 2019-09-10 RU RU2019128366A patent/RU2744041C1/en active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6611726B1 (en) * | 1999-09-17 | 2003-08-26 | Carl E. Crosswhite | Method for determining optimal time series forecasting parameters |
RU2459254C2 (en) * | 2007-04-27 | 2012-08-20 | Сименс Акциенгезелльшафт | Method for computer-aided training of one or more neural networks |
US20110066579A1 (en) * | 2009-09-16 | 2011-03-17 | Oki Electric Industry Co., Ltd. | Neural network system for time series data prediction |
RU2533321C1 (en) * | 2013-06-28 | 2014-11-20 | Антон Андреевич Бекаревич | Method for adaptive forecasting of residual operating life of complex objects, and device for its implementation |
RU2600099C1 (en) * | 2015-03-23 | 2016-10-20 | Юрий Анатольевич Кропотов | Method of neural network forecasting of change of values of function with its complementary wavelet processing and device for its implementation |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114894619A (en) * | 2022-05-10 | 2022-08-12 | 中南大学 | Method for predicting axial load-strain curve of concrete filled steel tubular column based on long-term and short-term memory network |
CN114894619B (en) * | 2022-05-10 | 2024-04-05 | 中南大学 | Method for predicting axial compressive load-strain curve of concrete filled steel tube column based on long-short-term memory network |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210256348A1 (en) | Automated methods for conversions to a lower precision data format | |
CN108564326B (en) | Order prediction method and device, computer readable medium and logistics system | |
CN110222371B (en) | Bayes and neural network-based engine residual life online prediction method | |
CN111985523A (en) | Knowledge distillation training-based 2-exponential power deep neural network quantification method | |
CN113544599A (en) | Method for executing a process and optimizing a control signal used in the process | |
CN110309537B (en) | Intelligent health prediction method and system for aircraft | |
EP3779801A1 (en) | Method for optimizing neural network parameter appropriate for hardware implementation, neural network operation method, and apparatus therefor | |
RU2744041C1 (en) | Method and a system for predicting time series values using an artificial neural network | |
CN114707712A (en) | Method for predicting requirement of generator set spare parts | |
CN109065176B (en) | Blood glucose prediction method, device, terminal and storage medium | |
CN115576502B (en) | Data storage method and device, electronic equipment and storage medium | |
CN110991604A (en) | Time sequence financial data prediction method based on wavelet cyclic neural network | |
CN115081609A (en) | Acceleration method in intelligent decision, terminal equipment and storage medium | |
CN114154415A (en) | Equipment life prediction method and device | |
CN104200269A (en) | Real-time fault diagnosis method based on online learning minimum embedding dimension network | |
CN113469262A (en) | Incremental learning method based on Fisher information matrix | |
CN111476408A (en) | Power communication equipment state prediction method and system | |
CN110110853B (en) | Deep neural network compression method and device and computer readable medium | |
CN111126659A (en) | Power load prediction method and system | |
Herzallah et al. | Robust control of nonlinear stochastic systems by modelling conditional distributions of control signals | |
US20210142151A1 (en) | Artificial neural network training | |
CN112596396B (en) | Coating machine die head adjusting and adjusting parameter calculation model training method and device | |
CN116541667B (en) | Interpolation method and system for buoy time sequence data missing value | |
US20240028879A1 (en) | System and method for parameter multiplexed gradient descent | |
EP3968234A1 (en) | Method, computer program product and system for optimising the use of an artificial neural network |