RU2446463C1 - Method and apparatus for intelligent information processing in neural network - Google Patents
Method and apparatus for intelligent information processing in neural network Download PDFInfo
- Publication number
- RU2446463C1 RU2446463C1 RU2011104528/08A RU2011104528A RU2446463C1 RU 2446463 C1 RU2446463 C1 RU 2446463C1 RU 2011104528/08 A RU2011104528/08 A RU 2011104528/08A RU 2011104528 A RU2011104528 A RU 2011104528A RU 2446463 C1 RU2446463 C1 RU 2446463C1
- Authority
- RU
- Russia
- Prior art keywords
- input
- output
- layer
- block
- network
- Prior art date
Links
Images
Abstract
Description
Изобретение относится к бионике, моделированию функциональных аспектов человека.The invention relates to bionics, modeling the functional aspects of man.
В настоящее время известны многие способы и устройства интеллектуальной обработки информации в нейронной сети, применяемые для аппроксимации, классификации, распознавания образов, обработки речи, прогнозирования, идентификации, оценивания производственных процессов, ассоциативного управления и для решения других творческих задач (Хайкин С. Нейронные сети: полный курс, 2-е издание. Пер. с англ. М.: Издательский дом «Вильямс», 2006. - 1104 с.; Галушкин А.И. Теория нейронных сетей. Кн. 1: Учебное пособие для вузов / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 416 с.).Currently, many methods and devices for intelligent information processing in a neural network are known, used for approximation, classification, pattern recognition, speech processing, forecasting, identification, estimation of production processes, associative control and for solving other creative tasks (Khaikin S. Neural networks: full course, 2nd edition, translated from English M .: Williams Publishing House, 2006. - 1104 p .; AI Galushkin, Theory of Neural Networks, Book 1: Textbook for universities / General ed. A.I. Galushkina. - M .: IPRZHR, 200 0. - 416 p.).
Однако всем им характерны узкие возможности по запоминанию структурно-сложных изменяющихся во времени сигналов, их распознаванию, ассоциированию с другими сигналами, извлечению из памяти сети и воспроизведению в исходной форме. Эти известные способы и устройства не позволяют при обработке информации решать широкий спектр задач одной и той же нейронной сетью. Они не обеспечивают возможностей наделения машин осознанным восприятием внешнего мира и осознанного активного взаимодействия с ним. В целом известным способам и устройствам свойственны узкие функциональные возможности по интеллектуальной обработке информации в нейронной сети.However, all of them are characterized by narrow capabilities for storing structurally complex time-varying signals, their recognition, association with other signals, retrieving from the network memory and reproducing in its original form. These known methods and devices do not allow, when processing information, to solve a wide range of problems with the same neural network. They do not provide the possibility of endowing machines with a conscious perception of the outside world and conscious active interaction with it. In general, known methods and devices are characterized by narrow functional capabilities for the intellectual processing of information in a neural network.
Наиболее близким аналогом изобретения является способ интеллектуальной обработки информации в многослойной рекуррентной нейронной сети с обратными связями, замыкающими контура с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения. Согласно этому способу сигнал подают в сеть после разложения на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей. Представляют сигнал в сети в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания. При передаче совокупностей единичных образов от слоя к слою сдвигают их вдоль слоев с учетом текущих состояний слоев. Запоминают результаты распознавания на элементах сети. Используют в качестве результатов обработки последовательные совокупности единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы (Осипов В.Ю. Ассоциативная интеллектуальная машина / Информационные технологии и вычислительные системы. 2010, №2, с.59-67).The closest analogue of the invention is a method of intelligent information processing in a multilayer recurrent neural network with feedbacks closing the circuit with the delay time of individual images less than the immunity time of network neurons after their excitation. According to this method, the signal is supplied to the network after decomposition into components in a basis consistent with the input layer of the network, with each component converted into a sequence of single images with a repetition rate as a predetermined function of the amplitude of the component. Represent a signal in the network in the form of consecutive sets of single images in accordance with predefined rules for its recognition, taking into account the inverse recognition results. When transferring sets of single images from layer to layer, they are shifted along the layers, taking into account the current state of the layers. Recognize the recognition results on network elements. Use as a result of processing sequential sets of single images on the output layer of the network after the reverse conversion to the corresponding source signals (Osipov V.Yu. Associative Intelligent Machine / Information Technologies and Computing Systems. 2010, No. 2, pp. 59-67).
Этому способу характерны следующие недостатки. Согласно ему все сигналы обрабатываются в сети в одном и том же масштабе времени. При такой обработке сжатый или растянутый во времени входной сигнал воспринимается сетью как новый относительно ранее воспринятого того же самого сигнала в неизмененном временном масштабе. Это существенно ограничивает возможности способа по распознаванию, например, быстрой и медленной речи, одних и тех же замедленных и ускоренных процессов. Отсутствие возможности замедлять или ускорять ассоциирование сигналов друг с другом в сети, изменять их временной масштаб и скорость продвижения в ней не позволяет переходить к модельному времени, отличающемуся от реального. Это существенно ограничивает функциональные возможности способа по интеллектуальной обработке информации.This method is characterized by the following disadvantages. According to it, all signals are processed on the network in the same time scale. With this processing, a compressed or time-stretched input signal is perceived by the network as new relative to the previously received same signal on an unchanged time scale. This significantly limits the ability of the method to recognize, for example, fast and slow speech, the same slow and accelerated processes. The inability to slow down or accelerate the association of signals with each other in the network, to change their time scale and the speed of advancement in it does not allow us to switch to a model time that differs from the real one. This significantly limits the functionality of the method for intellectual information processing.
Наиболее близким аналогом изобретения среди устройств выступает устройство, содержащее два слоя нейронов, два блока динамических синапсов, два блока задержек и блок управления. Первый вход первого слоя нейронов является входом устройства. Второй вход этого слоя соединен с выходом второго блока динамических синапсов, выход слоя - с входом первого блока задержек. Вход второго слоя нейронов соединен с выходом первого блока динамических синапсов, выход - с входом второго блока задержек. Первый вход блока управления соединен с выходом первого слоя, являющимся выходом устройства, второй вход этого блока - с выходом второго слоя, первый выход - с вторым входом второго блока динамических синапсов, второй выход - с вторым входом первого блока динамических синапсов. При этом первый вход первого блока динамических синапсов соединен с выходом первого блока задержек, а первый вход второго блока динамических синапсов соединен с выходом второго блока задержек (Осипов В.Ю. Ассоциативная интеллектуальная машина / Информационные технологии и вычислительные системы. 2010, №2, с.59-67).The closest analogue of the invention among the devices is a device containing two layers of neurons, two blocks of dynamic synapses, two blocks of delays and a control unit. The first input of the first layer of neurons is the input of the device. The second input of this layer is connected to the output of the second block of dynamic synapses, the output of the layer is connected to the input of the first block of delays. The input of the second layer of neurons is connected to the output of the first block of dynamic synapses, the output to the input of the second block of delays. The first input of the control unit is connected to the output of the first layer, which is the output of the device, the second input of this block to the output of the second layer, the first output to the second input of the second block of dynamic synapses, the second output to the second input of the first block of dynamic synapses. The first input of the first block of dynamic synapses is connected to the output of the first block of delays, and the first input of the second block of dynamic synapses is connected to the output of the second block of delays (Osipov V.Yu. Associative Intelligent Machine / Information Technologies and Computing Systems. 2010, No. 2, p. .59-67).
К недостаткам этого устройства относятся ограниченные возможности по распознаванию сигналов с различными уровнями временного сжатия и растяжения, прогнозированию и восстановлению событий.The disadvantages of this device include the limited ability to recognize signals with different levels of temporary compression and extension, predicting and recovering events.
Задачей изобретения является расширение функциональных возможностей по интеллектуальной обработке информации в нейронной сети.The objective of the invention is to expand the functionality of intelligent information processing in a neural network.
Технический результат от использования изобретения заключается в улучшении распознавания и восстановления сигналов, в расширении возможностей по прогнозированию событий.The technical result from the use of the invention is to improve the recognition and restoration of signals, to expand the capabilities for predicting events.
Поставленная задача решается тем, что в известном способе интеллектуальной обработки информации в нейронной сети, заключающемся в подаче в многослойную рекуррентную сеть с обратными связями, замыкающими контура с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом текущих состояний слоев, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, согласно изобретению при передаче совокупностей единичных образов от слоя к слою их задерживают с учетом текущих состояний слоев.The problem is solved in that in the known method of intelligent processing of information in a neural network, which consists in supplying a multilayer recurrent network with feedbacks that close the circuit with the delay time of individual images less than the immunity time of the network neurons after their excitation, a signal decomposed into components in the basis matched with the input network layer, with each component converted into a sequence of single images with a repetition rate as a predefined function to it from the amplitude of the component, representing the signal in the form of successive sets of single images in accordance with predefined recognition rules taking into account the inverse recognition results, shifts of sets of single images along the layers taking into account the current state of the layers, storing recognition results on network elements, using as results processing consecutive sets of single images on the output layer of the network after the inverse transformation to the corresponding them to baseband signals, according to the invention the transmission of individual sets of images from one layer to retain their current states based layers.
Описанный способ реализуется устройством интеллектуальной обработки информации в нейронной сети, содержащим первый слой нейронов, первый вход которого является входом устройства, второй вход соединен с выходом второго блока динамических синапсов, выход - с входом первого блока задержек, второй слой нейронов, первый вход которого соединен с выходом первого блока динамических синапсов, выход - с входом второго блока задержек, блок управления, первый вход которого соединен с выходом первого слоя, являющимся выходом устройства, второй вход - с выходом второго слоя, первый выход - с вторым входом второго блока динамических синапсов, второй выход - с вторым входом первого блока динамических синапсов, первый вход первого блока динамических синапсов соединен с выходом первого блока задержек, первый вход второго блока динамических синапсов соединен с выходом второго блока задержек, согласно изобретению, в которое дополнительно вводят связь третьего выхода блока управления с третьим входом первого слоя нейронов и связь четвертого выхода этого блока со вторым входом второго слоя нейронов.The described method is implemented by an intelligent information processing device in a neural network containing the first layer of neurons, the first input of which is the input of the device, the second input is connected to the output of the second block of dynamic synapses, the output is connected to the input of the first block of delays, the second layer of neurons, the first input of which is connected to the output of the first block of dynamic synapses, the output with the input of the second block of delays, the control unit, the first input of which is connected to the output of the first layer, which is the output of the device, the second input - with the output of the second layer, the first output with the second input of the second block of dynamic synapses, the second output with the second input of the first block of dynamic synapses, the first input of the first block of dynamic synapses is connected to the output of the first block of delays, the first input of the second block of dynamic synapses is connected to the output the second block of delays, according to the invention, which additionally enter the connection of the third output of the control unit with the third input of the first layer of neurons and the connection of the fourth output of this block with the second input of the second layer neurons.
Для расширения функциональных возможностей по интеллектуальной обработке информации в нейронной сети автор изобретения предлагает при передаче совокупностей единичных образов от слоя к слою их задерживать с учетом текущих состояний слоев, что является новым существенным признаком изобретения.To expand the functionality of intellectual information processing in a neural network, the author of the invention proposes to delay them while transmitting sets of single images from layer to layer, taking into account the current state of the layers, which is a new significant feature of the invention.
Новым существенным признаком изобретения в части устройства выступает дополнительное введение связи третьего выхода блока управления с третьим входом первого слоя нейронов и связи четвертого выхода этого блока со вторым входом второго слоя нейронов.A new significant feature of the invention in terms of the device is the additional introduction of the connection of the third output of the control unit with the third input of the first layer of neurons and the connection of the fourth output of this block with the second input of the second layer of neurons.
Сущность изобретения поясняется фиг.1-3.The invention is illustrated figure 1-3.
На фиг.1 приведена структурная схема устройства интеллектуальной обработки информации в двухслойной нейронной сети, реализующего предложенный способ, где 1, 5 - первый, второй слои нейронов; 2, 6 - первый, второй блоки задержек; 3, 4 - первый, второй блоки динамических синапсов; 7 - блок управления.Figure 1 shows a structural diagram of a device for intelligent information processing in a two-layer neural network that implements the proposed method, where 1, 5 - the first, second layers of neurons; 2, 6 - the first, second blocks of delays; 3, 4 - the first, second blocks of dynamic synapses; 7 - control unit.
На фиг.2 представлена схема, поясняющая особенности управления временными задержками совокупностей единичных образов в предложенном устройстве (фиг.1), где 1.1÷1.n, 5.1÷5.n - нейроны, соответственно, первого и второго слоя; 2.1÷2.n, 6.1÷6.n - элементы задержек, соответственно, первого и второго блоков задержек; 3.1÷3.m, 4.1÷4.m - динамические синапсы, соответственно, первого и второго блоков динамических синапсов; 7 - блок управления.Figure 2 presents a diagram explaining the features of controlling the time delays of the sets of single images in the proposed device (figure 1), where 1.1 ÷ 1.n, 5.1 ÷ 5.n are neurons, respectively, of the first and second layer; 2.1 ÷ 2.n, 6.1 ÷ 6.n - delay elements, respectively, of the first and second delay blocks; 3.1 ÷ 3.m, 4.1 ÷ 4.m - dynamic synapses, respectively, of the first and second blocks of dynamic synapses; 7 - control unit.
На фиг.3,а, б, в представлены примеры линейной схемы продвижения совокупностей единичных образов вдоль слоев в двухслойной рекуррентной сети, поясняющие возможности изменения скорости прохождения сигналов по сети, их временного сжатия и растяжения, где 1.1÷1.10 и 2.1÷2.10 - логические поля, на которые разбиваются, соответственно, первый и второй слои сети за счет сдвигов совокупностей единичных образов вдоль них.Figure 3, a, b, c shows examples of a linear scheme for advancing sets of single images along layers in a two-layer recurrent network, explaining the possibility of changing the speed of signals passing through the network, their temporary compression and stretching, where 1.1 ÷ 1.10 and 2.1 ÷ 2.10 are logical the fields into which the first and second layers of the network are divided, respectively, due to shifts of sets of individual images along them.
Способ осуществляется следующим образом.The method is as follows.
Рассмотрим его на примере предложенного устройства интеллектуальной обработки информации в нейронной сети, структурная схема которого представлена на фиг.1.Consider it as an example of the proposed device for intelligent processing of information in a neural network, the structural diagram of which is presented in figure 1.
Входной сигнал, разложенный на составляющие в базисе, согласованном с первым слоем 1 сети, при этом каждая его составляющая преобразована в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, подают на этот слой. За каждым номером последовательности закрепляется в общем случае частотная и пространственная составляющая, соответствующая исходному сигналу. Детали такого преобразования известны (Осипов В.Ю. Прямое и обратное преобразование сигналов в ассоциативных интеллектуальных машинах / Мехатроника, автоматизация, управление. 2010, №7, с.27-32).An input signal, decomposed into components in a basis consistent with the
После подачи на первый вход первого слоя нейронов такого сигнала на его выходе имеют место последовательные совокупности единичных образов, несущие всю информацию о входном сигнале. Информация о фазе передается через относительные задержки единичных образов. Длительности единичных образов, составляющие одну совокупность на выходе слоя, всегда одинаковы. Однако значение этих длительностей зависит от управляющих воздействий со стороны блока управления 7.After applying to the first input of the first layer of neurons of such a signal at its output there are successive sets of single images that carry all the information about the input signal. Information about the phase is transmitted through the relative delays of individual images. The durations of single images that make up one set at the output of the layer are always the same. However, the value of these durations depends on the control actions from the
После задержки в первом блоке задержек 2 последовательные совокупности единичных образов поступают на первый блок динамических синапсов 3. Все единичные образы, принадлежащие одной и той же совокупности, задерживаются на элементах блока задержек 2 (фиг.2) на одинаковое время. Время задержки каждой совокупности в блоке задержек 2 зависит только от длительности единичных образов в совокупности, поступающей на этот блок. При этом во всех случаях на выходе блока задержек 2 все задержанные совокупности состоят из единичных образов одинаковой длительности.After a delay in the first block of
Каждый единичный образ из текущей совокупности подается одновременно в первом блоке динамических синапсов 3 на совокупность своих динамических синапсов, обеспечивающих связь каждого нейрона, породившего единичный образ в общем случае, со всеми нейронами второго слоя нейронов 5 (фиг.2).Each single image from the current population is fed simultaneously in the first block of dynamic synapses 3 to the set of its dynamic synapses, which provide a link for each neuron that generated a single image in the general case, with all the neurons of the second layer of neurons 5 (Fig. 2).
Амплитуда единичного образа на выходе каждого синапса равна амплитуде входного единичного образа, умноженной на вес wij(t) синапса. Веса wij(t) синапсов определяются через произведение их весовых коэффициентов kij(t) и функций ослабления β(rij(t)),The amplitude of a single image at the output of each synapse is equal to the amplitude of the input single image, multiplied by the weight w ij (t) of the synapse. The weights w ij (t) of the synapses are determined through the product of their weights k ij (t) and the attenuation functions β (r ij (t)),
Весовые коэффициенты, kij(t), изменяются в зависимости от воздействий на синапсы единичных образов и выступают в качестве элементов долговременной памяти сети. При прохождении единичных образов через синапсы они снимают с них информацию о предыдущих воздействиях и оставляют информацию о своем появлении через изменения весовых коэффициентов. Для каждого динамического синапса, связывающего i-й нейрон с j-м нейроном, весовой коэффициент kij(t) на момент времени t поступления на синапс очередного единичного образа может определяться согласно правилам:Weighting factors, k ij (t), vary depending on the effects on the synapses of a single image and act as elements of a long-term network memory. When single images pass through synapses, they remove information about previous effects from them and leave information about their appearance through changes in weight coefficients. For each dynamic synapse connecting the ith neuron with the jth neuron, the weight coefficient k ij (t) at the time t of the arrival of the next single image at the synapse can be determined according to the rules:
где gij(t) - число запомненных синапсом единичных образов на момент t; bt+1(xi(t), yj(t), yj(t+1)) - эффект от единичного взаимодействия нейронов на t+1 момент времени; xi(t), yj(t) - состояния, соответственно, i-го и с j-го нейронов на момент t; yj(t+1) - состояние j-го нейрона на t+1; γ - положительный коэффициент. В частном случае γ=0,5.where g ij (t) is the number of single images memorized by the synapse at time t; b t + 1 (x i (t), y j (t), y j (t + 1)) - the effect of a single interaction of neurons at t + 1 point in time; x i (t), y j (t) - state, respectively, of the i-th and from the j-th neurons at the moment t; y j (t + 1) is the state of the jth neuron at t + 1; γ is a positive coefficient. In the particular case, γ = 0.5.
В случае если активизированный i-й нейрон возбуждает j-й нейрон, то bt+1(xi(t), yj(t), yj(t+1))=1. Когда i-й нейрон не может активизировать j-й нейрон из-за нахождения его уже в невосприимчивом состоянии, bt+1(xi(t), yj(t), yj(t+1))=-1. При условии что j-й нейрон возбуждается за счет других нейронов сети, i-й нейрон в этом процессе не участвует, bt+1(xi(t), yj(t), yj(t+1))=-λ. Величина λ может принимать значения, например, от 0,2 до 0,5. Во всех других случаях bt+1(xi(t), yj(t), yj(t+1))=0.If the activated i-th neuron excites the j-th neuron, then b t + 1 (x i (t), y j (t), y j (t + 1)) = 1. When the i-th neuron cannot activate the j-th neuron because it is already in an unresponsive state, b t + 1 (x i (t), y j (t), y j (t + 1)) = - 1 . Provided that the jth neuron is excited by other neurons in the network, the i-th neuron is not involved in this process, b t + 1 (x i (t), y j (t), y j (t + 1)) = -λ. The value of λ can take values, for example, from 0.2 to 0.5. In all other cases, b t + 1 (x i (t), y j (t), y j (t + 1)) = 0.
Функции β(rij(t)) ослабления единичных образов в (1) зависят от rij(t) - условной удаленности связываемых через синапсы нейронов (условных расстояний между ними) на текущий момент времени.The functions β (r ij (t)) of attenuation of single images in (1) depend on r ij (t) - the conditional distance of neurons connected via synapses (conditional distances between them) at the current time.
Для расчета β(rij(t)) применима формула:To calculate β (r ij (t)), the formula is applicable:
где h - степень корня. Чем она выше, тем шире ассоциативное взаимодействие в сети;where h is the degree of root. The higher it is, the wider the associative interaction in the network;
α - положительный постоянный коэффициент. Например, при h=2 величина α может быть равной 9,0.α is a positive constant coefficient. For example, with h = 2, the value of α can be equal to 9.0.
Определение rij(t) для каждого динамического синапса при отсутствии управления со стороны блока управления, полагая, что расстояние между слоями пренебрежимо мало, сводится к расчету расстояния между нейронами в плоскости X, Y слоев через проекции Δyij, Δxij.The determination of r ij (t) for each dynamic synapse in the absence of control from the side of the control unit, assuming that the distance between the layers is negligible, is reduced to calculating the distance between neurons in the X, Y plane of the layers through the projections Δy ij , Δx ij .
Значения Δyij, Δxij для синапсов, при отсутствии управления ими, можно рассчитать в единицах нейронов через порядковые номера связываемых нейронов во взаимодействующих слоях при заданных длинах их строк и столбцов.The values Δy ij , Δx ij for synapses, if they are not controlled, can be calculated in units of neurons through the serial numbers of the connected neurons in the interacting layers at given lengths of their rows and columns.
Управление такими синапсами с блока управления 7 для смещения совокупностей единичных образов вдоль слоев осуществляется путем изменения соответствующих условных расстояний rij(t) между нейронами первого и второго слоев. Так, путем одновременного изменения, например, Δxij(t) для всех синапсов второго слоя на некоторую величину d реализуется сдвиг текущей совокупности единичных образов вдоль этого слоя, что эквивалентно сдвигу второго слоя относительно первого слоя. При сдвигах за пределы слоя по координате Х возможны сдвиги на начало слоя со смещением, например, вниз по координате Y на заданную величину.Such synapses are controlled from the
Для принятия решения в блоке управления о сдвиге очередной совокупности единичных образов в нем сначала анализируются состояния первого и второго слоя. В случае когда на выходе первого слоя имеет место совокупность единичных образов, которую нельзя передать на второй слой по коротким связям (синапсам с минимальными функциями β(rij(0)) ослабления единичных образов) из-за нахождения соответствующих нейронов второго слоя в состояниях невосприимчивости, осуществляют сдвиг этой совокупности. В случае когда нет препятствий для передачи совокупности единичных образов по коротким связям, сдвиг ее не осуществляют.To make a decision in the control unit about the shift of the next set of single images, the states of the first and second layer are first analyzed in it. In the case where at the output of the first layer there is a set of single images that cannot be transferred to the second layer via short connections (synapses with minimal functions β (r ij (0)) of attenuation of single images) due to the presence of the corresponding neurons of the second layer in immunity states carry out the shift of this aggregate. In the case where there are no obstacles to transmitting the totality of single images through short connections, it is not shifted.
В общем случае смещенные совокупности единичных образов с выхода первого блока динамических синапсов 3 поступают на первый вход второго слоя нейронов 5.In the general case, the displaced aggregates of single images from the output of the first block of dynamic synapses 3 go to the first input of the second layer of neurons 5.
Заметим, что все единичные образы, поступившие на один и тот же нейрон по различным синапсам, суммируются. При превышении этой суммы заданного порога возбуждения нейрона он возбуждается и на его выходе формируется единичный образ, длительность которого зависит от управляющего воздействия со стороны блока управления 7. Затем имеющаяся сумма обнуляется, а сам нейрон затем переходит в состояние невосприимчивости входных сигналов. В нем он находится некоторое время, значение которого также зависит от управляющего воздействия на нейрон со стороны блока управления 7. Это время всегда должно быть больше, чем время задержки единичных образов в блоках 1, 2, 3, 5, 6, 4, входящих в двухслойный многопучковый контур нейронной сети. Это условие легко обеспечивать, так как для нейронов с увеличением длительности формируемых единичных образов возрастает также время их невосприимчивости после возбуждения.Note that all single images received on the same neuron at different synapses are summed up. If this sum exceeds a predetermined threshold for the excitation of a neuron, it is excited and a single image is formed at its output, the duration of which depends on the control action from the
Последовательные совокупности единичных образов с выхода второго слоя 5, после задержки в блоке 6, поступают на второй блок динамических синапсов 4. В этих блоках они аналогичным образом, как и в блоках 1, 2, 3, обрабатываются и, сдвинутые вдоль первого слоя в зависимости от состояний первого и второго слоев, поступают на второй вход первого слоя нейронов 1.Successive sets of single images from the output of the second layer 5, after a delay in
С учетом этого поступающие на первый слой нейронов 1 прямые и обратные совокупности единичных образов в нем корректно связываются, распознаются и порождают на его выходе новые совокупности единичных образов, несущие в себе информацию как о текущих, так и ранее запомненных сетью сигналах, связанных с первыми. При этом за счет соответствующих сдвигов совокупностей единичных образов вдоль слоев исключается наложение обратных результатов распознавания на прямые совокупности.With this in mind, the direct and inverse aggregates of single images arriving at the first layer of
Согласно правилам (1)-(4) между входом и выходом устройства, реализующего предлагаемый способ интеллектуальной обработки информации в нейронной сети, легко устанавливается однозначное соответствие между составляющими входных и выходных сигналов. Заметим, что в качестве выхода также можно успешно использовать выход второго слоя.According to the rules (1) - (4) between the input and output of the device that implements the proposed method of intelligent information processing in a neural network, it is easy to establish an unambiguous correspondence between the components of the input and output signals. Note that the output of the second layer can also be used successfully as an output.
С учетом этого соответствия по номерам нейронов, формирующих последовательности единичных образов на выходе устройства, определяют частотные и пространственные характеристики составляющих исходного сигнала. По частотам следования и относительным задержкам единичных образов, соответственно, устанавливают амплитуды и фазы составляющих исходного сигнала. Затем воспроизводят составляющие исходных сигналов и путем их сложения восстанавливают исходные, например речевые, зрительные и другие, сигналы. Для определения амплитуд составляющих исходного сигнала определяют текущее число единичных образов, попадающих в предварительно заданный интервал времени. Для воспроизведения составляющих исходных сигналов применим, например, их цифровой синтез по известным параметрам.Given this correspondence, the frequency and spatial characteristics of the components of the original signal are determined by the numbers of neurons that form the sequence of single images at the output of the device. According to the repetition frequencies and relative delays of individual images, respectively, the amplitudes and phases of the components of the original signal are set. Then reproduce the components of the original signals and by adding them restore the original, for example, speech, visual and other signals. To determine the amplitudes of the components of the source signal, the current number of unit images falling into a predetermined time interval is determined. To reproduce the components of the source signals, for example, their digital synthesis according to known parameters is applicable.
За счет реализуемых пространственных сдвигов совокупностей единичных образов в нейронной сети ее слои логически разбиваются на поля с размерами этих сдвигов. На фиг.3,а, б, в представлены примеры линейной схемы продвижения совокупностей единичных образов вдоль слоев при сдвигах совокупностей только по одной координате на заданную величину. В рассматриваемых примерах каждый слой сети за счет сдвигов разбивается на 10 одинаковых полей. Согласно фиг.3,а, б, в последовательные совокупности единичных образов подают на первое поле первого слоя сети. При прохождении по сети они из последовательных совокупностей преобразуются в параллельные, которые продвигаются вдоль слоев. Результаты обработки снимаются с последнего поля первого или второго слоя. В соответствии с фиг.3,а сдвиг совокупностей единичных образов осуществляется только при передаче их со второго слоя на первый. На фиг.3,б приведено одно из состояний первого слоя при вводе в сеть последовательно через равные промежутки времени совокупностей единичных образов «С», «Е», «Т», «Ь». На фиг.3,в отражено состояние первого слоя сети при вводе в нее этой же последовательности совокупностей единичных образов, но растянутой во времени. Стрелками показано направление продвижения совокупностей вдоль слоев сети.Due to the realized spatial shifts of the aggregates of single images in a neural network, its layers are logically divided into fields with the sizes of these shifts. Figure 3, a, b, c shows examples of a linear scheme for advancing sets of single images along layers with displacements of sets in only one coordinate by a given value. In the considered examples, each layer of the network is divided into 10 identical fields due to shifts. According to figure 3, a, b, in successive sets of single images served on the first field of the first network layer. When passing through the network, they are converted from consecutive sets into parallel ones that move along the layers. Processing results are taken from the last field of the first or second layer. In accordance with figure 3, and the shift of the sets of single images is carried out only when transferring them from the second layer to the first. Figure 3, b shows one of the states of the first layer when entering into the network sequentially at equal intervals of time the sets of single images "C", "E", "T", "b". Figure 3, in the reflected state of the first layer of the network when you enter into it the same sequence of sets of single images, but stretched in time. The arrows show the direction of the progress of the aggregates along the network layers.
Преобразование последовательных совокупностей в параллельные обеспечивает возможность широких ассоциаций между разнесенными во времени сигналами. От задержек совокупностей при передаче от слоя к слою зависят скорость их продвижения вдоль слоев и формируемые в плоскостях слоев сети пространственные структуры из отдельных совокупностей. Заметим, что изменение задержек совокупностей единичных образов предусматривает одинаковое изменение параметров нейронов для каждого поля слоев сети.Converting consecutive sets to parallel allows for wide associations between time-spaced signals. From the delays of the aggregates during transmission from layer to layer, the speed of their advancement along the layers and the spatial structures formed in the planes of the network layers from the individual aggregates depend. Note that a change in the delays of the aggregates of single images provides for an identical change in the parameters of neurons for each field of the network layers.
Для одного и того же сигнала с различным уровнем сжатия или растяжения во времени, поступающего в сеть, будут характерны свои пространственные структуры в сети (фиг.3,б, в). Возможности нейронной сети по распознаванию сигналов и вызову связанной информации из сети тем выше, чем больше степень совпадения ранее запомненных и обрабатываемых таких пространственных структур. Если нейронная сеть обучалась на одних сигналах, а ей необходимо распознать и восстановить те же самые сигналы, но сжатые или растянутые во времени, возникают трудности, так как существенно не совпадают их пространственные структуры в плоскостях слоев сети и, соответственно, схемы ассоциативных связей.For the same signal with a different level of compression or extension in time entering the network, its spatial structures in the network will be characteristic (Fig. 3, b, c). The capabilities of a neural network to recognize signals and call related information from the network the higher, the greater the degree of coincidence of previously stored and processed such spatial structures. If the neural network was trained on the same signals, and it needs to recognize and restore the same signals, but compressed or stretched in time, difficulties arise, since their spatial structures in the planes of the network layers and, accordingly, the patterns of associative connections do not coincide significantly.
Для того чтобы в наибольшей мере обеспечить такое совпадение, а также наделить сеть возможностью опережающего и отстающего во времени вызова сигналов из ее памяти, управления скоростью процессов на ее выходе, согласно изобретению предлагается при передаче совокупностей единичных образов от слоя к слою их задерживать с учетом текущих состояний слоев. Увеличение или уменьшение задержек совокупностей единичных образов позволяет изменять пространственную структуру сигналов в плоскостях слоев сети и настраивать сеть на наилучшее распознавание. Наилучшему распознаванию свойственно наибольшее число ассоциативно вызываемых из памяти сети недостающих единичных образов и наибольшее число стираемых ошибочных образов. В частном случае можно использовать только критерий наибольшего числа ассоциативно вызываемых из памяти единичных образов. Определение их числа осуществимо путем текущего сравнения состояний полей первого и второго слоев сети. Так, сравнивая передаваемые с первого слоя на второй совокупности с совокупностями, которые они порождают на выходе второго слоя, можно определить как число новых вызванных единичных образов, так и число подавленных ошибочных образов. Изменяя периодически вправо и влево на незначительную величину все задержки совокупностей единичных образов и оценивая прирост принятого показателя в блоке управления 7, можно сначала определить направление изменения задержек для наилучшего распознавания сигналов, а затем установить значения задержек, обеспечивающих максимум принятого показателя. Например, если своевременно увеличить задержки в сети (фиг.3,а), то растянутую во времени последовательность совокупностей «С», «Е», «Т», «Ь», поступающую в нее, можно привести в сети к виду на фиг.3,б вместо вида на фиг.3,в. За счет этого достигается согласование масштаба времени обрабатываемых сигналов с масштабом времени сигналов, на которых обучалась сеть, и улучшается распознавание первых. Заметим, что изменение задержек по отношению к сигналам, уже находящимся в сети, приводит к их временному сжатию или растяжению. Ускоряются или замедляются процессы в сети и на ее выходе. В случае ускорения процессов из памяти сети вызываются также сжатые сигналы, отражающие события, опережающие реальное время. Иначе говоря, сеть начинает прогнозировать события. При замедлении процессов вызываются растянутые сигналы с опозданием. Замедление процессов дает возможность расширить число одновременно обрабатываемых сигналов в сети и улучшить за счет этого их запоминание и восстановление. Во всех случаях блок управления 7 (фиг.1) вырабатывает команды для первого и второго слоев нейронов исходя из достижения максимума принятого показателя эффективности ассоциативного вызова единичных образов из памяти сети.In order to maximize such a coincidence, as well as to empower the network with the ability to call signals from its memory ahead of time and lagging behind it, to control the speed of processes at its output, according to the invention, it is proposed to delay the collection of individual images from layer to layer taking into account current layer states. Increasing or decreasing the delays of sets of single images allows you to change the spatial structure of the signals in the planes of the network layers and configure the network for the best recognition. The best recognition is characterized by the largest number of associatively missing missing images from the network memory and the largest number of erased erroneous images. In the particular case, it is possible to use only the criterion of the largest number of individual images associatively recalled from memory. The determination of their number is feasible by current comparison of the state of the fields of the first and second layers of the network. So, comparing the data transmitted from the first layer to the second aggregate with the aggregates that they generate at the output of the second layer, one can determine both the number of newly called single images and the number of suppressed error images. Changing periodically to the right and left by an insignificant amount all the delays of the sets of single images and evaluating the increase in the received indicator in the
Таким образом, задержка совокупностей единичных образов с учетом текущих состояний слоев позволяет существенно расширить функциональные возможности по интеллектуальной обработке информации в нейронной сети, наделить сеть новыми свойствами.Thus, the delay in the collections of single images, taking into account the current state of the layers, can significantly expand the functionality for the intellectual processing of information in a neural network, and endow the network with new properties.
Способ и устройство интеллектуальной обработки информации в нейронной сети могут быть реализованы с использованием известной элементной базы. В качестве нейронов слоев применимы ждущие мультивибраторы с перестраиваемыми или переключаемыми емкостями или резисторами. В качестве элементов задержек в блоках задержек могут использоваться не перестраиваемые ждущие мультивибраторы, запускающиеся не по переднему, а по заднему фронту входного импульса.The method and apparatus of intelligent information processing in a neural network can be implemented using a well-known element base. As layer neurons, standby multivibrators with tunable or switchable capacities or resistors are applicable. As delay elements in delay blocks, non-tunable waiting multivibrators that start not along the leading, but on the falling edge of the input pulse can be used.
Блоки динамических синапсов и блок управления могут быть реализованы специализированными процессорами, программируемыми интегральными схемами, функционирующими в соответствии с рассмотренными выше правилами.The blocks of dynamic synapses and the control unit can be implemented by specialized processors, programmable integrated circuits, operating in accordance with the above rules.
Результаты математического моделирования работы этого устройства, реализующего предлагаемый способ, в среде MatLab, при числе нейронов в каждом слое, равном 900, полностью подтвердили описанные выше возможности, которые существенно шире возможностей известных технических решений по интеллектуальной обработке информации в нейронной сети.The results of mathematical modeling of the operation of this device that implements the proposed method in the MatLab environment, with the number of neurons in each layer equal to 900, fully confirmed the capabilities described above, which are significantly wider than the capabilities of known technical solutions for the intelligent processing of information in a neural network.
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2011104528/08A RU2446463C1 (en) | 2011-02-08 | 2011-02-08 | Method and apparatus for intelligent information processing in neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2011104528/08A RU2446463C1 (en) | 2011-02-08 | 2011-02-08 | Method and apparatus for intelligent information processing in neural network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2446463C1 true RU2446463C1 (en) | 2012-03-27 |
Family
ID=46030978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2011104528/08A RU2446463C1 (en) | 2011-02-08 | 2011-02-08 | Method and apparatus for intelligent information processing in neural network |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2446463C1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2502133C1 (en) * | 2012-07-27 | 2013-12-20 | Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук | Method for intelligent information processing in neural network |
| RU2514931C1 (en) * | 2013-01-14 | 2014-05-10 | Василий Юрьевич Осипов | Method for intelligent information processing in neural network |
| RU2553074C1 (en) * | 2014-01-17 | 2015-06-10 | Закрытое акционерное общество "СПИИРАН-Научно-техническое бюро высоких технологий" | Method for intelligent information processing in neural network |
| RU2567038C1 (en) * | 2014-06-24 | 2015-10-27 | Государственное бюджетное образовательное учреждение высшего профессионального образования "Смоленский государственный медицинский университет" Министерства здравоохранения Российской Федерации (ГБОУ ВПО СГМУ Минздрава России) | Method for prediction of clinical course of early postoperative period in patients with complicated rectal cancer and aid for implementing it |
| RU2737227C1 (en) * | 2020-04-20 | 2020-11-26 | Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии наук" | Method for intelligent multi-level information processing in neural network |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2006067C1 (en) * | 1991-05-20 | 1994-01-15 | Каримов Александр Рашатович | Method of processing information in neuron networks |
| US5666518A (en) * | 1995-06-26 | 1997-09-09 | The United States Of America As Represented By The Secretary Of The Air Force | Pattern recognition by simulated neural-like networks |
-
2011
- 2011-02-08 RU RU2011104528/08A patent/RU2446463C1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2006067C1 (en) * | 1991-05-20 | 1994-01-15 | Каримов Александр Рашатович | Method of processing information in neuron networks |
| US5666518A (en) * | 1995-06-26 | 1997-09-09 | The United States Of America As Represented By The Secretary Of The Air Force | Pattern recognition by simulated neural-like networks |
Non-Patent Citations (2)
| Title |
|---|
| Alexander Waibel, Phoneme Recognition Using Time-Delay Neural Networks, IEEE Transactions on acoustics, speech, and signal processing, vol.37, no.3, 1989. * |
| Осипов В.Ю. Ассоциативная интеллектуальная машина, Информационные технологии и вычислительные системы, №2, 2010. * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2502133C1 (en) * | 2012-07-27 | 2013-12-20 | Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук | Method for intelligent information processing in neural network |
| RU2514931C1 (en) * | 2013-01-14 | 2014-05-10 | Василий Юрьевич Осипов | Method for intelligent information processing in neural network |
| RU2553074C1 (en) * | 2014-01-17 | 2015-06-10 | Закрытое акционерное общество "СПИИРАН-Научно-техническое бюро высоких технологий" | Method for intelligent information processing in neural network |
| RU2567038C1 (en) * | 2014-06-24 | 2015-10-27 | Государственное бюджетное образовательное учреждение высшего профессионального образования "Смоленский государственный медицинский университет" Министерства здравоохранения Российской Федерации (ГБОУ ВПО СГМУ Минздрава России) | Method for prediction of clinical course of early postoperative period in patients with complicated rectal cancer and aid for implementing it |
| RU2737227C1 (en) * | 2020-04-20 | 2020-11-26 | Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии наук" | Method for intelligent multi-level information processing in neural network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Williams et al. | Gradient-based learning algorithms for recurrent networks and their computational complexity | |
| RU2446463C1 (en) | Method and apparatus for intelligent information processing in neural network | |
| RU2406105C2 (en) | Method of processing information in neural networks | |
| CN113287122A (en) | Impulse neural network | |
| JP2017515205A (en) | Cold neuron spike timing back propagation | |
| WO2015112643A1 (en) | Monitoring neural networks with shadow networks | |
| Thibault et al. | Neural networks in process control-a survey | |
| RU2413304C1 (en) | Method and device of intellectual processing of information in neural network | |
| WO2014081671A1 (en) | Dynamical event neuron and synapse models for learning spiking neural networks | |
| CN114565079A (en) | Space-time domain pulse neural network training method, chip and electronic product | |
| Balasubramaniam et al. | Delay-range dependent stability criteria for neural networks with Markovian jumping parameters | |
| RU2427914C1 (en) | Method of intellectual information processing in neuron network | |
| Feofilov et al. | Synthesis of neural network controllers for objects with non-linearity of the constraint type | |
| Ying et al. | Artificial neural network prediction for seismic response of bridge structure | |
| Zhao et al. | Finite-time synchronization of fractional-order fuzzy Cohen-Grossberg neural networks with time delay | |
| RU2483356C1 (en) | Method for intelligent information processing in neural network | |
| WO2020077215A1 (en) | Temporal coding in leaky spiking neural networks | |
| RU2514931C1 (en) | Method for intelligent information processing in neural network | |
| US5485548A (en) | Signal processing apparatus using a hierarchical neural network | |
| Hu et al. | Time series prediction with a weighted bidirectional multi-stream extended Kalman filter | |
| RU2502133C1 (en) | Method for intelligent information processing in neural network | |
| Benderskaya | Nonlinear dynamics as a part of soft computing systems: Novel approach to design of data mining systems | |
| Drago et al. | An adaptive momentum back propagation (AMBP) | |
| RU2553074C1 (en) | Method for intelligent information processing in neural network | |
| KR20210146002A (en) | Method and apparatus for training multi-layer spiking neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20160209 |