RU2553074C1 - Method for intelligent information processing in neural network - Google Patents
Method for intelligent information processing in neural network Download PDFInfo
- Publication number
- RU2553074C1 RU2553074C1 RU2014101538/08A RU2014101538A RU2553074C1 RU 2553074 C1 RU2553074 C1 RU 2553074C1 RU 2014101538/08 A RU2014101538/08 A RU 2014101538/08A RU 2014101538 A RU2014101538 A RU 2014101538A RU 2553074 C1 RU2553074 C1 RU 2553074C1
- Authority
- RU
- Russia
- Prior art keywords
- network
- sets
- images
- layer
- layers
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
Изобретение относится к моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем.The invention relates to modeling the functional aspects of man and can find application in computer technology for the construction of intelligent machines and systems.
Известны способы интеллектуальной обработки информации в нейронной сети, применяемые для распознавания образов, обработки речи, прогнозирования, ассоциативного управления и решения других творческих задач (Хайкин С. Нейронные сети: полный курс, 2-е издание.: Пер. с англ. М.: Издательский дом «Вильямс», 2006. - 1104 с.; Галушкин А.И. Теория нейронных сетей. Кн. 1: Учебное пособие для вузов / Общая ред. А.И. Галушкина. - М.: ИПРЖР, 2000. - 416 с.).Known methods of intelligent information processing in a neural network, used for pattern recognition, speech processing, forecasting, associative control and other creative tasks (Khaikin S. Neural networks: full course, 2nd edition: Translated from English. M .: Williams Publishing House, 2006. - 1104 p .; AI Galushkin, Theory of Neural Networks, Book 1: Textbook for Universities / General ed. By A.I. Galushkin. - Moscow: IPRZhR, 2000. - 416 from.).
Однако для этих способов характерны узкие возможности по запоминанию структурно сложных изменяющихся во времени сигналов, их распознаванию, ассоциированию с другими сигналами, извлечению из памяти сети и воспроизведению в исходной форме.However, these methods are characterized by narrow capabilities for storing structurally complex time-varying signals, their recognition, association with other signals, retrieving from the network memory and reproducing in its original form.
Наиболее близким аналогом изобретения является способ интеллектуальной обработки информации в двухслойной нейронной сети с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения. Согласно ему сигнал подают в сеть после разложения на составляющие в базисе, согласованном с входным слоем сети. При этом каждую составляющую перед подачей в сеть преобразуют в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей. Сигнал представляют в сети в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания. При передаче совокупностей единичных образов от слоя к слою их сдвигают вдоль слоев с изменяемыми параметрами сдвигов с учетом текущих состояний слоев. Продвигают совокупности единичных образов вдоль слоев по спирали с изменяемым диаметром. Результаты распознавания запоминают на элементах сети. В качестве результатов обработки используют последовательные совокупности единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы (Патент RU 2427914 С1, 27.08.2011; Осипов В.Ю. Рекуррентная нейронная сеть со спиральной структурой слоев // Информационно-управляющие системы. 2012. №6. С.28-32).The closest analogue of the invention is a method of intelligent information processing in a two-layer neural network with feedbacks that close two-layer circuits with a delay time of single images less than the immunity time of network neurons after their excitation. According to it, the signal is fed into the network after decomposition into components in a basis consistent with the input layer of the network. In this case, each component is converted into a sequence of single images with a repetition rate as a predetermined function of the amplitude of the component before being fed into the network. The signal is represented on the network in the form of consecutive sets of single images in accordance with predefined rules for its recognition, taking into account the inverse recognition results. When transferring sets of single images from layer to layer, they are shifted along layers with variable shift parameters, taking into account the current state of the layers. Promote a set of single images along the layers in a spiral with a variable diameter. Recognition results are stored on network elements. As the processing results, sequential sets of single images on the output layer of the network are used after conversion back to the corresponding source signals (Patent RU 2427914 C1, 08.27.2011; Osipov V.Yu. Recurrent neural network with a spiral layer structure // Information-control systems. 2012. No. 6. P.28-32).
За счет спиральной схемы продвижения совокупностей единичных образов вдоль слоев, присущей этому способу, удается реализовать встречное продвижение совокупностей по смежным полувиткам спирали и обеспечить между встречными совокупностями выраженное по пространству и времени ассоциативное взаимодействие.Due to the spiral scheme of moving the aggregates of single images along the layers inherent in this method, it is possible to realize counter-propagation of the collections along adjacent half-turns of the spiral and to ensure associative interaction expressed between the sets in space and time.
Однако согласно этому способу между единичными образами в пределах отдельных совокупностей и между совокупностями, продвигающимися в одном направлении в пределах одного полувитка спирали, ассоциативное взаимодействие остается слабо выраженным. Присутствует высокая избыточность запоминания одних и тех же результатов распознавания сигналов на элементах сети.However, according to this method, between individual images within individual populations and between populations moving in the same direction within one half-turn of a spiral, the associative interaction remains weakly expressed. There is a high redundancy in remembering the same signal recognition results on network elements.
Эти недостатки ограничивают возможности сети по объему запоминания различных сигналов, их распознаванию, ассоциативному вызову их из памяти. В целом это ограничивает функциональные возможности способа по интеллектуальной обработке информации.These shortcomings limit the network's capabilities in terms of the storage of various signals, their recognition, and their associative recall from memory. In general, this limits the functionality of the method for intellectual information processing.
Задачей изобретения является расширение функциональных возможностей по интеллектуальной обработке информации в нейронной сети.The objective of the invention is to expand the functionality of intelligent information processing in a neural network.
Технический результат от использования изобретения заключается в повышении интеллектуальности обработки информации в нейронной сети, улучшении распознавания, запоминания сигналов и извлечения их из сети.The technical result from the use of the invention is to increase the intelligence of processing information in a neural network, to improve the recognition, storage of signals and their extraction from the network.
Поставленная задача решается тем, что в известном способе интеллектуальной обработки информации в нейронной сети, заключающемся в подаче в двухслойную сеть с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с изменяемыми параметрами сдвигов с учетом текущих состояний слоев, продвижении совокупностей единичных образов вдоль слоев по спирали с изменяемым диаметром, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, согласно изобретению представляют сигнал в виде последовательных совокупностей единичных образов, разделенных на пары частных совокупностей этих образов, частные совокупности единичных образов из каждой такой пары продвигают вдоль слоев сети по двойной спирали с изменяемым диаметром и скручивают попарно последовательности частных совокупностей единичных образов.The problem is solved in that in the known method of intelligent processing of information in a neural network, which consists in supplying a two-layer network with feedbacks that close two-layer circuits with a delay time of single images less than the immunity time of the network neurons after their excitation, a signal decomposed into components in the basis matched with the input network layer, with each component transformed into a sequence of single images with a repetition rate as a predefined function from the amplitude of the component, representing the signal in the form of successive sets of single images in accordance with predefined recognition rules taking into account the inverse recognition results, shifts of sets of single images along layers with variable shift parameters taking into account the current state of the layers, spiraling the sets of single images along the layers in a spiral with a variable diameter, storing recognition results on network elements, using as processing results according to the invention, they represent a signal in the form of consecutive sets of unit images divided into pairs of particular sets of these images, partial sets of unit images from each such pair are moved along the network layers along double spirals with a variable diameter and twist pairs of sequences of private sets of single images.
Новым существенным признаком изобретения является то, что сигнал представляют в виде последовательных совокупностей единичных образов, разделенных на пары частных совокупностей этих образов.A new significant feature of the invention is that the signal is represented in the form of successive sets of single images, divided into pairs of private sets of these images.
Другим новым существенным признаком изобретения выступает то, что частные совокупности единичных образов из каждой пары этих совокупностей продвигают вдоль слоев сети по двойной спирали с изменяемым диаметром и скручивают попарно последовательности частных совокупностей единичных образов.Another significant new feature of the invention is the fact that partial sets of single images from each pair of these sets are promoted along the network layers in a double spiral with a variable diameter and twisted in pairs are sequences of private sets of single images.
За счет этого увеличивается уровень ассоциативного взаимодействия сигналов и их элементов в сети, уменьшается избыточность запоминания одних и тех же результатов распознавания сигналов. Это позволяет улучшить распознавание и запоминание сигналов, извлечение их из памяти, расширить функциональные возможности по интеллектуальной обработке информации в нейронной сети.Due to this, the level of associative interaction of signals and their elements in the network increases, the redundancy of remembering the same signal recognition results decreases. This allows you to improve the recognition and storage of signals, extracting them from memory, expand the functionality of intellectual information processing in a neural network.
Сущность изобретения поясняется фиг.1÷7.The invention is illustrated in figure 1 ÷ 7.
На фиг.1 приведена структурная схема двухслойной рекуррентной нейронной сети, реализующей предложенный способ, где 1, 5 - первый, второй слои нейронов; 2, 6 - первый, второй блоки единичных задержек; 3, 4 - первый, второй блоки динамических синапсов; 7 - блок управления синапсами.Figure 1 shows the structural diagram of a two-layer recurrent neural network that implements the proposed method, where 1, 5 - the first, second layers of neurons; 2, 6 - the first, second blocks of unit delays; 3, 4 - the first, second blocks of dynamic synapses; 7 - control unit synapses.
На фиг.2 показан пример продольной спиральной структуры двухслойной нейронной сети, на вход которой поступают последовательные совокупности единичных образов. Стрелками на фиг.2 отражены направления продвижения совокупностей вдоль слоев. Параметры d, 2q - это величины единичных сдвигов совокупностей, соответственно, по координатам X, Y.Figure 2 shows an example of a longitudinal spiral structure of a two-layer neural network, the input of which receives successive sets of single images. The arrows in figure 2 reflect the directions of advancement of the aggregates along the layers. The parameters d, 2q are the values of unit shifts of the sets, respectively, along the X, Y coordinates.
На фиг.3 приведены разрезы сети (фиг.2) по двум слоям по первой (фиг.3а), второй (фиг.3б), третьей (фиг.3в) строкам и вид сбоку (фиг.3г) на слои. Стрелками на фиг.3а, б, в, г показаны направления продвижения совокупностей единичных образов между слоями.Figure 3 shows the sections of the network (Fig. 2) in two layers along the first (Fig. 3a), second (Fig. 3b), third (Fig. 3c) lines and side view (Fig. 3d) of the layers. The arrows in figa, b, c, d show the directions of advancement of sets of single images between the layers.
На фиг.4 отражен пример продольной логической структуры двухслойной нейронной сети с продвижения частных совокупностей единичных образов вдоль слоев сети по двойной спирали с изменяемым диаметром, где стрелками показаны направления продвижения частных совокупностей вдоль первого слоя. Штрихпунктирные стрелки отражают продвижение совокупностей под пересекаемыми полями. Параметры d, q - величины единичных сдвигов совокупностей, соответственно, по координатам X, Y.Figure 4 shows an example of the longitudinal logical structure of a two-layer neural network with the promotion of private sets of single images along the network layers in a double spiral with a variable diameter, where the arrows show the directions of advancement of private sets along the first layer. The dash-dotted arrows reflect the progress of the populations under the crossed fields. The parameters d, q are the values of unit shifts of the populations, respectively, along the coordinates X, Y.
На фиг.5 приведены разрезы этой сети (фиг.4) по двум слоям по первой (фиг.5а), второй (фиг.5б), третьей (фиг.5в), четвертой (фиг.5г) строкам и вид сбоку (фиг.5д). Стрелками на фиг.5а, б, в, г, д отражены направления продвижения совокупностей единичных образов между слоями.Fig. 5 shows sections of this network (Fig. 4) in two layers along the first (Fig. 5a), second (Fig. 5b), third (Fig. 5c), fourth (Fig. 5g) rows and side view (Fig. .5d). The arrows in figa, b, c, d, e reflect the direction of advancement of sets of single images between the layers.
На фиг.6 показаны приросты ΔW суммарного веса синапсов сети на каждом шаге t ее функционирования относительно предыдущего шага на одном полувитке спирали при использовании известного решения (кривая 1) и предлагаемого способа (кривая 2) для случая обработки одной совокупности единичных образов.Figure 6 shows the increments ΔW of the total weight of the network synapses at each step t of its operation relative to the previous step on one half-turn of the spiral using the known solution (curve 1) and the proposed method (curve 2) for the case of processing one set of single images.
На фиг.7 приведены приросты ΔW на одном полувитке спирали для случая обработки двух последовательных совокупностей единичных образов известным способом (кривая 1) и предлагаемым способом (кривая 2).Figure 7 shows the increments ΔW on one half-turn of the spiral for the case of processing two consecutive sets of single images in a known manner (curve 1) and the proposed method (curve 2).
Способ осуществляется следующим образом.The method is as follows.
Рассмотрим его на примере нейронной сети, структурная схема которой представлена на фиг.1.Consider it on the example of a neural network, a structural diagram of which is presented in figure 1.
Входной сигнал, разложенный на составляющие в базисе, согласованном с первым слоем 1 сети, при этом каждая его составляющая преобразована в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, подают на этот слой. Перед подачей в сеть входные последовательности единичных образов предлагается разделять на группы и составлять из них пары групп. В результате в дискретном времени имеем последовательные совокупности единичных образов, разделенные на пары частных совокупностей этих образов.An input signal, decomposed into components in a basis consistent with the
После подачи на первый слой нейронов такого сигнала на его выходе присутствуют пары частных совокупностей единичных образов, несущие всю информацию о сигнале.After applying such a signal to the first layer of neurons, at its output there are pairs of private sets of single images that carry all the information about the signal.
После задержки в первом блоке единичных задержек 2 (фиг.1) пары частных совокупностей единичных образов поступают на первый блок динамических синапсов 3. Каждый единичный образ из текущих частных совокупностей подается одновременно в первом блоке динамических синапсов 3 на совокупность своих динамических синапсов, обеспечивающих связь каждого нейрона, породившего единичный образ, в общем случае со всеми нейронами второго слоя нейронов 5.After a delay in the first block of unit delays 2 (Fig. 1), pairs of private sets of single images are sent to the first block of
Амплитуда единичного образа на выходе каждого синапса равна амплитуде входного единичного образа, умноженной на вес wij(t) синапса. Веса wij(t) синапсов определяются через произведение их весовых коэффициентов kij(t) и функций ослабления β(rij(t)), wij(t)=kij(t)·β(rij(t)). Весовые коэффициенты, kij(t), изменяются в зависимости от воздействий на синапсы единичных образов и выступают в качестве элементов долговременной памяти сети. При прохождении единичных образов через синапсы они снимают с них информацию о предыдущих воздействиях и оставляют информацию о своем появлении через изменения весовых коэффициентов. Значения весовых коэффициентов могут быть определены по известным правилам (Осипов В.Ю. Ассоциативная интеллектуальная машина // Информационные технологии и вычислительные системы. 2010. №2. С.59-67).The amplitude of a single image at the output of each synapse is equal to the amplitude of the input single image, multiplied by the weight w ij (t) of the synapse. The weights w ij (t) of the synapses are determined through the product of their weights k ij (t) and the attenuation functions β (r ij (t)), w ij (t) = k ij (t) · β (r ij (t)) . Weighting factors, k ij (t), vary depending on the effects on the synapses of a single image and act as elements of a long-term network memory. When single images pass through synapses, they remove information about previous effects from them and leave information about their appearance through changes in weight coefficients. The values of weighting coefficients can be determined according to well-known rules (V. Osipov, Associative Intelligent Machine // Information Technologies and Computing Systems. 2010. No. 2. P.59-67).
Каждая из связей (синапсов) имеет свое значение функции ослабления βij(rij) единичных образов, зависящее от rij - удаленности связываемых через синапсы нейронов (расстояний между ними на плоскости X, Y). Полагается, что расстояние между взаимодействующими слоями нейронной сети стремится к нулю.Each of the connections (synapses) has its own value of the attenuation function β ij (r ij ) of individual images, depending on r ij - the distance of neurons connected via synapses (distances between them on the X, Y plane). It is believed that the distance between the interacting layers of the neural network tends to zero.
Функция β(rij) может определяться как:The function β (r ij ) can be defined as:
где h - степень корня, чем она выше, тем шире ассоциативное пространственное взаимодействие в сети; α - положительный постоянный коэффициент; N - число нейронов в каждом слое сети.where h is the degree of the root, the higher it is, the wider the associative spatial interaction in the network; α is a positive constant coefficient; N is the number of neurons in each layer of the network.
Входящую в (1) величину rij в единицах нейронов с учетом возможных пространственных сдвигов совокупностей единичных образов вдоль слоев сети можно выразить в виде:Included in (1), the value of r ij in units of neurons, taking into account the possible spatial shifts of the aggregates of individual images along the network layers, can be expressed as:
где Δxij, Δyij - проекции связи j-го нейрона с i-м на оси X, Y без учета пространственных сдвигов; d, q - величины единичных сдвигов, соответственно, по координатам X, Y; L, М - число, соответственно, столбцов и строк, на которые разбивается каждый слой нейронной сети за счет сдвигов.where Δx ij , Δy ij are the projections of the connection of the j-th neuron with the i-th on the X, Y axis without taking into account spatial shifts; d, q are the values of unit shifts, respectively, in the coordinates X, Y; L, M - the number, respectively, of columns and rows into which each layer of the neural network is divided due to shifts.
Изменяя Δxij, Δyij на соответствующие значения nij·d и mij·q, можно менять rij и направление продвижения частных совокупностей единичных образов вдоль слоев сети. Каждую частную совокупность можно продвигать по-своему.Changing Δx ij , Δy ij to the corresponding values of n ij · d and m ij · q, we can change r ij and the direction of advancement of private sets of unit images along the network layers. Each private set can be promoted in its own way.
Сдвиги частных совокупностей единичных образов вдоль слоев осуществляют через управление динамическими синапсами с блока управления синапсами 7. Для принятия решения в блоке управления синапсами о сдвиге очередной совокупности единичных образов в нем сначала анализируются состояния первого и второго слоя. В случае, когда на выходе первого или второго слоя имеет место совокупность единичных образов, которую нельзя передать на другой слой по коротким связям (синапсам с минимальными функциями β(rij(0)) ослабления единичных образов) из-за нахождения соответствующих нейронов этого слоя в состояниях невосприимчивости, осуществляют сдвиг этой совокупности. В случае, когда нет препятствий для передачи совокупности единичных образов по коротким связям, сдвиг ее не осуществляют.Shifts of the private sets of single images along the layers are performed through the management of dynamic synapses from the
В общем случае смещенные частные совокупности единичных образов с выхода первого блока динамических синапсов 3 поступают на вход второго слоя нейронов 5.In the General case, the displaced private sets of single images from the output of the first block of
Заметим, что все единичные образы, поступившие на один и тот же нейрон по различным синапсам, суммируются. При превышении этой суммы заданного порога возбуждения нейрона он возбуждается и на его выходе формируется единичный образ. Затем имеющаяся сумма обнуляется, а сам нейрон затем переходит в состояние невосприимчивости входных сигналов. В нем он находится заданное время, одинаковое для всех нейронов сети, которое больше суммарной задержки единичных образов в блоках 1, 2, 3, 5, 6, 4, входящих в двухслойный многопучковый контур нейронной сети.Note that all single images received on the same neuron at different synapses are summed up. When this sum is exceeded a predetermined threshold of neuron excitation, it is excited and a single image is formed at its output. Then the available amount is zeroed, and the neuron itself then enters the state of immunity of the input signals. It contains the specified time, the same for all neurons of the network, which is greater than the total delay of single images in
Частные совокупности единичных образов с выхода второго слоя 5, после задержки в блоке 6, поступают на второй блок динамических синапсов 4. В блоке 4 они аналогичным образом, как и в блоке 3, обрабатываются и, сдвинутые вдоль первого слоя в зависимости от состояний первого и второго слоев, поступают на второй вход первого слоя нейронов 1.Private aggregates of single images from the output of the
С учетом этого поступающие на первый слой нейронов 1 прямые и обратные частные совокупности единичных образов в нем корректно связываются, распознаются и порождают на его выходе новые частные совокупности единичных образов, несущие в себе информацию как о текущих, так и ранее запомненных сетью сигналах, связанных с первыми.With this in mind, the direct and inverse partial aggregates of unit images arriving at the first layer of
Согласно изобретению за счет соответствующих сдвигов частных совокупностей единичных образов вдоль слоев предлагается частные совокупности единичных образов из каждой сформированной пары продвигать вдоль слоев сети по двойной спирали с изменяемым диаметром и скручивать попарно последовательности частных совокупностей единичных образов.According to the invention, due to the corresponding shifts of the private sets of single images along the layers, it is proposed to move the private sets of single images from each formed pair along the network layers in a double spiral with a variable diameter and twist the sequences of the private sets of single images in pairs.
На фиг.4 приведен пример продольной структуры двухслойной нейронной сети с таким продвижением частных совокупностей вдоль слоев. Согласно фиг.4 входные совокупности, разделенные на пары частных совокупностей единичных образов, подают в сеть. Причем нечетные частные совокупности единичных образов подают на вход 1.1 и продвигают по первой строке слева направо, а четные частные совокупности подают на вход 1.2 и продвигают по второй строке справа налево. В целом эти совокупности продвигают по двойной спирали в виде скрутки двух последовательностей совокупностей единичных образов (фиг.4, 5). В соответствии с (1) наибольшее ассоциативное взаимодействие частных совокупностей друг с другом наблюдается тогда, когда расстояние между этими совокупностями становится минимальным. В отличие от известного способа, реализуемого нейронной сетью с известной спиральной структурой (фиг.2, 3), в предлагаемом способе осуществляется не только выраженное ассоциативное взаимодействие совокупностей, продвигающихся по различным полувиткам одной спирали, но и выраженное по пространству и времени ассоциативное взаимодействие между совокупностями единичных образов, продвигающимися по различным спиралям. Это позволяет сосредоточенно запоминать на элементах сети результаты распознавания сигналов, а не ″размазывать″ их по всей сети. В итоге, при одних и тех же размерах, сеть способна запоминать больше сигналов и обеспечивать их извлечение из памяти, лучше распознавать обрабатываемые сигналы.Figure 4 shows an example of the longitudinal structure of a two-layer neural network with such a promotion of private aggregates along the layers. According to figure 4, the input population, divided into pairs of private sets of individual images, is fed into the network. Moreover, the odd partial sets of single images are fed to input 1.1 and advanced along the first line from left to right, and the even private particular sets are fed to input 1.2 and advanced along the second line from right to left. In general, these aggregates are promoted in a double spiral in the form of a twist of two sequences of sets of single images (Figs. 4, 5). In accordance with (1), the greatest associative interaction of private sets with each other is observed when the distance between these sets becomes minimal. In contrast to the known method implemented by a neural network with a known spiral structure (Figs. 2, 3), the proposed method performs not only a pronounced associative interaction of aggregates moving along different half-turns of a single spiral, but also an associative interaction expressed between them in space and time single images moving along various spirals. This allows you to focus on the network elements the results of signal recognition, and not ″ smear ″ them throughout the network. As a result, with the same sizes, the network is able to store more signals and ensure their extraction from memory, it is better to recognize the processed signals.
За счет приоритетности коротких связей в нейронной сети между входами и выходами сети легко устанавливается однозначное соответствие между составляющими входных и выходных сигналов.Due to the priority of short connections in the neural network between the inputs and outputs of the network, an unambiguous correspondence between the components of the input and output signals is easily established.
С учетом этого соответствия по номерам нейронов, формируемых последовательности единичных образов на выходах устройства, определяют частотные и пространственные характеристики составляющих исходного сигнала. По частотам следования и относительным задержкам единичных образов, соответственно, устанавливают амплитуды и фазы составляющих исходного сигнала. Затем воспроизводят составляющие исходных сигналов и путем их сложения восстанавливают исходные, например речевые, зрительные и другие сигналы. Для определения амплитуд составляющих исходного сигнала определяют текущее число единичных образов, попадающих в предварительно заданный интервал времени. Для воспроизведения составляющих исходных сигналов применим, например, их цифровой синтез по известным параметрам.Given this correspondence, the frequency and spatial characteristics of the components of the original signal are determined by the numbers of neurons generated by the sequence of single images at the outputs of the device. According to the repetition frequencies and relative delays of individual images, respectively, the amplitudes and phases of the components of the original signal are set. Then reproduce the components of the original signals and by adding them restore the original, for example, speech, visual and other signals. To determine the amplitudes of the components of the source signal, the current number of unit images falling into a predetermined time interval is determined. To reproduce the components of the source signals, for example, their digital synthesis according to known parameters is applicable.
Для подтверждения преимуществ предлагаемого решения по сравнению с прототипом проводилось математическое моделирование. Были разработаны программные модели нейронных сетей, реализующих известный и предлагаемый способы. В модели известной сети со спиральной структурой формировался один полный виток продвижения совокупностей единичных образов вдоль слоев. Каждый слой этой сети за счет пространственных сдвигов совокупностей единичных образов, передаваемых от слоя к слою, разбивался на две строки по 25 полей. Размер полей 6×8 нейронов.To confirm the advantages of the proposed solution in comparison with the prototype, mathematical modeling was carried out. Software models of neural networks have been developed that implement the known and proposed methods. In the model of a well-known network with a spiral structure, one complete round of advancement of sets of single images along the layers was formed. Each layer of this network due to the spatial shifts of the sets of individual images transmitted from layer to layer was divided into two lines of 25 fields. The size of the fields is 6 × 8 neurons.
В модели сети, реализующей предлагаемый способ, число нейронов было таким же, как и в первой модели. Однако каждый слой этой сети разбивались на четыре строки по 25 полей. Размер полей 6×4 нейрона. Две строки приходились на виток одной, а другие две - на виток другой спирали. За счет этого обеспечивалась скрутка двух частных последовательностей единичных образов.In the network model that implements the proposed method, the number of neurons was the same as in the first model. However, each layer of this network was divided into four lines of 25 fields. The size of the fields is 6 × 4 neurons. Two rows per coil of one, and the other two - per coil of the other spiral. Due to this, twisting of two particular sequences of single images was ensured.
Сопоставлялись результаты ассоциативного взаимодействия сигналов, полученные с помощью этих моделей. Результаты моделирования приведены на фиг.6, 7.We compared the results of the associative interaction of signals obtained using these models. The simulation results are shown in Fig.6, 7.
Из анализа фиг.6 видно, что при использовании известного способа после вводе в сеть одной неразделенной совокупности единичных образов наблюдается скачок прироста ΔW суммарного веса синапсов до значения 0,019 (кривая 1). Затем значение прироста веса синапсов на каждом шаге функционирования сети относительно предыдущего шага в пределах полувитка спирали не изменяется. Это свидетельствует о том, что на различных элементах сети запоминается одна и та же схема пространственно-временных связей между единичными образами. Присутствует высокая неоправданная избыточность запоминания результатов распознавания сигналов.From the analysis of Fig.6 shows that when using the known method after entering into the network of one undivided set of single images, there is a jump in the increase in ΔW of the total weight of the synapses to the value of 0.019 (curve 1). Then, the value of the increase in the weight of synapses at each step of the network functioning relative to the previous step does not change within the spiral half-turn. This indicates that the same spatial-temporal relationships between individual images are remembered on different network elements. There is a high unjustified redundancy in storing the results of signal recognition.
При использовании предлагаемого способа в начале обработки также присутствует скачек прироста ΔW суммарного веса синапсов, но лишь до значения 0,015 (фиг.6, кривая 2), а не до 0,019. Максимум этого прироста приходится на момент встречи двух частных совокупностей, продвигающихся навстречу друг другу по смежным более узким строкам.When using the proposed method at the beginning of processing, there is also a jump in the increase in ΔW of the total weight of synapses, but only to a value of 0.015 (Fig. 6, curve 2), and not to 0.019. The maximum of this increase occurs at the time of the meeting of two private aggregates moving towards each other along adjacent narrower lines.
Анализ фиг.7 показывает, что при обработке двух последовательных совокупностей единичных образов ситуация аналогична предыдущей. Только в начале обработки присутствует не один, а два скачка прироста ΔW, обусловленные вводом в сеть первой и второй последовательностей единичных образов. В этой ситуации, судя по результатам использования известного способа (фиг.7, кривая 1), недостатки проявляются еще сильнее, чем в предыдущем случае (фиг.6, кривая 1). При использовании предлагаемого способа максимумы ассоциативного взаимодействия сигналов приходятся на моменты минимизации расстояний между частными совокупностями единичных образов (фиг.7, кривая 2). В другие моменты времени уровни такого взаимодействия существенно ниже. При этом наблюдаемые на фиг.6, 7 (кривые 2) всплески свидетельствуют о ярко выраженном по пространству и времени ассоциативном взаимодействии обрабатываемых сигналов в рекуррентной нейронной сети со структурой слоев в виде двойной спирали.The analysis of Fig. 7 shows that when processing two consecutive sets of single images, the situation is similar to the previous one. Only at the beginning of processing is there not one but two jumps in the growth of ΔW due to the input of the first and second sequences of single images into the network. In this situation, judging by the results of using the known method (Fig. 7, curve 1), the disadvantages are even stronger than in the previous case (Fig. 6, curve 1). When using the proposed method, the maxima of the associative interaction of signals occur at the moments of minimizing the distances between the private sets of single images (Fig. 7, curve 2). At other times, the levels of such interaction are much lower. Moreover, the bursts observed in FIGS. 6, 7 (curves 2) indicate a pronounced spatial and time associative interaction of the processed signals in a recurrent neural network with a double-helix layer structure.
Из этих результатов следует, что предлагаемый способ обладает меньшей избыточностью запоминания результатов распознавания сигналов. Результаты распознавания сигналов лучше выражены по пространству и времени через изменение параметров сети. В целом это расширяет возможности по интеллектуальной обработке информации в нейронной сети, по распознаванию и запоминанию сигналов, извлечению их из памяти.From these results it follows that the proposed method has less redundancy in storing the results of signal recognition. Signal recognition results are better expressed in space and time through a change in network parameters. In general, this expands the possibilities for intellectual processing of information in a neural network, for recognizing and storing signals, and extracting them from memory.
Предлагаемый новый способ интеллектуальной обработки информации в нейронной сети может быть реализован с использованием известной элементной базы. В качестве нейронов слоев и элементов единичных задержек в блоках единичных задержек нейронной сети, реализующей способ, применимы ждущие мультивибраторы. При этом ждущие мультивибраторы в блоках единичных задержек следует запускать не по переднему, а заднему фронту входного импульса. Блоки динамических синапсов и блок управления ими могут быть реализованы специализированными процессорами, программируемыми интегральными схемами, функционирующими в соответствии с рассмотренными выше правилами.The proposed new method of intelligent information processing in a neural network can be implemented using the well-known element base. As the neurons of the layers and elements of the unit delays in the units of the unit delays of the neural network that implements the method, waiting multivibrators are applicable. In this case, the waiting multivibrators in the unit of single delays should be started not on the leading, but on the trailing edge of the input pulse. Dynamic synapse blocks and their control unit can be implemented by specialized processors, programmable integrated circuits, operating in accordance with the rules discussed above.
Способ можно реализовать также путем эмулирования двухслойной рекуррентной нейронной сети с управляемыми синапсами на современных вычислительных машинах.The method can also be implemented by emulating a two-layer recurrent neural network with controlled synapses on modern computers.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014101538/08A RU2553074C1 (en) | 2014-01-17 | 2014-01-17 | Method for intelligent information processing in neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014101538/08A RU2553074C1 (en) | 2014-01-17 | 2014-01-17 | Method for intelligent information processing in neural network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2553074C1 true RU2553074C1 (en) | 2015-06-10 |
Family
ID=53295210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014101538/08A RU2553074C1 (en) | 2014-01-17 | 2014-01-17 | Method for intelligent information processing in neural network |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2553074C1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU211322U1 (en) * | 2022-03-14 | 2022-05-31 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия воздушно-космической обороны имени Маршала Советского Союза Г.К. Жукова" Министерства обороны Российской Федерации | INTEGRATED DEVICE FOR IDENTIFYING AERIAL OBJECTS (TARGETS) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2006067C1 (en) * | 1991-05-20 | 1994-01-15 | Каримов Александр Рашатович | Method of processing information in neuron networks |
| RU2427914C1 (en) * | 2010-09-16 | 2011-08-27 | Василий Юрьевич Осипов | Method of intellectual information processing in neuron network |
| WO2012015450A1 (en) * | 2010-07-30 | 2012-02-02 | Hewlett-Packard Development Company, L.P. | Systems and methods for modeling binary synapses |
| RU2446463C1 (en) * | 2011-02-08 | 2012-03-27 | Василий Юрьевич Осипов | Method and apparatus for intelligent information processing in neural network |
| RU2483356C1 (en) * | 2011-12-06 | 2013-05-27 | Василий Юрьевич Осипов | Method for intelligent information processing in neural network |
| RU2502133C1 (en) * | 2012-07-27 | 2013-12-20 | Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук | Method for intelligent information processing in neural network |
-
2014
- 2014-01-17 RU RU2014101538/08A patent/RU2553074C1/en not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2006067C1 (en) * | 1991-05-20 | 1994-01-15 | Каримов Александр Рашатович | Method of processing information in neuron networks |
| WO2012015450A1 (en) * | 2010-07-30 | 2012-02-02 | Hewlett-Packard Development Company, L.P. | Systems and methods for modeling binary synapses |
| RU2427914C1 (en) * | 2010-09-16 | 2011-08-27 | Василий Юрьевич Осипов | Method of intellectual information processing in neuron network |
| RU2446463C1 (en) * | 2011-02-08 | 2012-03-27 | Василий Юрьевич Осипов | Method and apparatus for intelligent information processing in neural network |
| RU2483356C1 (en) * | 2011-12-06 | 2013-05-27 | Василий Юрьевич Осипов | Method for intelligent information processing in neural network |
| RU2502133C1 (en) * | 2012-07-27 | 2013-12-20 | Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук | Method for intelligent information processing in neural network |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU211322U1 (en) * | 2022-03-14 | 2022-05-31 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия воздушно-космической обороны имени Маршала Советского Союза Г.К. Жукова" Министерства обороны Российской Федерации | INTEGRATED DEVICE FOR IDENTIFYING AERIAL OBJECTS (TARGETS) |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Tdsnn: From deep neural networks to deep spike neural networks with temporal-coding | |
| EP3293681A1 (en) | Spatio-temporal spiking neural networks in neuromorphic hardware systems | |
| CN108009640A (en) | The training device and its training method of neutral net based on memristor | |
| US9330355B2 (en) | Computed synapses for neuromorphic systems | |
| CN108171323A (en) | A kind of artificial neural networks device and method | |
| KR20210098992A (en) | Improved spiking neural networks | |
| Popov et al. | Analysis of perspective models of artificial neural networks for control of robotic objects | |
| KR20170031695A (en) | Decomposing convolution operation in neural networks | |
| Ellacott | Aspects of the numerical analysis of neural networks | |
| CN108629411A (en) | A kind of convolution algorithm hardware realization apparatus and method | |
| WO2015073293A1 (en) | Methods and apparatus for estimating angular movement with a single two dimensional device | |
| RU2413304C1 (en) | Method and device of intellectual processing of information in neural network | |
| RU2446463C1 (en) | Method and apparatus for intelligent information processing in neural network | |
| RU2427914C1 (en) | Method of intellectual information processing in neuron network | |
| Sun et al. | Low-consumption neuromorphic memristor architecture based on convolutional neural networks | |
| EP3108411A1 (en) | Phase-coding for coordinate transformation | |
| RU2553074C1 (en) | Method for intelligent information processing in neural network | |
| Osipov | Space-time structures of recurrent neural networks with controlled synapses | |
| RU2502133C1 (en) | Method for intelligent information processing in neural network | |
| RU2514931C1 (en) | Method for intelligent information processing in neural network | |
| Johnson et al. | WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning | |
| Thiruvarudchelvan et al. | Analysis of SpikeProp convergence with alternative spike response functions | |
| RU2483356C1 (en) | Method for intelligent information processing in neural network | |
| Osipov | Structure and basic functions of cognitive neural network machine | |
| RU2737227C1 (en) | Method for intelligent multi-level information processing in neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20160118 |