RU2514931C1 - Method for intelligent information processing in neural network - Google Patents

Method for intelligent information processing in neural network Download PDF

Info

Publication number
RU2514931C1
RU2514931C1 RU2013101736/08A RU2013101736A RU2514931C1 RU 2514931 C1 RU2514931 C1 RU 2514931C1 RU 2013101736/08 A RU2013101736/08 A RU 2013101736/08A RU 2013101736 A RU2013101736 A RU 2013101736A RU 2514931 C1 RU2514931 C1 RU 2514931C1
Authority
RU
Russia
Prior art keywords
signal
noise
single images
network
groups
Prior art date
Application number
RU2013101736/08A
Other languages
Russian (ru)
Inventor
Василий Юрьевич Осипов
Original Assignee
Василий Юрьевич Осипов
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Василий Юрьевич Осипов filed Critical Василий Юрьевич Осипов
Priority to RU2013101736/08A priority Critical patent/RU2514931C1/en
Application granted granted Critical
Publication of RU2514931C1 publication Critical patent/RU2514931C1/en

Links

Images

Abstract

FIELD: information technology.
SUBSTANCE: composite signal, consisting of a useful signal, summed with a first part of pre-generated low-power noise and a similar second part of said noise, is transmitted to a multilayer recurrent neural network with control synapses as a signal which is pre-decomposed into components, with each component converted to a sequence of unit characters with repetition frequency as a predefined function of the amplitude of the component. The composite signal is presented in form of successive groups of unit characters. When transmitting groups of unit characters from layer to layer, unit characters relating to the useful signal are copied from the signal-noise groups into corresponding noise groups. Copies of the signal-noise groups of unit characters are formed from the noise groups and said copies are processed based on change in shape of cross-sections of diverging unit characters and rotations of said characters around directions of transmission thereof based on the current states of the layers.
EFFECT: high depth and intelligence of processing information.
7 dwg

Description

Изобретение относится к бионике, моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем.The invention relates to bionics, modeling of functional aspects of a person and can find application in computer technology for the construction of intelligent machines and systems.

В настоящее время известны многие способы интеллектуальной обработки информации в нейронной сети, применяемые для аппроксимации, классификации, распознавания образов, обработки речи, прогнозирования, идентификации, оценивания производственных процессов, ассоциативного управления и для решения других творческих задач (Хайкин С.Нейронные сети: полный курс, 2-е издание.: Пер. с англ. М.: Издательский дом «Вильяме», 2006. - 1104 с.; Галушкин А.И. Теория нейронных сетей. Кн. 1: Учебное пособие для вузов / Общая ред. А.И.Талушкина. - М.: ИПРЖР, 2000. - 416 с.).Currently, many methods of intelligent information processing in a neural network are known, used for approximation, classification, pattern recognition, speech processing, forecasting, identification, estimation of production processes, associative control and for solving other creative tasks (Khaikin S. Neural networks: full course , 2nd edition .: Translated from English by M .: Publishing House "Williams", 2006. - 1104 p .; AI Galushkin, Theory of Neural Networks, Book 1: Textbook for universities / General ed. .I. Talushkina. - M .: IPRZhR, 2000 .-- 416 p.).

Однако всем им характерны узкие возможности по запоминанию структурно-сложных изменяющихся во времени сигналов, их распознаванию, ассоциированию с другими сигналами, извлечению из памяти сети и воспроизведению в исходной форме. Они не позволяют при обработке информации решать широкий спектр задач одной и той же нейронной сетью.However, all of them are characterized by narrow capabilities for storing structurally complex time-varying signals, their recognition, association with other signals, retrieving from the network memory and reproducing in its original form. They do not allow, when processing information, to solve a wide range of problems with the same neural network.

Наиболее близким аналогом изобретения является способ интеллектуальной обработки информации в многослойной нейронной сети с обратными связями, замыкающими контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения. Согласно ему сигнал подают в сеть после разложения на составляющие в базисе, согласованном с входным слоем сети. При этом каждую составляющую перед подачей в сеть преобразуют в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей. Сигнал представляют в сети в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания. При передаче совокупностей единичных образов от слоя к слою их сдвигают вдоль слоев с учетом текущих состояний последних. Результаты распознавания запоминают на элементах сети. В качестве результатов обработки используют последовательные совокупности единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы (Осипов В.Ю. Ассоциативная интеллектуальная машина / Информационные технологии и вычислительные системы. №2, 2010, С.59-67).The closest analogue of the invention is a method of intelligent information processing in a multilayer neural network with feedbacks closing the circuits with a delay time of single images less than the immunity time of network neurons after their excitation. According to it, the signal is fed into the network after decomposition into components in a basis consistent with the input layer of the network. In this case, each component is converted into a sequence of single images with a repetition rate as a predetermined function of the amplitude of the component before being fed into the network. The signal is represented on the network in the form of consecutive sets of single images in accordance with predefined rules for its recognition, taking into account the inverse recognition results. When transferring sets of single images from layer to layer, they are shifted along the layers, taking into account the current states of the latter. Recognition results are stored on network elements. As processing results, sequential sets of single images are used on the output layer of the network after the reverse conversion into the corresponding source signals (Osipov V.Yu. Associative Intelligent Machine / Information Technologies and Computing Systems. No. 2, 2010, P.59-67).

Недостатком этого способа является то, что согласно ему нейронная сеть не может воспринимать одно, а выдавать в качестве результатов обработки совершенно другое, слабо связанное с входными текущими сигналами, как это может делать человек. Результаты обработки информации в сети по времени тесно связаны с входными сигналами. Сеть функционирует как ассоциативная память. В известном способе входные сигналы вызывают из долговременной памяти сети связанные с ними запомненные сигналы и вместе представляют результаты обработки. Долговременная память сети - это память на синапсах. Оперативная память сети - это память на самих нейронах. Согласно этому способу продолжительные входные сигналы подавляют возможности сети по обработке обратных результатов распознавания. Это существенно ограничивает глубину обработки информации. Под глубиной обработки понимается время, в течение которого сеть способна обрабатывать при непрерывном входном потоке отдельно выделенный в нем короткий сигнал.The disadvantage of this method is that, according to it, a neural network cannot perceive one thing, but give out as a result of processing a completely different one, weakly connected with input current signals, as a person can do. The results of processing information on the network over time are closely related to input signals. The network functions as an associative memory. In the known method, the input signals cause the stored signals associated with them from the long-term network memory and together represent the processing results. Long-term network memory is synapse memory. Network RAM is the memory on the neurons themselves. According to this method, continuous input signals suppress the network's ability to process inverse recognition results. This significantly limits the depth of information processing. Processing depth is understood as the time during which the network is able to process the separately allocated short signal in it with a continuous input stream.

В целом эти недостатки существенно ограничивают функциональные возможности способа по интеллектуальной обработке информации.In general, these disadvantages significantly limit the functionality of the method for intellectual information processing.

Задачей изобретения является расширение функциональных возможностей по интеллектуальной обработке информации в нейронной сети.The objective of the invention is to expand the functionality of intelligent information processing in a neural network.

Технический результат от использования изобретения заключается в повышении глубины и интеллектуальности обработки информации в нейронной сети.The technical result from the use of the invention is to increase the depth and intelligence of information processing in a neural network.

Поставленная задача решается тем, что в известном способе интеллектуальной обработки информации в нейронной сети, заключающемся в подаче в многослойную рекуррентную сеть с обратными связями, замыкающими контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом текущих состояний слоев, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, согласно изобретению в сеть в качестве сигнала подают предварительно сформированный групповой сигнал, состоящий из полезного сигнала, просуммированного с первой частью предварительно сформированного шума, и из второй такой же части этого шума, при передаче от слоя к слою групповых совокупностей единичных образов, каждая из которых состоит из сигнально-шумовой группы и шумовой группы единичных образов, копируют из сигнально-шумовых групп единичные образы, относящиеся к полезному сигналу, в соответствующие этим группам шумовые группы, формируют из шумовых групп копии сигнально-шумовых групп единичных образов и обрабатывают эти копии с учетом изменения форм поперечных сечений расходящихся единичных образов и поворотов этих образов вокруг направлений их передачи с учетом текущих состояний слоев.The problem is solved in that in the known method of intelligent processing of information in a neural network, which consists in supplying a multilayer recurrent network with feedbacks, closing circuits with a delay time of single images less than the immunity time of network neurons after their excitation, a signal decomposed into components in the basis matched with the input network layer, with each component converted into a sequence of single images with a repetition rate as a predefined function it from the amplitude of the component, representing the signal in the form of successive sets of single images in accordance with predefined recognition rules taking into account the inverse recognition results, shifts of sets of single images along the layers taking into account the current state of the layers, storing recognition results on network elements, using as results processing consecutive sets of single images on the output layer of the network after the inverse transformation to the corresponding to them, the initial signals, according to the invention, a preformed group signal consisting of a useful signal summed with the first part of the preformed noise and the second of the same part of this noise when transmitted from layer to layer of group sets of single images is fed into the network as a signal, each of which consists of a signal-noise group and a noise group of single images, copy from the signal-noise groups single images related to the useful signal into the corresponding pppam noise groups, form from noise groups copies of signal-noise groups of single images and process these copies taking into account changes in the cross-sectional shapes of diverging single images and rotations of these images around the directions of their transmission, taking into account the current state of the layers.

Результаты биологических исследований свидетельствуют, что обработка внешних сигналов мозгом человека осуществляется при наличии внутренних шумов. При этом внутренние шумы так же, как и внешние полезные сигналы, стимулируют работу мозга.The results of biological studies indicate that the processing of external signals by the human brain is carried out in the presence of internal noise. At the same time, internal noises as well as external useful signals stimulate the brain.

С учетом этого автор изобретения предлагает в сеть в качестве сигнала подавать предварительно сформированный групповой сигнал, состоящий из полезного сигнала, просуммированного с первой частью предварительно сформированного шума, и из второй такой же части этого шума, что является новым существенным признаком изобретения.With this in mind, the inventor proposes to supply a pre-formed group signal to the network as a signal, consisting of a useful signal summed with the first part of the pre-generated noise and the second of the same part of this noise, which is a new significant feature of the invention.

Другим новым существенным признаком изобретения выступает то, что при передаче от слоя к слою групповых совокупностей единичных образов, каждая из которых состоит из сигнально-шумовой группы и шумовой группы единичных образов, копируют из сигнально-шумовых групп единичные образы, относящиеся к полезному сигналу, в соответствующие этим группам шумовые группы.Another new significant feature of the invention is the fact that when transferring from layer to layer group sets of single images, each of which consists of a signal-noise group and a noise group of single images, single images related to the useful signal are copied from signal-noise groups noise groups corresponding to these groups.

Третьим новым существенным признаком изобретения выступает то, что предлагается формировать из шумовых групп копии сигнально-шумовых групп единичных образов и обрабатывать эти копии с учетом изменения форм поперечных сечений расходящихся единичных образов и поворотов этих образов вокруг направлений их передачи с учетом текущих состояний слоев.The third new significant feature of the invention is the fact that it is proposed to form copies of signal-noise groups of single images from noise groups and process these copies taking into account changes in the cross-sectional shapes of diverging single images and the rotations of these images around their transmission directions, taking into account the current state of the layers.

Сущность изобретения поясняется фиг.1÷4.The invention is illustrated in figure 1 ÷ 4.

На фиг.1 приведена структурная схема двухслойной рекуррентной нейронной сети с управляемыми синапсами, реализующей предложенный способ, где 1, 5 - первый, второй слои нейронов; 2, 6 - первый, второй блоки единичных задержек; 3, 4 - первый, второй блоки динамических синапсов; 7 - блок управления синапсами.Figure 1 shows the structural diagram of a two-layer recurrent neural network with controlled synapses that implements the proposed method, where 1, 5 - the first, second layers of neurons; 2, 6 - the first, second blocks of unit delays; 3, 4 - the first, second blocks of dynamic synapses; 7 - control unit synapses.

На фиг.2 а, б представлен пример логической структуры этой рекуррентной нейронной сети со сдвигами групповых совокупностей единичных образов вдоль слоев. Фиг.2а - вид сверху на сеть со спиральной схемой продвижения совокупностей единичных образов вдоль слоев, а фиг.2б - разрез сети по двум слоям по первой строке, где d, q - величины единичных сдвигов совокупностей, соответственно, по координатам X, Y; 1.1 и 1.2, 2.1 и 2.2, 3.1 и 3.2,……,L.1 и L.2, ML.1 и ML.2 - одинаковые подполя, соответственно, первого, второго, третьего и других полей, формируемых за счет сдвигов групповых совокупностей единичных образов вдоль слоев при передаче от слоя к слою. Стрелками на фиг.2 а, б показаны направления продвижения совокупностей единичных образов и составляющих их сигнально-шумовых и шумовых групп.Figure 2 a, b shows an example of the logical structure of this recurrent neural network with shifts of group sets of individual images along the layers. Fig. 2a is a plan view of a network with a spiral scheme for promoting populations of single images along layers, and Fig. 2b is a section of a network in two layers along the first line, where d, q are the values of unit shifts of populations, respectively, in X, Y coordinates; 1.1 and 1.2, 2.1 and 2.2, 3.1 and 3.2, ......., L.1 and L.2, ML.1 and ML.2 are the same subfields, respectively, of the first, second, third and other fields formed due to group shifts sets of single images along the layers during transmission from layer to layer. The arrows in FIGS. 2 a, b show the directions of advancement of sets of single images and their signal-noise and noise groups.

На фиг.3 а, б приведен пример групповой совокупности единичных образов до передачи от одного слоя к другому (фиг.3а) и после передачи (фиг.3б), поясняющий формирование копий сигнально-шумовых групп единичных образов.Figure 3 a, b shows an example of a group of individual images before transmission from one layer to another (Fig. 3a) and after transmission (Fig. 3b), explaining the formation of copies of signal-noise groups of single images.

На фиг.4 показаны примеры сглаженных ориентированных на 90° в плоскости принимающего слоя эллиптических форм поперечных сечений расходящихся единичных образов, где 1 - нейрон передающего слоя, формирующий единичный образ, относящийся к сигнально-шумовой группе; 2 - нейрон передающего слоя, формирующий единичный образ, относящийся к шумовой или к копии сигнально-шумовой группы; 3, 4 - короткие синапсы, для которых функция ослабления равна единице; 5 - ось максимальной протяженности распределения плотности мощности в поперечном сечении расходящегося единичного образа, передаваемого от нейрона 1 в направлении нейрона 7; 7, 9 - нейроны принимающего слоя, в направлении которых, соответственно, от нейрона 1 и нейрона 2 передаются расходящиеся единичные образы; 8 - штрихпунктирная линия, разделяющая поля принимающего слоя на подполя; 10 - направления поворота оси максимальной протяженности распределения плотности мощности в поперечном сечении расходящегося единичного образа. Точками, вокруг которых осуществляются повороты, в рассматриваемом случае выступают нейроны 7 и 9, в направлении которых, соответственно, от нейрона 1 и нейрона 2 передаются расходящиеся единичные образы; 11 - линия, разделяющая строки полей принимающего слоя сети; d, q - величины единичных сдвигов совокупностей, соответственно, по координатам X, Y. На фиг.4 показаны два поля принимающего слоя сети. Верхнее поле относится к одной строке, а нижнее - к другой. Полагается, что продвижение групповых совокупностей единичных образов, с учетом фиг.2, вдоль верхней строки осуществляется слева направо, а нижней - справа налево.Figure 4 shows examples of smooth elliptical cross-sections oriented at 90 ° in the plane of the receiving layer of divergent unit images, where 1 is a neuron of the transmission layer, forming a single image related to the signal-noise group; 2 - neuron of the transmission layer, forming a single image related to the noise or to a copy of the signal-noise group; 3, 4 - short synapses for which the attenuation function is equal to one; 5 - axis of the maximum extent of the distribution of power density in the cross section of a divergent single image transmitted from neuron 1 in the direction of neuron 7; 7, 9 - neurons of the receiving layer, in the direction of which, respectively, divergent single images are transmitted from neuron 1 and neuron 2; 8 - dash-dotted line dividing the fields of the receiving layer into subfields; 10 - direction of rotation of the axis of the maximum extent of the distribution of power density in the cross section of a diverging single image. The points around which the turns are carried out are neurons 7 and 9 in this case, in the direction of which, respectively, diverging single images are transmitted from neuron 1 and neuron 2; 11 is a line dividing the lines of the fields of the receiving network layer; d, q are the unit shifts of the sets, respectively, along the coordinates X, Y. Figure 4 shows two fields of the receiving network layer. The top margin refers to one row, and the bottom margin refers to another. It is believed that the promotion of group sets of individual images, taking into account figure 2, along the top row is carried out from left to right, and the bottom - from right to left.

На фиг.5 приведен этот же пример, но с ориентацией эллиптических форм поперечных сечений расходящихся единичных образов на 180°. Под ориентацией этих форм понимается ориентация распределения плотности мощности (угол между осью у лабораторной системы координат и осью максимальной протяженности распределения плотности мощности). Обозначения, приведенные на фиг.5, такие же, как и на фиг.4.Figure 5 shows the same example, but with the orientation of the elliptical shapes of the cross sections of the diverging individual images by 180 °. The orientation of these forms is understood as the orientation of the power density distribution (the angle between the axis of the laboratory coordinate system and the axis of the maximum length of the power density distribution). The designations shown in figure 5 are the same as in figure 4.

Способ осуществляется следующим образом.The method is as follows.

Рассмотрим его на примере нейронной сети, структурная схема которой представлена на фиг.1.Consider it on the example of a neural network, a structural diagram of which is presented in figure 1.

В сеть в качестве сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, подают предварительно сформированный групповой сигнал, состоящий из полезного сигнала, просуммированного с первой частью предварительно сформированного шума, и из второй такой же части этого шума. В качестве шума используют маломощный по отношению к полезному сигналу шум в полосе частот этого сигнала. Например, в качестве такого шума может выступать маломощный шум с равномерной спектральной плотностью в этой полосе. Первая и вторая части этого шума формируются путем разветвления шума от его генератора.As a signal, decomposed into components in a basis matched to the input layer of the network, with each component converted into a sequence of single images with a repetition rate as a predetermined function of the amplitude of the component, a preformed group signal consisting of a useful signal summed with the first part of the pre-formed noise, and from the second part of the same noise. As noise, low-power noise with respect to the useful signal is used in the frequency band of this signal. For example, such noise can be low-power noise with a uniform spectral density in this band. The first and second parts of this noise are formed by branching the noise from its generator.

Такой групповой сигнал подают на первый вход первого слоя нейронной сети, который подразделяется на 1.1 и 1.2 входы. За каждым номером последовательности закрепляется в общем случае частотная и пространственная составляющая, соответствующая сигналу. Детали такого преобразования известны (Осипов В.Ю. Прямое и обратное преобразование сигналов в ассоциативных интеллектуальных машинах / Мехатроника, автоматизация, управление. №7, 2010, С.27-32).Such a group signal is fed to the first input of the first layer of the neural network, which is divided into 1.1 and 1.2 inputs. Each sequence number is assigned in the general case, the frequency and spatial component corresponding to the signal. The details of this conversion are known (Osipov V.Yu. Direct and inverse signal conversion in associative intelligent machines / Mechatronics, automation, control. No. 7, 2010, P.27-32).

После подачи в сеть на первый слой такого группового сигнала на выходе этого слоя имеют место последовательные групповые совокупности единичных образов, несущие всю информацию о входном сигнале и шуме. Каждая из этих групповых совокупностей состоит из сигнально-шумовой группы и шумовой группы единичных образов.After applying such a group signal to the network on the first layer at the output of this layer, there are consecutive group sets of single images that carry all the information about the input signal and noise. Each of these group aggregates consists of a signal-noise group and a noise group of single images.

После задержки в первом блоке единичных задержек 2 последовательные групповые совокупности единичных образов поступают на первый блок динамических синапсов 3. Каждый единичный образ из текущей совокупности подается одновременно в первом блоке динамических синапсов 3 на совокупность своих динамических синапсов, обеспечивающих связь каждого нейрона, породившего единичный образ в общем случае со всеми нейронами второго слоя нейронов 5. За счет такого разветвления формируются расходящиеся единичные образы.After a delay in the first unit of unit delays 2, successive group sets of unit images arrive at the first block of dynamic synapses 3. Each unit image from the current set is fed simultaneously in the first block of dynamic synapses 3 to the set of its dynamic synapses, which provide communication of each neuron that generated the unit image in in the general case with all the neurons of the second layer of neurons 5. Due to this branching, divergent single images are formed.

Особенность динамических синапсов сети в следующем. При условии, что проводимость синапсов существенно меньше входной проводимости нейронов, амплитуда тока единичного образа на выходе каждого синапса равна амплитуде напряжения входного единичного образа (импульса), умноженной на вес (проводимость) wij(t) синапса. Веса wij(t) синапсов определяются через произведение их весовых коэффициентов kij(t) и функций ослабления β(rij(t),Gij(x1t,x2t)),A feature of dynamic network synapses is as follows. Provided that the conductivity of the synapses is significantly less than the input conductivity of the neurons, the amplitude of the current of the single image at the output of each synapse is equal to the amplitude of the voltage of the input single image (pulse) multiplied by the weight (conductivity) of the w ij (t) synapse. The weights w ij (t) of the synapses are determined through the product of their weight coefficients k ij (t) and attenuation functions β (r ij (t), G ij (x 1t , x 2t )),

wij(t)=kij(t)·β(rij(t),Gij(x1t,x2t)),w ij (t) = k ij (t) β (r ij (t), G ij (x 1t , x 2t )),

где rij(t) - удаленность связываемых через синапсы нейронов (расстояние между ними на плоскости X, Y). Полагается, что расстояние между взаимодействующими слоями нейронной сети стремится к нулю; Gij(x1t,x2t) - коэффициент направленности формы поперечного сечения расходящегося единичного образа в направлении от i-го к j-му нейрону в плоскости X, Y; x1t,x2t - текущие состояния, соответственно, первого и второго слоев на момент времени t.where r ij (t) is the remoteness of neurons connected through synapses (the distance between them on the X, Y plane). It is believed that the distance between the interacting layers of the neural network tends to zero; G ij (x 1t , x 2t ) is the directivity coefficient of the cross-sectional shape of the divergent single image in the direction from the i-th to the j-th neuron in the X, Y plane; x 1t , x 2t - current state, respectively, of the first and second layers at time t.

Весовые коэффициенты, kij(t), изменяются в зависимости от воздействий на синапсы единичных образов и выступают в качестве элементов долговременной памяти сети. При прохождении единичных образов через синапсы они снимают с них информацию о предыдущих воздействиях и оставляют информацию о своем появлении через изменения весовых коэффициентов. Значения весовых коэффициентов kij(t) можно рассчитать по формулам: kij(t)=1-ехр(-γ·gij(t)), где γ - постоянный положительный коэффициент; gij(t) - число запомненных на соответствующем синапсе единичных образов, gij(t)=gij(t-1)+bij(t); gij(t-1) - число единичных образов, запомненных на синапсе на предыдущем временном такте; bij(t) - эффект от единичного взаимодействия нейронов на t-й момент времени. В частном случае, если i-й возбужденный нейрон передающего слоя (совместно с другими нейронами) возбуждает j-й нейрон принимающего слоя, то b i j ( t ) = A I i j + ( t ) > 0

Figure 00000001
. При невозбужденном i-м нейроне передающего слоя и возбужденном j-м нейроне принимающего слоя b i j ( t ) = D I i j ( t ) < 0
Figure 00000002
. В других случаях bij(t)=0. Здесь приняты следующие обозначения: A, D - константы; I i j + ( t )
Figure 00000003
, I i j ( t )
Figure 00000004
- положительный и отрицательный ток, протекающий через синапс, соответственно, в прямом и обратном направлении.Weighting factors, k ij (t), vary depending on the effects on the synapses of a single image and act as elements of a long-term network memory. When single images pass through synapses, they remove information about previous effects from them and leave information about their appearance through changes in weight coefficients. The values of the weight coefficients k ij (t) can be calculated by the formulas: k ij (t) = 1-exp (-γ · g ij (t)), where γ is a constant positive coefficient; g ij (t) is the number of unit images stored at the corresponding synapse, g ij (t) = g ij (t-1) + b ij (t); g ij (t-1) is the number of single images stored at the synapse at the previous time step; b ij (t) is the effect of a single interaction of neurons at the t-th moment in time. In the particular case, if the ith excited neuron of the transmitting layer (together with other neurons) excites the jth neuron of the receiving layer, then b i j ( t ) = A I i j + ( t ) > 0
Figure 00000001
. With the unexcited i-th neuron of the transmitting layer and the excited j-th neuron of the receiving layer b i j ( t ) = D I i j - ( t ) < 0
Figure 00000002
. In other cases, b ij (t) = 0. The following notation is accepted here: A, D - constants; I i j + ( t )
Figure 00000003
, I i j - ( t )
Figure 00000004
- positive and negative current flowing through the synapse, respectively, in the forward and reverse directions.

Каждая из связей (синапсов) имеет свое значение функции ослабления β(rij(t),Gij(x1t,x2t)) единичных образов, зависящее от удаленности rij(t) связываемых через синапсы нейронов и коэффициента направленности формы поперечного сечения расходящегося единичного образа в направлении от i-го к j-му нейрону в плоскости X, Y.Each of the connections (synapses) has its own value of the attenuation function β (r ij (t), G ij (x 1t , x 2t )) of single images, depending on the distance r ij (t) of the neurons connected through the synapses and the directivity of the cross-sectional shape divergent single image in the direction from the i-th to the j-th neuron in the X, Y plane.

Функция β(rij(t),Gij(x1t,x2t,)) может определяться как:The function β (r ij (t), G ij (x 1t , x 2t ,)) can be defined as:

β ( r i j ( t ) , G i j ( x 1 t , x 2 t ) ) = 1 1 + ϑ r i j ( t ) h / G i j ( ϕ i j + ψ ( x 1 t , x 2 t ) ) ,                           ( 1 )

Figure 00000005
β ( r i j ( t ) , G i j ( x one t , x 2 t ) ) = one one + ϑ r i j ( t ) h / G i j ( ϕ i j + ψ ( x one t , x 2 t ) ) , ( one )
Figure 00000005

где h - степень корня, чем она выше, тем шире ассоциативное пространственное взаимодействие в сети; ϑ - положительный коэффициент; φij - угол, характеризующий направление на нейрон принимающего слоя от нейрона этого слоя, в направлении которого передается расходящийся единичный образ; ψ(x1t,x2t) - угол поворота оси максимальной протяженности распределения плотности мощности в поперечном сечении расходящегося единичного образа (угол поворота расходящегося единичного образа вокруг направления его передачи). Виды предварительно заданных форм поперечных сечений расходящихся единичных образов в частном случае могут быть закреплены за номерами нейронов, формирующих эти единичные образы. В этом случае значение коэффициента Gijij+ψ(x1t,x2t)) направленности формы поперечного сечения расходящегося единичного образа зависит также от номера нейрона, формирующего единичный образ. Речь в рассматриваемом случае идет о предельно возможных формах поперечных сечений единичных образов, определяемых при условии kij(t)=1.where h is the degree of the root, the higher it is, the wider the associative spatial interaction in the network; ϑ is a positive coefficient; φ ij is the angle characterizing the direction of the receiving layer to the neuron from the neuron of this layer, in the direction of which a divergent single image is transmitted; ψ (x 1t , x 2t ) is the angle of rotation of the axis of the maximum extent of the power density distribution in the cross section of the diverging single image (angle of rotation of the diverging single image around the direction of its transmission). Types of predefined cross-sectional shapes of divergent unit images in a particular case can be assigned to the numbers of neurons that form these unit images. In this case, the value of the coefficient G ijij + ψ (x 1t , x 2t )) of the directivity of the cross-sectional shape of the diverging unit image also depends on the number of the neuron forming the unit image. In this case, we are talking about the maximum possible forms of cross sections of individual images, determined under the condition k ij (t) = 1.

Входящую в (1) величину rij в единицах нейронов с учетом возможных пространственных сдвигов совокупностей единичных образов вдоль слоев сети можно выразить в виде:Included in (1), the value of r ij in units of neurons, taking into account the possible spatial shifts of the aggregates of individual images along the network layers, can be expressed as:

r i j = ( Δ x i j + n i j d ) 2 + ( Δ y i j + m i j q ) 2

Figure 00000006
; r i j = ( Δ x i j + n i j d ) 2 + ( Δ y i j + m i j q ) 2
Figure 00000006
;

nij=±0, 1,…, L-1; mij=±0, 1,…, M-1;n ij = ± 0, 1, ..., L-1; m ij = ± 0, 1, ..., M-1;

Δxij, Δyij - проекции связи j-го нейрона с i-м на оси X, Y без учета пространственных сдвигов; d, q - величины единичных сдвигов, соответственно, по координатам X, Y; L, М - число, соответственно, столбцов и строк, на которые разбивается каждый слой нейронной сети за счет сдвигов.Δx ij , Δy ij - the projection of the connection of the j-th neuron with the i-th on the X, Y axis without taking into account spatial shifts; d, q are the values of unit shifts, respectively, in the coordinates X, Y; L, M - the number, respectively, of columns and rows into which each layer of the neural network is divided due to shifts.

Изменяя Δxij, Δyij на соответствующие значения nij·d и mij·q можно менять rij и направление потока совокупностей единичных образов вдоль слоев сети.By changing Δx ij , Δy ij by the corresponding values of n ij · d and m ij · q, we can change r ij and the flow direction of the sets of single images along the network layers.

Такие сдвиги совокупностей единичных образов вдоль слоев реализуются через управление динамическими синапсами с блока управления синапсами 7.Such shifts of the aggregates of single images along the layers are realized through the control of dynamic synapses from the synapse control unit 7.

Для принятия решения в блоке управления синапсами о сдвиге очередной совокупности единичных образов, в нем сначала анализируются состояния первого и второго слоя. В случае, когда на выходе первого или второго слоя имеет место совокупность единичных образов, которую нельзя передать на другой слой по коротким связям из-за нахождения соответствующих нейронов этого слоя в состояниях невосприимчивости, осуществляют сдвиг этой совокупности. В случае, когда нет препятствий для передачи совокупности единичных образов по коротким связям, сдвиг ее не осуществляют.To make a decision in the synapse control unit about the shift of the next set of single images, it first analyzes the state of the first and second layer. In the case when at the output of the first or second layer there is a collection of single images that cannot be transferred to another layer by short links due to the presence of the corresponding neurons of this layer in immunity states, this population is shifted. In the case where there are no obstacles to transmitting the totality of single images through short connections, it does not shift.

Угол φij, от которого зависит Gijij+ψ(x1t,x2t)), характеризующий направление на нейрон принимающего слоя от нейрона этого слоя, в направлении которого передается расходящийся единичный образ, равен φij=arctg(Δxij/Δyij), где Δxij, Δyij - расстояния между соответствующими нейронами в плоскости X, У принимающего слоя.The angle φ ij on which G ij depends (φ ij + ψ (x 1t , x 2t )), which characterizes the direction of the receiving layer to the neuron from the neuron of this layer, in the direction of which the divergent unit image is transmitted, is equal to φ ij = arctg (Δx ij / Δy ij ), where Δx ij , Δy ij are the distances between the corresponding neurons in the X, Y plane of the receiving layer.

Для определения Gijij+ψ(x1t,x2t)) можно предварительно задаться видами форм поперечных сечений расходящихся единичных образов. Возможны круговые, эллиптические и другие формы, без смещения и со смещением энергетических максимумов. Пусть для примера одной из них будет эллиптическая форма, изначально ориентированная по оси Y. Для этой формы каждому значению угла χ от оси Y соответствует свое значение коэффициента направленности G(χ). Эти данные по G(χ) могут выступать в качестве исходных для определения значений коэффициента Gijij+ψ(x1t,x2t)) в (1). Определение ψ(x1t,x2t) с учетом текущих состояний слоев сети осуществимо путем поиска угла, при котором на заданном интервале времени может быть достигнут максимум числа ассоциативно вызываемых из долговременной памяти сети единичных образов. С учетом инерционности этот угол можно определить путем варьирования значениями угла поворота и оценки числа ассоциативно вызываемых из долговременной памяти единичных образов. Поворот оси максимальной протяженности распределения плотности мощности в поперечном сечении расходящегося единичного образа на угол ψ(x1t,x2t) равносилен повороту этого образа на этот угол вокруг направления передачи. В частном случае эти повороты можно осуществлять на предварительно задаваемые углы с учетом текущих состояний слоев, номеров возбужденных нейронов.To determine G ijij + ψ (x 1t , x 2t )), one can preliminarily specify the types of cross-sectional shapes of divergent unit images. Circular, elliptical and other shapes are possible, without bias and with bias of energy maxima. For example, let one of them be an elliptical shape, initially oriented along the Y axis. For this form, each value of the angle χ from the Y axis corresponds to its own directivity coefficient G (χ). This data on G (χ) can serve as the source for determining the values of the coefficient G ijij + ψ (x 1t , x 2t )) in (1). The determination of ψ (x 1t , x 2t ) taking into account the current states of the network layers is feasible by searching for the angle at which at a given time interval the maximum number of unit images associatively called from the long-term network memory can be reached. Taking into account the inertia, this angle can be determined by varying the values of the rotation angle and estimating the number of unit images associatively called from the long-term memory. The rotation of the axis of the maximum extent of the power density distribution in the cross section of the diverging unit image by the angle ψ (x 1t , x 2t ) is equivalent to the rotation of this image by this angle around the transmission direction. In the particular case, these rotations can be carried out at predetermined angles, taking into account the current state of the layers, numbers of excited neurons.

В общем случае смещенные групповые совокупности с измененными формами поперечных сечений расходящихся единичных образов и с поворотами этих образов вокруг направлений их передачи с выхода первого блока динамических синапсов 3 поступают на вход второго слоя нейронов 5.In the general case, displaced group aggregates with altered cross-sectional shapes of diverging single images and with rotations of these images around the directions of their transmission from the output of the first block of dynamic synapses 3 enter the input of the second layer of neurons 5.

Все единичные образы, поступившие на один и тот же нейрон по различным синапсам, суммируются. При превышении этой суммы заданного порога возбуждения нейрона он возбуждается и на его выходе формируется единичный образ. Затем имеемая сумма обнуляется, а сам нейрон затем переходит в состояние невосприимчивости входных сигналов. В нем он находится заданное время, одинаковое для всех нейронов сети, которое больше суммарной задержки единичных образов в блоках 1, 2, 3, 5, 6, 4, входящих в двухслойный многопучковый контур нейронной сети.All single images arriving at the same neuron at different synapses are summarized. When this sum is exceeded a predetermined threshold of neuron excitation, it is excited and a single image is formed at its output. Then the available amount is reset, and the neuron itself then goes into the immunity state of the input signals. It contains the specified time, the same for all neurons of the network, which is greater than the total delay of single images in blocks 1, 2, 3, 5, 6, 4 included in the two-layer multi-beam circuit of the neural network.

Заметим, что мощность единичных образов на входе нейронов тем выше, чем меньше ее потери на синапсах. Мощность, рассеиваемая на каждом синапсе, определяется квадратом тока, протекающего через него, умноженного на сопротивление синапса, равное обратной величине его проводимости - весу синапса.Note that the power of single images at the input of neurons is higher, the less its loss at the synapses. The power dissipated at each synapse is determined by the square of the current flowing through it, multiplied by the resistance of the synapse, equal to the reciprocal of its conductivity - the weight of the synapse.

Последовательные совокупности единичных образов с выхода второго слоя 5, после задержки в блоке 6, поступают на второй блок динамических синапсов 4. В блоке 4 они аналогичным образом, как и в блоке 3, обрабатываются и, в общем случае, с измененными формами поперечных сечений расходящихся единичных образов и с поворотами этих образов вокруг направлений их передачи поступают на второй вход первого слоя нейронов 1.Successive sets of single images from the output of the second layer 5, after a delay in block 6, go to the second block of dynamic synapses 4. In block 4 they are processed in the same way as in block 3 and, in general, with altered forms of cross sections diverging single images and with the rotations of these images around the directions of their transmission arrive at the second input of the first layer of neurons 1.

С учетом этого поступающие на первый слой 1 нейронов прямые и обратные совокупности единичных образов в нем корректно связываются, распознаются и порождают на его выходе новые совокупности единичных образов, несущие в себе информацию, как о текущих, так и ранее запомненных сетью сигналах, связанных с первыми. При этом за счет соответствующих сдвигов совокупностей единичных образов вдоль слоев исключается наложение обратных результатов распознавания на прямые совокупности. За счет изменения форм поперечных сечений расходящихся единичных образов и поворотов этих образов вокруг направлений их передачи достигается возможность оперативного изменения уровней связи между отдельными единичными образами, их группами и совокупностями в сети.With this in mind, the direct and inverse sets of unit images arriving at the first layer of 1 neurons in it are correctly connected, recognized, and generate at its output new sets of unit images that carry information about both the current and previously memorized signals associated with the first . At the same time, due to the corresponding shifts of the sets of single images along the layers, the overlapping of inverse recognition results on direct sets is excluded. By changing the shapes of the cross-sections of divergent single images and the rotations of these images around the directions of their transmission, it is possible to quickly change communication levels between individual single images, their groups and groups in the network.

За счет приоритетности коротких связей в нейронной сети между входом и выходом сети легко устанавливается однозначное соответствие между составляющими входных и выходных сигналов.Due to the priority of short connections in a neural network, an unambiguous correspondence between the components of the input and output signals is easily established between the input and output of the network.

С учетом этого соответствия по номерам нейронов, формирующих последовательности единичных образов на выходе устройства, определяют частотные и пространственные характеристики составляющих исходного сигнала. По частотам следования и относительным задержкам единичных образов, соответственно, устанавливают амплитуды и фазы составляющих исходного сигнала. Затем воспроизводят составляющие исходных сигналов и путем их сложения восстанавливают исходные, например речевые и другие сигналы. Для определения амплитуд составляющих исходного сигнала определяют текущее число единичных образов, попадающих в предварительно заданный интервал времени. Для воспроизведения составляющих исходных сигналов применим, например их цифровой синтез по известным параметрам.Given this correspondence, the frequency and spatial characteristics of the components of the original signal are determined by the numbers of neurons that form the sequence of single images at the output of the device. According to the repetition frequencies and relative delays of individual images, respectively, the amplitudes and phases of the components of the original signal are set. Then reproduce the components of the original signals and by adding them restore the original, for example, speech and other signals. To determine the amplitudes of the components of the source signal, the current number of unit images falling into a predetermined time interval is determined. To reproduce the components of the source signals, we apply, for example, their digital synthesis according to known parameters.

За счет цикличности обмена информацией первого слоя со вторым, все пространство слоев (фиг.2 а, б) разбивается на ML полей. При этом каждое поле дополнительно подразделяется на два одинаковых подполя. Согласно изобретению полезный сигнал, просуммированный с первой частью предварительно сформированного шума, после разложения на составляющие и их преобразования в последовательности единичных образов, подается на первое подполе 1.1 первого поля первого слоя (фиг.2а). На второе подполе 1.2 первого поля первого слоя подается после разложения на составляющие и их преобразования в последовательности единичных образов вторая часть предварительно сформированного шума, идентичная первой части. Совокупности единичных образов продвигаются по сети в указанных направлениях, ассоциируются друг с другом. При этом входные последовательные совокупности единичных образов преобразуются в параллельные, а снимаются с сети после ассоциаций снова как последовательные. Основным выходом сети согласно предлагаемому способу, в соответствии с фиг.2 а выступает выход ML.2. Выход ML.1 является вспомогательным.Due to the cyclical exchange of information of the first layer with the second, the entire space of the layers (Fig.2 a, b) is divided into ML fields. In addition, each field is further subdivided into two identical subfields. According to the invention, a useful signal, summed with the first part of the pre-formed noise, after decomposition into components and their transformation into a sequence of single images, is fed to the first subfield 1.1 of the first field of the first layer (Fig.2a). To the second subfield 1.2 of the first field of the first layer, after decomposition into components and their transformation into a sequence of single images, the second part of the previously generated noise is identical to the first part. Sets of single images move along the network in the indicated directions and are associated with each other. In this case, the input sequential sets of single images are converted to parallel, and removed from the network after associations again as sequential. The main output of the network according to the proposed method, in accordance with figure 2 a stands output ML.2. The output of ML.1 is auxiliary.

Согласно фиг.2 а, б имеет место схема продвижения групповых совокупностей единичных образов в виде спирали со встречным их продвижением.According to figure 2 a, b, there is a scheme for promoting group sets of single images in the form of a spiral with their counter advancement.

За счет того, что на первый слой сети при наличии и отсутствии полезного сигнала подают параллельно и непрерывно две одинаковые части предварительно сформированного шума, в виде последовательных групповых совокупностей единичных образов, между одинаковыми сигнально-шумовыми и шумовыми составляющими в сети устанавливаются и поддерживаются непрерывно прочные ассоциативные связи через соответствующие синапсы. Для этих синапсов значения весовых коэффициентов kij(t) со временем стремятся к единице. При условии, что значения функций ослабления β(rij(t),Gij(x1t,x2t)) для этих синапсов не близки к нулю, через эти синапсы при передаче от слоя к слою групповых совокупностей единичных образов осуществляется копирование из сигнально-шумовых групп единичных образов, относящихся к полезному сигналу, в соответствующие этим группам шумовые группы. В случае, когда за счет изменения форм поперечных сечений расходящихся единичных образов и (или) поворотов этих образов вокруг направлений их передачи с учетом текущих состояний слоев функции ослабления β(rij(t),Gij(x1t,x2t)) стремятся к нулю, такое копирование становится невозможным. Когда оно уже произошло, то копии сигнально-шумовых групп при соответствующих β(rij(t),Gij(x1t,x2t)), близких к нулю, «отрываются» от оригиналов и обрабатываются независимо от них с учетом обратных результатов распознавания этих копий и воздействий на сеть второй части маломощного шума. В этом случае маломощный шум лишь стимулирует функционирование сети и порождает новые условия обработки этих копий. Исключается подавление обратных результатов распознавания копий потоком входных сигналов. Увеличивается глубина обработки информации в нейронной сети, так как увеличивается число циклов обработки обратных результатов распознавания.Due to the fact that, in the presence and absence of a useful signal, two identical parts of pre-formed noise are fed in parallel and continuously, in the form of consecutive group sets of unit images, continuously strong associative components are established and supported between the same signal-noise and noise components in the network communication through the corresponding synapses. For these synapses, the values of the weight coefficients k ij (t) tend to unity with time. Provided that the values of the attenuation functions β (r ij (t), G ij (x 1t , x 2t )) for these synapses are not close to zero, through these synapses, when transmitting from the layer to the layer of group sets of single images, copying from the signal - noise groups of single images related to the useful signal into the noise groups corresponding to these groups. In the case when, due to changes in the cross-sectional shapes of diverging unit images and (or) rotations of these images around the directions of their transmission, taking into account the current state of the layers, the attenuation functions β (r ij (t), G ij (x 1t , x 2t )) tend to zero, such copying becomes impossible. When it has already happened, copies of the signal-noise groups with the corresponding β (r ij (t), G ij (x 1t , x 2t )) close to zero are “detached” from the originals and processed independently of them, taking into account the inverse results recognition of these copies and network impacts of the second part of low-power noise. In this case, low-power noise only stimulates the functioning of the network and creates new conditions for processing these copies. The suppression of the reverse results of recognition of copies by the stream of input signals is excluded. The depth of information processing in the neural network increases, as the number of cycles of processing the inverse recognition results increases.

На фиг.3 а, б приведен пример, поясняющий копирование сигнально-шумовых групп в шумовую группу единичных образов. Учитывая, что мощность обрабатываемого шума существенно меньше мощности полезного сигнала, он не оказывает существенного влияния на полезный сигнал.Figure 3 a, b shows an example explaining the copying of signal-noise groups into the noise group of single images. Given that the power of the processed noise is significantly less than the power of the useful signal, it does not significantly affect the useful signal.

Из фиг.4, 5 видно, что за счет изменения форм поперечных сечений расходящихся единичных образов и за счет поворотов этих образов вокруг направлений их передачи с учетом текущих состояний слоев можно существенно влиять на взаимосвязь обрабатываемых в сети полезных сигналов и их копий. В соответствии с фиг.4 поперечные сечения расходящихся единичных образов, относящихся к сигнально-шумовым группам, покрывают нейроны, ответственные за формирование копий сигнально-шумовых групп. При этих условиях такие копии могут успешно формироваться. Для «отрыва» копий сигнально-шумовых групп от оригиналов достаточно осуществить дополнительный поворот на 90° по часовой стрелке осей максимальной протяженности распределения плотности мощности в поперечных сечениях расходящихся единичных образов. Результат такого поворота показан на фиг.5. Из фиг.5 видно, что в отличие от фиг.4, поперечное сечение расходящегося единичного образа, формируемого нейроном 1, не покрывает нейрон 9. В этом случае нейрон 1 не может возбудить нейрон 9. Зато поперечные сечения расходящихся единичных образов хорошо покрывают нейроны других подполей второй строки, ответственных за формирование одних и тех же типов групп единичных образов. В результате обеспечивается независимая полноценная обработка в сети оригиналов и копий сигнально-шумовых групп.It can be seen from Figs. 4 and 5 that by changing the shapes of the cross sections of diverging single images and by turning these images around the directions of their transmission, taking into account the current state of the layers, it is possible to significantly affect the relationship of the useful signals processed in the network and their copies. In accordance with figure 4, the cross sections of divergent single images related to signal-noise groups, cover the neurons responsible for the formation of copies of the signal-noise groups. Under these conditions, such copies can be successfully formed. To “detach” copies of signal-noise groups from the originals, it is enough to carry out an additional 90 ° clockwise rotation of the axes of the maximum length of the power density distribution in the cross sections of diverging single images. The result of this rotation is shown in FIG. Figure 5 shows that, unlike figure 4, the cross section of the divergent single image formed by neuron 1 does not cover neuron 9. In this case, neuron 1 cannot excite neuron 9. But the cross sections of divergent single images well cover the neurons of others subfields of the second line, responsible for the formation of the same types of groups of single images. As a result, independent full-fledged processing in the network of originals and copies of signal-noise groups is ensured.

Если эллиптическую форму поперечных сечений расходящихся единичных образов преобразовать на заданное время, например, в круговую, то ситуация по взаимосвязи копий и оригиналов также существенно изменится.If the elliptical shape of the cross sections of divergent single images is transformed for a given time, for example, into a circular one, then the situation regarding the relationship of copies and originals will also change significantly.

Формирование копий сигнально-шумовых групп и обработка их в сети с учетом отмеченных условий позволяет существенно расширить функциональные возможности по интеллектуальной обработке информации в нейронной сети. Повышается глубина и интеллектуальность обработки информации. Предоставляется возможность временно отрывать «мысли» сети от воспринимаемого потока входных сигналов, а также генерировать новые осознанные сигналы с учетом влияния маломощного шума.The formation of copies of signal-noise groups and their processing in the network, taking into account the noted conditions, can significantly expand the functionality for the intellectual processing of information in a neural network. Increases the depth and intelligence of information processing. The opportunity is provided to temporarily tear off the "thoughts" of the network from the perceived stream of input signals, as well as generate new conscious signals, taking into account the influence of low-power noise.

Для доказательства преимущества предлагаемого способа по сравнению с известными решениями была разработана реализующая этот способ программная модель двухслойной рекуррентной нейронной сети с управляемыми синапсами со структурой, приведенной на фиг.1. Число нейронов в каждом слое составляло 2100 единиц. За счет сдвигов групповых совокупностей единичных образов вдоль слоев (при передаче от слоя к слою) слои разбивались на две строки по 25 полей размером 6×7 нейронов. При этом каждое поле делилось на два подполя размером 3×7. Моделировалась обработка такой сетью групповых сигналов согласно предлагаемому способу. Установлено, что за счет предварительно формируемого шума, подаваемого параллельно на первое и второе подполя первого поля первого слоя сети, можно обеспечить однозначное соответствие между одинаковыми сигнально-шумовыми и шумовыми составляющими и успешно формировать копии сигнально-шумовых групп при обработке рассматриваемых групповых сигналов. За счет изменения форм поперечных сечений расходящихся единичных образов и поворотов этих образов вокруг направлений их передачи можно существенно влиять на взаимосвязь копий сигнально-шумовых групп и их оригиналов. За счет формирования сигнально-шумовых копий и «отрыва» их от оригиналов удается исключить подавление обратных результатов распознавания этих копий входным потоком сигналов. Это повышает глубину и расширяет функциональные возможности интеллектуальной обработки информации в нейронной сети.To prove the advantages of the proposed method in comparison with the known solutions, a software model was developed that implements this method of a two-layer recurrent neural network with controlled synapses with the structure shown in Fig. 1. The number of neurons in each layer was 2100 units. Due to shifts of group sets of single images along the layers (during transmission from layer to layer), the layers were divided into two rows of 25 fields of 6 × 7 neurons each. Moreover, each field was divided into two subfields of size 3 × 7. The processing of such a network of group signals according to the proposed method was simulated. It has been established that due to pre-generated noise applied in parallel to the first and second subfields of the first field of the first network layer, it is possible to provide an unambiguous correspondence between the same signal-noise and noise components and successfully generate copies of signal-noise groups when processing the group signals under consideration. By changing the shapes of the cross sections of divergent single images and the rotations of these images around the directions of their transmission, you can significantly affect the relationship of copies of signal-noise groups and their originals. Due to the formation of signal-noise copies and “separation” of them from the originals, it is possible to eliminate the suppression of the inverse recognition results of these copies by the input signal stream. This increases the depth and extends the functionality of intelligent information processing in a neural network.

Способ интеллектуальной обработки информации в нейронной сети может быть реализован с использованием известной элементной базы. В качестве нейронов слоев и элементов единичных задержек в блоках единичных задержек нейронной сети, реализующей способ применимы ждущие мультивибраторы. При этом ждущие мультивибраторы в блоках единичных задержек следует запускать не по переднему, а заднему фронту входного импульса. Блоки динамических синапсов могут быть реализованы с использованием мемристоров (резисторов с памятью) и обычных управляемых аттенюаторов. Блок управления синапсами реализуем специализированными процессорами, программируемыми интегральными схемами, функционирующими в соответствии с рассмотренными выше правилами. Способ можно реализовать также путем эмулирования двухслойной рекуррентной нейронной сети с управляемыми синапсами на современных вычислительных машинах.A method of intelligent information processing in a neural network can be implemented using a well-known element base. As the neurons of the layers and elements of unit delays in units of unit delays of a neural network that implements the method, standby multivibrators are applicable. In this case, the waiting multivibrators in the unit of single delays should be started not on the leading, but on the trailing edge of the input pulse. Dynamic synapse blocks can be implemented using memristors (memory resistors) and conventional controlled attenuators. The synapses control unit is implemented by specialized processors, programmable integrated circuits, operating in accordance with the rules discussed above. The method can also be implemented by emulating a two-layer recurrent neural network with controlled synapses on modern computers.

Claims (1)

Способ интеллектуальной обработки информации в нейронной сети, заключающийся в подаче в многослойную рекуррентную сеть с обратными связями, замыкающими контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом текущих состояний слоев, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, отличающийся тем, что в сеть в качестве сигнала подают предварительно сформированный групповой сигнал, состоящий из полезного сигнала, просуммированного с первой частью предварительно сформированного шума, и из второй такой же части этого шума, при передаче от слоя к слою групповых совокупностей единичных образов, каждая из которых состоит из сигнально-шумовой группы и шумовой группы единичных образов, копируют из сигнально-шумовых групп единичные образы, относящиеся к полезному сигналу, в соответствующие этим группам шумовые группы, формируют из шумовых групп копии сигнально-шумовых групп единичных образов и обрабатывают эти копии с учетом изменения форм поперечных сечений расходящихся единичных образов и поворотов этих образов вокруг направлений их передачи с учетом текущих состояний слоев. A method of intelligent processing of information in a neural network, which consists in feeding a multilayer recurrent network with feedbacks closing circuits with a delay time of single images less than the immunity time of the network neurons after their excitation, a signal decomposed into components in a basis matched to the input network layer, with each component converted into a sequence of single images with a repetition rate as a predetermined function of the amplitude of the component, representing the signal and in the form of consecutive sets of single images in accordance with predefined rules for its recognition, taking into account the inverse recognition results, shifts of sets of single images along the layers taking into account the current state of the layers, storing recognition results on network elements, using sequential sets of single images as processing results the output layer of the network after the reverse conversion into the corresponding source signals, characterized in that the network in as a signal, a pre-formed group signal is provided, consisting of a useful signal summed with the first part of the pre-generated noise and the second of the same part of this noise, when transmitting from layer to layer group sets of single images, each of which consists of a signal-noise group and noise groups of single images, copy from signal-noise groups single images related to the useful signal into noise groups corresponding to these groups, form from noise groups of cop and signal-noise groups of single images and process these copies taking into account changes in the cross-sectional shapes of diverging single images and rotations of these images around the directions of their transmission, taking into account the current state of the layers.
RU2013101736/08A 2013-01-14 2013-01-14 Method for intelligent information processing in neural network RU2514931C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2013101736/08A RU2514931C1 (en) 2013-01-14 2013-01-14 Method for intelligent information processing in neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2013101736/08A RU2514931C1 (en) 2013-01-14 2013-01-14 Method for intelligent information processing in neural network

Publications (1)

Publication Number Publication Date
RU2514931C1 true RU2514931C1 (en) 2014-05-10

Family

ID=50629586

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013101736/08A RU2514931C1 (en) 2013-01-14 2013-01-14 Method for intelligent information processing in neural network

Country Status (1)

Country Link
RU (1) RU2514931C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2737227C1 (en) * 2020-04-20 2020-11-26 Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии наук" Method for intelligent multi-level information processing in neural network

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2006067C1 (en) * 1991-05-20 1994-01-15 Каримов Александр Рашатович Method of processing information in neuron networks
WO2004048513A2 (en) * 2002-05-03 2004-06-10 University Of Southern California Artificial neural systems with dynamic synapses
RU2413304C1 (en) * 2009-11-02 2011-02-27 Василий Юрьевич Осипов Method and device of intellectual processing of information in neural network
RU2427914C1 (en) * 2010-09-16 2011-08-27 Василий Юрьевич Осипов Method of intellectual information processing in neuron network
WO2012015450A1 (en) * 2010-07-30 2012-02-02 Hewlett-Packard Development Company, L.P. Systems and methods for modeling binary synapses
RU2446463C1 (en) * 2011-02-08 2012-03-27 Василий Юрьевич Осипов Method and apparatus for intelligent information processing in neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2006067C1 (en) * 1991-05-20 1994-01-15 Каримов Александр Рашатович Method of processing information in neuron networks
WO2004048513A2 (en) * 2002-05-03 2004-06-10 University Of Southern California Artificial neural systems with dynamic synapses
RU2413304C1 (en) * 2009-11-02 2011-02-27 Василий Юрьевич Осипов Method and device of intellectual processing of information in neural network
WO2012015450A1 (en) * 2010-07-30 2012-02-02 Hewlett-Packard Development Company, L.P. Systems and methods for modeling binary synapses
RU2427914C1 (en) * 2010-09-16 2011-08-27 Василий Юрьевич Осипов Method of intellectual information processing in neuron network
RU2446463C1 (en) * 2011-02-08 2012-03-27 Василий Юрьевич Осипов Method and apparatus for intelligent information processing in neural network

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2737227C1 (en) * 2020-04-20 2020-11-26 Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии наук" Method for intelligent multi-level information processing in neural network

Similar Documents

Publication Publication Date Title
Zhang et al. Tdsnn: From deep neural networks to deep spike neural networks with temporal-coding
WO2020099680A2 (en) Resilient neural network
Marhon et al. Recurrent neural networks
Kuremoto et al. Time series forecasting using restricted Boltzmann machine
Osipov et al. Space–time signal binding in recurrent neural networks with controlled elements
RU2413304C1 (en) Method and device of intellectual processing of information in neural network
RU2446463C1 (en) Method and apparatus for intelligent information processing in neural network
RU2427914C1 (en) Method of intellectual information processing in neuron network
RU2514931C1 (en) Method for intelligent information processing in neural network
US5485548A (en) Signal processing apparatus using a hierarchical neural network
Wu et al. Development of fpga toolbox for implementation of spiking neural networks
RU2483356C1 (en) Method for intelligent information processing in neural network
Rice et al. Scaling analysis of a neocortex inspired cognitive model on the Cray XD1
RU2502133C1 (en) Method for intelligent information processing in neural network
RU2553074C1 (en) Method for intelligent information processing in neural network
RU2737227C1 (en) Method for intelligent multi-level information processing in neural network
Mehrabi et al. Efficient Implementation of a Multi-Layer Gradient-Free Online-Trainable Spiking Neural Network on FPGA
Kumaraswamy et al. Multi-source Subnetwork-level Transfer in CNNs Using Filter-Trees
Parker et al. Introduction to neuromorphic circuits
JP2544489B2 (en) Learning method of neural network model
JP2744313B2 (en) Network configuration data processing device
Ehkan et al. Artificial neural network for character recognition on embedded-based FPGA
Zhou et al. Exponential synchronization of memristive Cohen-Grossberg neural networks with hybrid time delays
Maren FEEDFORWARD NEURAL
JPH05307624A (en) Signal processor

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20160115