RU2514931C1 - Method for intelligent information processing in neural network - Google Patents
Method for intelligent information processing in neural network Download PDFInfo
- Publication number
- RU2514931C1 RU2514931C1 RU2013101736/08A RU2013101736A RU2514931C1 RU 2514931 C1 RU2514931 C1 RU 2514931C1 RU 2013101736/08 A RU2013101736/08 A RU 2013101736/08A RU 2013101736 A RU2013101736 A RU 2013101736A RU 2514931 C1 RU2514931 C1 RU 2514931C1
- Authority
- RU
- Russia
- Prior art keywords
- signal
- noise
- single images
- network
- groups
- Prior art date
Links
Images
Abstract
Description
Изобретение относится к бионике, моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем.The invention relates to bionics, modeling of functional aspects of a person and can find application in computer technology for the construction of intelligent machines and systems.
В настоящее время известны многие способы интеллектуальной обработки информации в нейронной сети, применяемые для аппроксимации, классификации, распознавания образов, обработки речи, прогнозирования, идентификации, оценивания производственных процессов, ассоциативного управления и для решения других творческих задач (Хайкин С.Нейронные сети: полный курс, 2-е издание.: Пер. с англ. М.: Издательский дом «Вильяме», 2006. - 1104 с.; Галушкин А.И. Теория нейронных сетей. Кн. 1: Учебное пособие для вузов / Общая ред. А.И.Талушкина. - М.: ИПРЖР, 2000. - 416 с.).Currently, many methods of intelligent information processing in a neural network are known, used for approximation, classification, pattern recognition, speech processing, forecasting, identification, estimation of production processes, associative control and for solving other creative tasks (Khaikin S. Neural networks: full course , 2nd edition .: Translated from English by M .: Publishing House "Williams", 2006. - 1104 p .; AI Galushkin, Theory of Neural Networks, Book 1: Textbook for universities / General ed. .I. Talushkina. - M .: IPRZhR, 2000 .-- 416 p.).
Однако всем им характерны узкие возможности по запоминанию структурно-сложных изменяющихся во времени сигналов, их распознаванию, ассоциированию с другими сигналами, извлечению из памяти сети и воспроизведению в исходной форме. Они не позволяют при обработке информации решать широкий спектр задач одной и той же нейронной сетью.However, all of them are characterized by narrow capabilities for storing structurally complex time-varying signals, their recognition, association with other signals, retrieving from the network memory and reproducing in its original form. They do not allow, when processing information, to solve a wide range of problems with the same neural network.
Наиболее близким аналогом изобретения является способ интеллектуальной обработки информации в многослойной нейронной сети с обратными связями, замыкающими контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения. Согласно ему сигнал подают в сеть после разложения на составляющие в базисе, согласованном с входным слоем сети. При этом каждую составляющую перед подачей в сеть преобразуют в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей. Сигнал представляют в сети в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания. При передаче совокупностей единичных образов от слоя к слою их сдвигают вдоль слоев с учетом текущих состояний последних. Результаты распознавания запоминают на элементах сети. В качестве результатов обработки используют последовательные совокупности единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы (Осипов В.Ю. Ассоциативная интеллектуальная машина / Информационные технологии и вычислительные системы. №2, 2010, С.59-67).The closest analogue of the invention is a method of intelligent information processing in a multilayer neural network with feedbacks closing the circuits with a delay time of single images less than the immunity time of network neurons after their excitation. According to it, the signal is fed into the network after decomposition into components in a basis consistent with the input layer of the network. In this case, each component is converted into a sequence of single images with a repetition rate as a predetermined function of the amplitude of the component before being fed into the network. The signal is represented on the network in the form of consecutive sets of single images in accordance with predefined rules for its recognition, taking into account the inverse recognition results. When transferring sets of single images from layer to layer, they are shifted along the layers, taking into account the current states of the latter. Recognition results are stored on network elements. As processing results, sequential sets of single images are used on the output layer of the network after the reverse conversion into the corresponding source signals (Osipov V.Yu. Associative Intelligent Machine / Information Technologies and Computing Systems. No. 2, 2010, P.59-67).
Недостатком этого способа является то, что согласно ему нейронная сеть не может воспринимать одно, а выдавать в качестве результатов обработки совершенно другое, слабо связанное с входными текущими сигналами, как это может делать человек. Результаты обработки информации в сети по времени тесно связаны с входными сигналами. Сеть функционирует как ассоциативная память. В известном способе входные сигналы вызывают из долговременной памяти сети связанные с ними запомненные сигналы и вместе представляют результаты обработки. Долговременная память сети - это память на синапсах. Оперативная память сети - это память на самих нейронах. Согласно этому способу продолжительные входные сигналы подавляют возможности сети по обработке обратных результатов распознавания. Это существенно ограничивает глубину обработки информации. Под глубиной обработки понимается время, в течение которого сеть способна обрабатывать при непрерывном входном потоке отдельно выделенный в нем короткий сигнал.The disadvantage of this method is that, according to it, a neural network cannot perceive one thing, but give out as a result of processing a completely different one, weakly connected with input current signals, as a person can do. The results of processing information on the network over time are closely related to input signals. The network functions as an associative memory. In the known method, the input signals cause the stored signals associated with them from the long-term network memory and together represent the processing results. Long-term network memory is synapse memory. Network RAM is the memory on the neurons themselves. According to this method, continuous input signals suppress the network's ability to process inverse recognition results. This significantly limits the depth of information processing. Processing depth is understood as the time during which the network is able to process the separately allocated short signal in it with a continuous input stream.
В целом эти недостатки существенно ограничивают функциональные возможности способа по интеллектуальной обработке информации.In general, these disadvantages significantly limit the functionality of the method for intellectual information processing.
Задачей изобретения является расширение функциональных возможностей по интеллектуальной обработке информации в нейронной сети.The objective of the invention is to expand the functionality of intelligent information processing in a neural network.
Технический результат от использования изобретения заключается в повышении глубины и интеллектуальности обработки информации в нейронной сети.The technical result from the use of the invention is to increase the depth and intelligence of information processing in a neural network.
Поставленная задача решается тем, что в известном способе интеллектуальной обработки информации в нейронной сети, заключающемся в подаче в многослойную рекуррентную сеть с обратными связями, замыкающими контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом текущих состояний слоев, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, согласно изобретению в сеть в качестве сигнала подают предварительно сформированный групповой сигнал, состоящий из полезного сигнала, просуммированного с первой частью предварительно сформированного шума, и из второй такой же части этого шума, при передаче от слоя к слою групповых совокупностей единичных образов, каждая из которых состоит из сигнально-шумовой группы и шумовой группы единичных образов, копируют из сигнально-шумовых групп единичные образы, относящиеся к полезному сигналу, в соответствующие этим группам шумовые группы, формируют из шумовых групп копии сигнально-шумовых групп единичных образов и обрабатывают эти копии с учетом изменения форм поперечных сечений расходящихся единичных образов и поворотов этих образов вокруг направлений их передачи с учетом текущих состояний слоев.The problem is solved in that in the known method of intelligent processing of information in a neural network, which consists in supplying a multilayer recurrent network with feedbacks, closing circuits with a delay time of single images less than the immunity time of network neurons after their excitation, a signal decomposed into components in the basis matched with the input network layer, with each component converted into a sequence of single images with a repetition rate as a predefined function it from the amplitude of the component, representing the signal in the form of successive sets of single images in accordance with predefined recognition rules taking into account the inverse recognition results, shifts of sets of single images along the layers taking into account the current state of the layers, storing recognition results on network elements, using as results processing consecutive sets of single images on the output layer of the network after the inverse transformation to the corresponding to them, the initial signals, according to the invention, a preformed group signal consisting of a useful signal summed with the first part of the preformed noise and the second of the same part of this noise when transmitted from layer to layer of group sets of single images is fed into the network as a signal, each of which consists of a signal-noise group and a noise group of single images, copy from the signal-noise groups single images related to the useful signal into the corresponding pppam noise groups, form from noise groups copies of signal-noise groups of single images and process these copies taking into account changes in the cross-sectional shapes of diverging single images and rotations of these images around the directions of their transmission, taking into account the current state of the layers.
Результаты биологических исследований свидетельствуют, что обработка внешних сигналов мозгом человека осуществляется при наличии внутренних шумов. При этом внутренние шумы так же, как и внешние полезные сигналы, стимулируют работу мозга.The results of biological studies indicate that the processing of external signals by the human brain is carried out in the presence of internal noise. At the same time, internal noises as well as external useful signals stimulate the brain.
С учетом этого автор изобретения предлагает в сеть в качестве сигнала подавать предварительно сформированный групповой сигнал, состоящий из полезного сигнала, просуммированного с первой частью предварительно сформированного шума, и из второй такой же части этого шума, что является новым существенным признаком изобретения.With this in mind, the inventor proposes to supply a pre-formed group signal to the network as a signal, consisting of a useful signal summed with the first part of the pre-generated noise and the second of the same part of this noise, which is a new significant feature of the invention.
Другим новым существенным признаком изобретения выступает то, что при передаче от слоя к слою групповых совокупностей единичных образов, каждая из которых состоит из сигнально-шумовой группы и шумовой группы единичных образов, копируют из сигнально-шумовых групп единичные образы, относящиеся к полезному сигналу, в соответствующие этим группам шумовые группы.Another new significant feature of the invention is the fact that when transferring from layer to layer group sets of single images, each of which consists of a signal-noise group and a noise group of single images, single images related to the useful signal are copied from signal-noise groups noise groups corresponding to these groups.
Третьим новым существенным признаком изобретения выступает то, что предлагается формировать из шумовых групп копии сигнально-шумовых групп единичных образов и обрабатывать эти копии с учетом изменения форм поперечных сечений расходящихся единичных образов и поворотов этих образов вокруг направлений их передачи с учетом текущих состояний слоев.The third new significant feature of the invention is the fact that it is proposed to form copies of signal-noise groups of single images from noise groups and process these copies taking into account changes in the cross-sectional shapes of diverging single images and the rotations of these images around their transmission directions, taking into account the current state of the layers.
Сущность изобретения поясняется фиг.1÷4.The invention is illustrated in figure 1 ÷ 4.
На фиг.1 приведена структурная схема двухслойной рекуррентной нейронной сети с управляемыми синапсами, реализующей предложенный способ, где 1, 5 - первый, второй слои нейронов; 2, 6 - первый, второй блоки единичных задержек; 3, 4 - первый, второй блоки динамических синапсов; 7 - блок управления синапсами.Figure 1 shows the structural diagram of a two-layer recurrent neural network with controlled synapses that implements the proposed method, where 1, 5 - the first, second layers of neurons; 2, 6 - the first, second blocks of unit delays; 3, 4 - the first, second blocks of dynamic synapses; 7 - control unit synapses.
На фиг.2 а, б представлен пример логической структуры этой рекуррентной нейронной сети со сдвигами групповых совокупностей единичных образов вдоль слоев. Фиг.2а - вид сверху на сеть со спиральной схемой продвижения совокупностей единичных образов вдоль слоев, а фиг.2б - разрез сети по двум слоям по первой строке, где d, q - величины единичных сдвигов совокупностей, соответственно, по координатам X, Y; 1.1 и 1.2, 2.1 и 2.2, 3.1 и 3.2,……,L.1 и L.2, ML.1 и ML.2 - одинаковые подполя, соответственно, первого, второго, третьего и других полей, формируемых за счет сдвигов групповых совокупностей единичных образов вдоль слоев при передаче от слоя к слою. Стрелками на фиг.2 а, б показаны направления продвижения совокупностей единичных образов и составляющих их сигнально-шумовых и шумовых групп.Figure 2 a, b shows an example of the logical structure of this recurrent neural network with shifts of group sets of individual images along the layers. Fig. 2a is a plan view of a network with a spiral scheme for promoting populations of single images along layers, and Fig. 2b is a section of a network in two layers along the first line, where d, q are the values of unit shifts of populations, respectively, in X, Y coordinates; 1.1 and 1.2, 2.1 and 2.2, 3.1 and 3.2, ......., L.1 and L.2, ML.1 and ML.2 are the same subfields, respectively, of the first, second, third and other fields formed due to group shifts sets of single images along the layers during transmission from layer to layer. The arrows in FIGS. 2 a, b show the directions of advancement of sets of single images and their signal-noise and noise groups.
На фиг.3 а, б приведен пример групповой совокупности единичных образов до передачи от одного слоя к другому (фиг.3а) и после передачи (фиг.3б), поясняющий формирование копий сигнально-шумовых групп единичных образов.Figure 3 a, b shows an example of a group of individual images before transmission from one layer to another (Fig. 3a) and after transmission (Fig. 3b), explaining the formation of copies of signal-noise groups of single images.
На фиг.4 показаны примеры сглаженных ориентированных на 90° в плоскости принимающего слоя эллиптических форм поперечных сечений расходящихся единичных образов, где 1 - нейрон передающего слоя, формирующий единичный образ, относящийся к сигнально-шумовой группе; 2 - нейрон передающего слоя, формирующий единичный образ, относящийся к шумовой или к копии сигнально-шумовой группы; 3, 4 - короткие синапсы, для которых функция ослабления равна единице; 5 - ось максимальной протяженности распределения плотности мощности в поперечном сечении расходящегося единичного образа, передаваемого от нейрона 1 в направлении нейрона 7; 7, 9 - нейроны принимающего слоя, в направлении которых, соответственно, от нейрона 1 и нейрона 2 передаются расходящиеся единичные образы; 8 - штрихпунктирная линия, разделяющая поля принимающего слоя на подполя; 10 - направления поворота оси максимальной протяженности распределения плотности мощности в поперечном сечении расходящегося единичного образа. Точками, вокруг которых осуществляются повороты, в рассматриваемом случае выступают нейроны 7 и 9, в направлении которых, соответственно, от нейрона 1 и нейрона 2 передаются расходящиеся единичные образы; 11 - линия, разделяющая строки полей принимающего слоя сети; d, q - величины единичных сдвигов совокупностей, соответственно, по координатам X, Y. На фиг.4 показаны два поля принимающего слоя сети. Верхнее поле относится к одной строке, а нижнее - к другой. Полагается, что продвижение групповых совокупностей единичных образов, с учетом фиг.2, вдоль верхней строки осуществляется слева направо, а нижней - справа налево.Figure 4 shows examples of smooth elliptical cross-sections oriented at 90 ° in the plane of the receiving layer of divergent unit images, where 1 is a neuron of the transmission layer, forming a single image related to the signal-noise group; 2 - neuron of the transmission layer, forming a single image related to the noise or to a copy of the signal-noise group; 3, 4 - short synapses for which the attenuation function is equal to one; 5 - axis of the maximum extent of the distribution of power density in the cross section of a divergent single image transmitted from
На фиг.5 приведен этот же пример, но с ориентацией эллиптических форм поперечных сечений расходящихся единичных образов на 180°. Под ориентацией этих форм понимается ориентация распределения плотности мощности (угол между осью у лабораторной системы координат и осью максимальной протяженности распределения плотности мощности). Обозначения, приведенные на фиг.5, такие же, как и на фиг.4.Figure 5 shows the same example, but with the orientation of the elliptical shapes of the cross sections of the diverging individual images by 180 °. The orientation of these forms is understood as the orientation of the power density distribution (the angle between the axis of the laboratory coordinate system and the axis of the maximum length of the power density distribution). The designations shown in figure 5 are the same as in figure 4.
Способ осуществляется следующим образом.The method is as follows.
Рассмотрим его на примере нейронной сети, структурная схема которой представлена на фиг.1.Consider it on the example of a neural network, a structural diagram of which is presented in figure 1.
В сеть в качестве сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, подают предварительно сформированный групповой сигнал, состоящий из полезного сигнала, просуммированного с первой частью предварительно сформированного шума, и из второй такой же части этого шума. В качестве шума используют маломощный по отношению к полезному сигналу шум в полосе частот этого сигнала. Например, в качестве такого шума может выступать маломощный шум с равномерной спектральной плотностью в этой полосе. Первая и вторая части этого шума формируются путем разветвления шума от его генератора.As a signal, decomposed into components in a basis matched to the input layer of the network, with each component converted into a sequence of single images with a repetition rate as a predetermined function of the amplitude of the component, a preformed group signal consisting of a useful signal summed with the first part of the pre-formed noise, and from the second part of the same noise. As noise, low-power noise with respect to the useful signal is used in the frequency band of this signal. For example, such noise can be low-power noise with a uniform spectral density in this band. The first and second parts of this noise are formed by branching the noise from its generator.
Такой групповой сигнал подают на первый вход первого слоя нейронной сети, который подразделяется на 1.1 и 1.2 входы. За каждым номером последовательности закрепляется в общем случае частотная и пространственная составляющая, соответствующая сигналу. Детали такого преобразования известны (Осипов В.Ю. Прямое и обратное преобразование сигналов в ассоциативных интеллектуальных машинах / Мехатроника, автоматизация, управление. №7, 2010, С.27-32).Such a group signal is fed to the first input of the first layer of the neural network, which is divided into 1.1 and 1.2 inputs. Each sequence number is assigned in the general case, the frequency and spatial component corresponding to the signal. The details of this conversion are known (Osipov V.Yu. Direct and inverse signal conversion in associative intelligent machines / Mechatronics, automation, control. No. 7, 2010, P.27-32).
После подачи в сеть на первый слой такого группового сигнала на выходе этого слоя имеют место последовательные групповые совокупности единичных образов, несущие всю информацию о входном сигнале и шуме. Каждая из этих групповых совокупностей состоит из сигнально-шумовой группы и шумовой группы единичных образов.After applying such a group signal to the network on the first layer at the output of this layer, there are consecutive group sets of single images that carry all the information about the input signal and noise. Each of these group aggregates consists of a signal-noise group and a noise group of single images.
После задержки в первом блоке единичных задержек 2 последовательные групповые совокупности единичных образов поступают на первый блок динамических синапсов 3. Каждый единичный образ из текущей совокупности подается одновременно в первом блоке динамических синапсов 3 на совокупность своих динамических синапсов, обеспечивающих связь каждого нейрона, породившего единичный образ в общем случае со всеми нейронами второго слоя нейронов 5. За счет такого разветвления формируются расходящиеся единичные образы.After a delay in the first unit of
Особенность динамических синапсов сети в следующем. При условии, что проводимость синапсов существенно меньше входной проводимости нейронов, амплитуда тока единичного образа на выходе каждого синапса равна амплитуде напряжения входного единичного образа (импульса), умноженной на вес (проводимость) wij(t) синапса. Веса wij(t) синапсов определяются через произведение их весовых коэффициентов kij(t) и функций ослабления β(rij(t),Gij(x1t,x2t)),A feature of dynamic network synapses is as follows. Provided that the conductivity of the synapses is significantly less than the input conductivity of the neurons, the amplitude of the current of the single image at the output of each synapse is equal to the amplitude of the voltage of the input single image (pulse) multiplied by the weight (conductivity) of the w ij (t) synapse. The weights w ij (t) of the synapses are determined through the product of their weight coefficients k ij (t) and attenuation functions β (r ij (t), G ij (x 1t , x 2t )),
wij(t)=kij(t)·β(rij(t),Gij(x1t,x2t)),w ij (t) = k ij (t) β (r ij (t), G ij (x 1t , x 2t )),
где rij(t) - удаленность связываемых через синапсы нейронов (расстояние между ними на плоскости X, Y). Полагается, что расстояние между взаимодействующими слоями нейронной сети стремится к нулю; Gij(x1t,x2t) - коэффициент направленности формы поперечного сечения расходящегося единичного образа в направлении от i-го к j-му нейрону в плоскости X, Y; x1t,x2t - текущие состояния, соответственно, первого и второго слоев на момент времени t.where r ij (t) is the remoteness of neurons connected through synapses (the distance between them on the X, Y plane). It is believed that the distance between the interacting layers of the neural network tends to zero; G ij (x 1t , x 2t ) is the directivity coefficient of the cross-sectional shape of the divergent single image in the direction from the i-th to the j-th neuron in the X, Y plane; x 1t , x 2t - current state, respectively, of the first and second layers at time t.
Весовые коэффициенты, kij(t), изменяются в зависимости от воздействий на синапсы единичных образов и выступают в качестве элементов долговременной памяти сети. При прохождении единичных образов через синапсы они снимают с них информацию о предыдущих воздействиях и оставляют информацию о своем появлении через изменения весовых коэффициентов. Значения весовых коэффициентов kij(t) можно рассчитать по формулам: kij(t)=1-ехр(-γ·gij(t)), где γ - постоянный положительный коэффициент; gij(t) - число запомненных на соответствующем синапсе единичных образов, gij(t)=gij(t-1)+bij(t); gij(t-1) - число единичных образов, запомненных на синапсе на предыдущем временном такте; bij(t) - эффект от единичного взаимодействия нейронов на t-й момент времени. В частном случае, если i-й возбужденный нейрон передающего слоя (совместно с другими нейронами) возбуждает j-й нейрон принимающего слоя, то
Каждая из связей (синапсов) имеет свое значение функции ослабления β(rij(t),Gij(x1t,x2t)) единичных образов, зависящее от удаленности rij(t) связываемых через синапсы нейронов и коэффициента направленности формы поперечного сечения расходящегося единичного образа в направлении от i-го к j-му нейрону в плоскости X, Y.Each of the connections (synapses) has its own value of the attenuation function β (r ij (t), G ij (x 1t , x 2t )) of single images, depending on the distance r ij (t) of the neurons connected through the synapses and the directivity of the cross-sectional shape divergent single image in the direction from the i-th to the j-th neuron in the X, Y plane.
Функция β(rij(t),Gij(x1t,x2t,)) может определяться как:The function β (r ij (t), G ij (x 1t , x 2t ,)) can be defined as:
где h - степень корня, чем она выше, тем шире ассоциативное пространственное взаимодействие в сети; ϑ - положительный коэффициент; φij - угол, характеризующий направление на нейрон принимающего слоя от нейрона этого слоя, в направлении которого передается расходящийся единичный образ; ψ(x1t,x2t) - угол поворота оси максимальной протяженности распределения плотности мощности в поперечном сечении расходящегося единичного образа (угол поворота расходящегося единичного образа вокруг направления его передачи). Виды предварительно заданных форм поперечных сечений расходящихся единичных образов в частном случае могут быть закреплены за номерами нейронов, формирующих эти единичные образы. В этом случае значение коэффициента Gij(φij+ψ(x1t,x2t)) направленности формы поперечного сечения расходящегося единичного образа зависит также от номера нейрона, формирующего единичный образ. Речь в рассматриваемом случае идет о предельно возможных формах поперечных сечений единичных образов, определяемых при условии kij(t)=1.where h is the degree of the root, the higher it is, the wider the associative spatial interaction in the network; ϑ is a positive coefficient; φ ij is the angle characterizing the direction of the receiving layer to the neuron from the neuron of this layer, in the direction of which a divergent single image is transmitted; ψ (x 1t , x 2t ) is the angle of rotation of the axis of the maximum extent of the power density distribution in the cross section of the diverging single image (angle of rotation of the diverging single image around the direction of its transmission). Types of predefined cross-sectional shapes of divergent unit images in a particular case can be assigned to the numbers of neurons that form these unit images. In this case, the value of the coefficient G ij (φ ij + ψ (x 1t , x 2t )) of the directivity of the cross-sectional shape of the diverging unit image also depends on the number of the neuron forming the unit image. In this case, we are talking about the maximum possible forms of cross sections of individual images, determined under the condition k ij (t) = 1.
Входящую в (1) величину rij в единицах нейронов с учетом возможных пространственных сдвигов совокупностей единичных образов вдоль слоев сети можно выразить в виде:Included in (1), the value of r ij in units of neurons, taking into account the possible spatial shifts of the aggregates of individual images along the network layers, can be expressed as:
nij=±0, 1,…, L-1; mij=±0, 1,…, M-1;n ij = ± 0, 1, ..., L-1; m ij = ± 0, 1, ..., M-1;
Δxij, Δyij - проекции связи j-го нейрона с i-м на оси X, Y без учета пространственных сдвигов; d, q - величины единичных сдвигов, соответственно, по координатам X, Y; L, М - число, соответственно, столбцов и строк, на которые разбивается каждый слой нейронной сети за счет сдвигов.Δx ij , Δy ij - the projection of the connection of the j-th neuron with the i-th on the X, Y axis without taking into account spatial shifts; d, q are the values of unit shifts, respectively, in the coordinates X, Y; L, M - the number, respectively, of columns and rows into which each layer of the neural network is divided due to shifts.
Изменяя Δxij, Δyij на соответствующие значения nij·d и mij·q можно менять rij и направление потока совокупностей единичных образов вдоль слоев сети.By changing Δx ij , Δy ij by the corresponding values of n ij · d and m ij · q, we can change r ij and the flow direction of the sets of single images along the network layers.
Такие сдвиги совокупностей единичных образов вдоль слоев реализуются через управление динамическими синапсами с блока управления синапсами 7.Such shifts of the aggregates of single images along the layers are realized through the control of dynamic synapses from the
Для принятия решения в блоке управления синапсами о сдвиге очередной совокупности единичных образов, в нем сначала анализируются состояния первого и второго слоя. В случае, когда на выходе первого или второго слоя имеет место совокупность единичных образов, которую нельзя передать на другой слой по коротким связям из-за нахождения соответствующих нейронов этого слоя в состояниях невосприимчивости, осуществляют сдвиг этой совокупности. В случае, когда нет препятствий для передачи совокупности единичных образов по коротким связям, сдвиг ее не осуществляют.To make a decision in the synapse control unit about the shift of the next set of single images, it first analyzes the state of the first and second layer. In the case when at the output of the first or second layer there is a collection of single images that cannot be transferred to another layer by short links due to the presence of the corresponding neurons of this layer in immunity states, this population is shifted. In the case where there are no obstacles to transmitting the totality of single images through short connections, it does not shift.
Угол φij, от которого зависит Gij(φij+ψ(x1t,x2t)), характеризующий направление на нейрон принимающего слоя от нейрона этого слоя, в направлении которого передается расходящийся единичный образ, равен φij=arctg(Δxij/Δyij), где Δxij, Δyij - расстояния между соответствующими нейронами в плоскости X, У принимающего слоя.The angle φ ij on which G ij depends (φ ij + ψ (x 1t , x 2t )), which characterizes the direction of the receiving layer to the neuron from the neuron of this layer, in the direction of which the divergent unit image is transmitted, is equal to φ ij = arctg (Δx ij / Δy ij ), where Δx ij , Δy ij are the distances between the corresponding neurons in the X, Y plane of the receiving layer.
Для определения Gij(φij+ψ(x1t,x2t)) можно предварительно задаться видами форм поперечных сечений расходящихся единичных образов. Возможны круговые, эллиптические и другие формы, без смещения и со смещением энергетических максимумов. Пусть для примера одной из них будет эллиптическая форма, изначально ориентированная по оси Y. Для этой формы каждому значению угла χ от оси Y соответствует свое значение коэффициента направленности G(χ). Эти данные по G(χ) могут выступать в качестве исходных для определения значений коэффициента Gij(φij+ψ(x1t,x2t)) в (1). Определение ψ(x1t,x2t) с учетом текущих состояний слоев сети осуществимо путем поиска угла, при котором на заданном интервале времени может быть достигнут максимум числа ассоциативно вызываемых из долговременной памяти сети единичных образов. С учетом инерционности этот угол можно определить путем варьирования значениями угла поворота и оценки числа ассоциативно вызываемых из долговременной памяти единичных образов. Поворот оси максимальной протяженности распределения плотности мощности в поперечном сечении расходящегося единичного образа на угол ψ(x1t,x2t) равносилен повороту этого образа на этот угол вокруг направления передачи. В частном случае эти повороты можно осуществлять на предварительно задаваемые углы с учетом текущих состояний слоев, номеров возбужденных нейронов.To determine G ij (φ ij + ψ (x 1t , x 2t )), one can preliminarily specify the types of cross-sectional shapes of divergent unit images. Circular, elliptical and other shapes are possible, without bias and with bias of energy maxima. For example, let one of them be an elliptical shape, initially oriented along the Y axis. For this form, each value of the angle χ from the Y axis corresponds to its own directivity coefficient G (χ). This data on G (χ) can serve as the source for determining the values of the coefficient G ij (φ ij + ψ (x 1t , x 2t )) in (1). The determination of ψ (x 1t , x 2t ) taking into account the current states of the network layers is feasible by searching for the angle at which at a given time interval the maximum number of unit images associatively called from the long-term network memory can be reached. Taking into account the inertia, this angle can be determined by varying the values of the rotation angle and estimating the number of unit images associatively called from the long-term memory. The rotation of the axis of the maximum extent of the power density distribution in the cross section of the diverging unit image by the angle ψ (x 1t , x 2t ) is equivalent to the rotation of this image by this angle around the transmission direction. In the particular case, these rotations can be carried out at predetermined angles, taking into account the current state of the layers, numbers of excited neurons.
В общем случае смещенные групповые совокупности с измененными формами поперечных сечений расходящихся единичных образов и с поворотами этих образов вокруг направлений их передачи с выхода первого блока динамических синапсов 3 поступают на вход второго слоя нейронов 5.In the general case, displaced group aggregates with altered cross-sectional shapes of diverging single images and with rotations of these images around the directions of their transmission from the output of the first block of
Все единичные образы, поступившие на один и тот же нейрон по различным синапсам, суммируются. При превышении этой суммы заданного порога возбуждения нейрона он возбуждается и на его выходе формируется единичный образ. Затем имеемая сумма обнуляется, а сам нейрон затем переходит в состояние невосприимчивости входных сигналов. В нем он находится заданное время, одинаковое для всех нейронов сети, которое больше суммарной задержки единичных образов в блоках 1, 2, 3, 5, 6, 4, входящих в двухслойный многопучковый контур нейронной сети.All single images arriving at the same neuron at different synapses are summarized. When this sum is exceeded a predetermined threshold of neuron excitation, it is excited and a single image is formed at its output. Then the available amount is reset, and the neuron itself then goes into the immunity state of the input signals. It contains the specified time, the same for all neurons of the network, which is greater than the total delay of single images in
Заметим, что мощность единичных образов на входе нейронов тем выше, чем меньше ее потери на синапсах. Мощность, рассеиваемая на каждом синапсе, определяется квадратом тока, протекающего через него, умноженного на сопротивление синапса, равное обратной величине его проводимости - весу синапса.Note that the power of single images at the input of neurons is higher, the less its loss at the synapses. The power dissipated at each synapse is determined by the square of the current flowing through it, multiplied by the resistance of the synapse, equal to the reciprocal of its conductivity - the weight of the synapse.
Последовательные совокупности единичных образов с выхода второго слоя 5, после задержки в блоке 6, поступают на второй блок динамических синапсов 4. В блоке 4 они аналогичным образом, как и в блоке 3, обрабатываются и, в общем случае, с измененными формами поперечных сечений расходящихся единичных образов и с поворотами этих образов вокруг направлений их передачи поступают на второй вход первого слоя нейронов 1.Successive sets of single images from the output of the
С учетом этого поступающие на первый слой 1 нейронов прямые и обратные совокупности единичных образов в нем корректно связываются, распознаются и порождают на его выходе новые совокупности единичных образов, несущие в себе информацию, как о текущих, так и ранее запомненных сетью сигналах, связанных с первыми. При этом за счет соответствующих сдвигов совокупностей единичных образов вдоль слоев исключается наложение обратных результатов распознавания на прямые совокупности. За счет изменения форм поперечных сечений расходящихся единичных образов и поворотов этих образов вокруг направлений их передачи достигается возможность оперативного изменения уровней связи между отдельными единичными образами, их группами и совокупностями в сети.With this in mind, the direct and inverse sets of unit images arriving at the first layer of 1 neurons in it are correctly connected, recognized, and generate at its output new sets of unit images that carry information about both the current and previously memorized signals associated with the first . At the same time, due to the corresponding shifts of the sets of single images along the layers, the overlapping of inverse recognition results on direct sets is excluded. By changing the shapes of the cross-sections of divergent single images and the rotations of these images around the directions of their transmission, it is possible to quickly change communication levels between individual single images, their groups and groups in the network.
За счет приоритетности коротких связей в нейронной сети между входом и выходом сети легко устанавливается однозначное соответствие между составляющими входных и выходных сигналов.Due to the priority of short connections in a neural network, an unambiguous correspondence between the components of the input and output signals is easily established between the input and output of the network.
С учетом этого соответствия по номерам нейронов, формирующих последовательности единичных образов на выходе устройства, определяют частотные и пространственные характеристики составляющих исходного сигнала. По частотам следования и относительным задержкам единичных образов, соответственно, устанавливают амплитуды и фазы составляющих исходного сигнала. Затем воспроизводят составляющие исходных сигналов и путем их сложения восстанавливают исходные, например речевые и другие сигналы. Для определения амплитуд составляющих исходного сигнала определяют текущее число единичных образов, попадающих в предварительно заданный интервал времени. Для воспроизведения составляющих исходных сигналов применим, например их цифровой синтез по известным параметрам.Given this correspondence, the frequency and spatial characteristics of the components of the original signal are determined by the numbers of neurons that form the sequence of single images at the output of the device. According to the repetition frequencies and relative delays of individual images, respectively, the amplitudes and phases of the components of the original signal are set. Then reproduce the components of the original signals and by adding them restore the original, for example, speech and other signals. To determine the amplitudes of the components of the source signal, the current number of unit images falling into a predetermined time interval is determined. To reproduce the components of the source signals, we apply, for example, their digital synthesis according to known parameters.
За счет цикличности обмена информацией первого слоя со вторым, все пространство слоев (фиг.2 а, б) разбивается на ML полей. При этом каждое поле дополнительно подразделяется на два одинаковых подполя. Согласно изобретению полезный сигнал, просуммированный с первой частью предварительно сформированного шума, после разложения на составляющие и их преобразования в последовательности единичных образов, подается на первое подполе 1.1 первого поля первого слоя (фиг.2а). На второе подполе 1.2 первого поля первого слоя подается после разложения на составляющие и их преобразования в последовательности единичных образов вторая часть предварительно сформированного шума, идентичная первой части. Совокупности единичных образов продвигаются по сети в указанных направлениях, ассоциируются друг с другом. При этом входные последовательные совокупности единичных образов преобразуются в параллельные, а снимаются с сети после ассоциаций снова как последовательные. Основным выходом сети согласно предлагаемому способу, в соответствии с фиг.2 а выступает выход ML.2. Выход ML.1 является вспомогательным.Due to the cyclical exchange of information of the first layer with the second, the entire space of the layers (Fig.2 a, b) is divided into ML fields. In addition, each field is further subdivided into two identical subfields. According to the invention, a useful signal, summed with the first part of the pre-formed noise, after decomposition into components and their transformation into a sequence of single images, is fed to the first subfield 1.1 of the first field of the first layer (Fig.2a). To the second subfield 1.2 of the first field of the first layer, after decomposition into components and their transformation into a sequence of single images, the second part of the previously generated noise is identical to the first part. Sets of single images move along the network in the indicated directions and are associated with each other. In this case, the input sequential sets of single images are converted to parallel, and removed from the network after associations again as sequential. The main output of the network according to the proposed method, in accordance with figure 2 a stands output ML.2. The output of ML.1 is auxiliary.
Согласно фиг.2 а, б имеет место схема продвижения групповых совокупностей единичных образов в виде спирали со встречным их продвижением.According to figure 2 a, b, there is a scheme for promoting group sets of single images in the form of a spiral with their counter advancement.
За счет того, что на первый слой сети при наличии и отсутствии полезного сигнала подают параллельно и непрерывно две одинаковые части предварительно сформированного шума, в виде последовательных групповых совокупностей единичных образов, между одинаковыми сигнально-шумовыми и шумовыми составляющими в сети устанавливаются и поддерживаются непрерывно прочные ассоциативные связи через соответствующие синапсы. Для этих синапсов значения весовых коэффициентов kij(t) со временем стремятся к единице. При условии, что значения функций ослабления β(rij(t),Gij(x1t,x2t)) для этих синапсов не близки к нулю, через эти синапсы при передаче от слоя к слою групповых совокупностей единичных образов осуществляется копирование из сигнально-шумовых групп единичных образов, относящихся к полезному сигналу, в соответствующие этим группам шумовые группы. В случае, когда за счет изменения форм поперечных сечений расходящихся единичных образов и (или) поворотов этих образов вокруг направлений их передачи с учетом текущих состояний слоев функции ослабления β(rij(t),Gij(x1t,x2t)) стремятся к нулю, такое копирование становится невозможным. Когда оно уже произошло, то копии сигнально-шумовых групп при соответствующих β(rij(t),Gij(x1t,x2t)), близких к нулю, «отрываются» от оригиналов и обрабатываются независимо от них с учетом обратных результатов распознавания этих копий и воздействий на сеть второй части маломощного шума. В этом случае маломощный шум лишь стимулирует функционирование сети и порождает новые условия обработки этих копий. Исключается подавление обратных результатов распознавания копий потоком входных сигналов. Увеличивается глубина обработки информации в нейронной сети, так как увеличивается число циклов обработки обратных результатов распознавания.Due to the fact that, in the presence and absence of a useful signal, two identical parts of pre-formed noise are fed in parallel and continuously, in the form of consecutive group sets of unit images, continuously strong associative components are established and supported between the same signal-noise and noise components in the network communication through the corresponding synapses. For these synapses, the values of the weight coefficients k ij (t) tend to unity with time. Provided that the values of the attenuation functions β (r ij (t), G ij (x 1t , x 2t )) for these synapses are not close to zero, through these synapses, when transmitting from the layer to the layer of group sets of single images, copying from the signal - noise groups of single images related to the useful signal into the noise groups corresponding to these groups. In the case when, due to changes in the cross-sectional shapes of diverging unit images and (or) rotations of these images around the directions of their transmission, taking into account the current state of the layers, the attenuation functions β (r ij (t), G ij (x 1t , x 2t )) tend to zero, such copying becomes impossible. When it has already happened, copies of the signal-noise groups with the corresponding β (r ij (t), G ij (x 1t , x 2t )) close to zero are “detached” from the originals and processed independently of them, taking into account the inverse results recognition of these copies and network impacts of the second part of low-power noise. In this case, low-power noise only stimulates the functioning of the network and creates new conditions for processing these copies. The suppression of the reverse results of recognition of copies by the stream of input signals is excluded. The depth of information processing in the neural network increases, as the number of cycles of processing the inverse recognition results increases.
На фиг.3 а, б приведен пример, поясняющий копирование сигнально-шумовых групп в шумовую группу единичных образов. Учитывая, что мощность обрабатываемого шума существенно меньше мощности полезного сигнала, он не оказывает существенного влияния на полезный сигнал.Figure 3 a, b shows an example explaining the copying of signal-noise groups into the noise group of single images. Given that the power of the processed noise is significantly less than the power of the useful signal, it does not significantly affect the useful signal.
Из фиг.4, 5 видно, что за счет изменения форм поперечных сечений расходящихся единичных образов и за счет поворотов этих образов вокруг направлений их передачи с учетом текущих состояний слоев можно существенно влиять на взаимосвязь обрабатываемых в сети полезных сигналов и их копий. В соответствии с фиг.4 поперечные сечения расходящихся единичных образов, относящихся к сигнально-шумовым группам, покрывают нейроны, ответственные за формирование копий сигнально-шумовых групп. При этих условиях такие копии могут успешно формироваться. Для «отрыва» копий сигнально-шумовых групп от оригиналов достаточно осуществить дополнительный поворот на 90° по часовой стрелке осей максимальной протяженности распределения плотности мощности в поперечных сечениях расходящихся единичных образов. Результат такого поворота показан на фиг.5. Из фиг.5 видно, что в отличие от фиг.4, поперечное сечение расходящегося единичного образа, формируемого нейроном 1, не покрывает нейрон 9. В этом случае нейрон 1 не может возбудить нейрон 9. Зато поперечные сечения расходящихся единичных образов хорошо покрывают нейроны других подполей второй строки, ответственных за формирование одних и тех же типов групп единичных образов. В результате обеспечивается независимая полноценная обработка в сети оригиналов и копий сигнально-шумовых групп.It can be seen from Figs. 4 and 5 that by changing the shapes of the cross sections of diverging single images and by turning these images around the directions of their transmission, taking into account the current state of the layers, it is possible to significantly affect the relationship of the useful signals processed in the network and their copies. In accordance with figure 4, the cross sections of divergent single images related to signal-noise groups, cover the neurons responsible for the formation of copies of the signal-noise groups. Under these conditions, such copies can be successfully formed. To “detach” copies of signal-noise groups from the originals, it is enough to carry out an additional 90 ° clockwise rotation of the axes of the maximum length of the power density distribution in the cross sections of diverging single images. The result of this rotation is shown in FIG. Figure 5 shows that, unlike figure 4, the cross section of the divergent single image formed by
Если эллиптическую форму поперечных сечений расходящихся единичных образов преобразовать на заданное время, например, в круговую, то ситуация по взаимосвязи копий и оригиналов также существенно изменится.If the elliptical shape of the cross sections of divergent single images is transformed for a given time, for example, into a circular one, then the situation regarding the relationship of copies and originals will also change significantly.
Формирование копий сигнально-шумовых групп и обработка их в сети с учетом отмеченных условий позволяет существенно расширить функциональные возможности по интеллектуальной обработке информации в нейронной сети. Повышается глубина и интеллектуальность обработки информации. Предоставляется возможность временно отрывать «мысли» сети от воспринимаемого потока входных сигналов, а также генерировать новые осознанные сигналы с учетом влияния маломощного шума.The formation of copies of signal-noise groups and their processing in the network, taking into account the noted conditions, can significantly expand the functionality for the intellectual processing of information in a neural network. Increases the depth and intelligence of information processing. The opportunity is provided to temporarily tear off the "thoughts" of the network from the perceived stream of input signals, as well as generate new conscious signals, taking into account the influence of low-power noise.
Для доказательства преимущества предлагаемого способа по сравнению с известными решениями была разработана реализующая этот способ программная модель двухслойной рекуррентной нейронной сети с управляемыми синапсами со структурой, приведенной на фиг.1. Число нейронов в каждом слое составляло 2100 единиц. За счет сдвигов групповых совокупностей единичных образов вдоль слоев (при передаче от слоя к слою) слои разбивались на две строки по 25 полей размером 6×7 нейронов. При этом каждое поле делилось на два подполя размером 3×7. Моделировалась обработка такой сетью групповых сигналов согласно предлагаемому способу. Установлено, что за счет предварительно формируемого шума, подаваемого параллельно на первое и второе подполя первого поля первого слоя сети, можно обеспечить однозначное соответствие между одинаковыми сигнально-шумовыми и шумовыми составляющими и успешно формировать копии сигнально-шумовых групп при обработке рассматриваемых групповых сигналов. За счет изменения форм поперечных сечений расходящихся единичных образов и поворотов этих образов вокруг направлений их передачи можно существенно влиять на взаимосвязь копий сигнально-шумовых групп и их оригиналов. За счет формирования сигнально-шумовых копий и «отрыва» их от оригиналов удается исключить подавление обратных результатов распознавания этих копий входным потоком сигналов. Это повышает глубину и расширяет функциональные возможности интеллектуальной обработки информации в нейронной сети.To prove the advantages of the proposed method in comparison with the known solutions, a software model was developed that implements this method of a two-layer recurrent neural network with controlled synapses with the structure shown in Fig. 1. The number of neurons in each layer was 2100 units. Due to shifts of group sets of single images along the layers (during transmission from layer to layer), the layers were divided into two rows of 25 fields of 6 × 7 neurons each. Moreover, each field was divided into two subfields of
Способ интеллектуальной обработки информации в нейронной сети может быть реализован с использованием известной элементной базы. В качестве нейронов слоев и элементов единичных задержек в блоках единичных задержек нейронной сети, реализующей способ применимы ждущие мультивибраторы. При этом ждущие мультивибраторы в блоках единичных задержек следует запускать не по переднему, а заднему фронту входного импульса. Блоки динамических синапсов могут быть реализованы с использованием мемристоров (резисторов с памятью) и обычных управляемых аттенюаторов. Блок управления синапсами реализуем специализированными процессорами, программируемыми интегральными схемами, функционирующими в соответствии с рассмотренными выше правилами. Способ можно реализовать также путем эмулирования двухслойной рекуррентной нейронной сети с управляемыми синапсами на современных вычислительных машинах.A method of intelligent information processing in a neural network can be implemented using a well-known element base. As the neurons of the layers and elements of unit delays in units of unit delays of a neural network that implements the method, standby multivibrators are applicable. In this case, the waiting multivibrators in the unit of single delays should be started not on the leading, but on the trailing edge of the input pulse. Dynamic synapse blocks can be implemented using memristors (memory resistors) and conventional controlled attenuators. The synapses control unit is implemented by specialized processors, programmable integrated circuits, operating in accordance with the rules discussed above. The method can also be implemented by emulating a two-layer recurrent neural network with controlled synapses on modern computers.
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2013101736/08A RU2514931C1 (en) | 2013-01-14 | 2013-01-14 | Method for intelligent information processing in neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2013101736/08A RU2514931C1 (en) | 2013-01-14 | 2013-01-14 | Method for intelligent information processing in neural network |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2514931C1 true RU2514931C1 (en) | 2014-05-10 |
Family
ID=50629586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2013101736/08A RU2514931C1 (en) | 2013-01-14 | 2013-01-14 | Method for intelligent information processing in neural network |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2514931C1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2737227C1 (en) * | 2020-04-20 | 2020-11-26 | Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии наук" | Method for intelligent multi-level information processing in neural network |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2006067C1 (en) * | 1991-05-20 | 1994-01-15 | Каримов Александр Рашатович | Method of processing information in neuron networks |
WO2004048513A2 (en) * | 2002-05-03 | 2004-06-10 | University Of Southern California | Artificial neural systems with dynamic synapses |
RU2413304C1 (en) * | 2009-11-02 | 2011-02-27 | Василий Юрьевич Осипов | Method and device of intellectual processing of information in neural network |
RU2427914C1 (en) * | 2010-09-16 | 2011-08-27 | Василий Юрьевич Осипов | Method of intellectual information processing in neuron network |
WO2012015450A1 (en) * | 2010-07-30 | 2012-02-02 | Hewlett-Packard Development Company, L.P. | Systems and methods for modeling binary synapses |
RU2446463C1 (en) * | 2011-02-08 | 2012-03-27 | Василий Юрьевич Осипов | Method and apparatus for intelligent information processing in neural network |
-
2013
- 2013-01-14 RU RU2013101736/08A patent/RU2514931C1/en not_active IP Right Cessation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2006067C1 (en) * | 1991-05-20 | 1994-01-15 | Каримов Александр Рашатович | Method of processing information in neuron networks |
WO2004048513A2 (en) * | 2002-05-03 | 2004-06-10 | University Of Southern California | Artificial neural systems with dynamic synapses |
RU2413304C1 (en) * | 2009-11-02 | 2011-02-27 | Василий Юрьевич Осипов | Method and device of intellectual processing of information in neural network |
WO2012015450A1 (en) * | 2010-07-30 | 2012-02-02 | Hewlett-Packard Development Company, L.P. | Systems and methods for modeling binary synapses |
RU2427914C1 (en) * | 2010-09-16 | 2011-08-27 | Василий Юрьевич Осипов | Method of intellectual information processing in neuron network |
RU2446463C1 (en) * | 2011-02-08 | 2012-03-27 | Василий Юрьевич Осипов | Method and apparatus for intelligent information processing in neural network |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2737227C1 (en) * | 2020-04-20 | 2020-11-26 | Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии наук" | Method for intelligent multi-level information processing in neural network |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Tdsnn: From deep neural networks to deep spike neural networks with temporal-coding | |
WO2020099680A2 (en) | Resilient neural network | |
Marhon et al. | Recurrent neural networks | |
Kuremoto et al. | Time series forecasting using restricted Boltzmann machine | |
Osipov et al. | Space–time signal binding in recurrent neural networks with controlled elements | |
RU2413304C1 (en) | Method and device of intellectual processing of information in neural network | |
RU2446463C1 (en) | Method and apparatus for intelligent information processing in neural network | |
RU2427914C1 (en) | Method of intellectual information processing in neuron network | |
RU2514931C1 (en) | Method for intelligent information processing in neural network | |
US5485548A (en) | Signal processing apparatus using a hierarchical neural network | |
Wu et al. | Development of fpga toolbox for implementation of spiking neural networks | |
RU2483356C1 (en) | Method for intelligent information processing in neural network | |
Rice et al. | Scaling analysis of a neocortex inspired cognitive model on the Cray XD1 | |
RU2502133C1 (en) | Method for intelligent information processing in neural network | |
RU2553074C1 (en) | Method for intelligent information processing in neural network | |
RU2737227C1 (en) | Method for intelligent multi-level information processing in neural network | |
Mehrabi et al. | Efficient Implementation of a Multi-Layer Gradient-Free Online-Trainable Spiking Neural Network on FPGA | |
Kumaraswamy et al. | Multi-source Subnetwork-level Transfer in CNNs Using Filter-Trees | |
Parker et al. | Introduction to neuromorphic circuits | |
JP2544489B2 (en) | Learning method of neural network model | |
JP2744313B2 (en) | Network configuration data processing device | |
Ehkan et al. | Artificial neural network for character recognition on embedded-based FPGA | |
Zhou et al. | Exponential synchronization of memristive Cohen-Grossberg neural networks with hybrid time delays | |
Maren | FEEDFORWARD NEURAL | |
JPH05307624A (en) | Signal processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20160115 |