RU2724784C2 - Способ управления реакцией нейропроцессора на входные сигналы - Google Patents

Способ управления реакцией нейропроцессора на входные сигналы Download PDF

Info

Publication number
RU2724784C2
RU2724784C2 RU2018107531A RU2018107531A RU2724784C2 RU 2724784 C2 RU2724784 C2 RU 2724784C2 RU 2018107531 A RU2018107531 A RU 2018107531A RU 2018107531 A RU2018107531 A RU 2018107531A RU 2724784 C2 RU2724784 C2 RU 2724784C2
Authority
RU
Russia
Prior art keywords
values
formula
residual
point
nmin
Prior art date
Application number
RU2018107531A
Other languages
English (en)
Other versions
RU2018107531A3 (ru
RU2018107531A (ru
Inventor
Николай Леонидович Дембицкий
Original Assignee
Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский авиационный институт (национальный исследовательский университет)"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский авиационный институт (национальный исследовательский университет)" filed Critical Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский авиационный институт (национальный исследовательский университет)"
Priority to RU2018107531A priority Critical patent/RU2724784C2/ru
Publication of RU2018107531A publication Critical patent/RU2018107531A/ru
Publication of RU2018107531A3 publication Critical patent/RU2018107531A3/ru
Application granted granted Critical
Publication of RU2724784C2 publication Critical patent/RU2724784C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

Изобретение относится к нейрокибернетике и может быть использовано в качестве функциональной единицы различных искусственных нейронных сетей. Техническим результатом является устранение проблемы нереализуемости разделения нелинейно неразделимых классов известными моделями нейронов. Указанный результат достигается за счет того, что с учетом нелинейных свойств поверхности разделения классов объектов в N-мерном континуальном пространстве нейропроцессор (НП) выполняет линейную аппроксимацию функций в подобластях области Ω, а параметры нейропроцессора настраиваются путем обучения на основе экспериментальных или теоретических данных о поведении нейропроцессора в заданных точках N-мерного континуального пространства. При обучении нейропроцессора на обучающий вход поочередно подают эталонные сигналы d, d,…, d, а на сигнальные входы НП подают соответствующие им стимулы х, х,…, x. Эталонные сигналы выбирают так, чтобы в каждой подобласти Ω∈Ω находилась хотя бы одна обучающая выборка. При повторении эпох выполняется минимизация погрешностей функции в вершинах N-мерного куба, ограничивающего каждую подобласть Ω. 4 ил.

Description

Известна техническая и математическая модель искусственного нейрона [1-4]. Первая модель предложена в работе [1]. Позже [2], на основе таких моделей нейронов, реализованы первые искусственные нейронные сети (персептроны) для решения задач распознавания изображений букв. Подобные искусственные нейроны используются в качестве функциональной единицы всех современных искусственных нейронных сетей [3, 4] и представляют собой устройства с несколькими входами и одним выходом. Входные сигналы, поступая на входы, перемножаются с соответствующими весовыми коэффициентами, суммируются и преобразуются функцией передачи, в качестве которой может использоваться пороговая, линейная, сигмоидальная, гиперболическая и др. [3, 4]. Такая модель нейрона позволяет, хотя и достаточно грубо, воспроизводить некоторые из функций естественного нейрона. Объединяя искусственные нейроны в слои и сети, в совокупности с алгоритмами обучения, можно добиться приемлемого решения нейронной сетью сложных задач, не поддающихся адекватной формализации [3, 4].
Известна модель простейшего персептронного нейрона с двумя входами, парой весовых коэффициентов, сумматором и активационным блоком [3, 4]. Достоинством такой модели является возможность реализации ею большинства логических булевых функций. Так, для двух переменных, согласно [5], существует набор из 16 функций алгебры логики.
Наиболее близкой по техническим возможностям к предлагаемой модели нейрона является модель простейшего персептронного нейрона с двумя входами, парой весовых коэффициентов, сумматором и активационным блоком [6], устраняющая проблемы нереализуемости логической функции неравнозначности. Модель нейрона, реализующая логическую функцию неравнозначности, содержащая два входа, сигналы x1 и x2, принимающие значения 0 или 1, с которых перемножаются с соответствующими весовыми коэффициентами ω1 и ω2, где ω1=1, а ω2=-1,и поступают на сумматор, причем s∈(-l, 0, 1), где s - сумма с выхода сумматора, s=x1ω1+x2ω2, отличающаяся тем, что сумма s преобразуется в активационном блоке модульной функцией активации вида
Figure 00000001
а затем пороговой функцией
Figure 00000002
где Р - величина порога, Р=0,5, f(x) - функция на выходе нейрона. Данная модель устраняет проблемы нереализуемости логической функции неравнозначности, оставляя нерешенным вопрос разделения линейно неразделимых классов объектов. Однако она, как и все перечисленные выше модели выполняет функцию линейного разделения классов с помощью гиперплоскости, построенной в многомерном континуальном пространстве.
Предлагаемый способ управления реакцией нейропроцессора (НП) на входные сигналы направлен на устранение рассмотренного недостатка (проблемы разделения линейно неразделимых классов объектов) известных моделей нейрона. Аппроксимация многомерных функций позволяет учитывать нелинейные свойства поверхности разделения классов объектов в N-мерном континуальном пространстве. На основе экспериментальных или теоретических данные о поведении НП в заданных точках многомерного континуального пространства его параметры настраиваются путем обучения на исчисление реакции во всей области поиска решений.
В патентуемом способе управления реакцией нейронного процессора (НП) на входные сигналы (стимулы) x1, x2,…, xN в каждую ячейку запоминающего устройства (ЗУ) НП записывают кортеж значений параметров
Figure 00000003
где F - фиксированное значение реакции НП на комбинацию значений стимулов
Figure 00000004
комбинации значений стимулов в ЗУ получают перебором значений каждого воздействия xi из возрастающей последовательности фиксированных значений
Figure 00000005
где K - количество фиксированных значений стимулов xi, из соседних значений последовательности Xi в ЗУ образуют K-1 интервалов по каждому стимулу, перебором интервалов по всем переменным x1, x2, …, xN образуют (K-1)N подобластей Ω* в области Ω определения реакции НП F(x1, x2, …, хN), на N входов НП подают стимулы
Figure 00000006
определяют принадлежность поданных сигналов некоторой подобласти Ω*, ограниченной интервалами
Figure 00000007
где x1min, x1max, x2min, x2max, …, xNmin, xNmax - ближайшие значения стимулов из последовательностей Xi, i изменяется от 1 до N, в интервале (x1min, x1max) вычисляют 2N-1 интерполирующих значений реакции НП (ИЗРН) F по формуле
Figure 00000008
где i - номер промежуточного ИЗРН F на первом шаге вычисления,
Figure 00000009
- крайние значения стимулов, ограничивающие выбранную подобласть Ω* в N-мерной области определения реакции НП,
Figure 00000010
на j-м шаге в интервале [xjmin, Xjmax) вычисляют 2N-j ИЗРН F по формуле
Figure 00000011
где i - номер промежуточного ИЗРН на j-м шаге (j изменяется от 2 до N), на N-м шаге в интервале [хNmin, xNmax) при j=N по формуле (3) вычисляют искомое значение реакции НП
Figure 00000012
на сигналы
Figure 00000013
для настройки НП в каждую ячейку ЗУ записывают кортежи значений параметров
Figure 00000014
где
Figure 00000015
- комбинация заданных значений стимулов, получаемая для каждого стимула xi из возрастающей последовательности
Figure 00000016
- начальное значение реакции НП при заданных значениях стимулов, формируют обучающие кортежи
Figure 00000017
состоящих из эталонного сигнала d* и соответствующих ему стимулов
Figure 00000018
на обучающий вход НП поочередно подают эталонные сигналы d1, d2, … dS, образующие обучающую выборку (эпоху), а на сигнальные входы НП подают соответствующие каждому эталонному сигналу d∈{d1, d2,… dS} стимулы х1, х2,…, хN, эталонные сигналы выбирают так, чтобы в каждой подобласти Ω*∈Ω находился хотя бы один обучающий кортеж, при подаче очередного эталонного сигнала d*∈{d1, d2,… dS} и стимулов
Figure 00000019
определяют подобласть Ω*, внутри которой находится обучающий кортеж
Figure 00000020
вычисляют реакцию F* НП на стимулы
Figure 00000021
вычисляют невязку е*=d*-F*, выполняют пошаговое вычисление невязок в вершинах параллелепипеда, ограничивающего подобласть Ω*, для этого на первом шаге вычисляют невязку в точке
Figure 00000022
по формуле
Figure 00000023
и невязку в точке
Figure 00000024
по формуле
Figure 00000025
где
Figure 00000026
на втором шаге вычисляют невязку в точке
Figure 00000027
по формуле
Figure 00000028
невязку в точке
Figure 00000029
по формуле
Figure 00000030
невязку в точке
Figure 00000031
по формуле
Figure 00000032
невязку в точке
Figure 00000033
по формуле
Figure 00000034
где
Figure 00000035
на третьем шаге вычисляют невязку в точке
Figure 00000036
по формуле
Figure 00000037
невязку в точке
Figure 00000038
по формуле
Figure 00000039
невязку в точке
Figure 00000040
по формуле
Figure 00000041
невязку в точке
Figure 00000042
по формуле
Figure 00000043
невязку в точке
Figure 00000044
по формуле
Figure 00000045
невязку в точке
Figure 00000046
по формуле
Figure 00000047
невязку в точке
Figure 00000048
по формуле
Figure 00000049
невязку в точке
Figure 00000050
по формуле
Figure 00000051
где
Figure 00000052
и так далее, продолжая вычисления, на N-м шаге рассчитывают невязку во всех 2N вершинах N-мерного параллелепипеда, ограничивающего подобласть значений Ω*, выполняют корректировку значений реакции F в ЗУ во всех 2N вершинах N-мерного параллелепипеда на величины рассчитанных в них невязок, процедуры расчета невязок и коррекции значений реакции НП F повторяют для всех эталонных обучающих сигналов d1, d2,… dS до тех пор, пока не будет достигнут приемлемое отклонение расчетных значений от эталонных в кортежах.
Рассмотрим вычисление реакции НП на примере с тремя входными сигналы. Перед началом работы процессора в ЗУ загружаются исходные значения управляющего сигнала (конечное дискретное множество Ψ четких значений функции F), которые получают на множестве Θ фиксированных опорных точек по результатам экспериментальных или теоретических исследований N-мерной функции F. Каждая фиксированная точка представлена в ЗУ кортежем
Figure 00000053
где F - выбранное значение реакции НП при исходных дискретных значениях стимулов
Figure 00000054
Комбинации значений стимулов в ЗУ получают перебором значений каждого стимула хi, из возрастающей последовательности фиксированных значений
Figure 00000055
где K - количество фиксированных значений стимулов хi. Выбирая из последовательностей Х1, Х2 и Х3 соседние значения стимулов в ЗУ образуют K-1 интервалов по каждому стимулу. Комбинируя интервалы, образуют (К-1)3 подобластей Ω* в области Ω определения реакции НП F(x1, x2, x3) Если на входы НП поданы сигналы
Figure 00000056
то определяется подобласть Ω*, ограниченная интервалом
Figure 00000057
где x1min, x1max, x2min, x2max, x3min, x3max - ближайшее значения стимулов из последовательностей X1, Х2 и Х3.
На фиг. 1 приведена иллюстрация порядка исчисления НП реакции при трех входных сигналах
Figure 00000058
На первом этапе с помощью формулы (1) процессор рассчитывает промежуточные ИЗРН
Figure 00000059
в точках 3, 6, 10, 13. Для расчета ИЗРН
Figure 00000060
в точке 3 в формулу (1) подставляются значения функции в точках 1, 2 и координаты
Figure 00000061
Для расчета
Figure 00000062
в точке 6 в формулу (1) подставляются значения функции в точках 4 и 5 и координаты
Figure 00000063
Для расчета
Figure 00000064
в точке 10 в формулу (1) подставляются значения функции в точках 8 и 9 и координаты
Figure 00000065
Для расчета
Figure 00000066
в точке 13 в формулу (1) подставляются значения функции в точках 11 и 12 и координаты
Figure 00000067
На втором этане, используя рассчитанные ранее промежуточные ИЗРН
Figure 00000068
Для расчета ИЗРН
Figure 00000069
в точке 7 в формулу (3) подставляются значения ИЗРН
Figure 00000070
в точках 3, 6 и координаты
Figure 00000071
Для расчета ИЗРН
Figure 00000072
в точке 14 в формулу (3) подставляются значения ИЗРН
Figure 00000073
в точках 10, 13 и координаты
Figure 00000074
На последнем этапе расчета вычисляется значение реакции НП на стимулы
Figure 00000075
в точке 15 с координатами
Figure 00000076
Для этого в формулу (3) подставляются значения ИЗРН
Figure 00000077
и координаты
Figure 00000078
На том же примере (Фиг. 1) проиллюстрируем настройку (обучение) НП. Структура НП изображена на фиг. 2. Обучение выполняется путем подачи на входы расчетного блока 16 стимулов x1, x2, x3 17 и обучающих эталонных сигналов d1, d2, … dS 18 на сумматор 19.
Очередной i-й шаг обучения начинается с подачи эталонного сигнала d*∈{d1, d2, … dS} 18 и соответствующих ему значений стимулов
Figure 00000079
18. В расчетном блоке 16 по значениям стимулов и значениям фиксированных опорных точек из ЗУ 20 определяют точку 15 внутри одной из (K-1)N подобластей Ω* в области Ω определения функции F(x1, х2, х3). В расчетном блоке 16 определяется текущее значение реакции F(X*) НП на стимулы
Figure 00000080
В сумматоре 19 вычисляется невязка е*=d*-F(X*) (точка 15 на Фиг. 1). Далее переходят к распространению невязок от точки X* к вершинам параллепипеда, ограничивающего подобласть Ω*. На первом шаге вычисляют (блок 21) невязку в точке 7 с координатами
Figure 00000081
по формуле
Figure 00000082
и невязку в точке 14 с координатами
Figure 00000083
по формуле
Figure 00000084
где
Figure 00000085
На втором шаге вычисляют невязку в точке 3 с координатами
Figure 00000086
по формуле
Figure 00000087
(блок 22), невязку в точке 6 с координатами
Figure 00000088
по формуле
Figure 00000089
(блок 22), невязку в точке 10 с координатами
Figure 00000090
по формуле
Figure 00000091
(блок 23), невязку в точке 13 с координатами
Figure 00000092
по формуле
Figure 00000093
(блок 23), где
Figure 00000094
На третьем шаге вычисляют: невязку в точке 1 с координатами (x1min, x2min, x3min) по формуле
Figure 00000095
невязку в точке 2 с координатами (х1max, x2min,х3min) по формуле
Figure 00000096
(блок 24), невязку в точке 4 с координатами (х1min, х2max, x3min) по формуле
Figure 00000097
невязку в точке 5 с координатами (x1max, x2max, x3min) по формуле
Figure 00000098
(блок 25), невязку в точке 8 c координатами (х1min, х2min, х3max) по формуле
Figure 00000099
невязку в точке 9 с координатами (x1max, х2min, x3max) по формуле
Figure 00000100
(блок 26), невязку в точке 11 с координатами (x1min, х2max, x3max) по формуле
Figure 00000101
невязку в точке 12 с координатами (x1max, x2max, x3max) по формуле
Figure 00000102
(блок 27), где
Figure 00000103
В результате проведенных вычислений на третьем шаге получены значения невязок во всех 8-ми вершинах куба, ограничивающего область Ω* попадания значений стимулов
Figure 00000104
которые применяют для корректировки значений функции F в фиксированных опорных точках в ЗУ 20.
Применяемые в способе обучения НП формулы расчета невязок выбраны из условия минимизации невязок, распространяемых в вершины N-куба области Ω*.
Работу алгоритма обучения иллюстрирует пример аппроксимации с помощью НП функции Cos(x).
Обучение НП выполнялось в интервале значений аргумента [0, π]. Интервал обучения был разбит на семь равных отрезков. Внутри отрезков были заданы опорные (точные) значения функции, которые подавались на вход НП вместе с значениями переменной x в опорной точке. В исходном состоянии все опорные значения НП были обнулены.
Невязки рассчитывались внутри каждого интервала и передавалась на его края для коррекции значений опорных точек. В процессе обучения одной эпохи процедуры коррекция опорных значений выполнялись последовательно от самого левого отрезка интервала обучения к правому. После каждой эпохи обучения регистрировалась максимальная невязка НП с образцовыми значениями.
Процесс обучения показал хорошую сходимость. После 15-й эпохи ошибка аппроксимации стала менее 1% и продолжала уменьшатся. На фиг. 3 приведена иллюстрация аппроксимации функции COS после первой и четвертой эпох обучения.
НП может быть применена для классификации линейно неразделимых классов объектов.
Классический подход к классификации образов опирается на байесовскую теорию проверки гипотез. На входы байесовского классификатора поступают параметры вектора наблюдений
Figure 00000105
которые передаются на входы двух интерполирующих процессоров. Первый процессор аппроксимирует значения функции выбора класса C1:
Figure 00000106
второй значения функции выбора класса С2:
Figure 00000107
, где
Figure 00000108
- функции плотности вероятности случайного вектора
Figure 00000109
при условии, что он принадлежит пространству Х1 (Х2), параметры c11,c12, c21,c22, p1,p2 определяются условиями решаемой задачи [7]. НП позволяет строить нелинейные функции (4) и (5) в процессе обучения при подаче на вход НП обучающих сигналов. Структура устройства, выполняющего функцию разделения двух классов, показана на Фиг. 4.
Устройство состоит из двух НП 28 и 29, выполняющих с помощью патентуемого способа исчисления значений реакции НП на подаваемые стимулы х1, х2,…, хn исчисление функций
Figure 00000110
и компаратора 30 выполняющего сравнение значений. Если
Figure 00000111
выбирается класс C1 31. В противном случае - класс С2 32.
Таким образом, предлагаемая модель нейропроцессора, реализуя модель нелинейной разделяющей поверхности, преодолевает проблему разделения линейно неразделимых классов объектов. Предлагаемый способ позволяет распараллеливать вычисления значений функции, что создает возможности повышения скорости НП в десятки раз по сравнению с традиционной моделью на основе персептрона. В последнем случае НП должен быть выполнен на аналоговых схемах, которые не требуют аналогово-цифровых преобразований входных сигналов.
Источники информации
1. McGuIIoch W.S., Pitts W. A logical calculus of the ideas imminent in nervous activity. // Bulletin of Mathematical Biophysics, vol.5, 1943, pp.115-133. (Рус. перевод: Маккаллок У.С., Питтс У. Логическое исчисление идей, относящихся к нервной деятельности. Автоматы. / Под ред. К.Э.Шеннона, Дж.Маккарти. - М.: ИЛ, 1956).
2. Rosenblatt F. Principles of neurodinamics. Perceptrons and the theory of brain mechanisms. Spartan Books, Washington, 1962. (Рус.перевод: Розенблатт Ф. Принципы нейродинамики. Нерцептроны и теория механизмов мозга. / Под ред. С.М.Осовца. - М: Мир, 1965 - 480 с).
3. Галушкин А.И. Теория нейронных сетей. Кн. 1: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 416 с.
4. Wasserman P. Neurocomputing. Theory and practice, Nostram Reinhold, 1990. (Рус. перевод: Уоссермен Ф. Нейрокомпьютерная техника: теория и практика. / Пер. с англ. Ю.А. уев, В.А.Точенов. - М.: Мир, 1992. - 240 с).
5. Куринной Г.Ч. Математика: Справочник. - Харьков: Фолио; Ростов н/Д: Феникс, 1997. - 463 с.
6. Самойлин Е. А. Патент RU №2269155 от 22.08.2003 МПК G06G 7/06 (2006.01) Модель нейрона, реализующая логическую функцию неравнозначности.
7. Осовский С.Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. - 344 с.: ил.

Claims (38)

  1. Способ управления реакцией нейропроцессора на входные сигналы (стимулы) x1, х2, …, хN, в котором в каждую ячейку запоминающего устройства (ЗУ) НП записывают кортеж значений параметров
    Figure 00000112
    , где F - фиксированное значение реакции НП на комбинацию значений стимулов
    Figure 00000113
    комбинации значений стимулов в ЗУ получают перебором значений каждого воздействия хi из возрастающей последовательности фиксированных значений
    Figure 00000114
    где K - количество фиксированных значений стимулов xi, из соседних значений последовательности Xi в ЗУ образуют K-1 интервалов по каждому стимулу, перебором интервалов по всем переменным x1, х2, …, xN образуют (K-1)N подобластей Ω* в области Ω определения реакции НП F(x1, x2, …, xN), на N входов НП подают стимулы x1 *, х2 *, …, xN *, определяют принадлежность поданных сигналов некоторой подобласти Ω*, ограниченной интервалами x1min≤x1 *<x1max, x2min≤x2 *<x2max, …, xNmin≤xN *<xNmax, где x1min, x1max, x2min, x2max, …, xNmin, xNmax - ближайшие значения стимулов из последовательностей Xi, i изменяется от 1 до N, в интервале (х1min, x1max) вычисляют 2N-1 интерполирующих значений реакции НП (ИЗРН) F по формуле
  2. Figure 00000115
  3. где i - номер промежуточного ИЗРН F на первом шаге вычисления,
    Figure 00000116
    Figure 00000117
    Figure 00000118
    - крайние значения стимулов, ограничивающие выбранную подобласть Ω* в N-мерной области определения реакции НП,
  4. Figure 00000119
  5. на j-м шаге в интервале [xjmin, xjmax) вычисляют 2N-j ИЗРН F по формуле
  6. Figure 00000120
  7. где i - номер промежуточного ИЗРН на j-м шаге (j изменяется от 2 до N), на N-м шаге в интервале [хNmin, хNmax) при j=N по формуле (3) вычисляют искомое значение реакции НП F(x1 *, х2 *, …, xN *) на сигналы х1 *, х2 *, …, xN *, для настройки НП в каждую ячейку ЗУ записывают кортежи значений параметров
    Figure 00000121
    где
    Figure 00000122
    - комбинация заданных значений стимулов, получаемая для каждого стимула xi из возрастающей последовательности
    Figure 00000123
    Fj - начальное значение реакции НП при заданных значениях стимулов, формируют обучающие кортежи (d*, х1 *, х2 *, …, xN *), состоящие из эталонного сигнала d* и соответствующих ему стимулов Х*=(х1 *, х2 *, …, xN *), на обучающий вход НП поочередно подают эталонные сигналы d1, d2, …, dS, образующие обучающую выборку (эпоху), а на сигнальные входы НП подают соответствующие каждому эталонному сигналу d∈{d1, d2, …dS} стимулы x1 х2, …, xN, эталонные сигналы выбирают так, чтобы в каждой подобласти Ω*∈Ω находился хотя бы один обучающий кортеж, при подаче очередного эталонного сигнала d*∈{d1, d2, …dS} и стимулов Х*=(х1 *, х2 *, …, xN *) определяют подобласть Ω*, внутри которой находится обучающий кортеж (d*, x1 *, x2 *, …, xN *), вычисляют реакцию F* НП на стимулы x1 *, x2 *, …, xN *, вычисляют невязку е*=d*-F*, выполняют пошаговое вычисление невязок в вершинах параллелепипеда, ограничивающего подобласть Ω*, для этого на первом шаге вычисляют невязку в точке (x1 *, х2 *, …, xNmin) по формуле
  8. Figure 00000124
  9. и невязку в точке (х1 *, x2 *, …, xNmax) по формуле
  10. Figure 00000125
    ,
  11. где
    Figure 00000126
    и
    Figure 00000127
    ,
  12. на втором шаге вычисляют невязку в точке (х1 *, …, xN-1min, xNmin) по формуле
  13. Figure 00000128
  14. невязку в точке (х1 *, …, xN-1max, xNmin) по формуле
  15. Figure 00000129
  16. невязку в точке (х1 *, …, xN-1min, xNmax) по формуле
  17. Figure 00000130
  18. невязку в точке (x1 *, …, xN-1max, xNmax) по формуле
  19. Figure 00000131
  20. где
    Figure 00000132
    и
    Figure 00000133
  21. на третьем шаге вычисляют невязку в точке (х1 *, …, xN-2min, xN-1min, xNmin) по формуле
  22. Figure 00000134
    ,
  23. невязку в точке (х1 *, …, xN-2max, хN-1min, xNmin) по формуле
  24. Figure 00000135
  25. невязку в точке (х1 *, …, xN-2min, xN-1max, xNmin) по формуле
  26. Figure 00000136
  27. невязку в точке (x1 *, xN-2max, xN-1max, xNmin) по формуле
  28. Figure 00000137
    ,
  29. невязку в точке (х1 *, …, xN-2min, xN-1min, xNmax) по формуле
  30. Figure 00000138
  31. невязку в точкe (x1 *, …, xN-2max, xN-1min, xNmax) по формуле
  32. Figure 00000139
  33. нeвязку в точке (х1 *, …, xN-2min, xN-1max, xNmax) по формуле
  34. Figure 00000140
  35. нeвязку в точке (x1 *, …, xN-2max, xN-1max, xNmax) по формуле
  36. Figure 00000141
  37. где
    Figure 00000142
    и
    Figure 00000143
  38. и так далее, продолжая вычисления, на N-м шаге рассчитывают невязку во всех 2N вершинах N-мерного параллелепипеда, ограничивающего подобласть значений Ω*, выполняют корректировку значений реакции F в ЗУ во всех 2N вершинах N-мерного параллелепипеда на величины рассчитанных в них невязок, процедуры расчета невязок и коррекции значений реакции НП F повторяют для всех эталонных обучающих сигналов d1, d2, …, dS до тех пор, пока не будет достигнуто приемлемое отклонение расчетных значений от эталонных в кортежах.
RU2018107531A 2018-05-18 2018-05-18 Способ управления реакцией нейропроцессора на входные сигналы RU2724784C2 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2018107531A RU2724784C2 (ru) 2018-05-18 2018-05-18 Способ управления реакцией нейропроцессора на входные сигналы

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018107531A RU2724784C2 (ru) 2018-05-18 2018-05-18 Способ управления реакцией нейропроцессора на входные сигналы

Publications (3)

Publication Number Publication Date
RU2018107531A RU2018107531A (ru) 2019-11-19
RU2018107531A3 RU2018107531A3 (ru) 2020-03-16
RU2724784C2 true RU2724784C2 (ru) 2020-06-25

Family

ID=68579409

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018107531A RU2724784C2 (ru) 2018-05-18 2018-05-18 Способ управления реакцией нейропроцессора на входные сигналы

Country Status (1)

Country Link
RU (1) RU2724784C2 (ru)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5504839A (en) * 1991-05-08 1996-04-02 Caterpillar Inc. Processor and processing element for use in a neural network
EP0526504B1 (en) * 1990-04-26 1997-01-15 SUTHERLAND, John Artificial neural device
RU2269155C2 (ru) * 2003-08-22 2006-01-27 Евгений Александрович Самойлин Модель нейрона, реализующая логическую функцию неравнозначности
RU2402813C1 (ru) * 2009-06-18 2010-10-27 Евгений Александрович Самойлин Способ моделирования нейрона
RU148932U1 (ru) * 2014-02-17 2014-12-20 Александр Николаевич Цуриков Устройство обучения искусственной нейронной сети (варианты)

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0526504B1 (en) * 1990-04-26 1997-01-15 SUTHERLAND, John Artificial neural device
US5504839A (en) * 1991-05-08 1996-04-02 Caterpillar Inc. Processor and processing element for use in a neural network
RU2269155C2 (ru) * 2003-08-22 2006-01-27 Евгений Александрович Самойлин Модель нейрона, реализующая логическую функцию неравнозначности
RU2402813C1 (ru) * 2009-06-18 2010-10-27 Евгений Александрович Самойлин Способ моделирования нейрона
RU148932U1 (ru) * 2014-02-17 2014-12-20 Александр Николаевич Цуриков Устройство обучения искусственной нейронной сети (варианты)

Also Published As

Publication number Publication date
RU2018107531A3 (ru) 2020-03-16
RU2018107531A (ru) 2019-11-19

Similar Documents

Publication Publication Date Title
US10956815B2 (en) Killing asymmetric resistive processing units for neural network training
CN110826602B (zh) 基于膜电位调控脉冲神经网络的图像分类方法、系统
US10373051B2 (en) Resistive processing unit
Webb et al. Learning representations that support extrapolation
Verma et al. Neural networks through stock market data prediction
Salvatori et al. Predictive coding can do exact backpropagation on convolutional and recurrent neural networks
CN113454648A (zh) 循环神经网络中的勒让德存储器单元
Mallikarjunaiah A deep learning feed-forward neural network framework for the solutions to singularly perturbed delay differential equations
RU2724784C2 (ru) Способ управления реакцией нейропроцессора на входные сигналы
Valle-Lisboa et al. Multiplicative processing in the modeling of cognitive activities in large neural networks
Egorchev et al. Semi-empirical neural network based approach to modelling and simulation of controlled dynamical systems
Thakur et al. An online learning algorithm for neuromorphic hardware implementation
Abramova et al. Research of the extreme learning machine as incremental learning
Sharma et al. An adaptive slope basic dynamic node creation algorithm for single hidden layer neural networks
De Chazal et al. Regularized training of the extreme learning machine using the conjugate gradient method
JP3130326B2 (ja) 階層ネットワーク構成演算素子
Stutz Introduction to neural networks
Depenau Automated design of neural network architecture for classification
Song Predictive coding inspires effective alternatives to backpropagation
Sornam et al. An efficient morlet function based adaptive method for faster backpropagation for handwritten character recognition
EP4156026A1 (en) Signal processing method in a neural network
Yusoff et al. Modeling neural plasticity in echo state networks for time series prediction
Ali et al. Emg-based grasping force estimation for robot skill transfer learning
RU193607U1 (ru) Устройство управления электроприводом объекта, находящегося под воздействием внешних возмущений, на основе нейронных сетей
Bidokhti et al. Dual Memory Structure for Memory Augmented Neural Networks for Question-Answering Tasks