SU765823A1 - Модель адаптивного нейрона - Google Patents

Description

Изобретение относитс  к бионике и вычислительной технике и может йлть использовано в качестве элемента адаптивных нейронных сетей, дл  моделировани  биологических процессов , в-Устройств ах распознавани  образов , а также-в качестве структур, предназначенных дл  решени  систем алгебраических уравнений, дифференциальных уравнений, задач исследовани  операций, краевых задач теории пол . Известно устройство, моделирующее адаптивные свойства нервных клеток, содержащее блоки моделировани  синап са, адаптивный сумматор, схему сравнени , преобразователь напр жени  в чдстоту, блок управлени  смнапсом формирователь выходных сигналов, бло формировани  порога, блок управлени  ре истивным элементом, наход щимс , в блоке моделировани  синапса, цепь адаптации, по выходному сигналу, содержащую 1-й интегратор, источник питани  и цепь, моделирующую увеличение активности нейроподобного эле мента в зависимости от частоты его возбуждени , построенную на первом и втором интеграторах l3 . Однако устройства, основанные на элементах аналоговой техники имеют слишком малую стабильность параметров , особенно в зависимости от времени и температуры, а устранение этого значительно увеличивает стоимость элемента. Кроме того, такие элементы три их совместной работе с ЭВМ, трёбуют дополнительных дорогосто щих преобразователей аналого-цифрового и цифроаналогового типа.. Наиболее близким техническим решением к изобретению  вл етс  модель адаптивного нейрона, содержаща  управл ющий вход, который подключен к первому входу первого блока временного сумглировани , к входу независи .мой переменной выходного интегратора и к первому входу блока адаптации, и п входов, каждый из которых подключен к первому входу соответствующего блока моделировани  синапса, выход кото .рого соединен с соответствующим входом первого блока пространств нного . суммировани , выход которого подключен к второму входу первого блока временного суммировани , выход которого соединен с пр млм входом блока сравнени  с порогом, а его выход подключен

к входу подинтегральной функции выходного интегратора, выход которого  вл етс  выходом модели 2), Кроме этого, модель содержит цифровые сумматоры, инте граторы и р д специальных управл ющих входов.

Согласно современным представлени м нервной клетке приписываетс  изве .стна  автономность, выражающа с  в оптимизации энергетических процессов и в пластичности, которую св зывают с изменением весов синапсов в процессе жизнеде тельности нервной клетки. На формирование пластических изменений в синапсах оказывает вли ние выходна  активность самого нейрона.Полагают , что обратна  св зь в нейроне

.может управл ть скоростью пластических изменений в синапсах в зависимости не только от внешней активности синапсов, обусловленной внэиними дл  нейрона, воздействи ми, но и от выходной активности нейрона. Степень участи  каждого синапса при этом определ етс  величиной постсинаптического потенциала, генерируемого данным синапсом в момент возникновени  ответа. Легко видно, что подобные свойства не нашли свои отражени  в известной модели нейрона. Другой погрешностью модели  вл етс  большое количество специальных входов,.

Цель изобретени  - повышение точности моделировани , .

Достигаетс  это тем, что в модель адаптивного нейрона, содержащую первый блок временного суммировани  . первый вход которого подключен к управл ющему входу, модели, соединенному с входом независимой переменной выходного интегратора и первым входом блока адаптации, блок моделировани  синапса, выход которого соединен с соответствующим входом первого блока пространственного суммировани , выход которого подключен к второму входу первого блока временного суммировани  выход которого соединен с первым входом блока сравнени , а выход последнего подключен к входу под1(нтегральной функции выходного интегратора, выход которого  вл етс  выходом модели , введены два блока управлени  пластичностью, блок -коррекции, лторой блок пространственного суммировани , второй блок временного суммировани  и блоки умножени , первые входы которых соединены с соответствующими входами мбдели, управл ющий вход которой подкл1рчен к первому входу второго блока временного суммировани , выход

-которого соединен с вторым входом

. блока сравнени  и с входом .первого .блока управлени  пластичностью, выход которого подключен к первомувходу блока коррекции и к вторым входам блоков умножени , выходы которых подключены соответственно к входам второго блока пространственного суммировани , выход которого соединен с вторым входом второго блока временного суммировани , выход первого блока временного суммировани  подключен к второму входу блока коррекции, выход которого соединен с вторым входом блока адаптации, выход которого подключен к третьему входу блока коррекции и к входу второго блока управлени  пластичностью, выход которого соединен с вторыми входами блоков моделировани  синапса .

Кроме того, блок управлени  пластичностью содержит первый интегратор , вход независимой переменной которого подключен к входу блока управлени  пластичностью, выход первого интегратора подключен к входу независимой переменной второго интегратора , выход которого соединен с входом подинтегральной функции первого интегратора, с инверсным входом под{ нтегральной функции второго интегратора и с выходом блока управлени  пластичностью. Помимо этого, блок коррекции содержит первый интегратор, вход независимой переменной которого подключен к первому входу блока и к входу подинтегральной функции второго интегратора, быход которого соединен с одним входом первого сумматора другой вход .которого подключен к выхду первого интегратора, вхо подинтегральной функции которого соединен с входом независимой переменной второго интегратора и с вторым входом блока коррекции; выход первого сумматора подключен к входу независимой деременной третьего интегратора и к входу под4 1нтегральной функции четвертого интегратора,выход которого соединен с одним входом второго сумматора , а его другой вход подключен к выходу третьего интегратора, вход подынтегральной функции которого соединен с входом независимой переменно четвертого интегратора и с третьим входом блока коррекции, выход второго сумматора подключен к выходу блока коррекции.

Каждый, блок умножени  и каждый блок моделировани  синапса состоит и 4-х цифровых интеграторов и двух цифровых сумматоров, соединенных так, что вход независимой переменной первого интегратора соединен с вторым ёходом. Клока, а вход подинтегральной функции соединен с первым входом блока , вход независимой переменной второго интегратора соединен с первым входом блока, а вход подинтегрзльнрй функции соединен с вторым входом б.лока , первый и второй входы первого сумматора соединены соответственно с выходами первого и второго интегратора , вход независимой переменной третьего интегратора соединен с выходом первого сумматора, а вход подинтеграпьной функции соединен с первым . входом блока, вход независимой переменной четвертого интегратора соединэн с первым входом блока, а аход подинтегральной функции соединен с . выходом первого сумматора, первый и второй входы второго сумматора соединены соответственно с выходами третьего и четвертдго интеграторов, выход второго сумматора соединен с выходом блока, каждой из блоков временного сумг ировани  и блок адаптаци состоит из трех цифровых интеграторов и одного цифрового сумматора, соединенного так, что входы независимой переменной первого и второго интеграторов подключены к первому входу блока, вход подынтегральной функции первого интегратора соединен с вторым входом блока, инверсный вход подинтегральной функции второго интегратора соединен с выходом третьего интегратора,  вл ющимс  выходом блока, первый и второй входы сумматора соединены соответственно с выходами первого и второго интеграторов , а выход этого сумматора -соединен с входом независимой переменной третьего интегратора, а регистр подг интегральной функции которого занесена соответствующа  посто нна  величина .

Сущность изобретени  заключаетс  в том, что в модель введена обратна  св зь между выходом, первого блока, временного суммировани  и вторыми входами- блоков моделировани  синапса образованна  последовательно соединенными блоком коррекции, блоком адатации и вторым блоком управлени  пластичностью. При неизменной интенсивности входного воздействи  эта св зь обеспечивает адаптацию нейрона по выходу, заключающуюс  в устранени отклонени  величины сигнала на выходе первого блока временного суммировани  от величины порога путем изменени  весов синапсов Т,е. за счет активного-обучени 

нейрона. Оптимизаци  энергетических процессов в нейроне заключаетс  в. .обеспечении в режиме адаптации минимума целевых функций и осуществл етс  за счет соответствующего изменени  величины порога. Требуемую вели;чину порога вырабатывают последовательно соединенные второй блок пространственного сумтимровани , второй блок временного суммировани  и первый блок управлени  пластичностью, выход которого соединен с вторыми .входами блока перемножени , С выхода второго блока управлени  пластичностью в блок коррекции вводитс  величина обратна  величине порога. Выход второго блока временного суммировани , вырабатывающего значение величины порога, соединен с инверсным входом блока сравнени  с порогом, за счет чего осуществл етс  плавное падение частоты выдачи приращений , на выходе устройства и режиме адаптации .

Блок коррекции обеспечиваем получение по текущим значени м сигнала на выходе блока адаптации и отношени  величины сигнала на выходе первого блока временного суммировани  к величине порога управл ющего воздействи 

0 отрабатываемого блоком адаптации со . скоростью, определ емой посто нной времени блока адаптации.

Выходной сигнал блока адаптаидии преобразуетс  вторым блоком управле5 ни  пластичностью в величину ему обратную , которад и измен ет вес синапсов .

На чертеже дана схема моделировани  адаптивного нейрона.

0

Она содержит входы устройства 1, ,,.1п, вход 2, управл ющий изменением длительности периода возбуждени , блок адаптации 3, первый блок 4 пространственного суммировани  пер5 вый блок 5 временного суммировани , блок 6 сравнени , выходной интегратор 7, выход устройства 8, блоки 9, , 9,j...9n моделировани  синапса, рторой блок 10 пространственного сумми0 ровани , второй блок 11 временного суммировани , первый блок 12 управлени  пластичностью, блоки 13,, 130 .. 13, перемножени , первый вход 14 и второй вход 15 соответствующего блока 13 , блок коррекции 16, имек ций пер5 вый вход l7 второй вход 18 и третий вход 19, второй блок 20 управле;ни  пластичностью, первый вход 21, и второй вход 22 соответствующего бло-ка 9т , первый интегратор 23 к второй

0 интегратора 24 блока 20, первый интегратор 25, второй интегратор 26, первый сумматор 27, третий интегратор 28, четвертый интегратор 29, второй сумматор 30 блока 16, первый

5 интегратор , второй интегратор 32|, первый сумматор 33 третий интегратор 34, четвертый интегратор 35i и второй сумматор 36, блока 9, , первый интегратор 37, второй интегратор 38,

0 третий интегратор 39 и сумматор 40 блока 3.

Функционирование устройства осуществл етс  следующим образом. Пусть в i-OM также на входы 1, Ij ... If по5 даны соответствующие приращени  Лхл, а в блоки 3, Ilj5 и 7 подано с входа 2 приращение At, которое, будучи умноженным в интеграторе 37 на содержимое его регистра под{4нтегральной функции (yU/4j)t-i и сложенным в сумматоре

0 40 с приращением fit, умноженным в интеграторе 38 на содержимое его регистра подынтегральной функции и умноженным в интеграторе 39 на содер .жащуюс  в его регистре подинтеграль5 ной функции величину /Г, дает на выхо . де блока 3 приращение aVi4ton-JtM.-i)i.-i Аналогично,приращение Д будучи умноженным в первых интеграторах блоков 11 и 5 на содержимое из регистров под интегральных функций /,соответственно и сложенным в сумматорах блоков с приращением At ,умноженным во 2-х интеграторах блоков на содержимое их Езегистров подинтегральных функ ций -Uo,- и-ийсоответственно и умноженным в 3-х интеграторах на величину i/t f дает на выходных блоках 11 и 5 приращени  i/f (Wi. At - Uo,i.-,- At); i/f (V;. At - Ui-, л t. Ь регистрах под1 нтегральных функций интегратора 38 блока 3. и 2-х интеграторов блоков 11 и 5 будут накоплены соответственно новые значени , величин -у| , -Ujj, -Ut . На илкоде 8 устройства будет выдано приращение At макс О, (инио)1,А.Приращение ду, поступив на вход независи мой переменной интегратора 23 к будучи умноженным на хран щиес  в его. .регистре подынтегральной функции значение 1/У,-- дает на выходе приращение /.;,„, Л У г которое, будучи умноженным на величину -, хранимую в регистре подинтегральной функции интегратора 24, дает на его выходе приращение ((|г7) которое поступит на Ёходы 22,,.X 22f, и соответствующих блоков 9-1 , на входы 21, ... которых , поступили соответствующие приращ ни лх.-( , ПриращениеЛ1/У..;, , будучи умноженньзм в соответствующем интегра торе 3L, на содержимое его регистра пoмv нтeгpaльнoй функции и сложенным в соответствующем сумматоре 33 с приращением ax-j ,умноженным в интегр торе 32., на содержимое его регистра под нтегральной функции,дает на выхо де соответствующего су чматора ЗЗ прираидение веса синапса . которое,будучи умноженным в соответст . вующеминтеграторе 341 на содержимое ,его регистра под«1нтегральной функции споже5}ным в соответствующем сумматоре Збт с прир.ащением входного сигнала умноже ным в интеграторе 35V на содержимое его регистра подантеграпьной функции, дает на выходе соответст вующего сумматора Зб| приращени  пост синаптического потенциала, . К этому момен-ау в регистрах пoд нтёгральных функций соответствующих интеграторов 31, 32,, 34,, 35, будут накоплены соответственно значени  xj{, l/yj;,X.ji ,. Приращени  AVjj , просуммированные блоком 4, дают на его В5арсоде приращение ДУ , которое, поступив в блок 5, вызывает накопление в нем значени  V{ ., + &V,- , которое и хранитс  в нем до начала нового (i+1 )-го такта, вызываемого новой подачей приращени  At, Одновременно с этими процессами приращение ау поступает с выхода блока 3 на вход 19 блока коррекции 16, где будучи умноженным в интеграторе 29 на содержимое его регистра подинтегральной функции и сложенным в сумматоре 30 сприра-f щением й(-г умноженным в интеграторе 28 на содержимое его регистра подинтегральной функции дает на выходе сумматора 30 приращение А{ yj,KOTOpoe поступив в блок 3, вызывает в нем накопление значени  (V ь )(; хранимого до поступлени  следующего такта . . Приращение порога , поступи в на вход блока 12, вызываетна его выходе по аналогии с блоком 20, приращение д-д-.. При этом в 1 и 2-м интеграторах Ьлока 12 будут накоплены соотвественно значени  l/UQ n-1/1 Приращение Д поступает на входы 15..,15, соответствующих блоков 13 , на входы 14,,,, 14р которых поступили соответсвующие приращени  AXj , По аналогии с блоком 9 на выходе блока 13 по вл етс  приращение - dx VP l JlПри этом в регистрах, под лнтегральных функций 1,2,3 и 4-го интеграторов блока 13- накоп тс  соответственно значени  ..u jiUPai. Блок 10, просуммировав , поступившие на его вход 11риращеки  A(j,, дает на выходе приращение .AUj , которое поступив в блок 11, вызывает накоп ен .и.е внем величины 3J{, котора  И хранитс  здесь до нового такта. Кроме того, приращение л поступает на вход 17 блока коррекции, на вход 18 которого поступает приращение Mli. КЗ бипока 5, в результате чего приращение А иоД )бУДУЧ умноженным в интеграторе 25 на содержимое его регистра . подинтегральной Функции и сложенным в сумматоре 27 с прираи ением uUt,уМноженным 2 интеграторе 26 на содержимое регистра подинтегральной функции дает на ыходе сумматора 27 приращение Д{и); f которое поступает на вход независинюй переменной интет.-ратора 28. После йыдачи блоком 16 выходного прИращени  в регистрах подынтегральных функций интеграторов 25,26,28 и 29 сказываютс  накопленными знач ни  Ui,ij5,,(4)i. соответственно. Приращение Uj , ЛОоД f поступи соответственно на пр мой и инверсн входл блока 6, вызывают на его вых де по вление приращени  A(U-tb)u.i торое поступив в выходной .интеграт 7, вызывает накопление в нем значе ни  (U-Uo )i Л которое и хранитс  д . наступлени  следующего такта. Разностный алгоритм работы моде записиваетс  следующим образом. viTfou-oV. ЬМ;: Х|Г гЛ%Ч %Ч аЧ 41 AVJo,,M i А л1 З Ра1ГРзг 1 .г-де ,ьиДЛЧз1Л / й,.1, , приращени  на выходе соот ственно блоков 3,5,4,9 сум матора 33ч блоков 20,11,10 12 первого сумматора соотв ствующих блоков 13 . B-i-M такте; -величина периода возбужденного на входе 2; -приращение входного сигнала j входа в 1-м такте; Т,/, - содержимое регистров под нтегральной функции соответсвенно интегратора 39 и трех интеграЮроз блоков 5 и 11; / ,, - содержимое регистров поД L-иЧм интегральных функций ин-и{ .,,- теграторов 37, 38-го и чл -11 BTODOro интегоатопоп fino t .-i)4i--i ка 56, интегратора 24, 1 и 2-го интеграторов олока 11,2-го интегратора блока 12 в i-OM такте, X.J{,V4,y:f содержимое регистров под -г нтегральных функций, соот di) ветственно интеграторов 31, , 34, , 1 и 3-го интеграторов блока 13, , 35LJ (вес j-ro синапса) 32j и 23 и 4-го интегратора блока 13,, 1-го интегратора блока 12 в 1-м такте. от алгоритм вытекает из следуюистемы уравнений Шеннона: ) WQ (Vdt-Udt) Vi-d l J dli-.dv dUo-i/f(4}jdt-Uodt) dXW-Idu):; 3-1 du); -Ч та система уравнений в свою очевытекает из следующей система: Tdv/dt V-VTL ° rtf. 1 1Ур,а1Л. ри условии посто нства входного ействи  и tiiT система имеет решакоторое с течением времени прит к достаточной точности к ратву и U0 у |. х л  модели нейрона-можно построить вые функции, соответствукицие приннаименьшего взаимодействи  , инципу оптимального воздействи  Fb-iu-Uol;M -v| они имеют минимум при значени х менных, соответствующих решению екы дифференциальных уравнений, i$-t/3 -r--U«U , ак модель нейрона, функционируюпо приведенному выше разностногоритму , стремитс  с течением ни к самому наинизшему энергетич1ескому состо нию, какое только возможно при данной посто нной величине входного воздействи  путем соответствующего изменени  синаптических весов . За счет того, ЧТОУ: на выходе нейрона осуществл етс  плавное уменьшение частоты выдачи приращений, т.е. осуществл етс  так называема  частотна  адаптаци  нейрона к входному воздействию посто нной интенсивности.

Совмещение в одной модели нескТЗльких функций, выполн емых п араллельн.о и одновременно, и.расширение функциональных возможностей делает модель более эффективной при пользовании в устройствах моделировани  биологических процессов. Использование- циф ровых интеграторов и сумматоров во

всех без исключени  част х модели повышает точность моделировани  но-, вых функций и повышает технблогичносгь устройства. Повышению техноло гии служит и единообразие большого .капичертва достаточно сложных объеди нйний элементов модели,

изобретени 

.1,Мбдель адаптивного нейрона, содержаща  першлй блок временного суквлировани , первый вход которого подключен к управл ющему входу модели, соединeннo y с входом независимой перемен ной выходного интегратора и первы взюдом блока адаптации, блок модопкровани  синапса, выход которого Соединен с соответствующим входом первого блока пространственного суммировани , выход которого подключён к второму BXOW первого блока временного суладировани , выход которого соединен с первым входом блока сравнени , выход которого подключен к входу под интегральной функции выходного интегратора , выход которого  вл етс  рыхоН дом модели, о тли ч а и щ а   о   тем, что, с целью повышени  точности моделировани , в иее введены два блока управлени  пластичностью, блок коррекции, второй блок пространствен ного суммировш1и , второй блок временного суммировани  и блоки умнхжени , перщле входам-которых соединены с соответствующими входами модели, управл ющий вход которой подключен к первому входу второго блока временного суммировани , выход которого

соеданен со ВТОЕДЛМ входом блока сравнени  и со входом перрого блока уп-, пластичностью, выход которого грдключен к первому входу блока коррёвгций и к вторым входам блоков умножени , выходы которых подключены

соответственно к входам второго блока пространственного суммировани , клход которого соединен с вторым входом второго блока временного суммировани , выход первого блока временного суммировани  подключен к второму входу блока коррекции, выход которо го соединен с вторым входом блока адаптации, выход которого подключен к третьему входу блока коррекции и к входу второго блока управлени  пластичностью , выход которого соединен с вторыми входами блоков моделировани  синапса.

2.Модель по П.1, о т л и ча ющ а   с   тем, что блок управлени  пластичностью содержит первый интегратор , вход независимой переменной

которого подключен к входу блока управлени  пластичностью, выход первог интегратора подключен к входу неза- висимой переменной второго интег- ратора, выход которого соединен с входом под()нтегральной функции пер- вого интегратора,с инверсным входом подынтегральной функции второго интератора и с выходом блока управлени  пластичностью.

3,Модель по П.1, о т л и ч а ю щ а   с   тем, что блок коррекции содержит первый интегратор , вход независимой переменной которого подключен к первому входу блока и к входу подннтегральной функции второго интегратс за, выход которого соединен с входом первого сумматора, другой вход которого подключен к выходу первого интегратора, вход под%|гатегральной функции которого соединен с входом независимой переменной второго интегратора и с втрЕим входом блока коррекции, выход первого сумматор подключен к входу независимой перелге;ной Tpetbero интегр-атора -и к входу пооднтетральной функции четвертого интегратора, выход которого соединен

с одним входом второго сумматора, другой вход которого подключен к выходу третьего интегратора, вход под нтеграпьной функции которого соеди . нён с входом независимой переменной четвертого интегратора и с третьим входом блока коррекции, выход второго сулвиатора подключен к выходу блока коррекции.

Источники информации, прин тые во внимание при экспертизе

1,.Авторское свидетельство СССР 512478, кл. G 06 G 7/60, .1974..., .

2. Авторское свидетельство СССР по за вке 2520500/18-24, кл, G 06 G 7/60 (прототип),

Claims (3)

1. Формула, изобретения

   ..1,М0дель адаптивного нейрона, содержащая первый блок временного суммирования, первый вход которого подключен к управляющему входу модели, соединенному с входом независимой переменной выходного интегратора и первые входом блока адаптации, блок Моделирования синапса, выход которого Сое'динен с соответствующим входом первого блока пространственного суммирования, выход которого подключён к второму входу первого блока временного суммирования, выход которого соединен с первым входом блока сравнения, выход которого подключен к входу подынтегральной функции выходного интег-! ратора, выход которого является выхо-i дом модели, о тли ч а ю щ а я с я тем,, что, с целью повышения точности моделирования, в нее введены два блока управления пластичностью, блок коррекции, второй блок пространственного суммирования, второй блок временного суммирования и блоки умножения, первые входа-которых соединены с соответствующими входами модели, управляющий вход которой подключен к первому входу второго блока временного суммирования, выход которого соеданен со вторым входом блока срав- 55 нения и со входом первого блока уп-, ' равлрния пластичностью, выход которого подключен к первому входу блока коррекции и к вторым входам блоков умножения, выходы которых подключены соответственно к входам второго блока пространственного суммирования, выход которого соединен с вторым входом второго блока временного суммирования, выход первого блока временного суммирования подключен к второму входу блока коррекции, выход которо го соединен с вторым входом блока ‘адаптации, выход которого подключен к третьему входу блока коррекции и к входу второго блока управления пластичностью, выход которого соединен с вторыми входами блоков моделирования синапса.
2. 2. Модель по п.1, о тл и ч'аю- щ а я с я тём, что блок управления пластичностью содержит первый интегратор, вход независимой переменной которого подключен к входу блока управления пластичностью, выход первого интегратора подключен к входу неэависимой переменной второго интег— ратбра, выход которого соединен с входом подынтегральной функции первбго интегратора,с инверсным входом подынтегральной функции второго интегратора и с выходом блока управления пластичностью. '
3. 3, Модель по п.1, о т л и ч а ю щ а я с я тем, что блок коррекции содержит первый интегратор , вход независимой переменной которого подключен к первому входу блока и к входу подынтегральной функции второго интегратора, выход которого соединен_ с одним входом первого сумматора,дру-

   35 гой вход которого подключен к выходу первого интегратора, вход подынтегральной функции которого соединен с входом независимой переменной второго интегратора и с вторым входом бло. ^;ка коррекции, выход первого сумматора подключен к вход; независимой переменной третьего интегратора и к входу подынтегральной функции четвертого интегратора, выход которого соединен с одним входом второго сумматора, другой вход которого подключен к выходу третьего интегратора, вход подынтегральной функции которого соединён с входом независимой переменной четвертого интегратора и с третьим входом блока коррекции, выход второго суьматора подключен к выходу блока коррекции.