RU2029368C1 - Устройство для моделирования нейрона - Google Patents

Abstract

Изобретение относится к бионике и вычислительной технике и может быть использовано в качестве элемента нейроподобных сетей при моделировании нейрофизиологических процессов в нервной системе, в устройствах обработки, анализа и распознавания образов, в системах управления интеллектуальными роботами, в цифровых нейрокомпьютерах. Цель изобретения - расширение функциональных возможностей и упрощение устройства. Для этого в устройство, содержащее блок изменения синаптических весов, первые n входов которого являются основными информационными входами устройства, а вторые n входов - установочными входами, введены n/m (m < n, n ≥ 12, m > 2) сумматоров, n/m выходных блоков, коммутатор и блок адресации, причем каждый выходной блок содержит первый и второй элементы И, первый и второй регистры и логический блок. При существенном упрощении устройство обладает более широкими функциональными возможностями, позволяющими моделировать, в частности, формально-логические, градуальные динамические адаптивные и неадаптивные модели нейронов, пронстранственный сумматор, вычислители скалярного произведения и цифровые интеграторы. 1 з.п. ф-лы, 11 ил.

Description

Изобретение относится к бионике и вычислительной технике и может быть использовано в качестве элемента нейроподобных сетей при моделировании нейрофизиологических процессов в нервной системе, в устройствах обработки, анализа и распознавания образов, в системах управления интеллектуальными работами, в цифровых нейрокомпьютерах.

Известны устройства (авт. св. СССР N 682910, кл. G 01 G 7/60, 1979; авт. св. СССР N 767788, кл. 1980), содержащие n блоков изменения синаптических весов, сумматор и пять цифровых интеграторов.

Недостатком этих устройств являются их недостаточные функциональные возможности, не позволяющие моделировать адаптивные нейроны.

Известно также устройство (авт. св. СССР N 736130, кл. G 06 G 7/60, 1980), содержащее n блоков моделирования синапса, адаптивный сумматор, три сумматора, блок сравнения и десять цифровых интеграторов. Устройство обладает более широкими функциональными возможностями и позволяет, в частности, моделировать адаптивные нейроны, но имеет высокую аппаратурную сложность.

Наиболее близким по технической сущности к заявляемому является устройство для моделирования адаптивного нейрона (авт.св. СССР N 708369, кл. G 06 G 7/60, 1980), содержащее блок суммирования синаптических весов, первые n входов которого являются входами устройства, причем выход блока суммирования синаптических весов соединен с входом переменной интегрирования первого цифрового интегратора, выход которого подключен к первому входу первого сумматора, второй вход которого соединен с выходом второго цифрового интегратора, вход переменной интегрирования которого подключен к выходу третьего цифрового интегратора, вход подынтегральной функции которого подключен к выходу первого сумматора, выход которого подключен к первому входу второго сумматора, выход которого соединен с входом подынтегральной функции четвертого цифрового интегратора, выход которого подключен к входу блока сравнения, выход которого является выходом устройства и соединен с входом переменной интегрирования пятого цифрового интегратора, выход которого подключен к первому входу третьего сумматора, второй вход которого соединен с выходом шестого цифрового интегратора, вход переменной интегрирования которого соединен с выходом седьмого цифрового интегратора, вход подынтегральной функции которого подключен к прямому выходу третьего сумматора, инверсный выход которого соединен с вторым входом второго сумматора, выход восьмого цифрового интегратора подключен к третьему входу сумматора, четверый вход которого соединен с выходом девятого цифрового интегратора, вход переменной интегрирования которого подключен к выходу третьего цифрового интегратора, входы переменной интегрирования третьего, четвертого, седьмого и восьмого цифровых интеграторов подключены к одному управляющему входу устройства, вторые n выходов блока суммирования синаптических весов и входы подынтегральной функции первого, второго, пятого, шестого, восьмого и девятого цифровых интеграторов соединены с другими управляющими входами устройства соответственно.

Недостатками прототипа являются недостаточно широкие функциональные возможности, не позволяющие использовать его для моделирования различных известных моделей нейронов, их функциональных узлов и ансамблей, а также высокая аппаратурная сложность, затрудняющая применение современной микроэлектронной технологии. Действительно каждый цифровой интегратор в своей минимальной конфигурации (работающий по формуле прямоугольников) содержит два сумматора, два регистра, умножитель и квантователь. Учитывая, что блок суммирования синаптических весов на n входов в прототипе также реализуется на цифровых интеграторах (по одному интегратору на каждый вход), можно считать, что аппаратурные затраты на реализацию прототипа ориентировочно составляют 2(n+9)+4 сумматоров, 2(n+9) регистров, n+9 умножителей, n+9 квантователей и один блок сравнения. Такой уровень сложности не позволяет при современном состоянии микроэлектронной технологии реализовать прототип в виде большой интегральной схемы, а следовательно, делает невозможным построение моделирующей нейроподобной сети или параллельного нейрокомпьютера, достаточной для практических целей размерности 10³-10²элементов.

Целью изобретения является расширение функциональных возможностей и упрощение устройства.

Цель достигается тем, что в устройство, содержащее блок изменения синаптических весов (в прототипе - блок суммирования синаптических весов), первые n входов которого являются основными информационными входами устройства, а вторые n входов - установочными входами, введены n/m (m<n, n>12, m>2) сумматоров, n/m выходных блоков, коммутатор и блок адресации, причем третьи n входов блока изменения синаптических весов являются дополнительными информационными входами устройства, а n/m выходов частичных сумм подключены соответственно к первым входам каждого из n/m сумматоров, вторые m входов каждого из которых подключены соответственно к первой группе из n выходов коммутатора, выходы всех n/m сумматоров подключены к входам соответствующих n/m выходных блоков, к первой группе из n/m входов коммутатора и являются первой группой из n/m выходов устройства, первые, вторые и третьи выходы всех выходных блоков подключены соответственно к второй, третьей и четвертой группам из n/m входов коммутатора и являются соответственно второй, третьей и четвертой группами из n/m выходов устройства, а четвертые выходы всех выходных блоков подключены к третьим одиночным входам соответствующих сумматоров, вторая и третья группы из n выходов коммутатора подключены соответственно к n основным и n дополнительным информационным входам устройства, а адресные входы коммутатора подключены к выходам блока адресации, каждый выходной блок содержит первый и второй элементы И, первые входы которых соединены и являются входом выходного блока, первый и второй регистры, входы которых подключены соответственно к выходам первого и второго элементов И, и логический блок, входы которого подключены к выходам второго элемента И и второго регистра, которые наряду с выходами логического блока и первого регистра являются соответственно первым, вторым, третьим и четвертым выходами выходного блока.

Наличие отличительных признаков: n/m сумматоров, n/m выходных блоков, коммутатора и блока адресации с указанными выше связями обуславливает соответствие заявляемого технического решения критерию "новизна". Заявляемое техническое решение соответствует также критерию "существенные отличия", поскольку не обнаружено решений с признаками, сходными с признаками, отличающими заявляемое техническое решение от прототипа.

Возможность достижения цели изобретения - расширение функциональных возможностей и упрощение устройства - обуславливается наличием перечисленных отличительных существенных признаков предлагаемого технического решения. Действительно, изменяя с помощью блока адресации программу настройки коммутатора предлагаемого устройства можно, в частности, воспроизводить формально-логические модели нейронов, градуальные модели нейронов, динамические модели неадаптивных нейронов, динамические адаптивные модели нейронов с адаптацией либо по входу, либо по выходу, либо и по входу и по выходу одновременно, пространственный сумматор на n входов, вычислители скалярного произведения, цифровые интеграторы.

Заявляемое устройство, кроме того, проще прототипа. Так, при m=2, что уже достаточно для реализации всех перечисленных выше функций, оно содержит n+n/2 сумматоров, 2n+2 регистров (блок адресации - это, по существу, два адресных регистра), n умножителей, n триггеров, 3n элементов типа И(ИЛИ), один коммутатор. Полагая, например, n=12, получают для прототипа 46 сумматоров, 42 регистра, 21 умножитель, 21 квантователь, один блок сравнения, для заявляемого устройства 18 сумматоров, 26 регистров, 12 умножителей, 12 триггеров, 36 элементов типа И(ИЛИ), один коммутатор.

Наличие существенных отличительных признаков предлагаемого технического решения позволяет, расширив функциональные возможности прототипа, одновременно упростить его и тем самым достичь цели изобретения.

На фиг. 1 приведена структурная схема устройства; на фиг.2 - функциональная схема блока изменения синаптических весов; на фиг.3 - структурно-функциональная схема выходного блока; на фиг.4 - функциональная схема логического блока; на фиг.5 - структурно-функциональная схема коммутатора и блока адресации.

Устройство для моделирования нейронов (фиг.1) содержит блок 1 изменения синаптических весов, который имеет n основных информационных входов 2₁, 2₂, . . . , 2_n, n дополнительных информационных входов 3₁,3₂,...,3_n и n установочных входов 4₁,4₂,...,4_n. Выходы частичных сумм по m слагаемых каждая этого блока подключены к входам 5₁,5₂,...,5_n/mкомбинационных сумматоров 6₁, 6₂, ...,6_n/m. Выходы сумматоров 6₁,6₂,...,6_n/m подключены к входам выходных блоков 7₁, 7₂. ..,7_n/m и являются первой группой из n/m выходов 8₁,8₂,..., 8_n/m устройства. Выходные блоки 7₁,7₂,...,7_n/m имеют выходы 9₁,9₂,...,9_n/m, 10₁, 10₂, ...,10_n/m, 11₁,11₂,...,11_n/m, которые составляют вторую, третью и четвертую группы из n/m выходов устройства и, кроме того, вместе с группой выходов 8₁, 8₂, . . .,8_n/m подключены к одноименным входам коммутатора 12. Сумматоры 6₁,6₂,...,6_n/m имеют группы по m входов 13₁₁,13₁₂,...,13_1m,13₂₁, 13₂₂, . . . , 13_2m, 13_n/m1, 13n/_m2,..., 13_n/mm, которые подключены к одноименным выходам коммутатора 12, а также одиночные входы 14₁,14₂,...,14_n/m, которые подключены к соответствующим выходам 15₁,15₂,...,15_n/m выходных блоков 7₁, 7₂,...,7_n/m. Основные 2₁,2₂,...,2_n и дополнительные 3₁,3₂,...,3_n входы устройства подключены также к одноименным выходам коммутатора 12. Адресные входы 16₁ и 16₂коммутатора 12 подключены к выходам блока 17 адресации.

Блок 1 изменения синаптических весов (фиг.2) состоит из n однотипных ячеек, каждая из которых содержит последовательно соединенные регистр 18 сдвига, сумматор 19 и умножитель 20. Выход сумматора 19 подключен к входу регистра 18 сдвига. Вторые входы умножителей 20 и сумматоров 19 составляют соответственно основные 2₁,2₂,...,2_n и дополнительные 3₁,3₂,...,3_n информационные входы устройства, а вторые входы регистров 18 сдвига - установочные входы 4₁,4₂,...,4_n устройства. Выходы умножителей 20 по m объединяются на сумматорах 21, выходы которых являются выходами 5₁,5₂,...,5_n/m частичны сумм блока изменения синаптических весов.

Выходной блок 7 (фиг.3) содержит элементы И 22, 23, первые входы которых соединены и являются входом блока 7, регистры 24, 25 сдвига, входы которых подключены к выходам элементов И 22, 23 соответственно логический блок 26, входы которого подключены к выходам элемента И 22 и регистра 24 сдвига. Вторые входы элементов И 22, 23, а также третий, четвертый, пятый и шестой входы логического блока 26 являются управляющими входами 27 устройства. Выходы элемента И 22, регистра 24 сдвига, логического блока 26 и регистра 25 сдвига являются соответственно выходами 9, 10, 11 и 15 выходного блока 7 и всего устройства.

Логический блок 26 (фиг.4) содержит триггеры 28, 29, первые входы которых соединены и являются первым входом 30 логического блока 26, который подключен к выходу элемента И 22, элементы И 31, 32, первые входы которых подключены к инверсному выходу триггера 29, элементы И 33, 34, первые входы которых подключены соответственно к выходам элементов И 31, 32, при этом второй вход элемента И 33 является вторым входом 35 логического блока 26 и подключен к выходу регистра 24 сдвига, а второй вход элемента И 34 подключен к прямому выходу триггера 28, элемент ИЛИ 36, входы которого подключены к выходам элементов И 33, 34, а выход является выходом логического блока 26 и третьим выходом 11 выходного блока 7 и всего устройства. Вторые входы триггеров 28, 29 и элементов И 31, 32 являются соответственно управляющими входами 27₃, 27₄, 27₅, 27₆логического блока 26.

Коммутатор 12 (фиг. 5) содержит матрицу 37 триггерных ключей, входы выборки которых по ося Х и Y подключены к выходам адресных дешифраторов 38₁, 38₂. Входы дешифраторов 38₁, 38₂ подключены к разрядным выходам адресных регистров 39₁, 39₂, составляющих, по существу, блок 17 адресации устройства. Информационные входы коммутатора подключены к матрице 37 триггерных ключей. Информационные выходы коммутатора 12 через буферный регистр 40 подключены к информационным выходам матрицы 37. Коммутатор 12 имеет также вход 41 управления записью программы коммутации и вход 42 управления выдачей информации. Коммутатор может быть выполнен на серийной микросхеме К1801ВП1.

Перед началом работы устройства осуществляется сброс в нулевое состояние регистров 18₁,...,18_n и регистров умножителей 20₁,...,20_nблока 1 изменения синаптических весов (фиг.1 и 2), регистров 24, 25 выходного блока 7 (фиг. 1 и 3), триггеров 28, 29 логического блока 26 выходного блока 7 (фиг. 1, 3 и 4), адресных регистров 39₁,39₂ блока 17 адресации (фиг.1 и 5) и буферного регистра 40 коммутатора 12 (фиг.1 и 5). После этого осуществляется настройка устройства на выбранный режим работы. Для этого в адресные регистры 39₁, 39₂ блока 17 адресации записывается требуемый код коммутации. Коммутатор 12 имеет 3n выходов и 4n/m входов, подключенных соответственно к информационным входам и через буферный регистр 40 к информационным выходам матрицы 37 триггерных ключей. Иными словами матрица триггерных ключей коммутатора имеет размерность 3nx4n/m. Чтобы образовать требуемый канал связи между i-м информационным входом и j-м информационным выходом матрицы 37 коммутатора 12, в регистры 39₁ и 39₂ записываются соответствующие коды коммутации, под действием которых на выходах дешифраторов 38₁ и 38₂появляются единичные сигналы, переводящие в единичное состояние триггерный ключ, стоящий на пересечении j-й строки и i-го столбца матрицы 37. Размерность кодов коммутации и, следовательно, разрядность регистров 39₁ и 39₂ соответственно log₂3n и log₂4n/m. Последовательно осуществляя описанным выше способом построение требуемых каналов связи, реализуют необходимую систему коммутации между информационными входами и выходами матрицы 37 триггерных ключей коммутатора 12. После задания требуемой системы коммутации в коммутаторе осуществляется настройка логических блоков 26 выходных блоков 7₁, . . .,7_n/m (путем подачи единичного или нулевого сигнала на управляющие входы 27₅,27₆) на выполнение функций sign P_i, max{0,P_i} или отключение этих блоков, а затем запис в соответствующие регистры 18₁,...,18_n блока изменения синаптических весов параметров реализуемых моделей нейрона. После этого устройство готово к работе.

Рассмотрим процесс настройки и работу устройства для различных режимов функционирования.

Режим работы 1: n/m формально-логических моделей нейрона на m входов каждая. В этом режиме устройство реализует ансамбль n/m не связанных между собой формально-логических нейронов на m входов каждый. При таком режиме не требуется устанавливать каналы связи между входами и выходами коммутатора 12, поэтому в регистрах 39₁ и 39₂ коммутатора хранятся нулевые коды коммутации, сформированные в них на этапе сброса всех регистров устройства в нулевое состояние. На управляющие входы 27₅, 27₆ логического блока 26 каждого выходного блока 7₁, . ..,7_n/m подаются соответственно нулевой и единичный потенциалы, настраивающие их на выполнение функции sign P_i. Затем в регистры 18₁,...,18_n через установочные входы 4₁,...,4_n блока 1 изменения синаптических весов записываются начальные значения синаптических весов γ _i1,..., γ_inmмоделей нейронa: синаптические веса _γi1,..., γ_im для каждой из n/m моделей нейрона. После этого устройство готово к приему входных сигналов Х_i1, ...X_im в каждую из n/m моделей нейрона через информационные входы 2₁,...,2_n устройства. Работает устройство в соответствии с временной диаграммой, представленной на фиг.6. В течение первых k тактов времени осуществляются прием через основные информационные входы 2₁,...,2_nустройства k-разрядных двоичных кодов входных сигналов Х_i1,...,X_in в регистры умножителей 20₁, 20_n блока 1 изменения синаптических весов (фиг.1 и 2) и одновременно выдача из регистров 24 через информационные выходы 11₁,...,11_n/m выходных блоков 7₁,. . . , 7_n/m k-разрядных двоичных кодов выходных сигналов у_выхi каждой из n/m моделей нейрона. При необходимости в эти же первые k тактов времени через дополнительные информационные входы 3₁,...,3_n могут поступать k-разрядные двоичные коды приращений Δγ_i4,... Δγ_in синаптических весов и суммироваться на сумматорах 19₁,...,19_n блока изменения синаптических весов (фиг.1 и 2) с синаптическими весами γ_i-1,1,... γ_i-1,n, полученными на предыдущем (i-1)-м шаге работы устройства. После этого в течение последующих 2k тактов времени осуществляются умножение в умножителях 20₁,...,20_nвходных сигналов Х_i1,..., X_in на синаптические веса γ_i1,..., γ_in и затем суммирование в сумматорах 21₁, . ..,21_n/m полученных 2k-разрядных произведений (по m произведений для каждой из n/m моделей нейрона). Полученные n/m сумм произведений с выходов блока 1 изменения синаптических весов поступают на входы 5₁,...,5_n/m сумматоров 6₁,...6_n/m, проходят через эти сумматоры и появляются на их выходах. Таким образом, в течение рассматриваемых 2k тактов времени на выходе каждого из сумматоров 6₁,...,6_n/m формируется 2k-разрядный двоичный код числа
P_i=

X_ijγ_ij
Как видно из временной диаграммы на фиг.6, под действием управляющего сигнала f₂₇₁ (поступающего на управляющий вход 27₁ каждого выходного блока 7₁, ...,7_n/m) старшие k разрядов (вместе со знаком) каждого из n/m чисел P_i через элементы И 22 (фиг.3) записываются в регистры 24 выходных блоков 7₁,. ..,7_n/m. При этом перед поступлением k старших разрядов числа P_i осуществляется сброс в нулевое состояние триггеров 28 логических блоков 26 каждого выходного блока 7₁,...,7_n/mпутем подачи в любом из k+1,...,2k (на фиг.6 в (k+1)-м такте) тактах времени управляющего сигнала f₂₇₃ на управляющие входы 27₃ логических блоков 26 каждого выходного блока 7₁,...,7_n/m, а в момент поступления самого старшего (знакового) разряда каждого числа P_i на управляющий вход 27₄ логического блока 26 каждого выходного блока 7₁,...,7_n/m подается единичный сигнал f₂₇₄ (фиг.6), под действием которого в триггер 29 логического блока 26 каждого выходного блока 7₁,...,7_n/m записывается значение знакового разряда соответствующего числа P_i: триггер 29 переходит в состояние "1", если P_i<0, и в состояние "0", если P_i ≥ 0. Если число P_i<0, то элемент И 32 логического блока 26 каждого выходного блока 7₁,..., 7_n/m закрыт и на выходе 11 каждого выходного блока 7₁,...,7_n/m в течение последующих k тактов времени формируется нулевой сигнал. Если P_i=0 (т.е. среди значащих разрядов нет ни одной "1"), то триггеры 28, 29 логического блока 26 каждого выходного блока 7₁,...,7_n/mнаходятся в нулевом состоянии элемент И 32 открыт, но элемент И 34 закрыт) и на выходе 11 каждого выходного блока 7₁,...,7_n/m также сформирован двоичный k-разрядный код нуля. Когда P_i>0, то триггер 28 переходит в единичное состояние, элементы И 32 и 34 открыты и на выходе 11 каждого выходного блока 7₁,...,7_n/m в течение k тактов времени формируется единичный сигнал. Таким образом, при данном режиме работы устройство реализует работу ансамбля из n/m не связанных между собой формально-логических моделей нейрона, каждый из которых выполняет следующий алгоритм:
P_i=

X

у_выхi=sign P_i.

Из данного режима работы устройства для моделирования нейронов легко осуществить переход к другому режиму: n/m связанных между собой формально-логических моделей нейрона на m входов каждая. Для этого требуется только установить требуемую структуру синаптических связей между моделями нейрона, что достаточно просто реализуется коммутатором 12 путем построения (описанным выше способом) необходимых каналов связи между входами и выходами коммутатора, которые подключены к нужным информационным выходам 11₁,.. .,11_n/m и входам 2₁,...,2_n устройства (фиг.1). Работа устройства в этом режиме для каждой из n/m моделей нейрона осуществляется в соответствии с временной диаграммой на фиг.6.

При необходимости можно перейти и к другому близкому режиму работы устройства: одна формально-логическая модель нейрона на n входов. В этом режиме логические блоки 26 выходных блоков 7₁,...,7_n/m-1 отключаются путем подачи нулевых потенциалов на их управляющие входы 27₅, 27₆, а логический блок 26 выходного блока 7_n/m остается настроенным на реализацию функции у_выхi= sign P_i (как это было показано для основного режима 1). После этого осуществляется объединение n/m сумматоров 6 в один сумматор на n входов. Для этого в коммутаторе 12 реализуются каналы связи, соединяющие выход 8_l (l= 1,2, . . . , n/m-1) каждого предыдущего сумматора 6_l с одним из входов 13_l+1,1, ...,13_l+1,m последующего сумматора 6_l+1 (фиг.1). Работа устройства в этом режиме осуществляется описанным выше способом в соответствии с временной диаграммой на фиг.6.

Режим работы 2: n/m градуальных моделей нейрона на m входов каждая. В этом режиме устройство реализует работу ансамбля из n/m не связанных между собой градуальных моделей нейрона на m входов каждая. Настройка устройства осуществляется так же, как и для режима n/m формально-логических моделей нейрона. Отличие состоит только в том, что на управляющие входы 27₅, 27₆ логического блока 26 каждого выходного блока 7₁,...,7_n/m подаются соответственно единичный и нулевой потенциалы, настраивающие логические блоки на выполнение функции у_выхi=max{0, P_i}. Работа устройства осуществляется в соответствии с временной диаграммой на фиг.6. После формирования в регистре 24 каждого выходного блока 7₁,...,7_n/m k старших разрядов соответствующего значения величины P_i=

X

на управляющий вход 27₄ логического блока 26 каждого выходного блока 7₁,...,7_n/m подается управляющий сигнал f₂₇₄, под действием которого триггер 29 переходит в единичное (если P_i<0) либо в нулевое (P_i ≥ 0) состояние. Тогда, если P_i ≥ 0, то элемент И 31 открывается и величина P_iс выхода регистра 24 через вход 35 и элемент И 33 логического блока 26 каждого выходного блока 7₁,...,7_n/m (фиг.1, 3 и 4) в течение последующих k тактов времени появляется на выходе 11 выходных блоков 7₁,..., 7_n/m. Если P_i<0, то элемент И 31 логического блока 26 каждого выходного блока 7₁,...,7_n/m закрыт и на выходе 11 выходных блоков 7₁,...,7_n/m в течение k тактов времени формируется нулевой сигнал. Иными словами в данном режиме устройство реализует работу ансамбля из n/m не связанных между собой градуальных моделей нейрона, каждый из которых выполняет алгоритм P_i=

X

у_выхi=max{0, P_i}.

Из этого режима работы устройства можно легко перейти к близким режимам: n/m связанных между собой градуальных моделей нейрона и одна градуальная модель нейрона на n входов. Такой переход осуществляется таким же способом, как и для описанного выше режима 1.

Режим работы 3: динамическая модель неадаптивного нейрона на n-2m входов. Для реализации этого режима в коммутаторе 12 реализуется система каналов связи между блоками устройства (каналы связи выделены) в соответствии с фиг. 7. Реализация этих каналов связи осуществляется путем задания соответствующих кодов коммутации в блоке 17 адресации и перевода в единичное состояние требуемых триггерных ключей матрицы 37 коммутатора 12, как это показано выше. В соответствии с показанной на фиг.7 коммутацией выход 10₁ устройства соединяется с основным информационным входом 2m+1 устройства, выход 9₂ устройства подключается к дополнительному информационному входу 3₁ устройства, а сумматоры 6₃,...,6_n/m объединяются в один общий сумматор на n-2m входов путем соединения каждого l-го выхода 8_l устройства (l=n/m,..., 3) с одним из входов 13_l-1,1,...,13_l-1,m предыдущего сумматора 6_l-1, и выход 8₃последнего из этих сумматоров 6₃ подключается к любому одному из входов 13₂₁,...,13_2m (на фиг.7 вход 13_2m) сумматора 6₂. После этого в регистр 18_m+1 блока 1 изменения синаптических весов (фиг.1, 2 и 7) через установочный вход 4_m+1 записывается двоичное k-разрядное значение коэффициента инерционности (- α_i) модели нейрона, в регистр 18_2m через установочный вход 4_2m записывается двоичное значение порога ( θ _i) модели нейрона, а в регистры 18_2m+1, . . . ,18_n через установочные входы 4_2m+1,...,4_n записываются двоичные значения синаптических весов γ_i,2m+1,..., γ_i,n модели нейрона. Логические блоки 26 выходных блоков 7₂,...,7_n/m отключаются путем подачи на их управляющие входы 27₅, 27₆нулевых потенциалов, а логический блок выходного блока 7₁ настраивается на реализацию функции у_выхi=max{0, P_i} путем подачи на его управляющие входы 27₅, 27₆ соответственно единичного и нулевого потенциалов. После этого устройство готово к приему двоичных k-разрядных значений входных сигналов Х_i,2m+1 Δ t,...,X_i,n Δ t, поступающих через основные информационные входы 22_m+1,...,2_n устройства. Работает устройство в соответствии с временной диаграммой на фиг.8. В течение первых k тактов времени осуществляются прием через основные информационные входы 2_2m+1,..., 2_n устройства k-разрядных двоичных значений входных сигналов Х_i,2m+1 Δ t,.. .,X_i,n Δ t, которые записываются в регистры умножителей 20_2m+1,...,20_n блока 1 изменения синаптических весов, а также выдача из регистра 24 выходного блока 7₁ через выход 11₁ устройства выходного сигнала у_выхi Δ t модели нейрона и через выход 10₁ устройства величины мембранного потенциала (P_i-1Δ t) модели нейрона, которая по имеющемуся каналу связи (фиг.7) через информационный вход 2_m+1 записывается в регистр умножителя 20_m+1. На первом шаге, т. е. при i=1, величина P_o Δ t=0 и формируется автоматически путем сброса всех регистров устройства в нулевое состояние. В течение первых k тактов времени осуществляется запись через информационный вход 2_2m в регистр умножителя 20_2m блока 1 изменения синаптических весов k-разрядного двоичного кода величины независимой переменной Δ t и при необходимомсти через дополнительные информационные входы 3_m+1, 3_2m, 3_2m+1,..., 3_n могут поступать k-разрядные двоичные коды приращений Δα_i, Δθ_i, Δγ_{i, 2m+1},..., Δγ_i,n, которые суммируются в сумматорах 19_m+1, 19_2m, 19_2m+1,...,19_n(фиг.1, 2 и 7) с величинами α_i-1, θ_i-1, γ_{i-1, 2m+1}, ..., γ_{i-1, n}, полученными на предыдущем (i-1)-м шаге работы устройства.

В течение следующих 2k тактов работы устройства происходит умножение в умножителях 20_2m+1, . ..,20_n блока 1 изменения синаптических весов входных сигналов Xi_,2m+1 Δ t,... X_i,n, Δ t на синаптические веса γ_i,2m+1, ... γ_i,n в умножителе 20_m+1 величины P_i-1 Δ t на коэффициент α_i, в умножителе 20_2m величины порога θ_i на независимую переменную Δ t и суммирование на сумматорах 21₂,...21_n/m, 6_n/m,...,6₂полученных произведений. В результате в течение рассматривыемых 2k тактов времени на выходе сумматора 6₂ формируется 2k-разрядный двоичный код числа
ΔP_i= -α_iP_i-1Δt+

X_ij·Δt·γ_ij-θ_iΔt
Как видно из фиг.8, под действием уп-равляющего сигнала f

2, поступающего на управляющий вход 27₁ выходного блока 7₂, старшие k разрядов числа Δ P_i поступают (фиг.7) через выход 9₁, канал связи в коммутаторе 12, вход 3₁ на сумматор 19₁ блока 1 изменения синаптических весов, где суммируется с величиной P_i-1, полученной на предыдущем (i-1)-м шаге (на первом шаге при i= 1 величина P_o=0 и формируется автоматически путем сброса всех регистров устройства в нулевое состояние) и хранящейся в регистре 18₁. Одновременно с этим через информационный вход 2₁ устройства осуществляется запись k-разрядного двоичного значения независимой переменной Δ t в регистр умножителя 20₁блока изменения синаптических весов. После этого в течение следующих 2k тактов происходит умножение в умножителе 20₁ величины P_i= =Δ P_i+P_i-1 на независимую переменную Δ t. Формируемое в течение этих 2k тактов времени 2k-разрядное произведение P_i Δ t проходит через сумматоры 21₁ и 6₁(фиг. 7), и в соответствии с временной диаграммой на фиг.8 под действием управляющего сигнала f

1, поступающего на управляющий вход 27₁, выходного блока 7₁, k старших разрядов этого произведения записываются в регистр 24 выходного блока 7₁ (фиг.1, 3 и 7). При этом в момент поступления самого старшего (знакового) разряда (на фиг.8 в 5-м такте времени) числа P_i Δ t на управляющий вход 27₄ логического блока 26 выходного блока 7₁ подается единичный управ- ляющий сигнал f

1, под действием которого в триггер 29 логического блока 26 выходного блока 7₁записывается значение знакового разряда величины P_i Δ t: триггер 29 переходит в состояние "1", если P_i Δ t<0, и в состояние "0", если P_i Δ t ≥ 0. Как указывалось выше, логический блок 26 выходного блока 7₁настроен на выполнение функции у_выхi=max{0, P_i}. Таким образом, в данном режиме устройство реализует алгоритм работы динамического неадаптивного нейрона, который имеет следующий вид:
ΔP_i= -α_iP_i-1Δt+

X_ij·Δt·γ_ij-θ_iΔt
у_выхi+1 Δ t=max{0, P_{i Δ} t}.

В следующие 5k тактов времени работа устройства полностью повторяется в соответствии с временной диаграммой на фиг.8.

Режим работы 4: динамическая модель адаптивного нейрона на n-6m входов. Для реализации этого режима в коммутаторе 12 реализуется (описанным выше способом) система каналов связи между блоками устройства в соответствии с фиг. 9 (каналы связи выделены). В соответствии с показанной на фиг.9 коммутацией выход 10₁ устройства соединяется с основными информационными входами 2_m+1 и 2_6m устройства, выход 9₂устройства подключается к дополнительным информационным входам 3₁ и 3_2m+1 устройства, выход 11₃ устройства подключается к основному информационному входу 2_5m+1, выход 10₁ устройства соединяется с основным информационным входом 2_4m+1, выход 9₅ устройства подключается к дополнительным информационным входам 3_3m и 3_3m+1, выход 8₆ устройства подключается к одному из входов 13_5,1. ..,13_5,m (на фиг.9 вход 13_5,m), а сумматоры 6₇,...,6_n/m объединяются в один общий на n-6m входов путем соединения каждого l-го выхода 8 устройства (l=7,...,n/m) с одним из входов 13_l+1,1,...,13_l+1,m последующего сумматора 6_l+1, и выход 8_n/mпоследнего из этих сумматоров 6n/m соединяется с одним из входов 13_2,1, . . . ,13_2,m (на фиг.9 вход 13_2,m сумматора 6₂. После этого в регистр 18_m+1 блока 1 изменения синаптических весов через установочный вход 4_m+1(фиг.1, 2 и 9) записывается k-разрядный двоичный код числа - α_i,1, в регистр 18_4m+1 через установочный вход 4_4m+1 - код числа - α_i,2, в регистр 18_5m через установочный вход 4_5m - код числа - θ*, в регистр 18_5m+1 через установочный вход 4_5m+1 - код числа α_1,4, в регистр 18_6mчерез установочный вход 4_6m - код числа - α_i,3, а в регистры 18_6m+1,..., 18_n через установочные коды 4_6m+1, . ..,4_n - коды чисел γ_i,6m+1,..., γ_i,n. Логические блоки 26 выходных блоков 7₁, 7₂, 7₄,...,7_n/mотключаются путем подачи на их управляющие входы 27₅, 27₆ нулевых потенциалов, а логический блок 26 выходного блока 7₃ настраивается на реализацию функции у_выхi=max{0, P_i} путем подачи на его управляющие входы 27₅ и 27₆ соответственно единичного и нулевого потенциалов. После этого устройство готово к приему k-разрядных двоичных кодов входных сигналов Х_{i, 6m+1} Δ t,...,X_i,n Δ t, поступающих через основные информационные входы 2_6m+1, . ..,2_n устройства. Работает устройство в соответствии с временной диаграммой на фиг.10. В течение первых k тактов времени k-разрядные коды чисел Х_{i, 6m+1} Δ t,...,X_i,n Δ t через основные информационные входы 2_6m+1,...,2_n устройства записываются в регистры умножителей 20_6m+1, ...,20_n блока 1 изменения синаптических весов (фиг.1, 2 и 9). В это же время из регистра 24 выходного блока 7₁ выдается код числа P_i-1 Δ t (на первом шаге при i=1 величина P_o=0 и формируется автоматически путем сброса всех регистров устройства в ноль), которое через выход 10₁ по имеющемуся каналу связи (фиг.9) через основные информационные входы 2_m+1 и 2_6m записывается в регистры 18_2m+1 и 18_6mблока изменения синаптических весов, из регистра 24 выходного блока 7₃выдается код числа у_{вых, i-1} Δ t (на первом шаге при i=1 величина у_выхо=0 и формируется автоматически при сбросе всех регистров устройства в ноль), которое через выход 11₃ устройства, имеющийся канал связи (фиг. 9), через вход 2_5m+1 записывается в регистр умножителя 20_5m+1, из регистра 24 выходного блока 7₄ выдается код числа θ_i-1 Δ t (на первом шаге при i=1 величина θ_о=0 и формируется автоматически при сбросе всех регистров устройства в ноль), которое через выход 10₄ по имеющемуся каналу связи (фиг.9), через основной информационный вход 2_4m+1записывается в умножитель 20_4m+1. В течение первых k тактов времени осуществляется запись через информационный вход 2_5m в регистр умножителя 20_5m кода числа Δ t и при необходимости через дополнительные информационные входы 3_m+1, 3_4m+1, 3_5m+1, 3_6m, 3_6m+1, . . . ,3_n могут поступать коды приращений Δα_i,1, Δα_i,2, Δα_i,4, Δα_i,3, Δγ_6m+1, . . ., Δγ_n, которые суммируются на сумматорах 19_m+1, 19_4m+1, 19_5m+1, 19_6m, 19_6m+1,...,19_n блока изменения синаптических весов с величинами α_i-1,1, α_i-1,2, α_i-1,4, α_i-1,3, γ_{i-1, 6m+1},..., γ_i-1,n, полученными на предыдущем (i-1)-м шаге работы устройства.

В течение следующих 2k тактов работы устройства происходит операция умножения в умножителях 20_6m+1,...,20_n величин Х_i,6m+1 Δ t,...,X_i,n Δ t на γ_i,6m+1, ..., γ_i,n, в умножителе 20_6m величины P_i-1 Δ t на - α _i,3, в умножителе 20_5m+1 величины у_выхi-1 Δ t на - α _i,4, в умножителе 20_5mвеличины - θ * на Δ t, в умножителе 20_4m+1 величины θ _i-1 Δ t на -α _i,2, в умножителе 20_2m+1 величины P_i-1 Δ t на -α _i,1 и суммирование указанных 2k-разрядных произведений на сумматорах 21₂, 21₅, 21₆,...,21_n/m, 6₂, 6₅, 6₆,...,6_n. В результате в течение рассматриваемых 2k тактов времени на выходе сумматора 6₂ формируется 2k-разрядный код числа
ΔP_i= -α_i,1P_i-1Δt+

X_i,j·Δt·γ_ij а на выходе сумматора 6₅ формируется 2k-разрядный код числа
Δ θ_i =- α _i,2 θ _i-1Δ t- θ * Δ t- α _i,3P_i-1 Δ t- α _i,4y_выхi-1 Δ t.

Как видно из временной диаграммы на фиг.10, под действием управляющего сигнала f

2, поступающего на управляющий вход 27₁выходного блока 7₂, старшие k разрядов числа Δ P_i поступают (фиг.9) через выход 9₂, имеющийся канал связи, входы 3₁ и 3_2m+1 на сумматоры 19₁и 19_2m+1, где суммируются с величиной P_i-1, полученной на предыдущем шаге (на первом шаге P_o=0) и хранящейся в регистрах 18₁ и 18_2m+1, а под действием управляющего сигнала f

5, поступающего на управляющий вход 27₁ выходного блока 7₅, старшие k разрядов числа Δθ_i поступают через выход 9₅, имеющийся канал связи (фиг.9), входы 3_3m и 3_3m+1 на сумматоры 19_3m и 19_3m+1, где суммируются с величиной θ_i-1, полученной на предыдущем (i-1)-м шаге (на первом шаге θ _о=0) и хранящейся в регистрах 18_3m и 18_3m+1. Одновременно с этим через информационные входы 2₁, 2_2m+1, 2_3m, 2_3m+1 устройства осуществляется запись k-разрядного числа Δ t в регистры умножителей 20₁, 20_2m+1, 20_3m, 20_3m+1 блока 1 изменения синаптических весов.

После этого в течение следующих 2k тактов времени происходит умножение в умножителях 20₁, 20_2m+1, 20_3m, 20_3m+1 соответственно величины P_i=P_i-1+ Δ P_i на Δ t, величины P_i=P_i-1+Δ P_i на Δ t, величины θ_i= =θ_i-1+ Δ θ _i на Δ t, величины θ_i= θ_i-1+ Δ t на Δ t, формируемые в течение этих 2k тактов времени 2k-разрядные произведения P_i Δ t, P_i Δ t, θ_i Δt, θ_i Δ t проходят через сумматоры 21₁, и 6₁, 21₃и 6₃, 21₄ и 6₄ и под действием управляющих сигналов f

1, f

3, f

4, поступающих на управляющие входы 27₁ выходных блоков 7₁, 7₃, 7₄(фиг.3 и 10), k старших разрядов величины P_i Δ t записываются в регистр 24 выходного блока 7₁, k старших разрядов величины P_i Δ t- θ_i Δ t записываются в регистр 24 выходного блока 7₃ и k старших разрядов величины θ_i Δ t записываются в регистр 24 выходного блока 7₄. При этом в момент поступления самого старшего (знакового) разряда величины P_i Δ t- θ _i Δ t (на фиг. 10 5k такт времени) на управляющий вход 27₄логического блока 26 выходного блока 7₃ подается единичный управляющий сигнал f

3 , под дей- ствием которого в триггер 29 логического блока 26 выходного блока 7₃записывается значение знакового разряда числа P_iΔt-θ_i Δ t. После этого логический блок 26 выходного блока 7₃ оказывается настроенным на реализацию функции у_выхi= max{ 0, P_i} (функционирование блока 26 при реализации этой функции описано выше). В результате в данном режиме устройство реализует алгоритм работы динамического адаптивного по входу и выходу нейрона, который имеет следующий вид:
ΔP_i= -α_i,1P_i-1Δt+

X_i,j·Δt·γ_ij
Δ θ _i=- α _i,2 θ _i-1Δ t- θ *Δ t- α _i,3P_i-1Δ t-
- α _i,4 y_{вых i-1}Δ t;
y_выхin Δ t=max{0,(P_i Δ t- θ_i Δ t)}.

В следующие 5k тактов времени работа устройства полностью повторяется в соответствии с временной диаграммой на фиг.10. При необходимости реализации модели динамического адаптивного по входу нейрона достаточно положить значение α _i,4= 0, а для модели динамического адаптивного по выходу нейрона требуется положить α _i,3=0.

Режим работы 5: пространственный сумматор на n входов и вычислитель скалярного произведения n-компонентных векторов. Для реализации этого режима сумматоры 6₁, ...,6_n/m объединяются в один общий сумматор на n входов. Для этой цели в коммутаторе 12 реализуется система каналов связи, при которой выход 8_l (l=n/m,...,2) каждого l-го выходного блока 7_l подключается к одному из входов 13_l-1,1,...,13_l-1, m предыдущего выходного блока 7_l-1, а выход последнего выходного блока 7₂ подключается к любому из входов 13_1,1,. . . ,13_1,m выходного блока 7₁. В результате на выходе 8₁ выходного блока 7₁ можно получить 2k-разрядный двоичный код величины

X_i,jγ_i,j, которая является пространственной суммой или скалярным произведением векторов

и

. В тоже время при наличии управляющих сигналов (как это было показано на временных диаграммах фиг.8 и 10) 27₁ выходного блока 7₁, можно получить на выходе 9₁ или 10₁ k-разрядный код числа

X_i,jγ_i,j. Возможность получения скалярного произведения в виде k-разрядного и 2k-разрядного двоичного кода позволяет реализовать указанную операцию с требуемой точностью.

Режим работы 6: n/m цифровых интеграторов. При реализации этого режима связи между блоками устройства отсутствуют, поэтому в регистрах блока 17 адресации хранятся нулевые коды коммутации, которые автоматически формируются при начальном сбросе всех регистров устройства в нулевое состояние. Логические блоки 26 всех выходных блоков 7₁,...,7_n/m отключаются путем подачи на их управляющие входы 27₅, 27₆нулевых потенциалов. После этого в регистры 18_lm+1 (l=0,1,...,n/m-1) через установочные входы 4_lm+1 (l=0,1,..., n/m-1) блока 1 изменения синаптических весов записываются начальные значения подынтегральных функций Y_0,l (l=0,1,..,n/m-1). Работа устройства в этом режиме осуществляется в соответствии с временной диаграммой на фиг.11. В течение первых k тактов времени на основные информационные входы 2_lm+1устройства поступают k-разрядные двоичные коды независимой переменной Δ t, которые записываются в регистры умножителей 20_lm+1 блока 1 изменения синаптических весов, а на дополнительные информационные входы 3_lm+1устройства поступают k-разрядные приращения подынтегральных функций Δ Y_i,l, которые суммируются в сумматорах 19_lm+1 с начальными значениями этих функций (хранящихся в регистрах 18_lm+1, и полученные текущие значения подынтегральных функций Y_i,l=Y_i-1,l+ Y_i,l (l=0,1,..., n/m-1) записываются в регистры 18_lm+1 (фиг.1 и 2). В это же время из регистров 24 выходных блоков 7₁, . ..,7_n/m через выходы 10₁,...,10_n/m считываются приращения интегралов Δ P_i-1,l, полученные на предыдущем (i-1)-м шаге. В течение следующих 2k тактов времени происходит умножение в умножителях 20_lm+1 текущих значений подынтегральных функций Y_i,l на независимую переменную Δ t и полученные произведения проходят через сумматоры 21₁, 6₁,...,21_n/m, 6_n/m. В результате на выходах сумматоров 6₁,...,6_n/mформируются 2k-разрядные произведения Δ P_i,l= Y_i-1,l+Y_i,l, (l= 0,1,..., n/m-1), являющиеся значениями приращения интегралов, полученными в данном i-м шаге. При этом (фиг.11) под действием управляющих сигналов f₂₇₂, 7_n/m, k младших разрядов чисел Δ P_i,l записываются в регистры 25 выходных блоков 7₁,...,7_n/m, а под действием управляющих сигналов f₂₇₁,поступающих на управляющие входы 27₁ выходных блоков 7₁,...,7_n/m, k старших разрядов чисел Δ P_i,l записываются в регистры 24 выходных блоков 7₁,...,7_n/m. При поступлении новых значений входных сигналов описанная выше процедура полностью повторяется.

Технико-экономическая эффективность предлагаемого технического решения в сравнении с прототипом заключается в значительном расширении его функциональных возможностей (возможность моделирования путем перестройки структуры: формально-логического, градуального суммирующего, динамического адаптивного с адаптацией либо по входу, либо по выходу, либо и по входу и по выходу, динамического неадаптивного нейронов, пространственного сумматора, вычислителя скалярных произведений векторов, цифровых интеграторов) при одновременном упрощении, что позволяет реализовать устройства на одном кристалле БИС уже при современном состоянии отечественной микроэлектронной технологии.

Claims (2)

1. УСТРОЙСТВО ДЛЯ МОДЕЛИРОВАНИЯ НЕЙРОНА, содержащее блок изменения синаптических весов, выходы которого соединены с входами сумматоров группы, блок адресации, выходы которого соединены с входами блока коммутации, выходы которого соединены с входами блока изменения синаптических весов, отличающееся тем, что в него введена группа формирователей направлений связей, причем выходы сумматоров группы соединены с входами формирователей направлений связей группы, выходы которых соединены с входами соответствующих сумматоров группы и блока коммутации.

2. Устройство по п.1, отличающееся тем, что формирователь направлений связей содержит два элемента И, два регистра сдвига, логический коммутатор, причем выход первого элемента И соединен с входами первого регистра сдвига и логического коммутатора, выход второго элемента И - с входом второго регистра сдвига, выход первого регистра сдвига - с входом логического коммутатора, входы формирователя - с входами первого и второго элементов И и логического коммутатора, выходы первого элемента И, первого и второго регистров сдвига и логического коммутатора.

Images