RU2701064C1 - Нейронная сеть конечного кольца - Google Patents
Нейронная сеть конечного кольца Download PDFInfo
- Publication number
- RU2701064C1 RU2701064C1 RU2018133357A RU2018133357A RU2701064C1 RU 2701064 C1 RU2701064 C1 RU 2701064C1 RU 2018133357 A RU2018133357 A RU 2018133357A RU 2018133357 A RU2018133357 A RU 2018133357A RU 2701064 C1 RU2701064 C1 RU 2701064C1
- Authority
- RU
- Russia
- Prior art keywords
- neurons
- inputs
- input
- register
- layer
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Abstract
Изобретение относится к нейронным сетям конечного кольца. Технический результат заключается в повышении надежности нейрокомпьютерной техники. Нейронная сеть конечного кольца для классификации чисел по заданному модулю р, содержит выходной слой, предназначенный для хранения числа, представленного в позиционной системе счисления, скрытый слой нейронов, предназначенный для взвешенного суммирования сохраненных чисел и выходной слой, предназначенный для формирования своих входах вычетов числа z по выбранному модулю р суммирования, при этом выходы нейронов входного слоя подключены ко входам нейронов скрытого слоя, соединенных попарно между собой, выходы нейронов скрытого слоя соединены со входами нейронов выходного слоя, при этом в сеть введены первый и второй регистры, группа блоков элементов И, причем информационный вход кода исходного числа соединен с информационным входом первого регистра, вход начала вычислений устройства соединен с входами записи первого и второго регистров, а информационный вход нулевого разряда второго регистра соединен с входом записи второго регистра. 1 ил.
Description
Изобретение относится к нейрокомпьютерной технике и предназначено для классификации классов чисел по заданному модулю р. Наиболее близким по технической сущности (прототипом к предполагаемому изобретению) является устройство (патент РФ №2279132, МКИ G06N 3/04, Б.И. 18, 2006 г.), содержащее входной слой и скрытый слой, выходной слой.
Недостаток прототипа - большие аппаратурные затраты. Это связано с тем, что нейронная сеть содержит входной слой, который служит для фиксирования исходного числа. При этом существенно увеличивается требуемое число нейронов в сети.
Задача, на решение которой направлено заявляемое устройство состоит в повышении надежности перспективных образцов нейрокомпьютерной техники.
Технический результат выражается в сокращении аппаратурных затрат при классификации классов чисел по заданному модулю p.
Технический результат достигается тем, что в устройство, содержащее входной слой, предназначенный хранения числа, представленного в позиционной системе счисления, скрытый слой нейронов, предназначенный для взвешенного суммирования сохраненных чисел по формуле
где является оператором извлечения m-го разряда двоичного представления числа, полученного после t-й итерации; K - старший разряд двоичного числа, полученного после t-й итерации; - константа соответственно для каждой итерации и выходной слой, предназначенный для формирования на своих выходах вычетов числа z по выбранному модулю p суммирования, при этом выходы нейронов входного слоя подключены ко входам нейронов скрытого слоя, соединенных попарно между собой, выходы нейронов скрытого слоя соединены со входами нейронов выходного слоя, отличающаяся тем, что в нее введены первый и второй регистры, группа блоков элементов И, причем информационный вход кода исходного числа соединен с информационным входом первого регистра, вход начала вычислений устройства соединен с входами записи первого и второго регистров, а информационный вход нулевого разряда второго регистра соединен с входом записи второго регистра, выходы разрядов первого регистра
где: n - число двоичных разрядов первого регистра;
τp - период повторения остатков по модулю p весов разрядов в двоичном коде, соединены с соответствующими первыми входами i-х блоков элементов И группы, вторые входы которых соединены с i-ми выходами второго регистра, а выходы - с соответствующими j-ми нейронами входного слоя, причем
где K - старший разряд исходного двоичного числа, полученного после t-й итерации;
Сущность изобретения основывается на использовании периодичности остатков от чисел для определенного модуля p, где n - разрядность исходного двоичного числа. Представим число A в двоичной системе счисления
Как следует из малой теоремы Ферма всегда существует такой наименьший показатель степени τp, что . Это положение свидетельствует о цикличности остатков по модулю p в разложении числа А. Для определения периода повторения применим теорию индексов, откуда
τp=(p-1)/I2,
где I2 - индекс числа 2 по модулю устройства p. Отметим, что если число 2 является первообразным корнем по модулю p, то I2=1 и τp=p-1.
Например для модуля p=5 имеем следующую последовательность чередования остатков
20=1, 21=2, 22=4, 23=3, 24=1, … (τ5=4)
Таким образом для определения класса числа по модулю p число А (начиная с младшего разряда) разбивается на части, длина которых равна периоду повторения τp и последовательному суммированию промежуточных модульных остатков периода по модулю p.
При этом входной слой нейронной сети состоит всего из τp нейронов, выходные сигналы которых образуют связи для первого скрытого слоя. Число скрытых слоев определяется величиной [log2τp] и не зависит от числа разрядов исходного числа А. В частности, для p=5 их число равно двум. Веса связей определяются константами Ci=2'(modp), где . Скрытые слои рекурсивно объединяются, а выходные сигналы последнего скрытого слоя подаются на входы выходного слоя, который представляет собой арифметический элемент, имеющий характеристику оператора по модулю.
Время преобразования в прототипе определяется (log2n) - циклами синхронизации. В предлагаемом изобретении, после вычисления во входном слое, на его входы поступает второй период числа А и так далее. Таким образом достигается полная загрузка нейронной сети, а время вычислений равно - циклов синхронизации.
На фиг. 1 представлена структурная схема предлагаемого устройства, где 1 - выходной слой, 2 и 3 - скрытые слои, 4 - выходной слой, 5 - нейроны выходного слоя 1, 6 и 7 - нейроны скрытых слоев 2 и 3 соответственно, 8 - нейроны выходного слоя 4, 9 - вычет Z, 10 - связи между слоями нейронов, 11 - второй регистр, 12 - первый регистр, 13 группа блоков элементов И.
Информационный код исходного числа соединен с информационным входом первого 12 регистра, вход начала вычислений устройства соединен с входами записи первого 12 и второго 11 регистров, а информационной вход нулевого разряда второго 11 регистра соединен с входом записи второго 11 регистра, выходы разрядов первого 12 регистра
где: n - число двоичных разрядов первого регистра,
τp - период повторения остатков по модулю p весов разрядов в двоичном коде,
соединены с соответствующими первыми входами i-x блоков элементов И группы 13, вторые входы которых соединены с i-ми входами второго 11 регистра, а выходы - с соответствующими j-ми нейронами 5 входного слоя 1, причем
где: K - старший разряд исходного двоичного числа, полученного после t-й итерации;
а выходы нейронов 5 входного слоя 1 подключены ко входам нейронов 6 и 7 скрытых слоев 2 и 3 соответственно, соединенных попарно между собой, выходы которых соединены с входами нейрона выходного слоя 4.
Рассмотрим работу устройства. В исходном состоянии все регистры обнулены. После подачи кода числа А на информационный вход первого 12 регистра на вход начала вычислений (НВ) подают импульс, который поступает на информационный вход нулевого разряда второго 11 регистра и входы записи регистров 11 и 12. Производится запись кода числа А в первый регистр 12 и единицы в нулевой разряд второго 11 регистра, сигнал с выхода нулевого разряда второго 11 регистра, сигнал с выхода нулевого разряда которого поступает на второй вход нулевого блока 13 элементов И группы. Первый период повторения остатков по модулю p весов разрядов с выходов нулевого блока 13 элементов И группы поступает в двоичном коде на соответствующие нейроны 5 входного слоя 1, где происходит сложение разрядных произведений αiCi по рекурсивному принципу. Затем результаты передаются на нейроны 6 скрытого слоя 2, а сигнал с выхода первого разряда регистра 12 поступает на второй вход первого блока 13 элементов И группы. Второй период повторения остатков по модулю p поступает на соответствующие нейроны 5 входного слоя 1. Процесс повторяется до тех пор, пока единица не окажется в разряде регистра 12. Выходной слой 4, нейроны 8 представляют, как и в прототипе параллельный сумматор с обратной связью, обеспечивающий суммирование чисел 20 по модулю р. Процесс повторяется от слоя к слою.
Классифицируемые вычеты Z на основании входной информации определяются вычетами 9, представленными двоичным кодом. Весовые коэффициенты 10 (связи между нейронами) определяются константами Ci. Изобретение предназначено для рационального построения блоков модулярного нейрокомпьютера.
При p=7 имеем С0=1, С1=10=3, С2=102=2, С3=103=-1(mod7), С4=104=-3, С5=105=-2(mod7).
Найдем
Далее число 16 преобразуем по модулю 7: 6⋅1+1⋅3=9=2(mod7).
Далее число 15 преобразуем по модулю 7: 5⋅1+1⋅3=1(mod7).
Производим сложение остатков трех периодов по модулю 7 и получаем 5+2+1=8(mod7)=1(mod7).
Таким образом, в данном примере при проведении операции по модулю 7 имеем следующие преобразования периодов исходного числа А
341059,5; 035268,16,9,2; 3064,15,8,3.
Рассмотрим сокращение аппаратурных затрат (числа нейронов) при реализации данного устройства. Пусть исходное число А имеет 16 двоичных разрядов. Для построения нейронной сети в прототипе (p=5) требуется N1=31 нейрон, а в данном варианте N2=7 нейронов. Также использование данного подхода способствует унификации оборудования, т.к. связи между слоями нейронов (Ci) постоянны, при заданном модуле операции, независимо от величины исходного числа.
Полученное устройство отражает принципы построения нейросетей на основе модулярной системы счисления. Примененный подход позволяет реализовать соответствующие вычислительные системы более эффективным способом.
Claims (9)
- Нейронная сеть конечного кольца для классификации чисел по заданному модулю р, содержащая выходной слой, предназначенный для хранения числа, представленного в позиционной системе счисления, скрытый слой нейронов, предназначенный для взвешенного суммирования сохраненных чисел по формуле
- где является оператором извлечения m-го разряда двоичного представления числа, полученного после t-й итерации; K - старший разряд двоичного числа, полученного после t-й итерации; Cm - константа соответственно для каждой итерации и выходной слой, предназначенный для формирования своих входах вычетов числа z по выбранному модулю р суммирования, при этом выходы нейронов входного слоя подключены ко входам нейронов скрытого слоя, соединенных попарно между собой, выходы нейронов скрытого слоя соединены со входами нейронов выходного слоя, отличающаяся тем, что в нее введены первый и второй регистры, группа блоков элементов И, причем информационный вход кода исходного числа соединен с информационным входом первого регистра, вход начала вычислений устройства соединен с входами записи первого и второго регистров, а информационный вход нулевого разряда второго регистра соединен с входом записи второго регистра, выходы разрядов первого регистра
- где: n - число двоичных разрядов первого регистра;
- τр - период повторения остатков по модулю р весов разрядов в двоичном коде, соединены с соответствующими первыми входами i-x блоков элементов И группы, вторые входы которых соединены с i-ми выходами второго регистра, а выходы - с соответствующими j-ми нейронами входного слоя, причем
- где K - старший разряд исходного двоичного числа, полученного после t-й итерации;
- Cm - константа соответственно для каждой итерации.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2018133357A RU2701064C1 (ru) | 2018-09-20 | 2018-09-20 | Нейронная сеть конечного кольца |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2018133357A RU2701064C1 (ru) | 2018-09-20 | 2018-09-20 | Нейронная сеть конечного кольца |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2701064C1 true RU2701064C1 (ru) | 2019-09-24 |
Family
ID=68063292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2018133357A RU2701064C1 (ru) | 2018-09-20 | 2018-09-20 | Нейронная сеть конечного кольца |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2701064C1 (ru) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2759964C1 (ru) * | 2020-08-12 | 2021-11-19 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Нейронная сеть конечного кольца |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6243490B1 (en) * | 1990-06-14 | 2001-06-05 | Canon Kabushiki Kaisha | Data processing using neural networks having conversion tables in an intermediate layer |
RU2279132C2 (ru) * | 2003-08-07 | 2006-06-27 | Поволжская государственная академия телекоммуникаций и информатики | Нейронная сеть конечного кольца |
RU2318239C1 (ru) * | 2006-07-05 | 2008-02-27 | Ставропольский военный институт связи ракетных войск | Нейронная сеть для деления чисел, представленных в системе остаточных классов |
RU2318238C1 (ru) * | 2006-07-05 | 2008-02-27 | Ставропольский военный институт связи ракетных войск | Нейронная сеть для преобразования остаточного кода в двоичный позиционный код |
RU2359325C2 (ru) * | 2007-06-13 | 2009-06-20 | Ставропольский военный институт связи ракетных войск | Нейронная сеть ускоренного масштабирования модулярных чисел |
-
2018
- 2018-09-20 RU RU2018133357A patent/RU2701064C1/ru active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6243490B1 (en) * | 1990-06-14 | 2001-06-05 | Canon Kabushiki Kaisha | Data processing using neural networks having conversion tables in an intermediate layer |
RU2279132C2 (ru) * | 2003-08-07 | 2006-06-27 | Поволжская государственная академия телекоммуникаций и информатики | Нейронная сеть конечного кольца |
RU2318239C1 (ru) * | 2006-07-05 | 2008-02-27 | Ставропольский военный институт связи ракетных войск | Нейронная сеть для деления чисел, представленных в системе остаточных классов |
RU2318238C1 (ru) * | 2006-07-05 | 2008-02-27 | Ставропольский военный институт связи ракетных войск | Нейронная сеть для преобразования остаточного кода в двоичный позиционный код |
RU2359325C2 (ru) * | 2007-06-13 | 2009-06-20 | Ставропольский военный институт связи ракетных войск | Нейронная сеть ускоренного масштабирования модулярных чисел |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2759964C1 (ru) * | 2020-08-12 | 2021-11-19 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Нейронная сеть конечного кольца |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111758106B (zh) | 用于大规模并行神经推理计算元件的方法和系统 | |
Holt et al. | Finite precision error analysis of neural network hardware implementations | |
CN104094295B (zh) | 用于尖峰神经计算的方法和装置 | |
US11042715B2 (en) | Electronic system for performing a multiplication of a matrix and vector | |
US20230237325A1 (en) | Neural network data computation using mixed-precision | |
Delosme et al. | Parallel solution of symmetric positive definite systems with hyperbolic rotations | |
RU2701064C1 (ru) | Нейронная сеть конечного кольца | |
Kim et al. | Architecture and statistical model of a pulse-mode digital multilayer neural network | |
US3721812A (en) | Fast fourier transform computer and method for simultaneously processing two independent sets of data | |
US7610326B2 (en) | Arithmetic circuit for calculating a cumulative value as a result of parallel arithmetic processing | |
US10777253B1 (en) | Memory array for processing an N-bit word | |
US5115492A (en) | Digital correlators incorporating analog neural network structures operated on a bit-sliced basis | |
JP7426980B2 (ja) | 分散型ニューラル・ネットワークのコアのネットワークにおける階層的並列処理 | |
Mohamad et al. | Design of single neuron on FPGA | |
RU2318238C1 (ru) | Нейронная сеть для преобразования остаточного кода в двоичный позиционный код | |
US20230099608A1 (en) | Training convolution neural network on analog resistive processing unit system | |
RU2759964C1 (ru) | Нейронная сеть конечного кольца | |
RU2279132C2 (ru) | Нейронная сеть конечного кольца | |
Khan et al. | Comparing optimization methods of neural networks for real-time inference | |
US20230014185A1 (en) | Method and device for binary coding of signals in order to implement digital mac operations with dynamic precision | |
Wang et al. | An SRAM-based implementation of a convolutional neural network | |
US20220391684A1 (en) | Asynchronous mixed precision update of resistive processing unit array | |
Morillas et al. | STDP Design Trade-offs for FPGA-Based Spiking Neural Networks | |
WO2004027680A1 (en) | Arithmetic circuit | |
Kazlauskas | Pipelined-block models of linear discrete-time systems |