RU2279132C2 - Нейронная сеть конечного кольца - Google Patents
Нейронная сеть конечного кольца Download PDFInfo
- Publication number
- RU2279132C2 RU2279132C2 RU2003124689/09A RU2003124689A RU2279132C2 RU 2279132 C2 RU2279132 C2 RU 2279132C2 RU 2003124689/09 A RU2003124689/09 A RU 2003124689/09A RU 2003124689 A RU2003124689 A RU 2003124689A RU 2279132 C2 RU2279132 C2 RU 2279132C2
- Authority
- RU
- Russia
- Prior art keywords
- neurons
- layer
- neural network
- modulo
- numbers
- Prior art date
Links
Landscapes
- Error Detection And Correction (AREA)
- Image Analysis (AREA)
Abstract
Изобретение относится к нейрокомпьютерной технике и предназначено для классификации классов чисел по заданному модулю р. Техническим результатом является расширение возможностей известной нейронной сети для классификации вычетов. Для этого нейронная сеть содержит входной слой, скрытый слой, к которому рекурсивно попарно подсоединен входной слой, и выходной слой. 1 ил.
Description
Предлагаемое изобретение относится к области нейрокомпьютерной техники и предназначено для классификации чисел по заданному модулю р. Классом по данному модулю р называется множество всех целых чисел, сравнимых с некоторым данным целым числом А. Число классов по модулю р конечно и равно р, а каждый класс содержит бесконечное множество чисел, но в силу конечности машинного диапазона чисел, самое большое число из класса будет определяться максимальным числом машинного диапазона, а самое малое - 0. Будем обозначать такой класс знаком . Таким образом, обозначает множество всех тех чисел х, которое удовлетворяет сравнению Класс чисел, сравнимых с А по модулю р, совпадает со значением линейной функции А + pt при целых значениях аргумента t. Если какое-то число класса по модулю р имеет при делении на р остаток, равный α, то все числа класса имеют вид α+pt, где аргумент t принимает любые целые значения. Вычетом класса называется любое из чисел, принадлежащее этому классу. Наименьший неотрицательный вычет класса по модулю р равен остатку от деления А на р.
Известна нейронная сеть для классификации сигналов или символьной информации (заявка 19917957, МПК 7 G 06 F 15/18, опубликована 26.10.2000, немецкий), содержащая входной, выходной, скрытый слои и связи между ними. Классифицируемые символы или символьная информация определяется, соответственно, классами А, В, С, D, Е, F и G нейронами выходного слоя. Однако такие нейронные сети предназначены для классификации целей радиолокатора. Целью данного изобретения является расширение возможностей известной нейронной сети для классификации вычетов. Это достигается тем, что в нейронную сеть введены арифметические элементы, которые имеют характеристики взвешенного суммирования, и элемент, который имеет характеристику оператора по модулю, а не обычные нелинейные функции активации, применяемые при обучении нейронной сети. Таким образом, нейронная сеть будет состоять из входного слоя, служащего для фиксирования исходного числа, выходные сигналы которого образуют связи для первого скрытого слоя. Число скрытых слоев определяется величиной [log2n], где n - число разрядов исходного двоичного числа А. Веса связей определяются константами
для данного модуля, где i=1,2...n. Скрытые слои рекурсивно объединяются, организуя логарифмическое суммирование. Выходные сигналы скрытого слоя [log2n] подаются на входы выходного слоя, который представляет собой арифметический элемент, имеющий характеристику оператора по модулю. Выходной сигнал скрытого слоя определяет вычет или наименьший неотрицательный остаток α≡Amodp.
Введем следующие обозначения:
р - модуль, который представляет из себя простое число;
Пусть число Х записано в двоичной системе счисления, т.е.
где при всех i: 0≤Аi≤1.
Далее подставляя значения Сi(1) в выражение (2) и учитывая свойства сравнений, получим
Преобразование (3) позволило уменьшить разрядность исходного числа Х.
При практической реализации данного метода необходимо определить остатки от деления на р степеней основания 2, которые дадут набор чисел Сi. Если остаток от деления степени основания , то в качестве значения Сi необходимо взять число, дополняющее до значения р со знаком «минус». Значения Сi являются константами и вычисляются заранее. Количество Сi определяется разрядностью исходных чисел. Затем цифры исходного числа умножают на соответствующие Сi. Полученная сумма
По значению можно узнать класс числа по модулю р, что равносильно определению остатка от деления числа Х на модуль р. Если имеет количество разрядов больше, чем р, то вновь разряды числа необходимо умножить на числа Сi, полученная сумма . По значению можно узнать, каков остаток от деления числа Х на р. Этот процесс преобразования числа Х необходимо продолжать до тех пор, пока полученное число где l - количество итераций, не окажется вычетом числа Х по модулю р.
Создание нового метода основывается на двух новых идеях. Первая заключается в преобразовании числа большой разрядности в число малой разрядности. Вторая идея заключается в нахождении вычета по модулю р исходного числа путем определения наименьшего неотрицательного вычета от полученного, в результате первой идеи, малоразрядного числа.
Пример: пусть дано число Х=269341059 (для лучшего понимания число представлено в десятичной системе счисления).
а далее все эти значения Сi периодически повторяются.
Далее число 8 преобразуем по модулю 7 и получим остаток, равный 1.
Таким образом, в данном примере по модулю 7 класс 1 состоит из чисел:
269341059,36,15,8,1.
Нейронная сеть конечного кольца может реализовываться как аппаратным, так и программным способом. Рассмотрим реализацию нейронной сети конечного кольца аппаратным способом. В основе данного изобретения лежит нейронная сеть для классификации вычетов (остатков), которая относительно проста и относительно быстра в обработке. Структура нейронной сети зависит от разрядности исходного числа и величины модуля. Посредством весовых коэффициентов Сi нейронная сеть осуществляет классификацию, при этом структура нейронной сети не изменяется.
В процессе классификации слои нейронной сети осуществляют сложение разрядных произведений AiСi по рекурсивному принципу, от слоя к слою, вследствие чего происходит быстрая обработка классифицируемых вычетов. Функционирование нейронной сети зависит от весовых коэффициентов и величины модуля, которые определяются заранее перед процессом классификации.
В данном изобретении обучение для классификации классов и определение остатков сети осуществляют весовыми коэффициентами. Если возникает необходимость данную нейронную сеть использовать для нескольких различных модулей, то константы сi хранятся в памяти и в зависимости от необходимости устанавливаются необходимые весовые коэффициенты.
Принцип работы данного изобретения излагается ниже. Нейронная сеть конечного кольца приведена на чертеже (а) (на чертеже (б) показано символическое изображение) и классифицирует входную информацию 1. Входная информация в двоичном n-разрядном коде, где n - количество двоичных разрядов исходного числа (а0,а1,...an), поступает на нейроны 6, расположенные во входном слое 2, а распознанный остаток появляется в выходном слое 5 в нейроне 9. Между входным слоем 2 и выходным слоем 5 расположены скрытые слои 3, 4, состоящие из нейронов 7, 8, выполняющие операции взвешенного суммирования, связи между слоями нейронов wij, wjk и wlk обозначены 11.
Входной слой 2, нейроны 6, представляют собой n-разрядный регистр, где n - количество разрядов исходного двоичного числа А, и предназначены для временного хранения этого числа. Выходной слой 5, нейроны 9, представляют собой параллельный сумматор с обратной связью, обеспечивающий суммирование чисел по модулю р, а нейроны, реализующие эти функции, являются арифметическими элементами, которые имеют характеристики оператора по модулю, что и отличает их от обычных нейронов (например, персептронов), где используется функция активации. В скрытых слоях 7 и 8 используются нейроны, представляющие собой традиционные сумматоры, которые предназначены для суммирования двоичных чисел, т.е. эти нейроны являются арифметическими элементами, которые имеют характеристики взвешенного суммирования, т.е. суммирования чисел, представленных в позиционной системе счисления.
Классифицируемые вычеты amodp на основании входной информации 1 определяются вычетами z 10, представленными двоичным кодом, нейрон 9. Весовые коэффициенты wij, wjk и wlk определяются константами Сi, соответственно, для каждой итерации. Классификация входных данных 1 происходит на основании итеративного применения вычислительной модели (3) взвешенного суммирования, которая повторяется в слоях 3, 4. На выходе каждого скрытого слоя разрядность полученного числа уменьшается за счет свертки числа с помощью выражения
где j означает номер итерации;
k - старший разряд двоичного числа, полученного после j-й итерации;
Выходной слой реализует вычислительную модель суммирования по модулю
Данное устройство может быть применено для определения остатков по любому количеству различных модулей. При этом определенные внешние параметры для разных значений модулей будут заданы в виде весовых коэффициентов wij, wjk и wlk и хранятся в памяти.
Классификация данных реализуется с помощью иерархической нейронной сети, основанной на базовых процессорных элементах с характеристиками взвешенного суммирования и оператора по модулю. Число слоев нейронов определяется рекурсивным сдваиванием и логарифмическим суммированием, как [log2n], и время преобразования будет определяться 0(log2n) - циклами синхронизации.
Изобретение преимущественно предназначено для построения функциональных блоков модулярного нейрокомпьютера.
Claims (1)
- Нейронная сеть конечного кольца для классификации чисел по модулю, содержащая входной слой, предназначенный для хранения исходного числа, представленного в позиционной системе счисления, отличающаяся тем, что в нее введены скрытый слой нейронов, предназначенный для взвешенного суммирования сохраненных исходных чисел по формуле ,где является оператором извлечения i-го разряда двоичного представления числа, полученной после j-й итерации;k - старший разряд двоичного числа, полученного после j-й итерации;ci - константа соответственно для каждой итерации,и выходной слой, предназначенный для формирования на своих выходах вычетов числа Z по выбранному модулю р суммирования , в соответствии с формулой , при этом выходы входного слоя подключены ко входам нейронов скрытого слоя, соединенных рекурсивно попарно между собой, выходы нейронов скрытого слоя соединены со входами нейронов выходного слоя.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2003124689/09A RU2279132C2 (ru) | 2003-08-07 | 2003-08-07 | Нейронная сеть конечного кольца |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2003124689/09A RU2279132C2 (ru) | 2003-08-07 | 2003-08-07 | Нейронная сеть конечного кольца |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2003124689A RU2003124689A (ru) | 2005-02-27 |
RU2279132C2 true RU2279132C2 (ru) | 2006-06-27 |
Family
ID=35285952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2003124689/09A RU2279132C2 (ru) | 2003-08-07 | 2003-08-07 | Нейронная сеть конечного кольца |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2279132C2 (ru) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2701064C1 (ru) * | 2018-09-20 | 2019-09-24 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Воронежский государственный технический университет" | Нейронная сеть конечного кольца |
RU2710942C1 (ru) * | 2018-12-06 | 2020-01-14 | Самсунг Электроникс Ко., Лтд. | Одновременное распознавание атрибутов лиц и идентификации личности при организации фотоальбомов |
RU2759964C1 (ru) * | 2020-08-12 | 2021-11-19 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Нейронная сеть конечного кольца |
US11222196B2 (en) | 2018-07-11 | 2022-01-11 | Samsung Electronics Co., Ltd. | Simultaneous recognition of facial attributes and identity in organizing photo albums |
-
2003
- 2003-08-07 RU RU2003124689/09A patent/RU2279132C2/ru not_active IP Right Cessation
Non-Patent Citations (1)
Title |
---|
ЧЕРВЯКОВ Н.И. и др. Оптимизация структуры нейронных сетей конечного кольца. Нейрокомпьютеры: разработка, применение. 2001, № 10, с.13-18. * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11222196B2 (en) | 2018-07-11 | 2022-01-11 | Samsung Electronics Co., Ltd. | Simultaneous recognition of facial attributes and identity in organizing photo albums |
RU2701064C1 (ru) * | 2018-09-20 | 2019-09-24 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Воронежский государственный технический университет" | Нейронная сеть конечного кольца |
RU2710942C1 (ru) * | 2018-12-06 | 2020-01-14 | Самсунг Электроникс Ко., Лтд. | Одновременное распознавание атрибутов лиц и идентификации личности при организации фотоальбомов |
RU2759964C1 (ru) * | 2020-08-12 | 2021-11-19 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Нейронная сеть конечного кольца |
Also Published As
Publication number | Publication date |
---|---|
RU2003124689A (ru) | 2005-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11308406B2 (en) | Method of operating neural networks, corresponding network, apparatus and computer program product | |
US4972363A (en) | Neural network using stochastic processing | |
CN105260776A (zh) | 神经网络处理器和卷积神经网络处理器 | |
EP3915056A1 (en) | Neural network activation compression with non-uniform mantissas | |
Wang et al. | TRC‐YOLO: A real‐time detection method for lightweight targets based on mobile devices | |
RU2279132C2 (ru) | Нейронная сеть конечного кольца | |
Falkowski et al. | Forward and inverse transformations between Haar spectra and ordered binary decision diagrams of Boolean functions | |
US20230079289A1 (en) | Element for generating stochastic signals, stochastic neuron and neural network based on said neuron | |
CN112232477A (zh) | 图像数据处理方法、装置、设备及介质 | |
Temenos et al. | A stochastic computing sigma-delta adder architecture for efficient neural network design | |
RU62314U1 (ru) | Формальный нейрон | |
US20210256389A1 (en) | Method and system for training a neural network | |
CN114492795A (zh) | 深度卷积神经网络压缩方法、计算机装置及存储介质 | |
Hacene et al. | Efficient hardware implementation of incremental learning and inference on chip | |
Wongthanavasu et al. | Cellular automata for pattern recognition | |
Jorgensen et al. | Analysis of fractals, image compression, entropy encoding, Karhunen-Loeve transforms | |
CN112183731A (zh) | 一种面向点云的高效二值化神经网络量化方法及装置 | |
Lim et al. | Comparative study of implementing ICNNs on FPGAs | |
Guicquero et al. | Algorithmic enablers for compact neural network topology hardware design: Review and trends | |
RU2504837C1 (ru) | Устройство ассоциативного распознавания | |
US20240160942A1 (en) | Method and electronic system for a non-iterative training of a neural network | |
RU2340940C1 (ru) | Распознающее устройство для нечетких нейронных сетей | |
Imran et al. | On computational complexity, using randomized pooling for convolutional neural network | |
Kalyanam et al. | Sigmoid-based Neuron Pruning Technique for MLPs on IoT Edge Devices | |
Beknazaryan | Expressive power of binary and ternary neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20060808 |