RU182699U1 - Импульсный блок расчета активационной функции искусственной нейронной сети - Google Patents
Импульсный блок расчета активационной функции искусственной нейронной сети Download PDFInfo
- Publication number
- RU182699U1 RU182699U1 RU2018120148U RU2018120148U RU182699U1 RU 182699 U1 RU182699 U1 RU 182699U1 RU 2018120148 U RU2018120148 U RU 2018120148U RU 2018120148 U RU2018120148 U RU 2018120148U RU 182699 U1 RU182699 U1 RU 182699U1
- Authority
- RU
- Russia
- Prior art keywords
- output
- input
- multiplexer
- artificial neural
- sigma
- Prior art date
Links
- 230000004913 activation Effects 0.000 title claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 238000004364 calculation method Methods 0.000 title claims abstract description 8
- 238000012935 Averaging Methods 0.000 claims abstract description 11
- 210000002569 neuron Anatomy 0.000 abstract 1
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/02—Digital function generators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M5/00—Conversion of the form of the representation of individual digits
- H03M5/02—Conversion to or from representation by pulses
- H03M5/16—Conversion to or from representation by pulses the pulses having three levels
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Полезная модель относится к области вычислительной техники, а именно к импульсному блоку расчета активационной функции искусственной нейронной сети, включающему в себя сигма-дельта модулятор, выход которого подключен на вход усредняющего фильтра, управляющий вход мультиплексора и два входа трехвходового сумматора, выход усредняющего фильтра подключен к блоку расчета абсолютного значения, выход которого подключен к первому сигнальному входу мультиплексора и к инвертору, который подключен к третьему сигнальному входу мультиплексора, второй вход мультиплексора подключен к генератору 0, выход мультиплексора подключен к сигма-дельта модулятору умножителя, выход которого подключен к трехвходовому сумматору, выход которого подключен к сигма-дельта модулятору сумматора, выход которого является выходом импульсного блока расчета активационной функции искусственной нейронной сети. Полезная модель обеспечивает снижение ресурсоемкости реализации на базе ПЛИС активационных функций нейронов искусственных нейронных сетей.
Description
Полезная модель относится к области вычислительной техники и может быть использована в различных областях науки и промышленности при аппаратной реализации искусственных нейронных сетей прямого распространения.
Из существующего уровня техники известен блок расчета активационной функции искусственной нейронной сети, основанный на кусочно-линейной аппроксимации [Saichand V. et al. FPGA realization of activation function for artificial neural networks // Intelligent Systems Design and Applications, 2008. ISDA '08. Eighth International Conference on. - IEEE, 2008. - T. 3. - C. 159-164], который включает в себя блок выбора рабочего отрезка, генератор 0, генератор 1, 4 сумматора, блок расчета модуля и три операции побитового сдвига.
Недостатками данного устройства является существенная ресурсоемкость при реализации на базе программируемых логических интегральных схем (ПЛИС).
Предлагаемая полезная модель направлена на решение технической задачи по устранению указанного недостатка.
Достигаемый при этом технический результат заключается в снижении ресурсоемкости реализации активационной функции искусственной нейронной сети на базе ПЛИС.
Технический результат достигается тем, что импульсный блок расчета активационной функции искусственной нейронной сети включает в себя сигма-дельта модулятор, выход которого подключен на вход усредняющего фильтра, управляющий вход мультиплексора и два входа трехвходового сумматора, выход усредняющего фильтра подключен к блоку расчета абсолютного значения, выход которого подключен к первому сигнальному входу мультиплексора и к инвертору, который подключен к третьему сигнальному входу мультиплексора, второй вход мультиплексора подключен к генератору 0, выход мультиплексора подключен к сигма-дельта модулятору умножителя, выход которого подключен к трехвходовому сумматору, выход которого подключен к сигма-дельта модулятору сумматора, выход которого является выходом импульсного блока расчета активационной функции искусственной нейронной сети.
Указанные признаки полезной модели являются существенными и совокупность этих признаков достаточна для получения требуемого технического результата.
Полезная модель поясняется чертежами.
На фиг. 1 показана блок-схема заявляемой полезной модели. Она содержит сигма-дельта модулятор 1, усредняющий фильтр 2, блок расчета абсолютного значения 3, инвертор 4, мультиплексор 5, сигма-дельта модулятор умножителя 6, трехвходовой сумматор 7, сигма-дельта модулятор сумматора 8.
Работает устройство следующим образом. Оно вычисляет активационную функцию искусственной нейронной сети при помощи аппроксимации 2х-х|х|, реализованной при помощи прямой обработки импульсных потоков. Статическая нелинейность активационной функции показана на фиг. 2. Данная статическая характеристика в диапазоне рабочих значений [-1;1] является непрерывной, монотонной, а также имеет непрерывную первую производную, что позволяет использовать для обучения сетей, построенных с использованием полезной модели, метод обратного распространения ошибки. На вход полезной модели поступает аргумент активационной функции, который при помощи цифрового сигма-дельта модулятора 1 переводится в трехуровневый сигма-дельта модулированный импульсный поток, закодированный таким образом, что -1 соответствует код 11, 1 соответствует код 01, 0 соответствует код 00. Полученный импульсный поток поступает на вход усредняющего фильтра 2, на два из трех входов трехвходового сумматора 7, а также на управляющий вход мультиплексора 5. Выход усредняющего фильтра 2 поступает на блок расчета абсолютного значения 3, где от него берется модуль. Выход блока расчета абсолютного значения 3 поступает на первый сигнальный вход мультиплексора 5 и на вход инвертора 4, в котором он умножается на -1. Выход инвертора 4 поступает на третий сигнальный вход мультиплексора 5. Второй вход мультиплексора 5 подключен к генератору 0. Выход мультиплексора 5 формируется согласно таблице 1 и поступает на вход сигма-дельта модулятора умножителя 6, который является цифровым сигма-дельта модулятором первого порядка, аналогичным сигма-дельта модулятору 1. Выход сигма-дельта модулятора умножителя 6 поступает на вход трехвходового сумматора 7, где складывается без потери точности с выходом сигма-дельта модулятора 1, поступающим на два оставшихся входа. Выход трехходового сумматора 7 поступает на вход сигма-дельта модулятора сумматора 8, который является цифровым сигма-дельта модулятором первого порядка, аналогичным сигма-дельта модулятору 1. Выход сигма-дельта модулятора сумматора 8 является выходом импульсного блока расчета активационной функции искусственной нейронной сети.
Работоспособность была проверена на макете, который наглядно продемонстрировал получение требуемого технического результата. Предложенное устройство с усредняющем фильтром, имеющим окно 256 измерений, было реализовано на базе микросхемы ПЛИС Xilinx ХС7А100Т-1CSG324C, которая тактировалась генератором с частотой 100 МГц.
Демодуляция выходных импульсных потоков осуществлялась при помощи усредняющего фильтра с окном 65535 измерений с периодом 10 не.
На фиг. 3 показана ошибка формирования активационной функции искусственной нейронной сети, реализованной при помощи полезной модели. Среднеквадратическое отклонение (СКО) выхода полезной модели от эталонного значения составило 0,0029818, что составляет менее 3% и говорит о ее работоспособности.
Также для сравнения по ресурсоемкости с известным блоком расчета активационной функции искусственной нейронной сети, основанным на кусочно-линейной аппроксимации [Saichand V. et al. FPGA realization of activation function for artificial neural networks // Intelligent Systems Design and Applications, 2008. ISDA '08. Eighth International Conference on. - IEEE, 2008. -Т. 3. - C. 159-164], предлагаемая полезная модель была синтезирована для ПЛИС Xilinx XC4VLX15-12ff668. Результаты синтеза показали, что заявляемый импульсный блок расчета активационной функции искусственной нейронной сети требует для реализации 85 LUT4, в то время как известный из уровня техники блок расчета активационной функции искусственной нейронной сети, основанный на кусочно-линейной аппроксимации, синтезированный для той же ПЛИС, - 108 LUT4. Таким образом, использование предлагаемой полезной модели обеспечивает сокращение ресурсоемкости более чем на 21%, что говорит о достижении заявленного технического результата.
Claims (1)
- Импульсный блок расчета активационной функции искусственной нейронной сети, включающий в себя сигма-дельта модулятор, выход которого подключен на вход усредняющего фильтра, управляющий вход мультиплексора и два входа трехвходового сумматора, выход усредняющего фильтра подключен к блоку расчета абсолютного значения, выход которого подключен к первому сигнальному входу мультиплексора и к инвертору, который подключен к третьему сигнальному входу мультиплексора, второй вход мультиплексора подключен к генератору 0, выход мультиплексора подключен к сигма-дельта модулятору умножителя, выход которого подключен к трехвходовому сумматору, выход которого подключен к сигма-дельта модулятору сумматора, выход которого является выходом импульсного блока расчета активационной функции искусственной нейронной сети.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018120148U RU182699U1 (ru) | 2018-05-31 | 2018-05-31 | Импульсный блок расчета активационной функции искусственной нейронной сети |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018120148U RU182699U1 (ru) | 2018-05-31 | 2018-05-31 | Импульсный блок расчета активационной функции искусственной нейронной сети |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU182699U1 true RU182699U1 (ru) | 2018-08-28 |
Family
ID=63467508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018120148U RU182699U1 (ru) | 2018-05-31 | 2018-05-31 | Импульсный блок расчета активационной функции искусственной нейронной сети |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU182699U1 (ru) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5157275A (en) * | 1991-03-22 | 1992-10-20 | Ricoh Corporation | Circuit employing logical gates for calculating activation function derivatives on stochastically-encoded signals |
| US5796925A (en) * | 1991-12-11 | 1998-08-18 | U.S. Philips Corporation | Neural digital processor utilizing an approximation of a non-linear activation function |
| RU2402813C1 (ru) * | 2009-06-18 | 2010-10-27 | Евгений Александрович Самойлин | Способ моделирования нейрона |
| RU2573766C1 (ru) * | 2014-07-11 | 2016-01-27 | Открытое акционерное общество "Центральное научно-производственное объединение "Ленинец" | Искусственная нейронная сеть |
-
2018
- 2018-05-31 RU RU2018120148U patent/RU182699U1/ru active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5157275A (en) * | 1991-03-22 | 1992-10-20 | Ricoh Corporation | Circuit employing logical gates for calculating activation function derivatives on stochastically-encoded signals |
| US5796925A (en) * | 1991-12-11 | 1998-08-18 | U.S. Philips Corporation | Neural digital processor utilizing an approximation of a non-linear activation function |
| RU2402813C1 (ru) * | 2009-06-18 | 2010-10-27 | Евгений Александрович Самойлин | Способ моделирования нейрона |
| RU2573766C1 (ru) * | 2014-07-11 | 2016-01-27 | Открытое акционерное общество "Центральное научно-производственное объединение "Ленинец" | Искусственная нейронная сеть |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kozak et al. | Rigorous analysis of delta-sigma modulators for fractional-N PLL frequency synthesis | |
| Song et al. | Spur-free MASH delta-sigma modulation | |
| US8638151B2 (en) | Variable frequency ratiometric multiphase pulse width modulation generation | |
| JP2006174475A (ja) | デジタル／アナログコンバータ | |
| DE60013602D1 (de) | Verfahren und gerät zum effizienten verarbeiten gemischter signale in einen digitalen verstärker | |
| US9800272B2 (en) | Circuits and methods for transmitting signals | |
| RU182699U1 (ru) | Импульсный блок расчета активационной функции искусственной нейронной сети | |
| CN109088624A (zh) | 一种双路时钟信号转脉宽调制信号电路 | |
| CN107154790B (zh) | 基于fpga的反馈信号控制方法、系统及光模块调制器 | |
| JP3641782B2 (ja) | クロック逓倍回路 | |
| Toledo-Pérez et al. | IIR digital filter design implemented on FPGA for myoelectric signals | |
| RU182315U1 (ru) | Импульсный кусочно-линейный аппроксиматор нелинейных функций | |
| Owen et al. | 384 TMAC/s FIR filtering on an Artix-7 FPGA using Prism signal processing | |
| US6392398B1 (en) | Sampling function generator | |
| RU181022U1 (ru) | Многовходовой цифровой сумматор импульсных потоков | |
| JPH0787376B2 (ja) | デルタ変調符号の復号装置 | |
| RU185670U1 (ru) | Цифровой умножитель импульсных потоков на константу | |
| Yusuf et al. | FPGA Based Analysis and Multiplication of Digital Signals | |
| Karl et al. | Applications of rank-based median filters in power electronics | |
| JP2017085347A (ja) | 信号処理装置及び通信装置 | |
| SHEN et al. | An improved line-drawing algorithm for arbitrary fractional frequency divider/multiplier based on FPGA | |
| US20160233873A1 (en) | Device and method for converting analog information | |
| Yu et al. | An efficient digital down converter architecture for wide band radar receiver | |
| Yadav et al. | Analysis of FPGA based recursive filter using optimization techniques for high throughput | |
| Arif et al. | Design and performance analysis of various adder and multiplier circuits using VHDL |