RU2579958C1 - Искусственный нейрон - Google Patents
Искусственный нейрон Download PDFInfo
- Publication number
- RU2579958C1 RU2579958C1 RU2014152880/08A RU2014152880A RU2579958C1 RU 2579958 C1 RU2579958 C1 RU 2579958C1 RU 2014152880/08 A RU2014152880/08 A RU 2014152880/08A RU 2014152880 A RU2014152880 A RU 2014152880A RU 2579958 C1 RU2579958 C1 RU 2579958C1
- Authority
- RU
- Russia
- Prior art keywords
- input
- block
- weight coefficient
- output
- threshold values
- Prior art date
Links
Images
Abstract
Изобретение относится к вычислительной технике и может быть использовано при построении систем обработки информации в нейросетевом базисе, в том числе для распознавания образов (классификации). Техническим результатом является возможность обеспечения многопараметрической классификации. Устройство содержит блок входных сигналов, узлы умножения входной величины на весовой коэффициент, сумматор, блок функции активации, каждый узел умножения входной величины на весовой коэффициент включает умножитель входного сигнала на весовой коэффициент и блок формирования весового коэффициента, включающий блок сравнения входной и пороговых величин, ячейки памяти постоянного запоминающего устройства, с записанными в них пороговыми величинами, коммутатор, ячейки памяти постоянного запоминающего устройства с записанными в них весовыми коэффициентами. 2 ил.
Description
Изобретение относится к вычислительной технике и может быть использовано при построении систем обработки информации в нейросетевом базисе, в том числе для распознавания образов (классификации).
Наиболее близким по выполнению устройством является искусственный нейрон [Хайкин С. Нейронные сети: полный курс, 2e издание: пер. с англ. /С. Хайкин. - М.: Издательский дом «Вильямс», 2006. - 1104 с., с. 42-43], включающий входные сигналы, набор весовых коэффициентов, умножители входного сигнала на весовой коэффициент, сумматор, блок функции активации.
Недостатком известного устройства является использование заданных на этапе обучения и неизменяемых в процессе функционирования значений весовых коэффициентов, что приводит к ограниченным вычислительным возможностям и требует совместного использования нескольких нейронов в одном аппаратном устройстве при решении задач многопараметрической классификации.
Техническим результатом является возможность использования одного нейрона в одном вычислительном блоке при решении задач многопараметрической классификации за счет использования в процессе функционирования искусственного нейрона, изменяемых в зависимости от величины входного сигнала весовых коэффициентов.
Технический результат достигается тем, что устройство включает блок входных сигналов, соединенный с одним или несколькими узлами умножения входной величины на весовой коэффициент, каждый из которых соединен с сумматором, выход которого соединен со входом блока функции активации, каждый узел умножения входной величины на весовой коэффициент включает умножитель входного сигнала на весовой коэффициент и блок формирования весового коэффициента, включающий блок сравнения входной и пороговых величин, один из входов которого соединен с одним из выходов блока входных сигналов, подключенным к одному из входов умножителя входного сигнала на весовой коэффициент, другие входы блока сравнения соединены с выходами ячеек памяти постоянного запоминающего устройства, с записанными в них пороговыми величинами, выход блока сравнения подключен ко входу коммутатора, другие входы которого соединены с выходами ячеек памяти постоянного запоминающего устройства с записанными в них весовыми коэффициентами, выход коммутатора подключен к другому входу умножителя входного сигнала на весовой коэффициент, выход которого соединен с одним из входов сумматора.
Отличием предлагаемого устройства является наличие, между блоком входных сигналов и умножителем входного сигнала на весовой коэффициент, блока формирования весового коэффициента, включающего блок сравнения входной и пороговых величин, связанный с блоком входных сигналов и с постоянным запоминающим устройством с записанными в его ячейках памяти пороговыми величинами, а также коммутатором, связанным с постоянным запоминающим устройством с записанными в ячейках памяти весовыми коэффициентами.
Наличие блока сравнения входной и пороговых величин позволяет сравнить каждое значение входного сигнала с заблаговременно задаваемыми пороговыми величинами и по результатам сравнения выбрать с помощью коммутатора весовой коэффициент, соответствующий данному входному сигналу.
Наличие коммутатора позволяет считывать из ячеек памяти постоянного запоминающего устройства весовой коэффициент, соответствующий данному входному сигналу.
Таким образом, наличие блока формирования весового коэффициента позволяет сравнить каждое значение входного сигнала с заблаговременно задаваемыми пороговыми величинами и выбрать соответственно результату сравнения один из множества заранее определенных весовых коэффициентов для последующего его умножения на величину входного сигнала (то есть весовые коэффициенты являются изменяемыми в зависимости от величины входного сигнала).
На фиг. 1 представлена схема предлагаемого искусственного нейрона, где:
Mi - узел умножения входной величины на весовой коэффициент;
Fi - блок формирования весового коэффициента;
Ti - постоянное запоминающее устройство с записанными в ячейках памяти пороговыми величинами;
Wi - постоянное запоминающее устройство с записанными в ячейках памяти весовыми коэффициентами;
1 - блок входных сигналов;
1.i.1 - выходной сигнал блока входных сигналов, поступающий на блок формирования весового коэффициента одного из узлов умножения входной величины на весовой коэффициент;
1.i.2 - выходной сигнал блока входных сигналов, поступающий на умножитель одного из узлов умножения входной величины на весовой коэффициент;
4 - линия связи между блоком 3 сравнения входной и пороговых величин и коммутатором 5;
7 - линия связи между коммутатором 5 и умножителем 8 входного сигнала на весовой коэффициент;
8 - умножитель входного сигнала на весовой коэффициент;
11 - линия связи между сумматором 10 и блоком функции активации 12;
13 - вывод выходного значения.
В предлагаемом устройстве блок 1 входных сигналов связан линиями связи
через узлы M умножения входной величины на весовой коэффициент с одной из m-групп
входов сумматора 10, выход 11 которого поступает на блок 12 функции активации, выход 13 из которого является выходом устройства.
Устройство работает следующим образом. Перед включением информационный сигнал преобразуется в форму, воспринимаемую устройством, и заносится в блок 1 входных сигналов. При включении устройства входной сигнал блока 1 по группе линий связи
поступает на соответствующий вход блока 3 сравнения входной и пороговых величин, где осуществляется сравнение величины одного из входных сигналов блока 1 с множеством пороговых значений, заданных в ячейках
памяти и поступающих по линиям связи
. В зависимости от произведенного сравнения на выходе 4 блока 3 сравнения входной и пороговых величин формируется сигнал, определяющий адрес считываемого значения весового коэффициента из ячеек памяти
.
Принцип определения считываемого весового коэффициента заключается в сопоставлении в каждом блоке Мi входной величины одного из входных сигналов блока 1 в с заданными заранее порогами
в блоке 3 сравнения входной и пороговых величин и выборе коммутатором 5 соответствующего для данного входного сигнала весового коэффициента в постоянном запоминающем устройстве Wi. В обобщенном виде соотношение, описывающее получение весовых коэффициентов, имеет вид:
где
- номер узла умножения;
- выходное значение блока входных сигналов, связанное с
-м узлом умножения;
- номер ячейки памяти постоянного запоминающего устройства Тi;
- количество ячеек памяти с записанными в них весовыми коэффициентами постоянного запоминающего устройства Wi;
- количество ячеек памяти с записанными в них пороговыми величинами постоянного запоминающего устройства Ti.
Считываемое значение весового коэффициента, поступающее по линиям связи
, поступает по линии связи 7 на умножитель 8, где умножается на значение входной величины 1.i, поступающее по линии связи 1.i.2. Полученный после умножения результат передается с выхода умножителя 8 через одну из линий связи группы
на сумматор 10. В сумматоре 10 происходит суммирование взвешенных входных значений, поступивших с разных узлов M умножения входной величины на весовой коэффициент. Результат 11 суммирования поступает на блок 12 функции активации, в котором формируется выходной сигнал, поступающий на вывод 13, откуда сигнал преобразуется в форму, пригодную для последующей передачи и обработки.
Ниже иллюстрируется осуществление изобретения на примере задачи «Ирисы Фишера» [Бэстенс Д.-Э. Нейронные сети и финансовые рынки: принятие решений в торговых операциях /Д.-Э. Бэстенс, В.-М. ван ден Берг, Д. Вуд. - М.: ТВП, 1997. - 236 с., с. 35-37].
Набор данных для задачи классификации «Ирисы Фишера» состоит из данных о 150 экземплярах ириса, по 50 экземпляров из трех видов растений - ирис щетинистый (iris setosa), ирис виргинский (iris virginica), ирис разноцветный (iris versicolor). Для каждого экземпляра применяются четыре характеристики: длина чашелистика, ширина чашелистика, длина лепестка и ширина лепестка. На основании данного набора данных требуется обеспечить классификацию видов растений по данным измерений.
На первом этапе поступающая измерительная информация преобразуется в форму, пригодную для обработки искусственным нейроном. Задаваемые характеристики экземпляров ирисов определяются как множество масштабированных в интервале [0,1] входных значений
. Устройство имеет один выход
, поэтому для определения класса ирисов выделим для каждого сорта ирисов уровень выходной величины в интервале [0,1]:
- первый сорт ирисов (ирис щетинистый),
- второй сорт ирисов (ирис виргинский),
- третий сорт ирисов (ирис разноцветный). С учетом данных выходных уровней сигналов перед включением устройства в ячейки памяти постоянных запоминающих устройств T1-T4 и W1-W4 заносятся соответствующие значения порогов и весовых коэффициентов. В конкретном случае для каждого входного параметра записываются следующие величины порогов:
,
,
,
. Соответственно, для решения данной задачи весовые коэффициенты, записанные в соответствующие ячейки памяти блоков W1-W4 для каждой из трех категорий входных сигналов, составят следующие значения:
С учетом сделанных настроек устройство готово к работе. Зададимся конкретными значениями информационных входных сигналов из набора данных «Ирисы Фишера», например: длина чашелистика - 6,3 см; ширина чашелистика - 3,3 см; длина лепестка - 6,0 см; ширина лепестка - 2,5 см, которые соответствуют третьему сорту ирисов - ирис разноцветный. После масштабирования информационных сигналов в интервал [0,1] набор входных значений принимает вид:
.
На фиг. 2 представлен искусственный нейрон, реализованный в одном вычислительном блоке, реализующий решение задачи «Ирисы Фишера». После включения устройства соответствующие входные сигналы 1.1, 1.2, 1.3, 1.4 из блока 1 входных сигналов поступают на соответствующие блоки сравнения 3.1, 3.2, 3.3, 3.4, где сравниваются с заранее заданными пороговыми значениями, записанными в ячейки памяти постоянных запоминающих устройств T1, T2, T3, T4. По результатам сравнения коммутаторы 5.1, 5.2, 5.3, 5.4 считывают из ячеек памяти постоянных запоминающих устройств W1, W2, W3, W4 соответствующие значения весовых коэффициентов -
,
,
,
. Считанные значения весовых коэффициентов по соответствующим линиям связи 7.1, 7.2, 7.3, 7.4 поступают на умножители 8.1, 8.2, 8.3, 8.4, куда так же по линиям связи 1.1.2, 1.2.2, 1.3.2, 1.4.2 поступают значения соответствующих входных сигналов 1.1, 1.2, 1.3, 1.4. В умножителях происходит умножение входных сигналов на соответствующие им весовые коэффициенты, после чего взвешенные значения сигналов поступают на сумматор 11, где происходит их суммирование. Выходное значение сумматора поступает на блок 13 функции активации. Полученное вычисленное выходное значение составляет
, что соответствует, как показано выше, третьему сорту ирисов и совпадает с исходным набором данных.
Таким образом, предлагаемое устройство позволяет в одном вычислительном блоке решить задачу многопараметрической классификации, за счет использования в составе искусственного нейрона изменяемых в зависимости от величины входного сигнала весовых коэффициентов. При этом сохраняется присущее нейросетевой технологии свойство обобщения входной информации.
Claims (1)
- Искусственный нейрон, характеризующийся тем, что включает блок входных сигналов, соединенный с одним или несколькими узлами умножения входной величины на весовой коэффициент, каждый из которых соединен с сумматором, выход которого соединен со входом блока функции активации, каждый узел умножения входной величины на весовой коэффициент включает умножитель входного сигнала на весовой коэффициент и блок формирования весового коэффициента, включающий блок сравнения входной и пороговых величин, один из входов которого соединен с одним из выходов блока входных сигналов, подключенным к одному из входов умножителя входного сигнала на весовой коэффициент, другие входы блока сравнения соединены с выходами ячеек памяти постоянного запоминающего устройства, с записанными в них пороговыми величинами, выход блока сравнения подключен ко входу коммутатора, другие входы которого соединены с выходами ячеек памяти постоянного запоминающего устройства с записанными в них весовыми коэффициентами, выход коммутатора подключен к другому входу умножителя входного сигнала на весовой коэффициент, выход которого соединен с одним из входов сумматора.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2014152880/08A RU2579958C1 (ru) | 2014-12-25 | 2014-12-25 | Искусственный нейрон |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2014152880/08A RU2579958C1 (ru) | 2014-12-25 | 2014-12-25 | Искусственный нейрон |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2579958C1 true RU2579958C1 (ru) | 2016-04-10 |
Family
ID=55793819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2014152880/08A RU2579958C1 (ru) | 2014-12-25 | 2014-12-25 | Искусственный нейрон |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2579958C1 (ru) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2627125C1 (ru) * | 2016-10-24 | 2017-08-03 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (государственный университет)" | Наноразмерный искусственный нейрон "интегрировать-и-сработать" |
CN108416437A (zh) * | 2016-04-18 | 2018-08-17 | 中国科学院计算技术研究所 | 用于乘加运算的人工神经网络的处理系统及方法 |
CN108460454A (zh) * | 2017-02-21 | 2018-08-28 | 京东方科技集团股份有限公司 | 卷积神经网络和用于其的处理方法、装置、系统 |
RU2734581C1 (ru) * | 2019-11-22 | 2020-10-20 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный университет имени М.В. Ломоносова" (МГУ) | Сверхпроводящий нейрон для многослойного персептрона |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2029368C1 (ru) * | 1991-07-01 | 1995-02-20 | Научно-исследовательский институт многопроцессорных вычислительных систем при Таганрогском радиотехническом институте | Устройство для моделирования нейрона |
RU2059290C1 (ru) * | 1991-09-10 | 1996-04-27 | Научно-исследовательский институт многопроцессорных вычислительных систем при Таганрогском радиотехническом институте | Устройство для моделирования нейрона |
US5671337A (en) * | 1992-12-24 | 1997-09-23 | Olympus Optical Co., Ltd. | Neuron unit |
RU62314U1 (ru) * | 2006-12-07 | 2007-03-27 | Владимир Юрьевич Анисимов | Формальный нейрон |
-
2014
- 2014-12-25 RU RU2014152880/08A patent/RU2579958C1/ru not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2029368C1 (ru) * | 1991-07-01 | 1995-02-20 | Научно-исследовательский институт многопроцессорных вычислительных систем при Таганрогском радиотехническом институте | Устройство для моделирования нейрона |
RU2059290C1 (ru) * | 1991-09-10 | 1996-04-27 | Научно-исследовательский институт многопроцессорных вычислительных систем при Таганрогском радиотехническом институте | Устройство для моделирования нейрона |
US5671337A (en) * | 1992-12-24 | 1997-09-23 | Olympus Optical Co., Ltd. | Neuron unit |
RU62314U1 (ru) * | 2006-12-07 | 2007-03-27 | Владимир Юрьевич Анисимов | Формальный нейрон |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108416437A (zh) * | 2016-04-18 | 2018-08-17 | 中国科学院计算技术研究所 | 用于乘加运算的人工神经网络的处理系统及方法 |
CN108416437B (zh) * | 2016-04-18 | 2021-08-03 | 中国科学院计算技术研究所 | 用于乘加运算的人工神经网络的处理系统及方法 |
RU2627125C1 (ru) * | 2016-10-24 | 2017-08-03 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (государственный университет)" | Наноразмерный искусственный нейрон "интегрировать-и-сработать" |
CN108460454A (zh) * | 2017-02-21 | 2018-08-28 | 京东方科技集团股份有限公司 | 卷积神经网络和用于其的处理方法、装置、系统 |
US11620496B2 (en) | 2017-02-21 | 2023-04-04 | Boe Technology Group Co., Ltd. | Convolutional neural network, and processing method, processing device, processing system and medium for the same |
RU2734581C1 (ru) * | 2019-11-22 | 2020-10-20 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный университет имени М.В. Ломоносова" (МГУ) | Сверхпроводящий нейрон для многослойного персептрона |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240119286A1 (en) | Adaptive artificial neural network selection techniques | |
CN108885713B (zh) | 图像分类神经网络 | |
Xie et al. | Time series prediction based on NARX neural networks: An advanced approach | |
RU2579958C1 (ru) | Искусственный нейрон | |
Khatibi et al. | Inter-comparison of time series models of lake levels predicted by several modeling strategies | |
Wilfred et al. | System identification using artificial neural network | |
CN111860568B (zh) | 数据样本的均衡分布方法、装置及存储介质 | |
Paul et al. | Study of the convergence behavior of the complex kernel least mean square algorithm | |
KR102135632B1 (ko) | 뉴럴 프로세싱 장치 및 그것의 동작 방법 | |
KR20180092342A (ko) | 인공 신경망 장치 및 그것의 동작 방법 | |
WO2018135515A1 (ja) | 情報処理装置、ニューラルネットワークの設計方法及び記録媒体 | |
Roy et al. | Hardware efficient, neuromorphic dendritically enhanced readout for liquid state machines | |
Song et al. | Bird sound detection based on binarized convolutional neural networks | |
Li et al. | Nonlinear system identification using adaptive Chebyshev neural networks | |
CN114913860A (zh) | 声纹识别方法、装置、计算机设备、存储介质及程序产品 | |
US11526735B2 (en) | Neuromorphic neuron apparatus for artificial neural networks | |
Mišić et al. | Volterra kernels extraction from neural networks for amplifier behavioral modeling | |
CN112765481A (zh) | 一种数据处理方法、装置、计算机及可读存储介质 | |
Scardapane et al. | Significance-based pruning for reservoir’s neurons in echo state networks | |
RU62314U1 (ru) | Формальный нейрон | |
US11727252B2 (en) | Adaptive neuromorphic neuron apparatus for artificial neural networks | |
Ermakov et al. | Pre-processing of observation data of intelligent agents using real-time causal filters | |
CN112883988B (zh) | 基于多数据集的特征提取网络的训练及特征提取方法 | |
MARTYNIUK et al. | The model of multifunctional neural element of intelligent systems | |
Liano | A robust approach to supervised learning in neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20191226 |