RU2020135883A - Способ создания искусственной нейронной сети с ид-сплайновой функцией активации - Google Patents
Способ создания искусственной нейронной сети с ид-сплайновой функцией активации Download PDFInfo
- Publication number
- RU2020135883A RU2020135883A RU2020135883A RU2020135883A RU2020135883A RU 2020135883 A RU2020135883 A RU 2020135883A RU 2020135883 A RU2020135883 A RU 2020135883A RU 2020135883 A RU2020135883 A RU 2020135883A RU 2020135883 A RU2020135883 A RU 2020135883A
- Authority
- RU
- Russia
- Prior art keywords
- neural network
- layer
- parabolic
- artificial neural
- integro
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/12—Simultaneous equations, e.g. systems of linear equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Claims (13)
1. Способ компьютерного создания обученного экземпляра искусственной нейронной сети, включающий следующие шаги:
получают структуру и гиперпараметры для формируемой нейронной сети;
формируют при помощи по крайней мере одного процессора искусственную нейронную сеть, располагаемую в памяти на основании заданной структуры и гиперпараметров, а именно: входной слой нейронной сети, один и более скрытых слоев нейронной сети, выходной слой нейронной сети, причем каждый слой нейронной сети содержит по крайней мере один узел, а узлы скрытых и выходного слоев нейронной сети преобразовывают входные сигналы в выходной сигнал при помощи функций активации, где по крайней мере одна из функций активации представляет собой или содержит параболический интегро-дифференциальный сплайн 
, в котором коэффициенты параболических многочленов 
содержат обучаемые параметры и изменяются при обучении сформированной нейронной сети;
обучают экземпляр сформированной искусственной нейронной сети.
2. Способ по п.1, в котором функция активации задается отдельно для каждого нейрона скрытого слоя.
3. Способ по п.1, в котором функция активации задается отдельно для каждого скрытого слоя.
4. Способ по п.1, в котором процессор является CPU или GPU.
5. Способ по п.1, в котором память является оперативной или видеопамятью.
6. Способ по п.1, в котором слой нейронной сети с функцией активации, представляющей собой или содержащей параболический интегро-дифференциальный сплайн, содержит слой «эмбеддингов», сконфигурированный так, чтобы обучались параметры, входящие в состав коэффициентов параболического интегро-дифференциального сплайна.
7. Способ по п.1, в котором используют матричное решение системы линейных алгебраических уравнений для нахождения параметров, входящих в состав коэффициентов параболического интегро-дифференциального сплайна, являющегося функцией активации.
8. Способ компьютерного использования обученного экземпляра искусственной нейронной сети, включающий следующие шаги:
получают и передают данные на входной слой обученного экземпляра искусственной нейронной сети, причем искусственная нейронная сеть была сформирована при помощи по крайней мере одного процессора на основании заданной структуры и гиперпараметров, а именно: входной слой нейронной сети, один и более скрытых слоев нейронной сети, выходной слой нейронной сети, причем каждый слой нейронной сети содержит по крайней мере один узел, а узлы скрытого слоя нейронной сети преобразуют входные сигналы в выходной сигнал при помощи функций активации, где по крайней мере одна из функций активации представляет собой или содержит параболический интегро-дифференциальный сплайн 
, в котором коэффициенты многочленов 
содержат обучаемые параметры и изменяются при обучении сформированной нейронной сети;
обрабатывают входные данные при помощи обученного экземпляра искусственной нейронной сети и получают выходной результат.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020135883A RU2020135883A (ru) | 2020-11-01 | 2020-11-01 | Способ создания искусственной нейронной сети с ид-сплайновой функцией активации |
| US17/324,681 US20220138562A1 (en) | 2020-11-01 | 2021-05-19 | Method for creating an artificial neural network (ann) with id-spline-based activation function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020135883A RU2020135883A (ru) | 2020-11-01 | 2020-11-01 | Способ создания искусственной нейронной сети с ид-сплайновой функцией активации |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2020135883A true RU2020135883A (ru) | 2022-05-05 |
Family
ID=81380169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020135883A RU2020135883A (ru) | 2020-11-01 | 2020-11-01 | Способ создания искусственной нейронной сети с ид-сплайновой функцией активации |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220138562A1 (ru) |
| RU (1) | RU2020135883A (ru) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11635916B2 (en) * | 2021-03-30 | 2023-04-25 | SK Hynix Inc. | Workload-aware memory controller based on compact workload representation and method thereof |
| CN113595637B (zh) * | 2021-09-27 | 2022-01-25 | 清华大学 | 全光感算一体光场智能处理系统及方法 |
| TWI819645B (zh) * | 2022-06-08 | 2023-10-21 | 緯創資通股份有限公司 | 更新神經網路模型的方法和電子裝置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10936951B1 (en) * | 2016-02-14 | 2021-03-02 | Perceive Corporation | Machine learning through multiple layers of novel machine trained processing nodes |
-
2020
- 2020-11-01 RU RU2020135883A patent/RU2020135883A/ru unknown
-
2021
- 2021-05-19 US US17/324,681 patent/US20220138562A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220138562A1 (en) | 2022-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2020135883A (ru) | Способ создания искусственной нейронной сети с ид-сплайновой функцией активации | |
| WO2023029506A1 (zh) | 病情分析方法、装置、电子设备及存储介质 | |
| CN116415654A (zh) | 一种数据处理方法及相关设备 | |
| CN112257858A (zh) | 一种模型压缩方法及装置 | |
| CN109684449B (zh) | 一种基于注意力机制的自然语言语义表征方法 | |
| WO2020062299A1 (zh) | 一种神经网络处理器、数据处理方法及相关设备 | |
| Dale et al. | From apples and oranges to symbolic dynamics: A framework for conciliating notions of cognitive representation | |
| CN113656563B (zh) | 一种神经网络搜索方法及相关设备 | |
| Fry | Physical intelligence and thermodynamic computing | |
| US11962671B2 (en) | Biomimetic codecs and biomimetic coding techniques | |
| CN109740012B (zh) | 基于深度神经网络对图像语义进行理解和问答的方法 | |
| US20230419075A1 (en) | Automated Variational Inference using Stochastic Models with Irregular Beliefs | |
| CN116030296A (zh) | 用于图文数据协同的社交平台数据挖掘方法及其系统 | |
| Huyck | Creating hierarchical categories using cell assemblies | |
| KR20230141683A (ko) | Qa 모델을 이용하여 지식 그래프를 구축하는 방법, 장치 및 컴퓨터 프로그램 | |
| CN115424660A (zh) | 一种使用预测模型预测多源信息关系的方法、装置 | |
| CN114492451B (zh) | 文本匹配方法、装置、电子设备及计算机可读存储介质 | |
| Hu et al. | Multi-modal attentive graph pooling model for community question answer matching | |
| KR20200097103A (ko) | 딥러닝 알고리즘을 위한 활성화 함수를 실행하는 방법, 및 상기 방법을 실행하는 장치 | |
| CN112132281B (zh) | 一种基于人工智能的模型训练方法、装置、服务器及介质 | |
| KR20200101880A (ko) | 딥러닝 알고리즘을 위한 활성화 함수를 실행하는 방법, 및 상기 방법을 실행하는 장치 | |
| Wu | Research and implementation of visual question and answer system based on deep learning | |
| Windarto et al. | Deep Learning to Extract Animal Images With the U-Net Model on the Use of Pet Images | |
| Kamada et al. | Fast training of adaptive structural learning method of deep learning for multi modal data | |
| RU62314U1 (ru) | Формальный нейрон |