RU2021118571A

RU2021118571A - Аналоговая аппаратная реализация нейронных сетей

Info

Publication number: RU2021118571A
Application number: RU2021118571A
Authority: RU
Inventors: Александрс ТИМОФЕЕВС; Борис МАСЛОВ; Николай Вадимович КОВШОВ; Дмитрий Юльевич Годовский
Original assignee: ПолиН Текнолоджи Лимитед
Filing date: 2020-06-25
Publication date: 2023-01-27

Claims

1. Способ аппаратной реализации нейронных сетей, содержащий этапы, на которых:

получают топологию нейронной сети и весовые коэффициенты обученной нейронной сети;

трансформируют топологию нейронной сети в эквивалентную аналоговую сеть аналоговых компонентов;

вычисляют матрицу весов для эквивалентной аналоговой сети на основе весовых коэффициентов обученной нейронной сети, при этом каждый элемент матрицы весов представляет соответствующее соединение между аналоговыми компонентами эквивалентной аналоговой сети; и

формируют схематическую модель для реализации эквивалентной аналоговой сети на основе матрицы весов, включая выбор значений компонентов для аналоговых компонентов.

2. Способ по п.1, в котором этап, на котором формируют схематическую модель, включает в себя этап, на котором формируют матрицу сопротивлений для матрицы весов, при этом каждый элемент матрицы сопротивлений соответствует соответствующему весовому коэффициенту матрицы весов и представляет собой значение сопротивления.

3. Способ по п.2, дополнительно содержащий этапы, на которых:

получают новые весовые коэффициенты для обученной нейронной сети;

вычисляют новую матрицу весов для эквивалентной аналоговой сети на основе новых весовых коэффициентов; и

формируют новую матрицу сопротивлений для новой матрицы весов.

4. Способ по п.1, в котором топология нейронной сети включает в себя один или более слоев нейронов, причем каждый слой нейронов вычисляет соответствующие выводы на основе соответствующей математической функции, и этап, на котором трансформируют топологию нейронной сети в эквивалентную аналоговую сеть аналоговых компонентов, содержит этапы, на которых, для каждого слоя из одного или более слоев нейронов:

идентифицируют один или более блоков функции на основе соответствующей математической функции для соответствующего слоя, при этом каждый блок функции имеет соответствующую схематическую реализацию с выводами блока, которые согласуются с выводами соответствующей математической функции; и

формируют соответствующую многослойную сеть аналоговых нейронов на основе расстановки одного или более блоков функции, при этом каждый аналоговый нейрон реализует соответствующую функцию одного или более блоков функции, и каждый аналоговый нейрон первого слоя многослойной сети соединяется с одним или более аналоговыми нейронами второго слоя многослойной сети.

5. Способ по п.4, в котором один или более блоков функции включают в себя один или более базовых блоков функции, выбранных из группы, состоящей из следующего:

блок взвешенного суммирования с выводом блока в виде

, где

является функцией активации Выпрямленной Линейной Единицы (ReLU) или аналогичной функцией активации,

представляет собой i-й ввод,

представляет собой весовой коэффициент, соответствующий i-му вводу, и

представляет собой значение смещения, и

является оператором суммирования;

блок умножителя сигнала с выводом блока в виде

, где

представляет собой i-й ввод,

представляет собой j-й ввод, и

является предварительно определенным коэффициентом;

блок активации по сигмоиде с выводом блока в виде

, где

представляет собой ввод, а A и B являются предварительно определенными значениями коэффициента блока активации по сигмоиде;

блок активации по гиперболическому тангенсу с выводом блока в виде

, где

представляет собой ввод, а A и B являются предварительно определенными значениями коэффициента; и

блок задержки сигнала с выводом блока в виде

, где

представляет собой период текущего времени,

представляет собой вывод блока задержки сигнала для предшествующего периода времени

-1, и

является значением задержки.

6. Способ по п.4, в котором этап, на котором идентифицируют один или более блоков функции, включает в себя этап, на котором выбирают один или более блоков функции на основе типа соответствующего слоя.

7. Способ по п.1, в котором топология нейронной сети включает в себя один или более слоев нейронов, причем каждый слой нейронов вычисляет соответствующие выводы на основе соответствующей математической функции, и этап, на котором трансформируют топологию нейронной сети в эквивалентную аналоговую сеть аналоговых компонентов, содержит этапы, на которых:

осуществляют разложение первого слоя топологии нейронной сети на множество подслоев, включая разложение математической функции, соответствующей первому слою, чтобы получить одну или более промежуточных математических функций, при этом каждый подслой реализует промежуточную математическую функцию; и

для каждого подслоя первого слоя топологии нейронной сети:

выбирают один или более блоков подфункции на основе соответствующей промежуточной математической функции для соответствующего подслоя, и

формируют соответствующую многослойную аналоговую подсеть аналоговых нейронов на основе расстановки одного или более блоков подфункции, при этом каждый аналоговый нейрон реализует соответствующую функцию одного или более блоков подфункции, и каждый аналоговый нейрон первого слоя многослойной аналоговой подсети соединяется с одним или более аналоговыми нейронами второго слоя многослойной аналоговой подсети.

8. Способ по п.7, в котором математическая функция, соответствующая первому слою, включает в себя один или более весовых коэффициентов, и этап, на котором осуществляют разложение математической функции, включает в себя этап, на котором регулируют один или более весовых коэффициентов так, чтобы объединение одной или более промежуточных функций приводило к упомянутой математической функции.

9. Способ по п.1, дополнительно содержащий этапы, на которых:

формируют эквивалентную цифровую сеть цифровых компонентов для одного или более выходных слоев топологии нейронной сети; и

соединяют вывод одного или более слоев эквивалентной аналоговой сети с эквивалентной цифровой сетью цифровых компонентов.

10. Способ по п.1, в котором аналоговые компоненты включают в себя множество операционных усилителей и множество резисторов, причем каждый операционный усилитель представляет собой аналоговый нейрон эквивалентной аналоговой сети, а каждый резистор представляет собой соединение между аналоговыми нейронами.

11. Способ по п.10, в котором этап, на котором выбирают значения компонента аналоговых компонентов, включает в себя этап, на котором выполняют метод градиентного спуска, чтобы идентифицировать возможные значения сопротивления для множества резисторов.

12. Способ по п.1, в котором топология нейронной сети включает в себя один или более нейронов GRU или LSTM, и этап, на котором трансформируют топологию нейронной сети, включает в себя этап, на котором формируют один или более блоков задержки сигнала для каждого рекуррентного соединения одного или более нейронов GRU или LSTM.

13. Способ по п.12, в котором один или более блоков задержки сигнала активируются с частотой, которая совпадает с предварительно определенной частотой входного сигнала для топологии нейронной сети.

14. Способ по п.1, в котором топология нейронной сети включает в себя один или более слоев нейронов, которые выполняют функции неограниченной активации, и этап, на котором трансформируют топологию нейронной сети, включает в себя этап, на котором применяют одну или более трансформаций, выбранных из группы, состоящей из следующего:

замена функций неограниченной активации ограниченной активацией; и

регулирование соединений или весовых коэффициентов эквивалентной аналоговой сети таким образом, что, для предварительно определенных одного или более вводов, разность вывода между обученной нейронной сетью и эквивалентной аналоговой сетью сведена к минимуму.

15. Способ по п.2, дополнительно содержащий этап, на котором формируют одну или более литографических масок для изготовления микросхемы, реализующей эквивалентную аналоговую сеть аналоговых компонентов на основе матрицы сопротивлений.

16. Способ по п.15, дополнительно содержащий этапы, на которых:

вычисляют новую матрицу весов для эквивалентной аналоговой сети на основе новых весовых коэффициентов;

формируют новую матрицу сопротивлений для новой матрицы весов; и

формируют новую литографическую маску для изготовления микросхемы, реализующей эквивалентную аналоговую сеть аналоговых компонентов, на основе новой матрицы сопротивлений.

17. Способ по п.1, в котором обученная нейронная сеть обучается с использованием программных моделирований, чтобы сформировать весовые коэффициенты.

18. Система для аппаратной реализации нейронных сетей, содержащая:

один или более процессоров;

память, при этом память хранит одну или более программ, сконфигурированных для исполнения одним или более процессорами, и одна или более программ содержат инструкции для:

получения топологии нейронной сети и весовых коэффициентов обученной нейронной сети;

трансформации топологии нейронной сети в эквивалентную аналоговую сеть аналоговых компонентов;

вычисления матрицы весов для эквивалентной аналоговой сети на основе весовых коэффициентов обученной нейронной сети, при этом каждый элемент матрицы весов представляет соответствующее соединение между аналоговыми компонентами эквивалентной аналоговой сети; и

формирования схематической модели для реализации эквивалентной аналоговой сети на основе матрицы весов, включая выбор значений компонентов для аналоговых компонентов.

19. Долговременный машиночитаемый носитель информации, хранящий одну или более программ, сконфигурированных для исполнения компьютерной системой с одним или более процессорами, причем одна или более программ содержат инструкции для:

20. Способ аппаратной реализации нейронных сетей, содержащий этапы, на которых:

вычисляют одно или более ограничений соединения на основе конструктивных ограничений аналоговой интегральной микросхемы (IC);

трансформируют топологию нейронной сети в эквивалентную сеть с разреженными соединениями аналоговых компонентов, отвечающую этим одному или более ограничениям соединения; и

вычисляют матрицу весов для эквивалентной сети с разреженными соединениями на основе весовых коэффициентов обученной нейронной сети, при этом каждый элемент матрицы весов представляет соответствующее соединение между аналоговыми компонентами эквивалентной сети с разреженными соединениями.

21. Способ по п.20, в котором этап, на котором трансформируют топологию нейронной сети в эквивалентную сеть с разреженными соединениями аналоговых компонентов, содержит этап, на котором получают возможную степень

входного соединения и степень

выходного соединения в соответствии с одним или более ограничениями соединения.

22. Способ по п.21, в котором топология нейронной сети включает в себя по меньшей мере один слой с плотными соединениями с

вводами и

выводами и матрицей

весов, и этап, на котором трансформируют по меньшей мере один слой с плотными соединениями, включает в себя этап, на котором конструируют эквивалентную сеть с разреженными соединениями с

вводами,

выводами и

слоями так, что степень входного соединения не превышает

, а степень выходного соединения не превышает

.

23. Способ по п.21, в котором топология нейронной сети включает в себя по меньшей мере один слой с плотными соединениями с

вводами и

выводами и матрицей

вводами,

выводами и

слоями, причем каждый слой

представляется соответствующей матрицей

весов, где отсутствующие соединения представляются нулями, так что степень входного соединения не превышает

, и при этом уравнение

выполняется с предварительно определенной точностью.

24. Способ по п.21, в котором топология нейронной сети включает в себя один слой с разреженными соединениями с

вводами и

выводами, максимальной степенью

входного соединения, максимальной степенью

выходного соединения и матрицей

весов, где отсутствующие соединения представляются нулями, и этап, на котором трансформируют один слой с разреженными соединениями, включает в себя этап, на котором конструируют эквивалентную сеть с разреженными соединениями с

вводами,

выводами,

слоями, причем каждый слой

представляется соответствующей матрицей

, и при этом уравнение

25. Способ по п.21, в котором топология нейронной сети включает в себя сверточный слой с

вводами и

выводами, и этап, на котором трансформируют топологию нейронной сети в эквивалентную сеть с разреженными соединениями аналоговых компонентов, включает в себя этап, на котором осуществляют разложение сверточного слоя на один слой с разреженными соединениями с

вводами и

выводами, максимальной степенью

входного соединения и максимальной степенью

выходного соединения, при этом

и

.

26. Способ по п.20, дополнительно содержащий этап, на котором формируют схематическую модель для реализации эквивалентной сети с разреженными соединениями, используя матрицу весов.

27. Способ по п.20, в котором топология нейронной сети включает в себя рекуррентный нейронный слой, и этап, на котором трансформируют топологию нейронной сети в эквивалентную сеть с разреженными соединениями аналоговых компонентов, включает в себя этап, на котором трансформируют рекуррентный нейронный слой в один или более слоев с разреженными соединениями или с плотными соединениями с соединениями задержки сигнала.

28. Способ по п.20, в котором топология нейронной сети включает в себя рекуррентный нейронный слой, и этап, на котором трансформируют топологию нейронной сети в эквивалентную сеть с разреженными соединениями аналоговых компонентов, включает в себя этап, на котором осуществляют разложение рекуррентного нейронного слоя на несколько слоев, где по меньшей мере один из слоев эквивалентен слою с плотными соединениями или с разреженными соединениями с

вводами и

выводами и матрицей

весов, где отсутствующие соединения представляются нулями.

29. Способ по п.20, в котором топология нейронной сети включает в себя

вводов, весовой вектор

и однослойный персептрон с нейроном вычисления с функцией

активации,

этап, на котором трансформируют топологию нейронной сети в эквивалентную сеть с разреженными соединениями аналоговых компонентов, содержит этапы, на которых:

получают степень

соединения для эквивалентной сети с разреженными соединениями в соответствии с одним или более ограничениями соединения;

вычисляют количество слоев

для эквивалентной сети с разреженными соединениями с использованием уравнения

; и

конструируют эквивалентную сеть с разреженными соединениями с

вводами,

слоями и степенью

соединения, при этом эквивалентная сеть с разреженными соединениями включает в себя соответствующие один или более аналоговых нейронов в каждом слое из

слоев, причем каждый аналоговый нейрон первых

слоев реализует тождественную трансформацию, а аналоговый нейрон последнего слоя реализует функцию

активации нейрона вычисления однослойного персептрона, и

этап, на котором вычисляют матрицу весов для эквивалентной сети с разреженными соединениями, содержит этап, на котором вычисляют весовой вектор

для соединений эквивалентной сети с разреженными соединениями путем решения системы уравнений на основе весового вектора

, при этом система уравнений включает в себя

уравнений с

переменными, и

вычисляется с использованием уравнения

.

30. Способ по п.20, в котором топология нейронной сети включает в себя

вводов, однослойный персептрон с

нейронами вычисления и матрицей

весов, которая включает в себя строку весовых коэффициентов для каждого нейрона вычисления из

нейронов вычисления,

получают степень

вычисляют количество слоев

;

осуществляют разложение однослойного персептрона на

сетей однослойного персептрона, при этом каждая сеть однослойного персептрона включает в себя соответствующий нейрон вычисления из

нейронов вычисления;

для каждой сети однослойного персептрона из

сетей однослойного персептрона:

конструируют соответствующую эквивалентную пирамидоподобную подсеть для соответствующей сети однослойного персептрона с

вводами,

слоями и степенью

соединений, при этом эквивалентная пирамидоподобная подсеть включает в себя один или более соответствующих аналоговых нейронов в каждом слое из

слоев реализует тождественную трансформацию, а аналоговый нейрон последнего слоя реализует функцию активации соответствующего нейрона вычисления, который соответствует соответствующему однослойному персептрону; и

конструируют эквивалентную сеть с разреженными соединениями путем сцепления каждой эквивалентной пирамидоподобной подсети, включая сцепление ввода каждой эквивалентной пирамидоподобной подсети для

сетей однослойного персептрона, чтобы сформировать входной вектор с

вводами, и

этап, на котором вычисляют матрицу весов для эквивалентной сети с разреженными соединениями, содержит этапы на которых, для каждой сети однослойного персептрона из

сетей однослойного персептрона:

устанавливают весовой вектор

, причем i^я строка матрицы

весов соответствует соответствующему нейрону вычисления, который соответствует соответствующей сети однослойного персептрона; и

вычисляют весовой вектор

для соединений соответствующей эквивалентной пирамидоподобной подсети путем решения системы уравнений на основе весового вектора

уравнений с

переменными, и

вычисляется с использованием уравнения

.

31. Способ по п.20, в котором топология нейронной сети включает в себя

вводов, многослойный персептрон с

слоями, причем каждый слой

из

слоев включает в себя соответствующий набор из

нейронов вычисления и соответствующих матриц

весов, которые включают в себя строку весовых коэффициентов для каждого нейрона вычисления из

нейронов вычисления,

получают степень

осуществляют разложение многослойного персептрона на

нейронов вычисления, при этом этап, на котором осуществляют разложение многослойного персептрона, включает в себя этап, на котором дублируют один или более вводов из

вводов, которые совместно используются

нейронами вычисления;

сетей однослойного персептрона:

вычисляют количество слоев

для соответствующей эквивалентной пирамидоподобной подсети с использованием уравнения

, при этом

является количеством вводов для соответствующего нейрона вычисления в многослойном персептроне; и

вводами,

слоями и степенью

соединения, при этом эквивалентная пирамидоподобная подсеть включает в себя один или более соответствующих аналоговых нейронов в каждом слое из

слоев реализует тождественную трансформацию, а аналоговый нейрон последнего слоя реализует функцию активации соответствующего нейрона вычисления, который соответствует соответствующей сети однослойного персептрона; и

вводами, и

этап, на котором вычисляют матрицу весов для эквивалентной сети с разреженными соединениями, содержит этапы, на которых, для каждой сети однослойного персептрона из

сетей однослойного персептрона:

устанавливают весовой вектор

, причем i^я строка матрицы

весов соответствует соответствующему нейрону вычисления, который соответствует соответствующей сети однослойного персептрона, где

является соответствующим слоем соответствующего нейрона вычисления в многослойном персептроне; и

вычисляют весовой вектор

уравнений с

переменными, и

вычисляется с использованием уравнения

.

32. Способ по п.20, в котором топология нейронной сети включает в себя Сверточную Нейронную Сеть (CNN) с

вводами,

слоями, причем каждый слой

из

нейронов вычисления,

получают степень

осуществляют разложение CNN на

сетей однослойного персептрона, причем каждая сеть однослойного персептрона включает в себя соответствующий нейрон вычисления из

нейронов вычисления, при этом этап, на котором осуществляют разложение CNN, включает в себя этап, на котором дублируют один или более вводов из

вводов, которые совместно используются

нейронами вычисления;

сетей однослойного персептрона:

вычисляют количество слоев

, при этом

является соответствующим слоем у соответствующего нейрона вычисления в CNN, а

является количеством вводов для соответствующего нейрона вычисления в CNN; и

вводами,

слоями и степенью

вводами, и

сетей однослойного персептрона:

устанавливают весовой вектор

, причем i^я строка матрицы

является соответствующим слоем соответствующего нейрона вычисления в CNN; и

вычисляют весовой вектор

уравнений с

переменными, и

вычисляется с использованием уравнения

.

33. Способ по п.20, в котором топология нейронной сети включает в себя

вводов, слой

с

нейронами, слой

с

нейронами и матрицу

весов, где

является набором действительных чисел, причем каждый нейрон слоя

соединяется с каждым нейроном слоя

, при этом каждый нейрон слоя

выполняет функцию

активации так, что вывод слоя

вычисляется с использованием уравнения

для ввода

,

этап, на котором трансформируют топологию нейронной сети в эквивалентную сеть с разреженными соединениями аналоговых компонентов, содержит этап, на котором выполняют трапециевидную трансформацию, которая содержит:

получение возможной степени

входного соединения и возможной степени

выходного соединения в соответствии с одним или более ограничениями соединения;

в соответствии с определением того, что

, конструирование трехслойной аналоговой сети, которая включает в себя слой

с

аналоговыми нейронами, выполняющими тождественную функцию активации, слой

с

аналоговыми нейронами, выполняющими тождественную функцию активации, и слой

с

аналоговыми нейронами, выполняющими функцию

активации, так что каждый аналоговый нейрон в слое

имеет

выводов, каждый аналоговый нейрон в слое

имеет не больше

вводов и

выводов, и каждый аналоговый нейрон в слое

имеет

вводов, и

этап, на котором вычисляют матрицу весов для эквивалентной сети с разреженными соединениями, содержит этап, на котором формируют разреженные матрицы

и

весов путем решения матричного уравнения

, которое включает в себя

уравнений с

переменными, так что общий вывод слоя

вычисляется с использованием уравнения

, при этом разреженная матрица

весов представляет собой соединения между слоями

и

, а разреженная матрица

и

.

34. Способ по п.33, в котором этап, на котором выполняют трапециевидную трансформацию, дополнительно содержит этапы, на которых, в соответствии с определением того, что

:

дробят слой

, чтобы получить подслой

с

нейронами и подслой

с

нейронами так, что

;

для подслоя

с

нейронами, выполняют этапы конструирования и формирования; и

для подслоя

с

нейронами, рекурсивно выполняют этапы дробления, конструирования и формирования.

35. Способ по п.34, в котором топология нейронной сети включает в себя сеть многослойного персептрона, причем способ дополнительно содержит этап, на котором: для каждой пары последовательных слоев сети многослойного персептрона, итерационно выполняют трапециевидную трансформацию и вычисление матрицы весов для эквивалентной сети с разреженными соединениями.

36. Способ по п.34, в котором топология нейронной сети включает в себя рекуррентную нейронную сеть (RNN), которая включает в себя (i) вычисление линейной комбинации для двух слоев с полными соединениями; (ii) поэлементное сложение; и (iii) вычисление нелинейной функции, причем способ дополнительно содержит этап, на котором выполняют трапециевидную трансформацию и вычисление матрицы весов для эквивалентной сети с разреженными соединениями для (i) двух слоев с полными соединениями и (ii) вычисления нелинейной функции.

37. Способ по п.34, в котором топология нейронной сети включает в себя сеть долгой краткосрочной памяти (LSTM) или сеть управляемых рекуррентных блоков (GRU), которые включают в себя (i) вычисление линейной комбинации для множества слоев с полными соединениями, (ii) поэлементное сложение, (iii) произведение Адамара и (iv) множество вычислений нелинейной функции, причем способ дополнительно содержит этап, на котором выполняют трапециевидную трансформацию и вычисление матрицы весов для эквивалентной сети с разреженными соединениями для (i) множества слоев с полными соединениями и (ii) множества вычислений нелинейной функции.

38. Способ по п.34, в котором топология нейронной сети включает в себя сверточную нейронную сеть (CNN), которая включает в себя (i) множество слоев с частичными соединениями и (ii) один или более слоев с полными соединениями, причем способ дополнительно содержит этапы, на которых:

трансформируют множество слоев с частичными соединениями в эквивалентные слои с полными соединениями путем вставки отсутствующих соединений с нулевыми весовыми коэффициентами; и

для каждой пары последовательных слоев из эквивалентных слоев с полными соединениями и одного или более слоев с полными соединениями, итерационно выполняют трапециевидную трансформацию и вычисление матрицы весов для эквивалентной сети с разреженными соединениями.

39. Способ по п.20, в котором топология нейронной сети включает в себя

вводов,

выходных нейронов и матрицу

весов, где

является набором действительных чисел, причем каждый выходной нейрон выполняет функцию

активации,

этап, на котором трансформируют топологию нейронной сети в эквивалентную сеть с разреженными соединениями аналоговых компонентов, содержит этап, на котором выполняют трансформацию аппроксимации, который содержит этапы, на которых:

получают возможную степень

входного соединения и возможную степень

выбирают параметр

из набора

;

в соответствии с определением того, что

, конструируют пирамидальную нейронную сеть, которая формирует первые

слоев эквивалентной сети с разреженными соединениями, так что пирамидальная нейронная сеть имеет

нейронов в ее выходном слое, при этом каждый нейрон в пирамидальной нейронной сети выполняет тождественную функцию; и

конструируют трапециевидную нейронную сеть с

вводами и

выводами, при этом каждый нейрон в последнем слое трапециевидной нейронной сети выполняет функцию

активации, а все другие нейроны выполняют тождественную функцию, и

этап, на котором вычисляют матрицу весов для эквивалентной сети с разреженными соединениями, содержит этапы, на которых:

формируют весовые коэффициенты для пирамидальной нейронной сети, включая (i) установку весовых коэффициентов каждого нейрона i первого слоя пирамидальной нейронной сети в соответствии со следующим правилом: (a)

, где

является ненулевой константой, а

; и (b)

, для всех весовых коэффициентов j нейрона за исключением

; и (ii) установку всех других весовых коэффициентов пирамидальной нейронной сети в 1; и

формируют весовые коэффициенты для трапециевидной нейронной сети, включая (i) установку весовых коэффициентов каждого нейрона i первого слоя трапециевидной нейронной сети в соответствии с уравнением

; и (ii) установку других весовых коэффициентов трапециевидной нейронной сети в 1.

40. Способ по п.39, в котором топология нейронной сети включает в себя многослойный персептрон с

вводами,

слоями и

нейронами вычисления в i-м слое, и матрицей

весов для i-го слоя, где

, и этап, на котором трансформируют топологию нейронной сети в эквивалентную сеть с разреженными соединениями аналоговых компонентов, содержит этапы, на которых, для каждого слоя

из

слоев многослойного персептрона:

конструируют соответствующую пирамидально-трапециевидную сеть PTNNX_j путем выполнения трансформации аппроксимации до соответствующего однослойного персептрона, состоящего из

вводов,

выходных нейронов и матрицы

весов; и

конструируют эквивалентную сеть с разреженными соединениями путем укладки друг на друга каждой пирамидальной трапециевидной сети.

41. Система для аппаратной реализации нейронных сетей, содержащая:

один или более процессоров;

вычисления одного или более ограничений соединения на основе конструктивных ограничений аналоговой интегральной микросхемы (IC);

трансформации топологии нейронной сети в эквивалентную сеть с разреженными соединениями аналоговых компонентов, отвечающую этим одному или более ограничениям соединения; и

вычисления матрицы весов для эквивалентной сети с разреженными соединениями на основе весовых коэффициентов обученной нейронной сети, при этом каждый элемент матрицы весов представляет соответствующее соединение между аналоговыми компонентами эквивалентной сети с разреженными соединениями.

42. Долговременный машиночитаемый носитель информации, хранящий одну или более программ, сконфигурированных для исполнения компьютерной системой с одним или более процессорами, причем одна или более программ содержат инструкции для:

43. Способ аппаратной реализации нейронных сетей, содержащий этапы, на которых:

трансформируют топологию нейронной сети в эквивалентную аналоговую сеть аналоговых компонентов, включающих в себя множество операционных усилителей и множество резисторов, при этом каждый операционный усилитель представляет собой аналоговый нейрон эквивалентной аналоговой сети, а каждый резистор представляет собой соединение между двумя аналоговыми нейронами;

вычисляют матрицу весов для эквивалентной аналоговой сети на основе весовых коэффициентов обученной нейронной сети, при этом каждый элемент матрицы весов представляет соответствующее соединение; и

формируют матрицу сопротивлений для матрицы весов, при этом каждый элемент матрицы сопротивлений соответствует соответствующему весовому коэффициенту матрицы весов и представляет собой значение сопротивления.

44. Способ по п.43, в котором этап, на котором формируют матрицу сопротивлений для матрицы весов, содержит этапы, на которых:

получают предварительно определенный диапазон

возможных значений сопротивления и выбирают первоначальное базовое значение

сопротивления в рамках предварительно определенного диапазона;

выбирают набор ограниченной длины значений сопротивления, в рамках предварительно определенного диапазона, который обеспечивает наиболее однородное распределение возможных весовых коэффициентов

в рамках диапазона

для всех комбинаций из

в рамках набора ограниченной длины значений сопротивления;

выбирают значение

сопротивления, из набора ограниченной длины значений сопротивления, либо для каждого аналогового нейрона, либо для каждого слоя эквивалентной аналоговой сети, на основе максимального весового коэффициента входящих соединений и смещения

каждого нейрона, либо для каждого слоя эквивалентной аналоговой сети, так что

является наиболее близким значением набора резисторов к

; и

для каждого элемента матрицы весов, выбирают соответствующее первое значение

сопротивления и соответствующее второе значение

сопротивления, которые сводят к минимуму ошибку в соответствии с уравнением

для всех возможных значений

и

в рамках предварительно определенного диапазона возможных значений сопротивления, при этом

является соответствующим элементом матрицы весов, а

является предварительно определенным относительным значением допуска для сопротивлений.

45. Способ по п.44, в котором предварительно определенный диапазон возможных значений сопротивления включает в себя сопротивления в соответствии с номинальным рядом E24 в диапазоне от 100 кОм до 1 МОм.

46. Способ по п.44, в котором

и

выбираются независимо для каждого слоя эквивалентной аналоговой сети.

47. Способ по п.44, в котором

и

выбираются независимо для каждого аналогового нейрона эквивалентной аналоговой сети.

48. Способ по п.43, в котором первые один или более весовых коэффициентов матрицы весов и первые один или более вводов представляют одно или более соединений с первым операционным усилителем эквивалентной аналоговой сети, причем способ дополнительно содержит этапы, на которых, перед этапом, на котором формируют матрицу сопротивлений:

модифицируют первые один или более весовых коэффициентов на первое значение; и

конфигурируют первый операционный усилитель, чтобы он умножал на первое значение линейную комбинацию первых одного или более весовых коэффициентов и первых одного или более вводов, перед выполнением функции активации.

49. Способ по п.43, дополнительно содержащий этапы, на которых:

получают предварительно определенный диапазон весовых коэффициентов; и

обновляют матрицу весов в соответствии с предварительно определенным диапазоном весовых коэффициентов так, что эквивалентная аналоговая сеть создает вывод, аналогичный обученной нейронной сети для одного и того же ввода.

50. Способ по п.43, в котором обученная нейронная сеть обучается так, что каждый слой топологии нейронной сети имеет квантованные весовые коэффициенты.

51. Способ по п.43, дополнительно содержащий этап, на котором повторно обучают обученную нейронную сеть, чтобы уменьшить чувствительность к ошибкам в весовых коэффициентах или значениях сопротивления, что вызывает создание эквивалентной аналоговой сетью вывода, отличного по сравнению с обученной нейронной сетью.

52. Способ по п.43, дополнительно содержащий этап, на котором повторно обучают обученную нейронную сеть так, чтобы свести к минимуму весовой коэффициент в любом слое, который больше среднего абсолютного весового коэффициента для этого слоя на величину большую, чем предварительно определенная пороговая величина.

53. Система для аппаратной реализации нейронных сетей, содержащая:

один или более процессоров;

трансформации топологии нейронной сети в эквивалентную аналоговую сеть аналоговых компонентов, включающих в себя множество операционных усилителей и множество резисторов, при этом каждый операционный усилитель представляет собой аналоговый нейрон эквивалентной аналоговой сети, а каждый резистор представляет собой соединение между двумя аналоговыми нейронами;

вычисления матрицы весов для эквивалентной аналоговой сети на основе весовых коэффициентов обученной нейронной сети, при этом каждый элемент матрицы весов представляет соответствующее соединение; и

формирования матрицы сопротивлений для матрицы весов, при этом каждый элемент матрицы сопротивлений соответствует соответствующему весовому коэффициенту матрицы весов и представляет собой значение сопротивления.

54. Долговременный машиночитаемый носитель информации, хранящий одну или более программ, сконфигурированных для исполнения компьютерной системой с одним или более процессорами, причем одна или более программ содержат инструкции для:

55. Способ аппаратной реализации нейронных сетей, содержащий этапы, на которых:

вычисляют матрицу весов для эквивалентной аналоговой сети на основе весовых коэффициентов обученной нейронной сети, при этом каждый элемент матрицы весов представляет соответствующее соединение;

формируют матрицу сопротивлений для матрицы весов, при этом каждый элемент матрицы сопротивлений соответствует соответствующему весовому коэффициенту матрицы весов; и

прореживают эквивалентную аналоговую сеть, чтобы уменьшить количество множества операционных усилителей или множества резисторов, на основе матрицы сопротивлений, чтобы получить оптимизированную аналоговую сеть аналоговых компонентов.

56. Способ по п.55, в котором этап, на котором прореживают эквивалентную аналоговую сеть, содержит этап, на котором замещают, с помощью проводников, резисторы, соответствующие одному или более элементам матрицы сопротивлений, значения сопротивления которых находятся ниже предварительно определенного минимального порогового значения сопротивления.

57. Способ по п.55, в котором этап, на котором прореживают эквивалентную аналоговую сеть, содержит этап, на котором удаляют одно или более соединений эквивалентной аналоговой сети, соответствующих одному или более элементам матрицы сопротивлений, которые выше предварительно определенного максимального порогового значения сопротивления.

58. Способ по п.55, в котором этап, на котором прореживают эквивалентную аналоговую сеть, содержит этап, на котором удаляют одно или более соединений эквивалентной аналоговой сети, соответствующих одному или более элементам матрицы весов, которые приблизительно равны нулю.

59. Способ по п.58, в котором этап, на котором прореживают эквивалентную аналоговую сеть, дополнительно содержит этап, на котором удаляют один или более аналоговых нейронов эквивалентной аналоговой сети без каких-либо входных соединений.

60. Способ по п.55, в котором этап, на котором прореживают эквивалентную аналоговую сеть, содержит этапы, на которых:

ранжируют аналоговые нейроны эквивалентной аналоговой сети на основе обнаружения использования аналоговых нейронов при выполнении вычислений для одного или более наборов данных;

выбирают один или более аналоговых нейронов эквивалентной аналоговой сети на основе ранжирования; и

удаляют один или более аналоговых нейронов из эквивалентной аналоговой сети.

61. Способ по п.60, в котором этап, на котором обнаруживают использование аналогового нейрона, содержит этапы, на которых:

строят модель эквивалентной аналоговой сети с использованием программного обеспечения для моделирования; и

измеряют распространение аналоговых сигналов путем использования модели, чтобы сформировать вычисления для одного или более наборов данных.

62. Способ по п.60, в котором этап, на котором обнаруживают использование аналогового нейрона, содержит этапы, на которых:

измеряют выходные сигналы модели путем использования модели, чтобы сформировать вычисления для одного или более наборов данных.

63. Способ по п.60, в котором этап, на котором обнаруживают использование аналоговых нейронов, содержит этапы, на которых:

измеряют мощность, потребляемую аналоговыми нейронами, путем использования модели, чтобы сформировать вычисления для одного или более наборов данных.

64. Способ по п.55, дополнительно содержащий, вслед за прореживанием эквивалентной аналоговой сети и перед формированием одной или более литографических масок для изготовления микросхемы, реализующей эквивалентную аналоговую сеть, этап, на котором повторно вычисляют матрицу весов для эквивалентной аналоговой сети и обновляют матрицу сопротивлений на основе повторно вычисленной матрицы весов.

65. Способ по п.55, дополнительно содержащий этапы, на которых, для каждого аналогового нейрона эквивалентной аналоговой сети:

вычисляют соответствующее значение смещения для соответствующего аналогового нейрона на основе весовых коэффициентов обученной нейронной сети в то время, как вычисляется матрица весов;

в соответствии с определением того, что соответствующее значение смещения выше предварительно определенной максимальной пороговой величины смещения, удаляют соответствующий аналоговый нейрон из эквивалентной аналоговой сети; и

в соответствии с определением того, что соответствующее значение смещения ниже предварительно определенной минимальной пороговой величины смещения, заменяют соответствующий аналоговый нейрон линейным переходом в эквивалентной аналоговой сети.

66. Способ по п.55, дополнительно содержащий этап, на котором уменьшают количество нейронов эквивалентной аналоговой сети, перед формированием матрицы весов, путем увеличения количества соединений от одного или более аналоговых нейронов эквивалентной аналоговой сети.

67. Способ по п.55, дополнительно содержащий этап, на котором прореживают обученную нейронную сеть, чтобы обновить топологию нейронной сети и весовые коэффициенты обученной нейронной сети, перед трансформацией топологии нейронной сети, с использованием методик прореживания для нейронных сетей, с тем чтобы эквивалентная аналоговая сеть включала в себя меньше предварительно определенного количества аналоговых компонентов.

68. Способ по п.67, в котором упомянутое прореживание выполняется итерационно с учетом точности или уровня совпадения вывода между обученной нейронной сетью и эквивалентной аналоговой сетью.

69. Способ по п.55, дополнительно содержащий, перед трансформацией топологии нейронной сети в эквивалентную аналоговую сеть, этап, на котором выполняют извлечение знаний сети.

70. Система для аппаратной реализации нейронных сетей, содержащая:

один или более процессоров;

вычисления матрицы весов для эквивалентной аналоговой сети на основе весовых коэффициентов обученной нейронной сети, при этом каждый элемент матрицы весов представляет соответствующее соединение;

формирования матрицы сопротивлений для матрицы весов, при этом каждый элемент матрицы сопротивлений соответствует соответствующему весовому коэффициенту матрицы весов; и

прореживания эквивалентной аналоговой сети, чтобы уменьшить количество множества операционных усилителей или множества резисторов, на основе матрицы сопротивлений, чтобы получить оптимизированную аналоговую сеть аналоговых компонентов.

71. Долговременный машиночитаемый носитель информации, хранящий одну или более программ, сконфигурированных для исполнения компьютерной системой с одним или более процессорами, причем одна или более программ содержат инструкции для:

72. Интегральная микросхема, содержащая:

аналоговую сеть аналоговых компонентов, изготовленную способом, который содержит этапы, на которых:

трансформируют топологию нейронной сети в эквивалентную аналоговую сеть аналоговых компонентов, включающих в себя множество операционных усилителей и множество резисторов, при этом каждый операционный усилитель представляет собой соответствующий аналоговый нейрон, а каждый резистор представляет собой соответствующее соединение между соответствующим первым аналоговым нейроном и соответствующим вторым аналоговым нейроном;

формируют матрицу сопротивлений для матрицы весов, при этом каждый элемент матрицы сопротивлений соответствует соответствующему весовому коэффициенту матрицы весов;

формируют одну или более литографических масок для изготовления микросхемы, реализующей эквивалентную аналоговую сеть аналоговых компонентов, на основе матрицы сопротивлений; и

изготавливают упомянутую микросхему на основе одной или более литографических масок с использованием литографического процесса.

73. Интегральная микросхема по п.72, дополнительно содержащая один или более цифро-аналоговых преобразователей, выполненных с возможностью формирования аналогового ввода для эквивалентной аналоговой сети аналоговых компонентов на основе одного или более цифровых сигналов.

74. Интегральная микросхема по п.72, дополнительно содержащая модуль дискретизации аналогового сигнала, выполненный с возможностью обработки 1-мерных или 2-мерных аналоговых вводов с частотой дискретизации на основе количества логических выводов интегральной микросхемы.

75. Интегральная микросхема по п.72, дополнительно содержащая модуль преобразователя напряжения для понижающего масштабирования или повышающего масштабирования аналоговых сигналов, чтобы согласовывать их с рабочим диапазоном множества операционных усилителей.

76. Интегральная микросхема по п.72, дополнительно содержащая модуль обработки тактового сигнала, выполненный с возможностью обработки одного или более кадров, полученных от CCD камеры.

77. Интегральная микросхема по п.72, в которой обученная нейронная сеть является сетью долгой краткосрочной памяти (LSTM), причем интегральная микросхема дополнительно содержит один или более модулей тактового генератора для синхронизации тактов сигнала и для обеспечения обработки временного ряда.

78. Интегральная микросхема по п.72, дополнительно содержащая один или более аналого-цифровых преобразователей, выполненных с возможностью формирования цифрового сигнала на основе вывода эквивалентной аналоговой сети аналоговых компонентов.

79. Интегральная микросхема по п.72, при этом микросхема дополнительно включает в себя один или более модулей обработки сигнала, выполненных с возможностью обработки 1-мерных или 2-мерных аналоговых сигналов, полученных от граничных приложений.

80. Интегральная микросхема по п.72, в которой:

обученная нейронная сеть обучается с использованием обучающих наборов данных, содержащих сигналы массивов газовых датчиков в разных газовых смесях, для выборочной регистрации разных газов в газовой смеси, содержащей предварительно определенные объемы газов, которые должны быть обнаружены,

топология нейронной сети является 1-Мерной Глубокой Сверточной Нейронной сетью (1D-DCNN), разработанной для обнаружения 3 бинарных газовых компонентов на основе измерений посредством 16 газовых датчиков, и включает в себя 16 1-D сверточных блоков по датчикам, 3 совместно используемых или общих 1-D сверточных блоков и 3 плотных слоя, и

эквивалентная аналоговая сеть включает в себя: (i) максимум 100 входных и выходных соединений из расчета на аналоговый нейрон, (ii) блоки задержки для создания задержки на любое количество временных шагов, (iii) лимит сигналов, равный 5, (iv) 15 слоев, (v) приблизительно 100000 аналоговых нейронов и (vi) приблизительно 4900000 соединений.

81. Интегральная микросхема по п.72, в которой:

обученная нейронная сеть обучается с использованием обучающих наборов данных, содержащих данные временного ряда термического старения для разных MOSFET, для предсказания оставшегося срока полезного использования (RUL) MOSFET устройства,

топология нейронной сети включает в себя 4 слоя LSTM с 64 нейронами в каждом слое, за которыми следуют два плотных слоя с 64 нейронами и 1 нейроном, соответственно, и

эквивалентная аналоговая сеть включает в себя: (i) максимум 100 входных и выходных соединений из расчета на аналоговый нейрон, (ii) лимит сигналов, равный 5, (iii) 18 слоев, (iv) от 3000 до 3200 аналоговых нейронов, и (v) от 123000 до 124000 соединений.

82. Интегральная микросхема по п.72, в которой:

обученная нейронная сеть обучается с использованием обучающих наборов данных, содержащих данные временного ряда, включающие в себя данные разряда и температуры во время непрерывного использования разных имеющихся в продаже Li-Ion батарей, для мониторинга исправного состояния (SOH) и состояния заряда (SOC) ионно-литиевых батарей для использования в системах управления батареями (BMS),

топология нейронной сети включает в себя входной слой, 2 слоя LSTM с 64 нейронами в каждом слое, за которыми следует плотный выходной слой с 2 нейронами для формирования значений SOC и SOH, и

эквивалентная аналоговая сеть включает в себя: (i) максимум 100 входных и выходных соединений из расчета на аналоговый нейрон, (ii) лимит сигналов, равный 5, (iii) 9 слоев, (iv) от 1200 до 1300 аналоговых нейронов, и (v) от 51000 до 52000 соединений.

83. Интегральная микросхема по п.72, в которой:

обученная нейронная сеть обучается с использованием обучающих наборов данных, содержащих данные временного ряда, включающие в себя данные разряда и данные температуры во время непрерывного использования разных имеющихся в продаже Li-Ion батарей, для мониторинга исправного состояния (SOH) ионно-литиевых батарей для использования в системах управления батареями (BMS),

топология нейронной сети включает в себя входной слой с 18 нейронами, простой рекуррентный слой с 100 нейронами и плотный слой с 1 нейроном, и

эквивалентная аналоговая сеть включает в себя: (i) максимум 100 входных и выходных соединений из расчета на аналоговый нейрон, (ii) лимит сигналов, равный 5, (iii) 4 слоя, (iv) от 200 до 300 аналоговых нейронов, и (v) от 2200 до 2400 соединений.

84. Интегральная микросхема по п.72, в которой:

обученная нейронная сеть обучается с использованием обучающих наборов данных, содержащих речевые команды, для идентификации голосовых команд,

топология нейронной сети является слоем Разделяемой по Глубинам Сверточной Нейронной Сети (DS-CNN) с 1 нейроном, и

эквивалентная аналоговая сеть включает в себя: (i) максимум 100 входных и выходных соединений из расчета на аналоговый нейрон, (ii) лимит сигналов, равный 5, (iii) 13 слоев, (iv) приблизительно 72000 аналоговых нейронов, и (v) приблизительно 2.6 миллиона соединений.

85. Интегральная микросхема по п.72, в которой:

обученная нейронная сеть обучается с использованием обучающих наборов данных, содержащих данные фотоплетизмографии (PPG), данные акселерометра, данные температуры и данные сигнала электрокожного ответа для разных людей, выполняющих различные физические упражнения в течение предварительно определенного периода времени, и опорные данные частоты сердцебиения, полученные от датчика ECG, для определения частоты пульса во время физических упражнений на основе данных датчика PPG и данных 3-осевого акселерометра,

топология нейронной сети включает в себя два слоя Conv1D, каждый с 16 фильтрами и размером ядра 20, выполняющим свертку временного ряда, два слоя LSTM, каждый с 16 нейронами, и два плотных слоя с 16 нейронами и 1 нейроном, соответственно, и

эквивалентная аналоговая сеть включает в себя: (i) блоки задержки для создания любого количества временных шагов, (ii) максимум 100 входных и выходных соединений из расчета на аналоговый нейрон, (iii) лимит сигналов, равный 5, (iv) 16 слоев, (v) от 700 до 800 аналоговых нейронов, и (vi) от 12000 до 12500 соединений.

86. Интегральная микросхема по п.72, в которой обученная нейронная сеть обучается классифицировать разные объекты на основе импульсного сигнала радара на эффекте Доплера, и топология нейронной сети включает в себя многомасштабную нейронную сеть LSTM.

87. Интегральная микросхема по п.72, в которой:

обученная нейронная сеть обучается выполнять распознавание типа активности человека,

топология нейронной сети включает в себя три сверточные сети по каналам, причем каждая со сверточным слоем из 12 фильтров и размером ядра 64 и за каждой следует слой максимального пула, и два общих плотных слоя из 1024 нейронов и N нейронов, соответственно, где N - количество классов, и

эквивалентная аналоговая сеть включает в себя: (i) блоки задержки для создания любого количества временных шагов, (ii) максимум 100 входных и выходных соединений из расчета на аналоговый нейрон, (iii) выходной слой из 10 аналоговых нейронов, (iv) лимит сигналов, равный 5, (v) 10 слоев, (vi) от 1200 до 1300 аналоговых нейронов, и (vi) от 20000 до 21000 соединений.

88. Интегральная микросхема по п.72, в которой обученная нейронная сеть дополнительно обучается обнаруживать аномальные шаблоны активности человека на основе данных акселерометра, которые объединяются с данными частоты сердцебиения с использованием операции свертки.

89. Система для аппаратной реализации нейронных сетей, содержащая:

один или более процессоров;

трансформации топологии нейронной сети в эквивалентную аналоговую сеть аналоговых компонентов, включающих в себя множество операционных усилителей и множество резисторов, при этом каждый операционный усилитель представляет собой соответствующий аналоговый нейрон, а каждый резистор представляет собой соответствующее соединение между соответствующим первым аналоговым нейроном и соответствующим вторым аналоговым нейроном;

формирования матрицы сопротивлений для матрицы весов, при этом каждый элемент матрицы сопротивлений соответствует соответствующему весовому коэффициенту матрицы весов;

формирования одной или более литографических масок для изготовления микросхемы, реализующей эквивалентную аналоговую сеть аналоговых компонентов, на основе матрицы сопротивлений; и

изготовления микросхемы на основе одной или более литографических масок с использованием литографического процесса.

90. Долговременный машиночитаемый носитель информации, хранящий одну или более программ, сконфигурированных для исполнения компьютерной системой с одним или более процессорами, причем одна или более программ содержат инструкции для: