RU2734581C1 - Superconducting neuron for multilayer perceptron - Google Patents

Superconducting neuron for multilayer perceptron Download PDF

Info

Publication number
RU2734581C1
RU2734581C1 RU2019137696A RU2019137696A RU2734581C1 RU 2734581 C1 RU2734581 C1 RU 2734581C1 RU 2019137696 A RU2019137696 A RU 2019137696A RU 2019137696 A RU2019137696 A RU 2019137696A RU 2734581 C1 RU2734581 C1 RU 2734581C1
Authority
RU
Russia
Prior art keywords
superconducting
neuron
inductance
multilayer perceptron
inductive element
Prior art date
Application number
RU2019137696A
Other languages
Russian (ru)
Inventor
Андрей Евгеньевич Щеголев
Игорь Игоревич Соловьев
Николай Викторович Кленов
Сергей Викторович Бакурский
Виталий Владимирович Больгинов
Максим Валерьевич Терешонок
Михаил Юрьевич Куприянов
Original Assignee
Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный университет имени М.В. Ломоносова" (МГУ)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный университет имени М.В. Ломоносова" (МГУ) filed Critical Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный университет имени М.В. Ломоносова" (МГУ)
Priority to RU2019137696A priority Critical patent/RU2734581C1/en
Application granted granted Critical
Publication of RU2734581C1 publication Critical patent/RU2734581C1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10NELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N60/00Superconducting devices
    • H10N60/10Junction-based devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Superconductor Devices And Manufacturing Methods Thereof (AREA)

Abstract

FIELD: physics; electricity.
SUBSTANCE: invention relates to cryogenic micro- and nanoelectronics, including to element base of artificial neural networks. Proposed superconducting neuron for a multilayer perceptron comprises a Josephson junction connected galvanically to the main inductance, which is galvanically connected both to the shunt inductance and to the auxiliary inductance; means for setting input signal in form of magnetic field, connected inductively with main and auxiliary inductances; means of output signal detection in the form of current value connected inductively with shunting inductance. Besides, proposed device provides conversion of input magnetic flux at input Fin (created by means of magnetic field setting) into current at output Iout (read by means of detection) according to law described by sigmoid function.
EFFECT: technical result consists in improvement of speed and energy efficiency of superconducting neuron.
8 cl, 8 dwg

Description

Область техники, к которой относится изобретениеThe technical field to which the invention relates

Изобретение относится к криогенной микро- и наноэлектронике, в том числе к элементной базе искусственный нейросетей, и может быть использовано для обработки широкополосных электромагнитных сигналов в диапазоне частот от единиц герц до 10 ГГц. Изобретение может быть использовано для процедуры распознавания (сигналов, образов), требующей обработки больших массивов данных в режиме реального времени, а также при реализации на аппаратном уровне при помощи специализированного процессора алгоритмов кластеризации или адаптивного управления.The invention relates to cryogenic micro- and nanoelectronics, including the element base of artificial neural networks, and can be used to process broadband electromagnetic signals in the frequency range from hertz to 10 GHz. The invention can be used for a recognition procedure (signals, images) that requires processing large data arrays in real time, as well as when implemented at the hardware level using a specialized processor of clustering algorithms or adaptive control.

Представляемое изобретение - это сверхпроводящий нейрон, базовый нелинейный элемент искусственной нейронной сети типа персептрон, с быстрым (рабочие тактовые частоты отдельных ячеек могут быть более 100 ГГц) однотактовым вычислением активационной функции.The presented invention is a superconducting neuron, a basic nonlinear element of an artificial neural network of the perceptron type, with a fast (operating clock frequencies of individual cells can be more than 100 GHz) one-cycle calculation of the activation function.

Уровень техникиState of the art

На сегодняшний день активно ведется разработка специальных вычислительных модулей, учитывающих особенности устройства нейронных сетей. Однако до сих пор на этом направлении не было найдено достаточно быстродействующего, компактного и энергоэффективного технического решения для реализации базовых нелинейных элементов - нейронов. В качестве примера, иллюстрирующего проблемы создания искусственных нейронов с использованием традиционных полупроводниковых технологий, рассмотрим систему с возможностью многопараметрической классификации. Известен искусственный нейрон (RU 2579958 С1), который содержит блок входных сигналов, узлы умножения входной величины на весовой коэффициент, сумматор, блок функции активации. Такой нейрон не может быть ни компактным, ни энергоэффективным, так как каждый узел умножения входной величины на весовой коэффициент включает умножитель входного сигнала на весовой коэффициент и блок формирования весового коэффициента, ячейки памяти постоянного запоминающего устройства с записанными в них пороговыми величинами, коммутатор, ячейки памяти постоянного запоминающего устройства с записанными в них весовыми коэффициентами.Today, special computing modules are being actively developed, taking into account the features of the device of neural networks. However, until now, in this direction, there has not been found a sufficiently fast, compact and energy efficient technical solution for the implementation of basic nonlinear elements - neurons. As an example illustrating the problems of creating artificial neurons using traditional semiconductor technologies, let us consider a system with the possibility of multi-parameter classification. An artificial neuron is known (RU 2579958 C1), which contains a block of input signals, nodes for multiplying the input value by a weight factor, an adder, an activation function block. Such a neuron can be neither compact nor energy efficient, since each node for multiplying the input value by the weighting factor includes a multiplier of the input signal by the weighting factor and a unit for forming the weighting factor, memory cells of a read-only memory device with threshold values recorded in them, a switch, memory cells permanent memory with weighting factors recorded therein.

Также известно устройство для практической реализации нейрона или его части (US 2016026912), которое содержит ядро процессора и так называемую «расчетную цепь». Причем процессорное ядро включает логические цепи определения набора весовых коэффициентов для использования в расчете сверточных нейронных сетей и увеличения весовых коэффициентов с помощью шкалы значений. Расчетная цепь позволяет получать значения шкалы, набор весовых коэффициентов, набор входных значений, причем каждое входное значение и связанный с ним вес имеют одинаковый фиксированный размер.Also known is a device for the practical implementation of a neuron or its part (US 2016026912), which contains a processor core and a so-called "computational circuit". Moreover, the processor core includes logical circuits for determining a set of weighting factors for use in calculating convolutional neural networks and increasing the weighting factors using a scale of values. The computational chain allows you to obtain scale values, a set of weights, a set of input values, with each input value and associated weight having the same fixed size.

Базовый элемент искусственной нейросети (US 20120011092, Tang Y. et al.) может быть построен на основе мемристора, интегрирующего входной ток, и цепи, генерирующей выходной сигнал при достижении определенного потенциала, что позволяет имитировать пороговую функцию активации реального нейрона. Здесь поданный на вход импульс тока уменьшает сопротивление мемристора, что ведет к увеличению напряжения на выходе. Состояние мемристора после снятия напряжения сохраняется, и для имитации постепенного падения потенциала при отсутствии внешнего сигнала через мемристор пропускается небольшой ток в обратном направлении, постепенно увеличивая его сопротивление. Если же в момент подачи очередного импульса напряжение на выходе превышает пороговое значение, то это вызывает срабатывание генератора выходного импульса. Таким образом, данное устройство позволяет имитировать функционал «интегрировать-и-сработать», что позволяет его использовать преимущественно для так называемых «спайковых» нейросетей.The basic element of an artificial neural network (US 20120011092, Tang Y. et al.) Can be built on the basis of a memristor that integrates an input current and a circuit that generates an output signal when a certain potential is reached, which allows simulating the threshold activation function of a real neuron. Here, a current pulse applied to the input decreases the memristor resistance, which leads to an increase in the output voltage. The state of the memristor remains after the voltage is removed, and to simulate a gradual drop in potential in the absence of an external signal, a small current is passed through the memristor in the opposite direction, gradually increasing its resistance. If, at the time of the next pulse, the output voltage exceeds the threshold value, then this triggers the output pulse generator. Thus, this device allows simulating the “integrate-and-fire” functionality, which allows it to be used primarily for so-called “spike” neural networks.

Интерес представляет изобретение (US 4943556A, Н.Н. Szu), построенное на взаимодействии электромагнитного (оптического) излучения с коллективом электронов в тонких сверхпроводящих нитях. Матрицу из таких нитей, в которой реализовано управление при помощи света растеканием токов, в принципе, можно использовать в цифровых или аналоговых вычислительных системах. Для последующего изложения важно подчеркнуть, что такая нейронная сеть подразумевает представление информации через величины локальных магнитных полей.Of interest is the invention (US 4943556A, NN Szu), built on the interaction of electromagnetic (optical) radiation with a collection of electrons in thin superconducting filaments. A matrix of such filaments, in which the spreading of currents is realized with the help of light, can in principle be used in digital or analog computing systems. For the subsequent presentation, it is important to emphasize that such a neural network implies the presentation of information through the values of local magnetic fields.

Увеличить эффективность передачи по сети информации, закодированной в виде величин и направлений круговых токов (локальных магнитных полей), а также создать необходимые для ее функционирования нелинейные элементы можно с использованием джозефсоновских контактов - гетероструктур, где реализована тем или иным образом «слабая связь» (тонкий слой изолятора, нормального металла и т.д.) между сверхпроводящими электродами. Существуют устройства с джозефсоновскими контактами, нелинейным образом преобразующие магнитный сигнал в отклик тока, используемые для детектирования магнитной компоненты сверхвысокочастотных (СВЧ) электромагнитных сигналов. На основе этих же гетероструктур реализованы цифровые схемы для последующей обработки поступившей информации с использованием подходов быстрой одноквантовой логики (БОК).It is possible to increase the efficiency of transmission over the network of information encoded in the form of magnitudes and directions of circular currents (local magnetic fields), as well as to create the nonlinear elements necessary for its functioning, using Josephson contacts - heterostructures, where “weak coupling” (thin layer of insulator, normal metal, etc.) between the superconducting electrodes. There are devices with Josephson junctions that convert a magnetic signal into a current response in a nonlinear manner and are used to detect the magnetic component of microwave electromagnetic signals. On the basis of the same heterostructures, digital circuits are realized for the subsequent processing of the received information using the approaches of fast one-quantum logic (BOC).

Особое значение с точки зрения разработки сверхпроводящих нейронов здесь имеют системы на основе сверхпроводящих квантовых интерферометров (СКВИД), которые имеют высокую чувствительность к магнитному сигналу, а главное -перестраиваемую в процессе обучения нейросети функцию преобразования магнитной компоненты электромагнитного поля на входе в отклик тока или напряжения на выходе. Именно эта особенность подобных систем и будет использована для построения на их основе искусственного нейрона с быстрым однотактовым вычислением активационной функции. Особо стоит подчеркнуть, что существующие сверхпроводящие интерферометры позволяют строить усилители с низкой шумовой температурой, которые при этом совместимы с другими сверхпроводниковыми устройствами, используемыми для обработки информации.Systems based on superconducting quantum interferometers (SQUIDs), which have a high sensitivity to a magnetic signal, and, most importantly, a function of converting the magnetic component of the electromagnetic field at the input to the response of a current or voltage, which is tunable in the process of training a neural network, are of particular importance here. exit. It is this feature of such systems that will be used to build on their basis an artificial neuron with a fast one-cycle calculation of the activation function. It is especially worth emphasizing that the existing superconducting interferometers make it possible to build amplifiers with a low noise temperature, which are at the same time compatible with other superconducting devices used for information processing.

Упомянутый СКВИД представляет собой сверхпроводящее кольцо, содержащее один или два джозефсоновских контакта, а также имеет согласующие и измерительные устройства. Существующий уровень техники на этом направлении определяют описанные в патентных источниках конструкции и схемотехнические решения для сверхпроводниковых усилителей СВЧ-диапазона. Так, известен усилитель на СКВИДе с нагрузкой для диапазона до 0.1 ГГц (JPS 60247311). Сообщалось, что для такого устройства продемонстрирован коэффициент усиления порядка 20 дБ на частоте 100 МГц при шумовой температуре 1±0.4 К (см. US 4585999). Уровень техники в области согласования входных и выходных цепей усилителя на основе СКВИДа с нагрузкой для диапазона до 0.1 ГГц можно оценить из этого же патента.Said SQUID is a superconducting ring containing one or two Josephson contacts, and also has matching and measuring devices. The existing state of the art in this direction is determined by the designs and circuitry solutions for superconducting microwave amplifiers described in patent sources. For example, there is a known SQUID amplifier with a load for the range up to 0.1 GHz (JPS 60247311). For such a device, it has been reported that a gain of about 20 dB at 100 MHz at a noise temperature of 1 ± 0.4 K has been demonstrated (see US Pat. No. 4,585,999). The state of the art in the field of matching the input and output circuits of a SQUID amplifier with a load for the range up to 0.1 GHz can be appreciated from the same patent.

Важная для нас возможность управления видом преобразования входного сигнала в отклик тока/напряжения описана в изобретении (JP 1245605), где представлен усилитель-преобразователь магнитного сигнала на СКВИДе постоянного тока. В этом техническом решении для электрической подстройки согласования интерферометра с охлаждаемым предусилителем используется второй СКВИД как регулируемый индуктивный элемент согласующей цепи. Однако и рабочий диапазон частот, и вид вольт-потокового преобразования усилителей на одиночном низкотемпературном СКВИДе не подходят для создания нейрона для многослойного персептрона.An important possibility for us to control the type of conversion of an input signal into a current / voltage response is described in the invention (JP 1245605), where an amplifier-converter of a magnetic signal on a DC SQUID is presented. In this technical solution, the second SQUID is used as an adjustable inductive element of the matching circuit to electrically adjust the matching of the interferometer with the cooled preamplifier. However, both the operating frequency range and the type of volt-flux conversion of amplifiers based on a single low-temperature SQUID are not suitable for creating a neuron for a multilayer perceptron.

Важнейшая особенность СКВИДов с многовитковой входной катушкой -нелинейный вид отклика на задаваемое извне магнитное поле и отсутствие возможности для линеаризации отклика (или иного вида управления последним) с использованием традиционных систем обратной связи на таких высоких частотах, что ведет к невысокому уровню линейности усиления (порядка 20 дБ). Также необходимо учитывать, что без использования систем обратной связи для СКВИД-усилителей характерны малые значения динамического диапазона, то есть отношения максимального выходного сигнала Vmax к уровню шумов на выходе рассматриваемого устройства Vƒ, задающему уровень минимального сигнала на выходе устройства:The most important feature of SQUIDs with a multi-turn input coil is the non-linear form of the response to an externally specified magnetic field and the inability to linearize the response (or other type of control of the latter) using traditional feedback systems at such high frequencies, which leads to a low level of gain linearity (about 20 dB). It should also be borne in mind that without using feedback systems, SQUID amplifiers are characterized by small values of the dynamic range, that is, the ratio of the maximum output signal Vmax to the noise level at the output of the considered device Vƒ, which sets the level of the minimum signal at the output of the device:

DR=Vmax/ VƒDR = Vmax / Vƒ

Решить эту проблему можно за счет использования многоэлементных джозефсоновских структур, в том числе состоящих из N последовательно или параллельно соединенных интерферометров. «Сложение» откликов от составляющих такую цепочку элементов позволяет часто достигнуть требуемого динамического диапазона.This problem can be solved by using multi-element Josephson structures, including those consisting of N interferometers connected in series or in parallel. "Adding" the responses from the elements making up such a chain often allows the required dynamic range to be achieved.

Для увеличения линейности вольт-потокового преобразования систем на основе сверхпроводящих квантовых интерферометров, пригодных для реализации синапсов в сверхпроводниковом персептроне с магнитным представлением информации, предложена специальная схема обратной связи (KR 100774615, US 7453263), содержащая дополнительный джозефсоновский переход. Необходимо отметить, что предложенный метод контроля вида преобразования магнитного сигнала в отклик существенно ограничивает максимальную рабочую частоту при использовании в искусственных нейросетях, так как рабочая частота схемы обратной связи невелика.To increase the linearity of the current-voltage conversion of systems based on superconducting quantum interferometers, suitable for the realization of synapses in a superconducting perceptron with magnetic presentation of information, a special feedback circuit has been proposed (KR 100774615, US 7453263), containing an additional Josephson junction. It should be noted that the proposed method for controlling the type of conversion of a magnetic signal into a response significantly limits the maximum operating frequency when used in artificial neural networks, since the operating frequency of the feedback circuit is low.

В изобретениях (US 2005231196, US 7095227) описаны преобразователи магнитного сигнала на основе последовательной цепочки интерферометров. Такой подход позволяют использовать в качестве источника питания источник постоянного тока. Однако продемонстрированное в эксперименте устройство позволяет достичь лишь относительно малую линейность усиления сигнала (не более 20 дБ).In the inventions (US 2005231196, US 7095227) magnetic signal converters based on a series of interferometers are described. This approach makes it possible to use a constant current source as a power source. However, the experimentally demonstrated device makes it possible to achieve only a relatively low linearity of signal amplification (no more than 20 dB).

Известен также преобразователь магнитной компоненты сигнала на основе матрицы «высокотемпературных» СКВИДов, охлаждаемых жидким азотом (DE 3936686). Диапазон рабочих частот такой системы ограничен сверху на уровне порядка 100 МГц. В изобретении (US 6005380) описан усилитель для антенны с использованием магнито-связанных СКВИДов, образующих многоэлементую матрицу. Здесь максимальная рабочая частота - 516 МГц.Also known is a converter of the magnetic signal components based on a matrix of "high-temperature" SQUIDs cooled with liquid nitrogen (DE 3936686). The operating frequency range of such a system is limited from above to about 100 MHz. The invention (US 6005380) describes an antenna amplifier using magnetically coupled SQUIDs forming a multi-element matrix. Here the maximum operating frequency is 516 MHz.

Для создания усилителя тока с большими значениями выходного тока предлагается использовать цепочки параллельно соединенных СКВИДов постоянного тока (JP 2003209299). Данный усилитель обладает высокими значениями выходного тока, что позволяет использовать его в качестве входной цепи систем с прямой оцифровкой сигнала, однако такой элемент достаточно трудно имплементировать в состав сверхпроводниковых искусственных нейронных сетей.To create a current amplifier with high output currents, it is proposed to use chains of parallel connected DC SQUIDs (JP 2003209299). This amplifier has high values of the output current, which makes it possible to use it as an input circuit of systems with direct digitization of the signal, but such an element is rather difficult to implement in the composition of superconducting artificial neural networks.

Известно использование цепочки СКВИДов переменной площади (СКИФ) в качестве высокочувствительного магнетометра со специфическим видом вольт-потокового преобразования с ярко выраженным провалом на этой зависимости в окрестности нулевых значений напряженности приложенного поля (WO 01/25805; US 7369093). Однако, описанные структуры не дают необходимого вида нелинейной связи между входным «магнитным» сигналом и откликом напряжения. Не дают требуемого преобразования входного магнитного сигнала и неоднородные параллельные цепочки контактов, не позволяющие ко всему прочему добиться значительных значений выходного сигнала.It is known to use a chain of variable area SQUIDs (SKIF) as a highly sensitive magnetometer with a specific type of volt-flux conversion with a pronounced dip in this dependence in the vicinity of zero values of the applied field strength (WO 01/25805; US 7369093). However, the described structures do not provide the necessary kind of non-linear relationship between the input "magnetic" signal and the voltage response. Do not give the required conversion of the input magnetic signal and inhomogeneous parallel chains of contacts, which do not allow everything else to achieve significant values of the output signal.

Известна конструкция усилителя-преобразователя для магнитного сигнала на основе последовательных цепочек двухконтактных интерферометров, площади которых подобраны так, чтобы обеспечить повышенный коэффициент усиления и высокую линейность в полосе частот 1-10 ГГц (RU 2353051). Однако реализация требуемых цепочек СКВИДов с заданной точностью параметров на сегодняшний день представляется чрезвычайно сложной технической задачей, что ограничивает величину достижимой в реальном эксперименте линейности преобразования магнитного сигнала в отклик напряжения на уровне 50 дБ. Кроме того, такая система заведомо не является компактной.The known design of an amplifier-converter for a magnetic signal based on series chains of two-contact interferometers, the areas of which are selected so as to provide an increased gain and high linearity in the frequency band 1-10 GHz (RU 2353051). However, the implementation of the required chains of SQUIDs with a given accuracy of parameters today seems to be an extremely difficult technical problem, which limits the linearity of conversion of a magnetic signal into a voltage response at a level of 50 dB attainable in a real experiment. Moreover, such a system is certainly not compact.

Описана структура с тремя джозефсоновскими контактами (US 8179133; US 8933695; US 10333049 В1) для получения особого (треугольного) вида вольт-потокового преобразования в интерферометре. В этом элементе параллельно основной индуктивности двухконтактного СКВИДа должен быть включен третий джозефсоновский переход, который находится всегда в сверхпроводящем состоянии и играет роль нелинейной индуктивности. Подключение джозефсоновского контакта параллельно индуктивности СКВИДа образует двойной СКВИД (известный также как би-СКВИД). Такая ячейка позволяет добиться достаточно высокой линейности преобразования входного сигнала в выходное напряжение усилителя. Однако в данном случае влияние паразитных индуктивностей и емкостей затрудняет получение высоколинейного преобразования магнитного сигнала в отклик напряжения. Аналогичное устройство (RU 2544275) было предложено для реализации на основе высокотемпературных сверхпроводников. Необходимо подчеркнуть, что до настоящего времени не решена задача практического изготовления сверхпроводниковых устройств для широкополосных приемных систем с прямой оцифровкой сигналов с использованием такой ячейки.A structure with three Josephson contacts (US 8179133; US 8933695; US 10333049 B1) is described to obtain a special (triangular) type of volt-flux conversion in an interferometer. In this element, parallel to the main inductance of a two-contact SQUID, the third Josephson junction must be switched on, which is always in a superconducting state and plays the role of a nonlinear inductance. Connecting a Josephson junction in parallel with the inductance of a SQUID forms a double SQUID (also known as a bi-SQUID). Such a cell makes it possible to achieve a sufficiently high linearity in the conversion of the input signal into the output voltage of the amplifier. However, in this case, the influence of parasitic inductances and capacitances makes it difficult to obtain a highly linear conversion of a magnetic signal into a voltage response. A similar device (RU 2544275) was proposed for implementation based on high-temperature superconductors. It should be emphasized that the problem of the practical manufacture of superconducting devices for broadband receiving systems with direct digitization of signals using such a cell has not yet been solved.

Таким образом, технической проблемой, решаемой заявляемым изобретением, является отсутствие быстродействующих и энергоэффективных нейросетей на основе джозефсоновских гетероструктур с кодированием информации в виде величины локальных токов и связанных с ними магнитных полей. Существующие технические решения на базе полупроводниковых технологий (на основе CPU, GPU, FPGA технологий) либо не обладают высокой «параллельностью», либо не дают возможности организовать нужное количество ветвлений, либо не дают требуемого ресурса межсоединений. Наиболее серьезные проблемы возникают при реализации базовых элементов нейросетей, таких как нейроны и синапсы: каждый элемент состоит из десятков транзисторов, что ограничивает уровень сложности создаваемой схемы, в то время как сами схемы характеризуются избыточным количеством элементов и низкой энергоэффективностью.Thus, the technical problem solved by the claimed invention is the lack of high-speed and energy-efficient neural networks based on Josephson heterostructures with information coding in the form of the magnitude of local currents and associated magnetic fields. Existing technical solutions based on semiconductor technologies (based on CPU, GPU, FPGA technologies) either do not have a high "parallelism", or do not make it possible to organize the required number of branches, or do not provide the required interconnection resource. The most serious problems arise in the implementation of the basic elements of neural networks, such as neurons and synapses: each element consists of dozens of transistors, which limits the level of complexity of the created circuit, while the circuits themselves are characterized by an excessive number of elements and low energy efficiency.

Использование сверхпроводниковых технических решений, как видно из уровня развития техники, позволяет уменьшить диссипацию энергии до уровня 10-18 Дж на одну операцию при достаточно высоком быстродействии. Рабочая частота для отдельных ячеек может составлять более 100 ГГц. Однако на сегодняшний день в области нейроморфных вычислителей не известно конструктивных решений многослойного персептрона (персептрона Румельхарта) с магнитным представлением информации с применением сверхпроводниковых схем. Такая искусственная нейронная сеть содержит слои элементов, нелинейным образом преобразующих поступающий на вход сигнал (нейроны), соединенных линейными настраиваемыми связями (синапсами). К наиболее характерным особенностям изучаемых нейросетей относится использование нелинейной, непрерывно-дифференцируемой сигмоидальной функции активации (или же функции преобразования входного сигнала в сигнал на выходе).The use of superconducting technical solutions, as can be seen from the state of the art, makes it possible to reduce energy dissipation to the level of 10 -18 J per operation at a sufficiently high speed. The operating frequency for individual cells can be over 100 GHz. However, to date, in the field of neuromorphic computers, no design solutions are known for a multilayer perceptron (Rumelhart's perceptron) with a magnetic representation of information using superconducting circuits. Such an artificial neural network contains layers of elements that nonlinearly transform the input signal (neurons), connected by linear tunable connections (synapses). The most characteristic features of the studied neural networks include the use of a nonlinear, continuously differentiable sigmoidal activation function (or the function of converting an input signal into an output signal).

Возможна реализация сверхпроводниковых искусственных нейронов на основе двухконтактных интерферометров и их модификаций, работающих в резистивном режиме. Уровень сигнала здесь должен соответствовать уровню среднего напряжения на ячейке. Но такие схемы не будут отличаться быстродействием и энергоэффективностью. Аналогичная проблема характерна и для «спайковых» (импульсных) нейросетей, в которых информация представлена в виде последовательности одинаковых (одноквантовых) импульсов напряжения, при этом сигнал определяется временной задержкой между импульсами. Основной проблемой при таком подходе является трудность реализации эффективных синаптических связей.It is possible to implement superconducting artificial neurons based on two-contact interferometers and their modifications operating in a resistive mode. The signal level here should correspond to the average voltage level on the cell. But such schemes will not differ in speed and energy efficiency. A similar problem is typical for "spike" (impulse) neural networks, in which information is presented in the form of a sequence of identical (one-quantum) voltage pulses, while the signal is determined by the time delay between the pulses. The main problem with this approach is the difficulty of realizing effective synaptic connections.

Раскрытие сущности изобретенияDisclosure of the essence of the invention

Техническим результатом изобретения является создание сверхпроводникового нейрона для многослойного персептрона с магнитным представлением информации, способного продемонстрировать высокий уровень быстродействия и энергоэффективности. Кроме того, заявляемое устройство обеспечивает возможность преобразования входного магнитного потока на входе Фin (создается средством задания магнитного поля) в ток на выходе Iout (считывается средством детектирования) по закону

Figure 00000001
что необходимо для однотактового вычисления функции активации искусственных нейронов для многослойного персептрона на основе таких структур.The technical result of the invention is the creation of a superconducting neuron for a multilayer perceptron with magnetic presentation of information, capable of demonstrating a high level of performance and energy efficiency. In addition, the claimed device provides the ability to convert the input magnetic flux at the input Ф in (created by means of setting the magnetic field) into the current at the output I out (read out by the detection tool) according to the law
Figure 00000001
which is necessary for one-cycle calculation of the activation function of artificial neurons for a multilayer perceptron based on such structures.

Заявляемый сверхпроводящий нейрон для многослойного персептрона содержит джозефсоновский элемент, соединенный гальванически с основным индуктивным элементом, который соединен гальванически с шунтирующим и вспомогательным индуктивными элементами; средство задания входного сигнала в виде магнитного поля, связанное индуктивным образом с основным и вспомогательным индуктивными элементами; средство детектирования выходного сигнала в виде величины тока, связанное индуктивным образом с шунтирующим индуктивным элементом.The inventive superconducting neuron for a multilayer perceptron contains a Josephson cell galvanically connected to the main inductive element, which is galvanically connected to the shunt and auxiliary inductive elements; means for setting an input signal in the form of a magnetic field, inductively coupled to the main and auxiliary inductive elements; means for detecting an output signal in the form of a current value, inductively coupled to the shunt inductive element.

Основной, вспомогательный и шунтирующий индуктивные элементы могут быть выполнены в виде участка слоя (тонкой пленки) сверхпроводящего материала.The main, auxiliary and shunt inductive elements can be made in the form of a portion of a layer (thin film) of a superconducting material.

Безразмерная величина индуктивности

Figure 00000002
основного индуктивного элемента лежит в диапазоне от 0.1 до 0.5, где Lin1 - величина индуктивности основного индуктивного элемента, Ф0 - квант магнитного потока, равный 2.067×10-15 Вб; IC - критический ток джозефсоновского контакта. Безразмерная величина индуктивности шунтирующего индуктивного элемента
Figure 00000003
лежит в диапазоне от 0.1 до 0.4, где Lout - величина индуктивности шунтирующего индуктивного элемента. Безразмерная величина индуктивности вспомогательного индуктивного элемента
Figure 00000004
лежит в диапазоне от 1.1 до 1.5, где Lin2+Lq - величина индуктивности вспомогательного индуктивного элемента.Dimensionless value of inductance
Figure 00000002
the main inductive element is in the range from 0.1 to 0.5, where L in1 is the inductance value of the main inductive element, Ф 0 is the magnetic flux quantum equal to 2.067 × 10 -15 Wb; I C is the critical current of the Josephson junction. Dimensionless value of the inductance of the shunt inductive element
Figure 00000003
lies in the range from 0.1 to 0.4, where L out is the value of the inductance of the shunting inductive element. Dimensionless value of the inductance of the auxiliary inductive element
Figure 00000004
lies in the range from 1.1 to 1.5, where L in2 + L q is the inductance value of the auxiliary inductive element.

Джозефсоновский контакт в одном из вариантов реализации изобретения выполнен в виде слоистой тонкопленочной структуры, содержащей: нижний сверхпроводящий электрод, нанесенный на нижний сверхпроводящий электрод слой изолятора, верхний сверхпроводящий электрод с токоподводами, нанесенный на слой изолятора.The Josephson contact in one of the embodiments of the invention is made in the form of a layered thin-film structure containing: a lower superconducting electrode deposited on the lower superconducting electrode of an insulator layer, an upper superconducting electrode with current leads deposited on the insulator layer.

В качестве материала нижнего и верхнего сверхпроводящего электрода, всех сверхпроводящих слоев может быть использован либо ниобий, либо соединения на основе ниобия (например, NbN, NbTi), либо алюминий, либо сплав на основе алюминия. В качестве материала слоя изолятора в составе джозефсоновского контакта может быть использован оксид алюминия Al2O3, который может быть заменен металлическими соединениями с высоким удельным сопротивлением (например, Nb3Si). Толщина нижнего сверхпроводящего электрода и верхнего сверхпроводящего электрода составляет, как правило, от 50 до 500 нм, толщина слоя изолятора - от 1 до 20 нм.Either niobium or niobium-based compounds (for example, NbN, NbTi), or aluminum, or an aluminum-based alloy can be used as the material of the lower and upper superconducting electrode of all superconducting layers. As the material of the insulator layer in the composition of the Josephson junction, aluminum oxide Al 2 O 3 can be used, which can be replaced by metal compounds with high resistivity (for example, Nb 3 Si). The thickness of the lower superconducting electrode and the upper superconducting electrode is generally 50 to 500 nm, and the thickness of the insulator layer is 1 to 20 nm.

Краткое описание чертежейBrief Description of Drawings

Изобретение поясняется чертежами, где на фиг. 1 представлена электрическая схема заявляемого сверхпроводящего нейрона для многослойного персептрона; на фиг. 2 представлен вид сверху на один из возможных вариантов практической реализации заявляемого сверхпроводящего нейрона для многослойного персептрона, на фиг. 3-5 представлены виды сбоку в разрезе на один из вариантов практической реализации заявляемого сверхпроводящего нейрона для многослойного персептрона, где величина вспомогательной индуктивности, выполненной в виде участка слоя сверхпроводящего материала, составляет Lin2+Lq.The invention is illustrated by drawings, where Fig. 1 shows an electrical diagram of the inventive superconducting neuron for a multilayer perceptron; in fig. 2 shows a top view of one of the possible options for the practical implementation of the inventive superconducting neuron for a multilayer perceptron, FIG. 3-5 show side views in section on one of the options for the practical implementation of the inventive superconducting neuron for a multilayer perceptron, where the value of the auxiliary inductance, made in the form of a section of the superconducting material layer, is L in2 + L q .

На фиг. 6 показаны функции, связывающие магнитный (нормированный) поток на входе Фin и ток на выходе Iout для заявляемого сверхпроводящего нейрона при адиабатическом изменении входного сигнала, кривая 101 соответствует случаю 2π⋅Lin1IC=0.125⋅Ф0; 2π⋅LoutIC=0.4⋅Ф0; кривая 102 соответствует случаю 2π⋅Lin1IC=0.125⋅Ф0; 2π⋅LoutIC=0.3⋅Ф0, кривая 103 соответствует случаю 2π⋅Lin1IC=0.4⋅Ф0; 2π⋅LoutIC=0.3⋅Ф0; точками представлены целевые (сигмоидальные) функции в заданном диапазоне значений нормированного тока на выходе рассматриваемого нелинейного токового преобразователя. На фиг. 7 - стандартное отклонение (SD) рассчитанных функций активации нейрона от целевых (сигмоидальных) функций для разных значений величин основной, Lin1, и шунтирующей, Lout, индуктивностей. На фиг. 8 показана зависимость диссипации на одну операцию от длительности такой операции для различных значений индуктивности сверхпроводящего нейрона.FIG. 6 shows the functions connecting the magnetic (normalized) flux at the input Ф in and the current at the output I out for the inventive superconducting neuron with an adiabatic change in the input signal, curve 101 corresponds to the case 2π⋅L in1 I C = 0.125⋅F 0 ; 2π⋅L out I C = 0.4⋅F 0; curve 102 corresponds to the case 2π⋅L in1 I C = 0.125⋅F 0 ; 2π⋅L out I C = 0.3⋅F 0 , curve 103 corresponds to the case 2π⋅L in1 I C = 0.4⋅F 0 ; 2π⋅L out I C = 0.3⋅F 0 ; dots represent target (sigmoidal) functions in a given range of values of the normalized current at the output of the considered nonlinear current converter. FIG. 7 - standard deviation (SD) of the calculated neuron activation functions from target (sigmoidal) functions for different values of the main, L in1 , and shunting, L out , inductances. FIG. 8 shows the dependence of the dissipation per one operation on the duration of such an operation for various values of the inductance of a superconducting neuron.

Позициями на чертежах обозначены:Positions in the drawings indicate:

1 - джозефсоновский контакт (элемент) с критическим током IC;1 - Josephson junction (element) with critical current I C ;

2 - основная индуктивность (основной индуктивный элемент), выполненная в виде участка слоя сверхпроводящего материала, величина которой обозначена как Lin1;2 - main inductance (main inductive element), made in the form of a section of a layer of superconducting material, the value of which is designated as L in1 ;

3 - вспомогательная индуктивность (вспомогательный индуктивный элемент), выполненная в виде участка слоя сверхпроводящего материала, величина которой обозначена как Lin2+Lq;3 - auxiliary inductance (auxiliary inductive element), made in the form of a section of a layer of superconducting material, the value of which is designated as L in2 + L q ;

4 - шунтирующая индуктивность (шунтирующий индуктивный элемент), выполненная в виде участка слоя сверхпроводящего материала, величина которой обозначена как Lout.;4 - shunt inductance (shunt inductive element) made in the form of a portion of a layer of superconducting material, the value of which is denoted as L out ;

5 - средство задания магнитного поля, связанное индуктивным образом с основной и вспомогательной индуктивностями;5 - means for setting the magnetic field, inductively coupled with the main and auxiliary inductances;

6 - средство детектирования величины протекающего тока, связанное индуктивным образом с шунтирующей индуктивностью.6 - means for detecting the amount of flowing current, inductively coupled to the shunt inductance.

Осуществление изобретенияImplementation of the invention

Ниже представлено более подробное описание заявляемого изобретения, не ограничивающее сущность, представленную в независимом пункте формулы, а лишь демонстрирующее возможность достижения заявленного технического результата.Below is a more detailed description of the claimed invention, which does not limit the essence presented in the independent claim, but only demonstrates the possibility of achieving the claimed technical result.

Электрическая схема заявляемого сверхпроводящего нейрона представлена на фиг. 1. Такой нейрон осуществляет преобразование входного магнитного потока на входе Фin (создается средством задания магнитного поля 5) в ток на выходе Iout (считывается средством детектирования 6). Заявляемое устройство содержит джозефсоновский контакт 1, обеспечивающий нелинейность упомянутого преобразования. Получение нелинейной, непрерывно-дифференцируемой сигмоидальной функции активации (или же функции преобразования входного сигнала в сигнал на выходе) обеспечивается наличием в составе нейрона трех индуктивных элементов: основного 2, вспомогательного 3 и шунтирующего 4. Джозефсоновский контакт (элемент) 1 характеризуется величиной критического тока IC; основная индуктивность (основной индуктивный элемент) 2 характеризуется своей величиной Lin1; вспомогательная индуктивность 3 характеризуется своей величиной, обозначенной как Lin2+Lq, причем только первая часть ее связана магнитным образом со средством задания магнитного поля 5; шунтирующая индуктивность 4 характеризуется своей величиной Lout.The electrical circuit of the inventive superconducting neuron is shown in FIG. 1. Such a neuron converts the input magnetic flux at the input Ф in (created by the means of setting the magnetic field 5) into the current at the output I out (read by the detection means 6). The inventive device contains a Josephson contact 1, which ensures the nonlinearity of the said conversion. Obtaining a nonlinear, continuously differentiable sigmoidal activation function (or the function of converting an input signal into an output signal) is ensured by the presence of three inductive elements in the neuron: main 2, auxiliary 3 and shunt 4. Josephson contact (element) 1 is characterized by the value of the critical current I C ; main inductance (main inductive element) 2 is characterized by its value L in1 ; auxiliary inductance 3 is characterized by its value, designated as L in2 + L q , and only the first part of it is connected magnetically with the means for setting the magnetic field 5; shunt inductance 4 is characterized by its value L out .

На фиг. 2, 3, 4 и 5 представлены виды сверху и сбоку (в разрезе) на один из возможных вариантов практической реализации заявляемого сверхпроводящего нейрона для многослойного персептрона. Здесь показаны и конструктивное исполнение (форма, размеры), и взаимное расположениеFIG. 2, 3, 4 and 5 are top and side views (in section) on one of the possible options for the practical implementation of the inventive superconducting neuron for a multilayer perceptron. Shown here are both the design (shape, dimensions) and the relative position

- джозефсоновского контакта (элемента) 1,- Josephson contact (element) 1,

- основного индуктивного элемента 2, выполненного в виде участка слоя сверхпроводящего материала;- the main inductive element 2, made in the form of a portion of a layer of superconducting material;

- вспомогательного индуктивного элемента 3, выполненного в виде участка слоя сверхпроводящего материала;- auxiliary inductive element 3, made in the form of a portion of a layer of superconducting material;

- шунтирующего индуктивного элемента 4, выполненного в виде участка слоя сверхпроводящего материала;- shunt inductive element 4, made in the form of a portion of a layer of superconducting material;

- средства задания магнитного поля 5, связанного индуктивным образом с основным и вспомогательным индуктивным элементами.- means for setting the magnetic field 5, inductively coupled to the main and auxiliary inductive elements.

В качестве средства детектирования величины протекающего тока 6, связанного индуктивным образом с шунтирующей индуктивностью, в данной конкретной реализации использован сверхпроводящий квантовый интерферометр с двумя джозефсоновскими контактами. Направления и области, для которых на фиг. 3, 4 и 5 представлены боковые виды в разрезе, обозначены стрелками, штрихами и соответствующими надписями на фиг. 2.A superconducting quantum interferometer with two Josephson contacts is used as a means for detecting the amount of flowing current 6 inductively coupled to the shunt inductance. The directions and areas for which FIG. 3, 4 and 5 are side cross-sectional views indicated by arrows, dashes and corresponding legends in FIG. 2.

На фиг. 5 представлен результат работы заявляемого устройства, демонстрирующий реализацию его назначения. Здесь приведены функции, связывающие магнитный (нормированный) поток на входе Фin и ток на выходе Iout для заявляемого сверхпроводящего нейрона при адиабатическом изменении входного сигнала. Кривая 101 соответствует случаю 2π⋅Lin1IC=0.125⋅Ф0; 2π⋅LoutIC=0.4⋅Ф0; кривая 102 соответствует случаю 2π⋅Lin1IC=0.125⋅Ф0; 2π⋅LoutIC=0.3⋅Ф0. Кривая 103 соответствует случаю 2π⋅Lin1IC=0.4⋅Ф0; 2π⋅LoutIC=0.3⋅Ф0; Точками представлены целевые (сигмоидальные) функции в заданном диапазоне значений нормированного тока на выходе рассматриваемого нелинейного токового преобразователя. Хорошее совпадение полученных и целевых функций активации доказывает возможность осуществления изобретения с достижением заявленного технического результата.FIG. 5 shows the result of the proposed device, demonstrating the implementation of its purpose. Here are the functions connecting the magnetic (normalized) flux at the input Ф in and the current at the output I out for the inventive superconducting neuron with an adiabatic change in the input signal. Curve 101 corresponds to the case 2π⋅L in1 I C = 0.125⋅F 0 ; 2π⋅L out I C = 0.4⋅F 0; curve 102 corresponds to the case 2π⋅L in1 I C = 0.125⋅F 0 ; 2π⋅L out I C = 0.3⋅F 0 . Curve 103 corresponds to the case 2π⋅L in1 I C = 0.4⋅F 0 ; 2π⋅L out I C = 0.3⋅F 0 ; The dots represent the target (sigmoidal) functions in a given range of values of the normalized current at the output of the considered nonlinear current converter. Good coincidence of the obtained and target activation functions proves the possibility of carrying out the invention with the achievement of the claimed technical result.

Представленный ниже пример конкретного выполнения изобретения, требующий последовательного напыления на подложке трех слоев сверхпроводящего материала и двух слоев диэлектрика, входит в множество потенциально пригодных решений, но не исчерпывает указанное множество. В частности, можно использовать джозефсоновские контакты, где вместо изолятора использованы металлы с высоким сопротивлением (Nb3Si), ферромагнитные металлы (например, на основе сплава CuNi) или многослойные структуры, комбинирующие слои изолятора и ферромагнитные слои.The following example of a specific implementation of the invention, which requires the sequential deposition of three layers of superconducting material and two layers of a dielectric on a substrate, is included in many potentially suitable solutions, but does not exhaust the specified set. In particular, it is possible to use Josephson contacts, where instead of an insulator, high-resistance metals (Nb 3 Si), ferromagnetic metals (for example, based on CuNi alloy) or multilayer structures that combine insulator layers and ferromagnetic layers are used.

Для реализации заявляемого сверхпроводящего нейрона необходимо использование сверхпроводящего экрана (лежащего на подложке слоя сверхпроводника). Это связано с тем, что необходимо задание одинакового магнитного потока в индуктивные элементы, величины которых отличаются в 10 раз. Такое возможно только при условии, что средство задания магнитного поля связано лишь с одинаковыми по размерам частями контуров, а все остальные части находятся при нулевом магнитном поле. Кроме того, малая величина индуктивности основного слоя сверхпроводящего нейрона (нормированная индуктивность 0.125) вынуждает использовать контакты с малым критическим током (от 10 до 20 мкА).To implement the inventive superconducting neuron, it is necessary to use a superconducting screen (a superconductor layer on the substrate). This is due to the fact that it is necessary to set the same magnetic flux in inductive elements, the values of which differ by a factor of 10. This is possible only under the condition that the means for setting the magnetic field is connected only with the parts of the contours of the same size, and all the other parts are at zero magnetic field. In addition, the small value of the inductance of the main layer of the superconducting neuron (normalized inductance 0.125) forces the use of contacts with a low critical current (from 10 to 20 μA).

Изготовление образца в конкретном примере осуществления изобретения начинается с осаждения трехслойной заготовки Nb-Al/AlOx-Nb (толщины слоев 300/10/150 нм). Большая толщина нижнего электрода (приближенно равная четырем лондоновским длинам в ниобии при гелиевой температуре) позволяет использовать его также как сверхпроводящий экран для магнитного поля (сверхпроводящий слой толщиной 150 нм практически не экранирует внешнее магнитное поле).The production of a sample in a specific embodiment of the invention begins with the deposition of a three-layer Nb-Al / AlOx-Nb preform (layer thicknesses of 300/10/150 nm). The large thickness of the lower electrode (approximately equal to four London lengths in niobium at helium temperature) makes it also possible to use it as a superconducting shield for a magnetic field (a superconducting layer 150 nm thick practically does not shield an external magnetic field).

На втором этапе изготовления образца при помощи фотолитографии и последующего плазмохимического травления верхнего слоя ниобия формируется заготовка для последующего создания туннельных джозефсоновских контактов. Алюминий является стоп-слоем для плазмохимического травления. После окончания травления ниобия слой алюминия должен быть удален, например, в растворе щелочи гидроксид калия (КОН).At the second stage of sample preparation using photolithography and subsequent plasma-chemical etching of the upper niobium layer, a blank is formed for the subsequent creation of tunnel Josephson junctions. Aluminum is a stop layer for plasma-chemical etching. After the end of the niobium etching, the aluminum layer must be removed, for example, in an alkali solution of potassium hydroxide (KOH).

После формирования всех джозефсоновских контактов производится изготовление сверхпроводящего экрана с использованием фотолитографии и последующего плазмохимического травления, или с использованием жидкостного травителя ниобия (в смеси азотной и плавиковой кислот). Преимуществом первого метода является большая контролируемость процесса: глубина травления может контролироваться при помощи лазерного толщиномера, либо процесс может остановиться на алюминиевом подслое. Преимуществом второго метода (метод «мокрой химии») является опция очистки подложки от загрязнений, сформировавшихся на предыдущих этапах. В этом слое формируются контактные площадки для подключения источников тока и вольтметра к сверхпроводящему экрану.After the formation of all Josephson contacts, the superconducting screen is fabricated using photolithography and subsequent plasma-chemical etching, or using a liquid niobium etchant (in a mixture of nitric and hydrofluoric acids). The advantage of the first method is the greater controllability of the process: the etching depth can be controlled using a laser thickness gauge, or the process can stop at the aluminum sublayer. The advantage of the second method (“wet chemistry” method) is the option of cleaning the substrate from contaminants formed at the previous stages. In this layer, contact pads are formed for connecting current sources and a voltmeter to the superconducting screen.

Следующим этапом является формирование слоя изоляции. Осаждение может производиться методом термического осаждения моноокиси кремния, или распылением кремния или алюминия в аргоново-кислородной плазме. Формирование окон в слое изоляции может производиться методом взрывной фотолитографии, либо путем плазмохимического травления под маской. В данном примере осуществления патентуемого изобретения толщина первого слоя изоляции составляла 300 нм.The next step is to form an insulation layer. The deposition can be performed by thermal deposition of silicon monoxide, or by sputtering silicon or aluminum in an argon-oxygen plasma. The formation of windows in the insulation layer can be performed by explosive photolithography, or by plasma-chemical etching under a mask. In this exemplary embodiment of the patentable invention, the thickness of the first insulation layer was 300 nm.

На пятом этапе формируется тонкая пленка ниобия толщиной 100 нм для последующего создания основной и вспомогательной индуктивностей, а также элементов средства детектирования величины протекающего тока. Шунтирующая индуктивность обязательно содержит участок, изготовленный в самой верхней сверхпроводящей пленке для обеспечения индуктивной связи со средством детектирования. Формирование упомянутых элементов может производиться путем последующего плазмохимического травления под фоторезистивной маской, либо при помощи взрывной фотолитографии. В первом случае желательно использовать подслой алюминия, чтобы избежать дополнительного подтрава нижнего слоя изоляции. После окончания плазмохимического травления открытая часть алюминиевого подслоя должна удаляться при помощи травления в щелочи КОН.At the fifth stage, a thin niobium film with a thickness of 100 nm is formed for the subsequent creation of the main and auxiliary inductances, as well as elements of the means for detecting the value of the flowing current. The shunt inductance necessarily includes a portion made in the uppermost superconducting film to provide inductive coupling with the detection means. These elements can be formed by subsequent plasma-chemical etching under a photoresist mask, or by means of explosive photolithography. In the first case, it is advisable to use an aluminum sublayer to avoid additional underlaying of the lower insulation layer. After the end of the plasma-chemical etching, the open part of the aluminum sublayer must be removed by etching in KOH alkali.

Суть шестого этапа состоит в изоляции основной и вспомогательной индуктивностей при помощи пленки диэлектрика толщиной 200 нм. Осаждение и формирование слоя может производиться теми же методами, что и на четвертом этапе.The essence of the sixth stage is to isolate the main and auxiliary inductors using a dielectric film 200 nm thick. The deposition and formation of the layer can be carried out by the same methods as in the fourth stage.

Седьмым этапом является формирование шунтирующих сопротивлений для туннельных джозефсоновских контактов. В данном дизайне предполагается использование слоя CuAl толщиной 200 нм с сопротивлением 0.8 Ом на квадрат. Формирование слоя может производится при помощи взрывной фотолитографии (lift-off), либо при помощи плазмохимического травления на основе хлора. Для использования плазмохимического травления во фреоне (CF4 и более высокие соединения, SF6) требуется подбор соответствующего материала.The seventh stage is the formation of shunt resistors for tunneling Josephson junctions. This design assumes a 200 nm thick CuAl layer with a resistance of 0.8 Ohm per square. The layer can be formed by explosive photolithography (lift-off) or by chlorine-based plasma-chemical etching. To use plasma-chemical etching in freon (CF4 and higher compounds, SF6), the selection of the appropriate material is required.

Последним этапом является формирование сверхпроводящего замыкания (wiring) из ниобия толщиной 450 нм. Для обеспечения хорошего электрического контакта к слою резисторов и верхнему электроду джозефсоновских контактов предварительно производится ионное травление подложки, эквивалентное стравливанию 5-10 нм ниобия. Формирование слоя может производиться при помощи взрывной фотолитографии (lift-off). Также может быть использовано плазмохимическое травление под фоторезистивной маской. В данной пленке формируются управляющая линия средства задания магнитного поля, шунтирующая («выходная») индуктивность, а также все подключения к основной и вспомогательной индуктивностям и сверхпроводящему экрану.The last stage is the formation of a superconducting circuit (wiring) from niobium 450 nm thick. To ensure good electrical contact to the resistor layer and the top electrode of the Josephson contacts, the substrate is ion etched, equivalent to etching 5-10 nm of niobium. The formation of the layer can be performed using explosive photolithography (lift-off). Plasma-chemical etching under a photoresist mask can also be used. In this film, the control line of the means for setting the magnetic field, the shunting ("output") inductance, as well as all connections to the main and auxiliary inductances and the superconducting screen are formed.

Средство детектирования в данном примере осуществления патентуемого изобретения представляет собой несимметричный сверхпроводящий квантовый иинтерферометр с двумя джозефсоновскими контактами (оптимальный критический током которых лежит в диапазоне от 100 до 150 мкА).The detection means in this embodiment of the patentable invention is an asymmetric superconducting quantum interferometer with two Josephson contacts (the optimal critical current of which is in the range from 100 to 150 μA).

На фиг. 7 представлено стандартное отклонение (SD) рассчитанных функций активации нейрона от целевых (сигмоидальных) функций для разных значений величин основной, Lin1, и шунтирующей, Lout, индуктивностей. Величина такого стандартного отклонения много меньше единицы для всех интервалов значений, заявленных при раскрытии сущности изобретения, для физических величин, характеризующих конструктивные элементы. Хорошее совпадение полученных и целевых функций активации доказывает достижение технического результата во всем заявленном диапазоне значений величин основной, Lin1, и шунтирующей, Lout, индуктивностей.FIG. 7 shows the standard deviation (SD) of the calculated neuron activation functions from the target (sigmoidal) functions for different values of the main, L in1 , and shunting, L out , inductances. The value of such a standard deviation is much less than one for all ranges of values stated in the disclosure of the essence of the invention for physical quantities characterizing structural elements. Good coincidence of the obtained and target activation functions proves the achievement of the technical result in the entire declared range of values of the main, L in1 , and shunting, L out , inductances.

На фиг. 8 показана зависимость диссипации на одну операцию от длительности такой операции для различных значений индуктивности сверхпроводящего нейрона. Кривая 104 соответствует случаю 2π⋅LoutIC=0.1⋅Ф0. Кривая 105 соответствует 2π⋅LoutIC=0.5⋅Ф0. Представленные данные подтверждают достижение технического результата по быстродействию и энергоэффективности при функционировании сверхпроводящего нейрона: при выбранных значениях характеристик конструктивных элементов диссипация энергии составляет менее 10-18 Дж на одну операцию при длительности операции менее 0.1 нс.FIG. 8 shows the dependence of the dissipation per one operation on the duration of such an operation for various values of the inductance of a superconducting neuron. Curve 104 corresponds to the case 2π⋅L out I C = 0.1⋅F 0 . Curve 105 corresponds to 2π⋅L out I C = 0.5⋅F 0 . The presented data confirm the achievement of the technical result in terms of speed and energy efficiency in the functioning of a superconducting neuron: for the selected values of the characteristics of structural elements, energy dissipation is less than 10 -18 J per operation with an operation duration of less than 0.1 ns.

Claims (9)

1. Сверхпроводящий нейрон для многослойного персептрона, содержащий джозефсоновский элемент, соединенный гальванически с основным индуктивным элементом, который соединен гальванически с шунтирующим и вспомогательным индуктивными элементами; средство задания входного сигнала в виде магнитного поля, связанное индуктивным образом с основным и вспомогательным индуктивными элементами; средство детектирования выходного сигнала в виде величины тока, связанное индуктивным образом с шунтирующим индуктивным элементом.1. A superconducting neuron for a multilayer perceptron containing a Josephson cell, galvanically connected to the main inductive element, which is galvanically connected to the shunt and auxiliary inductive elements; means for setting an input signal in the form of a magnetic field, inductively coupled to the main and auxiliary inductive elements; means for detecting an output signal in the form of a current value, inductively coupled to the shunt inductive element. 2. Сверхпроводящий нейрон по п. 1, характеризующийся тем, что основной, вспомогательный и шунтирующий индуктивные элементы выполнены в виде участка слоя сверхпроводящего материала.2. The superconducting neuron according to claim 1, characterized in that the main, auxiliary and shunting inductive elements are made in the form of a portion of a layer of superconducting material. 3. Сверхпроводящий нейрон по п. 1, характеризующийся тем, что безразмерная величина индуктивности
Figure 00000005
основного индуктивного элемента лежит в диапазоне от 0.1 до 0.5, где Lin1 - величина индуктивности основного индуктивного элемента, Ф0 - квант магнитного потока, равный 2.067×10-15 Вб; IC - критический ток джозефсоновского контакта.
3. The superconducting neuron according to claim 1, characterized in that the dimensionless inductance value
Figure 00000005
the main inductive element is in the range from 0.1 to 0.5, where L in1 is the inductance value of the main inductive element, Ф 0 is the magnetic flux quantum equal to 2.067 × 10 -15 Wb; I C is the critical current of the Josephson junction.
4. Сверхпроводящий нейрон для многослойного персептрона по п. 1, характеризующийся тем, что безразмерная величина индуктивности шунтирующего индуктивного элемента
Figure 00000006
лежит в диапазоне от 0.1 до 0.4, где Lout - величина индуктивности шунтирующего индуктивного элемента.
4. A superconducting neuron for a multilayer perceptron according to claim 1, characterized in that the dimensionless value of the inductance of the shunting inductive element
Figure 00000006
lies in the range from 0.1 to 0.4, where L out is the value of the inductance of the shunting inductive element.
5. Сверхпроводящий нейрон для многослойного персептрона по п. 1, характеризующийся тем, что безразмерная величина индуктивности вспомогательного индуктивного элемента
Figure 00000007
лежит в диапазоне от 1.1 до 1.5, где Lin2+Lq - величина индуктивности вспомогательного индуктивного элемента.
5. A superconducting neuron for a multilayer perceptron according to claim 1, characterized in that the dimensionless value of the inductance of the auxiliary inductive element
Figure 00000007
lies in the range from 1.1 to 1.5, where L in2 + L q is the inductance value of the auxiliary inductive element.
6. Сверхпроводящий нейрон для многослойного персептрона по п. 1, характеризующийся тем, что джозефсоновский контакт выполнен в виде слоистой тонкопленочной структуры, содержащей: нижний сверхпроводящий электрод, нанесенный на нижний сверхпроводящий электрод слой изолятора, верхний сверхпроводящий электрод с токоподводами, нанесенный на слой изолятора.6. A superconducting neuron for a multilayer perceptron according to claim 1, characterized in that the Josephson contact is made in the form of a layered thin-film structure containing: a lower superconducting electrode deposited on the lower superconducting electrode an insulator layer, an upper superconducting electrode with current leads deposited on the insulator layer. 7. Сверхпроводящий нейрон для многослойного персептрона по п. 6, характеризующийся тем, что в качестве материала нижнего и верхнего сверхпроводящего электродов, всех сверхпроводящих слоев использован либо ниобий, либо соединения на основе ниобия (например, NbN, NbTi), либо алюминий, либо сплав на основе алюминия.7. A superconducting neuron for a multilayer perceptron according to claim 6, characterized in that either niobium or niobium-based compounds (for example, NbN, NbTi), or aluminum, or an alloy are used as the material of the lower and upper superconducting electrodes, all superconducting layers based on aluminum. 7. Сверхпроводящий нейрон для многослойного персептрона по п. 6, характеризующийся тем, что в качестве материала слоя изолятора в составе джозефсоновского контакта использован оксид алюминия Al2O3 или Nb3Si.7. A superconducting neuron for a multilayer perceptron according to claim 6, characterized in that aluminum oxide Al 2 O 3 or Nb 3 Si is used as the material of the insulator layer in the Josephson junction. 8. Сверхпроводящий нейрон для многослойного персептрона по п. 6, характеризующийся тем, что толщина нижнего сверхпроводящего электрода и верхнего сверхпроводящего электрода составляет от 50 до 500 нм.8. The superconducting neuron for a multilayer perceptron according to claim 6, characterized in that the thickness of the lower superconducting electrode and the upper superconducting electrode is from 50 to 500 nm.
RU2019137696A 2019-11-22 2019-11-22 Superconducting neuron for multilayer perceptron RU2734581C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2019137696A RU2734581C1 (en) 2019-11-22 2019-11-22 Superconducting neuron for multilayer perceptron

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2019137696A RU2734581C1 (en) 2019-11-22 2019-11-22 Superconducting neuron for multilayer perceptron

Publications (1)

Publication Number Publication Date
RU2734581C1 true RU2734581C1 (en) 2020-10-20

Family

ID=72940312

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019137696A RU2734581C1 (en) 2019-11-22 2019-11-22 Superconducting neuron for multilayer perceptron

Country Status (1)

Country Link
RU (1) RU2734581C1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4943556A (en) * 1988-09-30 1990-07-24 The United States Of America As Represented By The Secretary Of The Navy Superconducting neural network computer and sensor array
US20120011092A1 (en) * 2010-07-07 2012-01-12 Qualcomm Incorporated Methods and systems for memristor-based neuron circuits
US8179133B1 (en) * 2008-08-18 2012-05-15 Hypres, Inc. High linearity superconducting radio frequency magnetic field detector
US20160026912A1 (en) * 2014-07-22 2016-01-28 Intel Corporation Weight-shifting mechanism for convolutional neural networks
RU2579958C1 (en) * 2014-12-25 2016-04-10 Федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" Artificial neuron

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4943556A (en) * 1988-09-30 1990-07-24 The United States Of America As Represented By The Secretary Of The Navy Superconducting neural network computer and sensor array
US8179133B1 (en) * 2008-08-18 2012-05-15 Hypres, Inc. High linearity superconducting radio frequency magnetic field detector
US20120011092A1 (en) * 2010-07-07 2012-01-12 Qualcomm Incorporated Methods and systems for memristor-based neuron circuits
US20160026912A1 (en) * 2014-07-22 2016-01-28 Intel Corporation Weight-shifting mechanism for convolutional neural networks
RU2579958C1 (en) * 2014-12-25 2016-04-10 Федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" Artificial neuron

Similar Documents

Publication Publication Date Title
US6486756B2 (en) Superconductor signal amplifier
US11133805B2 (en) Superconducting logic circuits
EP1267412A2 (en) Capacitor for signal propagation across ground plane boundaries in superconductor integrated circuits
JP4130065B2 (en) Superconducting quantum interference device and superconducting circuit
US7095227B2 (en) Superconducting driver circuit
JP2007329797A (en) Superconducting single flux quantum modulation circuit
Alam et al. A compact model for superconductor-insulator-superconductor (SIS) Josephson junctions
JP2010199343A (en) Ac voltage generating circuit using josephson element, ac voltage standard circuit, and ac voltage standard device
Zhao et al. A distributed electrical model for superconducting nanowire single photon detectors
RU2734581C1 (en) Superconducting neuron for multilayer perceptron
CN110133379B (en) Method for measuring parasitic inductance of Josephson junction
CN105702849B (en) Stepped area is covered with superconducting circuit structure of superconduction coating and preparation method thereof
US11556769B2 (en) Superconducting parametric amplifier neural network
Balashov et al. Superconductor-insulator-normal-conductor-insulator-superconductor process development for integrated circuit applications
Lacquaniti et al. Analysis of the Temperature Stability of Overdamped ${\hbox {Nb}}/{\hbox {Al-}}{\hbox {AlO}} _ {x}/{\hbox {Nb}} $ Josephson Junctions
Wang et al. Fast Josephson vortex ratchet made of intrinsic Josephson junctions in Bi 2 Sr 2 CaCu 2 O 8
Razmkhah et al. Hybrid synaptic structure for spiking neural network realization
Karamuftuoglu et al. Scalable Superconductor Neuron with Ternary Synaptic Connections for Ultra-Fast SNN Hardware
RU2620760C2 (en) Superconducting quantum grid on the basis of skif structures
Maruyama et al. Observation of 45 GHz current waveforms using HTS sampler
CN112394214B (en) Superconducting oscilloscope with high time domain resolution and oscillography method
JPS6288381A (en) Superconducting switching apparatus
Lacquaniti et al. Josephson Junctions for Present and Next Generation Voltage Metrology
RU2051445C1 (en) Superconductor current amplifier using josephson effect
JP2000353831A (en) Superconducting junction and superconducting circuit