RU212411U1

RU212411U1 - Device for testing a software-defined radio system with elements of artificial intelligence

Info

Publication number: RU212411U1
Application number: RU2022111099U
Authority: RU
Inventors: Максим Олегович Жегулин; Сергей Вадимович Карамов; Александр Эдуардович Жданов
Original assignee: Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ
Filing date: 2022-04-22
Publication date: 2022-07-21

Abstract

Полезная модель относится к области электротехники, в частности к устройству сети переключения сигналов (передачи данных), сети коммуникаций, а также к системам радиосвязи с управлением передачей и машинным обучением.The utility model relates to the field of electrical engineering, in particular to a signal switching (data transmission) network device, a communications network, as well as to radio communication systems with transmission control and machine learning.

Задача, на решение которой направлена заявляемая полезная модель, - ускорение процесса машинного обучения для повышения эффективности испытаний новых функций в программно определяемой радиосистеме с элементами искусственного интеллекта за счет добавления в радиосистему функции работы нескольких устройств в составе коммуникационной радиосети, функции обнаружения и выделения признаков источников радиоизлучения. Технический результат достигается за счет запуска дополнительных нейронных сетей на платформе FPGA (анг. Field Programmable Gate Array, в российской интерпретации - программируемая логическая интегральная схема - ПЛИС) посредством ускорителя вывода нейронных сетей, а также одновременного запуска нейронных сетей с различной архитектурой на разнородных платформах (GPU и FPGA), повышая тем самым точность финальной оценки и ускоряя ее получение.

The task to be solved by the claimed utility model is to accelerate the process of machine learning to increase the efficiency of testing new functions in a software-defined radio system with elements of artificial intelligence by adding to the radio system the function of operating several devices as part of a communication radio network, the function of detecting and highlighting signs of radio emission sources . The technical result is achieved by launching additional neural networks on the FPGA platform (Field Programmable Gate Array, in the Russian interpretation - programmable logic integrated circuit - FPGA) by means of a neural network inference accelerator, as well as the simultaneous launch of neural networks with different architectures on heterogeneous platforms ( GPU and FPGA), thereby increasing the accuracy of the final estimate and speeding up its receipt.

Description

Полезная модель относится к области электротехники, в частности к устройству сети переключения сигналов - передачи данных, сети коммуникаций, а также к системам радиосвязи с управлением передачей и машинным обучением.The utility model relates to the field of electrical engineering, in particular to a device for a signal switching network - data transmission, a communications network, as well as radio communication systems with transmission control and machine learning.

Программно-определяемая радиосистема (далее - SDR, от англ. Software Defined Radio) реализует большинство своих функций, используя программное обеспечение, работающее на стандартном оборудовании [1]. Поскольку SDR проще проектировать, внедрять и поддерживать, она дешевле по сравнению с радиооборудованием с большим количеством аппаратных средств. Кроме того, SDR позволяет использовать радиоустройства аналогично тому, как это делают персональные компьютеры, где пользователь покупает универсальное оборудование и устанавливает соответствующее программное обеспечение для выполнения желаемой операции.A software-defined radio system (hereinafter referred to as SDR, from the English. Software Defined Radio) implements most of its functions using software running on standard equipment [1]. Because SDR is easier to design, implement, and maintain, it is less expensive than radio equipment with more hardware. In addition, SDR allows radio devices to be used in a similar way to personal computers, where the user buys generic hardware and installs the appropriate software to perform the desired operation.

Когда SDR может самостоятельно выбирать свои параметры, это называется когнитивным радио (далее - CR, от англ. Cognitive Radio) [2]. CR использует искусственный интеллект (далее - AI от англ. Artificial Intelligence) для динамического управления своими параметрами. В настоящее время CR в основном применяется в системах беспроводной связи на основе динамического доступа к спектру (далее - DSA от англ. Dynamic Spectrum Access).When SDR can independently choose its parameters, this is called cognitive radio (hereinafter - CR, from the English Cognitive Radio) [2]. CR uses artificial intelligence (hereinafter - AI from the English Artificial Intelligence) to dynamically control its parameters. Currently, CR is mainly used in wireless communication systems based on dynamic spectrum access (hereinafter referred to as DSA from Dynamic Spectrum Access).

Обычно система радиочастотного приемопередатчика состоит из одного или нескольких аналого-цифровых преобразователей (АЦП, англ. ADC), одного или несколько цифроаналоговых преобразователей (ЦАП, англ. DAC) и аппаратных компонентов цифровой обработки сигнала (ЦОС). Цифровую обработку сигнала реализуют на программируемых логических интегральных схемах (ПЛИС, или англ. FPGA - Field Programmable Gate Array), однако, в некоторых системах используются многоядерные процессоры, позволяющие системе управлять оцифрованными данными с помощью программных библиотек, тем самым сокращая время разработки по сравнению с реализациями на FPGA. Пропускная способность алгоритмов ЦОС и машинного обучения (далее - ML, от англ. Machine Learning) ограничена количеством параллельно исполняемых потоков операций в системе [4].Typically, an RF transceiver system consists of one or more analog-to-digital converters (ADC), one or more digital-to-analog converters (DAC), and digital signal processing (DSP) hardware components. Digital signal processing is implemented on programmable logic integrated circuits (FPGA, or English FPGA - Field Programmable Gate Array), however, in some systems multi-core processors are used, allowing the system to manage digitized data using software libraries, thereby reducing development time compared to FPGA implementations. The throughput of DSP and machine learning algorithms (hereinafter referred to as ML, from Machine Learning) is limited by the number of parallel executable workflows in the system [4].

Программно определяемая радиосистема может включать в себя радиочастотный интерфейс, подключенный к высокопроизводительному вычислительному процессору, состоящему из центрального процессора (CPU), графического процессора (GPU) и разделяемой памяти между CPU и GPU [4, 5].A software-defined radio system may include an RF interface connected to a high-performance computing processor, consisting of a central processing unit (CPU), a graphics processing unit (GPU), and shared memory between the CPU and GPU [4, 5].

Программно-конфигурируемая радиосистема может включать в себя блок обработки сигналов между радиочастотным интерфейсом и высокопроизводительным вычислительным процессором [5].A software-defined radio system may include a signal processing unit between the radio frequency interface and a high-performance computing processor [5].

Кроме того, программно определяемая радиосистема может быть сконфигурирована для создания кольцевого буфера в разделяемой памяти между CPU и GPU и напрямую хранить данные цифрового сигнала в кольцевом буфере [4].In addition, a software-defined radio system can be configured to create a ring buffer in shared memory between the CPU and GPU and directly store digital signal data in the ring buffer [4].

В системах AI универсальные алгоритмы машинного обучения обучаются для получения желаемого эффекта путем изменения различных весов, смещений и других переменных [3].In AI systems, generic machine learning algorithms are trained to produce the desired effect by changing various weights, biases, and other variables [3].

Этот процесс обучения выполняется путем подачи обучающих данных через алгоритм машинного обучения, оценки того, как результат работы алгоритма отличается от желаемого результата и на основании этой оценки осуществляются изменения весов, смещений и других переменных для минимизации этой ошибки, тем самым делая алгоритм более точным. Алгоритм ML дополнительно обучается путем повторения этого процесса до тех пор, пока результат работы алгоритма не станет почти идентичным желаемому результату. После того, как алгоритм обучен, его можно развернуть в программно определяемой радиосистеме. Этот процесс называется "инференсом". Алгоритмы машинного обучения обладают высокой степенью распараллеливания, и поэтому универсальный графический процессор значительно сокращает время выполнения процессов обучения и вывода, позволяя при этом использовать преимущества высоко адаптируемой природы SDR.This learning process is performed by feeding training data through a machine learning algorithm, evaluating how the result of the algorithm differs from the desired result, and based on this evaluation, changes in weights, biases, and other variables are made to minimize this error, thereby making the algorithm more accurate. The ML algorithm is further trained by repeating this process until the result of the algorithm is almost identical to the desired result. Once the algorithm has been trained, it can be deployed to a software-defined radio system. This process is called "inference". Machine learning algorithms are highly parallelized, so the versatile GPU significantly reduces training and inference time while taking advantage of the highly adaptable nature of SDR.

Набор данных, используемых для обработки алгоритмами машинного обучения, называется датасетом. Такие выборки нужны для обучения нейронных сетей, чтобы в дальнейшем использовать нейронные сети для решения реальных задач.The set of data used for processing by machine learning algorithms is called a dataset. Such samples are needed to train neural networks in order to further use neural networks to solve real problems.

Датасет, используемый для машинного обучения, обычно представляет собой структурированную информацию, представленную в табличном виде. Одним из типичных типов задач для нейронной сети являются задачи классификации. Для них наиболее удобно признаковое описание. Выборка (обучающий датасет) представляет собой конечное множество объектов, для которых заранее известно к каким классам они принадлежат. Классовая принадлежность всех остальных объектов должна быть распознана нейросетью. Машинное обучение состоит в построении модели, которая будет способна классифицировать произвольный объект из исходного множества наиболее быстрым и точным образом [3, 23].The dataset used for machine learning is usually structured information presented in tabular form. One of the typical types of tasks for a neural network is classification tasks. For them, the indicative description is the most convenient. A sample (training dataset) is a finite set of objects for which it is known in advance which classes they belong to. The class affiliation of all other objects must be recognized by the neural network. Machine learning consists in building a model that will be able to classify an arbitrary object from the initial set in the fastest and most accurate way [3, 23].

В контексте данной заявки SDR с элементами AI понимается как самоуправляемая система связи с переменным расположением приемопередатчиков, каждый из которых характеризуется вектором параметров: несущая частота, полоса пропускания и тип модуляции. С одной стороны, SDR собирает и анализирует компоненты сигнала, а с другой стороны, AI обрабатывает ситуацию в последовательности в реальном времени после обнаружения нежелательных данных на этапе мониторинга. Согласно данным [23] при таком подходе коэффициент связности и зона покрытия оптимизируются почти в два раза.In the context of this application, SDR with AI elements is understood as a self-governing communication system with a variable arrangement of transceivers, each of which is characterized by a vector of parameters: carrier frequency, bandwidth and modulation type. On the one hand, SDR collects and analyzes signal components, and on the other hand, AI processes the situation in sequence in real time after detecting unwanted data in the monitoring phase. According to [23], with this approach, the connectivity coefficient and the coverage area are optimized by almost a factor of two.

В устройстве-прототипе, описанном в патентной публикации США [4], функционально выделяют следующие подсистемы: подсистема радиочастоты и подсистема гетерогенного процессора. Подсистема радиочастоты состоит из блока радиочастоты, блока цифровой обработки сигнала, блока синхронизации, блока хранения данных. Подсистема гетерогенного процессора включает в себя блок графического процессора, разделяемую память, процессоры общего назначения, блок радиопередачи. Подсистема гетерогенного процессора соединена с внешним интерфейсом, кроме того к блоку графического процессора может быть подключен монитор.In the prototype device described in the US patent publication [4], the following subsystems are functionally distinguished: a radio frequency subsystem and a heterogeneous processor subsystem. The radio frequency subsystem consists of a radio frequency unit, a digital signal processing unit, a synchronization unit, and a data storage unit. The heterogeneous processor subsystem includes a graphics processor unit, shared memory, general purpose processors, and a radio transmission unit. The heterogeneous processor subsystem is connected to an external interface, and a monitor can also be connected to the GPU unit.

Работает устройство прототип следующим образом: в блоке радиочастоты осуществляют прием радиосигнала от радиоантенны, его усиление посредством малошумящего усилителя, аналоговую обработку сигнала, перевод сигнала в цифровую форму посредством аналого-цифрового преобразователя. В блоке цифровой обработки сигнала осуществляют цифровую фильтрацию сигнала, демодуляцию сигнала и его декодирование, также выполняют контроль оставшихся ошибок посредством циклической контрольной суммы. Кроме того, здесь отдельные выборки из потока данных могут быть объединены в пакеты (пакетирование). Блок цифровой обработки сигналов получает сигналы синхронизации от блока синхронизации. Блок цифровой обработки сигналов отправляет дискретизированные сигналы в блок хранения данных для записи на диск, и параллельно отправляет те же данные в разделяемую память. Блок радиочастоты получает опорную частоту от блока синхронизации и управляется блоком радиопередачи. Блок радиопередачи выполнен на подсистеме гетерогенного процессора. На подсистеме гетерогенного процессора реализуют алгоритм машинного обучения, при этом цифровые данные могут быть сохранены и использованы для последующего дообучения нейронной сети, а также для формирования сигнала обратной связи, который формируют в блоке радиопередачи совместно с исходящими пакетами данных, для которых выполняют кодирование и модуляцию передают в блок радиочастоты, где осуществляют цифроаналоговое преобразование и модуляцию высокочастотных несущих информационным сигналом с последующей передачей по беспроводному каналу.The prototype device works as follows: in the radio frequency unit, a radio signal is received from a radio antenna, it is amplified by a low-noise amplifier, analog signal processing, and the signal is converted into digital form by an analog-to-digital converter. In the digital signal processing unit, the signal is digitally filtered, the signal is demodulated and decoded, and the remaining errors are also controlled by means of a cyclic checksum. In addition, here individual samples from the data stream can be combined into packets (packaging). The digital signal processing block receives synchronization signals from the synchronization block. The digital signal processing unit sends the sampled signals to the data storage unit for writing to disk, and in parallel sends the same data to the shared memory. The RF block receives a reference frequency from the synchronization block and is controlled by the radio transmission block. The radio transmission unit is based on a heterogeneous processor subsystem. A machine learning algorithm is implemented on the heterogeneous processor subsystem, while digital data can be stored and used for subsequent retraining of the neural network, as well as for generating a feedback signal, which is formed in the radio transmission unit together with outgoing data packets for which encoding and modulation are transmitted to the radio frequency unit, where digital-to-analogue conversion and modulation of high-frequency carriers by an information signal are carried out, followed by transmission over a wireless channel.

Устройство прототип функционально является радиопередатчиком с элементами искусственного интеллекта и используется для применения алгоритмов машинного обучения в цифровой обработке данных, например, для определения модуляции радиосигнала. Точность определения модуляции, полученная в виде отношения правильных ответов к полному числу попыток, является финальной оценкой качества обучения алгоритма. Обычно для получения точной оценки требуется длительный процесс обучения алгоритма.The prototype device is functionally a radio transmitter with artificial intelligence elements and is used to apply machine learning algorithms in digital data processing, for example, to determine the modulation of a radio signal. The accuracy of modulation determination, obtained as the ratio of correct answers to the total number of attempts, is the final assessment of the quality of training the algorithm. Usually, a long process of learning the algorithm is required to obtain an accurate estimate.

Запуск нейронной сети на платформе FPGA может быть осуществлен посредством специализированного программного обеспечения (IP блока, от англ. Intellectual Property), поставляемого производителем: ускорителя вывода нейронных сетей.The launch of a neural network on the FPGA platform can be carried out using specialized software (IP block, from the English Intellectual Property) supplied by the manufacturer: a neural network inference accelerator.

У устройства-прототипа присутствуют следующие недостатки: отсутствие возможности кооперативной работы нескольких подобных устройств путем их объединения в сеть, отсутствие функций радиоразведки и радиопротиводействия, весьма ограниченные возможности для проведения машинного обучения на устройстве и запуска нейронных сетей на платформе FPGA, которая используется только для обработки сигнала.The prototype device has the following disadvantages: the lack of the possibility of cooperative operation of several similar devices by networking them, the lack of radio intelligence and radio countermeasures, very limited opportunities for machine learning on the device and the launch of neural networks on the FPGA platform, which is used only for signal processing .

Задача, на решение которой направлена заявляемая полезная модель - добавление в радиосистему функции работы нескольких устройств в составе коммуникационной радиосети, функции обнаружения и выделения признаков источников радиоизлучения, а также ускорение процесса машинного обучения для повышения эффективности испытаний новых функций в программно определяемой радиосистеме с элементами искусственного интеллекта. Для каждой из этих функций ключевым является точность и скорость выдачи ответа (оценки) по классификации части спектра сигнала нейронной сетью [22, 23].The task that the claimed utility model is aimed at is to add to the radio system the function of operating several devices as part of a communication radio network, the function of detecting and highlighting signs of radio emission sources, as well as accelerating the machine learning process to increase the efficiency of testing new functions in a software-defined radio system with elements of artificial intelligence . For each of these functions, the key is the accuracy and speed of issuing a response (estimate) according to the classification of a part of the signal spectrum by a neural network [22, 23].

Все три введенные новые функции позволяют замкнуть классический цикл системы с искусственным интеллектом: наблюдение - анализ - реагирование [24], чего не сделано в прототипе, который является спектроанализатором на нейронных сетях.All three introduced new functions make it possible to close the classical cycle of a system with artificial intelligence: observation - analysis - response [24], which is not done in the prototype, which is a spectrum analyzer based on neural networks.

Технический результат достигается за счет добавления в конструкцию предлагаемого устройства подсистемы сопроцессора и возможностью запуска дополнительных нейронных сетей на платформе FPGA посредством ускорителя вывода нейронных сетей, а также одновременного запуска нейронных сетей с различной архитектурой на разнородных платформах (GPU и FPGA), повышая тем самым точность финальной оценки работы устройства и ускоряя получение такой оценки.The technical result is achieved by adding a coprocessor subsystem to the design of the proposed device and the ability to launch additional neural networks on the FPGA platform using the neural network inference accelerator, as well as the simultaneous launch of neural networks with different architectures on heterogeneous platforms (GPU and FPGA), thereby increasing the accuracy of the final evaluating the performance of the device and speeding up the receipt of such an assessment.

Предлагаемое устройство для испытаний программно определяемой радиосистемы с элементами искусственного интеллекта состоит из следующих подсистем: подсистема радиочастоты, подсистема гетерогенного процессора, внешнего интерфейса, отличающееся тем, что включает в себя подсистему сопроцессора. Подсистема радиочастоты, как и в прототипе, состоит из блоков радиочастоты, блока цифровой обработки сигнала, блока синхронизации, блока хранения данных. Подсистема гетерогенного процессора, как и в прототипе, включает в себя блок графического процессора, разделяемую память, процессоры общего назначения, блок радиопередачи.The proposed device for testing a software-defined radio system with elements of artificial intelligence consists of the following subsystems: a radio frequency subsystem, a heterogeneous processor subsystem, an external interface, characterized in that it includes a coprocessor subsystem. The radio frequency subsystem, as in the prototype, consists of radio frequency units, a digital signal processing unit, a synchronization unit, and a data storage unit. The heterogeneous processor subsystem, as in the prototype, includes a graphics processor unit, shared memory, general-purpose processors, and a radio transmission unit.

Блок-схема устройства для испытаний программно определяемой радиосистемы с элементами искусственного интеллекта изображена на фиг. 1. Штриховыми линиями показаны границы подсистем.A block diagram of a device for testing a software-defined radio system with elements of artificial intelligence is shown in Fig. 1. Dashed lines show the boundaries of subsystems.

На фиг. 1 приняты следующие обозначения:In FIG. 1 adopted the following designations:

1 - подсистема радиочастоты;1 - radio frequency subsystem;

2 - подсистема гетерогенного процессора;2 - heterogeneous processor subsystem;

3 - подсистема сопроцессора;3 - coprocessor subsystem;

4 - блок радиочастоты;4 - radio frequency block;

5 - блок хранения данных5 - data storage unit

6 - блок цифровой обработки сигнала;6 - block of digital signal processing;

7 - блок синхронизации;7 - synchronization block;

8.1 - 8.N - N процессоров общего назначения;8.1 - 8.N - N general purpose processors;

9 - разделяемая память;9 - shared memory;

10 - блок графического процессора;10 - GPU block;

11 - блок радиопередачи;11 - radio transmission unit;

12 - блок динамической беспроводной маршрутизации;12 - block dynamic wireless routing;

13 - блок обнаружения источников радиоизлучения;13 - block for detecting sources of radio emission;

14 - блок выделения признаков;14 - feature extraction block;

15 - внешний интерфейс.15 - external interface.

В части подсистем радиочастоты и гетерогенного процессора связи между блоками аналогичны связям в прототипе, то есть:In terms of radio frequency subsystems and a heterogeneous processor, the connections between the blocks are similar to the connections in the prototype, that is:

- вход-выход блока радиочастоты соединен с входом-выходом блока цифровой обработки сигнала;- the input-output of the radio frequency unit is connected to the input-output of the digital signal processing unit;

- вход-выход блока цифровой обработки сигнала соединен с входом-выходом блока хранения данных;- the input-output of the digital signal processing unit is connected to the input-output of the data storage unit;

- вход-выход блока цифровой обработки сигнала соединен с входом-выходом блока радиопередачи;- the input-output of the digital signal processing unit is connected to the input-output of the radio transmission unit;

- выход блока синхронизации соединен с входом блока радиочастоты;- the output of the synchronization unit is connected to the input of the radio frequency unit;

- выход блока синхронизации соединен с входом блока цифровой обработки сигнала;- the output of the synchronization unit is connected to the input of the digital signal processing unit;

- выход блока радиопередачи подсистемы гетерогенного процессора соединен с входом блока радиочастоты;- the output of the radio transmission unit of the heterogeneous processor subsystem is connected to the input of the radio frequency unit;

- выход блока цифровой обработки сигнала соединен с входом разделяемой памяти подсистемы гетерогенного процессора;- the output of the digital signal processing unit is connected to the input of the shared memory of the heterogeneous processor subsystem;

- N входов-выходов разделяемой памяти соединены с входами-выходами N процессоров общего назначения;- N inputs-outputs of shared memory are connected to the inputs-outputs of N general-purpose processors;

- N+1 вход-выход разделяемой памяти соединен с входом-выходом блока графического процессора;- N+1 shared memory I/O connected to the I/O of the GPU unit;

- вход-выход блока радиопередачи соединен с входом-выходом блока синхронизации;- the input-output of the radio transmission unit is connected to the input-output of the synchronization unit;

- вход-выход внешнего интерфейса соединен с входом-выходом подсистемы гетерогенного процессора.- the input-output of the external interface is connected to the input-output of the heterogeneous processor subsystem.

Подсистема сопроцессора включает в себя блок динамической беспроводной маршрутизации, а также блок обнаружения источников радиоизлучения и блок выделения признаков, вся подсистема является новой по сравнению с прототипом. При этом с появлением в устройстве подсистемы сопроцессора в устройстве появились дополнительные связи: вход-выход блока радиопередачи связан с входом-выходом блока динамической беспроводной маршрутизации, с входом-выходом блока обнаружения источников радиоизлучения и с входом-выходом блока выделения признаков, в свою очередь, вход-выход блока динамической беспроводной маршрутизации соединен с входом-выходом блока обнаружения источников радиоизлучения, вход-выход блока обнаружения источников радиоизлучения соединен с входом-выходом блока выделения признаков, кроме того, выход разделяемой памяти подсистемы гетерогенного процессора соединен с входом блока динамической беспроводной маршрутизации, с входом блока обнаружения источников радиоизлучения и с входом блока выделения признаков.The coprocessor subsystem includes a dynamic wireless routing unit, as well as a radio emission source detection unit and a feature extraction unit, the entire subsystem is new compared to the prototype. At the same time, with the advent of the coprocessor subsystem in the device, additional connections appeared in the device: the input-output of the radio transmission unit is connected to the input-output of the dynamic wireless routing unit, with the input-output of the radio emission source detection unit and with the input-output of the feature extraction unit, in turn, the input-output of the dynamic wireless routing unit is connected to the input-output of the radio emission source detection unit, the input-output of the radio emission source detection unit is connected to the input-output of the feature extraction unit, in addition, the shared memory output of the heterogeneous processor subsystem is connected to the input of the dynamic wireless routing unit, with the input of the block for detecting sources of radio emission and with the input of the feature extraction block.

Сопоставительный анализ заявляемого устройства с прототипом показывает, что предлагаемое решение существенно отличается от прототипа, так как позволяет ускорить процесс машинного обучения для повышения эффективности испытаний новых функций в программно определяемой радиосистеме с элементами искусственного интеллекта за счет одновременного запуска нейронных сетей с различной архитектурой на разнородных платформах (GPU и FPGA), повышая тем самым точность финальной оценки и ускоряя ее получение, например, способом, показанным в [18].Comparative analysis of the proposed device with the prototype shows that the proposed solution differs significantly from the prototype, as it allows you to speed up the process of machine learning to improve the efficiency of testing new functions in a software-defined radio system with artificial intelligence elements by simultaneously running neural networks with different architectures on heterogeneous platforms ( GPU and FPGA), thereby increasing the accuracy of the final estimate and speeding up its obtaining, for example, in the manner shown in [18].

Работает предлагаемое устройство следующим образом: в блоке радиочастоты 4 осуществляют прием радиосигнала посредством радио антенны (на фиг. 1 не показана), его усиление посредством малошумящего усилителя, аналоговую фильтрацию и перенос сигнала на нулевую частоту, получая при этом видеосигнал, который переводят в цифровую форму посредством аналого-цифрового преобразователя. В блоке цифровой обработки сигнала 6 осуществляют цифровую фильтрацию сигнала, демодуляцию сигнала и его декодирование, также выполняют контроль оставшихся ошибок посредством циклической контрольной суммы. Кроме того, здесь отдельные выборки из потока данных могут быть объединены в пакеты (пакетирование). Блок цифровой обработки сигналов 6 получает сигналы синхронизации от блока синхронизации 7. Блок цифровой обработки сигналов 6 отправляет дискретизированные сигналы в блок хранения данных 5 для записи на диск, и параллельно отправляет те же данные в разделяемую память 9. Блок радиочастоты 4 получает опорную частоту от блока синхронизации 7 и управляется блоком радиопередачи 11. Блок радиопередачи 11 выполнен на подсистеме гетерогенного процессора 2. На подсистеме гетерогенного процессора 2 реализуют алгоритм машинного обучения, используя, в том числе, процессоры общего назначения 8.1…8.N, при этом цифровые данные могут быть сохранены в блоке разделяемой памяти 9 и использованы для последующего дообучения нейронной сети, а также для формирования сигнала обратной связи, который формируют в блоке радиопередачи 11 совместно с исходящими пакетами данных, для которых выполняют кодирование и модуляцию передают в блок радиочастоты 4, где осуществляют цифроаналоговое преобразование и модуляцию высокочастотных несущих информационным сигналом с последующей передачей по беспроводному каналу.The proposed device works as follows: in the radio frequency unit 4, a radio signal is received by means of a radio antenna (not shown in Fig. 1), its amplification by means of a low-noise amplifier, analog filtering and signal transfer to zero frequency, while receiving a video signal, which is converted into digital form by means of an analog-to-digital converter. In the digital signal processing unit 6, the signal is digitally filtered, the signal is demodulated and decoded, and the remaining errors are also controlled by means of a cyclic checksum. In addition, here individual samples from the data stream can be combined into packets (packaging). DSP 6 receives clock signals from sync 7. DSP 6 sends the sampled signals to data storage 5 to be written to disk, and sends the same data to shared memory 9 in parallel. synchronization 7 and is controlled by the radio transmission unit 11. The radio transmission unit 11 is made on the subsystem of the heterogeneous processor 2. On the subsystem of the heterogeneous processor 2, a machine learning algorithm is implemented, using, among other things, general-purpose processors 8.1 ... 8.N, while digital data can be stored in the shared memory block 9 and used for further training of the neural network, as well as for generating a feedback signal, which is formed in the radio transmission block 11 together with outgoing data packets, for which encoding and modulation are performed, transmitted to the radio frequency block 4, where digital-to-analog conversion is performed and modulation high-frequency carrier information signal with subsequent transmission over a wireless channel.

Блок обнаружения источников радиоизлучения 13 выполняет следующие функции:Block detection of sources of radio emission 13 performs the following functions:

- определение пространственного положения источников радиоизлучения путем анализа корреляционной матрицы принятых сигналов [19];- determination of the spatial position of radio emission sources by analyzing the correlation matrix of received signals [19];

- формирование сигнала запроса к источникам радиоизлучения с целью получить ответный опознавательный сигнал (система «свой-чужой») [20].- formation of a request signal to sources of radio emission in order to receive a response identification signal (“friend or foe” system) [20].

Блок выделения признаков 14 формирует список следующих признаков:Feature extraction block 14 generates a list of the following features:

- установление факта наличия энергии на анализируемом участке спектра;- establishing the fact of the presence of energy in the analyzed part of the spectrum;

- определение циклостационарных признаков радиосигналов (периодичность автокорреляцинной функции радиосигнала);- determination of cyclostationary signs of radio signals (frequency of the autocorrelation function of the radio signal);

- определение количества источников радиоизлучения на анализируемом участке спектра в течение определенного времени.- determination of the number of radio emission sources in the analyzed section of the spectrum during a certain time.

Источники радиоизлучения, опознанные как «свои» становятся, абонентами коммуникационной радиосети, каждый из которых может являться источником радиосообщений, ретранслятором радиосообщений и приемником радиосообщений. Каждый временной интервал источник может динамически выбирать между несколькими возможными схемами кодирования-модуляции на основе состояния канала, типа передаваемого трафика и наличия очереди радиосообщений к передаче. Например, источник может выбирать между прямым маршрутом к месту назначения и схемой с ретрансляцией. Очевидно, что из-за различий в достигнутой производительности, а также ресурсов, используемых каждой схемой, отправитель может выбрать наиболее подходящую схему на основе своего статуса [21]. На основе полученного списка в блоке динамической беспроводной маршрутизации 12 формируется таблица маршрутизации для своей коммуникационной радиосети и могут формироваться сигналы радиоподавления для "чужих" источников радиоизлучения, если это целесообразно.Sources of radio emission identified as "their own" become subscribers of the communication radio network, each of which can be a source of radio messages, a repeater of radio messages and a receiver of radio messages. Each timeslot, the source can dynamically select between several possible coding-modulation schemes based on the channel state, the type of traffic being transmitted, and whether there is a queue of radio messages to transmit. For example, the source may choose between a direct route to the destination or a relay scheme. Obviously, due to differences in performance achieved, as well as the resources used by each scheme, the sender may choose the most appropriate scheme based on its status [21]. Based on the received list in the dynamic wireless routing unit 12, a routing table is formed for its communication radio network and radio suppression signals for "alien" radio sources can be generated, if appropriate.

Наличие блока выделения признаков 14, блока определения источников радиоизлучения 13 и блока динамической беспроводной маршрутизации 12 позволяет наблюдать за радиообстановкой и реализовать функции радиоразведки, повысить отказоустойчивость и скрытность связи.The presence of a feature extraction unit 14, a unit for determining sources of radio emission 13 and a dynamic wireless routing unit 12 allows you to monitor the radio situation and implement radio intelligence functions, increase fault tolerance and secrecy of communication.

Предлагаемое устройство может быть реализовано на следующих компонентах:The proposed device can be implemented on the following components:

- приемопередатчик LimeSDR [6]: подсистема радиочастоты;- transceiver LimeSDR [6]: radio frequency subsystem;

- платформа Jetson AGX Xavier [7]: подсистема гетерогенного процессора;- Jetson AGX Xavier platform [7]: heterogeneous processor subsystem;

- сопроцессор на базе Xilinx Alveo U50 [8]: подсистема сопроцессора.- coprocessor based on Xilinx Alveo U50 [8]: coprocessor subsystem.

Платформа Jetson AGX Xavier эффективна для инференса нейронных сетей и алгоритмов машинного обучения [9].The Jetson AGX Xavier platform is effective for the inference of neural networks and machine learning algorithms [9].

Сопроцессор на базе Xilinx Alveo U50, помимо того, что является ПЛИС, так же может быть использован для инференса нейронных сетей или для программирования на языке программирования высокого уровня С, С++, OpenCL, RTL в среде SDAccel [10].The coprocessor based on Xilinx Alveo U50, in addition to being an FPGA, can also be used for inferencing neural networks or for programming in a high-level programming language C, C++, OpenCL, RTL in the SDAccel environment [10].

Приемопередатчик LimeSDR подключают к платформе Jetson AGX Xavier по интерфейсу USB-3, а сопроцессор на базе Xilinx Alveo U50 по интерфейсу PCIe Gen3.0 х8, что позволяют реализовать высокоскоростной обмен данными между компонентами, на которых реализованы функциональные блоки, что позволяет говорить о физической реализуемости предлагаемого устройства.The LimeSDR transceiver is connected to the Jetson AGX Xavier platform via the USB-3 interface, and the Xilinx Alveo U50-based coprocessor via the PCIe Gen3.0 x8 interface, which makes it possible to implement high-speed data exchange between the components on which the functional blocks are implemented, which allows us to talk about physical feasibility proposed device.

Предлагаемое устройство позволяет осуществлять параллельный вывод (запуск) двух нейросетей на двух независимых ускорителях, в отличии от прототипа, так как в прототипе отсутствует специальный ускоритель вывода нейронных сетей Xilinx DPU на Alveo U50 [12], который являясь IP ядром (от анг. IP-Core), реализует инференс нейронной сети в FPGA.The proposed device allows parallel output (launch) of two neural networks on two independent accelerators, in contrast to the prototype, since the prototype does not have a special Xilinx DPU neural network output accelerator on Alveo U50 [12], which is an IP core (from the English. IP- Core) implements neural network inference in FPGA.

Первый - графический ускоритель (или специальный укоритель вывода нейронных сетей NVDLA [11]) на Jetson AGX Xavier. Второй - специальный ускоритель вывода нейронных сетей Xilinx DPU на Alveo U50 [12]. Параллельный запуск для решения одной и той же задачи, например, распознавания сигналов, двух нейросетей, но с различной архитектурой, например, yolo [13] и ssd [14] на двух ускорителях позволяет принимать финальное решение на основе двух независимых источников данных, повышая тем самым итоговую точность.The first one is a graphics accelerator (or a special neural network inference accelerator NVDLA [11]) on Jetson AGX Xavier. The second one is a special Xilinx DPU neural network inference accelerator on Alveo U50 [12]. Parallel launch to solve the same problem, for example, signal recognition, two neural networks, but with different architecture, for example, yolo [13] and ssd [14] on two accelerators, allows you to make the final decision based on two independent data sources, increasing the the most final accuracy.

Наличие в составе предлагаемого устройства Alveo и его ускорителя нейронных сетей DPU (от анг. Data Processing Unit) позволяет построить более гибкую систему, так как DPU является soft ядром, реализуемым на программируемой логике FPGA [12] (стр. 4, табл.IP Facts (Provided with Core - Encrypted RTL)). Однако фиксированные ускорители искусственного интеллекта, такие как графические процессоры и ASIC, с трудом соответствуют реальной производительности из-за возрастающей сложности сетевых уровней, межуровневого потока данных и более низкой смешанной точности. Программируемые устройства FPGA могут реализовывать различные доменные архитектуры для оптимизации различных нейронных сетей [15].The presence of the proposed Alveo device and its accelerator of neural networks DPU (from the English. Data Processing Unit) allows you to build a more flexible system, since the DPU is a soft core implemented on the programmable logic FPGA [12] (p. 4, Table IP Facts (Provided with Core - Encrypted RTL)). However, fixed AI accelerators such as GPUs and ASICs struggle to match real-world performance due to increasing network layer complexity, cross-layer data flow, and lower mixed accuracy. Programmable FPGA devices can implement various domain architectures to optimize various neural networks [15].

Как известно, программное обеспечение развивается быстрее, чем аппаратное обеспечение. Постоянно появляются новые архитектуры нейросетей или вводятся дополнительные слои нейросети, которые позволяют повысить итоговую производительность и точность. Но зачастую нативные компиляторы - ПО, которое переводит реализацию нейросети с языков высокого уровня (например, С или Python) в машинный код аппаратуры - производителей аппаратуры, не всегда оперативно добавляет поддержку выполнения новых слоев на нативной аппаратуре [17]. Например, при появлении нового слоя, который не поддерживается нативным компилятором нейросети для Jetson AGX Xavier, этот слой будет выполняться на CPU вместо GPU/NVDLA, что приведет к существенной потере производительности. Наличие в составе предлагаемого устройства Alveo U50 и его ускорителя нейронных сетей DPU позволяет самостоятельно реализовать новый слой нейросети в виде soft ядра [16], который будет работать совместно с основным ускорителем DPU. Таким образом, обеспечивается большая гибкость системы и совместимость с передовыми разработками нейросетей, не дожидаясь их официальной поддержки со стороны производителя аппаратуры.As you know, software develops faster than hardware. New neural network architectures are constantly emerging or additional neural network layers are being introduced to improve overall performance and accuracy. But often native compilers - software that translates the implementation of a neural network from high-level languages (for example, C or Python) into the machine code of hardware manufacturers - do not always promptly add support for executing new layers on native hardware [17]. For example, if a new layer appears that is not supported by the native neural network compiler for Jetson AGX Xavier, this layer will be executed on the CPU instead of the GPU / NVDLA, which will lead to a significant performance loss. The presence of the proposed device Alveo U50 and its accelerator of neural networks DPU allows you to independently implement a new layer of the neural network in the form of a soft core [16], which will work in conjunction with the main DPU accelerator. Thus, greater system flexibility and compatibility with advanced neural network developments are provided, without waiting for their official support from the hardware manufacturer.

В качестве примера тестирования предлагаемого устройства для испытаний программно определяемой радиосистемы с элементами искусственного интеллекта приведем результаты сравнения времени классификации спектрограмм с использованием платформы подсистемы гетерогенного процессора на базе Jetson AGX Xavier и сопроцессора на базе платформы Alveo U50. Устройство в режиме реального времени непрерывно сканирует радиоэфир в заданной полосе частот. Для графического отображения результатов анализа устройство подключают к монитору. В непрерывном режиме на монитор выводится спектрограмма. Также из выводимой спектрограммы формируют поток изображений, который обрабатывается нейросетью, которая развернута на базе Jetson AGX Xavier или на базе платформы Alveo U50. В непрерывном режиме на монитор выводится спектрограмма, на который накладывается информация, полученная нейросетью по результатам анализа радиоэфира.As an example of testing the proposed device for testing a software-defined radio system with elements of artificial intelligence, we present the results of comparing the classification time of spectrograms using a heterogeneous processor subsystem platform based on Jetson AGX Xavier and a coprocessor based on the Alveo U50 platform. The device in real time continuously scans the air in a given frequency band. For graphical display of the analysis results, the device is connected to a monitor. In continuous mode, the spectrogram is displayed on the monitor. Also, an image stream is formed from the output spectrogram, which is processed by a neural network deployed on the basis of Jetson AGX Xavier or on the basis of the Alveo U50 platform. In continuous mode, a spectrogram is displayed on the monitor, on which the information obtained by the neural network based on the results of the analysis of the radio air is superimposed.

Задача классификации изображений (спектрограмм) в обоих случаях осуществлялась с помощью нейросети ResNet-50 при достижении точности 99% была достигнута производительность 1670 кадров (изображений) в секунду на платформе Alveo U50, а на платформе Jetson AGX Xavier эта же сеть давала прозводительность 1611 изображений при упаковке изображений в пакеты по 128 штук, что приводило к дополнительной задержке в 78,5 мс. Таким образом, применение в составе устройства платформы Alveo U50 позволит разгрузить платформу Jetson AGX Xavier для выполнения других задач, например, для дообучения нейронной сети только что полученными данными. Таким образом, полученное ускорение обработки может ускорить принятия адекватного решения, например, реконфигурацию коммуникационной сети.The task of classifying images (spectrograms) in both cases was carried out using the ResNet-50 neural network, with an accuracy of 99%, a performance of 1670 frames (images) per second was achieved on the Alveo U50 platform, and on the Jetson AGX Xavier platform, the same network gave a performance of 1611 images with Packing images into batches of 128, which resulted in an additional delay of 78.5 ms. Thus, the use of the Alveo U50 platform as part of the device will allow the Jetson AGX Xavier platform to be offloaded to perform other tasks, for example, to retrain the neural network with just received data. Thus, the resulting processing acceleration can speed up adequate decision making, for example, reconfiguration of the communication network.

Источники информации.Sources of information.

1. Mitola, Software radios-Survey, Критическая оценка и будущие направления, 1993.1. Mitola, Software radios-Survey, Critical Appraisal and Future Directions, 1993.

2. Mitola, Cognitive Radio: An Integrated Agent Architecture for Software Defined Radio, 2000.2. Mitola, Cognitive Radio: An Integrated Agent Architecture for Software Defined Radio, 2000.

3. Ян Лекун, Йошуа Бенжио, Джеффри Хинтон, Deep Learning, Nature, 521, 436-444 (2015).3. Yan LeCun, Joshua Bengio, Geoffrey Hinton, Deep Learning, Nature, 521, 436-444 (2015).

4. Патентная публикация США US 20190171965 A1. Artificial intelligence radio transceiver. John D. Ferguson, JR. William M. Kirschner. Peter E. Witkowski.4. US Patent Publication US 20190171965 A1. Artificial intelligence radio transceiver. John D. Ferguson, JR. William M. Kirschner. Peter E. Witkowski.

5. Патентная публикация США US 10841810 B2. Placement and scheduling of radio signal processing dataflow operations. Timothy James O'Shea.5. US Patent Publication US 10841810 B2. Placement and scheduling of radio signal processing dataflow operations. Timothy James O'Shea

6. LimeSDR. Источник: https://limemicro.com/products/boards/limesdr/6 LimesDR. Source: https://limemicro.com/products/boards/limesdr/

7. https://www.nvidia.com/ru-ru/autonomous-machines/embedded-systems/jetson-agx-xavier/7. https://www.nvidia.com/ru-ru/autonomous-machines/embedded-systems/jetson-agx-xavier/

8. Xilinx Alveo U50 - новый ускоритель для ЦОД. Источник: https://fpga.su/2020/07/xilinx-alveo-u50/8. Xilinx Alveo U50 - a new data center accelerator. Source: https://fpga.su/2020/07/xilinx-alveo-u50/

9. Mittal S. A Survey on optimized implementation of deep learning models on the NVIDIA Jetson platform // Journal of Systems Architecture. -2019.-T. 97.-C. 428-442.9. Mittal S. A Survey on optimized implementation of deep learning models on the NVIDIA Jetson platform // Journal of Systems Architecture. -2019.-T. 97.-C. 428-442.

10. Alveo U50 Data Center Accelerator Card Источник: https://www.xilinx.com/products/boards-and-kits/alveo/u50.html10. Alveo U50 Data Center Accelerator Card Source: https://www.xilinx.com/products/boards-and-kits/alveo/u50.html

11. The NVIDIA Deep Learning Accelerator (NVDLA). Источник: http://nvdla.org/11. The NVIDIA Deep Learning Accelerator (NVDLA). Source: http://nvdla.org/

12. DPUCAHX8H for Convolutional Neural Networks Источник: http://xilinx.eetrend.com/files/2021-08/wen_zhang_/100553088-217819-pg367-dpucahx8h.pdf.12. DPUCAHX8H for Convolutional Neural Networks

13. YOLO9000: Better, Faster, Stronger. Источник: https://arxiv.org/pdf71612.08242.pdf.13. YOLO9000: Better, Faster, Stronger. Source: https://arxiv.org/pdf71612.08242.pdf.

14. Liu W. et al. Ssd: Single shot multibox detector //European conference on computer vision. - Springer, Cham, 2016. C. 21-37.14. Liu W. et al. Ssd: Single shot multibox detector //European conference on computer vision. - Springer, Cham, 2016. C. 21-37.

15. Optimization for Depth-Wise Convolution on Xilinx Devices. Источник: https://www.xilinx.com/support/documentation/white_papers/wp522-depth-wise-conversion.pdf.15. Optimization for Depth-Wise Convolution on Xilinx Devices. Source: https://www.xilinx.com/support/documentation/white_papers/wp522-depth-wise-conversion.pdf

16. Accelerating DNNs with Xilinx Alveo Accelerator Cards Источник: https://www.xilinx.com/content/dam/xilinx/support/documentation/white _papers/wp504-accel-dnns.pdf.16. Accelerating DNNs with Xilinx Alveo Accelerator Cards

17. Nvidia Tensorrt Documentation. Layers and Features Источник: https://docs.nvidia.com/deeplearning/tensorrt/support-matrix/index.html#layers-matrix17. Nvidia Tensorrt Documentation. Layers and Features Source: https://docs.nvidia.com/deeplearning/tensorrt/support-matrix/index.html#layers-matrix

18. Carballo-Hernandez W., Pelcat M., Berry F. Why is FPGA-GPU Heterogeneity the Best Option for Embedded Deep Neural Networks?//arXiv preprint arXiv:2102.01343. - 2021.18. Carballo-Hernandez W., Pelcat M., Berry F. Why is FPGA-GPU Heterogeneity the Best Option for Embedded Deep Neural Networks?//arXiv preprint arXiv:2102.01343. - 2021.

19. Куликов Е.И., Трифонов А.П. Оценка параметров сигналов на фоне помех. М.: Сов.радио, 1978. 296 с. 19. Kulikov E.I., Trifonov A.P. Estimation of signal parameters against the background of noise. M.: Sov.radio, 1978. 296 p.

20. Пахомова А. ФИЗИЧЕСКИЕ ОСНОВЫ ЗАЩИТЫ ИНФОРМАЦИИ. - 2015. Режим доступа https://cchgeu.ru/upload/iblock/f53/pakhomova fizicheskie-osnovy-zashchity-informatsii.pdf.20. Pakhomova A. PHYSICAL BASES OF INFORMATION PROTECTION. - 2015. Access mode https://cchgeu.ru/upload/iblock/f53/pakhomova fizicheskie-osnovy-zashchity-informatsii.pdf.

21. Cohen A. et al. Optimal Dynamic Routing for the Wireless Relay Channel //arXiv preprint arXiv: 1601.06859. - 2016.21. Cohen A. et al. Optimal Dynamic Routing for the Wireless Relay Channel //arXiv preprint arXiv: 1601.06859. - 2016.

22. Bargarai F. et al. Management of wireless communication systems using artificial intelligence-based software defined radio. - 2020.22 Bargarai F. et al. Management of wireless communication systems using artificial intelligence-based software defined radio. - 2020.

23. Brownlee J. Better deep learning: train faster, reduce overfitting, and make better predictions. - Machine Learning Mastery, 2018.23. Brownlee J. Better deep learning: train faster, reduce overfitting, and make better predictions. - Machine Learning Mastery, 2018.

24. Siegel M. The sense-think-act paradigm revisited //1st International Workshop on Robotic Sensing, 2003. ROSE'03. - IEEE, 2003. - C. 5 pp.24. Siegel M. The sense-think-act paradigm revisited // 1st International Workshop on Robotic Sensing, 2003. ROSE'03. - IEEE, 2003. - C. 5 pp.

Claims

A device for testing a software-defined radio system with elements of artificial intelligence, consisting of a radio frequency subsystem, a heterogeneous processor subsystem, an external interface, while in part of the radio frequency subsystem and the heterogeneous processor subsystem, connections are implemented: the input-output of the radio-frequency unit is connected to the input-output of the digital signal processing unit , the input-output of the digital signal processing unit is connected to the input-output of the data storage unit, the input-output of the digital signal processing unit is connected to the input-output of the radio transmission unit, the output of the synchronization unit is connected to the input of the radio frequency unit, the output of the synchronization unit is connected to the input of the digital processing unit signal, the output of the radio transmission unit of the heterogeneous processor subsystem is connected to the input of the radio frequency unit, the output of the digital signal processing unit is connected to the input of the shared memory of the heterogeneous processor subsystem, N inputs-outputs of the shared memory are connected to the inputs-outputs of the N processor general-purpose ditch, N+1 input-output of shared memory is connected to the input-output of the graphics processor unit, the input-output of the radio transmission unit is connected to the input-output of the synchronization unit, the input-output of the external interface is connected to the input-output of the heterogeneous processor subsystem, and the proposed The device for testing a software-defined radio system with elements of artificial intelligence is characterized by the fact that a coprocessor system has been introduced into the device, consisting of a dynamic wireless routing unit, a radio emission source detection unit, a feature extraction unit, and with the advent of the coprocessor subsystem in the device, additional connections have appeared in the device: the input-output of the radio transmission unit is connected to the input-output of the dynamic wireless routing unit, to the input-output of the radio emission source detection unit and to the input-output of the feature extraction unit, in turn, the input-output of the dynamic wireless routing unit is connected to the input - the output of the block for detecting sources of radio emission, the input-output of the block for detecting sources of radio emission is connected to the input-output of the block for extracting features, in addition, the output of the shared memory of the heterogeneous processor subsystem is connected to the input of the dynamic wireless routing unit, to the input of the block for detecting sources of radio emission and to the input of the block feature extraction.