RU156778U1 - RECONFIGURABLE COMPUTER SYSTEM - Google Patents

RECONFIGURABLE COMPUTER SYSTEM Download PDF

Info

Publication number
RU156778U1
RU156778U1 RU2015113226/08U RU2015113226U RU156778U1 RU 156778 U1 RU156778 U1 RU 156778U1 RU 2015113226/08 U RU2015113226/08 U RU 2015113226/08U RU 2015113226 U RU2015113226 U RU 2015113226U RU 156778 U1 RU156778 U1 RU 156778U1
Authority
RU
Russia
Prior art keywords
express
pci
computing
interface
ethernet
Prior art date
Application number
RU2015113226/08U
Other languages
Russian (ru)
Inventor
Ольга Анатольевна Будкина
Александр Владимирович Будник
Константин Игоревич Воротников
Виктор Станиславович Горбунов
Георгий Сергеевич Елизаров
Александр Николаевич Иванов
Андрей Валентинович Козлов
Георгий Борисович Кульков
Аркадий Васильевич Симонов
Антон Сергеевич Степанов
Виктор Викторович Парамонов
Андрей Владимирович Патрикеев
Александр Георгиевич Титов
Original Assignee
Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" filed Critical Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант"
Priority to RU2015113226/08U priority Critical patent/RU156778U1/en
Application granted granted Critical
Publication of RU156778U1 publication Critical patent/RU156778U1/en

Links

Images

Abstract

Реконфигурируемая вычислительная система, содержащая ведущий сервер 2, связанный через коммутатор 1 управления EtherNet вычислительной системы по сетевому интерфейсу 3 и сетевым интерфейсам EtherNet 7, ..., 7с группой из К ведомых вычислительных узлов 4, ..., 4, каждый из которых содержит группу из N реконфигурируемых вычислительных устройств 13, ..., 13, содержащие группу из M вычислительных ПЛИС 20, ..., 20каждый, и компьютеры 8 с шиной PCIe на материнской плате, отличающаяся тем, что в нее дополнительно введены сетевой коммутатор мониторинга Ethernet вычислительной системы 5, подключенный по сетевым интерфейсам EtherNet 6 к ведущему серверу 2 и к группе из К сетевых портов мониторинга Ethernet 18, ..., 18ведомых вычислительных узлов 4, ..., 4, в состав каждого из которых 4дополнительно введены двухпортовая интерфейсная плата 9, подключенная по внутреннему высокоскоростному последовательному интерфейсу PCI-Express 10 к компьютеру 8 ведомого вычислительного узла 4, коммутатор мониторинга Ethernet 14 ведомых вычислительных узлов 4, подключенный к компьютеру 8 ведомого вычислительного узла 4по сетевому интерфейсу EtherNet 12, к сетевому порту мониторинга Ethernet 18и группе из N сетевых портов мониторинга Ethernet 26, ..., 26, коммутатор PCI Express 11 ведомого вычислительного узла 4, причем входной порт коммутатора PCI Express 11 соединен с интерфейсной платой 9 высокоскоростным последовательным интерфейсом PCI-Express 15, а к выходным портам подключены N портов 16, ..., 16высокоскоростного последовательного интерфейса PCI-Express группы из N реконфигурируемых вычислительных устройств 13, ..., 13, в состав каждого из которых 13дополнительно введены блок управления режимом коммутатора PCI-Express 30, интерфейсная ПЛИС 22, па�A reconfigurable computing system comprising a master server 2 connected through an EtherNet control switch 1 of a computing system via a network interface 3 and EtherNet network interfaces 7, ..., 7 with a group of K slave computing nodes 4, ..., 4, each of which contains a group of N reconfigurable computing devices 13, ..., 13, containing a group of M computing FPGAs 20, ..., 20 each, and computers 8 with a PCIe bus on the motherboard, characterized in that an Ethernet monitoring network switch is additionally introduced into it computational system 5, connected via EtherNet 6 network interfaces to the master server 2 and to a group of K Ethernet monitoring ports 18, ..., 18 of the known computing nodes 4, ..., 4, each of which 4 has an additional two-port interface board 9 connected via an internal high-speed serial interface PCI-Express 10 to computer 8 of the slave computing node 4, an Ethernet monitoring switch 14 of the slave computing nodes 4, connected to computer 8 of the slave computing node 4 via the EtherNet 12 network interface, to the network Ethernet monitoring unit 18 and a group of N Ethernet monitoring ports 26, ..., 26, PCI Express 11 switch of the slave computing node 4, and the input port of the PCI Express 11 switch is connected to the interface card 9 with a high-speed serial PCI-Express 15 interface, and the output ports are connected N ports 16, ..., 16 of a high-speed serial PCI-Express interface of a group of N reconfigurable computing devices 13, ..., 13, each of which 13 additionally includes a PCI-Express 30 switch mode control unit, an interface FPGA 22 , pa

Description

Полезная модель относится к области вычислительной техники, в частности, к реконфигурируемым высокопроизводительным вычислительным системам с высокой надежностью работы, использующими прямое взаимодействие вычислительных ПЛИС с процессорами по высокоскоростным последовательным каналам PCIe, возможность наращивания вычислительной мощности реконфигурируемой части и объединения вычислительных ПЛИС в различные структуры, и могут быть применены для решения трудоемких задач и обработки больших информационных массивов и потоков, с использованием распараллеливания и конвейеризации вычислительных процессов.The utility model relates to the field of computer engineering, in particular, to reconfigurable high-performance computing systems with high reliability, using direct interaction of computing FPGAs with processors via high-speed serial PCIe channels, the possibility of increasing the computing power of the reconfigurable part and combining computing FPGAs into various structures, and can be used to solve labor-intensive tasks and process large information arrays and streams, using zovaniem parallelization and pipelining of computational processes.

Реконфигурация - это изменение архитектуры и/или алгоритма обработки данных, позволяющее организовывать различные схемы последовательной (конвейерной), параллельной и/или последовательно-параллельной обработки данных внутри заданной группы вычислительных средств.Reconfiguration is a change in architecture and / or data processing algorithm that allows you to organize various sequential (pipeline), parallel and / or serial-parallel data processing schemes within a given group of computing tools.

Вычислительные узлы - это вычислительные устройства, состоящие, как правило, из универсального вычислительного средства, управляющего работой группы специальных высокопроизводительных вычислительных средств.Computing nodes are computing devices, consisting, as a rule, of a universal computing tool that controls the work of a group of special high-performance computing tools.

Реконфигурируемый вычислительный модуль - это одноплатное образование, содержащее вычислительные ПЛИС, объединенные связями и подключенные к некоторым интерфейсам.A reconfigurable computing module is a single-board education containing computing FPGAs, connected by links and connected to some interfaces.

Реконфигурируемые вычислительные устройства - это объединение реконфигурируемых вычислительных модулей, подключенное к единому центру управления, внутри вычислительного узла.Reconfigurable computing devices are a combination of reconfigurable computing modules connected to a single control center inside a computing node.

Известна реконфигурируемая вычислительная система на ПЛИС фирмы DINI Group (http://www.dinigroup.com/product/data), содержащая вычислительные узлы DNK7_F5_8_Cluster, каждый из которых содержит универсальную ЭВМ, подключенную к общей сети управления EtherNet, и восемь вычислительных модулей DNBFC_K7F5_PCIe в составе из пяти вычислительных ПЛИС Kintex-7 410T фирмы Xilinx, которые устанавливаются на материнскую плату в разъемы PCIe и подключаются к процессору Xeon Е3-1275 через системные ПЛИС Virtex-6 фирмы Xilinx, реализующие мосты PCIe x4 на каждом вычислительном модуле и осуществляющие конфигурирование вычислительных ПЛИС. Вычислительные ПЛИС модуля объединены кольцевым последовательным 46-ти разрядным каналом, а один из них еще подключен к системной ПЛИС 78-ми разрядной шиной, обеспечивающей обмен данными между вычислительными ПЛИС и процессором.A reconfigurable FPGA FPGA system from the DINI Group (http://www.dinigroup.com/product/data) is known, which contains compute nodes DNK7_F5_8_Cluster, each of which contains a universal computer connected to the EtherNet control network and eight compute modules DNBFC_K7F5_PCIe in of five Xilinx Kintex-7 410T FPGAs that are installed on the motherboard in PCIe slots and are connected to the Xeon E3-1275 processor via Xilinx Virtex-6 system FPGAs that implement PCIe x4 bridges on each computing module and configure FPGA computing. Computing FPGAs of the module are connected by a ring serial 46-bit channel, and one of them is still connected to the system FPGAs by a 78-bit bus, which provides data exchange between computing FPGAs and the processor.

Недостатками данной вычислительной системы являются отсутствие возможности объединения вычислительных ПЛИС в единое поле, низкая максимальная скорость обмена данными между вычислительными ПЛИС и управляющим процессором, ограниченная система повышения вычислительной мощности реконфигурируемой части на ПЛИС, два различных типа проектов для вычислительных ПЛИС и недостаточно высокая надежность работы.The disadvantages of this computing system are the lack of the ability to combine computing FPGAs in a single field, the low maximum data exchange rate between computing FPGAs and the control processor, a limited system for increasing the computing power of the reconfigurable part on FPGAs, two different types of projects for computing FPGAs and insufficiently high reliability.

Причинами, препятствующими достижению технического результата, являются наличие связи между вычислительными ПЛИС только внутри модуля, отсутствие прямого подключения вычислительных ПЛИС к управляющему процессору, только через системную ПЛИС, отсутствие возможности простого подключения дополнительных вычислительных ПЛИС к управляющим процессорам, в связи с ограниченностью слотов PCIe на материнской плате, а также отсутствие системы контроля и управления температурным режимом работы и затрудненная система охлаждения и питания вычислительных ПЛИС.The reasons hindering the achievement of the technical result are the presence of communication between computing FPGAs only inside the module, the lack of direct connection of computing FPGAs to the control processor, only through the system FPGA, the lack of the ability to easily connect additional computing FPGAs to control processors, due to the limited PCIe slots on the motherboard circuit board, as well as the lack of a control system and temperature control mode of operation and a complicated cooling and power supply system integral FPGAs.

Известна реконфигурируемая вычислительная система на ПЛИС фирмы DINI Group (http://http://www.dinigroup.com/product/data), вычислительные узлы которой DNBFC_S12_12_Cluster, представляют собой универсальную ЭВМ, подключенную к общей сети управления EtherNet, и содержат восемь вычислительных модулей DNBFC_S12_PCIe в составе двенадцати вычислительных ПЛИС Spartan-6 150LX фирмы Xilinx, устанавливаемые на материнскую плату в разъемы PCIe и подключаемые к процессору Xeon Е3-1275 через системные ПЛИС Virtex-6 фирмы Xilinx реализующие мосты PCIe х4 на каждом вычислительном модуле и осуществляющие конфигурирование вычислительных ПЛИС. Вычислительные ПЛИС модуля объединены кольцевым последовательным 77-ти разрядным каналом с менеджером данных, реализованным также на ПЛИС Spartan-6 150LX, которая также подключена к системной ПЛИС 64-х разрядной шиной, обеспечивающей обмен данными между вычислительными ПЛИС и процессором, и двумя внешними высокоскоростными последовательными дуплексными 4-х разрядными каналами GTP.A reconfigurable FPGA FPGA system of the DINI Group company is known (http: // http: //www.dinigroup.com/product/data), the computing nodes of which DNBFC_S12_12_Cluster are a universal computer connected to a common EtherNet control network and contain eight computing DNBFC_S12_PCIe modules consisting of twelve Xilinx Spartan-6 150LX computing FPGAs installed on the motherboard in PCIe connectors and connected to the Xeon E3-1275 processor via Xilinx Virtex-6 system FPGAs that implement PCIe x4 bridges on each computing module and perform configurations FPGA computing. Computing FPGAs of the module are connected by a serial serial 77-bit channel with a data manager, also implemented on the Spartan-6 150LX FPGA, which is also connected to the system FPGA by a 64-bit bus, which provides data exchange between computing FPGAs and the processor, and two external high-speed serial duplex 4-bit GTP channels.

Недостатками данной вычислительной системы являются большая задержка распространения данных при объединении вычислительных ПЛИС в единое поле и переходе к межмодульному взаимодействию, низкая скорость обмена данными между вычислительными ПЛИС и управляющим процессором, ограниченная система повышения вычислительной мощности реконфигурируемой части на ПЛИС, и недостаточно высокая надежность работы.The disadvantages of this computing system are the large delay in the distribution of data when combining computing FPGAs in a single field and the transition to inter-module interaction, the low data rate between computing FPGAs and the control processor, a limited system for increasing the computing power of the reconfigurable part on the FPGA, and insufficiently high reliability.

Причинами, препятствующими достижению технического результата, являются непрямое соединение вычислительных ПЛИС, взаимодействие 12-ти вычислительных ПЛИС с процессорами осуществляется через один системный ПЛИС, отсутствие возможности простого подключения дополнительных вычислительных ПЛИС к управляющим процессорам, в связи с ограниченностью слотов PCIe на материнской плате, а также отсутствие системы контроля и управления температурным режимом работы и затрудненная система охлаждения и питания вычислительных ПЛИС.The reasons hindering the achievement of the technical result are the indirect connection of computing FPGAs, the interaction of 12 computing FPGAs with processors is through one system FPGA, the lack of the ability to easily connect additional computing FPGAs to control processors, due to the limited PCIe slots on the motherboard, as well as lack of a control and management system for the temperature regime of operation and a complicated cooling system and power supply for computing FPGAs.

Наиболее близкой вычислительной системой того же назначения, к заявленной полезной модели, по совокупности признаков, принятой за прототип, является FPGA-суперкомпьютер Maxwell (http://fpga.parallel.ru. http://www.fhca.org/maxwell.html, http://www.springer.com), содержащий ведущий сервер, связанный через коммутатор управления EtherNet вычислительной системы по сетевому интерфейсу с группой из 32-х ведомых вычислительных узлов, содержащих компьютеры с шиной PCI-X на материнской плате и соединенные с ними по шине PCI-X реконфигурируемые вычислительные устройства на ПЛИС, которые объединены между собой и соседними вычислительными узлами по высокоскоростным последовательным интерфейсам Rocket 10.The closest computing system for the same purpose, to the claimed utility model, by the totality of features adopted as a prototype, is the Maxwell FPGA supercomputer (http://fpga.parallel.ru. Http://www.fhca.org/maxwell.html , http://www.springer.com), containing a master server connected via an ethernet control switch of a computer system via a network interface to a group of 32 slave computer nodes containing computers connected to the PCI-X bus on the motherboard and connected to them PCI-X reconfigurable FPGA computing devices that are integrated between themselves and the adjacent computing nodes over high speed serial interfaces Rocket 10.

Недостатками данной вычислительной системы являются низкая скорость обмена данными между вычислительными ПЛИС и управляющим процессором, малоэффективная система повышения вычислительной мощности реконфигурируемой части на ПЛИС, единственная возможная структура объединения вычислительных ПЛИС в поле, и недостаточно высокая надежность работы.The disadvantages of this computing system are the low data exchange rate between the computing FPGAs and the control processor, the ineffective system for increasing the computing power of the reconfigurable part on the FPGA, the only possible structure for combining the computing FPGAs in the field, and the insufficiently reliable operation.

Причинами, препятствующими достижению технического результата, являются использование недостаточно скоростного интерфейса PCI-X для взаимодействия вычислительных ПЛИС и управляющих процессоров, отсутствие возможности простого подключения дополнительных вычислительных ПЛИС к управляющим процессорам, фиксированное (механическое, при помощи кабелей) объединение вычислительных ПЛИС в поле, а также отсутствие системы контроля и управления температурным режимом работы вычислительных ПЛИС.The reasons hindering the achievement of the technical result are the use of an insufficiently high-speed PCI-X interface for the interaction of computing FPGAs and control processors, the inability to easily connect additional computing FPGAs to control processors, the fixed (mechanical, using cables) combining computing FPGAs in the field, and lack of a system for monitoring and controlling the temperature regime of computing FPGAs.

Задача, на решение которой направлено предлагаемая полезная модель, заключается в создании высокопроизводительной вычислительной системы с высокоскоростной системой обмена данными и высокой надежностью работы.The problem to which the proposed utility model is directed is to create a high-performance computing system with a high-speed data exchange system and high reliability.

Техническим результатом предлагаемой полезной модели является создание высокопроизводительной вычислительной системы с перестраиваемой архитектурой на ПЛИС, с возможностью объединения вычислительных ПЛИС в различные вычислительные структуры, наращивания вычислительной мощности реконфигурируемой части на ПЛИС путем простого подключения дополнительных ПЛИС аналогичных вычислительных модулей, перераспределения вычислительной мощности реконфигурируемой части на ПЛИС вычислительных узлов, в соответствии с характером выполняемых задач, и увеличения скорости обмена данными между вычислительными ПЛИС и управляющим процессором за счет применения высокоскоростного интерфейса PCI-Express, а также обеспечения высокой надежности работы вычислительной системы, за счет использования системы мониторинга состояния технических средств.The technical result of the proposed utility model is the creation of a high-performance computing system with a configurable FPGA architecture, with the possibility of combining computing FPGAs into various computing structures, increasing the computing power of the reconfigurable part to FPGAs by simply connecting additional FPGAs of similar computing modules, redistributing the computing power of the reconfigurable part to FPGA computing nodes, in accordance with the nature of the performed tasks, and increase the speed of data exchange between computing FPGAs and the control processor through the use of high-speed PCI-Express interface, as well as ensuring high reliability of the computing system, through the use of a state-of-the-art monitoring system.

Для решения данной задачи в реконфигурируемую вычислительную систему содержащую ведущий сервер 2, связанный через коммутатор 1 управления EtherNet вычислительной системы по сетевому интерфейсу 3 и сетевым интерфейсам EtherNet 71, …, 7K с группой из K ведомых вычислительных узлов 41, …, 4K, каждый из которых содержит группу из N реконфигурируемых вычислительных устройств 131, …, 13N, содержащие группу из M вычислительных ПЛИС 201, …, 20M каждый, и компьютеры 8 с шиной PCIe на материнской плате,To solve this problem, in a reconfigurable computer system containing a master server 2, connected via an EtherNet control switch 1 of a computer system via a network interface 3 and EtherNet network interfaces 7 1 , ..., 7 K with a group of K slave computing nodes 4 1 , ..., 4 K , each of which contains a group of N reconfigurable computing devices 13 1 , ..., 13 N , containing a group of M computing FPGAs 20 1 , ..., 20 M each, and computers 8 with a PCIe bus on the motherboard,

дополнительно введены сетевой коммутатор мониторинга Ethernet вычислительной системы 5, подключенный по сетевым интерфейсам EtherNet 6 к ведущему серверу 2 и к группе из K сетевых портов мониторинга Ethernet 181, …, 18K ведомых вычислительных узлов 41, …, 4K,in addition, a network Ethernet monitoring switch of computing system 5 was introduced, connected via EtherNet 6 network interfaces to the master server 2 and to a group of K Ethernet monitoring network ports 18 1 , ..., 18 K slave computing nodes 4 1 , ..., 4 K ,

в состав каждого из которых 4i дополнительно введены двухпортовая интерфейсная плата 9, подключенная по внутреннему высокоскоростному последовательному интерфейсу PCI-Express 10 к компьютеру 8 ведомого вычислительного узла 4i, коммутатор мониторинга Ethernet 14 ведомых вычислительных узлов 4i, подключенный к компьютеру 8 ведомого вычислительного узла 4i по сетевому интерфейсу EtherNet 12, к сетевому порту мониторинга Ethernet 18i и группе из N сетевых портов мониторинга Ethernet 261, …, 26N, коммутатор PCI Express 11 ведомого вычислительного узла 4i, причем входной порт коммутатора PCI Express 11 соединен с интерфейсной платой 9 высокоскоростным последовательным интерфейсом PCI-Express 15, а к выходным портам подключены N портов 161, …, 16N высокоскоростного последовательного интерфейса PCI-Express группы из N реконфигурируемых вычислительных устройств 131, …, 13N,each of which 4 i includes an additional two-port interface board 9 connected via an internal high-speed serial PCI-Express interface 10 to computer 8 of the slave computing node 4 i , an Ethernet monitoring switch 14 of slave computing nodes 4 i , connected to the computer 8 of the slave computing node 4 i via the EtherNet 12 network interface, to the Ethernet monitoring port 18 i and a group of N Ethernet monitoring ports 26 1 , ..., 26 N , PCI Express 11 switch of the slave computing node 4 i , and the input port the PCI Express 11 switch is connected to the interface board 9 with a high-speed serial PCI-Express 15 interface, and N ports 16 1 , ..., 16 N high-speed serial PCI-Express interfaces of a group of N reconfigurable computing devices 13 1 , ..., 13 N are connected to the output ports ,

в состав каждого из которых 13j дополнительно введены блок управления режимом коммутатора PCI-Express 30, интерфейсная ПЛИС 22, память конфигураций ПЛИС 24 и блок конфигурирования и мониторинга 23, коммутатор PCI-Express реконфигурируемых вычислительных устройств 19, причем интерфейсная ПЛИС 22 соединена с блоком управления режимом коммутатора PCI-Express 30, памятью конфигураций ПЛИС 24, блоком конфигурирования и мониторинга 23, коммутатор PCI-Express реконфигурируемых вычислительных устройств 19 подключен к блоку управления режимом коммутатора PCI-Express 30, к высокоскоростному входному порту 16j, к выходному порту 28j последовательного интерфейса PCI-Express реконфигурируемых вычислительных устройств 13j, по высокоскоростному последовательному интерфейсу PCI-Express 17 к интерфейсной ПЛИС 22 и по высокоскоростным последовательным интерфейсам PCI-Express 211, …, 21M к группе из M вычислительных ПЛИС 201, …, 20M, которые подключены общей шиной конфигурирования и мониторинга 25 к блоку конфигурирования и мониторинга 23 и последовательно объединены между собой и интерфейсной ПЛИС 22 кольцевым высокоскоростным последовательным каналом обмена информацией 27, интерфейсная ПЛИС 22 также соединена с сетевым портом мониторинга Ethernet 26j реконфигурируемых вычислительных устройств 13j,each of which 13 j additionally includes a PCI-Express 30 switch mode control unit, an interface FPGA 22, an FPGA configuration memory 24 and a configuration and monitoring unit 23, a PCI-Express switch of reconfigurable computing devices 19, the interface FPGA 22 connected to the control unit PCI-Express 30 switch mode, FPGA configuration memory 24, configuration and monitoring unit 23, the PCI-Express switch of reconfigurable computing devices 19 is connected to the PCI-Express 30 switch mode control unit, high-speed input port 16 j , to output port 28 j of serial PCI-Express interface of reconfigurable computing devices 13 j , via high-speed serial interface PCI-Express 17 to interface FPGA 22 and high-speed serial interfaces PCI-Express 21 1 , ..., 21 M to a group of M computing FPGAs 20 1 , ..., 20 M , which are connected by a common configuration and monitoring bus 25 to the configuration and monitoring unit 23 and are sequentially interconnected and the interface FPGA 22 with a ring high-speed serial the second information exchange channel 27, the interface FPGA 22 is also connected to the network monitoring port Ethernet 26 j reconfigurable computing devices 13 j ,

причем в каждом ведомом вычислительном устройстве 4i выходные порты 281, …, 28N последовательного интерфейса PCI-Express реконфигурируемых вычислительных устройств 131, …, 13N объединены в группу 29i высокоскоростных выходных портов последовательного интерфейса PCI-Express ведомых вычислительных узлов 4i, которые используют для повышения вычислительной мощности вычислительных узлов 4.and in each slave computing device 4 i, the output ports 28 1 , ..., 28 N of the serial PCI-Express interface of reconfigurable computing devices 13 1 , ..., 13 N are combined into a group of 29i high-speed output ports of the serial PCI-Express interface of the slave computing nodes 4 i , which are used to increase the computing power of computing nodes 4.

На фиг. 1 приведена функциональная схема полезной модели реконфигурируемой вычислительной системы.In FIG. 1 is a functional diagram of a utility model of a reconfigurable computing system.

На фиг. 1 и в тексте приняты следующие сокращения:In FIG. 1 and the following abbreviations are adopted in the text:

ВУ - вычислительный узел;VU - computing node;

ИП - интерфейсная плата;IP - interface board;

КП - компьютер с шиной PCIe на материнской плате;KP - a computer with a PCIe bus on the motherboard;

ВП - вычислительная ПЛИС;VP - computing FPGA;

DS - выходной «прозрачный» порт устройства PCI-Express;DS - output transparent port of a PCI-Express device;

US - входной «прозрачный» порт устройства PCI-Express;US - input "transparent" port of the PCI-Express device;

NT - выходной «непрозрачный» порт устройства PCI-Express;NT - output “opaque” port of the PCI-Express device;

К - количество ведомых ВУ вычислительной системы;To - the number of slave WU computing system;

N - количество реконфигурируемых устройств в ведомых ВУ;N is the number of reconfigurable devices in the slave slaves;

М - количество ВП в реконфигурируемых устройствах ведомых ВУ;M - the number of VP in the reconfigurable devices of the slave;

i, j, n - счетные переменные.i, j, n are counting variables.

На фиг. 1 приняты следующие обозначения:In FIG. 1 adopted the following notation:

1 - коммутатор управления EtherNet вычислительной системы;1 - control switch EtherNet computing system;

2 - ведущий сервер вычислительной системы;2 - leading server computing system;

3 - сетевой интерфейс EtherNet между коммутатором управления EtherNet 1 и ведущим сервером 2;3 - EtherNet network interface between the EtherNet 1 management switch and master 2;

41, …, 4K - группа их K ведомых ВУ;4 1 , ..., 4 K - a group of their K slave WU;

5 - сетевой коммутатор мониторинга EtherNet вычислительной системы;5 - network switch monitoring EtherNet computing system;

6 - сетевой интерфейс EtherNet между сетевым коммутатором мониторинга EtherNet 5 и ведущим сервером 2;6 - EtherNet network interface between the EtherNet 5 network monitoring switch and master server 2;

71, …, 7K - группа из К сетевых интерфейсов EtherNet между коммутатором управления EtherNet 1 и группой из К ведомых ВУ 41, …, 4K;7 1 , ..., 7K - a group of K EtherNet network interfaces between the EtherNet 1 control switch and a group of K slave slaves 4 1 , ..., 4 K ;

8 - КП ведомых ВУ 41, …, 4K;8 - KP slave WU 4 1 , ..., 4 K ;

9 - двухпортовая интерфейсная плата ведомых ВУ 41, …, 4K;9 - two-port interface board of the slave VU 4 1 , ..., 4 K ;

10 - внутренний высокоскоростной последовательный интерфейс PCI-Express между КП ведомого ВУ 8 и ИП 9 ведомого ВУ 4;10 - internal high-speed serial interface PCI-Express between the CP slave slave 8 and IP 9 slave slave 4;

11 - коммутатор PCI-Express ведомых ВУ 41, …, 4K;11 - PCI-Express switch slave VU 4 1 , ..., 4 K ;

12 - сетевой интерфейс EtherNet между коммутатором мониторинга EtherNet 14 и КП 8 в ведомых ВУ 41, …, 4K;12 - EtherNet network interface between the EtherNet 14 monitoring switch and KP 8 in slave units 4 1 , ..., 4 K ;

131, …, 13N - группа из N реконфигурируемых вычислительных устройств в ведомых ВУ 41, …, 4K;13 1 , ..., 13 N - a group of N reconfigurable computing devices in the slave WU 4 1 , ..., 4 K ;

14 - коммутатор мониторинга EtherNet ведомых ВУ 41, …, 4K; при небольших K и N может быть совмещенным с сетевым коммутатором мониторинга EtherNet 5;14 - EtherNet monitoring switch for slave VU 4 1 , ..., 4 K ; for small K and N it can be combined with the EtherNet 5 monitoring network switch;

15 - высокоскоростной последовательный интерфейс PCI-Express между коммутатором 11 и ИП 9 в ведомых ВУ 41, …, 4K;15 - high-speed serial PCI-Express interface between switch 11 and IP 9 in slave units 4 1 , ..., 4 K ;

161, …, 16N - группа из N высокоскоростных входных портов последовательного интерфейса PCI-Express реконфигурируемых вычислительных устройств 131, …, 13N;16 1 , ..., 16 N - a group of N high-speed input ports of the serial PCI-Express interface of reconfigurable computing devices 13 1 , ..., 13 N ;

17 - высокоскоростной последовательный интерфейс PCI-Express между коммутатором PCI-Express 19 и интерфейсной ПЛИС 22 реконфигурируемых вычислительных устройств 131, …, 13N;17 - high-speed serial PCI-Express interface between the PCI-Express 19 switch and the FPGA interface 22 reconfigurable computing devices 13 1 , ..., 13 N ;

181, …, 18K - группа из K сетевых портов мониторинга Ethernet ведомых ВУ 41, …, 4K;18 1 , ..., 18 K - a group of K network Ethernet monitoring ports of slave slaves 4 1 , ..., 4 K ;

19 - коммутатор PCI-Express реконфигурируемых вычислительных устройств 131, …, 13N;19 - PCI-Express switchboard of reconfigurable computing devices 13 1 , ..., 13 N ;

201, …, 20M - группа из М вычислительных ПЛИС реконфигурируемых вычислительных устройств 131, …, 13N;20 1 , ..., 20 M - a group of M computing FPGAs of reconfigurable computing devices 13 1 , ..., 13 N ;

211, …, 21M - группа из M высокоскоростных последовательных интерфейсов PCI-Express между коммутатором PCI-Express 19 и ВП 201, …, 20M в реконфигурируемых вычислительных устройствах 131, …, 13N;21 1 , ..., 21 M is a group of M high-speed serial PCI-Express interfaces between the PCI-Express 19 switch and VI 20 1 , ..., 20 M in reconfigurable computing devices 13 1 , ..., 13 N ;

22 - интерфейсная ПЛИС реконфигурируемых вычислительных устройств 131, …, 13N;22 - interface FPGA reconfigurable computing devices 13 1 , ..., 13 N ;

23 - блок конфигурирования и мониторинга реконфигурируемых вычислительных устройств 131, …, 13N;23 is a block configuration and monitoring reconfigurable computing devices 13 1 , ..., 13 N ;

24 - память конфигураций ПЛИС реконфигурируемых вычислительных устройств 131, …, 13N;24 - memory configurations FPGA reconfigurable computing devices 13 1 , ..., 13 N ;

25 - общая шина конфигурирования и мониторинга ВП реконфигурируемых вычислительных устройств 131, …, 13N;25 - a common bus for configuring and monitoring the VP of reconfigurable computing devices 13 1 , ..., 13 N ;

261, …, 26N - группа из N сетевых портов мониторинга Ethernet реконфигурируемых вычислительных устройств 131, …, 13N;26 1 , ..., 26 N - a group of N network Ethernet monitoring ports of reconfigurable computing devices 13 1 , ..., 13 N ;

27 - кольцевой высокоскоростной последовательный канал обмена информацией между интерфейсной ПЛИС 22 и вычислительными ПЛИС 201, …, 20M в реконфигурируемых вычислительных устройствах 131, …, 13N;27 - ring high-speed serial information exchange channel between the interface FPGA 22 and computing FPGAs 20 1 , ..., 20 M in reconfigurable computing devices 13 1 , ..., 13 N ;

281, …, 28N - группа из N высокоскоростных выходных портов последовательного интерфейса PCI-Express реконфигурируемых вычислительных устройств 131, …, 13N;28 1 , ..., 28 N - a group of N high-speed output ports of the serial PCI-Express interface of reconfigurable computing devices 13 1 , ..., 13 N ;

291, …, 29K - К групп из N высокоскоростных выходных портов последовательного интерфейса PCI-Express ведомых ВУ 41, …, 4K;29 1 , ..., 29 K - K groups of N high-speed output ports of the serial PCI-Express interface of slave slaves 4 1 , ..., 4 K ;

30 - блок управления режимом коммутатора PCI-Express 19 в реконфигурируемых вычислительных устройствах 131, …, 13N.30 - control unit mode switch PCI-Express 19 in reconfigurable computing devices 13 1 , ..., 13 N.

Ведущий сервер 2 предназначен для организации управления потоками задач для ведомых ВУ 41, …, 4K через коммутатор управления EtherNet вычислительной системы 1 по сетевому интерфейсу EtherNet 3 и загрузки операционных систем в КП 8 ведомых ВУ 41, …, 4K, а также для организации мониторинга состояния технических средств вычислительной системы, в который входит управление включением и выключением питания КП 8 и реконфигурируемых вычислительных устройств 131, …, 13N, сбор и анализ телеметрической информации о температурном режиме и режиме питания ведомых ВУ 41, …, 4K по сетевому интерфейсу EtherNet 6. Ведущий сервер 2 может быть составным, для независимой реализации системы управления данными и системы управления и мониторинга технических средств.The master server 2 is designed to organize task flow management for slave slaves 4 1 , ..., 4 K through the EtherNet control switch of computing system 1 via the EtherNet 3 network interface and load operating systems in KP 8 slave slaves 4 1 , ..., 4 K , and for the organization of monitoring the state of hardware of a computer system, which includes a control power on and off KP 8 and reconfigurable computing devices 13 1, ..., 13 N, collection and analysis of telemetry data about temperature and power slave mode 4 x TA 1, ..., K 4, the network interface EtherNet 6. Host server 2 may be constructed to implement the independent data management and control systems and monitoring hardware.

Ведомые ВУ 41, …, 4K предназначены для высокоскоростной обработки информации и решения трудоемких вычислительных задач. КП 8 ведомых ВУ 41, …, 4K предназначены для организации управления реконфигурируемыми вычислительными устройствами 13i,..., 13n при решении трудоемких вычислительных задач.The driven VU 4 1 , ..., 4 K are designed for high-speed information processing and solving labor-intensive computational problems. KP 8 slave WU 4 1 , ..., 4 K are designed to organize the management of reconfigurable computing devices 13i, ..., 13n when solving labor-intensive computing problems.

Двухпортовые ИП 9 ведомых ВУ 41, …, 4K предназначены для обеспечения взаимодействия с КП 8 по внутреннему высокоскоростному последовательному интерфейсу PCI-Express 10 и с коммутатором PCI-Express 11 по высокоскоростному последовательному интерфейсу PCI-Express 15.Two-port IP 9 slave VU 4 1 , ..., 4 K are designed to provide interaction with KP 8 via the internal high-speed serial interface PCI-Express 10 and with the switch PCI-Express 11 via the high-speed serial interface PCI-Express 15.

Коммутатор PCI-Express 11 предназначен для обеспечения взаимодействия КП 8 и реконфигурируемых вычислительных устройств 131, …, 13N по высокоскоростным последовательным интерфейсам PCI-Express 161, …, 16N в ведомых ВУ 41, …, 4K. При небольших значениях N коммутатор 11 может быть реализован на нескольких ИП 9 в ведомых ВУ 41, …, 4K.The PCI-Express 11 switch is designed to ensure the interaction of KP 8 and reconfigurable computing devices 13 1 , ..., 13 N via high-speed serial PCI-Express 16 1 , ..., 16 N interfaces in slave slaves 4 1 , ..., 4 K. With small values of N, the switch 11 can be implemented on several IP 9 in the slave WU 4 1 , ..., 4 K.

Сетевой коммутатор мониторинга EtherNet 5 предназначен для организации взаимодействия ведущего сервера 2 и ведомых ВУ 41, …, 4K по сетевому интерфейсу EtherNet 6.EtherNet network monitoring switch 5 is intended for the organization of interaction of the master server and the slave 2 Slave 4 1, ..., K 4, the network interface EtherNet 6.

Реконфигурируемые вычислительные устройства 131, …, 13N ведомых ВУ 41, …, 4K предназначены для непосредственного решения трудоемких задач и обработки больших информационных массивов и потоков, с использованием распараллеливания и конвейеризации вычислительных процессов.Reconfigurable computing devices 13 1 , ..., 13 N slave VU 4 1 , ..., 4 K are intended for the direct solution of labor-intensive tasks and processing large information arrays and streams using parallelization and pipelining of computing processes.

Коммутатор PCI-Express 19 реконфигурируемых вычислительных устройств 131, …, 13N предназначен для организации обмена информацией с интерфейсной ПЛИС 22 и ВП 201, …, 20M по входному порту 16 и организации взаимодействия ВП 201, …, 20M между собой по интерфейсам PCI-Express 211, …, 21M и через коммутатор 11 с КП 8 ведомых ВУ.The PCI-Express switch 19 reconfigurable computing devices 13 1 , ..., 13 N is designed to organize the exchange of information with the interface FPGA 22 and VP 20 1 , ..., 20 M at the input port 16 and the organization of interaction between VP 20 1 , ..., 20 M via PCI-Express 21 1 , ..., 21 M interfaces and through switch 11 with gearbox 8 of slave control units.

Вычислительные ПЛИС 201, …, 20M предназначены для аппаратной реализации трудоемких алгоритмов вычислительных задач и осуществляют высокопроизводительную обработку поступающих входных данных.Computing FPGAs 20 1 , ..., 20 M are designed for the hardware implementation of labor-intensive algorithms of computational problems and carry out high-performance processing of incoming input data.

Интерфейсная ПЛИС 22 предназначена для организации обмена информацией ВП 201, …, 20M по кольцевому высокоскоростному последовательному каналу 27 и входному порту PCI-Express 16 посредством ресурсов высокоскоростного последовательного интерфейса PCI-Express 17.Interface FPGA 22 is designed to organize the exchange of information VP 20 1 , ..., 20 M on the ring high-speed serial channel 27 and the input port PCI-Express 16 through the resources of the high-speed serial interface PCI-Express 17.

Блок конфигурирования и мониторинга реконфигурируемых устройств 23 предназначен для организации конфигурирования ВП 201, …, 20M по сетевому порту мониторинга Ethernet 26, интерфейсу PCI-Express 17 и из памяти конфигураций ПЛИС 24 через интерфейсной ПЛИС 22, конфигурирования интерфейсной ПЛИС 22 из памяти конфигурации 24 по включению питания, а также для контроля и управления режимом питания и температурным режимом ВП 201, …, 20M по шине конфигурирования и мониторинга 25, с использованием термодатчиков, встроенных в вычислительные ВП 201, …, 20M.The reconfigurable device 23 configuration and monitoring unit is designed to configure VP 20 1 , ..., 20 M via the Ethernet 26 monitoring port, PCI-Express interface 17 and from the FPGA 24 configuration memory via the FPGA 22 interface, and configure the FPGA 22 interface from the configuration memory 24 to turn on the power, as well as to monitor and control the power and temperature conditions of the air conditioner 20 1 , ..., 20 M via the configuration and monitoring bus 25, using temperature sensors built into the computing air conditioner 20 1 , ..., 20 M.

Память конфигураций ПЛИС 24 предназначена для хранения конфигурации для интерфейсной ПЛИС 22 и стартовой конфигурации для ВП 201, …, 20M.Configuration FPGA 24 memory is intended for storing configuration for interface FPGA 22 and start configuration for VP 20 1 , ..., 20 M.

Коммутатор EtherNet 14 предназначен для организации взаимодействия реконфигурируемых вычислительных устройств 13i, …, 13N по сетевому порту мониторинга Ethernet 26 и управления питанием КП 8 ведомых ВУ 41, …, 4K по сетевому интерфейсу EtherNet 12.The EtherNet 14 switch is designed to organize the interaction of reconfigurable computing devices 13 i , ..., 13 N via the Ethernet 26 monitoring port and power supply control of the 8 CP slaves 4 1 , ..., 4 K via the EtherNet 12 network interface.

Блок управления режимом коммутатора PCI-Express 30 предназначен для управления режимом работы входных 16 и выходных 28 портов коммутатора PCI-Express 19.The PCI-Express 30 switch mode control unit is designed to control the operating mode of input 16 and output 28 ports of the PCI-Express 19 switch.

Предлагаемая реконфигурируемая вычислительная система работает следующим образом.The proposed reconfigurable computer system operates as follows.

Ведущий сервер 2 совместно с коммутаторами EtherNet 1, 5 и 14 включаются первыми. После первичной загрузки ОС ведущий сервер 2 сначала осуществляет включение реконфигурируемых вычислительных устройств 131, …, 13N в ведомых ВУ 41, …, 4K. После загрузки интерфейсной ПЛИС 22 и вычислительных ПЛИС 201, …, 20M из памяти конфигурации ПЛИС 24, настройки порогов срабатывания температурной защиты ПЛИС и режима работы коммутатора PCI-Express 19, включаются КП 8 ведомых вычислительных модулей. После загрузки ОС КП 8, которая может осуществляться с автономных дисков или по сети EtherNet, ведущий сервер 2 запускает на них программы осуществляющие переконфигурирование вычислительных ПЛИС 201, …, 20M реконфигурируемых вычислительных устройств 131, …, 13N в ведомых ВУ 41, …, 4K, в соответствии с текущими требованиями к архитектуре вычислительной системы. Далее осуществляется проверка напряжений питания интерфейсной ПЛИС 22 и вычислительных ПЛИС 201, …, 20M, а также наличие связей всех ПЛИС с коммутаторами PCI-Express ведомых ВУ 41, …, 4K по цепям PCI Express.The master server 2, in conjunction with the EtherNet switches 1, 5, and 14, is turned on first. After the initial loading of the OS, the master server 2 first turns on reconfigurable computing devices 13 1 , ..., 13 N in the slave WU 4 1 , ..., 4 K. After loading the interface FPGA 22 and computing FPGAs 20 1 , ..., 20 M from the FPGA configuration memory 24, setting the thresholds for operating the FPGA temperature protection and the operating mode of the PCI-Express 19 switch, KP 8 slave computing modules are turned on. After loading the OS KP 8, which can be carried out from autonomous disks or via the EtherNet network, the master server 2 launches programs for them reconfiguring the FPGAs 20 1 , ..., 20 M reconfigurable computing devices 13 1 , ..., 13 N in the slave WU 4 1 , ..., 4 K , in accordance with the current requirements for the architecture of the computing system. Next, the voltage of the interface FPGA 22 and computing FPGAs 20 1 , ..., 20 M is checked, as well as the connections of all FPGAs to the PCI-Express switches of the slave VU 4 1 , ..., 4 K via PCI Express circuits.

Так как при стартовом конфигурировании вычислительных ПЛИС они инициализируются как агенты сети PCI-Express, в формате заведомо перекрывающем потребности пользователей в ресурсах (за исключением отдельных, единичных случаев), и распределяются в памяти КП 8 на этапе его загрузки, то после переконфигурирования их рабочими программами перезагрузки ОС ведомых ВУ, как правило, не требуется. Вычислительные ПЛИС 201, …, 20M инициализируются как агенты сети PCI-Express и распределяются в трех областях памяти КП 8 по одному мегабайту каждый.Since at the initial configuration of computing FPGAs, they are initialized as agents of the PCI-Express network, in a format that obviously covers the resource needs of users (except for individual, individual cases), and are allocated in the memory of KP 8 at the stage of its loading, then after reconfiguration by working programs Rebooting OS slave slaves, as a rule, is not required. Computing FPGAs 20 1 , ..., 20 M are initialized as agents of the PCI-Express network and are distributed in three memory areas of KP 8, one megabyte each.

Одна из областей (BAR2) предназначена для взаимодействия КП 8 ведомого ВУ 4 и регистров управления и состояния, в том числе и регистров управления каналом прямого доступа в память (DMA), который имеется в каждом из вычислительных ПЛИС 20 как агентов сети PCI-Express.One of the areas (BAR2) is designed for the interaction of KP 8 of the slave VU 4 and the control and status registers, including the direct memory access control channel (DMA) registers, which are available in each of the FPGAs 20 as agents of the PCI-Express network.

Другая область (BAR1) предназначена для обмена данными с процессором КП 8 ведомого ВУ 4 по внутренним интерфейсам вычислительных ПЛИС.К ним относятся интерфейсы работы через внутренние памяти ПЛИС произвольного доступа (BRAM) и последовательного доступа (FIFO), а также прямой командный интерфейс работы с аппаратными устройствами пользователей.Another area (BAR1) is intended for data exchange with the KP 8 processor of the slave VU 4 via the internal interfaces of computing FPGAs. These include the interfaces through the internal memory of the FPGA random access (BRAM) and serial access (FIFO), as well as a direct command interface for working with user hardware devices.

Третья область (BAR0) предназначена для обмена данными между агентами сети PCI-Express, находящимися в одном и том же адресном пространстве, т.е. между вычислительными ПЛИС 20 внутри одного ведомого ВУ 4. Обмен между вычислительными ПЛИС 20 поддерживается на программно-аппаратном уровне.The third area (BAR0) is intended for data exchange between PCI-Express network agents located in the same address space, i.e. between computing FPGAs 20 within the same slave VU 4. The exchange between computing FPGAs 20 is supported at the software and hardware level.

При использовании обмена данными между вычислительными ПЛИС 20 в пределах реконфигурируемых вычислительных устройств 13 ведомых ВУ 4 по кольцевому высокоскоростному последовательному каналу обмена информацией 27 и/или режиме передачи данных по интерфейсам PCI-Express можно получить объединение всех вычислительных ПЛИС 201, …, 20M в единое вычислительное поле ВУ 4.When using data exchange between computing FPGAs 20 within reconfigurable computing devices 13 of slave VU 4 via a ring high-speed serial data exchange channel 27 and / or data transfer mode via PCI-Express interfaces, one can obtain the union of all computing FPGAs 20 1 , ..., 20 M in unified computing field WU 4.

При использовании обмена данными между вычислительными ПЛИС 20 различных ВУ 4 по интерфейсам PCI-Express через выходные порты 28 коммутаторов 19 возможно получить объединение всех вычислительных ПЛИС 20 в единое вычислительное поле в пределах вычислительной системы в целом. Обмен данными между вычислительными ПЛИС 20, находящимися в различных ВУ 4, осуществляется через NT порты, фактически являющимися «непрозрачными» мостами, разделяющими адресные пространства вычислительных узлов 4, и позволяющие взаимодействовать вычислительным ПЛИС 20 через установленные адресные окна.When using data exchange between computing FPGAs of 20 different VU 4 via PCI-Express interfaces through output ports 28 of switches 19, it is possible to obtain a combination of all computing FPGAs 20 into a single computing field within the computing system as a whole. Data exchange between computing FPGAs 20 located in different VU 4 is carried out through NT ports, which are actually “opaque” bridges that divide the address spaces of computing nodes 4, and which allow computing FPGAs 20 to interact through established address windows.

С целью перераспределения ресурса вычислительных ПЛИС 20 между различными ВУ 4, на этапе настройки порогов срабатывания температурной защиты и режима работы коммутатора PCI-Express 19, настройкой входного порта (NT или US) коммутатора 19 и выходного порта (NT или US) осуществляется подключение вычислительных ПЛИС 20 к КП 8 ВУ 4 со стороны порта US, тогда как со стороны порта NT осуществляется разделение адресных пространств ВУ 4. Данное свойство полезной модели является отличительным и позволяет оптимизировать реконфигурируемую вычислительную систему в зависимости от характера выполняемых задач, не прибегая к механической коммутации связей PCI-Express различных вычислительных узлов.In order to redistribute the resource of computing FPGAs 20 between different WUs 4, at the stage of setting thresholds for temperature protection and the operating mode of the PCI-Express 19 switch, setting the input port (NT or US) of switch 19 and the output port (NT or US), the connection of computing FPGAs 20 to KP 8 VU 4 from the US port, while from the NT port the address spaces of VU 4 are separated. This property of the utility model is distinctive and allows optimizing the reconfigurable computing system in depending on the nature of the tasks performed, without resorting to mechanical switching of PCI-Express connections of various computing nodes.

Система мониторинга состояния технических средств позволяет не только осуществлять непрерывный контроль состояния основных характеристик вычислительной системы (напряжение питания и текущая температура вычислительных ПЛИС 20), а также своевременно отключать перегревающиеся вычислительные ПЛИС 20 от питания с целью уменьшения риска их безвозвратного выхода из строя.The monitoring system of the state of technical means allows not only continuous monitoring of the state of the main characteristics of the computing system (supply voltage and current temperature of computing FPGAs 20), but also timely disconnecting of overheating computing FPGAs 20 from power supply in order to reduce the risk of their irreparable failure.

Полезная модель реконфигурируемой вычислительной системы обеспечивает многопользовательский и многозадачный режим работы с минимальной единицей пользования один вычислительный ПЛИС 20, так как все они имеют независимые интерфейсы с ПК 8 и могут конфигурироваться различными задачами. Распределение ресурсов реконфигурируемой вычислительной системы между задачами пользователей, осуществляется в зависимости от потребностей и наличия свободных вычислительных ПЛИС 20.A useful model of a reconfigurable computing system provides a multi-user and multi-tasking mode of operation with a minimum unit of use of one computing FPGA 20, since they all have independent interfaces with PC 8 and can be configured for various tasks. The distribution of resources of a reconfigurable computing system between user tasks is carried out depending on the needs and availability of free computing FPGAs 20.

Предлагаемая реконфигурируемая вычислительная система может быть реализована на следующих элементах:The proposed reconfigurable computing system can be implemented on the following elements:

Ведущий сервер 2 может быть выполнен на базе Процессора 2xIntel(R) Xeon(R) CPU Е5-2665 8 cores, с оперативной памятью 32 Gb, жесткий диск 1 Tb и коммутаторы 1 и 5 как GigabitEthernet.The leading server 2 can be executed on the basis of the 2xIntel (R) Xeon (R) CPU E5-2665 8 cores, with 32 Gb RAM, 1 Tb hard disk and switches 1 and 5 as GigabitEthernet.

Ведомые ВУ 4: Процессор 2xIntel(R) Xeon(R) CPU Е5-2665 8 cores; Оперативная память 32 Gb; Жесткий диск 1 Tb; 8 реконфигурируемых вычислительных устройств 13, по 8 вычислительных ПЛИС 20 в каждом; Интерфейсная плата 9 ведомого ВУ - АВЕ-2010 на базе микросхемы коммутатора РЕХ8619 фирмы PLX Technology; Коммутатор 14 GigabitEthernet.Slave WU 4: Processor 2xIntel (R) Xeon (R) CPU E5-2665 8 cores; RAM 32 Gb; Hard disk 1 Tb; 8 reconfigurable computing devices 13, 8 computing FPGAs 20 each; Interface board 9 of the slave VU - ABE-2010 based on the PEX8619 switch chip from PLX Technology; Switch 14 GigabitEthernet.

Реконфигурируемые вычислительные устройства 13: вычислительные ПЛИС 20 - на микросхемах фирмы Xilinx типа XC7K480T-1FFG1156C; Интерфейсная ПЛИС 22 - на микросхеме фирмы Xilinx типа XC6VLX75T-1FFG784C; Коммутатор PCI-Express 18 - на микросхеме коммутатора РЕХ8648 фирмы PLX Technology; Блок конфигурирования и мониторинга 23 - на микросхемах CPLD ХС2С64А, МАХ6656; Память стартовых конфигураций 24 - на микросхемах SPI-памяти М25Р64 и Flash-памяти S29GL512P.Reconfigurable computing devices 13: computing FPGAs 20 — on Xilinx chips of the XC7K480T-1FFG1156C type; Interface FPGA 22 - on a Xilinx chip of type XC6VLX75T-1FFG784C; PCI-Express 18 switch - on the PX8648 switch chip from PLX Technology; The configuration and monitoring unit 23 — on the CPLD XC2C64A, MAX6656 microcircuits; The memory of the starting configurations 24 is on microchips SPI-memory М25Р64 and Flash-memory S29GL512P.

Программные средства: Операционная система Linux, с ядром не ниже 2.6.32; Компиляторы С; Комплект ПО состоящий из:Software: Linux operating system, with a kernel no lower than 2.6.32; Compilers C; Software package consisting of:

1. Набор PCI утилит из состава стандартного дистрибутива RedHat Linux, а именно:1. A set of PCI utilities from the standard RedHat Linux distribution, namely:

a. lspci - печатает в стандартный вывод детальную информацию о всех PCI шинах и устройствах на них.a. lspci - prints to standard output detailed information about all PCI buses and devices on them.

b. setpci - позволяет читать и записывать данные в конфигурационное адресное пространство PCI.b. setpci - allows you to read and write data to the PCI configuration address space.

2. Набор скриптов, использующих утилиты lspci и setpci и позволяющих осуществлять пословный обмен данными с ПЛИС посредством записи/чтения по адресам конфигурационного адресного пространства.2. A set of scripts that use the lspci and setpci utilities and allow for word-by-word data exchange with FPGAs by writing / reading to the addresses of the configuration address space.

3. Набор скриптов на базе утилит lspci и setpci, осуществляющих конфигурирование DMA-механизма ПЛИС.3. A set of scripts based on the lspci and setpci utilities that configure the DMA FPGA mechanism.

4. Набор программ, позволяющих осуществлять запись и чтение DMA-области памяти, которая выделяется при загрузке ядра Linux на узле путем задания ключа командной строки загрузки ядра memmap.4. A set of programs that allow you to write and read the DMA-memory area, which is allocated when loading the Linux kernel on the host by setting the command line switch boot kernel memmap.

5. Для взаимодействия с узлом по сети EtherNet использовались две служебные команды Linux:5. To communicate with the node over the EtherNet network, two Linux service commands were used:

a. arp -s 192.168.85.212 00-аа-00-62-с6-09, где аргументами являются сетевой и MAC адреса реконфигурируемых вычислительных устройств ведомых ВУ и ВМС контроллеров КП 8, и служит для связи сетевого адреса и физического MAC адреса устройства.a. arp -s 192.168.85.212 00-aa-00-62-s6-09, where the arguments are the network and MAC addresses of the reconfigurable computing devices of the slave I / O and Navy controllers KP 8, and serves to communicate the network address and the physical MAC address of the device.

b. ping -1 4 192.168.85.212, где аргументом является длина пакета отправляемых данных, также эта команда выводит протокол о доступности данного устройства в сети мониторинга.b. ping -1 4 192.168.85.212, where the argument is the length of the packet of sent data, this command also displays a protocol on the availability of this device in the monitoring network.

6. Набор программ мониторинга позволяет управлять питанием реконфигурируемых вычислительных устройств ведомых ВУ и ВМС контроллеров КП 8, а также установки порогов срабатывания температурной защиты и съема текущего состояния температуры ВП.6. A set of monitoring programs allows you to control the power of reconfigurable computing devices of the slave I / O and Navy controllers KP 8, as well as setting thresholds for temperature protection and removal of the current state of the air temperature.

Таким образом, вышеизложенные сведения позволяют сделать вывод, что предлагаемая реконфигурируемая вычислительная система решает поставленную задачу и соответствует заявляемому техническому результату - создание высокопроизводительной вычислительной системы с перестраиваемой архитектурой на вычислительных ПЛИС, за счет возможности объединения вычислительных ПЛИС в различные вычислительные структуры, наращивания вычислительной мощности реконфигурируемой части на ПЛИС путем простого подключения дополнительных ПЛИС аналогичных вычислительных модулей, перераспределения вычислительной мощности реконфигурируемой части на ПЛИС вычислительных узлов, в соответствии с характером выполняемых задач, и увеличения скорости обмена данными между вычислительными ПЛИС и управляющим процессором за счет применения высокоскоростного интерфейса PCI-Express, а также обеспечения высокой надежности работы вычислительной системы, за счет использования системы мониторинга состояния технических средств.Thus, the above information allows us to conclude that the proposed reconfigurable computing system solves the problem and meets the claimed technical result - the creation of a high-performance computing system with a tunable architecture on computing FPGAs, due to the possibility of combining computing FPGAs into various computing structures, increasing the computing power of the reconfigurable part on FPGAs by simply connecting additional FPGAs similar computing modules, redistributing the computing power of the reconfigurable part on the FPGA of the computing nodes, in accordance with the nature of the tasks performed, and increasing the data exchange rate between the computing FPGAs and the control processor by using the high-speed PCI-Express interface, as well as ensuring high reliability of the computing system, for through the use of a system for monitoring the state of technical equipment.

Claims (1)

Реконфигурируемая вычислительная система, содержащая ведущий сервер 2, связанный через коммутатор 1 управления EtherNet вычислительной системы по сетевому интерфейсу 3 и сетевым интерфейсам EtherNet 71, ..., 7K с группой из К ведомых вычислительных узлов 41, ..., 4К, каждый из которых содержит группу из N реконфигурируемых вычислительных устройств 131, ..., 13N, содержащие группу из M вычислительных ПЛИС 201, ..., 20M каждый, и компьютеры 8 с шиной PCIe на материнской плате, отличающаяся тем, что в нее дополнительно введены сетевой коммутатор мониторинга Ethernet вычислительной системы 5, подключенный по сетевым интерфейсам EtherNet 6 к ведущему серверу 2 и к группе из К сетевых портов мониторинга Ethernet 181, ..., 18K ведомых вычислительных узлов 41, ..., 4K, в состав каждого из которых 4i дополнительно введены двухпортовая интерфейсная плата 9, подключенная по внутреннему высокоскоростному последовательному интерфейсу PCI-Express 10 к компьютеру 8 ведомого вычислительного узла 4i, коммутатор мониторинга Ethernet 14 ведомых вычислительных узлов 4i, подключенный к компьютеру 8 ведомого вычислительного узла 4i по сетевому интерфейсу EtherNet 12, к сетевому порту мониторинга Ethernet 18i и группе из N сетевых портов мониторинга Ethernet 261, ..., 26N, коммутатор PCI Express 11 ведомого вычислительного узла 4i, причем входной порт коммутатора PCI Express 11 соединен с интерфейсной платой 9 высокоскоростным последовательным интерфейсом PCI-Express 15, а к выходным портам подключены N портов 161, ..., 16N высокоскоростного последовательного интерфейса PCI-Express группы из N реконфигурируемых вычислительных устройств 131, ..., 13N, в состав каждого из которых 13j дополнительно введены блок управления режимом коммутатора PCI-Express 30, интерфейсная ПЛИС 22, память конфигураций ПЛИС 24 и блок конфигурирования и мониторинга 23, коммутатор PCI-Express реконфигурируемых вычислительных устройств 19, причем интерфейсная ПЛИС 22 соединена с блоком управления режимом коммутатора PCI-Express 30, памятью конфигураций ПЛИС 24, блоком конфигурирования и мониторинга 23, коммутатор PCI-Express реконфигурируемых вычислительных устройств 19 подключен к блоку управления режимом коммутатора PCI-Express 30, к высокоскоростному входному порту 16j, к выходному порту 28j последовательного интерфейса PCI-Express реконфигурируемых вычислительных устройств 13j, по высокоскоростному последовательному интерфейсу PCI-Express 17 к интерфейсной ПЛИС 22 и по высокоскоростным последовательным интерфейсам PCI-Express 211, ..., 21M к группе из M вычислительных ПЛИС 201, …, 20M, которые подключены общей шиной конфигурирования и мониторинга 25 к блоку конфигурирования и мониторинга 23 и последовательно объединены между собой и интерфейсной ПЛИС 22 кольцевым высокоскоростным последовательным каналом обмена информацией 27, интерфейсная ПЛИС 22 также соединена с сетевым портом мониторинга Ethernet 26j реконфигурируемых вычислительных устройств 13j, причем в каждом ведомом вычислительном устройстве 4i выходные порты 281, ..., 28N последовательного интерфейса PCI-Express реконфигурируемых вычислительных устройств 131, ..., 13N объединены в группу 29i высокоскоростных выходных портов последовательного интерфейса PCI-Express ведомых вычислительных узлов 4i, которые используют для повышения вычислительной мощности вычислительных узлов 4.
Figure 00000001
A reconfigurable computing system comprising a master server 2 connected through an EtherNet control switch 1 of a computing system via a network interface 3 and EtherNet network interfaces 7 1 , ..., 7 K with a group of K slave computing nodes 4 1 , ..., 4 K , each of which contains a group of N reconfigurable computing devices 13 1 , ..., 13 N , containing a group of M computing FPGAs 20 1 , ..., 20 M each, and computers 8 with a PCIe bus on the motherboard, characterized in that the Ethernet monitoring network switch is additionally introduced into it you islitelnoy system 5 that is connected via network interfaces EtherNet 6 to the master server 2 and the group of K Ethernet network monitoring ports 18 1, ..., 18 K slave computational units 4 1, ..., K 4, a part of each of which 4 i additionally introduced a two-port interface card 9 connected via an internal high-speed serial PCI-Express interface 10 to computer 8 of the slave computing node 4 i , an Ethernet monitoring switch 14 of the slave computing nodes 4 i , connected to computer 8 of the slave computing node 4 i via the network int EtherNet 12 interface, to the Ethernet monitoring port 18 i and a group of N Ethernet monitoring ports 26 1 , ..., 26 N , PCI Express 11 switch of the 4 i slave, and the input port of the PCI Express 11 switch is connected to the interface board 9 high-speed serial PCI-Express interface 15, and N ports 16 1 , ..., 16 N high-speed serial PCI-Express interface of a group of N reconfigurable computing devices 13 1 , ..., 13 N , each of which 13 j the com mode control unit is additionally introduced PCI-Express 30 mutator, interface FPGA 22, FPGA configuration memory 24 and configuration and monitoring unit 23, PCI-Express switch of reconfigurable computing devices 19, the interface FPGA 22 connected to the PCI-Express 30 switch mode control unit, FPGA configuration memory 24, the configuration and monitoring unit 23, the PCI-Express switch of the reconfigurable computing devices 19 is connected to the control unit of the PCI-Express 30 switch mode, to the high-speed input port 16 j , to the output port 28 j of the serial interface P CI-Express reconfigurable computing devices 13 j , via high-speed serial interface PCI-Express 17 to interface FPGA 22 and high-speed serial interfaces PCI-Express 21 1 , ..., 21 M to a group of M computing FPGAs 20 1 , ..., 20 M , which are connected by a common configuration and monitoring bus 25 to the configuration and monitoring unit 23 and are sequentially interconnected and the interface FPGA 22 by a ring high-speed serial information exchange channel 27, the interface FPGA 22 is also connected to the network via via Ethernet monitoring port 26 j reconfigurable computing devices 13 j , and in each slave computing device 4 i, the output ports 28 1 , ..., 28 N of the serial PCI-Express interface of reconfigurable computing devices 13 1 , ..., 13 N are grouped 29 i high-speed output ports of the PCI-Express serial interface of slave computing nodes 4 i , which are used to increase the computing power of computing nodes 4.
Figure 00000001
RU2015113226/08U 2015-04-10 2015-04-10 RECONFIGURABLE COMPUTER SYSTEM RU156778U1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2015113226/08U RU156778U1 (en) 2015-04-10 2015-04-10 RECONFIGURABLE COMPUTER SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2015113226/08U RU156778U1 (en) 2015-04-10 2015-04-10 RECONFIGURABLE COMPUTER SYSTEM

Publications (1)

Publication Number Publication Date
RU156778U1 true RU156778U1 (en) 2015-11-20

Family

ID=54598478

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015113226/08U RU156778U1 (en) 2015-04-10 2015-04-10 RECONFIGURABLE COMPUTER SYSTEM

Country Status (1)

Country Link
RU (1) RU156778U1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU174347U1 (en) * 2017-05-18 2017-10-11 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" COMPUTER MODULE
RU182316U1 (en) * 2018-06-14 2018-08-14 Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ Problem-oriented computing device
RU2677363C1 (en) * 2017-07-24 2019-01-16 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Reconfigurable computing system
RU2699254C1 (en) * 2018-10-30 2019-09-04 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Reconfigurable computer system with a multilevel monitoring and control subsystem
RU2713757C1 (en) * 2019-04-29 2020-02-07 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Reconfigurable computing system
RU2720556C1 (en) * 2019-12-06 2020-05-12 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Autonomous computing module
RU2748454C1 (en) * 2020-10-02 2021-05-25 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Reconfigurable computing system with multi-level monitoring subsystem and automatic control
RU2780169C1 (en) * 2021-11-29 2022-09-20 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Computing module for multitasking computing systems

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU174347U1 (en) * 2017-05-18 2017-10-11 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" COMPUTER MODULE
RU2677363C1 (en) * 2017-07-24 2019-01-16 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Reconfigurable computing system
RU182316U1 (en) * 2018-06-14 2018-08-14 Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ Problem-oriented computing device
RU2699254C1 (en) * 2018-10-30 2019-09-04 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Reconfigurable computer system with a multilevel monitoring and control subsystem
RU2713757C1 (en) * 2019-04-29 2020-02-07 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Reconfigurable computing system
RU2720556C1 (en) * 2019-12-06 2020-05-12 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Autonomous computing module
RU2748454C1 (en) * 2020-10-02 2021-05-25 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Reconfigurable computing system with multi-level monitoring subsystem and automatic control
RU2780169C1 (en) * 2021-11-29 2022-09-20 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Квант" Computing module for multitasking computing systems

Similar Documents

Publication Publication Date Title
RU156778U1 (en) RECONFIGURABLE COMPUTER SYSTEM
US10095645B2 (en) Presenting multiple endpoints from an enhanced PCI express endpoint device
KR102155656B1 (en) A device operating in multi-mode and a system comprising the device
JP7105710B2 (en) Systems and methods for supporting multi-mode and/or multi-speed NVMe-oF devices
US9792240B2 (en) Method for dynamic configuration of a PCIE slot device for single or multi root ability
US10210120B2 (en) Method, apparatus and system to implement secondary bus functionality via a reconfigurable virtual switch
US8756360B1 (en) PCI-E compatible chassis having multi-host capability
RU168565U1 (en) RECONFIGURABLE COMPUTER MODULE
US11775464B2 (en) Computer system and a computer device
WO2016107023A1 (en) Cloud server system
US8972611B2 (en) Multi-server consolidated input/output (IO) device
US10528509B2 (en) Expansion bus devices comprising retimer switches
Weerasinghe et al. Disaggregated FPGAs: Network performance comparison against bare-metal servers, virtual machines and linux containers
RU150420U1 (en) MULTIFUNCTIONAL COMPUTER MODULE
US11138146B2 (en) Hyperscale architecture
US9361043B2 (en) Information processing and control system for inter processing apparatus control of storage devices
RU2677363C1 (en) Reconfigurable computing system
RU2686004C1 (en) Computing module
RU174347U1 (en) COMPUTER MODULE
US11256648B1 (en) Virtual hot plug system and method for PCIe devices
RU2713757C1 (en) Reconfigurable computing system
RU2461055C1 (en) Cluster system with direct channel switching
CN107710688B (en) Separated array computer
RU162375U1 (en) COMPUTER MODULE
RU182316U1 (en) Problem-oriented computing device