RU2635896C1 - Высокопроизводительная вычислительная платформа на базе процессоров с разнородной архитектурой - Google Patents

Высокопроизводительная вычислительная платформа на базе процессоров с разнородной архитектурой Download PDF

Info

Publication number
RU2635896C1
RU2635896C1 RU2016127271A RU2016127271A RU2635896C1 RU 2635896 C1 RU2635896 C1 RU 2635896C1 RU 2016127271 A RU2016127271 A RU 2016127271A RU 2016127271 A RU2016127271 A RU 2016127271A RU 2635896 C1 RU2635896 C1 RU 2635896C1
Authority
RU
Russia
Prior art keywords
computing
processors
modules
casing
module
Prior art date
Application number
RU2016127271A
Other languages
English (en)
Inventor
Василий Николаевич Лобанов
Марк Игоревич Чельдиев
Original Assignee
Акционерное общество "Научно-исследовательский институт вычислительных комплексов им. М.А. Карцева" (АО "НИИВК им. М.А. Карцева")
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Акционерное общество "Научно-исследовательский институт вычислительных комплексов им. М.А. Карцева" (АО "НИИВК им. М.А. Карцева") filed Critical Акционерное общество "Научно-исследовательский институт вычислительных комплексов им. М.А. Карцева" (АО "НИИВК им. М.А. Карцева")
Priority to RU2016127271A priority Critical patent/RU2635896C1/ru
Application granted granted Critical
Publication of RU2635896C1 publication Critical patent/RU2635896C1/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • G06F15/173Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • G06F15/173Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306Intercommunication techniques
    • G06F15/17312Routing techniques specific to parallel machines, e.g. wormhole, store and forward, shortest path problem congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/80Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors

Landscapes

  • Multi Processors (AREA)

Abstract

Изобретение относится к вычислительным комплексам и может быть использовано для параллельной обработки больших объемов информации от специальных систем в режиме реального времени. Технический результат заключается в повышении надежности системы при формировании вычислительных задач и повышении эффективности при их выполнении на центральном компьютере. Указанный результат достигается за счет применения вычислительной платформы на базе процессоров с разнородной архитектурой, содержащей установочный блок высотой 4U, предназначенный для установки в телекоммуникационную стойку и выполненный в виде корпуса, разделенного на две секции. В одной из секций смонтирована система питания, а во второй - размещена объединительная плата со слотами, для размещения в них помещаемых через указанный проем модуля коммутации и вычислительных модулей на базе разнородных процессоров, объединенными через высокоскоростную шину стандарта CompactPCI Serial для образования многопроцессорной конфигурации. Система охлаждения корпуса в зоне каждого слота содержит теплосъемные кассеты для отвода тепла от модуля коммутации и вычислительных модулей на корпус установочного блока, который выполнен с дополнительным корпусом или кожухом, охватывающим разделенный на две секции корпус. 7 з.п. ф-лы, 5 ил.

Description

Изобретение относится к вычислительным комплексам и может быть использовано для параллельной обработки больших объемов информации от специальных систем в режиме реального времени. Изобретение может быть применено в различных областях техники, где требуется обеспечить высокую вычислительную производительность, используя возможности одновременного задействования модулей с разной архитектурой для решения общей прикладной задачи.
Известен патент US 9037833, G06F 15/80, G06F 9/50, опубл. 19.05.2015 г. (ЕР 1814029, US 20050235092), в котором высокопроизводительная вычислительная система имеет множество объединенных узлов для выполнения общей задачи. Узел состоит из системной платы, включающей, по крайней мере, два процессора для выполнения высокопроизводительных вычислений и интегрированный коммутатор, имеющий восемь и больше портов, и предназначенный для связи узлов вычислительной системы между собой. Процессоры попарно соединены между собой посредством интерфейса Hyper Transport. Каждый из процессоров на системной плате через HYPERTRANSPORT™/PCI-MOCT соединен с НСА-адаптером (Host Channel Adapter), который, в свою очередь, связан с коммутатором. Интерфейс HYPERTRANSPORT™ может иметь пропускную способность 6.4 Гбайт/с, 12.8 Гбайт/с или больше в зависимости от того, какая используется шина PCI (PCI или PCI-X). HYPERTRANSPORT™ с PCI-Express и НСА может создать полнодуплексный канал ввода/вывода для каждого процессора, работающий со скоростью 2 Гбайт/с.
В системе могут использоваться узлы с различным конструктивным исполнением, которые могут включать интерфейс InfiniBand, а также нестандартные интерфейсы, реализуемые через дополнительно устанавливаемую дочернюю плату с FPGA (Field Programmable Gate Array) модулями.
Узлы высокопроизводительной системы связаны между собой в сеть по одной из следующих топологий: 3D-Тор, гиперкуб, ячеистая (mesh) топология. Для управления работой вычислительной системы в кластере один узел является управляющим, в его задачи входит мониторинг состояния системы (обнаружение неисправных узлов), планирование задач между узлами кластера, управление правами доступа пользователей. Между управляющим узлом и вычислительными узлами системы может использоваться коммуникационная сеть Gigabit Ethernet или 10 Gigabit Ethernet.
Известен патент США №8433816, G06F 15/16, G06F 15/173, G06F 9/02, опубл. 30.04.2013 г., в котором описана сетевая топология для масштабирования многопроцессорных систем, позволяющая объединять локальные процессорные узлы в сеть с минимальными нарушениями первоначальной организации вычислительной системы.
Топология позволяет объединять в сеть локальные процессорные узлы, где каждый локальный узел включает, по меньшей мере, один процессор и память. В основе представленной топологии масштабирования вычислительных систем лежит принцип использования маршрутизаторов первого уровня, объединяющих локальные узлы в небольшие кластеры и использование метамаршрутизаторов для объединения кластеров в сеть. Комплект маршрутизаторов первого уровня в масштабируемой коммуникационной сети передает данные между множеством локальных процессорных узлов, образуя своего рода локальный кластер. Метамаршрутизаторы, согласно данной топологии, позволяют в масштабируемой коммуникационной сети обмениваться данными между комплектом маршрутизаторов первого уровня, так что каждый из маршрутизаторов в первом кластере соединен со всеми другими кластерами через один или более метамаршрутизаторов.
Для каждого кластера в масштабируемой многопроцессорной системе может применяться топология 2D-гиперкуб или 3D-гиперкуб. Каждый метамаршрутизатор системы имеет 4 или 8 портов для подключения маршрутизаторов. В рассмотренных в патенте конструктивных исполнениях сети локальные процессорные узлы включают 4 процессора. Представленная в патенте топология позволяет создавать масштабируемые вычислительные сети, включающие до 512 процессоров.
Известен патент США №6230252, G06F 13/00, опубл. 08.05.2001 г., в котором заявлена гибридная архитектура гиперкуб/тор, позволяющая объединять локальные процессорные узлы в многопроцессорные системы. Масштабируемые многопроцессорные системы, построенные по гибридной топологии гиперкуб/тор, состоят из локальных процессорных узлов, объединенных физическими каналами связи через маршрутизаторы (роутеры) в n-мерную топологию. Каждый локальный процессорный узел включает в себя два или четыре процессора. Общее количество процессоров в многопроцессорной системе может варьироваться от 128 до 2048.
Маршрутизаторы в системе используются для передачи сообщений между локальными процессорными узлами по каналам связи. Маршрутизаторы способны передавать сообщения в суперкуб-топологиях, где размерность суперкуба может достигать 6 измерений, и, в дальнейшем, способны передавать сообщения в топологии n-мерный тор, одна из размерностей которого имеет основание больше 4, как, например, в топологии тор размерности 4×8×4. Каждый маршрутизатор имеет не менее 8 портов. К двум портам подсоединены локальные процессорные узлы, к шести портам подсоединены физические каналы связи. Каждый маршрутизатор включает также таблицы поиска на каждом порту маршрутизатора для обеспечения направления порта для исходящего из ближайшего маршрутизатора в данном маршруте в систему. Таблицы поиска в каждом порту включают в себя локальную таблицу маршрутизатора, имеющую направления для маршрутизации между локальными процессорными узлами внутри локальной подсети и глобальную таблицу маршрутизатора, имеющую направления для маршрутизации между локальными процессорными узлами в двух подсетях.
Известна полезная модель РФ №90241, G06F 19/00, опубл. 27.12.2009, в которой вычислительная система предназначена для научно-технических расчетов. Эта вычислительная система относится к системам обработки данных, предназначенным для проведения научно-технических расчетов, в том числе суперкомпьютерным системам. Техническим результатом является повышение надежности системы при формировании вычислительных задач и повышение эффективности при их выполнении на центральном компьютере.
Эта вычислительная система состоит из центрального компьютера высокой производительности и компьютеров пользователей, соединенных каналами связи с центральным компьютером, причем центральный компьютер содержит блок памяти вычислительных заданий, блок памяти исходных данных, блок памяти результатов, вычислительный блок, блок передачи данных, блок приема данных, а компьютер пользователя содержит блок ввода данных, блок ввода заданий, блок памяти вычислительных заданий, блок памяти исходных данных, блок формирования вычислительных заданий, блок передачи данных, блок приема данных, блоки памяти результатов и блок отображения результатов. Центральный компьютер дополнительно снабжен блоком вычислительных функций, подключенным к выходу блока памяти вычислительных заданий и к дополнительному входу вычислительного блока, а компьютер пользователя дополнительно снабжен блоком памяти шаблонов вычислительных функций, подключенным к дополнительному входу блока формирования вычислительных заданий.
Известная система позволяет исключить некорректные вычислительные задания за счет формирования вычислительных заданий на базе шаблонов вычислительных функций как перечня связей между вычислительными функциями и свойств этих функций, причем структура и свойства шаблонов вычислительных функций идентичны структуре и свойствам вычислительных функций на центральном компьютере.
Известные системы вычислительных комплексов имеют разветвленную архитектуру, что создает неудобства при проведении комплексных работ повышенной сложности из-за удаленности вычислителей и сложности их связывания. Поскольку на рынке промышленных встраиваемых систем по-прежнему наблюдается быстрый рост, продолжает увеличиваться эффективность, надежность, производительность и качество систем, применяемых в разных приложениях и сегментах этого рынка. Растет и спрос на более современные технологии, которые учитывают новые тенденции, например технологии облачных вычислений и мобильной связи на основе сетей IP/Ethernet с более широкой полосой пропускания.
В качестве наглядного примера такой востребованности можно привести современные системы технического зрения, которые не только позволяют эффективнее организовывать процесс производства, но и осуществлять мониторинг и управление ресурсами наряду со сбором данных и их совместным использованием для проведения тщательного и эффективного анализа. Системы технического зрения применяются в автомобильной промышленности, производстве электроники, в сборочных цехах и медицине, а также в автоматизированном управлении дорожным движением. Эти системы выполняют функции по определению местоположения и распознаванию, осуществляют задачи по измерению и осмотру различных объектов.
Естественным развитием появления сложных вычислительных комплексов стала необходимость ухода от разнесенных серверов и от удаленности их расположения с целью сокращения путей и организации единого процессорного центра или единой вычислительной платформы как единого процессора или набора процессоров. Разрешение этой проблемы стало возможным с выходом на рынок нового стандарта CompactPCI. Аппаратное устройство в стандарте Compact PCI представляет собой шину с компонентами (платами), предназначенную для использования в широком диапазоне приложений, включая телекоммуникации, компьютерную телефонию, контроль в реальном масштабе времени, автоматизацию промышленности, сбор данных (в реальном времени), инструментальное производство, военные системы и т.д. Очевидный приоритет при выборе этой шины - ее использование в качестве высокоскоростного устройства передачи данных в системах с модульным построением и компоновкой, обеспечивающей высокую надежность при наличии неблагоприятных внешних воздействий самого разного плана - от электромагнитных помех до механических ударов, вибрации и влияния агрессивной среды. По сути, стандарт - это и есть технология обеспечения совместимости модулей разных производителей для создания целостной системы. Очень часто успех того или иного нового технического решения основан на поддержке наследственных технологий. Яркий пример - успех х86-архитектуры процессоров, поддерживающей работу написанного ранее программного кода. В семействе CompactPCI новая спецификация CompactPCI Serial предоставляет разработчикам систем широкие возможности по интегрированию наследственных модулей PICMG 2.0, 2.30 и 2.16 в рамках одной системы. Периферийные или прикладные модули CompactPCI 2.30 (PICMG 2.30) используют одинаковые разъемы и полностью совместимы с CompactPCI Serial. Системные контроллеры и периферийные модули 3U можно применять в системах 6U. Спецификация CompactPCI Serial позволяет создавать гибридные системы - такие, в которых периферия базируется как на последовательных интерконнектах, так и на наследственных шинах PCI 32-го или 64-го разряда.
В аппаратном исполнении вычислительная платформа представляет собой установочный блок (крейт, шасси) высотой 4U для установки в стандартную 19-дюймовую телекоммуникационную стойку, как правило, разделенный на две секции. В первой секции расположена система питания, а вторая секция представляет собой бокс с параллельно смонтированными на объединительной плате слотами, объединенными через высокоскоростную шину стандарта CompactPCI Serial. Как правило, первый слот используется для установки модуля коммуникации, а остальные слоты - для размещения съемных процессорных модулей. Для возможности установки модулей по типу кассет в бокс крейта каждый модуль выполнен в виде стандартизированной по размерам и группам контактов платы, на которой монтируется конкретная процессорная система.
С помощью платформы CompactPCI Serial можно, например, создавать системы сначала с одной процессорной платой, а затем параллельно ей устанавливать несколько других, чтобы реализовать новые гибкие и более мощные конфигурации. Эти преимущества полностью реализуются с помощью контактной группы разъема, который позволяет передавать данные с большей плотностью сигнала и поддерживает более высокие частоты передачи в системах с новейшими интерфейсами двухточечной связи, такими как PCI Express, SATA, Ethernet и USB. Эта спецификация позволяет вместо 2-мм соединителя типа Hard-Metric применять соединители с большей плотностью контактов, обеспечивающих передачу сигналов с частотой 12 Гбит/с, а также необходимую экранировку и управление импедансом. В одном новом соединителе имеется от 72 до 96 выводов, а одна плата в формате 3U поддерживает до шести соединителей с общим числом выводов, равным 600 или 184 дифференциальных пар, при реализации разных каналов связи на объединительной плате (US 6166902, US 6185110). ("Крейты", http://www.rtsoft.ru/catalog/int/compactpci/krate/detail/382/).
Говоря о вычислительных устройствах, созданных на базе шины стандарта CompactPCI Serial, можно отметить, что среди них превалируют одноплатные модули на базе самых известных процессоров, включая семейство Intel Pentium с самыми высокими частотами. Компания Motorola (http://www.motorola.com), например, выпускает ряд модулей cPCI, в которых используются процессоры 7410 и Pentium III, предлагая, в частности, такие области их применения, как телекоммуникации, автоматизация промышленности, обработка изображений в медицине.
В настоящее время считается, что наиболее очевидной и неоспоримой областью применения технологии стандарта CompactPCI Serial с самого начала была цифровая телефонная связь, по природе своей имеющая коммутационную структуру и использующая современные методы передачи информации по разнородным каналам. Но если уж говорить о роли шины как самостоятельной магистрали передачи данных на том уровне, где уже не имеет значения, какой источник или приемник скрывается за стандартным интерфейсом и протоколом, то знаменитый простой критерий - произведение количества разрядов на тактовую частоту, рассматриваемый в контексте конструктивного исполнения, доведен в случае применения стандарта CompactPCI Serial до максимально возможного значения.
Из уровня техники известна высокопроизводительная вычислительная система, разработанная компанией Kontron на базе высокоскоростных интерфейсов CompactPCI (ст. "Kontron внедряет поддержку стандартов CPCI-S.0 и CompactPCI Serial Mesh", выложенная 03.04.2013 г. на сайте "DATASHEET.SU" (электротехнический портал) в сети Интернет в режиме он-лайн доступа по адресу: http://datasheet.su/news/2078:2013-04-04).
Разработка компании Kontron на базе шины стандартов CompactPCI Serial (CPCI-S.0) реализована для форм-факторов с размером 3U и поддержкой интерфейсов PCIe, GbE, USB и SATA, CompactPCI Serial Mesh (на базе PICMG 2.20) для форм-факторов с размером 6U и 10-гигабитным (10 GbE) интерфейсом.
Новая архитектура платформы на базе шины CompactPCI обеспечивает прирост производительности для высокопроизводительных схем с огромными пропускными способностями. Под высокопроизводительными схемами понимаются системы, где используется 3U-модули с системной шиной CompactPCI: от многопроцессорных систем для вычислений и сложной обработки изображения до высокопроизводительных систем записи видео и данных радаров посредством гибких SATA/RAID-архитектур, от беспроводного телекоммуникационного оборудования с большой пропускной способностью и параллельно-работающими радиомодулями WLAN, UMTS, LTE до мощных многомониторных систем в комнатах управления.
Kontron представляет пять 3U- и одну 6U-плату, а также все соответствующие платформы. Для 3U-платы с шиной CompactPCI Kontron запустил процессорную плату CPS3003-SA с процессорами 3-го поколения Intel Core i7, жестким диском CPS3101, внешним микроконтроллером ХМС CPS3105, а также сетевыми картами CPS3402 с двумя интерфейсами 10GbE и CPS3410 с четырьмя интерфейсами 1GbE. Новые продукты для 6U систем с шиной CompactPCI Serial Mesh: процессорная плата CP6004X-SA с процессором Intel Core i7 3-го поколения и шасси CP-RAPID3 с полноценным интерфейсом 10GbE и PCIe.
О разработке продукции на базе спецификаций CompactPCI 2.30 и CompactPCI Serial объявили многие компании. По состоянию на начало 2012 года это Schroff и Elma (кросс-платы и шасси), MEN Micro, FASTWEL, ADLINK (системные контроллеры и периферийные модули).
В настоящее время особое внимание направлено на создание отечественных образцов вычислительной техники, не уступающих по характеристикам зарубежным аналогам. При этом фундаментальными требованиями к аппаратным и программным средствам в таких случаях являются применение изделий отечественного производства, отвечающих тенденциям развития мировой электронной компонентной базы, обеспечение повышенной надежности при приемлемых затратах. Однако современное состояние отечественной радиоэлектронной отрасли позволяет говорить о том, что вычислительная компонентная база по ряду параметров (производительность, стоимость, выход годных изделий) все еще уступает своим зарубежным аналогам, а по ряду позиций аналоги вовсе отсутствуют. В связи с этим разработчикам вычислительной техники в борьбе за конкурентоспособность создаваемых образцов приходится использовать импортные компоненты.
Так, компания "ДОЛОМАНТ" разработала на базе шины стандарт CompactPCI Serial высокопроизводительную гетерогенную вычислительную платформу «ГРИФОН», предназначенную для решения задач обработки сигналов, потокового видео, трафика сетей связи, СУБД РВ и иных приложений с высокими требованиями к вычислительной мощности и большими объемами анализируемой информации с возможностью организации параллельно-конвейерных вычислений в реальном времени. Позволяет создавать высокопроизводительные БИУС, в т.ч. многоканальные системы обработки видео на подвижных средствах ВТ. «ГРИФОН» построен на основе стандарта CompactPCI® Serial и сконфигурирован в крейте с кассетным размещением процессорных модулей, имеет модульную структуру и состоит из слотовых блоков 3U на 9 посадочных мест. «ГРИФОН» позволяет создавать конфигурации с одновременным использованием вычислителей различной архитектуры, включая х86, GPU NVIDIA, FPGA (ПЛИС), GPU AMD, FPGA, с возможностью межмодульного взаимодействия каждый с каждым (ст. "ГРИФОН - конфигурируемая платформа БИУС", выложенная в 2015 г. на сайте компании "ДОЛОМАНТ" в сети Интернет в режиме он-лайн доступа по адресу: http://www.dolomant.ru/services/development/506722/506773/). Данное решение принято в качестве прототипа.
Особенностью построения высокопроизводительной гетерогенной вычислительной платформы «ГРИФОН" является использование стандартного по конструкции крейта, разделенного на две секции, в одном из которых организована система питания (установлен модуль источника питания PS510RC, возможна установка двух источников питания для организации резервирования), а другая выполнена в виде бокса со слотами для размещения стандартизированных по контактным группам и размерам съемных процессорных модулей. Слоты смонтированы на объединительной плате с использованием коммуникационной шины стандарта CompactPCI Serial, что обеспечивает широкие возможности выбора конфигурации: произвольное количество вычислительных модулей разных архитектур, возможность построения единой системы на базе нескольких блоков, соединенных оптическими линиями связи.
В первом слоте размещен модуль KIC551RC (модуль коммутатора PCIe и GbEthernet) - коммутационный, а в остальных слотах могут быть размещены в требуемом сочетании KIC552RC (модуль интерфейсный оптический PCIe), и/или CPC510RC (модуль процессора х86), и/или CPC512RC (модуль процессора х86), и/или VIM556RC (модуль графического процессора NVIDIA/AMD), и/или VIM554RC (модуль видеоввода), и/или DIC551RC (модуль ввода/вывода), и/или KIC550RC (носитель диска 2.5'').
Для данной платформы стандарт CompactPCI Serial предоставляет возможности для реализации резервирования. Например, периферийные модули могут быть дублированы или троированы, и замена вышедшего из строя модуля возможна без выключения системы («горячая» замена). Полное внутрисистемное дублирование может быть организовано при синхронизации работы двух сегментов CompactPCI Serial через каналы Ethernet (для систем 3U и 6U) или с участием внутрисистемных коммутаторов (только для 6U). Правда, внутрисистемное полное резервирование в настоящее время используется редко. Существенно чаще применяется распределенное резервирование, которое позволяет повысить работоспособность системы за счет расположения ее элементов в разных местах на объекте с питанием от различных источников и использованием распределенных линий связи.
Каждый процессорный модуль выполнен на отдельной плате, на которой на достаточно большой площади платы размещен плоский радиатор для теплотвода с поверхности процессора (ст. "Стандарт CompactPCI Serial для простой и гибкой реализации двухточечных систем связи с повышенными скоростями обмена данными", МКА: ВКС №1/2014, автор Сандра Корсинек (Sandra Korsinek), компания Kontron, выложенная на сайте "RTSoft" в сети Интернет в режиме он-лайн доступа по адресу: http://www.rtsoft.ru/press/articles/detail.php?ID=2456). Сам корпус крейта выполнен тонкостенным для обеспечения кондуктивного теплоотвода от размещенных в нем модулей, согласно стандарту PICMG CPCI-S.0 R1.0. Спецификация CompactPCI Serial предлагает разработчикам систем простой вариант реализации систем с кондуктивным охлаждением. Он предполагает упаковку стандартной платы в металлическую кассету, которая вставляется в систему с шагом 5HP между модулями. А новые разъемы в слотах и в модулях позволили усовершенствовать систему питания. CompactPCI Serial требует всего одного напряжения питания +12 В с максимальной подводимой мощностью в 79,8 Вт для каждого модуля 3U и 171 Вт для модуля 6U, необходимого для обеспечения питанием высокопроизводительных модулей шириной 8НР или 12НР для питания модулей с кондуктивным охлаждением.
Кондуктивное охлаждение наиболее часто применяется как метод локального охлаждения. Однако в последнее время кондуктивное охлаждение часто используется в блоках с очень высокой плотностью монтажа как способ общего охлаждения. Принцип кондуктивного охлаждения блока или микросхемы заключается в том, что они находятся в хорошем тепловом контакте с металлическими шинами (радиаторами), выполняющими роль теплостоков. При кондуктивном охлаждении теплота переносится теплопроводностью и излучением.
Технология Diamond заключается в разработке одноплатных компьютеров с тем, чтобы элементы с наибольшим тепловыделением (ЦПУ, графическое ядро, системы питания) располагались на нижней части платы, вместо более традиционного расположения их на верхней части платы. Затем на нижней части одноплатного компьютера устанавливается радиатор в виде пластины, где он в том числе служит и в качестве монтажной пластины системы. Такой радиатор эффективно отводит тепло от данных компонентов во внешнюю среду и напрямую на стенку корпуса, без циркуляции воздуха внутри корпуса. Результаты тестов показывают, что данное конструктивное решение способствует снижению температуры ЦПУ и других компонентов в большей степени, чем применение традиционных радиаторов, позволяя использовать устройство при более высокой температуре окружающей среды, одновременно с этим обеспечивая снижение количества отказов по причине перегрева. Результаты проведенных компанией Diamond тестов с одноплатным компьютером Aurora в закрытом корпусе Pandora показали, что использование кондуктивного охлаждения привело к понижению температуры воздуха внутри корпуса на 5°С, а температуры в районе ЦПУ на 23°С (ст. "Технология кондуктивного охлаждения в одноплатных компьютерах компании Diamond Systems", 2014, выложена на сайте "MicroMax" в сети Интернет по адресу: http://www.maxnews.ru/site/htm/mn/14-05/conduction_cooling.html).
Однако такие конструктивные решения разработаны для одноплатных процессорных систем с учетом их расположения в корпусе. Для вычислительных платформ на базе шины стандарта CompactPCI Serial используются до 9 модулей, каждый из которых представляет собой одноплатную процессорную систему. При этом все модули расположены в общем отсеке (секции) с небольшим промежуточным расстоянием между платами. В связи с этим в полости отсека находятся до 9 модулей с кондуктивным отводом тепла в полость отсека. Естественно, что в данной ситуации сами радиаторы на платах передают тепло в пространство отсека (секции), а корпус секции должен отвести это суммарное тепло в окружающую среду. Естественно, что применение только кондуктивного охлаждения за счет использования радиаторов и теплоотводящих материалов для таких крейтов неэффективно ввиду слабого отвода тепла. Для решения этой проблемы применяют либо жидкостное охлаждение, что сложно, увеличивает габариты платформы и требует специальной циркуляционной системы, или вентиляторы в верхней части крейта (US 6456498). Использование вентиляторов оправдано для масштабируемых телекоммуникационных стоек, так как требует пространства, что оказывает влияние на габариты.
Высокопроизводительные платформы на базе шины стандарта CompactPCI Serial строятся на основе соединения с этой шиной разнородных и/или однородных процессоров, которые в силу своей архитектуры каждый и особенностей исполнения имеют свой температурный диапазон нормальной производительности. Перегрев приводит к потере производительности или к выходу процессора из строя. Кроме того, на некоторых процессорах установлены блоки принудительной остановки процессора при переходе через границу критической температуры. Если обратиться к широко используемым в компьютерной технике процессорам, то в спецификации для таких процессоров написано, что в режиме простоя нормальной температурой считается до 45°С, а под нагрузкой до 65°С, температура свыше 70°С считается критической. Например, разные производители процессоров устанавливают свою температуру, но если говорить обобщенно, то температура должна быть в пределах 7-25°С, в пределах 45-60°С считается еще нормальной, максимум 65°С. Критические температуры - это когда процессор греется от 65°С до 78°С (для разных процессоров своя), а при температуре 90°С и выше может сгореть плата, но опять же некоторые производители процессоров, такие как, например, Core Duo, считают 100°С максимальной температурой, но пока еще не критической.
Таким образом, под корпусом крейта могут находиться процессорные модули, для которых температура среды для нормальной работы могут сильно отличаться. Естественно, что в такой многопроцессорной платформе применение только кондуктивного охлаждения не обеспечит нормальную работу платформы. Для таких платформ могут использоваться только системы охлаждения с принудительной циркуляцией охлаждающего агента при соблюдении условия обеспечения температуры внешней среды на заданном уровне (например, на уровне 18-20°С или ниже).
Настоящее изобретение направлено на достижение технического результата, заключающегося в повышении эксплуатационной надежности и долговечности производительного цикла вычислительной платформы, построенной на основе объединения процессорных модулей с разнородной архитектурой на базе шины стандарта CompactPCI Serial, за счет обеспечения кондуктивно-конвективного отвода тепла.
Указанный технический результат достигается тем, что в высокопроизводительной вычислительной платформе на базе процессоров с разнородной архитектурой, содержащей установочный блок высотой 4U, предназначенный для установки в телекоммуникационную стойку и выполненный в виде корпуса, разделенного на две секции, в одной их которых смонтирована система питания, а во второй, выполненной с открытым проемом с одной боковой стороны, размещена объединительная плата со слотами, для размещения в них помещаемых через указанный проем модуля коммутации и вычислительных модулей на базе разнородных процессоров, объединенными через высокоскоростную шину стандарта CompactPCI Serial для образования многопроцессорной конфигурации, а также система охлаждения корпуса, в зоне каждого слота размещены теплосъемные кассеты для отвода тепла от модуля коммутации и вычислительных модулей на корпус установочного блока, который выполнен с дополнительным корпусом или кожухом, охватывающим разделенный на две секции корпус, при этом между стенками разделенного на две секции корпуса и дополнительного корпуса или кожуха образована межстеночная полость, а система охлаждения корпуса включает в себя два центробежных вентилятора, установленные в отдельном кожухе каждый у противоположно расположенных боковых стенок корпуса в межстеночной полости напротив впускных отверстий или технологических окон в стенке дополнительного корпуса или кожуха для формирования идущих навстречу друг другу воздушных потоков, а в других стенках дополнительного корпуса или кожуха выполнены технологические окна для выхода воздуха из межстеночной полости.
Вычислительные модули могут быть выполнены на базе процессоров Эльбрус, Байкал, х86, графических процессоров и на базе программируемых логических интегральных схем (ПЛИС) или процессоров цифровой обработки сигналов (ПЦОС). В корпусе на объединительной плате смонтировано девять слотов, первый из которых является системным для установки модуля коммутации, а остальные слоты предназначены для установки вычислительных модулей в произвольном порядке. Например, в корпусе на объединительной плате смонтировано девять слотов, в первом из которых установлен модуль коммутации, а в остальные слоты установлены четыре вычислительных модуля на базе процессоров х86 и четыре вычислительных модуля на базе графических процессоров. Или в корпусе на объединительной плате смонтировано девять слотов, в первом из которых установлен модуль коммутации, а в остальные слоты установлены один вычислительный модуль на базе процессора "Эльбрус" или "Байкал", два вычислительных модуля на базе процессоров х86, один вычислительный модуль на базе ПЛИС или ПЦОС и один вычислительный модуль на базе графического процессора.
Для межмодульного взаимодействия может использоваться объединительная плата с заведенными линиями последовательной шины PCI Express 3-го поколения в составе двух х8 и шести х4 в реализации 3U, или для межмодульного взаимодействия может быть использован модуль коммутации PCI Express, который позволяет задействовать для коммутации все линии PCI Express на объединительной плате.
А в качестве топологии объединения вычислительных модулей внутри корпуса на физическом уровне может применяться сетевая топология «звезда», а на логическом уровне вычислительные модули связаны между собой в режиме прямого доступа к памяти с поддержкой взаимообмена по принципу «каждый с каждым».
При этом система питания может быть выполнена с источником резервного питания в виде резервируемого блока питания.
Указанные признаки являются существенными и взаимосвязаны между собой с образованием устойчивой совокупности существенных признаков, достаточной для получения требуемого технического результата.
Настоящее изобретение иллюстрируется примерами, которые представлены на следующих чертежах:
фиг. 1 - структурная схема модульной вычислительной платформы (базовая конфигурация);
фиг. 2 - структурная схема модульной вычислительной платформы (конфигурация на базе модулей процессора х86 и модулей графического процессора);
фиг. 3 - структурная схема модульной вычислительной платформы, ориентированная на использование в режиме совместимости в вычислительных комплексах ответственного назначения;
фиг. 4 - показано изделие в корпусе с гибридным (кондуктивно-конвективным) отводом тепла, вид спереди;
фиг. 5 - то же, что на фиг. 4, вид слева.
Согласно настоящего изобретения рассматривается вычислительный комплекс для параллельной обработки больших объемов информации от специальных систем в режиме реального времени.
Изобретение касается разработки гетерогенных реконфигурируемых вычислительных платформ, в которых в составе одного корпусного блока можно использовать модули с разными архитектурами в различных конфигурациях. В такие вычислительные платформы могут входить микропроцессоры общего назначения (х86, Эльбрус, Байкал), графические процессоры, вычислительные модули на базе программируемых логических интегральных схем (ПЛИС). Создание проблемно-ориентированной конфигурации на базе такой платформы достигается за счет выбора и установки в вычислительную платформу необходимого набора модулей, исходя из максимальной эффективности выполнения алгоритмов. Применение модулей на базе отечественных и зарубежных процессоров в рамках одной вычислительной платформы позволит не только создавать аппаратуру современного уровня уже сейчас, но и стимулирует разработку отечественной элементной базы, аналоги которой на данный момент отсутствуют.
Сущность предлагаемого изобретения заключается в том, что высокопроизводительная вычислительная платформа на базе процессоров с разнородной архитектурой позволяет задействовать вычислительные модули на базе процессоров Эльбрус, Байкал-Т1, Байкал-М, х86, графических процессоров, а также вычислительные модули на базе ПЦОС (процессоры цифровой обработки сигналов), а также вычислительные модули на базе ПЛИС (программируемые логические интегральные схемы), объединяя их через высокоскоростную шину стандарта CompactPCI Serial. Такая платформа позволяет создавать многопроцессорные конфигурации под задачу для эффективного ее решения.
В общем случае, высокопроизводительная вычислительная платформа на базе процессоров с разнородной архитектурой, содержащая установочный блок высотой 4U, предназначенный для установки в телекоммуникационную стойку и выполненный в виде корпуса, разделенного на две секции, в одной их которых смонтирована система питания, а во второй, выполненной с открытым проемом с одной боковой стороны, размещена объединительная плата со слотами, для размещения в них помещаемых через указанный проем модуля коммутации и вычислительных модулей на базе разнородных процессоров, объединенными через высокоскоростную шину стандарта CompactPCI Serial для образования многопроцессорной конфигурации с вычислительными модулями, выполненными на базе процессоров Эльбрус, Байкал, х86, графических процессоров и на базе ПЛИС или ПЦОС. Для этого в корпусе на объединительной плате смонтировано девять слотов, первый из которых является системным для установки модуля коммутации, а остальные слоты предназначены для установки вычислительных модулей в произвольном порядке.
х86 - это архитектура процессора с одноименным набором команд, впервые реализованная в процессорах компании Intel. Широкая известность архитектуры и привычный для разработчиков набор команд, наличие большого числа библиотек и средств программирования позволяют эффективно задействовать потенциал процессоров данной архитектуры для широкого спектра задач.
В архитектуре «Эльбрус» при поступлении потока команд на процессор основную работу по анализу зависимостей и оптимизации порядка выполнения операций осуществляет компилятор, в то время как в суперскалярных процессорах х86 архитектуры определение независимых друг от друга операций, их параллельный запуск или изменение порядка исполнения операций осуществляет процессор. Такой динамический анализ зависимостей и поддержка внеочередного исполнения инструкций позволяет анализировать и запускать на исполнение до 4-х команд за такт, в то время как в процессорах «Эльбрус» за счет более тщательного анализа исходного кода компилятором количество независимых операций, которые могут быть выполнены за 1 такт, может быть больше. Поэтому в архитектуре Эльбрус больше параллельно работающих исполнительных устройств и в ряде случаев такие архитектурные особенности дают существенный прирост скорости при выполнении программ. Другой особенностью процессоров «Эльбрус» является реализация защищенного режима исполнения программ, заключающаяся в работе программ только с инициализированными данными и аппаратной проверке обращений в память на принадлежность к допустимому диапазону адресов. Вычислительные модули на базе отечественных процессоров «Эльбрус» позволяют создавать конфигурации вычислительных систем, где требуется обеспечить высокую производительность на вычислениях с действительными числами (системы обработки изображений, суперкомпьютеры, радиолокационные и гидроакустические системы), а также в системах, к которым предъявляются повышенные требования информационной безопасности (информационные системы государственных структур, военные и другие системы ответственного назначения).
В архитектуре ARM, на базе которой создается отечественный процессор «Байкал-М», используется сокращенный по сравнению с х86 архитектурой набор команд. Это позволяет снизить временные затраты на обработку исходного кода программы, сохраняя высокую вычислительную производительность в сочетании с невысоким энергопотреблением и небольшим тепловыделением. Вычислительные модули на базе отечественных процессоров «Байкал-М» позволяют разрабатывать эффективные конфигурации вычислительных систем, где проблема энергопотребления и тепловыделения играют не последнюю роль.
В основе архитектуры MIPS, на базе которой создан отечественный процессор «Байкал-Т1», лежит Гарвардская архитектура (физическое разделение памяти команд и данных) с сокращенным набором команд (RISC) и конвейером, позволяющем за 1 цикл выполнять арифметические и сдвиговые операции. Процессоры, построенные на базе архитектуры MIPS за счет отличий от архитектуры ARM (в архитектуре MIPS большая часть команд содержит только одну операцию, а инструкции ARM выполняют несколько операций перед записью в регистр (смена операнда, проверка бита состояния и др.), а также в MIPS более простая система адресов) могут работать на более высоких тактовых частотах, что делает их более быстродействующими по сравнению с процессорами ARM-архитектуры. За счет широкого набора интегрированных в процессор «Байкал-Т1» интерфейсов ввода-вывода модули на базе этих процессоров могут применяться для решения коммуникационных задач.
С архитектурной точки зрения графические ускорители представляют собой многопоточную структуру с множеством ядер и рассчитаны на задачи с массивно-параллельными вычислениями, например обработку и отображение компьютерной графики. В гетерогенных вычислительных системах графические ускорители могут быть задействованы в качестве ускорителей универсальных вычислений. В частности, модули на базе графических ускорителей могут намного эффективнее модулей, построенных на базе процессоров х86 архитектуры, справляться с операциями быстрого преобразования Фурье и вычислением обратных матриц высокого порядка, часто встречающихся в задачах радиолокации и гидроакустики. Программные технологии взаимодействия с модулями на основе графических ускорителей (технологии CUDA, OpenCL, DirectCompute, С++ Accelerated Massive Parallelism, библиотека Thrust) позволяют эффективно задействовать возможности графических ускорителей в гетерогенных вычислительных системах.
Архитектура ПЦОС, по сравнению с процессорами общего назначения (х86), имеет ряд особенностей, связанных со стремлением ускорить выполнение операций поэлементного перемножения элементов многокомпонентных векторов действительных чисел с последующим суммированием этих произведений. Эти математические действия выполняются в типовых задачах цифровой обработки сигналов, таких как преобразование Фурье, поиск сигналов, цифровая фильтрация и др. Вычислительные модули на основе ПЦОС могут эффективно использоваться при решении задач радиолокации и гидролокации, геофизике, обработке звука и изображений.
Архитектура ПЛИС включают в себя следующие программируемые элементы: нескоммутированные программируемые логические блоки (ПЛБ), блоки ввода-вывода (БВВ) и внутренние связи. ПЛБ являются функциональными элементами для построения логики пользователя, БВВ обеспечивают связь между контактами корпуса и внутренними сигнальными линиями. Программируемые ресурсы внутренних связей обеспечивают управление путями соединения входов и выходов ПЛБ и блоков ввода-вывода на соответствующие сети. Вычислительные модули на основе ПЛИС могут намного эффективнее модулей, построенных на базе процессоров х86 архитектуры, справляться с задачами цифровой обработки сигналов, часто встречающихся в задачах радиолокации и гидролокации, геофизике, обработке звука и изображений.
Отличительной особенностью представленной платформы является то, что она позволяет одновременно задействовать вычислительные модули всех рассмотренных выше архитектур, так и конфигурировать платформу только вычислительными модулями тех архитектур, которые необходимы пользователю для решения конкретной задачи. Таким образом, используя возможности и преимущества каждой из представленных архитектур, пользователь на базе предложенной платформы может создавать проблемно-ориентированные конфигурации вычислительных систем стационарного и бортового базирования.
Так, например, на фиг. 1 представлена базовая вычислительная платформа, отвечающая требованиям полностью открытого модульного технологического стандарта CompactPCI Serial, где связь между модулями осуществляется через открытый стандарт PCI Express.
Компоненты базовой вычислительной платформы монтируются в базовом блоке, представляющем собой крейт 1 (крейт - это блочный каркас для размещения в них электронных и электротехнических устройств), выполненный в виде бокса, разделенного на две секции, в одной их которых смонтирована система питания 2 и возможно с источником резервного питания 3 в виде резервируемого блока питания. Вторая секция включает в себя объединительную плату со слотами, в которые по типу кассет можно вставлять процессорные модули. Для межмодульного взаимодействия используется объединительная плата с заведенными линиями последовательной шины PCI Express 3-го поколения в составе двух х8 и шести х4 в реализации 3U.
В качестве топологии объединения вычислительных модулей внутри блока на физическом уровне может использоваться сетевая топология «звезда», а на логическом уровне вычислительные модули могут взаимодействовать между собой в режиме прямого доступа к памяти с поддержкой взаимообмена по принципу «каждый с каждым».
Как правило, первый слот используется для установки модуля коммутации 4, остальные 8 слотов предназначены для установки абонентов внутренней локальной сети, каждый из которых соединен с системным коммутатором. В качестве абонентов внутренней локальной сети применяются один или более модулей 5 процессора х86, один или более модулей 6 реконфигурируемого процессора (на базе ПЛИС или ПЦОС), один или более модулей 7 графического процессора, модуль 8 процессора "Эльбрус", один или более модулей 9 процессора "Байкал", модуль 10 интерфейсный оптический PCIe для связи с внешними устройствами 11 (периферическими). Крейт может оснащаться носителем 12 диска 2,5'' (как возможный пример).
Для решения задач, где требуется высокая производительность, может использоваться конфигурация платформы, включающая модули с процессорами х86 архитектуры и модули графического процессора (фиг. 2). Платформа оснащается четырьмя модулями 5 процессора х86 и четырьмя модулями 7 графического процессора.
Одним из примеров может стать применение платформы в режиме совместимости в отечественных вычислительных комплексах, построенных на процессорах Эльбрус, где роль связующего звена будут играть вычислительные модули на базе процессора Эльбрус, установленные в крейт (фиг. 3). Это позволит в целом повысить эффективность обработки информации в уже эксплуатируемых вычислительных комплексах за счет перенаправления части информационных потоков на обработку графическими процессорами, процессорами х86 архитектуры и ПЦОС, тем самым расширив горизонты модернизации и совершенствования вычислительных комплексов в оборонной сфере. В этом примере использованы модуль 8 процессора "Эльбрус", два модуля 5 процессора х86, модуль 13 ПЦОС и модуль 7 графического процессора.
В данных примерах под системой на базе шины стандарта CompactPCI Serial подразумевается конструкция, состоящая из механических и электронных компонентов, таких как корпус с объединительной платой (крейт), блок питания, подсистема охлаждения, модули управления системой и т.д.
В состав платформы входит объединительная плата, содержащая 9 слотов для установки модулей высотой 3U. Один из этих слотов предназначен для установки модуля коммутации, остальные 8 слотов предназначены для установки абонентов внутренней локальной сети, каждый из которых соединен с системным коммутатором.
Такая архитектурная концепция построения платформы дает следующие преимущества:
- простота организации параллельной и конвейерной обработки данных;
- применение вычислительных модулей различных архитектур в составе одного блока в различных комбинациях;
- возможность масштабирования вычислительной производительности за счет объединения нескольких платформ.
Таким образом, архитектура разрабатываемой платформы является гибкой и позволяет создавать проблемно-ориентированные конфигурации вычислительных систем, нацеленные на эффективное решение той или иной прикладной задачи.
В качестве модуля коммутации в платформе используется модуль KIC551 отечественного производства форм-фактора CompactPCI Serial, обладающий следующими функциональными возможностями: поддержка интерфейсов: PCI Express 3.0, SATA, Gigabit Ethernet с возможностью подключения SFP+ модулей и обеспечение функции контроля подачи питания и индикация работы модуля. Модуль коммутации KIC551 устанавливается в системный слот кросс-платы и осуществляет коммутацию пакетов между вычислительными модулями. Имеет контроллер стандарта 10Gb Ethernet, позволяющий передавать данные по каналу, выведенному на переднюю панель. Отдельно от подсистемы коммутации пакетов PCI Express на модуле установлен коммутатор 1Gb Ethernet, позволяющий реализовывать управление модулями системы.
Для организации высокой производительности, надежности и гибкости в поддержке различных интерфейсов расширения в МВП используется вычислительный модуль СРС512 отечественного производства с архитектурой х86 на базе четырехъядерного процессора Intel IvyBridge с установленной оперативной памятью 8 Гбайт. Использование контроллера шины PCI Express 3.0 в данном модуле позволяет осуществлять обмен информацией со скоростью 8 ГТ/с (гигатранзакций в секунду).
В качестве аппаратных средств модуля графического процессора предполагается использовать модуль VIM556 отечественного производства, предназначенный для использования в составе высокопроизводительных вычислительных систем на платформе Compact PCI Serial и служащий для вывода графической информации на монитор через интерфейс Display Port. Модуль реализован на базе высокопроизводительной графической карты стандарта МХМ 3.0 - NVIDIA Quadro K2100M. Используя модуль VIM556, вычислительная система может выполнять высокопроизводительные многопотоковые вычисления и выводить графическую информацию с высоким разрешением одновременно на несколько мониторов (до 4-х) по интерфейсу DisplayPort 1.2 с поддержкой режимов Multi Stream Transport и Dual Mode Display.
В качестве аппаратных средств модуля ПЛИС предполагается использовать модуль FPU500 отечественного производства, предназначенный для построения высокопроизводительных систем с параллельной цифровой обработкой данных реального времени на платформе CompactPCI Serial. Высокая производительность обработки данных обеспечивается FPGA Virtex-6 фирмы Xilinx и двумя параллельными линейками памяти DDR3 SDRAM общим объемом 4GB. Типичными областями применения модуля являются: кодирование/декодирование данных, цифровая сигнальная обработка, потоковая обработка видео- и аудиоинформации, радиоразведка, синтез и обработка сложных сигнально-кодовых конструкций.
Кроме рассмотренных вычислительных модулей могут использоваться вычислительные модули на базе отечественных процессоров «Эльбрус» и «Байкал», предназначенные для построения вычислительных систем ответственного назначения.
В качестве модуля интерфейсного оптического PCI Express предполагается использовать модуль KIC552 отечественного производства, предназначенный для использования в составе встраиваемых вычислительных систем CompactPCI Serial. Модуль служит для подключения к системе внешних устройств по высокоскоростному медному или оптическому кабельному соединению.
Реализация платформы позволяет применять новые технологии. Так, для построения многопроцессорных систем на PCI Express может использоваться виртуальный механизм непрозрачных мостов (NTB - Non-Transparent Bridge), позволяющий работать с разделенным адресным пространством. Для взаимодействия модулей на базе центрального процессора (CPU-CPU) может использоваться принцип туннелирования IP-пакетов по шине PCI Express при помощи драйвера виртуального сетевого устройства с использованием непрозрачных мостов. Или для взаимодействия модулей на базе центрального процессора (CPU-CPU) может использоваться принцип транспортирования данных по шине PCI Express с помощью библиотеки сокетов (Sockets), совместимых с сокетами Беркли. Для взаимодействия модулей на базе центрального процессора (CPU-CPU) может использоваться принцип прямой работы с памятью, отображенной через непрозрачный мост на другую шину PCI Express. А при помощи библиотек OpenCL и CUDA SDK может быть реализовано взаимодействие модулей на базе центрального процессора с модулями на базе графического процессора (CPU-GPU) в равноправном режиме. Для взаимодействия модулей на базе центрального процессора с модулями на базе ПЦОС (CPU-DSP) используется принцип отображения ресурсов модуля на базе ПЦОС на шину PCI Express.
Особенностью заявленной платформы является ее повышенная стойкость к периодическим вибрационным и/или ударным нагрузкам и расширенному диапазону рабочих температур, что позволяет использовать платформу в жестких условиях работы.
Для достижения таких качеств применяется защищенный корпус 14 с гибридным кондуктивно-конвективным отводом тепла (фиг. 4 и 5).
В общем случае, для организации новой системы охлаждения в зоне каждого слота размещены теплосъемные кассеты для отвода тепла от модуля коммутации и вычислительных модулей на корпус установочного блока, который выполнен с дополнительным корпусом или кожухом, охватывающим разделенный на две секции корпус. Между стенками разделенного на две секции корпуса и дополнительного корпуса или кожуха образована межстеночная полость. А система охлаждения корпуса включает в себя два центробежных вентилятора, установленных в отдельном кожухе каждый у противоположно расположенных боковых стенок корпуса в межстеночной полости напротив впускных отверстий или технологических окон в стенке дополнительного корпуса или кожуха для формирования идущих навстречу друг другу воздушных потоков, а в других стенках дополнительного корпуса или кожуха выполнены технологические окна для выхода воздуха из межстеночной полости.
Корпус 14 представляет собой крейт известной из прототипа конструкции с объединительной платой и слотами для размещения процессорных модулей с разнородной архитектурой. Этот корпус охвачен кожухом 15 или вторым корпусом с образованием между крейтом и кожухом зазоров, то есть стенки кожуха расположены на расстоянии от наружных стенок крейта. Таким образом, между стенками корпуса и крейта образована межстеночная полость или системы каналов для перемещения охлаждающего агента. В данном примере исполнения, приведенном на фиг. 4, таким агентом является воздух внешней среды, то есть помещения, в котором платформа или телекоммуникационная стойка с платформами размещена. В полостях между боковыми стенками кожуха и крейта размещены вентиляторы 16 для засасывания воздуха из внешней среды и подачи его под давлением в пространство полости между стенками кожуха и крейта. Для этого напротив вентилятора или вентиляторов в стенке кожуха выполнены впускные отверстия или одно технологическое окно 17 (фиг. 5). А на других напротив друг друга расположенных стенках кожуха (верхняя стенка и нижняя стенка) выполнены технологические окна 18 для выхода нагретого воздуха из полости. Охлаждение внешнего корпуса платформы выполняется за счет применения двух центробежных вентиляторов 16, заключенных в отдельный кожух 19.
Так как полости между стенками кожуха и крейта объединены в общее пространство, а вентиляторы 16 для нагнетания охлажденного воздуха расположены на противоположных стенках, то при расположении выходных технологических окон 18 на верхней и нижней стенках кожуха нагнетаемый воздух проходит в направлениях (см. стрелки на рисунке) от входного окна (вентилятора), охватывая как бы полкорпуса крейта в направлении как к выходному окну в нижней стенке кожуха, так в направлении выходного окна в верхней стенке корпуса. Если учесть, что на входе давление воздуха выше, то обеспечивается принудительный вывод теплого воздуха из полости при достаточно высокой скорости перемещения воздушного потока. Таким образом, обеспечивается наружное конвективное охлаждение стенок крейта.
Сами модули с процессорным компонентом оснащены системой радиаторного теплоотвода в полость секции крейта, в которой они размещены. Но при этом в самом крейте передача тепла от модулей на внешний корпус изделия осуществляется посредством теплосъемных кассет, в которые встраиваются функциональные модули. Так обеспечивается кондуктивное охлаждение.
По сути, тепло от процессорных модулей передается на теплосъемные кассеты для передачи на стенки крейта и воздушным путем на стенки крейта. А стенки крейта обдуваются холодным нагнетаемым воздухом из помещения, в котором температура внешней среды значительно ниже температуры в полости работы модулей. Это приводит к охлаждению наружных стенок крейта, которые из-за разницы температур в полости хорошо отводят тепло от теплосъемных кассет. Теплосъемные кассеты можно рассматривать как конструктив, то есть размещение в районе слота оребрений из теплопроводного материала или ребристых перегородок, которые охватывают модуль по крайней мере на части его площади или контактируют с радиатором процессора. Если режим кондуктивного охлаждения относится к пассивной форме отвода тепла и практически не регулируется по производительности, то режим конвективного охлаждения прямо определяет температуру охлаждаемой стенки и может регулироваться по производительности путем изменения скорости омывания стенки воздушным потоком. Изменяя напор при нагнетании или скорость вентилятора, можно сформировать оптимальный режим охлаждения полости слотов в крейте и обеспечить тот диапазон температур, который будет считаться оптимальным рабочим для всех видов процессорных модулей в слотах.
Изобретение промышленно применимо, вычислительная платформа обладает определенной универсальностью, поскольку может применяться в режиме совместимости в больших системах с разнородными вычислительными средствами, линиями связи, средствами сбора данных и программного обеспечения. А благодаря модульному принципу построения и возможностям масштабирования может быть сконфигурирована на решение конкретной прикладной задачи. В то же время вычислительная платформа, объединяющая на одной шине модули на базе зарубежных вычислительных компонентов (процессоры Intel, графические процессоры NVIDIA, ПЛИС Xilinx) и вычислительные модули на базе отечественных процессоров (Эльбрус, Байкал), будет способствовать решению проблемы импортозамещения, а ее применение уже сейчас позволит создавать вычислительные системы, соперничающие по производительности с зарубежными аналогами. При этом платформа имеет высокие эксплуатационную надежность и долговечность производительного цикла за счет обеспечения кондуктивно-конвективного отвода тепла.

Claims (9)

1. Высокопроизводительная вычислительная платформа на базе процессоров с разнородной архитектурой, содержащая установочный блок высотой 4U, предназначенный для установки в телекоммуникационную стойку и выполненный в виде корпуса, разделенного на две секции, в одной их которых смонтирована система питания, а во второй, выполненной с открытым проемом с одной боковой стороны, размещена объединительная плата со слотами, для размещения в них помещаемых через указанный проем модуля коммутации и вычислительных модулей на базе разнородных процессоров, объединенными через высокоскоростную шину стандарта CompactPCI Serial для образования многопроцессорной конфигурации, а также система охлаждения корпуса, отличающаяся тем, что в зоне каждого слота размещены теплосъемные кассеты для отвода тепла от модуля коммутации и вычислительных модулей на корпус установочного блока, который выполнен с дополнительным корпусом или кожухом, охватывающим разделенный на две секции корпус, при этом между стенками разделенного на две секции корпуса и дополнительного корпуса или кожуха образована межстеночная полость, а система охлаждения корпуса включает в себя два центробежных вентилятора, установленные в отдельном кожухе каждый у противоположно расположенных боковых стенок корпуса в межстеночной полости напротив впускных отверстий или технологических окон в стенке дополнительного корпуса или кожуха для формирования идущих навстречу друг другу воздушных потоков, а в других стенках дополнительного корпуса или кожуха выполнены технологические окна для выхода воздуха из межстеночной полости.
2. Платформа по п. 1, отличающаяся тем, что вычислительные модули выполнены на базе процессоров Эльбрус, Байкал, х86, графических процессоров и на базе логических интегральных схем или базе процессоров цифровой обработки сигналов.
3. Платформа по п. 1, отличающаяся тем, что в корпусе на объединительной плате смонтировано девять слотов, первый из которых является системным для установки модуля коммутации, а остальные слоты предназначены для установки вычислительных модулей в произвольном порядке.
3. Платформа по п. 1, отличающаяся тем, что в корпусе на объединительной плате смонтировано девять слотов, в первом из которых установлен модуль коммутации, а в остальные слоты установлены четыре вычислительных модуля на базе процессоров х86 и четыре вычислительных модуля на базе графических процессоров.
4. Платформа по п. 1, отличающаяся тем, что в корпусе на объединительной плате смонтировано девять слотов, в первом из которых установлен модуль коммутации, а в остальные слоты установлены один вычислительный модуль на базе процессора "Эльбрус" или "Байкал", два вычислительных модуля на базе процессоров х86, один вычислительный модуль на базе ПЦОС и один вычислительный модуль на базе графического процессора.
5. Платформа по п. 1, отличающаяся тем, что для межмодульного взаимодействия используется объединительная плата с заведенными линиями последовательной шины PCI Express 3-го поколения в составе двух х8 и шести х4 в реализации 3U.
6. Платформа по п. 1, отличающаяся тем, что для межмодульного взаимодействия использован модуль коммутации PCI Express, который позволяет задействовать для коммутации все линии PCI Express на объединительной плате.
7. Платформа по п. 1, отличающаяся тем, что в качестве топологии объединения вычислительных модулей внутри корпуса на физическом уровне используется сетевая топология «звезда», а на логическом уровне вычислительные модули связаны между собой в режиме прямого доступа к памяти с поддержкой взаимообмена по принципу «каждый с каждым».
8. Платформа по п. 1, отличающаяся тем, что система питания выполнена с источником резервного питания в виде резервируемого блока питания.
RU2016127271A 2016-07-07 2016-07-07 Высокопроизводительная вычислительная платформа на базе процессоров с разнородной архитектурой RU2635896C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2016127271A RU2635896C1 (ru) 2016-07-07 2016-07-07 Высокопроизводительная вычислительная платформа на базе процессоров с разнородной архитектурой

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2016127271A RU2635896C1 (ru) 2016-07-07 2016-07-07 Высокопроизводительная вычислительная платформа на базе процессоров с разнородной архитектурой

Publications (1)

Publication Number Publication Date
RU2635896C1 true RU2635896C1 (ru) 2017-11-16

Family

ID=60328521

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016127271A RU2635896C1 (ru) 2016-07-07 2016-07-07 Высокопроизводительная вычислительная платформа на базе процессоров с разнородной архитектурой

Country Status (1)

Country Link
RU (1) RU2635896C1 (ru)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU184072U1 (ru) * 2018-04-04 2018-10-15 Дмитрий Андреевич Попов Высокопроизводительное вычислительное устройство для обработки данных криптовалюты
RU186954U1 (ru) * 2018-05-03 2019-02-11 Акционерное общество "Управляющая компания "Брянский машиностроительный завод" (АО "УК "БМЗ") Блок центрального управления локомотивом
RU187547U1 (ru) * 2018-01-17 2019-03-12 Общество с ограниченной ответственностью Научно-производственное предприятие "Автономные аэрокосмические системы - ГеоСервис" (ООО НПП "АВАКС-ГеоСервис") Бортовой вычислительный кластер комплексных измерений
RU194084U1 (ru) * 2019-04-15 2019-11-28 Федеральное государственное учреждение "Федеральный научный центр Научно-исследовательский институт системных исследований Российской академии наук" (ФГУ ФНЦ НИИСИ РАН) Плата для построения цифровых систем
RU2708794C2 (ru) * 2018-05-21 2019-12-11 Общество с ограниченной ответственностью "Центр инженерной физики при МГУ имени М.В. Ломоносова" Вычислительный модуль для многопотоковой обработки цифровых данных и способ обработки с использованием данного модуля
RU2710890C1 (ru) * 2018-10-08 2020-01-14 Общество с ограниченной ответственностью "Информационный Вычислительный Центр" Вычислительная система для научно-технических расчетов
RU198149U1 (ru) * 2019-12-13 2020-06-22 Акционерное общество "ТеконГруп" Процессорный блок промышленного программируемого контроллера
RU2749103C1 (ru) * 2019-12-13 2021-06-04 Акционерное общество "ТеконГруп" Промышленный программируемый контроллер
RU2771431C1 (ru) * 2021-07-09 2022-05-04 Общество с ограниченной ответственностью «Кодмастер» Платформа для построения систем управления, передачи и обработки данных в вычислительных сетях
RU212474U1 (ru) * 2021-10-14 2022-07-25 Акционерное общество "МЦСТ" Панель на базе двух шестнадцатиядерных микропроцессоров с микроархитектурой Эльбрус шестого поколения

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6230252B1 (en) * 1997-11-17 2001-05-08 Silicon Graphics, Inc. Hybrid hypercube/torus architecture
US20090113172A1 (en) * 1999-09-29 2009-04-30 Silicon Graphics, Inc. Network topology for a scalable multiprocessor system
RU90241U1 (ru) * 2009-08-27 2009-12-27 Общество с ограниченной ответственностью "Информационный Вычислительный Центр" Вычислительная система для научно-технических расчетов
US9037833B2 (en) * 2004-04-15 2015-05-19 Raytheon Company High performance computing (HPC) node having a plurality of switch coupled processors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6230252B1 (en) * 1997-11-17 2001-05-08 Silicon Graphics, Inc. Hybrid hypercube/torus architecture
US20090113172A1 (en) * 1999-09-29 2009-04-30 Silicon Graphics, Inc. Network topology for a scalable multiprocessor system
US8433816B2 (en) * 1999-09-29 2013-04-30 Silicon Graphics International Corp. Network topology for a scalable multiprocessor system
US9037833B2 (en) * 2004-04-15 2015-05-19 Raytheon Company High performance computing (HPC) node having a plurality of switch coupled processors
RU90241U1 (ru) * 2009-08-27 2009-12-27 Общество с ограниченной ответственностью "Информационный Вычислительный Центр" Вычислительная система для научно-технических расчетов

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU187547U1 (ru) * 2018-01-17 2019-03-12 Общество с ограниченной ответственностью Научно-производственное предприятие "Автономные аэрокосмические системы - ГеоСервис" (ООО НПП "АВАКС-ГеоСервис") Бортовой вычислительный кластер комплексных измерений
RU184072U1 (ru) * 2018-04-04 2018-10-15 Дмитрий Андреевич Попов Высокопроизводительное вычислительное устройство для обработки данных криптовалюты
RU186954U1 (ru) * 2018-05-03 2019-02-11 Акционерное общество "Управляющая компания "Брянский машиностроительный завод" (АО "УК "БМЗ") Блок центрального управления локомотивом
RU2708794C2 (ru) * 2018-05-21 2019-12-11 Общество с ограниченной ответственностью "Центр инженерной физики при МГУ имени М.В. Ломоносова" Вычислительный модуль для многопотоковой обработки цифровых данных и способ обработки с использованием данного модуля
RU2710890C1 (ru) * 2018-10-08 2020-01-14 Общество с ограниченной ответственностью "Информационный Вычислительный Центр" Вычислительная система для научно-технических расчетов
RU194084U1 (ru) * 2019-04-15 2019-11-28 Федеральное государственное учреждение "Федеральный научный центр Научно-исследовательский институт системных исследований Российской академии наук" (ФГУ ФНЦ НИИСИ РАН) Плата для построения цифровых систем
RU198149U1 (ru) * 2019-12-13 2020-06-22 Акционерное общество "ТеконГруп" Процессорный блок промышленного программируемого контроллера
RU2749103C1 (ru) * 2019-12-13 2021-06-04 Акционерное общество "ТеконГруп" Промышленный программируемый контроллер
RU2771431C1 (ru) * 2021-07-09 2022-05-04 Общество с ограниченной ответственностью «Кодмастер» Платформа для построения систем управления, передачи и обработки данных в вычислительных сетях
RU212474U1 (ru) * 2021-10-14 2022-07-25 Акционерное общество "МЦСТ" Панель на базе двух шестнадцатиядерных микропроцессоров с микроархитектурой Эльбрус шестого поколения
RU218443U1 (ru) * 2022-06-29 2023-05-25 Акционерное общество "СИТРОНИКС" Сервер
RU2804258C1 (ru) * 2022-07-31 2023-09-26 Акционерное общество "СИТРОНИКС" Сервер
RU221121U1 (ru) * 2023-02-09 2023-10-19 Акционерное общество "Ордена Ленина Научно-исследовательский и конструкторский институт энерготехники имени Н.А. Доллежаля" (АО "НИКИЭТ") Программируемый логический контроллер для применения в системах автоматизации
RU2820075C1 (ru) * 2023-04-17 2024-05-28 Закрытое акционерное общество "НАУЧНО-ПРОИЗВОДСТВЕННАЯ ФИРМА "ДОЛОМАНТ" (ЗАО "НПФ "ДОЛОМАНТ") Система кондуктивного теплоотвода от электронных модулей магистрально-модульного форм-фактора для корпусных изделий электроники

Similar Documents

Publication Publication Date Title
RU2635896C1 (ru) Высокопроизводительная вычислительная платформа на базе процессоров с разнородной архитектурой
KR101604962B1 (ko) 큰 확장성 프로세서 설치에 있어서 유연한 저장 및 네트워크 프로비저닝을 위한 시스템 및 방법
US10133697B2 (en) Computer architecture to provide flexibility and/or scalability
US20210007235A1 (en) Data storage system connectors with parallel array of dense memory cards and high airflow
US9817450B2 (en) Electronic apparatus
JP2016162458A (ja) モジュール型不揮発性フラッシュメモリブレード及びその動作方法
US10010008B2 (en) Sled mounted processing nodes for an information handling system
US9320169B2 (en) Modular dense storage array
JP2014160512A (ja) ダイナミックにモジュラー式の処理ユニットを提供するためのシステムおよび方法
US20150254201A1 (en) Standard pci express add-in card form factor multi ports network interface controller supporting multi dimensional network topologies
JP2017199368A (ja) マルチノード筐体システムの管理ポートを減少させるためのコンピュータ読み取り可能な記憶装置、システム及び方法
Arts et al. QPACE 2 and domain decomposition on the Intel Xeon Phi
US10491701B2 (en) Interconnect method for implementing scale-up servers
TWI388987B (zh) 背板互連系統,背板互連方法,電腦程式產品,積體電路,及包含它們的電信設備
CN113692620A (zh) 多列交错dimm布局和路由拓扑
WO2024066456A1 (zh) 服务器
Samayoa et al. A survey on FPGA-based heterogeneous clusters architectures
CN216352292U (zh) 服务器主板及服务器
US11051422B2 (en) Modular server design
CN217034655U (zh) 一种双路服务器
KR200468678Y1 (ko) Cpu카드와 저장설비를 공용하는 구조의 고집적 컴퓨터 시스템
Okafor et al. Cloud Based Datacenter Network Acceleration Using FPGA for Data-Offloading
Vogt et al. IBM BladeCenter QS22: Design, performance, and utilization in hybrid computing systems
US20080270666A1 (en) Removable active communication bus
Shvachych et al. High-performance multiprocessor systems in solving problems with expanding computing area

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20200708

PD4A Correction of name of patent owner