RU2632400C1 - Вычислительный кластер с погружной системой охлаждения - Google Patents

Abstract

Изобретение относится к области вычислительной техники. Техническим результатом является повышение производительности вычислительного кластера на единицу площади, уменьшение занимаемой площади, повышение пропускной способности сети и обеспечение динамического управления вычислительными узлами и проведения поиска неисправностей в узлах. Для этого предложен вычислительный кластер с погружной системой охлаждения, состоящий из n герметичных резервуаров, заполненных охлаждающей жидкостью, каждый из которых сообщается с жидкостной системой отвода тепла и включает m вычислительных узлов, которые объединены в единую сеть коммутатором, к которому также подключена управляющая ЭВМ, при этом электронные компоненты подключены к внешнему источнику бесперебойного питания, причем n герметичных емкостей расположены над источниками бесперебойного питания и комплектом сетевых коммутаторов, при этом m вычислительных узлов каждой из n емкостей через герметичные сетевые переходники, расположенные на поверхности емкостей, соединены с каждым коммутатором из комплекта сетевых коммутаторов, к некоторым из которых подключена управляющая ЭВМ, при этом жидкостная система отвода тепла включает систему управления. 13 з.п. ф-лы, 4 ил.

Description

Изобретение относится к области вычислительной техники, а именно к вычислительным кластерам с жидкостными погружными системами отвода тепла открытого типа, предназначенными для проведения трудоемких вычислений.

Из уровня техники известна СИСТЕМА ДЛЯ ОХЛАЖДЕНИЯ КОМПОНЕНТОВ КОМПЬЮТЕРА [патент США №7609518], которая включает серверную стойку с вычислительными узлами, расположенными в индивидуальных корпусах, которые состоят из жестких дисков, дисплея, материнских плат с памятью и испарительного змеевика. Материнская плата и испарительный змеевик помещены в индивидуальный герметичный контейнер, в который подается охлажденная до температуры -30°C охлаждающая жидкость. Каждый контейнер соединен снаружи с охлаждающим модулем, который включает теплоотводящую плату, прилегающую к контейнеру, теплоизоляционный слой, окружающий контейнер, два высушивающих картриджа, расположенных по обе стороны теплоотводящей платы, и два вентилятора, расположенных по обе стороны высушивающих картриджей.

Недостатком аналога является невысокая удельная производительность вычислительного кластера на единицу занимаемой площади, обусловленная большим количеством узлов и элементов системы охлаждения, которые занимают значительную в сравнении с вычислительными узлами площадь.

Наиболее близкой по технической сущности является СЕРВЕРНАЯ ФЕРМА С ИММЕРСИОННОЙ СИСТЕМОЙ ОХЛАЖДЕНИЯ [патент РФ №2496134], состоящая из герметичного резервуара с установленными в нем вычислительными узлами, заполненного охлаждающей жидкостью и снабженного крышкой и сообщающегося посредством трубопровода с насосом и теплообменником, на внутренней стороне большей створки крышки размещен сетевой коммутатор, а в меньшей створке выполнено отверстие для шлейфа или гибкой печатной платы, имеющих на концах разъемы данных, причем гибкая плата или шлейф соединены с одним концом внешнего кабеля передачи данных, другой конец которого подключен к внешнему управляющему устройству, а сетевой коммутатор соединен с одним концом первого кабеля передачи данных, другой конец которого выведен наружу через отверстие в меньшей створке крышки и подключен к внешнему управляющему устройству, при этом электронные компоненты соединены с внешним источником бесперебойного питания.

Недостатком прототипа является невысокая удельная производительность вычислительного кластера на единицу занимаемой площади, обусловленная тем, что внешний источник бесперебойного питания размещен отдельно от резервуаров, при этом для расчета удельной производительности учитывают занимаемую им площадь, также к недостаткам прототипа можно отнести невысокое быстродействие вычислительного кластера обусловленное тем, что управление вычислительными узлами и передача между ними данных осуществляется через один коммутатор.

Техническим результатом изобретения является повышение удельной производительности вычислительного кластера на единицу занимаемой площади, уменьшение занимаемой площади, повышение пропускной способности коммутационной сети, а также обеспечение возможности динамического управления вычислительными узлами и проведения оперативного поиска неисправностей в вычислительных узлах.

Технический результат достигается за счет того, что вычислительный кластер с погружной системой охлаждения, состоящий из n герметичных резервуаров, заполненных охлаждающей жидкостью, каждый из которых сообщается с жидкостной системой отвода тепла и включает m вычислительных узлов, которые объединены в единую сеть коммутатором, к которому также подключена управляющая ЭВМ, при этом электронные компоненты подключены к внешнему источнику бесперебойного питания, отличается тем, что n герметичных емкостей расположены над источниками бесперебойного питания и комплектом сетевых коммутаторов, при этом m вычислительных узлов каждой из n емкостей через герметичные сетевые переходники, расположенные на поверхности емкостей, соединены с каждым коммутатором из комплекта сетевых коммутаторов, к некоторым из которых подключена управляющая ЭВМ, при этом жидкостная система отвода тепла включает систему управления.

В частности, комплект сетевых коммутаторов включает высокоскоростной коммутатор, коммутатор мониторинга технического состояния вычислительных узлов, коммутатор сети данных и коммутатор управления вычислительными узлами.

В частности, управляющая ЭВМ подключена к коммутатору мониторинга технического состояния вычислительных узлов, коммутатору сети данных и коммутатору управления вычислительными узлами.

В частности, высокоскоростной коммутатор выполнен по технологии Infiniband, а коммутатор мониторинга технического состояния вычислительных узлов, коммутатор сети данных и коммутатор управления вычислительными узлами выполнены по технологии Ethernet.

В частности, коммутатор мониторинга технического состояния вычислительных узлов, коммутатор сети данных и коммутатор управления вычислительными узлами конструктивно объединены в один коммутатор с требуемой пропускной способностью. В частности, жидкостная система отвода тепла включает n первичных контуров теплоотвода и один вторичный контур теплоотвода.

В частности, каждый из n первичных контуров сообщается с внутренним пространством соответствующей герметичной емкости и включает фильтр, циркуляционный насос и теплообменник с вторичным контуром теплоотвода.

В частности, вторичный контур теплоотвода включает теплообменник с первичным контуром теплоотвода, два циркуляционных насоса, между которыми расположен расширительный бак и драйкулер, который содержит, по крайней мере, один радиатор и вентилятор.

В частности, система управления отводом тепла содержит комплект датчиков температуры, расположенных в герметичных емкостях, в первичных контурах теплоотвода, во вторичном контуре теплоотвода, в непосредственной близости от емкостей и от расширительного бака, а также датчик температуры наружного воздуха.

В частности, датчики температуры подключены к блоку управления системой отвода тепла, к выходам которого подключены частотные преобразователи, которые подключены к соответствующим электрическим двигателям циркуляционных насосов, также к выходу блока управления подключен трехходовой клапан и, по крайней мере, один вентилятор драйкулера.

В частности, к блоку управления подключен пользовательский интерфейс, который может быть выполнен в виде сенсорной панели.

В частности, к входу блока управления подключены датчики уровня жидкости, которые расположены в герметичных емкостях.

В частности, вычислительные узлы выполнены в виде горизонтально расположенных в герметичных емкостях лезвий, которые содержат блоки питания, материнские платы, процессоры, графические ускорители, оперативную память и накопители информации.

В частности, к управляющей ЭВМ подключена консоль, при этом управляющая ЭВМ и консоль расположены под герметичной емкостью.

Краткое описание чертежей.

На фиг. 1 представлен общий вид вычислительного кластера с погружной системой охлаждения.

На фиг. 2 представлена функциональная схема контуров системы отвода тепла от вычислительных узлов.

На фиг. 3 представлена функциональная схема коммутации вычислительных узлов кластера.

Функциональная схема.

На фиг. 4 представлена функциональная схема системы управления контурами теплоотвода.

На чертежах обозначены: 1 - рама, 2 - резервуары (герметичные емкости), 3 - вычислительные узлы, 4 - плата управления, 5 и 6 - сетевые платы ввода-вывода (интерфейсы или сетевые переходники), 7 - источники бесперебойного питания, 8 - трубопровод, 9 - циркуляционный насос, 10 - фильтр, 11 - теплообменник, 12 - напорный трубопровод, 13 и 14 - циркуляционные насосы, 15 - расширительный бак, 16 - напорный трубопровод, 17 - трехходовой клапан, 18 - теплообменник (драйкулер), 19 и 20 - трубопроводы, 21 - фальшпол, 22 - высокоскоростной коммутатор, 23 - коммутатор мониторинга технического состояния вычислительных узлов, 24 - коммутатор сети данных, 25 - коммутатор управления вычислительными узлами, 26 - управляющая ЭВМ, 27 - консоль, 28 - датчики температуры, 29 - блок управления системой отвода тепла, 30 - частотный преобразователь, 31 - двигатели, 32 - вентилятор, 33 - интерфейс взаимодействия с пользователем, 34 - датчики уровня жидкости.

Осуществление изобретения.

Вычислительный кластер с погружной системой охлаждения содержит (см. Фиг. 1) раму 1, на которой размещены герметичные емкости 2 с вычислительными узлами 3, платой управления 4 и двумя сетевыми переходниками 5 и 6. Под герметичными емкостями 2 размещены источники бесперебойного питания 7.

Технический результат изобретения - повышение удельной производительности вычислительного кластера на единицу занимаемой площади, а также уменьшение занимаемой площади - достигается за счет размещения источников бесперебойного питания 7 под резервуарами 2 с вычислительными узлами 3.

С внутренним пространством каждой из емкостей 2 сообщается первичная система теплоотвода, которая содержит последовательно сообщающиеся отводящий трубопровод 8, циркуляционный насос 9, фильтр 10, теплообменник с вторичным контуром теплоотвода 11 и напорный трубопровод 12.

Теплообменники 11 первичных систем теплоотвода (см. Фиг. 2) сообщаются с вторичной системой теплоотвода, которая включает теплоотводящий трубопровод 12, который сообщается с параллельно установленными двумя циркуляционными насосами 13, 14 и расширительным баком 15, выходы которых подключены к напорному трубопроводу 16. Напорный трубопровод 16 подключен к входу трехходового клапана 17, один из выходов которого через теплообменник 18 сообщен с трубопроводом 19, с которым через трубопровод 20 сообщается другой выход трехходового клапана 17.

Системы теплоотвода размещены под фальшполом 21.

Комплект коммутаторов (см. Фиг. 3) расположен под герметичными емкостями 2 и состоит из высокоскоростного коммутатора 22, коммутатора мониторинга технического состояния вычислительных узлов 23, коммутатора сети данных 24 и коммутатора управления вычислительными узлами 25. Вычислительные узлы 3 емкостей 2 через сетевые переходники 6 соединены с высокоскоростным коммутатором 22, через платы сетевые переходники-5 соединены с коммутаторами 23, 24 и 25, которые соединены с управляющей ЭВМ 26, к которой подключена консоль 27.

Датчики температуры 28 (см. Фиг. 4) подключены к входу блока управления системами отвода тепла 29, выходы которого подключены к частотным преобразователям 30 двигателей 31 циркуляционных насосов 9, 13 и 14, а также к трехходовому клапану 17 и вентиляторам 32 драйкулера 18. К блоку управления 29 подключен интерфейс взаимодействия с пользователем 33. К входу блока управления 29 также подключены датчики уровня жидкости 34 в емкостях 2.

Коммутаторы 23-25 объединяет вычислительные узлы 3 в единую вычислительную систему, а также обеспечивает передачу сигналов от ЭВМ 26 к вычислительным узлам 3.

Консоль 27 включает монитор, клавиатуру, мышь, а также является периферийным устройством и предназначена для отображения полученных управляющим сервером 26 данных от вычислительных узлов 3, ввода команд для передачи сигналов управления от ЭВМ 26 к вычислительным узлам 3 и вывода информации о техническом состоянии вычислительных узлов 3.

Интерфейс управления 4 предназначен для работы с вычислительными узлами 3 и представляет панель с двумя рядами кнопочных выключателей, набором графических и цветовых индикаторов.

Преобразователи частоты 30 предназначены для прецизионного управления скоростью двигателей 31.

Система первичного теплоотвода предназначена для отвода охлаждающей жидкости из емкостей 2 в теплообменники 11 и подачи ее в корпус емкостей 2, для охлаждения вычислительных узлов 3.

Конструктивно система первичного теплоотвода у всех емкостей 2 идентична.

Система первичного теплоотвода имеет магистраль заправки и отдельный заправочный насос (на чертежах не показаны).

Система вторичного контура теплоотвода предназначена для охлаждения жидкости первичного контура теплоотвода и отвода тепла в атмосферу.

Вычислительный кластер с погружной системой охлаждения используется следующим образом.

Первоначально в резервуарах 2 устанавливают вычислительные узлы (устройства) 3, а также другие необходимые для работы системы электронные устройства. После этого резервуары 3 и первичный теплоотводящий контур заполняют диэлектрической теплоотводящей жидкостью, одновременно второй теплоотводящий контур заполняют другой теплоотводящей жидкостью, например антифризом с низкой температурой кристаллизации.

После выполнения указанных подготовительных процедур вычислительные узлы 3 через интерфейс 6 подключают к высокоскоростному коммутатору 22, а через интерфейсы 5 подключают к коммутатору мониторинга технического состояния вычислительных узлов 23, коммутатору сети данных 24 и к коммутатору управления вычислительными узлами 25, к которому также подключают управляющую ЭВМ 26.

После этого электронные компоненты вычислительного кластера подключают к источнику бесперебойного питания 7.

Затем включают вычислительные узлы 3, при этом электронные компоненты вычислительных устройств, например процессоры и графические ускорители, начинают выделять тепло, которое воспринимает теплоотводящая жидкость первичного контура теплоотвода, при этом ее температура начинает расти, и при достижении температуры жидкости заданного предела включают циркуляционные насосы 9 и 13.

После этого циркуляционные насосы 9 начинают прокачивать жидкость через первичные теплоотводящие контуры резервуаров 2. При этом жидкость проходит через фильтры 10, в которых осаждаются находящиеся в ней примеси и взвеси, которые могли попасть в жидкость при открывании крышки соответствующего резервуара 2. После этого потоки жидкости проходят через теплообменники 11. Внутри теплообменников 11 тепло от системы первичного теплообмена через, установленные внутри радиаторы, передается жидкости системы вторичного контура теплоотвода. При этом циркуляционный насос 13 прокачивает теплоноситель второго контура через драйкулер 18, который рассеивает полученное от теплоносителя тепло в окружающую среду.

Для выполнения расчетных задач вычислительным кластером оператор через консоль 27 вводит вычислительную задачу, которую управляющая ЭВМ 26 разбивает на подзадачи (распараллеливает), после чего через коммутатор сети данных 24 передает их вычислительным узлам 3. После этого вычислительные узлы 3 начинают выполнять вычислительные подзадачи, при этом для взаимного информационного обмена между собой используют высокоскоростной коммутатор 22.

Во время работы вычислительных узлов 3 управляющая ЭВМ 26 через коммутатор мониторинга осуществляет диагностику технического состояния вычислительных узлов 3, при этом в случае выхода из строя одного или нескольких компонентов какого-либо узла ЭВМ 26 через консоль 27 сигнализирует об этом оператору, который устранит неисправность или произведет горячую замену вычислительного узла 3.

Технический результат изобретения - повышение пропускной способности коммутационной сети, а также обеспечение возможности динамического управления вычислительными узлами - достигается за счет использования комплекта коммутаторов состоящего из высокоскоростного коммутатора 22, коммутатора сети данных 24 и управляющего коммутатора 25, которые позволяют распределить информационные потоки по категориям и не допустить возможность их взаимного влияния друг на друга. Например, при решении узлами 3 вычислительной задачи и высокой загруженности коммутатора 22 управляющая ЭВМ через коммутатор 25 может осуществлять управление узлами 3, а через коммутатор сети данных 24 отдельно собирать оперативную информацию с узлов 3 о процессе выполнения вычислительной задачи.

Для горячей замены какого-либо вычислительного узла 3 оператор может ввести через консоль 27 соответствующую команду в управляющую ЭВМ 26, которая через коммутатор управления 23 отключит данный вычислительный узел 3. Также оператор может отключить вычислительный узел 3 через плату управления 4, на которой расположены кнопки включения/выключения узлов 3 соответствующего резервуара 2. При этом на плате управления 4 погаснут индикаторные огни состояния работы вычислительного узла 3. После этого оператор отключает вычислительный узел 3 от питания, коммутаторов 22-26 и производит его замену на исправный вычислительный узел.

Технический результат изобретения - обеспечение возможности проведения оперативного поиска неисправностей в вычислительных узлах 3 - достигается за счет использования в комплекте коммутаторов отдельного коммутатора 23 для мониторинга технического состояния элементов узлов 3 и вывода информации о техническом состоянии управляющей ЭВМ 26 оператору на консоль 27.

Конструктивно коммутатор мониторинга 23, коммутатор сети данных 24 и коммутатор управления вычислительными узлами могут быть выполнены на одном сетевом коммутаторе с необходимой пропускной способностью.

Для работы системы управления теплоотводом оператор через интерфейс взаимодействия с пользователем 33 задает допустимый диапазон температуры жидкости в резервуарах 2 путем ввода указанной информации в блок управления 29 системой отвода тепла.

При работе вычислительных узлов 3 блок управления 29 собирает данные от датчиков температуры 28, которые расположены в емкостях 2, в первичных контурах теплоотвода, во вторичном контуре теплоотвода, в непосредственной близости от емкостей 2 и от расширительного бака, а также на улице. В зависимости от соотношения температур с датчиков 28 блок управления 29 для задания необходимых потоков жидкостей через частотные преобразователи 30 регулирует частоту вращения двигателей 31 циркуляционных насосов 9 и 13. При эксплуатации вычислительного кластера зимой в условии отрицательных внешних температур воздуха вокруг драйкулера 18 блок управления 29 переводит запорный трехходовой клапан 17 и направляет поток жидкости вторичного контура по трубопроводам 20 и 19 для недопущения охлаждения жидкости в резервуарах 2 ниже предельно допустимого диапазона температур. При эксплуатации вычислительного кластера летом в условии высоких температур окружающего воздуха, когда разница между верхней предельно допустимой температуры жидкости в резервуаре 2 и температурой окружающего драйкулер 18 воздуха мала, тогда блок управления включает вентиляторы 32 драйкулера 18, которые улучшают теплообмен между радиаторами и окружающей средой.

Если в каком-либо резервуаре 2 уровень жидкости снизится ниже предельно допустимого значения, тогда датчик уровня 34 соответствующего резервуара 2 передаст об этом сигнал в блок управления 29, который выведет соответствующее сообщение на интерфейс 33 взаимодействия с оператором, который поднимет уровень жидкости до необходимого уровня.

В случае выхода из строя циркуляционного насоса 13 блок управления 29 оперативно включит в работу резервный циркуляционный насос 14 путем подачи через частотный преобразователь 30 соответствующего сигнала его двигатель 31, а также выведет информационное сообщение на интерфейс 33.

Claims (14)

1. Вычислительный кластер с погружной системой охлаждения, состоящий из n герметичных резервуаров, заполненных охлаждающей жидкостью, каждый из которых сообщается с жидкостной системой отвода тепла и включает m вычислительных узлов, которые объединены в единую сеть коммутатором, к которому также подключена управляющая ЭВМ, при этом электронные компоненты подключены к внешнему источнику бесперебойного питания, отличающийся тем, что n герметичных емкостей расположены над источниками бесперебойного питания и комплектом сетевых коммутаторов, при этом m вычислительных узлов каждой из n емкостей через герметичные сетевые переходники, расположенные на поверхности емкостей, соединены с каждым коммутатором из комплекта сетевых коммутаторов, к некоторым из которых подключена управляющая ЭВМ, при этом жидкостная система отвода тепла включает систему управления.

2. Вычислительный кластер по п. 1, отличающийся тем, что комплект сетевых коммутаторов включает высокоскоростной коммутатор, коммутатор мониторинга технического состояния вычислительных узлов, коммутатор сети данных и коммутатор управления вычислительными узлами.

3. Вычислительный кластер по п. 2, отличающийся тем, что управляющая ЭВМ подключена к коммутатору мониторинга технического состояния вычислительных узлов, коммутатору сети данных и коммутатору управления вычислительными узлами.

4. Вычислительный кластер по п. 2, отличающийся тем, что высокоскоростной коммутатор выполнен по технологии Infiniband, а коммутатор мониторинга технического состояния вычислительных узлов, коммутатор сети данных и коммутатор управления вычислительными узлами выполнены по технологии Ethernet.

5. Вычислительный кластер по п. 2, отличающийся тем, что коммутатор мониторинга технического состояния вычислительных узлов, коммутатор сети данных и коммутатор управления вычислительными узлами конструктивно объединены в один коммутатор с требуемой пропускной способностью.

6. Вычислительный кластер по п. 1, отличающийся тем, что жидкостная система отвода тепла включает n первичных контуров теплоотвода и один вторичный контур теплоотвода.

7. Вычислительный кластер по п. 6, отличающийся тем, что каждый из n первичных контуров сообщается с внутренним пространством соответствующей герметичной емкости и включает фильтр, циркуляционный насос и теплообменник с вторичным контуром теплоотвода.

8. Вычислительный кластер по п. 6, отличающийся тем, что вторичный контур теплоотвода включает теплообменник с первичным контуром теплоотвода, два циркуляционных насоса, между которыми расположен расширительный бак и драйкулер, который содержит, по крайней мере, один радиатор и вентилятор.

9. Вычислительный кластер по п. 1, отличающийся тем, что система управления отводом тепла содержит комплект датчиков температуры, расположенных в герметичных емкостях, в первичных контурах теплоотвода, во вторичном контуре теплоотвода, в непосредственной близости от емкостей и от расширительного бака, а также датчик температуры наружного воздуха.

10. Вычислительный кластер по п. 9, отличающийся тем, что датчики температуры подключены к блоку управления системой отвода тепла, к выходам которого подключены частотные преобразователи, которые подключены к соответствующим электрическим двигателям циркуляционных насосов, также к выходу блока управления подключен трехходовой клапан и, по крайней мере, один вентилятор драйкулера.

11. Вычислительный кластер по п. 9, отличающийся тем, что к блоку управления подключен пользовательский интерфейс, который может быть выполнен в виде сенсорной панели.

12. Вычислительный кластер по п. 9, отличающийся тем, что к входу блока управления подключены датчики уровня жидкости, которые расположены в герметичных емкостях.

13. Вычислительный кластер по п. 1, отличающийся тем, что вычислительные узлы выполнены в виде горизонтально расположенных в герметичных емкостях лезвий, которые содержат блоки питания, материнские платы, процессоры, графические ускорители, оперативную память и накопители информации.

14. Вычислительный кластер по п. 1, отличающийся тем, что к управляющей ЭВМ подключена консоль, при этом управляющая ЭВМ и консоль расположены под герметичной емкостью.

Images