Жидкостное охлаждение предлагает значительные преимущества по сравнению с традиционным воздушным охлаждением, особенно для сред с высокой плотностью вычислений. Эффективно рассеивая тепло от процессоров, жидкостное охлаждение может снизить энергопотребление, понизить рабочие температуры и повысить общую производительность системы. Система SmartPlate от JetCool — это отличная отправная точка для автономного жидкостного охлаждения с замкнутым контуром, особенно для сред, где полный жидкостный контур невозможен.

Добавление замкнутых контуров к серверам вычислений и GPU — не новая технология; мы видели замкнутые контуры во многих плотных серверных платформах, таких как Dell, HPE и Lenovo. Эта технология хороша тем, что устраняет необходимость в сложных модификациях инфраструктуры, снижая первоначальные затраты и текущие расходы на обслуживание. Преимущества систем с замкнутым контуром не так значительны, как у полного контура с CDU и водой из системы охлаждения здания, но они все же предлагают множество преимуществ в плане энергоэффективности.

JetCool — это название, которое мы видели на выставках, таких как SuperCompute, а совсем недавно — на Dell Tech World в мае. Они привлекают внимание как решение для высокопроизводительных рабочих нагрузок, основанных как на CPU, так и на GPU. JetCool поддерживает широкий спектр процессоров Intel и AMD, а также GPU, таких как NVIDIA H100, в сокетных и дополнительных картах. JetCool также выпустила своих инженеров для работы с новыми платформами, такими как GB200 Superchip и процессоры следующего поколения.

Система JetCool SmartPlate теперь доступна по всему миру через Dell и ее партнеров по каналам сбыта, которые предлагают комплексное глобальное сервисное обслуживание, поддержку и гарантийное покрытие. Добавление JetCool к серверу увеличивает стоимость базовой конфигурации сервера примерно на 10%.

Чтобы лучше понять, как работает система, JetCool прислала нам свою систему Dell PowerEdge R760 с замкнутым контуром для обзора.

В чем отличие JetCool?

Запатентованная технология микроконвекционного охлаждения JetCool направляет струи жидкости на горячие точки, обеспечивая превосходный теплообмен и эффективность охлаждения по сравнению с традиционными методами. Это направленное жидкостное охлаждение также повышает эффективность: Jetcool заявляет о снижении энергопотребления на охлаждение до 50% и общем снижении энергопотребления почти на 18%. Это решение визуально похоже на другие системы жидкостного охлаждения с замкнутым контуром, но SmartPlates от JetCool имеют решающее значение.

 

Диаграмма системы SmartPlate от Jetcool

Струи жидкости в системе SmartPlate направляют охлаждающую жидкость на горячие точки кристалла, перемещая тепло более эффективно, чем пассивный поток. Эффективность этого решения для охлаждения позволяет системе Jetcool работать с охлаждающей жидкостью более высокой температуры, сохраняя при этом высокую производительность. В свою очередь, эта эффективность охлаждения влияет на энергоэффективность охлаждения, а благодаря сниженным требованиям к воздушному потоку снижается не только температура процессора, но и всего центра обработки данных. Снижение температуры центра обработки данных может сократить текущие эксплуатационные расходы всего объекта.

Большинство поставщиков центров обработки данных строят свои объекты в соответствии с рекомендациями Американского общества инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE), следуя стандартам A1-A4. Эти стандарты устанавливают рекомендуемый температурный диапазон от 18°C до 27°C для центров обработки данных с воздушным охлаждением. С более высокопроизводительными компонентами и вычислительными задачами с более высоким спросом новые серверы с высокой плотностью выделяют больше тепла. Это создает трудности для центров обработки данных, поскольку новые стандарты H1 ASHRAE предписывают охлаждать среду до диапазона от 18°C до 22°C. Это ставит перед выбором: модернизировать возможности охлаждения всего объекта (что увеличивает энергопотребление и эксплуатационные расходы) или установить систему жидкостного охлаждения для всего объекта. Любой из этих вариантов влечет за собой огромные первоначальные затраты. Именно здесь система JetCool стремится помочь переместить охлаждение внутрь корпуса сервера и снизить необходимость снижения температуры воздушного охлаждения, сохраняя потребности в рамках типичных руководств ASHRAE A1-A4 при минимизации влияния на эксплуатационные расходы.

Еще одна область, в которой системы JetCool SmartPlate помогают улучшить ситуацию, — это шумовое загрязнение. Благодаря решению SmartPlate системы могут работать на 13 дБА тише за счет снижения скорости вращения вентиляторов корпуса. Эта более тихая работа снижает шумовое загрязнение объекта и может помочь уменьшить вибрацию от оборудования. JetCool утверждает, что это снижение на 13 дБА снижает шум объекта до 4 раз. Их исследование R760 показало, что уровень шума составлял 77,8 дБА при системе с воздушным охлаждением, а система JetCool SmartPlate работала на уровне 64,4 дБА.

Еще одним значительным преимуществом JetCool является простота развертывания, поскольку их решение не требует ничего особенного. Развертывание решения JetCool имеет значительно более низкие затраты на развертывание и обслуживание, чем система DLC в центре обработки данных — дополнительное внешнее оборудование, сантехника, обслуживание или затраты на установку не требуются. Автономная система JetCool может стать значительным преимуществом для повышения эффективности использования той же площади, экономя время перед переходом к полному жидкостному охлаждению с более высокопроизводительными компонентами.

Разбор оборудования JetCool

JetCool поддерживает платформы с процессорами Intel Xeon 4-го и 5-го поколений и EPYC 4-го поколения. Номинальная TDP для этих систем составляет до 850 Вт в корпусе 1U или до 1200 Вт в корпусе 2U. Система JetCool поддерживает диапазон температуры входящего воздуха от 13°C до 35°C. Как отмечалось, JetCool будет поддерживать больше чипов и GPU, и работа над NVIDIA GB200 уже ведется.

Эта конкретная платформа, предоставленная JetCool, построена на платформе Dell Poweredge R760; спецификации следующие.

Ниже приведена фотография платформы R760, которую прислал нам Jetcool. Ее компоненты хорошо видны, а задокументированные изображения и производительность JetCool соответствуют тому, что мы видели в нашей лаборатории.

Ниже приведена фотография, предоставленная JetCool, показывающая компоновку компонентов в их решении SmartPlate; те, кто не знаком с жидкостным охлаждением, увидят несколько дополнительных частей, таких как радиатор, насосы и резервуар.

На фотографии ниже показаны насос, контроллер насоса и холодные пластины. Холодные пластины JetCool довольно тонкие для того, насколько хорошо они охлаждают по сравнению с другими решениями.

Как указано выше, этот предмет странной формы в центре системы — резервуар для охлаждающей жидкости. Этот резервуар не очень большой, но он хорошо справляется со своей задачей. Весь контур вмещает около 10 унций жидкости и не требует обслуживания или дозаправки в течение гарантийного срока службы сервера.

Важно также отметить в конструкции, что даже при расположении радиатора близко к вентиляторам, через корпус проходит достаточно воздушного потока к задней части системы. На фотографии выше трудно разглядеть, но также есть зазор для подачи воздуха к DRAM под радиатором.

Dell PowerEdge R760 с производительностью JetCool

Обычно мы тестируем такую систему с радиаторами воздушного охлаждения, затем устанавливаем комплект жидкостного охлаждения, чтобы получить наши показатели производительности, или сравниваем жидкостный контур с теми же процессорами в сервере с воздушным охлаждением. Ни один из этих вариантов на этот раз не был хорошим выбором, поэтому мы попросили JetCool помочь с их собственным тестированием.

JetCool предоставила данные о своей платформе R760 во внутренних тестах. Эти цифры сравнивают скорость вращения вентиляторов, температуру окружающей среды, максимальную температуру процессора и общее энергопотребление сервера. Они показывают, что даже ниже максимальной мощности системы JetCool Smartplate она достигает максимальной производительности решения с воздушным охлаждением с некоторым запасом.

Производительность воздушного охлаждения

Производительность JetCool SPS

Учитывая разницу в энергопотреблении вентиляторов и системы JetCool Smartplate, процессоры в этой системе работали при 62°C, система с воздушным охлаждением работала на максимальной скорости вентиляторов, а JetCool SPS работала только на 60%. Разница в эффективности охлаждения, обеспечиваемая SPS от JetCool, привела к снижению энергопотребления на 214 Вт при той же производительности. Это снижение мощности, умноженное всего на пять серверов, составляет примерно 1 кВт сэкономленной энергии.

Мы не полагались исключительно на данные JetCool. Следующая таблица показывает стабильность температуры решения JetCool при постоянной рабочей нагрузке из наших тестов. Мы запускали Y-Cruncher на извлечении цифр Pi BBP до 10 триллионов цифр, что заняло около 40 минут.

В этом тесте мы наблюдали снижение тактовой частоты ядра до 2300 МГц под нагрузкой, которая оставалась стабильной, за исключением нескольких всплесков. Здесь система SmartPlate протестирована на поддержание стабильной температуры, и она не разочаровала. В течение примерно 40 минут постоянной нагрузки температура процессора достигала пика в 60°C и только достигала 61°C, а затем быстро снижалась после теста.

Производительность в бенчмарках

Помимо тепловых испытаний, мы провели наш стандартный набор тестов для серверов. У нас нет хороших сравнений для выделенных жидкостных процессоров Intel серии «Q», но мы представляем данные здесь, если это поможет тем, кто сравнивает производительность этой сборки с другими, которые мы рассматривали в прошлом.

• Dell PowerEdge R760
• Процессоры: 2x Intel Xeon Platinum 8470Q (по 52 ядра, 104 потока)
• Память: 768 ГБ (12x64 ГБ) DDR5 5600 МГц

Cinebench 2024

В тесте Maxon Cinebench 2024 мы получили 5215 баллов в многоядерном режиме, 71 балл в одноядерном режиме и соотношение MP 73,53x.

Cinebench R23

В тесте Maxon Cinebench R23 мы получили 105 569 баллов в многоядерном режиме, 1252 балла в одноядерном режиме и соотношение MP 84,32x.

Blender 4.0 CPU

В тесте Blender 4.0 CPU платформа JetCool R760 показала результаты 948,049 для Monster, 630,348 для Junkshop и 476,018 для Classroom.

Blender 4.1 CPU

В тесте Blender 4.1 CPU платформа JetCool R760 показала результаты 930,390 для Monster, 644,007 для Junkshop и 473,364 для Classroom.

Geekbench 6 CPU

В Geekbench 6 CPU платформа JetCool R760 показала одноядерный результат 1814 и многоядерный результат 19076.

Blackmagic RAW Speedtest

В тесте Blackmagic Raw Speedtest мы получили 141 FPS от двух процессоров Xeon Platinum 8470Q.

Blackmagic Disk Speedtest

В тесте Blackmagic Disk Speedtest мы тестируем конфигурацию из четырех SSD NVME Dell в RAID0.

Y-Cruncher

y-cruncher — это многопоточная и масштабируемая программа, которая может вычислять число Пи и другие математические константы до триллионов знаков. С момента своего запуска в 2009 году она стала популярным приложением для тестирования и стресс-тестирования среди оверклокеров и энтузиастов аппаратного обеспечения. Здесь платформа JetCool показала впечатляющую скорость во всех категориях.

7-Zip

Популярная утилита 7-Zip включает в себя тесты памяти и процессора, которые мы используем для тестирования производительности.

UL Procyon 2.7 AI Computer Vision

В UL Procyon AI Computer Vision мы наблюдали довольно быстрое время инференса до REAL-ESRGAN. Мы также получили общий балл 141. В этом тесте для инференса использовались процессоры Xeon Platinum 8470Q.

Для сравнения с другими машинами UL объявила, что все версии Procyon до 2.7 не будут сопоставимы из-за разных систем подсчета очков.

Заключение

Благодаря запатентованным конфигурациям сопел JetCool, локализованному охлаждению и сниженным требованиям к давлению, JetCool SmartPlates демонстрируют свое преимущество перед традиционными радиаторами. Кроме того, это решение не является сложным, и у JetCool есть несколько интересных решений, таких как запатентованные струи в SmartPlates для подачи охлаждающей жидкости в горячие точки. Однако, по сути, если бы у вашей организации был R760 с JetCool, вы бы не узнали об этом снаружи, если бы не заметили тихую работу по сравнению с серверами с воздушным охлаждением.

В 2023 году JetCool опубликовала исследование с Sabey Data Centers для оценки различий в эффективности, протестировав Poweredge R740XDs. «В оценке Sabey сервер, охлаждаемый системой SmartPlate, показал снижение энергопотребления на 13,5% по сравнению с серверами с воздушным охлаждением. Поскольку охлаждающая жидкость системы поглощает тепло непосредственно от электронных компонентов через холодные пластины, отпадает необходимость в интенсивном воздушном потоке, что значительно снижает скорость вращения вентиляторов». Sabey также отметила множество других преимуществ, включая более низкую температуру выхлопа и меньшую нагрузку на воздушные кондиционеры. Остальную часть исследования Sabey можно найти здесь.

Гонка за центрами обработки данных уже идет, чтобы справиться с огромными требованиями к энергопотреблению современных серверов благодаря огромной мощности процессоров и графических процессоров, и жидкостное охлаждение — единственное решение для удовлетворения этих потребностей. К счастью, существует множество вариантов жидкостного охлаждения, но не все могут или хотят устанавливать полный жидкостный контур с подключением к системе охлаждения здания, использовать резервуар для погружения или управлять сложными химикатами. Для тех, кто хочет получить преимущества жидкостного охлаждения уже сегодня без сложностей, JetCool является отличной альтернативой.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com

Основное направление деятельности:
Дистрибуция ИКТ-продукции/Системная интеграция и услуги/Инфраструктурные решения
Обладая более чем 20-летним опытом дистрибуции ИТ-продукции, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
«Используя технологии для построения интеллектуального мира» Ваш надежный поставщик услуг ИКТ-продукции!