Спецификации Dell PERC12 H965i и PERC13 H975i

Контроллер PERC13 H975i Front в серверах Dell PowerEdge разработан для бесшовной интеграции в архитектуру системы. В отличие от традиционных дополнительных карт, занимающих задние слоты PCIe, H975i подключается непосредственно к задней панели накопителей и взаимодействует с передними разъемами MCIO на материнской плате через выделенные интерфейсы PCIe 5.0. Эта интегрированная конструкция сохраняет задние слоты PCIe для высокопроизводительных GPU и дополнительного расширения PCIe, значительно сокращая длину кабелей. Это способствует поддержанию целостности сигнала, делая систему более надежной и простой в обслуживании. Результатом является более чистая внутренняя компоновка и улучшенный воздушный поток для плотных, вычислительно интенсивных развертываний.

H975i реализует комплексную архитектуру безопасности, охватывающую от аттестации аппаратного обеспечения на уровне кремния до полноспектрального шифрования данных в месте их хранения с помощью SED-накопителей. В основе этой системы лежит аппаратный корень доверия, который устанавливает неизменяемую цепочку криптографической проверки от внутреннего загрузочного ПЗУ до каждого компонента прошивки, гарантируя, что на контроллере может выполняться только аутентифицированная прошивка, сертифицированная Dell. Эта аппаратная безопасность распространяется на реализацию протокола безопасности и модели данных (SPDM), где каждый контроллер содержит уникальный сертификат идентификации устройства, позволяющий iDRAC выполнять проверку подлинности в реальном времени. Контроллер распространяет криптографическую защиту за пределы традиционных сценариев хранения данных, включая кэш-память. Он хранит ключи шифрования в защищенных областях памяти, недоступных для неавторизованной прошивки. В результате конфиденциальные данные остаются защищенными как при хранении на накопителях, так и при активной обработке в кэше.

Защита питания в H975i является еще одной значительной эволюцией по сравнению с традиционными системами с резервным питанием от батарей благодаря интеграции суперконденсатора. Суперконденсатор обеспечивает мгновенную подачу питания во время неожиданных сбоев питания, гарантируя зашифрованное и полное сбрасывание кэша в энергонезависимое хранилище, где данные остаются защищенными навсегда. Кроме того, в отличие от систем на базе аккумуляторов, которым требуется 4-8 часов для циклов обучения, суперконденсатор H975i завершает свой прозрачный цикл обучения за 5-10 минут без какого-либо снижения производительности во время калибровки. Эта конструкция устраняет накладные расходы на обслуживание и проблемы деградации, присущие аккумуляторным решениям, обеспечивая при этом превосходную надежность для защиты критически важных данных.

Интегрированный мониторинг и управление

RAID-контроллер Dell PERC13, как и многие RAID-решения Dell, может управляться и контролироваться различными способами, включая загрузку платформы через системные настройки в BIOS, через веб-интерфейс iDRAC, утилиту PERC12, а также Dell OpenManage UI и CLI.

Управление контроллером iDRAC

При просмотре интерфейса управления iDRAC вкладка «Контроллеры» предлагает обзор аппаратного обеспечения хранилища сервера. Наряду с картой BOSS вы увидите двойные контроллеры PERC H975i с информацией о версиях прошивки, кэш-памяти и состоянии аккумулятора. Этот обзор позволяет быстро проверить готовность и конфигурацию контроллеров без необходимости доступа к BIOS или использования инструментов CLI.

Вкладка «Виртуальные диски» в iDRAC показывает созданные массивы хранения данных, включая их уровень RAID, размер и политику кэширования. В этой системе перечислены две группы RAID-10, все построены на SSD. Из этого представления администраторы могут подтвердить, что тома находятся в сети, создать новые виртуальные диски или использовать меню «Действия» для настройки или удаления существующих конфигураций.

Утилита настройки RAID-контроллера

Приведенное выше изображение показывает пример входа в утилиту настройки системы PERC H975i Front Configuration Utility на платформе PowerEdge R7715. Из этого интерфейса вы можете управлять всеми ключевыми настройками RAID-контроллера, включая управление конфигурацией, управление контроллером, управление устройствами и многое другое. Эта утилита предоставляет упрощенный способ настройки виртуальных дисков и мониторинга аппаратных компонентов непосредственно во время процесса загрузки платформы.

После выбора уровня RAID мы переходим к выбору физических дисков для массива. В этом примере перечислены все доступные NVMe SSD и отмечены как RAID-совместимые. Мы выбираем несколько NVMe-дисков Dell DC объемом 3,2 ТБ из пула неконфигурированной емкости. Фильтры, такие как тип носителя, интерфейс и размер логического сектора, помогают сузить выбор. После выбора нужных дисков мы можем нажать «ОК», чтобы завершить выбор дисков и продолжить создание виртуального диска.

Перед завершением создания виртуального диска система отображает предупреждение, подтверждающее, что все данные на выбранных физических дисках будут безвозвратно удалены. Чтобы продолжить, мы ставим галочку «Подтвердить» и выбираем «Да», чтобы авторизовать операцию. Эта мера предосторожности помогает предотвратить случайную потерю данных во время процесса создания RAID.

После создания виртуального диска он появляется в меню «Управление виртуальными дисками». В этом примере наш новый виртуальный диск RAID 5 отображается с емкостью 43,656 ТБ и статусом «Готов». Всего за несколько простых шагов хранилище настроено и готово к использованию.

Хотя утилита настройки BIOS PERC и интерфейс iDRAC предлагают интуитивно понятные параметры для локального и удаленного управления, Dell также предоставляет мощный инструмент командной строки под названием PERC CLI (perccli2). Эта утилита поддерживает Windows, Linux и VMware, что делает ее идеальной для написания сценариев, автоматизации или управления контроллерами PERC в безголовых средах. Dell также предоставляет подробную документацию по установке и использованию команд PERC CLI на своем сайте поддержки.

Тестирование производительности Dell PERC13

Прежде чем приступить к тестированию производительности, мы подготовили нашу среду, используя платформу Dell PowerEdge R7715, настроенную с двойными передними контроллерами PERC H975i. Они были сопряжены с тридцатью двумя NVMe-накопителями Dell объемом 3,2 ТБ, каждый из которых рассчитан на последовательное чтение до 12 000 МБ/с и последовательную запись до 5 500 МБ/с с использованием блоков размером 128 КБ. Эта высокопроизводительная основа позволяет нам расширить возможности пропускной способности контроллера PERC13 и оценить поведение RAID в масштабе.

• Платформа:Dell PowerEdge R7715
• ЦП:AMD EPYC 9655P 96-ядерный процессор
• ОЗУ: 768 ГБ (12 x 64 ГБ) DDR5-5200 ECC
• RAID-контроллер: 2 x PERC13 H975i
• Хранилище: 32 x 3,2 ТБ NVMe-накопителей Dell CD8P
• PCIe-ускорители:2 x NVIDIA H100 GPU

NVIDIA Magnum IO GPU Direct Storage: ИИ встречается с хранилищем

Современные конвейеры ИИ часто ограничены вводом-выводом, а не вычислениями. Пакеты данных, вложения и контрольные точки должны передаваться из хранилища в память GPU достаточно быстро, чтобы загрузить ускорители. Magnum IO GDS от NVIDIA (через cuFile) обходит традиционный путь «SSD → ОЗУ ЦП → GPU» и позволяет данным DMA напрямую передаваться из NVMe в память GPU. Это устраняет накладные расходы на буфер обмена ЦП, снижает задержку и делает пропускную способность более предсказуемой под нагрузкой, что приводит к более высокому использованию GPU, сокращению времени эпохи и более быстрым циклам сохранения/загрузки контрольных точек.

Наш тест GDSIO предназначен для измерения пути передачи данных от хранилища к GPU, изменяя размеры блоков и количество потоков, чтобы показать, насколько быстро NVMe-набор на базе PERC13 может передаваться в память H100. С каждым H975i на канале PCIe 5.0 x16 (теоретически ~64 ГБ/с на контроллер, однонаправленно) два контроллера устанавливают совокупный потолок около ~112 ГБ/с; где наши кривые выравниваются, вы узнаете, ограничены ли вы каналом или носителем. Для практиков читайте графики как прокси для реальных рабочих нагрузок: большие последовательные чтения соответствуют потоковой передаче наборов данных и восстановлению контрольных точек; большие последовательные записи соответствуют сохранению контрольных точек; меньшие передачи с параллелизмом отражают перетасовку загрузчика данных и предварительную выборку. Короче говоря, сильное масштабирование GDSIO означает меньше задержек GPU и более стабильную производительность как во время обучения, так и во время высокопроизводительного вывода.

Последовательная пропускная способность чтения GDSIO

Начиная с последовательного чтения, пропускная способность была скромной при меньших размерах блоков и меньшем количестве потоков, начиная примерно с 0,3 ГиБ/с при блоках 8K с одним потоком. Производительность резко возросла между блоками 16K и 512K, особенно при увеличении количества потоков с 4 до 16. Наиболее существенный прирост произошел при размерах блоков 1M, 5M и 10M, где пропускная способность резко возросла, достигнув пика в 103 ГиБ/с при размере блока 10M с 256 потоками. Эта прогрессия показывает, что массив PERC13 выигрывает от больших размеров блоков и многопоточного параллелизма, с оптимальным насыщением около 64-128 потоков, за пределами которого прирост выравнивается.

Разница в последовательной пропускной способности чтения GDSIO

При последовательном чтении в диапазоне размеров блоков от 8K до 10M, PERC13 (H975i) последовательно превосходил PERC12 (H965i), причем процентный прирост резко возрастал при больших размерах блоков и более высоких количествах потоков.

При меньших размерах блоков (8K-16K) улучшения были скромными (обычно в диапазоне 0-20%), и в некоторых изолированных случаях H975i немного отставал из-за вариативности тестов при низких глубинах очереди. При размерах блоков 32K-64K преимущество стало более последовательным, при этом H975i обеспечивал на 30-50% более высокую пропускную способность для большинства количеств потоков.

Наиболее значительные различия наблюдались при больших размерах блоков (от 128K до 10M), где контроллер PERC13 раскрыл полный потенциал последовательного чтения системы. Здесь H975i продемонстрировал прирост от 50% до 120% по сравнению с H965i. Например, при размере блока 1M с 8-16 потоками пропускная способность была более чем на 55 ГиБ/с выше, что эквивалентно примерно 90% увеличению. При размерах блоков 5M и 10M улучшения регулярно превышали 100%, причем некоторые конфигурации показывали почти удвоенную производительность по сравнению с предыдущим поколением.

В целом, PERC13 (H975i) занял доминирующее положение в последовательных рабочих нагрузках чтения, особенно при масштабировании размера блока и количества потоков. В то время как меньшие размеры блоков показали инкрементное улучшение, при 256K и выше новый контроллер последовательно обеспечивал на 50-100%+ более высокую производительность, явно подчеркивая архитектурные достижения последней RAID-платформы Dell.

Последовательная задержка чтения GDSIO

По мере увеличения последовательной пропускной способности чтения задержка оставалась управляемой при меньших размерах блоков и меньшем количестве потоков. Например, задержка оставалась ниже 100 мкс при блоках до 64K и 16 потоках, демонстрируя эффективную обработку чтений в этом диапазоне. Когда размеры блоков и количество потоков увеличивались, особенно при 5M и 10M с 64 или более потоками, задержка быстро росла, достигнув пика в 211,8 мс при размере блока 10M с 256 потоками. Это подчеркивает, как узкие места контроллера или очереди возникают при экстремальных рабочих нагрузках, даже если пропускная способность остается высокой.

Наилучший баланс производительности и эффективности наблюдался при размере блока 1M с 8-16 потоками, где массив поддерживал пропускную способность 87,5-93,7 ГиБ/с, сохраняя задержку в пределах 179-334 мкс. Эта зона представляет собой оптимальное значение для максимизации пропускной способности при сохранении задержек значительн