Ключевые выводы

• Беспрецедентный пропуск в одном узле:R7725xd поддерживал более 300 ГБ/с внутренней полосы пропускания и 160 ГБ/с через NVMe-oF RDMA, конкурируя с многоузловыми кластерами хранения в шасси 2U.
• Настоящая архитектура 5-го поколения, без переключателей, без фан-аут:Все 24 микронов 9550 PRO SSD получают выделенные полосы x4 PCIe Gen5 непосредственно из комплекса процессора, что позволяет масштабировать скорость линии без споров.
• Использует AMD EPYC 9005 серии:Двойные процессоры AMD EPYC 9575F обеспечивают количество полос, пропускную способность памяти и топологию NUMA, необходимую для устойчивого высококонкурентного В/В.
• Разработан для ИИ, аналитики и контрольно-тяжелых рабочих нагрузок:Система устраняет узкие места ввода/вывода, которые тормозят современные GPU-проводки, позволяя непрерывную передачу данных с высокой пропускной способностью.
• ПИК: AIO раскрывает полную параллельность:PEAK: AIO® поддерживает структуру очереди под нагрузкой, обеспечивая производительность предприятия с привлекательным соотношением доллара на ГБ.

В разделе хранения iDRAC 10 представлен полный обзор всех физических дисков, установленных в R7725xd.сопровождается визуальной круговой диаграммой, иллюстрирующей состояния приводаВ этой конфигурации 24 NVMe SSD активны и готовы к запуску, при этом в системе присутствуют два дополнительных устройства загрузки, отдельных от первичного фронтального банка NVMe.

Справа панель "Обзор дисков" разбивает их на физические диски и любые связанные с ними виртуальные диски.,Все диски должны быть зарегистрированы как не-RAID и индивидуально адресуемые, соответственно конструкции системы для больших пулов NVMe и платформ SDS.

Ниже резюме состояния, в области Событий хранения, недавно зарегистрированных, перечислены журналы вставки для каждого PCIe SSD, организованные по ячейке и слоту.Эта запись подтверждает правильное обнаружение во всех приводах и помогает определить любые проблемы с сиденьямиДля больших развертываний эти журналы полезны при отслеживании обеспечения привода или проверке того, что мощность заполнена как ожидалось.

На последнем скриншоте показано подробное представление устройства NVMe в iDRAC10. Каждый установленный в системе накопитель NVMe перечислен с его статусом, емкостью и расположением отсека.Выбор отдельного диска открывает полный анализ его характеристик.

В этом примере информационная панель привода отображает полную последовательность моделей, протокол устройства, форм-фактор и согласованные настройки PCIe.Устройства NVMe работают со скоростью 32 Гт/с с подключением x4, подтверждающий, что диски работают на полной полосе пропускания на базе PCIe Gen5 системы.Помощь администраторам в мониторинге ожиданий здоровья и жизненного цикла автомобиля.

Эта детальная отчетность о диске ценна в конфигурациях NVMe с высокой плотностью, где ширина ссылки, скорость переговоров и состояние медиа напрямую влияют на поведение рабочей нагрузки и производительность хранилища.

В целом интерфейс iDRAC 10 обеспечивает четкое, аппаратно-ориентированное представление об архитектуре хранилища NVMe R7725xd, позволяя легко проверять состояние связи, состояние диска,и целостности системы на один взгляд.

Dell PowerEdge R7725xd производительность

Перед испытаниями наша система была сконфигурирована с балансированной, но высокопроизводительной нагрузкой.и соединен с 24 32 ГБ DDR5 DIMM, работающими со скоростью 6400 MT/s. Для хранения шасси полностью заполнено 24 15,36TB Micron 9550 PRO U.2 NVMe SSD, каждый из которых подключен через выделенную ссылку PCIe Gen5 x4. Это обеспечивает общую сырую емкость 368,64 TB,и накопители Micron 9550 PRO обеспечивают последовательные скорости чтения до 14, 000 МБ/с и последовательная скорость записи до 10 000 МБ/с. Сетевое обслуживание осуществляется четырьмя адаптерами Broadcom BCM57608, которые обеспечивают в совокупности восемь портов 200 Гбит,наряду с BCM57412 OCP NIC, предлагающей два дополнительных 10-гигабитных порта.

Спецификации испытательной системы

• Процессор:2x AMD EPYC 9575F 64-ядерные высокочастотные процессоры
• Память:24x 32GB DDR5 @ 6400MT/s
• Хранение:24x 15,36TB накопители Micron 9550 PRO U.2 (подключены на 4 полосы PCIe Gen5 каждая); поддерживает до 128TB накопителей сегодня с более высокой емкостью на горизонте
• Сеть:4x Broadcom BCM57608 2x200G NIC, 1x BCM57412 2x10Gb OCP NIC
• Переключатель:Dell PowerSwitch Z9664

Сравнительный показатель эффективности FIO

Для измерения производительности хранилища PowerEdge R7725xd мы использовали отраслевые стандартные показатели и инструмент FIO.

• Случайный 4K 1M
• Последовательное 4K 1M

ФИО локальный пропускная способность

При тестировании локального доступа к 24 накопителям PCIe Gen5 NVMe внутри Dell PowerEdge R7725xd,Система показывает точно то, что вы ожидаете от платформы, где каждый диск подключен к процессорам с использованием полного x4 полосы PCIe Gen5 ссылкиБез участия сетевого слоя, это чистая, внутренняя пропускная способность устройства хранения данных Dell Gen5 и пропускная способность платформы AMD EPYC PCIe, работающей без ограничений.

Последовательные считывания начинаются с 184 ГБ/с с блоками 4K и быстро масштабируются по мере увеличения размера блока.что является убедительным показателем того, насколько хорошо система может объединить все 24 × 4 полосы Gen5 в устойчивую пропускную способность чтения без каких-либо узких мест на стадии контроллера..

Последовательные записи следуют другой кривой, но остаются в ожидаемом диапазоне.Это согласуется с поведением записи на SSD Micron 9550 PRO и накладными расходами, присущими высокопараллельным записям NVMe на многих независимых устройствах.

Система достигает скорости почти 300 ГБ/с при самых маленьких размерах блоков, слегка падает в среднем диапазоне,и затем восстанавливается до верхних 200 и низких 300 в больших размерах блоковНа 1M случайные считывания достигают максимума 318 ГБ/с, демонстрируя способность платформы равномерно распределять смешанные операции на всех 24 дисках.

Случайные записи поступают с более низкой скоростью, что характерно для рассредоточенных метаданных и задач распределения записи в широком наборе NVMe.Результаты остаются в диапазоне от 140 до 160 ГБ/с в течение большей части теста и сокращаются до чуть менее 100 ГБ/с при 1 М.

ФИО ∆ местные ∆ ИОП

При осмотре стороны IOPS, R7725xd демонстрирует надежную производительность малого блока,с частотой запросов достигающих десятков миллионов до больших размеров блоков перемещение нагрузки в сторону пропускной способности профиля.

При 4K чтение достигло 44,9 миллионов IOPS, запись - 36,3 миллиона, случайное чтение достигло еще более высокого уровня - 71,4 миллиона IOPS.демонстрация способности системы к эффективному распределению рабочих нагрузок с высокой очереди по всем приводамЭти значения естественно сужаются по мере увеличения размера блока, но прогрессия остается постоянной в диапазоне 8K, 16K и 32K.

К 16K и 32K блоков, чтения урегулировать на 17,4 млн и 8,35 млн IOPS, с случайными чтения тесно совпадают на 16,5 млн и 8,15 млн.отслеживание ниже, но остается стабильным как в последовательных, так и в случайных моделях доступа.

Когда мы переходим на 64K и выше, испытания переходят от чистых IOPS к более ограниченному сценарию пропускной способности. IOPS попадает в диапазон в несколько миллионов и в конечном итоге в сотни тысяч.При размерах блоков 1M, читает IOPS около 300K, пишет около 174K, и случайные операции заканчиваются в том же районе.

В целом, результаты локальных IOPS ясно показывают способность системы поддерживать очень высокую глубину очереди рабочих нагрузок в небольших блоках.с предсказуемым масштабированием по мере роста передач и пропускной способности становится доминирующим фактором.

PEAK:AIO: Почему Dell PowerEdge R7725xd подходит для этой нагрузки

PEAK: AIO предназначен для среды, требующей чрезвычайно быстрого доступа к большим наборам данных с низкой задержкой, как правило, для обучения ИИ, выводов, финансового моделирования и аналитики в режиме реального времени.Платформа работает на плотном хранилище NVMe, сбалансированная полоса пропускания PCIe и предсказуемая задержка в масштабе.основное оборудование должно обеспечивать устойчивую пропускную способность при сохранении постоянной и повторяемой производительности при одновременных тяжелых нагрузках;.

Это место, где Dell PowerEdge R7725xd естественным образом выстраивается с PEAK: AIO. Архитектура системы разработана для максимального использования ресурсов PCIe Gen5, раскрывая полную пропускную способность 24 передних U.2 узла NVMe непосредственно к процессорамЭтот макет дает PEAK:AIO параллелизм и профиль задержки, который он ожидает от современных каналов передачи данных на основе NVMe.Конфигурация системы разделила NVMe SSD на две группы RAID0.

В тестируемом сценарии мы использовали две клиентские системы, подключенные к R7725xd, каждая из которых оснащена Broadcom BCM57608 2x 200G NIC.подталкивая R7725xd в реалистичную высокопроизводительную конфигурацию, которая отражает то, что PEAKЭтот уровень сетевой пропускной способности дал нам возможность полностью подчеркнуть подсистему NVMe, топологию PCIe,и процессор взаимодействует без узкого горла на уровне NIC.

Результатом является платформа, которая эффективно подходит для рабочих нагрузок PEAK:AIO. R7725xd обеспечивает плотность NVMe, пропускную способность PCIe Gen5, двойные процессоры AMD EPYC 9005 для параллелизма,и возможности сети для поддержки многоклиентного приема данных на сотни гигабит на клиентаВсе эти характеристики являются основополагающими для достижения ожиданий производительности PEAK:AIO.

PEAK:AIO NVMe-of RDMA Пропускная способность

Исследуя результаты пропускной способности NVMe-oF RDMA на PowerEdge R7725xd с PEAK: AIO, общая тенденция является именно той, которую мы ожидаем от системы с такой большой пропускной способностью PCIe и сети.По мере увеличения размера блока, пропускная способность быстро увеличивается, пока она не выравнивается вблизи практического предела платформы.

При небольших размерах блоков производительность начинается в середине диапазона 20 ГБ / с как для чтения, так и для записи, что является нормальным, потому что передачи 4K и 8K толкают путь IOPS намного тяжелее, чем путь пропускной способности.Как только мы попадем в 16K и 32K блоковЧитаемость подскочит до 154 ГБ/с при 32 К и продолжит подниматься до диапазона 160 ГБ/с, где мы ожидаем установку двух клиентов по четырем 200 ГБ/с ссылкам на землю.

Случайные зеркала чтения последовательно почти идеально.Так что случайная пропускная способность чтения по существу отслеживает последовательную пропускную способность чтения вверх, устанавливая скорость примерно от 159 до 161 ГБ/с от 32 К до 1 М. Это указывает на то, что стек хранения не является узким горлом при смешанных моделях доступа,и топология PCIe R7725xd®s распределяет нагрузку равномерно по 24 драйвам NVMe Gen5.

Производительность записи следует аналогичной кривой, хотя она немного ниже, чем чтение.опускается примерно до 117 ГБ/с при 128 К, но восстанавливается по мере увеличения размера блокаСлучайные записи ведут себя по-другому и сглаживаются ближе к 110-117 ГБ/с, что нормально для рабочих нагрузок смешанной очереди, которые вводят дополнительные накладные расходы.

Ключевым выводом из этого раздела является то, что R7725xd не испытывает проблем с поддержанием чрезвычайно высокой пропускной способности через NVMe-oF, даже при наличии нескольких клиентов, приводящих систему к ее пределам.Как только размеры блоков достигнут 32K или выше, сервер постоянно насыщает свою доступную сеть и пропускную способность для хранения.Сделать эти результаты сильным подтверждением способности платформы масштабироваться в реальных условиях.

PEAK AIO NVMe-of RDMA IOPS

С точки зрения IOPS, PowerEdge R7725xd демонстрирует высокую производительность на малых блоках, хотя изначально мы наблюдали более низкие, чем ожидалось, показатели;ожидается, что эта проблема будет решена с улучшенной поддержкой сетевого драйвера в будущем.Даже с учетом этого, общая тенденция масштабирования выглядит точно так же, как NVMe-oF RDMA обычно ведет себя при увеличении размера блока.

При самом маленьком размере блока система может доставлять более 6 миллионов IOPS по последовательным и случайным нагрузкам.и случайные записи все сидят примерно в том же диапазоне на 4K и 8K, что указывает на то, что клиенты фронт-энда, инфраструктура PCIe и сами накопители NVMe не испытывают никаких проблем с тем, чтобы не отставать от скорости запросов.

По мере роста размеров блоков, ожидаемое падение IOPS начинается. на 32K, читает землю около 4,7 миллионов IOPS, в то время как пишет следы слегка позади примерно 4,4 миллиона. случайный пишет взять самый большой удар здесь,снижается примерно до 3,3 млн IOPS, что соответствует дополнительным затратам на очереди и CPU, введенным схемами смешанного доступа.

Когда мы достигаем 256K и 512K переводов, пропускная способность становится доминирующей метрикой,и IOPS естественно падает в середине сотен тысячПри размере блока 1M все рабочие нагрузки сходятся на 140K-153K IOPS, что соответствует числам пропускной способности, которые мы видели в предыдущем разделе.

Производительность GPUDirect Storage

Одним из тестов, которые мы провели на R7725xd, был тест Magnum IO GPUDirect Storage (GDS).GDS - это функция, разработанная NVIDIA, которая позволяет GPU обходить процессор при доступе к данным, хранящимся на накопителях NVMe или других высокоскоростных устройствах хранения.Вместо маршрутизации данных через процессор и системную память, GDS позволяет осуществлять прямую связь между графическим процессором и устройством хранения, значительно снижая задержку и улучшая пропускную способность данных.

Как работает GPUDirect Storage

Традиционно, когда GPU обрабатывает данные, хранящиеся на накопителе NVMe, данные должны сначала пройти через процессор и системную память, прежде чем достичь GPU.как процессор становится посредникомGPUDirect Storage устраняет эту неэффективность, позволяя графическому процессору получать доступ к данным непосредственно с устройства хранения через шину PCIe.Этот прямой путь уменьшает перемещение данных сверху, что позволяет более быстро и эффективно передавать данные.

Рабочая нагрузка на ИИ, особенно те, которые включают глубокое обучение, требуют большого количества данных.и любые задержки в передаче данных может привести к недостаточно используемых графических процессоров и более длительные сроки обучения. GPUDirect Storage решает эту проблему, гарантируя, что данные доставляются на GPU как можно быстрее, минимизируя время простоя и максимизируя вычислительную эффективность.

Кроме того, GDS особенно полезен для рабочих нагрузок, которые включают потоковую передачу больших наборов данных, таких как обработка видео, обработка естественного языка или вывод в режиме реального времени.Уменьшая зависимость от процессора, GDS ускоряет перемещение данных и освобождает ресурсы ЦП для выполнения других задач, что еще больше повышает производительность системы в целом.

Помимо сырой полосы пропускания, GPUDirect с NVMe-oF (TCP/RDMA) также обеспечивает сверхнизкую задержку ввода/вывода. Это гарантирует, что графические процессоры никогда не испытывают недостатка в данных, что делает систему идеальной для выводов ИИ в режиме реального времени,Аналитические трубопроводы, и воспроизведение видео.

GDSIO Читать последовательно

При изучении PEAK:AIO с одним клиентом, использующим GDSIO, пропускная способность чтения демонстрирует четкую модель масштабирования по мере увеличения размера блока и количества потоков.Этот единственный клиент был связан через две 400G-ссылки, ограничивая его общий потенциал до 90 ГБ/с.

При самых маленьких размерах блоков и низком количестве потоков производительность скромна, с чтениями 4K, начиная с 189 МиБ / с на одном потоке.Система реагирует немедленно, толкая 691 МиБ/с на четыре нитки и прорываясь в диапазоне многогигабайт/с, когда мы вступаем в более крупные блоки.

Размеры блоков среднего диапазона показывают наибольшую чувствительность к количеству нитей.с лишь незначительным сужением за этимАналогичная картина проявляется на 64K и 128K, где система переходит от низких однозначных GiB/s при низком параллелизме до более 30 GiB/s по мере увеличения рабочей нагрузки.

Как только мы достигаем больших размеров блоков, пропускная способность начинает выравниваться по мере приближения системы к предельной производительности для одного клиента.производительность повышается с 11GiB/s на одной нитке до около 88GiB/s при высоком количестве нитей5 и 10 МиБ передачи показывают одно и то же плато, достигая 89 ‰ 90 GiB / s независимо от того, выполняется ли тест на 64, 128 или 256 потоков.

GDSIO Write Sequential (Письмо в последовательном порядке)

Со стороны записи, поведение масштабирования следует аналогичному шаблону считывания, но с немного более низкой производительностью в большинстве размеров блоков, что ожидается для последовательных рабочих нагрузок записи.При самых маленьких размерах блоков, пропускная способность начинается с 165 MiB / s для одной нитки на 4K и неуклонно увеличивается по мере увеличения параллельности.

Размеры блоков среднего диапазона демонстрируют более сильные увеличения по мере увеличения числа нитей.Диапазоны 64K и 128K продолжают тенденцию, переходя от низких однозначных GiB/s до 30 GiB/s и 50 GiB/s по мере того, как нагрузка становится более параллельной.

Более крупные передачи происходят, когда система достигает своего естественного потолка пропускной способности.Тесты 5 и 10 MiB следуют аналогичной схеме., с результатами пика около 90 GiB/s независимо от того, работает ли система на 64, 128 или 256 потоках.