Варианты NVMe бэкплейна Dell PowerEdge

Dell предлагает различные бэкплейны для хранения данных в своих серверах PowerEdge 16G. При конфигурировании R760 существует почти 50 вариантов шасси для дисков. Хотя некоторые из них являются поддержкой устаревших версий (например, PERC 11), главное, что выбор шасси — это важное решение. Это даже не учитывает предстоящую поддержку NVMe SSD E3.S, которая является единственным способом получить SSD Gen5 в серверах PowerEdge. Мы рассмотрели E3.S в Dell PowerEdge R660, если вы хотите узнать больше о преимуществах Gen5 и форм-факторов EDSFF.

Вернемся к нашей задаче. Для этого обзора мы хотим понять последствия выбора опции Dell Direct Drives по сравнению с опцией аппаратной RAID-карты PERC 12. Как упоминалось, явный фокус здесь только на NVMe SSD Gen4 U.2/U.3. Пока что мы игнорируем варианты шасси для SATA/SAS и 3,5-дюймовых жестких дисков. Эти конфигурации гораздо более прямолинейны.

В R760 Dell предлагает несколько вариантов шасси для установки NVMe дисков Gen4. Опция Direct Drives может быть сконфигурирована для поддержки 8 или 16 дисков. Для конфигураций HWRAID Dell предлагает аппаратную RAID-карту PERC 12 таким же образом, с одной RAID-картой на каждую партию из 8 SSD. Это решение важно, поскольку оно является фундаментальным для достижения наилучшей возможной производительности полностью заполненного R760 с 16 NVMe SSD.

Обзор Dell PERC 12

Контроллер Dell PowerEdge RAID Controller (PERC) 12 основан на чипе Broadcom SAS4116W. Несмотря на SAS в названии продукта, контроллер представляет собой три-режимное устройство RAID-on-Chip (ROC). Тот же RAID-контроллер используется в линейке Broadcom MegaRAID. Мы недавно рассмотрели MegaRAID 9670W, осветив ключевые возможности. Однако с Dell PERC 12 в игру вступают существенные различия в дизайне, в зависимости от того, какой сервер и семейство хранилищ Dell вас интересуют.

Что касается PowerEdge, большинство конфигураций будут использовать карту PERC 12 «H965i Front». В нашем обзоре системы R760 с HWRAID у нас есть две такие карты H965i Front в системе, по одной для каждого набора из 8 SSD Solidigm P5520. Стоит отметить, что эти карты значительно меньше, чем дополнительные карты. Дизайн печатной платы и управление тепловым режимом действительно впечатляют. Эти карты монтируются непосредственно на бэкплейн NVMe на 8 дисков и подключаются к материнской плате двумя кабелями PCIe x8. Это освобождает слоты PCIe на задней стороне сервера для других устройств.

Говоря о дополнительных картах, стандартная PERC 12 H965i представляет собой карту половинной высоты и половинной длины, которая включает встроенный вентилятор. Эта версия PERC 12 будет встречаться в некоторых конфигурациях PowerEdge, а также в некоторых новых Dell PowerVault MD JBOD. Наконец, есть H965i MX, который представляет собой длинную узкую печатную плату, предназначенную для таких устройств, как модульное шасси MX7000.

Dell PERC 11 против PERC 12

Карта Dell PERC 11 поддерживала NVMe SSD, но, к сожалению, преимущества аппаратного RAID достигались ценой значительного снижения производительности. Именно поэтому индустрия так взволнована новым чипом Broadcom и версией этой карты от Dell, PERC. Dell опубликовала некоторые цифры о разнице между PERC 11 и PERC 12, которые поразительны.

Преимущества PERC 12 в плане задержки очевидны; но посмотрите на производительность в наихудших условиях, производительность во время восстановления. PERC 12 демонстрирует улучшение на несколько тысяч процентов, и даже время восстановления RAID значительно улучшается.

Глядя на цифры пропускной способности и IOPS, которые приводит Dell, мы снова видим огромный шаг вперед, который PERC 12 делает по сравнению с PERC 11. По всем направлениям, все эти рабочие нагрузки демонстрируют минимум 2-кратное улучшение на карте PERC 12. Конечно, мы провели собственное тестирование, чтобы проверить производительность PERC 12, и мы перейдем к этому.

Производительность Dell Direct Drives против Dell PERC 12

Чтобы сравнить производительность хранилища в Direct Drives против PERC 12, мы сконфигурировали наши серверы R760 «кузены» с SSD Solidigm P5520 объемом 7,68 ТБ. Dell R760 с Direct Drives имеет 8 отсеков NVMe. R760 с PERC 12 имеет 16 отсеков NVMe с двумя RAID-картами H965i Front.

На первый взгляд, может быть неочевидно, что существуют определенные ограничения производительности с обеих сторон. Начиная с подхода Direct Drives, каждый SSD имеет собственное соединение PCIe x4, что означает, что восемь SSD имеют выделенные для них 32 линии PCIe.

Это обеспечивает невероятную пропускную способность, как правило, более 52 ГБ/с, если каждый диск Gen4 может насытить свое соединение 6,5 ГБ/с. По сравнению с конфигурацией PERC 12 H965i, каждая группа из восьми SSD взаимодействует напрямую с RAID-картой, которая подключается к материнской плате через соединение PCIe x16. Это вдвое сокращает пропускную способность, поддерживаемую конфигурацией Direct Drives. Так очевидно, что нативные NVMe соединения выигрывают? Не совсем.

При работе с несколькими NVMe устройствами в многопроцессорной системе в игру вступают NUMA-сопоставление между диском и процессором, а также системные прерывания. Это можно оптимизировать, но это требует значительной настройки. Не все приложения учитывают это.

Виртуализация — это одна из областей, где сложно управлять NUMA-сопоставлением, поскольку общие ресурсы балансируются в реальном времени, иногда с процессором, который может не иметь прямого доступа к назначенным ресурсам PCIe. Аппаратные RAID-карты решают многие из этих проблем и оптимизируют системные прерывания и переключение контекста, что освобождает ресурсы процессора. NUMA-сопоставление также становится менее сложным, поскольку вместо 16 отдельных SSD, распределенных между двумя процессорами, у вас есть только одна карта хранения на процессор для управления.

Наш план тестирования сосредоточен на двух областях. Первая — это рабочие нагрузки Vdbench, измеряющие производительность JBOD с восемью SSD, проходящими через любой из R760. На Direct Drives R760 установлено восемь нативных SSD, а на HWRAID R760 PERC 12 передает восемь необработанных устройств хранения. Оба тестируются как есть, без оптимизации. Второй этап тестирования показывает масштабируемую производительность решения PERC 12 от одной до оптимизированной двойной карты.

Наш обзорный блок Direct Drives PowerEdge R760 имеет следующую конфигурацию:

• Два Intel Xeon Gold 6430 (32 ядра/64 потока, базовая частота 1,9 ГГц)
• 1 ТБ ОЗУ DDR5
• 8 SSD Solidigm P5520 объемом 7,68 ТБ Gen4
• RHEL 9

Обзорный блок NVMe PowerEdge R760 с HWRAID имеет следующую конфигурацию:

• Два Intel Xeon Gold 6430 (32 ядра/64 потока, базовая частота 1,9 ГГц)
• 1 ТБ ОЗУ DDR5
• 16 SSD Solidigm P5520 объемом 7,68 ТБ Gen4
• Два PERC 12 H965i
• RHEL 9

Анализ рабочих нагрузок Vdbench

При бенчмаркинге устройств хранения данных тестирование приложений является лучшим, за ним следует синтетическое тестирование. Хотя это не идеальное представление фактических рабочих нагрузок, синтетические тесты помогают базово оценить устройства хранения данных с фактором повторяемости, что облегчает сравнение «яблок с яблоками» между конкурирующими решениями. Эти рабочие нагрузки предлагают ряд профилей тестирования, от тестов «четырех углов» и распространенных тестов размеров передачи данных базы данных до трассировок из различных сред VDI.

Эти тесты используют стандартный генератор рабочих нагрузок Vdbench с системой скриптов для автоматизации и сбора результатов в большом кластере вычислительного тестирования. Это позволяет нам повторять одни и те же рабочие нагрузки на различных устройствах хранения данных, включая флэш-массивы и отдельные устройства хранения данных. Наш процесс тестирования этих бенчмарков заполняет всю поверхность диска данными, а затем разбивает раздел диска, равный 25 процентам емкости диска, чтобы имитировать, как диск может реагировать на рабочие нагрузки приложений. Это отличается от тестов полной энтропии, которые используют 100 процентов диска и переводят их в стабильное состояние. В результате эти цифры будут отражать более высокие скорости последовательной записи.

Профили:

• 4K случайное чтение и запись: 100% чтение или запись, 128 потоков, 0-120% iorate
• 64K последовательное чтение: 100% чтение, 32 потока, 0-120% iorate
• 64K последовательная запись: 100% запись, 16 потоков, 0-120% iorate
• 4K 70R/30W и 90R/10W случайная смесь, 64 потока, 0-120% iorate

Глядя на наш первый тест, посвященный пропускной способности при чтении, мы видим преимущество канала PCIe, которое имеет подход Direct Drives с 32 линиями PCIe по сравнению с одним PERC 12 с 16 линиями. Это составляет 41,6 ГБ/с для Direct Drives против 28 ГБ/с для PERC 12 в режиме JBOD.

Переключаясь с пропускной способности чтения на запись, преимущество дополнительных линий PCIe уменьшается, поскольку скорость записи Solidigm P5520 ниже, чем скорость чтения. Здесь конфигурация Direct Drives измерила 18,3 ГБ/с по сравнению с 20,3 ГБ/с для PERC 12.

В нашей случайной рабочей нагрузке 4K чтение 8 SSD Solidigm P5520 в Direct Drive PowerEdge R760 показали пик в 5,55 млн IOPS по сравнению с 4,34 млн IOPS в конфигурации PERC 12.

В случайной записи 4K эта разница снова сокращается: Direct Drives показали 3,96 млн IOPS против 4,15 млн IOPS на PERC 12.

В нашей первой из двух смешанных рабочих нагрузок мы рассматриваем случайный трансфер 4K с распределением 70/30 чтение/запись. Здесь конфигурация Direct Drives PowerEdge R760 показала пик в 4,47 млн IOPS против 3,66 млн IOPS у PERC 12.

Увеличивая процент чтения до 90% в том же тесте трансфера 4K, мы измерили 5,04 млн IOPS с сервера Direct Drives против 3,62 млн IOPS с системы PERC 12.

Анализ рабочих нагрузок FIO

Для измерения производительности дисков в предложениях Dell Direct Drive и PERC 12 HWRAID бенчмарки были разделены на следующие конфигурации. Первая включала конфигурацию JBOD, измеряющую каждый диск вне RAID, RAID10, а затем конфигурации RAID5.

Для подхода Direct Drives SSD отображаются в ОС как обычно; для PERC 12 они передаются через HBA как необработанные устройства хранения данных. Эти конфигурации проходили через процесс скриптования для предварительной подготовки флэш-памяти, выполнения тестов, для которых они были подготовлены, и перехода к следующей смеси предварительной подготовки/рабочей нагрузки.

• Последовательная предварительная подготовка
• Последовательные тесты на JBOD, 8DR10, 8DR5 (один и два PERC)
• Случайная предварительная подготовка
• Случайные оптимальные тесты на JBOD, 8DR10, 8DR5 (один и два PERC)
• Случайные тесты восстановления на 8DR10, 8DR5 (один и два PERC)
• Случайная задержка записи для оптимального и восстановительного режима для 8DR5 (один PERC)

Поскольку PERC 12 H965i имеет слот PCIe Gen4 x16, его пиковая производительность будет около 28 ГБ/с в одном направлении, и именно здесь слот Gen4 достигает своего предела. Dell применила уникальный подход к этому ограничению пропускной способности, предложив двойную конфигурацию PERC 12 в своем PowerEdge R760. Вместо 16 отсеков для SSD, все подключенные к одной карте, нагрузка разделена, причем каждый PERC 12 управляет своим собственным набором из 8 SSD. Этот подход обходит ограничение пропускной способности, значительно увеличивая пиковую доступную пропускную способность при требовательных рабочих нагрузках.

Рассматривая сначала производительность последовательной передачи, мы видим преимущество в пропускной способности, которое имеет конфигурация Direct Drives, с скоростью чтения 54,4 ГБ/с против 28,1 ГБ/с у одного PERC 12. Скорость последовательной записи также имеет преимущество, измеряя 33,4 ГБ/с против 28,3 ГБ/с у одного PERC 12 с восемью дисками за ним. Скорости записи, как правило, не будут сильно отличаться, поскольку, как правило, этот класс SSD имеет скорость чтения, значительно превышающую скорость записи.

Переключая наше внимание на производительность случайной передачи, мы начинаем видеть сдвиг в том, где преимущества RAID-карты могут проявиться в отношении балансировки NUMA. В плане производительности чтения SSD Solidigm P5520 объемом 7,68 ТБ показали 7,96 млн IOPS в нашем тесте чтения 4K, а конфигурация JBOD PERC 12 показала 7 млн IOPS. Скорость записи через конфигурацию Direct Drives упала до 3,4 млн IOPS, в то время как PERC 12 поддерживал 5,97 млн IOPS. В рабочей нагрузке 4K OLTP это становится еще более выраженным: Direct Drives показали 3,6 млн IOPS против 10,2 млн IOPS у PERC 12.

Хотя традиционно считалось, что аппаратный RAID не имеет ценности для современных SSD, мы видим, что это больше не так. Да, настройка Direct Drives NVMe может быть оптимизирована, но это движущаяся мишень для нескольких SSD, сбалансированных между двумя процессорами.

Это прямо противоположно аппаратному RAID-контроллеру PERC 12, который управляет всей этой сложностью и подключается только к одному процессору. Для масштабирования вторая карта PERC в Dell PowerEdge R760 подключается к другому процессору, обеспечивая балансировку для более крупных рабочих нагрузок, разделенных между этими двумя группами дисков. Следует отметить, что около 10 млн IOPS система начала насыщать процессоры, поэтому мы не видели линейного масштабирования в некоторых областях с дополнительной картой PERC 12.

Хотя мы не рассматривали варианты программного RAID с конфигурацией Direct Drives PowerEdge R760, у нас была возможность увидеть, насколько хорошо конфигурация RAID работает на PERC 12 в деградированном состоянии. Хотя производительность значительно снизилась по сравнению с оптимальной, как RAID10, так и RAID5 показали высокую производительность при восстановлении своих RAID-групп.

Хотя оптимальная производительность RAID является важным аспектом выбора решения для хранения данных, наблюдение за его работой в неоптимальных условиях может быть не менее важным. Для этого мы измерили задержку случайной записи 4K в RAID5 в оптимальных условиях и производительность восстановления при отказе одного диска. Если бы производительность или задержка значительно снизились, отзывчивость приложений могла бы стать проблемой. Хотя производительность восстановления снижается по сравнению с оптимальной, задержка производительности не увеличивается сверх базового уровня.

Заключение

Новая NVMe RAID-карта Dell PERC12 меняет правила игры для NVMe решений хранения данных в серверах PowerEdge. В прошлом некоторые клиенты колебались перед переходом с SAS SSD или выбирали NVMe диски, подключенные к различным SDS или гипервизорам. Однако появление карты PERC 12 изменило уравнение для PowerEdge, сделав его более жизнеспособным вариантом.

Причина высокой производительности PERC 12 также объясняется компоновкой сервера PowerEdge. Наш R760 имеет две карты PERC 12 (H965i Front), каждая с линиями x16. Это позволяет нам использовать 8 SSD Solidigm с каждой картой, обеспечивая максимальную пропускную способность до 28 ГБ/с на карту. Подключение всех 16 SSD к одной RAID-карте привело бы к потере половины потенциальной производительности.

Вы можете спросить: «Почему не 24 SSD с HWRAID?» Просто помните, что у каждой системы есть узкое место. В данном случае мы можем легко насытить процессор, поэтому x86 внутри сервера становится ограничивающим фактором. Если мы говорим о кластерном решении, то мы также упремся в сеть. Несколько SSD могут легко заполнить 200GbE или даже 400GbE. Поскольку емкость SSD теперь достигает 30,72 ТБ, потребность в сервере, полном дисков для решения проблем с емкостью системы, также уменьшается.

Если вы читали наш обзор RAID-карт Broadcom серии 9600, мы начали с большого скептицизма относительно того, сможет ли новый чип реально обеспечить все преимущества аппаратного RAID в плане отказоустойчивости и восстановления без снижения производительности NVMe SSD. Мы были приятно удивлены результатами в том обзоре и еще больше здесь, поскольку PERC 12 может удвоиться в R760, чтобы получить вдвое большую производительность верхнего уровня. Хотя Dell Direct Drives по-прежнему может быть предпочтительнее во многих сценариях использования, таких как программно-определяемые хранилища, опция PERC 12 должна быть чрезвычайно популярна для большинства корпоративных сценариев использования.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com

Основная деятельность:
Дистрибуция ИКТ-продуктов/Системная интеграция и услуги/Инфраструктурные решения
Обладая более чем 20-летним опытом дистрибуции ИТ-продуктов, мы сотрудничаем с ведущими мировыми брендами, чтобы поставлять надежные продукты и профессиональные услуги.
«Используя технологии для построения интеллектуального мира» Ваш надежный поставщик услуг ИКТ-продуктов!