MIT and Tufts University researchers have developed a performance-enhancing management scheme for pooled SSDs that mitigates performance slowdowns caused by block erase-and-write operations and garbage collection.
Его звали Сандрук,Эта схема отделяет краткосрочные и долгосрочные характеристики, ограничивающие производительность SSD, использующих двухслойную структуру управления, питаемую телеметрией, от программного обеспечения агента, работающего на серверах хранения..
Поскольку записи требуют цикла стирания и перезаписи на уровне блоков, они гораздо медленнее, чем чтения.и тяжелый трафик записи может ухудшить общую производительность чтения. Производительность может также варьироваться в зависимости от настройки SDS от разных поставщиков, и даже между SSD от одного и того же производителя и партии.он должен скопировать действительные данныеЭта операция обычно управляется независимо от каждого контроллера SSD и может привести к внезапному,значительное снижение производительности.
Исследователи представляют себе вычислительный кластер, состоящий из вычислительных узлов и серверов хранения.наряду с программным обеспечением клиента на вычислительных серверах и программным обеспечением агента на серверах храненияСерверы хранения используют стандартные SSD, каждый из которых оснащен собственным контроллером.
Контроллер Sandook поддерживает реестр всех SSD, профилируя каждый из них для установления базовых показателей производительности, таких как возможности IOPS.Он назначает режимы чтения или записи на отдельные диски и получает обновления производительности в режиме реального времени каждые 200 мс от агентов Sandook на серверах хранения.Используя эти данные, он рассчитывает вес чтения и записи, скорректированный в соответствии с глобальным спросом кластера на В/В, и делится этими решениями планирования с клиентским программным обеспечением Sandook на вычислительных серверах.
Для чтения Sandook использует существующую блок-репликацию, уже используемую для отказоустойчивости, для гибкого маршрутизации запросов чтения по репликам на разных SSD.он использует структурированный дизайн, который позволяет направлять записи на любой SSD независимо от размещения логического блокаЭта высокая степень гибкости обеспечивает возможность применения политики планирования без ограничений.
Клиентское программное обеспечение Sandook открывает стандартный интерфейс блочного устройства для приложений, прозрачно направляя запросы ввода/вывода на наиболее подходящие SSD на основе правил планирования контроллера.Он также получает статус SSD в режиме реального времени от агентов на стороне хранения и может отменить приоритет SSD во время сбора мусораЗапросы на чтение и запись затем перенаправляются на другие диски, предотвращая чрезмерную задержку в общей системе хранения.
Агенты Sandook (1) обрабатывают команды чтения и записи от клиентов и передают их на целевые SSD; (2) обеспечивают аппаратно-независимый мониторинг,включая периодическое профилирование и сигналы о состоянии в реальном времени, чтобы поддержать планирование оператора;и (3) ретрансляция сигналов перегрузки SSD к клиентам, чтобы краткосрочные события, такие как сбор мусора, могли обрабатываться локально и немедленно, перемещая В/В на другие SSD на сервере.
Загрузка памяти и процессора от мониторинга десятков SSD на сервере хранения минимальна.
Исследователи оценили Sandook по четырем рабочим нагрузкам:
- LeanStore: высокопроизводительный OLTP-двигатель для хранения данных, оптимизированный для многоядерных процессоров и NVMe SSD.
- Машинное обучение: обучение модели Unet3D CNN с PyTorch на наборе данных 180 ГБ.
- LZ4: сжатие изображения на наборе данных ImageNet ILSVRC2015.
- Сервер хранения: высокопроизводительный сервер хранения блоков с открытым исходным кодом, обслуживающий латентно-чувствительные приложения.
В целом, Sandook улучшает сырую пропускную способность ввода/вывода на 30-82% по сравнению с существующими системами, которые обращаются только к одному источнику изменчивости производительности, сохраняя при этом задержку задержки менее миллисекунды.Для необработанных приложений, использующих SSD-пул, производительность улучшается на 12-94%.
В частности, по сравнению с предыдущими системами, он обеспечивает 1,7 раза большую пропускную способность хранилища, 1,12×1,94 раза большую пропускную способность приложений, 71×88% меньшую задержку,и 23% более высокое использование графического процессора без необходимости изменений оборудования или приложений.
Документ Sandook, озаглавленный "Освобождение потенциала SSD-накопителей центров обработки данных путем обустройства изменчивости производительности", доступен в виде PDF для загрузки.Работа будет представлена на симпозиуме USENIX по проектированию и внедрению сетевых систем (NSDI 2026) в Рентоне, Вашингтон, с 4 по 6 мая.
Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!