MLPerf Storage v3.0 добавляет уровень данных S3 к существующей платформе POSIX, наряду с новыми рабочими нагрузками KV Cache и векторных баз данных, что тесно соответствует критериям бенчмарка современным требованиям к системам данных ИИ.
Разработанный MLCommons, бенчмарк MLPerf Storage изначально оценивал производительность хранилищ для рабочих нагрузок обучения машинного обучения, включая Unet3D, Cosmoflow и Resnet50, с использованием аппаратного обеспечения GPU NVIDIA A100 и H100. Релиз v3.0 включает в себя комплексную реструктуризацию тестирования, сосредоточенную на четырех основных сценариях рабочих нагрузок.
Обновленная структура тестирования включает обучение ИИ на основе Unet3D и RetinaNet, которое измеряет максимальную масштабируемость ускорителя при сохранении утилизации более 90%, смоделированное на GPU NVIDIA B200 или AMD MI355. Оно также охватывает контрольные точки для моделей в стиле Llama 3 с параметрами от 8B до 1.25T, отдавая приоритет низкой задержке для 10 раундов итеративных операций записи и чтения. Кроме того, набор включает тестирование векторных баз данных на наборе данных Milvus размером 1 миллион и размерностью 1536 для максимизации пропускной способности запросов при отслеживании задержки и коэффициентов полноты, а также тестирование KV cache для оценки максимальной пропускной способности одновременной поддержки разговоров.
Брайан Белгодер, сопредседатель рабочей группы MLPerf Storage, заявил, что новый портфель тестов расширяет охват бенчмарка для основных потребностей в хранилищах для инференса ИИ. Обновленный набор балансирует тесты, ориентированные на обучение и контрольные точки, с оценками KV cache и векторных баз данных, ориентированных на инференс. Разбивая интегрированные системы ИИ на целевые оценки рабочих нагрузок хранилищ, включая контрольные точки, KV кэширование и обработку векторных запросов, бенчмарк позволяет специалистам отрасли лучше оптимизировать конфигурации инфраструктуры ИИ и устранять узкие места в производительности хранилищ.
Недавно добавленный уровень объектных хранилищ S3 поддерживает тестирование обучения, контрольных точек и частичное тестирование векторных баз данных, при этом примерно одна шестая всех представленных в v3.0 решений использует доступ к хранилищам на основе S3.
Кертис Андерсон, еще один сопредседатель рабочей группы, отметил, что по мере масштабирования контекста ИИ до триллионов токенов объектные хранилища становятся жизнеспособной, даже предпочтительной альтернативой традиционным файловым хранилищам. Встроенная поддержка S3 в v3.0 предоставляет прозрачные данные о производительности для принятия решений о развертывании корпоративных хранилищ.
В этом цикле бенчмарка результаты представили в общей сложности 19 поставщиков. Примечательно, что крупные традиционные поставщики корпоративных хранилищ, включая DDN, Dell, Huawei, IBM, NetApp, VAST Data и WEKA, отсутствовали в списке представленных. Представители MLPerf прокомментировали, что традиционные поставщики NAS имеют ограниченное участие, причем большинство устоявшихся игроков пропустили последний раунд.
Учитывая диверсифицированный ландшафт хранилищ ИИ, v3.0 не публикует единый общий рейтинг. Вместо этого он предоставляет независимые результаты для четырех категорий рабочих нагрузок с многомерными метриками. Полный набор данных результатов охватывает около 145 строк и 55 столбцов, всего почти 8000 ячеек данных, с 12 выделенными столбцами исключительно для метрик производительности KV cache. Они охватывают пропускную способность, пропускную способность чтения/записи и задержку P95 как для архитектур только хранилища, так и для архитектур хранилища+памяти для рабочих нагрузок моделей Llama 8B и 70B.
MLCommons также рекомендует стандартизированную оценку производительности на основе плотности на стойку и энергоэффективности на ватт для измерения общей операционной эффективности инфраструктуры.
Обновленный набор бенчмарков включает в себя высокосложную логику оценки, позволяющую поставщикам выборочно представлять результаты для целевых рабочих нагрузок. Например, только NewFW, Samsung, Suzhou Zishan и TTA представили результаты тестирования векторных баз данных.
Everpure сообщила о высочайшей производительности своей системы FlashBlade//EXA в тестах контрольных точек и KV cache для моделей с 405B и 1.25T параметров. Развернутая на 30 узлах данных для поддержки 1024 смоделированных ускорителей, платформа достигла пропускной способности записи 877,52 ГиБ/с (время завершения 17,74 с) и пропускной способности чтения 588,28 ГиБ/с (время завершения 28,99 с) для контрольных точек модели 1.25T. Ее производительность масштабировалась линейно от пропускной способности записи 327,65 ГиБ/с на 10 узлах до пикового результата на 30 узлах.
Дополнительные данные показывают, что представленные локальные записи контрольных точек обеспечили медианную энергоэффективность 14 ГБ/с на ватт, с пиком в 201 ГБ/с на ватт. Тем временем, тесты чтения UNet3D показали медианную эффективность 34 ГБ/с на ватт и максимум 277 ГБ/с на ватт.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Бизнес-фокус:
Дистрибуция ИКТ-продукции/Системная интеграция и услуги/Инфраструктурные решения
Обладая более чем 20-летним опытом дистрибуции ИТ, мы сотрудничаем с ведущими мировыми брендами, чтобы поставлять надежные продукты и профессиональные услуги.
«Используя технологии для построения интеллектуального мира» Ваш надежный поставщик услуг ИКТ-продукции!
Ваше сообщение должно содержать от 20 до 3000 символов!
Russian
