Компания MinIO разработала систему кэширования MemKV петабайтного масштаба, адаптированную для графических процессоров Nvidia, развернутую поверх своей платформы объектного хранения данных AIStor.
Кластерам графических процессоров, выполняющим логический вывод, требуется память с высокой пропускной способностью (HBM) для хранения контекста, векторизованных токенов и промежуточных пар ключ-значение (KV). После насыщения графического процессора HBM данные каскадно передаются в CPU DRAM и твердотельные накопители NVMe, управляемые DPU Nvidia BlueField-4 (BF4). Когда эти уровни достигают емкости, MinIO AIStor выступает в качестве последней резервной копии хранилища. Архитектура Nvidia STX управляет этой многоуровневой иерархией кэша, а MemKV соответствует стандарту для обеспечения постоянного общего контекста между кластерами графических процессоров в превосходном масштабе.
А. Б. Периасами, соучредитель и со-генеральный директор MinIO, прокомментировал: "Индустрия уже много лет скрывает проблему потери контекста, потому что в небольших масштабах вы можете покрыть налог на повторные вычисления. При сегодняшней высокой плотности графических процессоров для гиперскейлеров и неооблаков это больше нежизнеспособно.
Перерасчет сгенерированного контекста тратит энергию; для кластеров с тысячами графических процессоров это приводит к фундаментальной структурной неэффективности. Для крупномасштабного вывода требуется специально созданная инфраструктура, и MemKV разработан специально для этого пути передачи данных».
Впервые MinIO позволяет использовать общие пулы контекста для целых кластеров графических процессоров с задержкой на уровне микросекунды, соответствующей рабочим процессам вывода, избегая миллисекундных задержек из-за обычного внешнего хранилища. Без достаточных уровней кэша графические процессоры тратят ресурсы на повторный пересчет контекста.
При развертывании со 128 графическими процессорами и длиной контекста 128 тыс. токенов MemKV сократил время создания первого токена при производственных нагрузках и увеличил загрузку графического процессора с 50% до более чем 90%, что позволило сэкономить около 2 миллионов долларов США в год на вычислительных затратах.
MemKV, специально созданный для архитектуры Nvidia STX, поддерживает инструменты кэширования Nvidia Dynamo и NIXL. Он предоставляет петабайты общей контекстной памяти по цене уровня SSD, отделяя масштабирование кэша от вычислительных ресурсов графического процессора. Его основные функции перечислены ниже:
-
Встроенная поддержка BF4 STX: работает как двоичный файл ARM64 в инфраструктуре STX, встроенный в хранилище, а не в отдельные серверы хранения x86.
-
Сквозной транспорт RDMA: переносит кэш KV между памятью графического процессора и NVMe через RDMA, минуя традиционные протоколы хранения файлов и объектов.
-
Размер блока, оптимизированный для графического процессора: Используются блоки размером 2–16 МБ для требований к пропускной способности графического процессора вместо устаревших блоков хранения по 4 КБ.
-
Скорость передачи данных: оптимизирован для Nvidia Spectrum-X Ethernet и PCIe Gen6 для максимизации пропускной способности физической структуры.
MemKV напрямую передает данные с твердотельных накопителей NVMe в конвейеры AI через RDMA, устраняя накладные расходы HTTP, трансляцию файловой системы и промежуточные серверы хранения.
MinIO делит конкурирующие решения контекстной памяти на два типа: неразделяемое локальное NVMe (G3) и общее хранилище общего назначения (G4). Он позиционирует MemKV как специально созданный уровень G3.5, отличающийся от обычных продуктов хранения данных.
Фирма подчеркивает, что предложения G3.5 устаревших поставщиков по-прежнему сохраняют избыточные узлы протокола, службы метаданных и уровни трансляции файлов. Эти уровни обеспечивают надежность и согласованность обучающих данных и весов моделей, но они не нужны для эфемерного пересчитываемого кэша KV, оптимизированного для блоков данных размером 2–16 МБ.
Поставщик аппаратного RAID-массива GRAID и фирма по хранению данных WEKA также предоставляют STX-совместимые решения для кэширования KV. Nvidia STX поддерживает широкий спектр поставщиков систем хранения данных, включая Cloudian, Dell, DDN, Everpure, Hammerspace, Hitachi Vantara, HPE, Lightbits/ScaleFlux, NetApp, Nutanix, Peak:AIO, Pliops и VAST Data.
Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг/Директор по глобальной стратегии
WhatsApp/WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Веб-сайт: www.qianxingdata.com/www.storagesserver.com.
Бизнес-направление:
Распространение продуктов ИКТ/Системная интеграция и услуги/Инфраструктурные решения
Имея более чем 20-летний опыт распространения ИТ-технологий, мы сотрудничаем с ведущими мировыми брендами, предоставляя надежные продукты и профессиональные услуги.
«Использование технологий для построения интеллектуального мира»Ваш надежный поставщик услуг в области ИКТ!
Ваше сообщение должно содержать от 20 до 3000 символов!
Russian
