Russian
MinIO выпустила MemKV, специальное хранилище контекстной памяти, созданное для решения критического узкого горла в крупномасштабных системах выводов ИИ.Второе флагманское решение MinIO® наряду с AIStor, MemKV расширяет инфраструктуру данных фирмы в уровень памяти. Он разработан для доставки постоянных, общих контекстных данных для агентических нагрузок ИИ, работающих на распределенных кластерах GPU.
MinIO AIStor
Поскольку системы ИИ переходят от одноразовых ответов к многоразовому рассуждению и автоматизированному выполнению задач, поддержание непрерывного контекста в циклах выводов становится все более важным.При существующих архитектурах, контекстные данные часто отбрасываются из-за ограниченной емкости соседних с GPU уровней памяти, включая HBM и DRAM. Это заставляет GPU неоднократно пересчитывать существующий контекст, увеличивая задержку,вычислить использование и потребление энергииMinIO определяет эту избыточную нагрузку как "налог на перерасчет", неэффективность, которая ухудшается экспоненциально в гипермасштабных облачных средах.
MemKV спроектирован для облегчения этой болевой точки с помощью совместного, постоянного слоя памяти, способного хранить петабайтные файлы с задержкой доступа на уровне микросекунд.Сохраняя контекстные данные на протяжении всего процесса вывода, платформа уменьшает избыточные вычисления и повышает эффективность инфраструктуры.Внутренние данные о сравнительных показателях от MinIO подтверждают улучшенную задержку времени до первого токена при одновременном производствеПри типичном развертывании, оснащенном 128 графическими процессорами и 128K-токенами, использование GPU выросло примерно с 50% до более 90%, что привело к значительному сокращению годовых расходов на вычисления.
Руководители MinIO заявили, что перерасчетные накладные остаются незаметными в малых развертываниях, но превращаются в фундаментальный структурный недостаток в масштабе предприятия.повторная регенерация контекста влечет за собой более высокое потребление энергии и расходы на инфраструктуру, что делает специализированные системы памяти незаменимыми для устойчивой работы ИИ.
Решение проблемы с памятью
Прежняя инфраструктура ИИ заставляет разработчиков идти на компромисс между скоростью доступа и емкостью хранения.Высокопроизводительные уровни памяти, такие как HBM и DRAM, обеспечивают микросекундную задержку, но имеют ограниченные возможности и высокие затратыНапротив, обычные системы хранения данных предлагают огромную масштабируемость, но страдают от латентности на уровне миллисекунд, что делает их несовместимыми с выводами в режиме реального времени и задачами рассуждения в длинном контексте.
Микрон HBM4
MemKV преодолевает этот пробел в отрасли, внедряя промежуточный уровень общей памяти, который балансирует сверхнизкую задержку и большую масштабируемость хранилища.Совместимость с NVIDIA BlueField-4 STX и интеграция с NVIDIA Dynamo наряду с инструментами NIXL, решение позволяет целым кластерам GPU получать доступ к единым контекстным пулам данных со скоростью передачи, соответствующей выводу.Эта конструкция исключает частое миграцию данных контекста между изолированными слоями памяти и хранилища, снижая задержку и увеличивая пропускную способность системы.
NVIDIA BlueField-4
Архитектура оптимизирована для работы с выводами
Разработанный исключительно для выводов, MemKV вписывается в слой G3.5 иерархической структуры памяти GPU MinIO.Он достигает емкости на уровне петабайт при сохранении микросекундного времени ожидания доступа, успешно отделив масштабируемость памяти от вычислительных ресурсов GPU.
Система отказывается от громоздких традиционных абстракций хранения, передавая данные непосредственно с NVMe-накопителей в AI-проводы передачи данных через конечную передачу RDMA.Это уменьшает затраты на производительность, связанные с протоколами HTTP., конверсии файловой системы и серверов промежуточного хранения, - общие узкие места в архитектуре объекта и файлового хранения.
Источник: Google
Ключевые архитектурные оптимизации включают в себя коренное двоичное исполнение ARM64 на NVIDIA BlueField-4 STX, встроенное непосредственно в слой хранилища, чтобы уменьшить зависимость от внешних узлов х86.Все передачи данных между памятью GPU и хранилищем NVMe принимают передачу RDMAКроме того, MemKV использует расширенные размеры блоков от 2 МБ до 16 МБ,которые оптимизированы для характеристик пропускной способности графического процессора вместо устаревших блоков хранения 4 КБОн поддерживает передовые высокоскоростные материалы для взаимосвязи, такие как NVIDIA Spectrum-X Ethernet и PCIe Gen6, что облегчает передачу данных почти по скорости провода через кластеры.
Доступность
MinIO MemKV теперь коммерчески доступен для развертывания в предприятиях.
Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!