Параллельная файловая система IBM Storage Scale поддерживает распределенное управление кэшем KV в паре с NVIDIA Dynamo, обслуживая крупномасштабные сценарии выводов ИИ с массивными контекстными рабочими нагрузками.
IBM выпустила официальный Redbook под названиемКонтекст без границ: высокопроизводительная KV кэшевая платформа для крупномасштабного вывода ИИ, предоставляя полную проверенную справочную архитектуру для этого совместного решения.и IBM Storage Scale Erasure Coding Edition (ECE) для создания высокопроизводительного уровня совместного хранения для вывода ИИКак авторитетные технические документы, опубликованные IBM ITSO (Международная организация технической поддержки), IBM Redbooks предлагают практические,подробное руководство по развертыванию продуктов инфраструктуры IBM корпоративного уровня.
Соавтором проекта являются инженерные команды IBM, Supermicro и NVIDIA.Приложения для поиска RAG и автономные агентные трубопроводы генерируют массивные данные кэша KV внутри GPU HBMПосле того, как кэшированные данные будут удалены из ограниченных ресурсов HBM, повторное перерасчет приведет к серьезному увеличению задержки, что сделает непременным постоянное хранение кэша KV с перекрестным запросом.
Решение использует пятиуровневую иерархическую архитектуру кэша KV, охватывающую различные требования к задержке и емкости:
-
Склад G1: ГПУ узел местный HBM
-
G2 слой: DRAM системы узлов процессора
-
G3 слой: Прямое подключение к локальному SSD
-
G3.5 Слой: совместное хранение флэш-файлов на уровне подключения, на фоне NVIDIA BlueField DPU с прямым соединением с DPU сервера GPU
-
Склад G4: Внешний кросс-этернетный общий пул хранения, подключенный ко всем вычислительным серверам GPU
Эта многоуровневая настройка обеспечивает непрерывную задержку и градиенты емкости.автоматическое выселение и перегрузка динамических данных по всей стеке хранения, гибко адаптируясь к различным моделям доступа к рабочей нагрузке и бюджетам на общие затраты на инфраструктуру.
Развернутый на супермикро петамасштабных серверах хранения, Storage Scale ECE служит уровнем холодного кэша G4. Он оптимизирован для нечувствительных к задержке данных к кэшу KV,включая состояния неактивного многоразового разговора, общие данные контекста агента и записи исторических запросов, которые не требуют мгновенного ответа.
Согласно результатам испытаний, зарегистрированным в Redbook, эта готовая к производству справочная архитектура эффективно ускоряет генеративный ИИ и агентические услуги вывода ИИ.В тестах TTFT (Time To First Token) с одним запросом по сравнению с автономными серверами GPU без внешнего кэша Storage Scale KV, интегрированная система поддерживает стабильный TTFT независимо от быстрых изменений длины.Ускорение в 56 раз130k-токены последовательностей ввода и полностью устраняет колебания задержки вывода, вызванные увеличенными длинами запроса.
При одновременном давлении вывода многопользователей решение достигает резкого улучшения производительности: пропускная способность запроса увеличивается с 0,19 RPS до 4,26 RPS, что означает, что22x увеличение пропускной способностиМежду тем, общее время обработки 200 запросов снижается на 95%, что значительно повышает эффективность использования GPU и общую масштабируемость кластера.
С помощью четырех концов клиента, генерирующих устойчивый 200 ГБ/с конкурирующий сетевой трафик ввода/выводаИнтегрированная система по-прежнему стабильно работает на 3.6 RPS, завершая все 200 запросов вывода за 55,56 секунды.В 18 раз вышечем исходная архитектура перерасчета только на GPU.
Исследовательская группа пришла к выводу в Redbook: "Для предприятий, стремящихся максимизировать рентабельность инвестиций в дорогостоящее оборудование GPU, эта проверенная интегрированная архитектура обеспечивает простой,Подготовленный к производству подход к увеличению производственной мощности, сокращая задержку с конца на конец, поддерживая более высокую одновременность услуг и создавая более экономически эффективную инфраструктуру выводов крупномасштабного ИИ.
Ключевые слова: SUPERMICRO, IBM Storage Scale, NVIDIA Dynamo
Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!
Ваше сообщение должно содержать от 20 до 3000 символов!
Russian
