Russian
WEKA объявила об интеграции своей платформы NeuralMesh с эталонной архитектурой NVIDIA STX, сделав ее дополненную сетку памяти ключевым строительным блоком для инфраструктуры искусственного интеллекта следующего поколения. Комбинированное решение устраняет одно из наиболее серьезных узких мест в крупномасштабных средах вывода: ограничения памяти, которые напрямую влияют на производительность, общую стоимость владения и масштабируемый рост.
Работая через NeuralMesh, расширенная сетка памяти WEKA расширяет память графического процессора за счет внешнего хранения и сохранения кэшей значений ключа. При развертывании с NVIDIA STX эта архитектура обеспечивает высокопроизводительное хранилище контекстной памяти для агентных рабочих нагрузок искусственного интеллекта, поддерживая длинные контекстные рассуждения между сеансами, инструментами и сквозными рабочими процессами. По данным компании, конфигурации, сочетающие системы NVIDIA Vera Rubin NVL72, DPU BlueField-4 и Spectrum-X Ethernet, могут повысить пропускную способность токенов контекстной памяти в 4–10 раз. Планируется, что платформа будет обеспечивать пропускную способность чтения не менее 320 ГБ/с и записи 150 ГБ/с, что более чем вдвое превышает производительность традиционных архитектур хранения данных с использованием искусственного интеллекта.
Инфраструктура памяти становится узким местом вывода
WEKA сосредотачивает эту интеграцию на растущей проблеме со стенами памяти в современных развертываниях искусственного интеллекта. В современных конвейерах вывода ограниченная память графического процессора с высокой пропускной способностью приводит к частому вытеснению кэша KV, что приводит к повторным повторным вычислениям и снижению операционной эффективности. По мере роста параллелизма в системе эта неэффективность увеличивается, увеличивая расходы на инфраструктуру и снижая предсказуемость производительности.
В качестве решения компания продвигает инфраструктуру общего кэша KV. Сохраняя постоянный контекст между пользователями и сеансами, общее кэширование устраняет избыточную обработку и стабилизирует пропускную способность токенов. NVIDIA STX предоставляет проверенную эталонную архитектуру для этой модели, а WEKA обеспечивает уровень расширения хранилища и памяти.
NeuralMesh и архитектура сетки расширенной памяти
NeuralMesh действует как распределенная платформа хранения данных WEKA, созданная для полной интеграции со всем стеком NVIDIA STX. Он предоставляет высокопроизводительные услуги передачи данных, оптимизированные для рабочих нагрузок искусственного интеллекта, а Augmented Memory Grid служит выделенным уровнем расширения памяти, который консолидирует KV-кеш за пределами памяти графического процессора.
Такая конструкция позволяет средам вывода поддерживать длительные сеансы контекста без перегрузки ресурсов графического процессора. Сохраняя состояние кэша и позволяя повторно использовать его в разных рабочих нагрузках, платформа поддерживает высокий уровень использования и стабильную производительность по мере масштабирования развертываний.
WEKA отмечает, что технология Augmented Memory Grid, впервые представленная на GTC 2025 и теперь общедоступная, была проверена на платформах процессоров NVIDIA Grace в сочетании с DPU BlueField. Архитектура обеспечивает измеримый прирост эффективности вывода, в том числе значительно более быстрое время создания первого токена, более высокую пропускную способность каждого графического процессора и стабильную производительность при увеличении параллелизма. Разгрузка пути данных в BlueField-4 также снижает нагрузку на ЦП и устраняет узкие места ввода-вывода.
Повышение производительности и эффективности
В производственных средах платформа разработана для повышения оперативности и эффективности инфраструктуры. WEKA заявляет, что расширенная сетка памяти может сократить время создания первого токена в 4–20 раз, одновременно увеличивая выдачу токенов на каждый графический процессор до 6,5 раз. Эти улучшения обусловлены более высокой частотой попаданий в кэш KV и меньшим количеством циклов повторных вычислений, что позволяет системам поддерживать производительность по мере увеличения размеров контекста и количества пользователей.
Firmus, поставщик инфраструктуры искусственного интеллекта, считается одним из первых, кто начал использовать NeuralMesh с инфраструктурой на базе NVIDIA. Фирма сообщает об увеличении пропускной способности токенов и снижении задержек в масштабе, при этом выгоды достигаются за счет более эффективного использования существующих графических процессоров, а не за счет развертывания дополнительного оборудования.
Последствия для проектирования инфраструктуры искусственного интеллекта
Эта интеграция подчеркивает сдвиг в проектировании систем искусственного интеллекта, где стратегии памяти и хранения все больше определяют общую производительность и экономическую эффективность. По мере расширения рабочих нагрузок агентного ИИ и расширения контекстных окон подходы, основанные только на DRAM, становятся нежизнеспособными из-за роста затрат на повторные вычисления и недостаточного использования графических процессоров.
WEKA позиционирует постоянный общий кэш KV как основную возможность для фабрик искусственного интеллекта. Организации, применяющие эту модель, могут добиться более высокого использования графического процессора, снижения энергопотребления на задачу вывода и более предсказуемого масштабирования. Напротив, среды, использующие исключительно локальную память графического процессора, скорее всего, столкнутся с ростом эксплуатационных расходов и снижением отдачи по мере роста рабочих нагрузок.
Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг/Директор по глобальной стратегии
WhatsApp/WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Веб-сайт: www.qianxingdata.com/www.storagesserver.com.
Бизнес-направление:
Распространение продуктов ИКТ/Системная интеграция и услуги/Инфраструктурные решения
Имея более чем 20-летний опыт распространения ИТ-технологий, мы сотрудничаем с ведущими мировыми брендами, предоставляя надежные продукты и профессиональные услуги.
«Использование технологий для построения интеллектуального мира»Ваш надежный поставщик услуг в области ИКТ!
Сэнди Янг/Директор по глобальной стратегии
WhatsApp/WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Веб-сайт: www.qianxingdata.com/www.storagesserver.com.
Бизнес-направление:
Распространение продуктов ИКТ/Системная интеграция и услуги/Инфраструктурные решения
Имея более чем 20-летний опыт распространения ИТ-технологий, мы сотрудничаем с ведущими мировыми брендами, предоставляя надежные продукты и профессиональные услуги.
«Использование технологий для построения интеллектуального мира»Ваш надежный поставщик услуг в области ИКТ!