новости компании о Inferra - это прорыв Lightbits в решении проблемы ограничения производительности при инференсе из-за памяти

Я сжал полный текстКоличество слов 8%, сохранил все основные факты, ориентиры, котировки и техническую логику и удалил все ссылки:

Программное обеспечение Lightbits Inferra ускоряет операции кэша KV, разрушает стену памяти выводов ИИ и резко улучшает использование GPU.Высокопроизводительная компания по хранению блоков построила Inferra для виртуализации памяти с высокой пропускной способностью GPU (HBM). КВ кэш хранит заранее вычисленные ключи внимания и значения во время вывода LLM, избегая избыточного перерасчета данных последовательности и повышая производительность генеративного ИИ.

Стандартный кэширование KV ограничивает кэшированные данные на GPU HBM. Как только HBM насыщается, существующие пары KV выводятся для новых данных, что требует многовременного перерасчета при повторном использовании.Современное многоуровневое кэширование KV расширяет хранилище до серверной DRAMВ то время как более высокие уровни влекут за собой более длительную задержку доступа, эта задержка часто короче, чем перерасчет обширных векторов токенов.

Inferra устраняет критические узкие места в памяти, возникающие в результате расширения KV-каше с длинным контекстом.более масштабируемый вывод ИИ без дорогостоящих обновлений оборудования GPU и HBM для расширения емкости кэша.

Соучредитель и председатель Lightbits Labs Авигдор Вилленц отметил, что рынок выводов ИИ на сумму 117 миллиардов долларов в 2026 году заставляет поставщиков, ориентированных на обучение, перестроиться.Он подчеркнул, что устаревшие системы хранения и обучения не могут быть модернизированы для узких мест в КВ-каше.Специально разработанный для эффективности выводов GPU, Inferra подтвердил свою ценность в бета-программах клиентов,расширение NVMe поставщика на TCP инновации для решения современных inference проблем.

Используя алгоритмы предварительного поиска, оптимизированные для кэша KV, Inferra проактивно загружает предстоящие данные кэша KV до спроса на GPU.до 16 раз больше одновременных сеансов вывода на существующем оборудовании GPU с строгим соблюдением SLA (без необходимости обновления оборудования); до 100-кратного улучшения задержки и поддержки 10-миллионных токенов контекстных окон, сокращения TTFT и TPOT посредством предварительного поиска состояния внимания вместо повторного вычисления;и безопасная изоляция арендаторов с интеллектуальным унифицированным управлением кэшем KV для общих кластеров выводов.

Inferra переопределяет экономику выводов, виртуализируя память GPU в многоуровневой памяти и хранилище, превращая фрагментированное КВ кэширование в постоянный, интеллектуальный уровень данных.Развернуто на серверах и подсистемах x86, он отслеживает активность блоков кэша KV и использует движок Sub-Linear Sparse Attention Prefetch (SLSAP).он ранжирует и расставляет приоритеты часто используемых блоков КВ, включая недавние токены, семантически схожее содержание и структурные шаблоны в многоразовом чате и рабочем процессе RAG.Система извлекает целевые блоки из серверной DRAM или внешних SSD и предварительно загружает их в GPU HBM через RDMA.

Главный специалист по продуктам и технологиям OVH Янив Фдида подтвердил, что Inferra обеспечивает существенное увеличение использования GPU, обеспечивая масштабируемую, экономически эффективную инфраструктуру агентов ИИ и рабочей нагрузки RAG.

Результаты общедоступных показателей подтверждают резкое повышение производительности: Qwen 2.5-7B (410K контекст) ускоряется 102× (72.6s → 711ms); DeepSeek-R1-70B (141K контекст) улучшается 152× (70.8s → 465ms);Llama-4-Scout (контекст 10M) достигает скачка в 380 раз (1.5 часов → 13 с).

Инферра не зависит от оборудования и совместим со всеми основными фреймворками выводов с открытым исходным кодом.он обеспечивает сублинейное масштабирование TTFT относительно длины контекста, в то время как конкуренты, включая DDN, VAST Data и WEKA, предлагают только линейное масштабирование или реактивное потоковое вещание.эталонный показатель, не имеющий аналогов у конкурентов.

Старший вице-президент по продуктам и бизнесу Lightbits Labs AI Рамеш Четтуветтти заявил, что Inferra обеспечивает немедленную экономию TCO,устранение длинных контекстуальных выводов и предоставление предприятиям возможности использовать более крупные модели и более длинные диалоговые нагрузки при более низких затратах на инфраструктуру. Пользователи могут оценить преимущества оптимизации затрат Inferra через платформу оценки эффективности поставщика.Inferra достигла ускорения кэша от 100 до 280 кВ на рабочих нагрузках SSD для вычислительного хранения.

Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!