Russian
На саммите RAISE в Париже DDN продемонстрировала свое сотрудничество с Nebul, европейским поставщиком гибридных облаков, ориентированное на повышение эффективности широкомасштабного развертывания выводов ИИ.Обнародовано на прошлой неделе, совместная инициатива объединяет платформу выводов Nebul, архитектуру интеллекта данных Infinia DDN и ускоренные вычисления NVIDIA для решения ключевого узкого горла ИИ в производстве:затраты на перемещение данных и ограничения производительности во время inference workloads.
DDN основывает сотрудничество на критических показателях производства: использование GPU, пропускная способность токенов, стоимость на токен и задержка.вывод определяет свои операционные и коммерческие доходы. Растущее использование агентивного ИИ, генерация с увеличенным поиском (RAG),и высококонкурентный вывод означает, что инфраструктура хранения и обработки данных напрямую влияет на эффективность ускорителя и скорость ответа ИИ.
Этот активный проект доказательства концепции принес перспективные первые результаты.Партнеры зарегистрировали измеримое улучшение времени до первого токену с включенным кэшем KV и завершили проверку на основе инфраструктуры RoCE.Продолжающееся сравнение охватывает более длинные длины последовательностей выводов, раскрывая потенциал дальнейшей оптимизации для платформы Infinia.Сотрудничество также расширяется на совместные усилия NVIDIA по системам сравнительного анализа., проверки масштабируемости и предстоящих технических публикаций.
Интегрированная платформа использует распределенные КВ-кашевые сервисы, движение данных на GPU, интеллектуальную оркестрацию данных и высокопроизводительную архитектуру хранения.Ускорение кэша KV обеспечивает значительные выводы, сохраняя и быстро восстанавливая заранее вычисленные состояния внимания, сокращая избыточные расчеты и устраняя задержки доставки данных, которые вызывают простой режим работы GPU.
Лидеры DDN, Nebul и NVIDIA подчеркнули существенный сдвиг в отрасли: приоритеты инфраструктуры ИИ переходят от использования сырой графической графики к операционной эффективности,максимизация доходности от существующего оборудования ускорителя. DDN CEO Alex Bouzari and Nebul CEO Arnold Juffer noted that past focus on larger model scales has given way to optimizing inference economics to make production AI commercially viable via lower per-token costsРод Эванс, вице-президент NVIDIA Cloud Infrastructure, добавил, что крупномасштабные агентические нагрузки теперь измеряют успех инфраструктуры за счет использования GPU и задержки, а не просто вычислительной мощности.
DDN подчеркивает, что инфраструктура ИИ должна развиваться за пределы базовых функций хранения, чтобы активно поддерживать рабочие процессы выполнения ИИ.Платформы инфраструктуры компании в настоящее время работают с более чем одним миллионом графических процессоров по всему миру, обслуживающих гиперскалеров, облачных провайдеров, предприятий, правительств и научно-исследовательских учреждений.
Современные инфраструктурные команды ИИ теперь отдают приоритет следующим основным показателям производства:
Использование графического процессора: измеряет эффективную активность ускорителя во время вывода, максимизируя ценность высокопроизводительного оборудования GPU.
Стоимость за токен: связывает производительность инфраструктуры напрямую с выходной операционной стоимостью модели ИИ.
Токены на ватт: Оценивает энергоэффективность вывода ИИ.
Время для первого знака: Определяет отзывчивость интерактивных приложений ИИ и пользовательский опыт.
Время до производства: количественно определяет операционные усилия по переходу услуг ИИ с тестирования на масштабируемое коммерческое развертывание.
Поскольку вывод становится доминирующей рабочей нагрузкой ИИ, доставляя кэшированные контекстные и корпоративные данные на графические процессоры с низким,Стабильная задержка будет иметь решающее значение для поддержания высокого использования GPU и контроля долгосрочных эксплуатационных затрат..
Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!