новости компании о Инстинктивный и EPYC; VAST Data устанавливает широкое сотрудничество AMD CPU/GPU

Джон Мао

Ключевые столпы расширенного сотрудничества

• - VAST использует 6-е поколение AMD EPYC (кодовое название Venice) для питания своих 6-го поколения CBox и 3-го поколения EBox платформ, лежащих в основе VAST AI OS. Gen 6 EPYC имеет PCIe Gen 6,предоставление вдвое большей пропускной способности ввода/вывода и более низкой задержки, чем PCIe Gen 5, для VAST DataBase и поддерживаемых DataEngine услуг ИИ, включая базы данных, хранилища данных и потоковой передачи событий.
• - Трехсторонняя архитектура ссылки на инфраструктуру ИИ, совместно разработанная VAST, AMD и DriveNets, включающая аппаратное обеспечение ИИ AMD Helios в раковом масштабе, VAST AI OS и сеть DriveNets AI Fabric.В проекте подробно описана инфраструктурная поддержка обучения, выводы, обучение с усилением и нагрузки кэша KV, а также руководство по размерам для команд, строящих фабрики ИИ.
• - более широкие экосистемные партнерские отношения с TensorMesh, EmbeddedLLM и другими поставщиками для ускорения производственных inference stacks, оптимизированных для агентивного ИИ.
• - Новые оптимизации кэша и выводов KV, объединяющие GPU AMD Instinct, Infinity Context, программное обеспечение ROCm и VAST AI OS.
• - Автоматизированное управление жизненным циклом КВ-кеша: очистка кэша, содержащего конфиденциальные персональные данные, создает серьезные препятствия для соблюдения требований.Интегрированный стек использует правила жизненного цикла данных VAST, чтобы автоматически истекать и стирать данные кэша KV, обеспечивая надежную безопасность, конфиденциальность и соблюдение нормативных требований без ручной административной работы.
• - AMD Pensando Pollara 400 AI NIC создает высокоскоростные траектории передачи данных, связывающие графические процессоры Instinct с операционной системой VAST AI.Он беспрепятственно передает данные между памятью GPU и кластерами хранилища NVMe SSD VAST, обеспечивающий доступ к КВ кэшу и хранилищу, критически важный для крупномасштабного вывода и агентивного ИИ.
• - Проверенные развертывания в ведущих облачных поставщиках ИИ, предлагающих услуги ИИ на базе AMD во всем мире, включая 5C, Core42, Crusoe, EmbeddedLLM, Phanos.AI, TensorWave и Vultr.