Rack Groq 3 LPX, который Nvidia представила на GTC, будет развернут вместе с racks NVL72, обеспечивая выделенную емкость для выводов ИИ и агентических нагрузок ИИ.Раковка Groq 3 LPX может вместить до 256 LPU ускорителей, оснащенный 128 ГБ SRAM и потрясающей 40 петабайт в секунду пропускной способности памяти SRAM.и Nvidia отмечает, что в конечном итоге может масштабироваться до размещения более 11000 LPU.
Сочетание стойки Groq 3 LPX с системой Rubin NVL72 позволяет клиентам генерировать миллион токенов всего за 45 долларов на модели GPT с 1 триллионом параметров с окном контекста 400 тысяч токенов,Согласно NvidiaЭта цифра в 35 раз больше токенов, чем система Rubin NVL72 может генерировать сама.
Groq 3 LPU не единственные новые чипы, которые Nvidia использует для увеличения возможностей выводов ИИ.Компания также объявила о выделенной стойке для своих процессоров Vera, основанных на процессорах ARM, в паре с двумя графическими процессорами Rubin для создания суперчипов в ядре систем NVL72 и NVL8 Nvidia..
Поскольку процессоры стали ключевым узким уголком для выводов ИИ и агентических нагрузок ИИ, предприятия все чаще требуют больших ресурсов ЦП.Nvidia выпустила автономный реак только для процессоров, названный Vera CPU Rack, который включает в себя 256 процессоров Vera, подключенных к 400 ТБ LPDDR5x памяти, работающей со скоростью 300 ТБ/с.
Раковина Vera CPU также оснащена спинном Ethernet Spectrum-X и 64 блоками обработки данных BlueField-4.Эти DPU координируются с графическими процессорами в системах NVL72 через интерконнекцию NVLink-C2C Nvidia, обеспечивая 1,8 ТБ/с когерентной полосы пропускания в семь раз больше полосы пропускания PCIe Gen 6, на компанию.
Nvidia заявляет, что стойка Vera может поддерживать 22 500 одновременных сред процессора, удовлетворяя огромный спрос на процессор, необходимый для плавного выполнения выводов ИИ и агентических нагрузок.Рак использует жидкостное охлаждение и построен на архитектуре ссылки MGX от Nvidia, который компания подчеркивает, поддерживается 80 партнерами экосистемы, и будет распространяться через глобальную сеть партнеров Nvidia.
Nvidia также анонсировала новый рак, полный BlueField-4 DPU, один из семи новых чипов, которые Nvidia рекламировала как составляющие новый суперкомпьютер ИИ.BlueField-4 STX - это первая реализация новой платформы Nvidia CMX (контекстная память)., который расширяет память GPU от HBM в первичное хранилище NVMe.который представил на своем CMX хранилище предложение на его конференции несколько недель назад, начинают применять его через архитектуру Nvidia STX.
"STX - это высокопропускной, общий уровень, оптимизированный для хранения и извлечения массивных данных кэша ключевых значений, генерируемых агентическими рабочими процессами", - сказал Бак.В то время как Nvidia не собирается предоставлять его напрямую, we’re providing [the reference architecture] to all of our storage partners and the entire storage ecosystem so that they can build the next generation of storage for AI factories that has 4x the performance per watt, удваивая количество страниц в секунду для корпоративных данных, и предоставляя в 5 раз больше токенов в секунду контекстуальной памяти, необходимой для заводов ИИ, работающих с агентскими рабочими процессами.
Cloudian, DDN, Dell Technologies, Everpure (ранее Pure Storage), Hitachi Vantara, HPE, IBM, MinIO, NetApp, Nutanix,и WEKA все строят новое хранилище на BlueField-4 STX архитектуры ссылки, сказал Nvidia, в то время как такие компании, как CoreWeave, Crusoe, IREN, Lambda, Mistral AI, Nebius, Oracle Cloud Infrastructure (OCI) и Vultr, принимают его.
В целом, Nvidia представляет семь новых чипов на GTC, каждый из которых играет определенную роль в управлении ИИ на платформе Vera Rubin.BlueField-4 DPU, Groq 3 LPU, и SpectrumX CPO, новый совместно упакованный оптический Ethernet-свич, который обеспечивает соединение 200 Гбит/с через кремниевую фотоника.и сейчас она в производстве, сказал генеральный директор Йенсен Хуанг в своем выступлении.
Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!
Ваше сообщение должно содержать от 20 до 3000 символов!
Russian
