CoreWeave развернул многораковый кластер NVIDIA Vera Rubin NVL72 на CoreWeave Cloud, соединяя сотни графических процессоров Rubin в единую масштабируемую среду, оптимизированную для агентических нагрузок ИИ.Каждый изготовленный Dell стеллаж вмещает 72 GPU Rubin и 36 CPU Vera, используя NVLink 6 в качестве своей масштабируемой ткани для взаимосвязи, соединенной с двумя ConnectX-9 SuperNIC на GPU. Стеллажи соединены через NVIDIA Spectrum-X Ethernet в двухуровневой неблокирующей ткани,который CoreWeave может масштабировать примерно до 128CoreWeave является первым облачным провайдером, который успешно подтвердил и активировал систему Vera Rubin NVL72, и первым, кто опубликовал ее измеренную производительность.На прошлой неделе были обнародованы первые результаты рецензируемого эталонного показателя.Наряду с обновлением вычислений, CoreWeave AI Object Storage добавляет перекрестное ускорение записи и совершенно новый уровень архива.

Архитектура NVIDIA Vera Rubin NVL72 с несколькими стойками

Это многораковое развертывание нацелено на агентические рабочие процессы, где последовательные циклы рассуждения и вызовы внешних инструментов усиливают задержку доступа к данным по всей распределенной инфраструктуре.Двойные ConnectX-9 SuperNIC, установленные на каждом графическом процессоре Rubin, обеспечивают до 1.6 Tb / s пропускная способность сети бэк-энда на GPU по многорельсовым, многоплановым ссылкам. Ткань использует модульную конструкцию, позволяющую новым стойкам NVL72 присоединяться к той же не блокирующей топологии по мере расширения емкости.Стеллажи работают при 45°C жидкостном охлаждении.

CoreWeave объединяет эти стеллажи с помощью программного обеспечения Mission Control.включая обнаружение аппаратного обеспечения с помощью мигающей прошивкиМодуль управления стойками Racky управляет питанием и инфраструктурой,в то время как программируемый контроллер охлаждения Valvey обеспечивает программно-определенную видимость и управление схемами охлаждения жидкости и датчиками окружающей среды.

Раки вводятся в производство только после поэтапного тестирования на уровне узла, включая часы повторной диагностики GPU, проверки передачи CPU-GPU, тесты взаимосвязи и тепловой нагрузки,плюс реалистичные нагрузки на обучение. На уровне решетки синхронизированные работы на всех 72 графических процессорах подтверждают пропускную способность NVLink GPU-to-GPU; любое оборудование, падающее ниже порогов производительности, используется для устранения неполадок.CoreWeave запускает распределенные нагрузки, преднамеренно отключая NVLink, чтобы заставить трафик через сеть бэк-энда, и контролирует физическую структуру на наличие нестабильных ссылок, растущих показателей ошибок, перегрева компонентов и несбалансированного трафика.Испытательные нагрузки имитируют агентические приложения, с внезапным пиком спроса, переменной одновременностью и прорывными коммуникационными моделями.

Обновления хранилища объектов ИИ: межрегиональные записи и уровень архива

Улучшение хранилища основано на локальном ускорителе транспорта объектов (LOTA), прокси-кэшировании, развернутом на каждом узле GPU и CPU в CoreWeave Kubernetes Service,хранение данных объекта на локальном узле NVMe. CoreWeave сообщает о кэшированном чтении, достигающем до 7 ГБ/с на GPU, с задержкой чтения p99 более чем в 8 раз ниже, чем прямой доступ в букет.000 графических процессоров и 20 ПБ кэша, достигнув 99,7% успеваемости, при этом LOTA предлагается без дополнительной платы.

Ускорение записи между регионами позволяет приложениям писать в ведро в удаленном регионе с локальной задержкой без модификации API или SDK.Приложения отправляют стандартные записи S3 в конечную точку LOTA; данные объекта постоянно хранятся локально, в то время как метаданные связываются с удаленным регионом. Объект становится мгновенно читаемым, даже для работы над написанием,и данные мигрируют в отдаленный регион на заднем плане. Приложения видят единое пространство имен ведра, охватывающее все регионы с последовательными политиками IAM, правилами жизненного цикла и контролем доступа,устранение отдельных региональных бутылок и репликационных трубопроводов, обычно требуемых для распределения между пунктами пропуска.

"Наши наборы данных охватывают несколько регионов, и мы не можем позволить себе, чтобы наш график обучения диктовался задержками в получении данных между регионами", - сказала Сесиль Роберт-Мишон.Директор внутренней инфраструктуры в Cohere.??CoreWeave AI Object Storage дает нам единый набор данных по регионам с чтениями, кэшированными локально, так что ничего не ждет в сети.

Архивный уровень является четвертым классом хранилища наряду с горячим, теплым и холодным, предназначенным для записи разовых, редко читаемых данных, таких как исторические контрольные пункты обучения и сырые наборы данных.Он имеет более низкие цены на базовую мощность и отказывается от сбораCoreWeave рекомендует сохранить последние контрольные пункты на более быстрых уровнях для быстрых перезагрузок,с автоматическим тирингом в архиве после 60 дней без чтения. Межрегиональные записи и архивный уровень теперь доступны в целом.

Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!