новости компании о Panmnesia и Meta используют один чип, основанный на CXL, для отображения центров обработки данных ИИ

Meta и поставщик технологий CXL Panmnesia заявляют, что центры обработки данных ИИ следует рассматривать как единый скоординированный вычислительный ресурс, а не как набор совместно расположенных независимых серверов.

Центр обработки данных ИИ должен быть тесно связанным ресурсом с единой областью когерентности, подобно чипу ЦП. Это отличается от существующих, слабо связанных, управляемых запросами корпоративных центров обработки данных, которые имеют множество областей когерентности. Центры обработки данных ИИ могут выполнять одну задачу на сотнях, даже тысячах ГП, что примерно аналогично рабочей нагрузке высокопроизводительных вычислений, включающей скоординированные процессорные ядра, память и сетевые соединения.

Panmnesia и Meta совместно предложили архитектуру центра обработки данных ИИ следующего поколения, в которой центр обработки данных работает как единый чип. Работа опубликована в NREE, журнале Nature Portfolio.

Мёнсу Чонг
Мёнсу Чонг, генеральный директор Panmnesia, сказал: «По мере масштабирования систем ИИ возможность быстро и эффективно подключать большое количество ускорителей и устройств памяти становится столь же важной, как и производительность отдельных ускорителей. Это исследование намечает направление для инфраструктуры ИИ следующего поколения, где CXL позволяет всему центру обработки данных работать как единая вычислительная система».

Компоненты на одном вычислительном чипе, ядра и т. д. спроектированы и расположены таким образом, чтобы они имели унифицированные пути соединения в единой области когерентности и выполняли свою работу синхронно, скоординированно и контролируемо. В отличие от этого, существующие центры обработки данных имеют серверные процессоры и хранилища в стойках с сетевыми соединениями и коммутаторами внутри стоек и между стойками. Нет управляющей структуры для координации серверной обработки.

Центр обработки данных, подобный чипу
Panmnesia заявляет: «В современных центрах обработки данных ускорители внутри стойки соединены быстрыми масштабируемыми межсоединениями, в то время как соединения, выходящие за пределы стойки, и соединения с устройствами, отличными от ускорителей, зависят от более медленных масштабируемых сетей. Измерения таких сред показывают распределение задержек с тяжелым хвостом, где 99-й процентиль задержки двустороннего канала примерно в пять раз превышает медиану. Именно это сдерживает общую работу, и чем больше устройств участвует, тем чаще и сильнее это происходит».

Чтобы центр обработки данных ИИ работал эффективно и быстро, необходим контроль и координация как внутри стоек, так и между стойками ГП, их памяти и хранилищ. В крупномасштабной инфраструктуре ИИ, говорится в сообщении, снижение вариативности задержек между устройствами, чтобы центр обработки данных в целом вел себя предсказуемо, так же важно, как и повышение производительности отдельных устройств или скорости соединения.

Panmnesia LAU
Meta и Panmnesia предлагают использовать CXL в качестве основы для этого, с новыми концепциями, позволяющими ему работать на уровне нескольких стоек ГП. Расширенный CXL обеспечивает когерентность кэша между стойками ускорителей в их схеме, поддерживая большее количество устройств, чем основанные на NVLink GB200 NVL72 и UALink от Nvidia в масштабе стойки.

Это определяет основные правила объединения устройств, но не маршрутизацию данных и задержку. Они предлагают три выделенных аппаратных элемента для уменьшения и ограничения вариативности задержки:
Высокопроизводительный неблокирующий коммутатор: подключает множество устройств одновременно, уменьшая количество переходов и сохраняя схожие длины путей независимо от источника.
Блок ускорения канала (LAU): перемещает повторяющуюся обработку протокола в каждой точке соединения в выделенный аппаратный конвейер, делая поведение на уровне перехода более регулярным и ограничивая вариативность задержки.
Контроллер фабрики: применяет одинаковую политику упорядочивания для обработки запросов по всей системе, так что транзакции обрабатываются последовательно, независимо от того, через какое устройство они проходят.

Высокопроизводительный и неблокирующий коммутатор Panmnesia
Контроллер фабрики (комбинированный контроллер CXL/PCIe) и LAU завершили валидацию кремния, а коммутатор фабрики был изготовлен в виде физического кремниевого чипа, с поставляемым предрелизным кремнием. Это демонстрирует, что предложенная архитектура реализуема на уровне производимого кремния.

Их архитектура группирует ЦП, ускорители, память и коммутаторы по функциям в лотки, группирует лотки в модули и соединяет модули через фабрику — регулярную иерархию лоток-модуль-фабрика, разработанную для сохранения фиксированных переходов и более последовательных путей связи и синхронизации.

Контроллер фабрики Panmnesia
По сравнению с дизайном Nvidia, в котором один ЦП соединен с двумя ускорителями через NVLink-C2C, внутреннее пространство стойки соединено NVLink, а серверы и стойки соединены масштабируемой сетью, такой как Ethernet или InfiniBand, их схема:
Обеспечивает 8-кратное увеличение числа ускорителей, напрямую координируемых одним ЦП; с 2 до 16,
Позволяет до 960 ускорителям работать вместе в единой области когерентности,
Сокращает задержку доступа к данным с микросекундного уровня до нескольких сотен наносекунд; примерно на порядок ниже,
Блок замены отказавшего компонента становится неисправным отдельным устройством вместо сервера. Разделение ресурсов по типам позволяет системе заменять только неисправные устройства, а не весь сервер, избегая растраты ресурсов и длительных операционных остановок.

Panmnesia уже реализовала основные компоненты архитектуры в кремнии, завершила валидацию и теперь готовится к коммерческим поставкам. Будущие разработки направлены на оптические межсоединения для увеличения скорости и масштабируемости.

Сноска
Ссылка на статью NREE доступна.

Beijing Qianxing Jietong Technology Co., Ltd.
Сэнди Янг/Директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Веб-сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес-фокус:
Дистрибуция ИКТ-продукции/Системная интеграция и услуги/Инфраструктурные решения
Обладая более чем 20-летним опытом дистрибуции ИТ, мы сотрудничаем с ведущими мировыми брендами, чтобы поставлять надежные продукты и профессиональные услуги.
«Используя технологии для построения интеллектуального мира» Ваш надежный поставщик услуг ИКТ-продукции!