новости компании о Хранение кэша Huawei OceanStor KV для гипермасштабных центров обработки данных ИИ

Huawei анонсировала OceanStor M900, масштабируемый кластер хранения данных, обеспечивающий базовый уровень кэша 64 PB KV для своих Atlas 960 SuperPoD;ускорители ИИ в масштабе стеллажа, сопоставимые с SuperPOD от Nvidia.

Nvidia определила ориентировочный дизайн, интегрирующий свои графические процессоры, BlueField NIC, коммутаторы Spectrum-X и программное обеспечение для ИИ с системами хранения, поддерживающими GPUDirect, RDMA,и расширение кэша KV через программное обеспечение Dynamo и схему CMXЭта многоуровневая архитектура использует высокополосную память (HBM) GPU в качестве самого быстрого верхнего уровня, за которым следуют связанные серверы X86 DRAM в качестве уровня 2, локальные SSD серверов в качестве L3,и интеллектуальные SSD NVMe подключенные к BlueField-4 NIC в сервере флэш-хранилища, служащем L3.5Они могут достигать HBM GPU в одном сетевом прыжке с задержкой микросекундного класса.

Huawei теперь бросает вызов дизайну SuperPOD Nvidia со своими собственными SuperPoD, построенными для гипермасштабных центров обработки данных ИИ.что означает, что память одного ускорителя с высокой пропускной способностью не может содержать все необходимые токены ключевого значения, что требует механизма кэширования.

Компания заявляет, что один Atlas 960E SuperPoD может масштабироваться до 4096 NPU (Neural Processing Units), обеспечивая 8 EFLOPS вычислительной производительности FP8,до 1 петабайта емкости HBM и 256 ТБ унифицированной памятиРазвертывание 5 500 Hi-ONE-устройств, оснащенных UnifiedBus (NPO), сокращает потребление энергии более чем на 550 киловатт по сравнению с 48 000 800G оптическими модулями, традиционно необходимыми для взаимосвязи всех NPU.Это также удваивает время работы системы без сбоев и достигает 990,8% доступности системы.

Huawei OceanStor M900
SuperPoD использует многоуровневую систему кэширования KV, где M900 обеспечивает петабайтный KV кэш для L3.5.5 КВ емкость кэша и 40 ТБ/сек совокупной пропускной способности по оптической сети для этого уровняHuawei утверждает, что при типичных нагрузках на вывод ИИ,Эта архитектура удваивает пропускную способность токенов кластера выводов и сокращает время до первого токена (TTFT) вдвое.

Компания отмечает, что пропускная способность 40 ТБ/сек в 1,5 раза выше, чем у конкурирующих решений, без прямого названия поставщиков.MinIO и VAST системы передачи данных, чья пропускная способность кластера составляет от 10 до 25 ТБ/сек.

M900 имеет интегрированную конструкцию, объединяющую процессор, сетевой контроллер и NAND-контроллер в одном устройстве, что позволяет SuperPoD NPU устанавливать прямую однократную связь с SSD.Это уменьшает задержку доступа с миллисекунд до примерно 60 микросекунд.

Дэвид Ванг, заместитель председателя совета директоров и председатель совета директоров компании Huawei, сказал: "OceanStor M900 также использует гибридные носители и оптимизированный алгоритм хранения, увеличивая продолжительность жизни SSD в 16 раз.Это обеспечивает более высокий показатель успеваемости кэша KV наряду с долгосрочной стабильностью и надежностью с самого начала..??

В более подробных подробностях Huawei заявляет, что M900 оснащен технологией адаптивного хранения данных KV, которая предсказывает ожидаемый срок службы и значение каждого сегмента данных кэша KV.Он планирует и распределяет данные по различным уровням медиа.Huawei утверждает, что эта оптимизированная стратегия размещения и хранения позволяет SSD поддерживать до 24 записей дисков в день (DWPD), что является особенно высоким показателем.и увеличивает выносливость SSD в 16 раз, поддерживая три года стабильной работы с меньшим количеством замены привода.

Пока слишком рано для Huawei выпускать таблицы данных M900 и технические брифинги, поэтому детали, такие как размер узла, контроллеры, количество приводов и емкость,Количество узлов кластера и другие спецификации еще не доступны.

НПУ Примечание
NPU - это Huawei Ascend Neural Processing Units, которые, по словам Huawei, построены для искусственного интеллекта (в отличие от графических чипов).Они используют архитектуру Huawei Da Vinci с кубическими (матричными) ядрами и векторными ядрами., и поддерживают низкоточностные форматы, включая FP8 и FP4, для ускорения выводов и обучения для больших моделей.Они могут масштабироваться до тысяч или даже сотен тысяч НПУ, работающих как одна логическая машинаНедавние предложения, такие как Atlas 350 (используя Ascend 950PR) и предстоящие Atlas 960 SuperPoD, позиционируются как альтернативы GPU Nvidia на китайском рынке.

Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!