новости компании о ZettaLane запускает параллельную файловую систему Lustre из хранилища объектов

Вот интересная концепция: ZettaLane создала MayaNAS, параллельную файловую систему Lustre, поддерживающую NFS, pNFS и SMB, которая работает поверх облачного объектного хранилища.

MayaNAS может осуществлять потоковую передачу обучения ИИ на скоростях уровня графического процессора, обеспечивать производительность контрольных точек десятки гигабайт в секунду и сопоставлять профили стоимости сегмента объектов. Согласно тестам MLPerf Storage, пропускная способность контрольной точки Llama 3 70B при записи на двух клиентах достигла 32,42 ГБ/с. Для рабочих нагрузок RetinaNet один клиент MayaScale 200 Гбит/с обслуживал 72 графических процессора B200.

Компания ZettaLane со штаб-квартирой в Санта-Кларе, штат Калифорния, была основана в июне 2018 года техническим директором Супрамани (Сэмом) Саммандамом, опытным инженером по системам хранения данных с более чем 25-летним опытом работы в области системного программного обеспечения в Lucent Technologies, IBM, HP и Dell. Фирма работает полностью без поддержки венчурного капитала.

MayaNAS объединяет Lustre и OpenZFS, чтобы изменить экономику хранения данных. Каждый OST (объектное хранилище объектов) функционирует как набор данных OpenZFS, чьи vdev указывают на региональные сегменты Google Cloud Storage стандартного класса. Массовое чтение и запись данных одновременно осуществляется в объектное хранилище через уровень objbacker, тогда как компактное специальное устройство vdev на базе NVMe хранит только метаданные пула и небольшие блоки. На пути к данным нет локальных твердотельных накопителей или временных временных уровней.

Супрамани (Сэм) Саммандам прокомментировал: «По результатам MLPerf Storage v3.0 MayaNAS от ZettaLane был единственной записью, работающей со стандартом Lustre непосредственно в облачном объектном хранилище — с использованием регионального GCS в пути к данным на обычных облачных виртуальных машинах, без локального SSD, работающего внутри собственной облачной учетной записи клиента.

"Проверено MLCommons, он относится к другой категории по сравнению с устройствами на основе флэш-памяти, такими как Everpure. Он обеспечивает пропускную способность параллельной файловой системы в сочетании с экономикой объектного хранилища, а не фокусируется исключительно на необработанных цифрах ГиБ/с. Он выполняет полные конвейеры без размещения данных на NVMe, включая POSIX-зависимые кэши KV, которые не могут поддерживать собственные платформы S3".

Мы подняли вопрос для сравнения: похож ли MayaNAS на Nasuni, который создает файловые службы на основе серверных систем объектного хранилища?

Саммандам ответил: "На высоком уровне есть сходство: оба размещают файловую систему в объектном хранилище. Многие конкуренты создают совершенно новые файловые системы и прилагают огромные усилия, чтобы доказать соответствие POSIX. Мы выбрали альтернативный путь, опираясь на проверенную на практике OpenZFS с ее собственным разделением между метаданными, хранящимися на небольших устройствах NVMe, и большими объемами данных, хранящимися в объектном хранилище. Мы поделились этой работой на саммите разработчиков OpenZFS 2025 года и представили свой дизайн Lustre на LUG 2026.

"Nasuni следует модели кэш-первый: пограничные фильтры обслуживают трафик из локальных кэшей, в то время как авторитетные копии остаются в объектном хранилище, поэтому производительность во многом зависит от размера кэша рабочего набора. MayaNAS читает и записывает непосредственно в объект без промежуточного локального кэша данных. При тестировании MLPerf холодный объект считывает удовлетворенные рабочие нагрузки в масштабе графического процессора, что подтверждается собственными метриками Google Cloud Monitoring.

"Более фундаментальное различие заключается в ее природе: MayaNAS — это стандартная параллельная файловая система Lustre и pNFS с возможностями NFS/SMB, работающая с немодифицированными клиентами Linux в ядре. Она специально создана для параллельной пропускной способности в масштабе графического процессора, что делает ее хорошо подходящей для таких тестов, как MLPerf. Наша облачная реализация pNFS использует технологию MDS с открытым исходным кодом из LANL. Nasuni нацелена на сценарии использования распределенных корпоративных файлов; MayaNAS охватывает корпоративные NAS при одновременном расширении непосредственно на параллельные рабочие нагрузки HPC и искусственного интеллекта в объектном хранилище.

"Это отражает основную идею. Объектное хранилище, очевидно, является передовым направлением для инфраструктуры искусственного интеллекта, однако его внедрение обычно требует переписывания приложений для совместимости с S3. MayaNAS решает эту проблему: стандарт Lustre или pNFS работает поверх объектного хранилища, обеспечивая экономическую выгоду на уровне объекта без изменений кода.

«В этой архитектуре есть и другие компоненты: внутренние компоненты OpenZFS-на-объекте, pNFS вместе с интеграцией LANL MDS, блочное хранилище MayaScale NVMe-over-TCP и разветвляемый Postgres для агентного ИИ, — все они построены на этой общей основе».

заметка

После публикации Саммандам предоставил дополнительные обновления: "ZettaLane начинала свою деятельность как ООО еще в 2018 году. Я руководил ею на неполный рабочий день наряду с другими карьерными должностями, включая должность технического сотрудника в офисе технического директора Dell ISG, где я наблюдал, как VAST и WEKA набирают обороты в инфраструктуре искусственного интеллекта. Я вернулся на полную ставку в 2026 году, чтобы продвигать разработку параллельного хранилища, а проверка MLPerf, проведенная MLCommons, вселила уверенность в том, что продукт будет представлен общественности. Эти Тесты тестируют наборы данных размером более 20 ТБ вместе с миллионами файлов, а результаты проверяются другими отправителями, включая крупные корпорации.

«Финансирование остается полностью самофинансируемым и без внешних инвестиций, как отмечалось ранее.

"Чтобы быть прозрачным, у нас пока нет заметных производственных заказчиков. Это представляет собой нашу следующую ключевую веху, и эти результаты MLPerf служат нашим основным доказательством ценности для выхода на рынок. Мы надеемся заручиться сотрудничеством с одним из ведущих поставщиков объектных хранилищ".

Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг/Директор по глобальной стратегии
WhatsApp/WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Веб-сайт: www.qianxingdata.com/www.storagesserver.com.
Бизнес-направление:
Распространение продуктов ИКТ/Системная интеграция и услуги/Инфраструктурные решения
Имея более чем 20-летний опыт распространения ИТ-технологий, мы сотрудничаем с ведущими мировыми брендами, предоставляя надежные продукты и профессиональные услуги.
«Использование технологий для построения интеллектуального мира»Ваш надежный поставщик услуг в сфере ИКТ!