Зиллиз выпустил Milvus v3.0, его открытая векторная база данных, добавляющая доступ к данным озера и модернизированный поисковый механизм для разработчиков ИИ.
Архитектура Lake-native хранит сырые данные в открытых форматах на облачном объекте хранения, а не дублирует их в автономные базы данных.Zilliz представил свою концепцию Vector Lakebase еще в июне; генеральный директор Чарльз Си описал его как унифицированную базу данных, позволяющую запросы в режиме реального времени, поиск данных и многопетабайтные учебные трубопроводы ИИ без копий данных,миграционные или параллельные накопители. Унифицированный объектный слой хранения поддерживает как низкозадержанный онлайн-векторный поиск, так и масштабную аналитику на идентичных исходных файлах.
Соучредитель и технический директор Zilliz Джеймс Луан прокомментировал: "Milvus 3.0 запускает восстановление производства непосредственно над существующими хранилищами данных и обеспечивает более мощный двигатель для современных нагрузок ИИ.Это же ядро питает базу Зиллиз Вектор Лейк., усовершенствованный эластичным масштабированием, упрощенными операциями и инструментами корпоративного уровня для управления крупномасштабными данными ИИ.
Векторные базы данных хранят числовые векторные встраивания для текста, изображений и другого контента для поиска сходства.принято более чем 10, 000 фирм для RAG, двигателей рекомендаций и агентов ИИ, с более чем 100 миллионами Docker pulls зарегистрированы.
Традиционные системы ИИ сохраняют отдельные копии данных для поиска в режиме реального времени и автономной аналитики, что приводит к дополнительным затратам на хранение, длительному экспорту данных,синхронизационные трубопроводы и большие эксплуатационные накладные.
Способность Core Milvus 3.0
1.Внешние коллекции: создать коллекции Milvus на файлах озера в Lance, Iceberg, Parquet или Vortex.выявление их через стандартные API- Инкрементальная синхронизация автоматически обновляет индексы по мере изменения данных озера.
2- Двигатель для хранения.: Новый механизм чтения, основанный на манифестации, для усиления поиска хранилища объектов с низкой задержкой, используя открытый вихрь, совместимый с стрелкой, как формат столбца по умолчанию.
3.Точные моменты: Легкие только для чтения снимки коллекции позволяют выполнять работы по дедупликации, оценке и проверке в автономном режиме на стабильных наборах данных без нарушения записи производства.
4.Операторы зажигателей и партий: Коннектор Spark DataSource V2 интегрирует Milvus с рабочими потоками Spark, Databricks и EMR, наряду с нативными функциями векторных партий для дедупликации и кластеризации.
Стандартный поиск векторов Top-K получает только самые похожие векторы по расчету расстояния, страдая от плохой масштабирования с высоким количеством векторов и размерами.0 расширяет поиск далеко за рамки базового поиска по ближайшему соседу:
1Серверная сортировка, агрегация и faceted поиск объединяют семантическое сходство с метаданными фильтров (время, цена, категория, арендатор и т.д.), исключая клиентской стороне послеобработки.
2.StructList многовекторный поиск поддерживает объекты с несколькими встраиваниями (части документов, патчи изображений, мультимодальные данные продукта) и работает с моделями позднего взаимодействия, такими как ColBERT и ColPali.
3.Оптимизированный редкий индекс сокращает объем хранения на ~ 70% при одновременном соответствии первоначальной производительности отзыва, в сочетании с изученными редкими векторами SINDI, встроенным MinHash, нулевыми векторными полями,пользовательские полнотекстовые словари и более широкая совместимость индекса Faiss.
Луан добавил, что производственные нагрузки на ИИ требуют ранжирования, группировки и многовекторного поиска в базе данных и v3.0 переработанное хранилище для обеспечения быстрого доступа к хранилищу объектов наряду с более богатой обработкой в двигателе.
Это объединенное ядро поддерживает как самостоятельно размещенный Milvus с открытым исходным кодом, так и полностью управляемый Zilliz Cloud.,серийный анализ, унифицированная индексация, корпоративное управление и автоматизация на одном источнике данных ИИ.
Промышленность Конкурентный контекст
Обновление повышает давление на конкурентов Pinecone, Qdrant и Weaviate, все они стремятся сократить задержку поиска: Qdrant запустил более быструю индексацию, кластеры высокой доступности и журналы аудита соответствия в апреле;Pinecone выпустил предварительно вычисленные наборы векторов и составные ретриверы в мае для ускорения рабочих процессов агентов.
Продавцы чистых векторных баз данных конкурируют с многомодельными платформами, включая Regatta, SingleStore и SurrealDB.более глубокие межбазовые партнерства сталкиваются с архитектурными барьерами и препятствиями для двигателя храненияРынок может увидеть вектора игроков добавлять нативные структурированные, графики, документы или временных рядов поддержки с течением времени.
Доступность
Milvus 3.0 остается LF AI & Data выпускной проект по лицензии Apache 2.0, развертываемый через Docker или Kubernetes, включая среды с воздушным разрывом, с совместимостью для S3,Хранение объектов GCS и Azure Blob. Первоначальное охват SDK включает Python, Go и Node.js, с поддержкой Java в ближайшее время.Вместе с рабочими часами для поддержки разработчиков.
Managed Zilliz Cloud встраивает Milvus 3.0 в качестве основного слоя индексации, добавляя гибкость, безопасность и унифицированные операции предприятия в одной копии общих данных.
Примечание
Внешние коллекции реализуют индексацию озера нулевых копий без миграции данных; Loon решает узкое место усиления чтения, которое ранее ограничивало хранение объектов для запросов с низкой задержкой.
Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!
Ваше сообщение должно содержать от 20 до 3000 символов!
Russian
