Databricks унифицировала аналитическую и транзакционную обработку в своем Lakehouse, добавив крупномасштабные запросы в реальном времени и возможности агентского маркетинга. Об обновлениях было объявлено на саммите Data + AI в Сан-Франциско, который собрал более 30 000 посетителей.
Новая архитектура LTAP (Lake Transactional/Analytical Processing) объединяет OLAP и OLTP через общий уровень хранения. Он объединяет бессерверные системы Lakebase и Lakehouse на базе Postgres под единым управлением, единым источником достоверных данных и общим хранилищем для операционных, аналитических и потоковых данных.
В отличие от инструментов объединения OLAP/OLTP на вычислительном уровне, LTAP объединяет данные на уровне хранения. Благодаря этому оперативные данные мгновенно становятся готовыми для анализа без дополнительных конвейеров, поддерживая независимое, полностью изолированное масштабирование транзакционных и аналитических рабочих нагрузок с нулевой потерей производительности. Созданный на основе открытых стандартов, он работает со всеми Postgres-совместимыми приложениями и устройствами чтения таблиц Delta/Iceberg.
"Сложная инфраструктура данных уже давно является накладными расходами для бизнеса. Агенты ИИ быстро расширили возможности рабочей силы предприятия, однако устаревшие системы стали основным узким местом - LTAP решает эту проблему", - сказал соучредитель и генеральный директор Databricks Али Годси.
LTAP построен на базе Lakebase, которая переносит транзакции Postgres в объектное хранилище Lakehouse. Разделение вычислений и хранилища значительно сокращает затраты на одновременное использование массовых приложений и агентов искусственного интеллекта. Запущенная в прошлом году платформа Lakebase обслуживает тысячи клиентов, включая Block, Zillow и Superhuman, ежедневно обрабатывая 12 миллионов запусков баз данных.
Раньше Lakebase и Lakehouse поддерживали отдельные копии и форматы данных, несмотря на общее хранилище. LTAP устраняет избыточное дублирование, сохраняя все данные в каталоге Unity в стандартных открытых форматах Lakehouse. Унифицированные правила идентификации, разрешений и аудита обеспечивают согласованное управление, позволяя агентам ИИ работать с одним надежным источником данных.
Транзакционные рабочие нагрузки сохраняют полное соответствие Postgres ACID, а аналитические рабочие нагрузки выполняются в неограниченном масштабе и параллельном режиме. Нулевое перемещение данных гарантирует стабильные операционные и аналитические результаты без необходимости ETL. Lakebase добавляет три ключевых обновления: аварийное восстановление между облаками и регионами, ветвление/снимки в стиле Git для безопасного производственного тестирования и автономные операции с базами данных на базе искусственного интеллекта для мониторинга, оптимизации и восстановления.
Компания Databricks запустила Lakehouse//RT, Lakehouse, работающий в реальном времени и управляемый новым вычислительным движком Reyden. Он обеспечивает задержку на уровне миллисекунд для большого количества одновременных пользователей и агентов искусственного интеллекта, работая на управляемых таблицах Delta Lake и Iceberg в каталоге Unity. Он устраняет отдельные разрешения, собственные форматы и конвейеры синхронизации, устраняя затраты на автономные уровни обслуживания в реальном времени.
"Уже десять лет мы унифицируем основные рабочие нагрузки данных в открытой инфраструктуре. Lakehouse//RT завершает стек, обеспечивая уровень с малой задержкой, критически важный для современной аналитики и агентов искусственного интеллекта, доказывая, что Lakehouses также лидируют в рабочих нагрузках в реальном времени", - добавил Годси.
Lakehouse//RT обеспечивает задержку 10 мс для небольших наборов данных и менее 100 мс для крупномасштабных данных. Тесты показывают задержку менее 100 мс при 12 000 запросов в секунду, при этом рабочие нагрузки клиентов получают производительность до 16 раз по сравнению с традиционными системами обслуживания в реальном времени.
Databricks также представила CustomerLake, собственный агент CDP на базе Lakehouse. Согласно определению CDPI, CDP объединяют данные о клиентах из нескольких источников в унифицированные профили. CustomerLake консолидирует данные с веб-сайтов, приложений, CRM и POS-систем, заменяя разовые маркетинговые кампании непрерывными «бесконечными кампаниями», управляемыми агентами, для обеспечения персонализированного обслуживания клиентов в миллиардах масштабов в режиме реального времени.
Оснащенный специальными агентами кампаний и профилей, открытой партнерской экосистемой и собственным обратным ETL, он объединяет и активирует данные о клиентах в стеках маркетинговых технологий. После Lakewatch это второй вертикальный корпоративный продукт Databricks, использующий модель потребления, основанную на ценности, вместо традиционного лицензирования программного обеспечения.
Доступность: Lakehouse//RT находится в стадии бета-тестирования; LTAP скоро будет запущен как функция Lakebase; CustomerLake находится в закрытой предварительной версии среди первых пользователей, включая HP, Circle K, AB InBev и Getnet из Сантандера. Примечательно, что компания Zilliz, специализирующаяся на векторных базах данных, по-разному применяет термин «Lakebase» для своей Milvus Vector Lakebase.
Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг/Директор по глобальной стратегии
WhatsApp/WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Веб-сайт: www.qianxingdata.com/www.storagesserver.com.
Бизнес-направление:
Распространение продуктов ИКТ/Системная интеграция и услуги/Инфраструктурные решения
Имея более чем 20-летний опыт распространения ИТ-технологий, мы сотрудничаем с ведущими мировыми брендами, предоставляя надежные продукты и профессиональные услуги.
«Использование технологий для построения интеллектуального мира»Ваш надежный поставщик услуг в сфере ИКТ!
Ваше сообщение должно содержать от 20 до 3000 символов!
Russian
