Для многих предприятий хранилище данных превратилось из стратегического актива в операционное бремя. Давно существующие проприетарные платформы, такие как Teradata, наряду с эксклюзивными облачными сервисами, такими как Snowflake, обеспечили масштабируемость и производительность, но за счет привязки к поставщику, непредвиденных цен и ограниченной адаптивности архитектуры.
Поскольку контроль со стороны регулирующих органов ужесточается, а аналитика на основе искусственного интеллекта становится центральным элементом конкурентного преимущества, организации переоценивают, действительно ли их нынешние складские платформы соответствуют долгосрочным бизнес-целям.
EDB Postgres® AI (EDB PG AI) решает эти проблемы с помощью WarehousePG — хранилища данных с открытым исходным кодом петабайтного масштаба, созданного для восстановления контроля, предсказуемости и суверенитета данных — и все это без ущерба для производительности. WarehousePG, созданный на базе Postgres и предназначенный для массового параллельного анализа, предлагает современный способ освободиться от ограничительных систем и одновременно сократить совокупную стоимость владения (TCO) до 58%.
Аналитика петабайтного масштаба с открытым исходным кодом и Postgres в ее основе
Корпоративные хранилища данных в настоящее время выходят за пределы своих первоначальных проектных ограничений. Наборы данных размером в петабайты, потребности в гибридном развертывании, требования к суверенитету данных и аналитика на основе искусственного интеллекта — все это сосуществует в производственных средах, которые требуют как исключительной производительности, так и архитектурной гибкости.
Традиционные проприетарные платформы и облачные склады с трудом могут одновременно удовлетворить эти требования, вынуждая организации идти на компромисс между стоимостью, контролем и функциональностью.
EDB Postgres AI for WarehousePG заполняет этот пробел, предоставляя хранилище данных петабайтного масштаба с полностью открытым исходным кодом, построенное на Postgres. Разработанный для высокопроизводительной аналитики, искусственного интеллекта в базе данных и гибкого развертывания в локальных, облачных и гибридных средах, он устраняет ограничения устаревших и эксклюзивных облачных систем.
Архитектура: MPP на базе Postgres в масштабе
Архитектура массово-параллельной обработки (MPP) WarehousePG позволяет масштабировать ее до сотен узлов. Вместо того, чтобы полагаться на модель масштабирования с одним сервером, он распределяет данные и выполнение запросов по нескольким узлам сегментов под контролем центрального узла-координатора.
Координатор занимается анализом, оптимизацией и планированием выполнения запросов. После завершения составления плана запроса задачи распределяются по сегментам, которые параллельно работают со своими локальными разделами данных. Такой подход позволяет WarehousePG эффективно выполнять сложные аналитические запросы, включая большие соединения, агрегации, оконные функции и преобразования, к наборам данных размером в петабайты.
Эта архитектура устраняет присущие монолитным базам данных узкие места, сохраняя при этом полную совместимость SQL с Postgres, что значительно сокращает время обучения для существующих групп данных.
Предсказуемая производительность без фирменных ограничений
В отличие от облачных складов, которые полагаются на ценообразование на основе потребления и непрозрачное управление ресурсами, WarehousePG предлагает детерминированное поведение рабочей нагрузки и стабильную производительность. Распределение ресурсов и выполнение запросов полностью контролируются внутри кластера, обеспечивая стабильное время отклика даже при смешанных аналитических нагрузках.
WarehousePG — это решение под лицензией Apache 2.0, созданное на основе Postgres с открытым исходным кодом. Оно освобождает предприятия от проприетарных форматов хранения и механизмов выполнения, контролируемых поставщиками. Данные остаются полностью доступными, переносимыми и пригодными для развертывания везде, где они необходимы организации: локально для соблюдения нормативных требований, в общедоступном облаке для обеспечения эластичности или в гибридных установках для оптимизации затрат.
Эта архитектурная независимость в сочетании с ценами EDB на основе ядра позволяет снизить совокупную стоимость владения до 58 %, особенно для организаций, переходящих с дорогостоящих собственных платформ или непредсказуемых облачных хранилищ.
Гибридное хранилище и доступ SQL к озерам данных
Современные аналитические среды все чаще распределяются по нескольким уровням хранения. WarehousePG решает эту проблему с помощью своей платформы расширения платформы (PXF), которая обеспечивает прямой доступ SQL к внешним данным, хранящимся в хранилищах объектов и распределенных файловых системах, таких как Amazon S3 и распределенная файловая система Hadoop (HDFS).
С помощью PXF инженеры по данным могут запрашивать такие форматы, как Parquet, AVRO, JSON и CSV, без копирования данных в хранилище. Это значительно снижает сложность ETL и избыточность хранилища, обеспечивая при этом гибридную стратегию «теплых и холодных данных»: часто используемые наборы данных остаются в высокопроизводительном хранилище WarehousePG, а редко используемые данные — в недорогом объектном хранилище.
С технической точки зрения этот подход сохраняет семантику SQL на различных уровнях хранения, позволяя аналитическим группам работать с единой логической моделью данных.
Прием данных в реальном времени с помощью FlowServer
Конвейеров только для пакетной обработки уже недостаточно для многих случаев аналитического использования. WarehousePG включает специальный компонент FlowServer для приема данных в режиме реального времени и почти в реальном времени.
FlowServer поддерживает высокопроизводительную потоковую передачу событий с таких платформ, как Apache Kafka и RabbitMQ, что позволяет использовать такие сценарии использования, как операционный анализ, обнаружение мошенничества и мониторинг в реальном времени. Принимая потоковые данные непосредственно в хранилище, организации устраняют задержки между операционными системами и аналитическими данными.
Эта архитектура позволяет потоковым и пакетным рабочим нагрузкам сосуществовать на одной аналитической платформе, упрощая инфраструктуру и сокращая перемещение данных.
Искусственный интеллект, машинное обучение и векторная обработка в базе данных
Ключевой особенностью EDB Postgres AI для WarehousePG является поддержка аналитики в базе данных и искусственного интеллекта, что устраняет необходимость перемещения больших наборов данных на внешние платформы машинного обучения (ML).
WarehousePG интегрирует MADlib для машинного обучения на основе SQL, позволяя пользователям обучать и оценивать модели непосредственно в базе данных, используя знакомые реляционные структуры. Для более сложных случаев использования платформа поддерживает встроенные в базу данных платформы машинного обучения Python, что позволяет ученым работать в масштабе без экспорта данных.
Встроенная поддержка векторов через расширение pgvector позволяет выполнять поиск по сходству, семантический поиск и рабочие нагрузки с расширенным поиском (RAG) непосредственно в хранилище. Эта возможность становится все более важной для приложений на базе искусственного интеллекта, которые сочетают структурированные корпоративные данные с неструктурированным контентом, таким как документы и журналы.
Централизуя данные, аналитику и искусственный интеллект, WarehousePG снижает сложность конвейера и ускоряет время получения аналитической информации.
Высокая доступность и готовность предприятия
WarehousePG обеспечивает надежность производственного уровня. Высокая доступность достигается за счет резервного координатора, обеспечивающего бесперебойную работу в случае отказа основного координатора. Отказоустойчивость на уровне сегмента позволяет рабочим нагрузкам продолжать работу, даже если отдельные узлы недоступны.
Корпоративные функции включают управление рабочей нагрузкой, предсказуемое планирование запросов и всестороннюю наблюдаемость, обеспечивающие стабильную работу в условиях высоких аналитических требований.
Важно отметить, что организации получают доступ к круглосуточной поддержке со стороны экспертов EDB Postgres, устраняя разрыв между гибкостью открытого исходного кода и операционными потребностями предприятия.
Миграция без сбоев
Для организаций, которые переходят на устаревшие аналитические платформы, WarehousePG предлагает путь вперед с низким уровнем риска. Существующие рабочие нагрузки Greenplum можно перенести с помощью двоичного обмена, что обеспечивает быструю модернизацию без переписывания запросов или переобучения команд. Высокая четность SQL также упрощает миграцию из других собственных хранилищ данных на основе SQL.
Такой подход позволяет предприятиям поэтапно модернизироваться, сохраняя непрерывность бизнеса и одновременно восстанавливая контроль над своим аналитическим стеком.
Перестройка хранилища для современной аналитики
EDB PG AI для WarehousePG доказывает, что аналитика петабайтных масштабов, готовность ИИ и суверенитет данных не требуют проприетарных платформ или привязки к облаку. Сочетая совместимость Postgres, масштабируемость MPP, гибридное хранилище, прием данных в реальном времени и возможности искусственного интеллекта и машинного обучения в базе данных, WarehousePG обеспечивает технически надежную основу для современной корпоративной аналитики.
Для организаций, которым требуется хранилище данных, в котором приоритет отдается архитектурному контролю, предсказуемой производительности и экономике с открытым исходным кодом, WarehousePG предлагает привлекательную, перспективную альтернативу.
Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг/Директор по глобальной стратегии
WhatsApp/WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Веб-сайт: www.qianxingdata.com/www.storagesserver.com.
Бизнес-направление:
Распространение продуктов ИКТ/Системная интеграция и услуги/Инфраструктурные решения
Имея более чем 20-летний опыт распространения ИТ-технологий, мы сотрудничаем с ведущими мировыми брендами, предоставляя надежные продукты и профессиональные услуги.
«Использование технологий для построения интеллектуального мира»Ваш надежный поставщик услуг в области ИКТ!
Ваше сообщение должно содержать от 20 до 3000 символов!
Russian
