новости компании о SereneDB запускает сверхбыструю поисковую систему S3.

Немецкий стартап SereneDB Krummelanke заявлен как самый быстрый поисковый движок баз данных в мире, объединяющий поиск и аналитику в одном продукте.

Компания заявляет, что ИИ-агенты выполняют сотни гибридных запросов на поиск и подсчет в секунду, однако каждая база данных в производстве была создана для людей. Движок Krummelanke разработан для высокоскоростного поиска в базах данных в масштабе агентов. Krummelanke является открытым исходным кодом под лицензией Apache 2.0, совместим с Postgres и Elastic, и может выполнять полнотекстовый поиск по данным, хранящимся в S3.

Соучредитель и генеральный директор Александр Маландин сказал: «Будущее с агентами — это, прежде всего, проблема нагрузки на данные. Сегодня ИИ-агент — это одна пчела, посещающая один цветок. Грядет рой: больше агентов, чем сотрудников в каждой организации, каждый из которых выполняет сотни запросов в секунду. Инфраструктура, созданная для людей, не является ни достаточно быстрой, ни достаточно экономичной, чтобы выдержать такую нагрузку. Будущее с агентами требует нового поколения баз данных: сверхбыстрый поиск и сверхбыстрая аналитика в одном движке, где операции поиска измеряются в наносекундах, а вопрос по миллиардам записей возвращается за миллисекунды. Такой, который относится к агентам как к первоклассным пользователям, выдерживает их масштаб и получает доступ к данным, где бы они ни находились. Вот что мы построили, и с SereneDB Krummelanke мы выводим это в продакшн».

SereneDB отмечает, что аналитические движки, такие как Snowflake, BigQuery, DuckDB поверх Parquet и lakehouses, по умолчанию обычно читают колоночные данные напрямую из S3. Большие последовательные сканирования соответствуют профилю задержки объектного хранилища, в отличие от полнотекстового поиска. Полнотекстовый поиск требует инвертированного индекса, который перечисляет элементы контента, такие как слова или числа, и сопоставляет их с их местоположением в таблицах или документах. Поиск по инвертированному индексу генерирует множество случайных доступов. Обычно поисковые движки на основе Lucene хранят индексы на быстром локальном хранилище, отдельном от основного хранилища данных lakehouse. SereneDB утверждает, что «поисковые» данные в развертывании Elastic означают поддержание второй копии на флэш-памяти, самом дорогом уровне хранения.

Мы спросили, чем поиск SereneDB отличается от поиска данных в общем объектном хранилище, такого как поиск Cloudian HyperStore.

Технический директор Андрей Абрамов рассказал нам: «Cloudian — это поставщик хранилищ, совместимых с S3, а HyperSearch — это сервис, прикрепленный к бакету. Он собирает метаданные хранимых объектов и индексирует эти метаданные внутри базового поискового компонента; это отдельная система индексации, заполняемая путем копирования данных. Многие сервисы реализуют поиск таким образом, и они хорошо работают».

Однако на уровне ядра поискового движка: «В мире существует лишь горстка основных поисковых технологий и библиотек: Lucene, Tantivy и IResearch, разработанная SereneDB. Elasticsearch, OpenSearch, Solr и многие другие являются производными от Lucene и следуют модели «сначала копирование». Они не могут искать данные, которые они не хранят локально, поэтому любые данные, которые нужно искать, должны быть извлечены, переданы и дублированы в поисковый кластер».

SereneDB работает иначе: «SereneDB индексирует данные там, где они уже находятся. Файлы Parquet и таблицы Iceberg в S3 остаются источником истины. Мы храним только производный индекс. Сам поиск — полнотекстовый с ранжированием BM25, векторный и геопоиск — выполняется по этому индексу с небольшим локальным горячим набором. Использование Iceberg служит конкретным примером: клиент записывает изменения в таблицу Iceberg в S3, SereneDB подхватывает эти обновления и выполняет поиск и аналитику по ним. Вы можете направить любое количество узлов SereneDB на одну и ту же таблицу».

Мы спросили, могут ли поставщики объектных хранилищ, баз данных или lakehouse использовать поисковый движок SereneDB в качестве альтернативы Lucene и его производным. Абрамов сказал: «Да, абсолютно! Мы можем не только заменить ElasticSearch, OpenSearch, Solr, CrateDB, которые являются чистыми производными от Lucene, но и дополнить их аналитическими возможностями. Например, мы поддерживаем специальную документацию по миграции с ElasticSearch».

Фирма провела бенчмарки, сравнивая скорость своего поискового движка с популярными альтернативами и превзойдя их. Абрамов сказал: «Наша цель с этими бенчмарками заключалась в том, чтобы продемонстрировать, что SereneDB является более быстрой и современной альтернативой традиционному поисковому стеку».

Детали бенчмарка

SearchBench от SereneDB включает 92 запроса на поиск и аналитику, выполненных против 100 миллионов и 1 миллиарда записей журналов OpenTelemetry, набора данных TextBench, опубликованного ClickHouse, с 15 хранимыми столбцами на запись. Все тесты выполнялись на одном сервере. Каждый конкурирующий движок был настроен с использованием опубликованных параметров конфигурации, с 60-секундным тайм-аутом на запрос. Любой запрос, превышающий этот лимит, помечался как «не завершен».

Результаты бенчмарка для более чем дюжины популярных поисковых движков доступны на панели мониторинга. Тестируемые движки включают Elasticsearch в четырех конфигурациях, OpenSearch, ParadeDB, CrateDB, ArangoDB, TigerDB с вариантами построчного и колоночного хранения, а также обычный Postgres, с добавлением дополнительных движков. Измерение времени использует три запуска на запрос, принимая лучший результат из двух последних запусков. Запросы выполняются по одному за раз с одного клиента, а кэширование результатов отключено. Панель мониторинга измеряет задержку, а не пропускную способность.

Ячейки результатов на панели мониторинга показывают соотношение производительности относительно самого быстрого движка для каждого запроса, где самый быстрый результат равен 1,0x. Общий балл рассчитывается как геометрическое среднее этих 92 соотношений на запрос. SereneDB объясняет, что этот стандартный метод усреднения соотношений предотвращает искажение результатов одним отдельным выбросом запроса.

SereneDB достигает геометрического среднего 1,05x на наборе данных из 100 миллионов записей и 1,07x на наборе данных из 1 миллиарда записей. По всем 92 запросам он либо является самым быстрым движком, либо находится в пределах нескольких процентов от максимальной скорости. ElasticSearch занимает второе место с геометрическим средним 2,8x на наборе данных из 100 миллионов записей. Колоночное хранилище TigerData показывает 2,24x на наборе данных из 1 миллиарда записей, с многочисленными тайм-аутами. Обычный Postgres достигает 204x на наборе данных из 100 миллионов записей и 50,69x на наборе данных из 1 миллиарда записей.

Чтобы упростить сравнение между поставщиками за пределами сложного представления панели мониторинга, мы создали диаграмму, показывающую упорядоченные геометрические средние баллы по бенчмарку на 100 миллионов записей на основе данных скриншота.

Разрывы в производительности чрезвычайно велики, поэтому мы исключили баллы выше 10 и перерисовали диаграмму. Как утверждает SereneDB, ее поисковый движок лидирует в протестированной группе.

Основание и финансирование SereneDB

SereneDB была основана в Берлине в 2025 году Александром Маландиным, генеральным директором с предыдущим опытом в корпоративных продажах в EMC, Dell и ArangoDB; Андреем Абрамовым, техническим директором с опытом исследований и разработок в области поиска в Quest Software, EMC и ArangoDB; и Валерием Мироновым, ведущим инженером, ранее работавшим в ArangoDB и YDB. Восьми человек инженерная команда сотрудничает более 16 лет. Его поисковое ядро IResearch находится в разработке с 2014 года.

Стартап объявил о привлечении 2,1 миллиона долларов в виде предварительного посевного финансирования в декабре 2025 года под руководством Entourage и High-Tech Gründerfonds.

SereneDB Krummelanke является открытым исходным кодом под лицензией Apache 2.0 и доступен на GitHub.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Бизнес-фокус:
Дистрибуция ИКТ-продуктов/Системная интеграция и услуги/Инфраструктурные решения
Обладая более чем 20-летним опытом дистрибуции ИТ-продуктов, мы сотрудничаем с ведущими мировыми брендами, чтобы поставлять надежные продукты и профессиональные услуги.
«Используя технологии для построения интеллектуального мира» Ваш надежный поставщик услуг ИКТ-продуктов!