Компания по управлению неструктурированными данными Komprise разработала запатентованную технологию, способную динамически делить массивные неструктурированные наборы данных.Это решение распределяет рабочую нагрузку между несколькими вычислительными системами во время передачи данных на процессоры обработки ИИ, что значительно ускоряет общую скорость обработки.
Официально зарегистрированная как патент US-12566637-B2, технология Komprise Elastic Shares (KES) была представлена техническим директором Komprise Майклом Пирси и его исследовательской командой.Официальное название - Система и методы подразделения неизвестного дерева для выполнения операций с помощью нескольких вычислительных систем.??
Пирси заявил: "Elastic Shares позволяет нашим клиентам в полной мере использовать ценные вычислительные, память и сетевые ресурсы.помощь предприятиям в получении значительных конкурентных преимуществ.??
Для наборов данных в петабайтном масштабе, передаваемых на серверы ИИ для аналитики, вывода LLM или вычисления агентов ИИ,Один вычислительный двигатель требует часов для прохождения деревьев каталогов или префиксов для хранения объектовВычислительный двигатель может быть определен как независимый сервер, отдельный поток, группа потоков, процесс или кластер процессов, с последовательными принципами работы во всех сценариях.Хотя пользователи могут заранее развернуть несколько двигателей для параллельных вычисленийНеравномерные размеры ветвей приводят к тому, что некоторые вычислительные узлы заканчивают работу раньше и остаются бездействующими, ожидая, когда более медленные узлы завершат назначенные задачи.
Компрессный патент US-12566637-B2.
Команда Пирси изобрела интеллектуальный планировщик задач, встроенный в один из вычислительных двигателей для мониторинга состояния узла в режиме реального времени.рабочие нагрузки первоначально распределяются между доступными вычислительными системамиПосле того, как любой узел завершает назначенный раздел, он возвращается в ресурсный пул для получения ожидаемых задач.непрерывно назначает новые нагрузки на свободные вычислительные узлы, и сокращает общее время обработки.
Согласно официальному сообщению в блоге Komprise, KES динамически перераспределяет неструктурированные нагрузки данных по кластерам серверов в потоковом режиме.Технология обеспечивает почти линейное ускорение для обработки данных в больших масштабах без необходимости предварительной информации о емкости наборов данных, внутренней структуры или задержки обработки.
Проще говоря: каждый вычислительный узел автоматически получает новые задачи сразу после завершения текущих заданий, сохраняя полное использование ресурсов до завершения всей работы с данными.
Майкл Пирси.
Патентная документация указывает на то, что масштабные задачи миграции данных между файловыми серверами или объемами хранения часто сталкиваются с ограниченными временными ограничениями.процесс или самостоятельный сервер, не имеет достаточной пропускной способности для быстрого завершения тяжелых рабочих нагрузок, что делает многомоторную параллельную обработку важным решением.
Документ далее объясняет, что структуры деревьев каталогов могут быть идентифицированы только при рекурсивном прохождении от корневых до листьев узлов.например, приоритетизация родительских каталогов перед подпапками и файламиЭто требует динамической сегментации рабочей нагрузки в режиме реального времени вместо жесткого статического разделения, которое должно адаптироваться к различным и неизвестным архитектурам данных.
Эта запатентованная технология применяется к файлам, папкам, объектам хранения и префиксам объектов.Он совместим со всеми видами вычислительных систем., включая потоки, процессы и кластеры сервисов бэк-энда.
Komprise выделяет три основных преимущества, предоставляемых технологией KES:
-
Динамическое разделение задач: высокоценные вычислительные ресурсы мгновенно переназначаются на новые задачи, как только они становятся неактивными.
-
Слепая обработка данных: Система поддерживает вычисление наборов данных без предварительного понимания размера данных, внутренней структуры и переменной задержки обработки, идеально подходит для сценариев передачи данных по потоку ИИ.
-
Интеллектуальное перебалансирование ресурсов: Он автоматически оптимизирует стратегии распределения для адаптации к неструктурированным иерархиям данных с непредсказуемой плотностью ветвей.
Эта инновационная запатентованная технология обеспечивает практическую и эффективную оптимизацию для крупномасштабного обработки неструктурированных данных.
Пекинская компания Qianxing Jietong Technology Co., Ltd.
Сэнди Янг, директор по глобальной стратегии
WhatsApp / WeChat: +86 13426366826
Электронная почта: yangyd@qianxingdata.com
Сайт: www.qianxingdata.com/www.storagesserver.com
Бизнес фокус:
Распространение ИКТ-продуктов/интеграция систем и услуги/решения инфраструктуры
Имея более 20-летний опыт распространения ИТ, мы сотрудничаем с ведущими мировыми брендами для предоставления надежных продуктов и профессиональных услуг.
Использование технологий для создания интеллектуального мира Ваш надежный поставщик услуг ИКТ-продуктов!
Ваше сообщение должно содержать от 20 до 3000 символов!
Russian
