Arenadata QuickMarts (ADQM)

Ключевая особенность продукта — колоночное хранение данных. В отличие от традиционных строковых баз, ADQM группирует информацию по столбцам, что ускоряет чтение и улучшает сжатие данных. Это особенно важно для аналитических запросов, где требуется агрегация миллионов строк за доли секунды.

Система автоматически распределяет нагрузку между узлами кластера, обеспечивая линейное масштабирование и отказоустойчивость: даже при сбоях данные восстанавливаются без вмешательства администратора.

Назначение и сферы применения

Arenadata QuickMarts — это не просто СУБД, а готовое решение для компаний, которым нужна мгновенная аналитика без компромиссов в надёжности.

Будь то анализ миллиардов транзакций, мониторинг IoT-устройств или создание интерактивных отчётов — ADQM справится с задачами, где традиционные системы тормозят.

ADQM решает задачи, где скорость анализа и гибкость отчётов имеют первостепенное значение.

Вот ключевые сценарии использования:

1. Аналитические витрины для быстрого доступа к данным
   Продукт создаёт отдельный слой (Data Mart) внутри корпоративного хранилища (DWH), что снижает нагрузку на основную базу. Например, отделы маркетинга или продаж могут мгновенно получать отчёты по ключевым метрикам без задержек.
2. Анализ временных рядов
   ADQM эффективно хранит и обрабатывает данные с привязкой ко времени: котировки акций, показания датчиков IoT, логи транзакций. Это позволяет быстро выявлять аномалии, строить прогнозы и визуализировать тенденции.
3. Поддержка машинного обучения
   Встроенные инструменты ADQM ускоряют проверку гипотез для ML-моделей. Система предоставляет очищенные данные и шаблоны для обучения алгоритмов, сокращая время на подготовку сырых данных.
4. Сбор и анализ логов
   

   ADQM объединяет журналы событий из разных источников (веб-серверы, приложения, сети) в единую платформу. Это упрощает поиск ошибок, мониторинг безопасности и анализ поведения пользователей.

5. Электронная коммерция и финансы
   

   Платформа обрабатывает потоки транзакций, данные о кликах и конверсиях, формируя интерактивные дашборды. Например, ритейлеры могут отслеживать динамику продаж по регионам в реальном времени, а банки — анализировать мошеннические операции.

Функциональные возможности

ADQM предлагает набор технологий, которые делают аналитику быстрой и удобной:

• Векторная обработка запросов
  Данные обрабатываются блоками (векторами), что максимально загружает вычислительные ресурсы CPU. Это ускоряет выполнение сложных запросов в 10–100 раз по сравнению с классическими базами.
• Расширенный SQL с поддержкой массивов и вероятностных структур
  Помимо стандартных команд, система поддерживает вложенные структуры, приближённые вычисления (например, HyperLogLog для уникальных значений) и интеграцию с внешними key-value хранилищами.
• Распределённые вычисления
  Задачи автоматически делятся между ядрами процессора или узлами кластера. Например, агрегация больших таблиц выполняется параллельно, что сокращает время обработки.
• Автоматическое восстановление после сбоев
  При потере узла данные реплицируются с других серверов, минимизируя простои. Это критично для финансовых систем и IoT-платформ, где downtime недопустим.

Технические преимущества перед традиционными СУБД

• Скорость: Запросы выполняются в режиме реального времени даже на терабайтах данных.
• Экономия ресурсов: Колоночное хранение и сжатие снижают затраты на дисковое пространство.
• Гибкость: Поддержка множества форматов данных (CSV, JSON, Parquet) и интеграция с BI-инструментами (Tableau, Power BI).
• Масштабируемость: Кластер легко расширяется добавлением новых узлов без остановки работы.

Сертификация и безопасность

ADQM — полностью российский продукт, соответствующий требованиям регуляторов:

• Свидетельство о госрегистрации программы №2019662330 (20.09.2019).
• Включён в реестр отечественного ПО (№6407 от 07.04.2020).
• Сертифицирован ФСТЭК РФ (уровень доверия 4, №4823 от 03.07.2024).

Совместимость с операционными системами

ADQM работает как на российских, так и на международных платформах:

• Отечественные ОС: Alt Linux 8.4 SP, Astra Linux 1.7 SE, РЕД ОС 7.3.
• Зарубежные ОС: Ubuntu 22.04 LTS, CentOS 7, Red Hat.