Распределённая СУБД для критической инфраструктуры

Совместимость с PostgreSQL, Redis и Cassandra в едином контуре безопасности и эксплуатации.

Архитектура кластера Picodata active-active в трёх ЦОД Три wire-протокола — PostgreSQL, Redis и Cassandra — подключаются к распределённому кластеру Picodata, развёрнутому в трёх дата-центрах в режиме active-active. В каждом ЦОД — собственный лидер и два follower'а с shard-per-core распределением. Raft образует общее репликационное кольцо между лидерами всех ЦОД. PostgreSQL Redis Cassandra PICODATA CLUSTER · ACTIVE-ACTIVE F L F ЦОД · 1 L F F ЦОД · 2 F F L ЦОД · 3 Raft-консенсус для схемы и топологии · до 10 000 ядер
ArenadataAxenixIT ФилософияIT_ONET1БФТФорсСкалярAggregate

Picodata — российский разработчик распределённой СУБД для критической инфраструктуры. Единственный российский вендор, предлагающий совместимость с PostgreSQL, Redis и Cassandra в рамках общей технологической платформы.

с 2019
на рынке СУБД для критической инфраструктуры
50+
инженеров R&D, собственный полный цикл разработки и поддержки
100+ ТБ
в памяти у клиентов в продуктиве
Arenadata
Часть Группы Arenadata — российского разработчика ПО на рынке систем управления и обработки данных
300+
сертифицированных экспертов на рынке, прошедших нашу программу обучения

Picodata работает в промышленном контуре в федеральных ведомствах и в ИТ-департаментах крупных субъектов РФ, крупнейших компаниях нефтегазовой отрасли, банковском и телекоммуникационном секторах.

Движки хранения Picodata — MemTX и Vinyl — эволюция технологий, которые широко внедрены в финансовом, телекоммуникационном и ритейл секторах российского рынка: в большинстве банков из топ-10, у всех крупных операторов связи и ведущих розничных сетей.

Задачи клиентов

Производительность

Highload-задачи ограничены производительностью универсальных СУБД

Производительность решений по обработке данных определяется не оборудованием или тюнингом, а архитектурой. Проприетарные СУБД, такие как SAP HANA, масштабируются только вертикально и требуют специализированного западного оборудования.

Picodata. Плагин Silver обрабатывает миллионы записей распределения затрат за 20 минут, что в десятки раз быстрее, чем SAP FSPER на SAP HANA.

Подробнее про производительность →

Снижение TCO

Shared-memory СУБД масштабируются нелинейно: каждое добавленное ядро даёт всё меньший прирост производительности

PostgreSQL, MS SQL быстро достигают архитектурного потолка из-за конкуренции потоков за разделяемые ресурсы. Для обслуживания высоких нагрузок это требует непропорционально большого количества серверов.

Picodata. В открытом бенчмарке очереди сообщений СМЭВ на нагрузке 1 млн RPS миграция с PostgreSQL сократила потребление процессорных ядер в шесть раз (с 4760 до 770).

Подробнее: Снижение ТСО →

Импортозамещение

Использование СУБД на объектах КИИ требует перехода на отечественное ПО без изменений в прикладном слое

Западные вендоры Oracle, DataStax, ScyllaDB и Redis Enterprise покинули российский рынок. Федеральный закон 187-ФЗ предписывает использование российского ПО на объектах КИИ. В банковском секторе применяется ГОСТ Р 57580.

Picodata. Отечественный вендор с сертификатом ФСТЭК УД 4 и записью в РРПО (№2021680169). Поддержка PostgreSQL, Redis (Radix) и Cassandra (Sirin) заменяет западные СУБД прозрачно для прикладного слоя.

Методология замены →

Безопасность

Отсутствие enterprise-функций безопасности материализуется в инциденты

Приказ ФСТЭК №64 предписывает СУБД в критической инфраструктуре ролевую модель, аудит, шифрование, парольные политики, гарантированное удаление данных. В community-редакциях MongoDB, Redis и Cassandra этот набор отсутствует или ограничен.

Picodata. Сертификат ФСТЭК УД 4 подтверждает полноту функций безопасности. Сверх того: HTTPS, mTLS, SCRAM-SHA-256, LDAPS, аудит-журнал всех действий DBA. Фокус на безопасности присутствует во всех процессах разработки.

Безопасность Picodata →

Сценарии применения

Greenfield

Business-critical платформа для оператора связи

Типичный запрос крупного оператора связи: миллион запросов на чтение и запись в секунду с p99 < 10мс. При этом — горизонтальное масштабирование, катастрофоустойчивость, транзакции, корпоративный LDAP, асинхронная репликация между кластерами. На Picodata эти требования закрываются одним продуктом, что подтверждается существующей реализацией сервиса Unified Customer Profile у одного из операторов большой тройки: 60 ТБ данных в оперативной памяти под управлением кластера из 3000 процессорных ядер.

Производительность и масштабирование →
Госсектор

Замена Redis в ведомственной инфраструктуре

Для ведомств критична совместимость с существующим стеком, минимальные изменения при миграции и сертификация ФСТЭК для объектов КИИ. Radix обеспечивает полностью совместимую замену Redis: клиенты подключаются без изменений кода. Дополнительно Radix поддерживает внешний LDAP и multi-tenancy (объединение нескольких Redis-кластеров в одном кластере со встроенной ролью Sentinel в каждом узле).

Radix: замена Redis →
Промышленность

IIoT-платформа для промышленного предприятия

Классический IIoT-стек (PostgreSQL + Cassandra + Redis) на open source требует трёх отдельных команд эксплуатации и пропорционального роста серверов при увеличении объёма телеметрии. Picodata закрывает все три сценария одним продуктом: PostgreSQL-ядро с плагинами Sirin (Cassandra) и Radix (Redis). В открытом бенчмарке Sirin обеспечивает в 8,9 раза больше точечных чтений относительно Apache Cassandra при сопоставимом процессорном бюджете.

IIoT и промышленные платформы →
Финансовый сектор

Аналитика в реальном времени

Типовая задача крупного банка: витрины для ответов на запросы федеральных органов — сложные распределённые запросы с JOIN'ами, CTE и оконными функциями на таблицах в 300 млн — 1 млрд записей. Oracle Exadata, ранее стандартное решение для данной задачи, больше не поставляется в Россию. В одном из банков топ-3 Picodata увеличила пропускную способность витрин с 400 до 3000 бизнес-запросов в секунду на production-кластере из 800 процессорных ядер; Picodata включена в целевой стек банка.

Real-time аналитика →

Архитектура Picodata

Picodata — распределённая SQL-СУБД с shard-per-core архитектурой. Каждый процесс СУБД имеет собственный планировщик «зелёных потоков», приватную область памяти, файлы на диске и транзакционный журнал. Два оптимизатора SQL — кластерный и локальный — позволяют эффективно выполнить как распределённые, так и локальные запросы. Открытое API для расширений используется для реализации поддержки Redis, Cassandra и PostgreSQL.

Shared-nothing архитектура Picodata
01

Кооперативная многозадачность и отсутствие разделяемых ресурсов

Каждый процесс СУБД выполняется на одном процессорном ядре и обслуживает свой собственный сегмент данных. Отказоустойчивость реализована за счёт репликации и шардирования. Процессы кластера автоматически объединяются в группы мастер+реплики, а шардирование разбивает весь набор данных между несколькими такими группами: каждая группа реплик отвечает за свой поднабор (сегмент) данных. Сохранность данных обеспечивается локальным транзакционным журналом, и средствами репликации, которая может работать как в пределах одного ЦОДа, так и объединять несколько ЦОДов.

Co-located вычисления в кластере Picodata
02

Настраиваемое распределение данных и технология транспиляции

Ключевой особенностью исполнения SQL в Picodata является управление распределением данных по узлам (data placement). Связанные данные, например, клиент и все его заказы, хранятся рядом, на одном узле. Глобальные справочники, например, список магазинов, реплицируются на все узлы. Это снижает необходимость в пересылке данных для выполнения SQL, повышает общий параллелизм системы как в OLAP, так и OLTP сценариях. Транспилятор распределённого запроса разбивает его на локальные блоки исполнения, которые в дальнейшем транслируются в байт-код, локальный для одного узла.

Плагинная модель Picodata
03

Распределённая среда вычислений

Ядро Picodata расширяется плагинами на Rust, работающими на общем SQL-каталоге платформы. Radix реализует протокол Redis, Sirin — Cassandra CQL, Ouroboros — асинхронную кросс-кластерную репликацию (аналог Oracle GoldenGate), Silver — распределённые вычисления над графами (расчёт себестоимости, аналог SAP FSPER), Franz — чтение из Kafka. Новый домен или протокол добавляется плагином.

Отличия от альтернатив

Ниже разбираем сценарии, в которых применение Picodata даёт объективный выигрыш.

СитуацияPicodataPostgreSQLCassandraRedis
Типовой CRUD до 10 ТБ, локальные транзакцииИзбыточно*ОптимальноНе подходитНе подходит
Массовая запись time-series (IIoT, телеметрия)Работает (Sirin)Не подходитОптимальноНе подходит
Простой кэш горячих данных (key-value без ACID)Работает (Radix)ИзбыточноНе подходитОптимально
Высоконагруженные очереди, сессионный store, real-time OLTPОптимальноРаботает (до ~10K RPS)РаботаетРаботает
Распределённый аналитический SQL в оперативной памятиОптимальноНе подходитНе подходитНе подходит
Критическая инфраструктура, сертификация ФСТЭК, 187-ФЗОптимальноРаботает (форк)Не подходитНе подходит

* Picodata не заменяет универсальные СУБД. На нагрузках, помещающихся в один сервер, shared-memory СУБД (PostgreSQL) эффективнее и проще в эксплуатации, чем шардирование — сетевое взаимодействие между узлами имеет стоимость, которая не окупается на малых объёмах.

Следующие шаги

Типовой проект миграции с Redis или Cassandra занимает от 4 до 8 недель. Комплексное внедрение Picodata как платформы под высокую нагрузку занимает несколько месяцев и ведётся инженерами предпродажной поддержки или партнёрами-интеграторами.

Связаться с нами

Опишите задачу кратко. Ответ направит инженер предпродажной поддержки Picodata.