Скачать

Picodata S3R

Amazon S3-совместимое объектное хранилище для Lakehouse. Высокоскоростное, горизонтально масштабируемое, катастрофоустойчивое хранение метаданных. Избыточное кодирование данных кодами Рида-Соломона.

Заказать демонстрацию Документация

Ключевые возможности

  • Совместимость с Amazon S3: приложения и SDK работают без изменения кода
  • Хранение метаданных в таблицах СУБД; мгновенное чтение атрибутов, малых объектов и содержимого директорий
  • Транзакционная целостность каталога: строгая согласованность чтения и записи
  • Избыточное кодирование данных внутри ЦОД, асинхронная репликация между ЦОД
  • Многоарендность: домен, сертификат и квоты у каждого арендатора
  • Единый с СУБД Picodata контур безопасности: сертификат ФСТЭК, реестр российского ПО, общая ролевая модель

Особенности архитектуры

  • Согласованность метаданных

    Пользователи, арендаторы, бакеты и ключи доступа хранятся в глобальных таблицах и согласуются через общий Raft кластера. Каталог объектов шардирован, и каждый репликасет согласует свою часть через собственный Raft.

  • Кодирование и репликация

    Внутри ЦОД объект защищён кодами Рида-Соломона, контрольные суммы проверяются при каждом чтении. Между ЦОД данные передаются асинхронно, а метаданные реплицируются средствами СУБД: объект становится доступен на любой площадке сразу после записи.

  • Малые объекты и каталог в памяти

    Имена файлов в директории представлены строками в таблице СУБД. Это значительно ускоряет листинг и получение атрибутов файлов по сравнению с классическими файловыми системами. Файлы до 4 КиБ хранятся в строке метаданных.

  • Масштабирование по ядрам

    В классических хранилищах масштабирование упирается в один сервер PostgreSQL. В S3R масштабирование кластера осуществляется добавлением экземпляров СУБД.

  • Сверка и восстановление каталога

    Дополнительный механизм сверки блоков и метаданных, как внутри площадки, так и между площадками. Частичное восстановление данных при коррелированных авариях.

  • Управление в составе плагина

    Графический пользовательский интерфейс, API управления, метрики Prometheus и панели Grafana включены в состав базового дистрибутива.

Сравнение S3R и MinIO

Возможность MinIO Picodata S3R
Хранение и согласованность метаданныхxl.meta на дисках набора; чтение после записи на xfs, zfs, btrfsТаблицы СУБД; линеаризуемость по ключу, синхронная репликация
Масштабирование метаданныхЦентрального сервиса нет; при нескольких пулах GET и HEAD опрашивают каждый пулШардирование по репликасетам, рост с числом экземпляров СУБД
Малые объекты и листингВстраивание в xl.meta; листинг обходит все наборы всех пулов и сливает результатОбъект до 4 КиБ хранится в строке метаданных; стоимость чтения страницы листинга не растёт с размером директории
Избыточность и межплощадочная репликацияДанные защищены кодами избыточности в наборе до 16 дисков. Бакеты и площадки реплицируются, по умолчанию асинхронно.Внутри ЦОД данные защищены кодами Рида-Соломона. Между ЦОД метаданные реплицируются синхронно, данные передаются асинхронно.
Сверка и восстановлениеВосстановление при чтении; фоновая проверка выборочная, контроль bitrot выключен по умолчаниюКонтрольные суммы при каждом чтении; сверка блоков, объектов и директорий внутри площадки и между площадками
Доступ из Hadoop и движков LakehouseЧерез S3; в документации открытой версии Spark и HiveДоступ осуществляется через S3, эффективная поддержка Iceberg и Delta Lake.
Поддержка и сертификацияОткрытая версия не поддерживается с 2026 годаВендорская поддержка, реестр российского ПО, сертификат ФСТЭК

Picodata S3R: объектное хранилище для Lakehouse промышленного масштаба

Picodata S3R объединяет S3-совместимое объектное хранилище и распределённую СУБД в одном кластере. Метаданные хранятся в таблицах Picodata и масштабируются вместе с числом экземпляров СУБД, данные защищены кодами Рида-Соломона внутри ЦОД и реплицируются между ЦОД. Строгая согласованность, мгновенное чтение малых объектов и директорий, сверка и восстановление каталога обеспечиваются архитектурой продукта, а не дополнительными сервисами.

Плагин поддерживает версионирование и блокировку объектов, правила жизненного цикла, классы хранения с переносом данных между ярусами дисков, составную загрузку и условную запись. Совместимость с Amazon S3 подтверждается набором тестов совместимости: все 412 выбранных сценариев проходят успешно. Приложения, SDK и утилиты, работающие с MinIO, переключаются на S3R без изменения кода.

Прекращение поддержки открытой версии MinIO и ограничения масштабирования метаданных в альтернативных решениях делают выбор объектного хранилища вопросом долгосрочных рисков. Picodata S3R отвечает на него сертифицированным ФСТЭК продуктом российского вендора, включённым в реестр российского ПО. Техническую поддержку оказывает команда разработки.

Связаться с нами →

Связаться с нами

Опишите задачу кратко. Ответ направит инженер предпродажной поддержки Picodata.

Нажимая «Отправить», вы соглашаетесь на обработку персональных данных. Заявка направляется на почту команды предпродажной поддержки Picodata.