Скачать

Picodata S3R

Amazon S3-совместимое объектное хранилище для Lakehouse. Высокоскоростное, горизонтально масштабируемое, катастрофоустойчивое хранение метаданных. Избыточное кодирование данных кодами Рида-Соломона.

Заказать демонстрацию Документация

Ключевые возможности

  • Совместимость с Amazon S3: приложения и SDK работают без изменения кода
  • Хранение метаданных в таблицах СУБД; мгновенное чтение атрибутов, малых объектов и содержимого каталогов
  • Транзакционная целостность каталога: строгая согласованность чтения и записи
  • Избыточное кодирование данных внутри ЦОД, асинхронная репликация между ЦОД
  • Многоарендность: домен, сертификат и квоты у каждого арендатора
  • Единый с СУБД Picodata контур безопасности: сертификат ФСТЭК, реестр российского ПО, общая ролевая модель

Особенности архитектуры

  • Согласованность метаданных

    Пользователи, арендаторы, бакеты и ключи доступа хранятся в глобальных таблицах и согласуются через общий Raft кластера. Каталог объектов шардирован, и каждый репликасет согласует свою часть через собственный Raft.

  • Кодирование и репликация

    Внутри ЦОД объект защищён кодами Рида-Соломона, контрольные суммы проверяются при каждом чтении. Между ЦОД данные передаются асинхронно, а метаданные реплицируются средствами СУБД: объект становится доступен на любой площадке сразу после записи.

  • Малые объекты и каталоги в памяти

    Объект до 4 КиБ хранится в строке метаданных, каталоги хранятся отдельными строками. Чтение малого объекта и листинг каталога сводятся к поиску по индексу в оперативной памяти.

  • Масштабирование по ядрам

    В классических хранилищах масштабирование упирается в один сервер PostgreSQL. В S3R масштабирование кластера осуществляется добавлением экземпляров СУБД.

  • Сверка и восстановление каталога

    Дополнительный механизм сверки блоков и метаданных, как внутри площадки, так и между площадками. Частичное восстановление данных при коррелированных авариях.

  • Управление в составе плагина

    Консоль, API управления, квоты, метрики Prometheus и панели Grafana входят в поставку. Отдельные сервисы для управления разворачивать не нужно.

Сравнение S3R, MinIO и Apache Ozone

Возможность MinIO Apache Ozone Picodata S3R
Хранение и согласованность метаданныхxl.meta на дисках набора; чтение после записи на xfs, zfs, btrfsRocksDB в Ozone Manager, репликация Ratis; заявлена строгая согласованностьТаблицы СУБД; линеаризуемость по ключу, синхронная репликация
Масштабирование метаданныхЦентрального сервиса нет; при нескольких пулах GET и HEAD опрашивают каждый пулOzone Manager масштабируется только вертикальноШардирование по репликасетам, рост с числом экземпляров СУБД
Малые объекты и листингВстраивание в xl.meta; листинг обходит все наборы всех пулов и сливает результатОбщий путь через контейнеры; открытые задачи на листинг больших каталоговОбъект до 4 КиБ хранится в строке метаданных; стоимость чтения страницы каталога не растёт с размером каталога
Условная запись и версионированиеДаНет, условная запись в планахДа
Избыточность и межплощадочная репликацияДанные защищены кодами избыточности в наборе до 16 дисков. Бакеты и площадки реплицируются, по умолчанию асинхронно.3 реплики или RS 3+2, 6+3, 10+4; между площадками снимки и DistCpВнутри ЦОД данные защищены кодами Рида-Соломона. Между ЦОД метаданные реплицируются синхронно, данные передаются асинхронно.
Сверка и восстановлениеВосстановление при чтении; фоновая проверка выборочная, контроль bitrot выключен по умолчаниюПроверка реплик контейнеров раз в 5 минут, контрольных сумм раз в 7 дней; потерянный контейнер требует ручного вмешательстваКонтрольные суммы при каждом чтении; сверка блоков, объектов и каталогов внутри площадки и между площадками
Доступ из Hadoop и движков LakehouseЧерез S3; в документации открытой версии Spark и HiveСобственные ofs:// и o3fs://; документированы Hive, Impala, Spark, IcebergДоступ осуществляется через S3, эффективная поддержка Iceberg и Delta Lake.
Поддержка и сертификацияОткрытая версия не поддерживается с 2026 годаСообщество Apache, без сертификации ФСТЭКВендорская поддержка, реестр российского ПО, сертификат ФСТЭК

Picodata S3R: объектное хранилище для Lakehouse промышленного масштаба

Picodata S3R объединяет S3-совместимое объектное хранилище и распределённую СУБД в одном кластере. Метаданные хранятся в таблицах Picodata и масштабируются вместе с числом экземпляров СУБД, данные защищены кодами Рида-Соломона внутри ЦОД и реплицируются между ЦОД. Строгая согласованность, мгновенное чтение малых объектов и каталогов, сверка и восстановление каталога обеспечиваются архитектурой продукта, а не дополнительными сервисами.

Плагин поддерживает версионирование и блокировку объектов, правила жизненного цикла, классы хранения с переносом данных между ярусами дисков, составную загрузку и условную запись. Совместимость с Amazon S3 подтверждается набором тестов совместимости: все 412 выбранных сценариев проходят успешно. Приложения, SDK и утилиты, работающие с MinIO, переключаются на S3R без изменения кода.

Прекращение поддержки открытой версии MinIO и ограничения вертикального масштабирования метаданных делают выбор объектного хранилища вопросом долгосрочных рисков. Picodata S3R отвечает на него сертифицированным ФСТЭК продуктом российского вендора, включённым в реестр российского ПО. Техническую поддержку оказывает команда разработки.

Связаться с нами →

Связаться с нами

Опишите задачу кратко. Ответ направит инженер предпродажной поддержки Picodata.

Нажимая «Отправить», вы соглашаетесь на обработку персональных данных. Заявка направляется на почту команды предпродажной поддержки Picodata.