Представляем Franz — новый коммерческий плагин для СУБД Picodata, реализующий фреймворк для интеграции Apache Kafka с Picodata.
Franz позволяет импортировать в Picodata данные из топиков Apache Kafka. Топик в Apache Kafka — это основная единица хранения и категоризации потоков сообщений, своего рода «папка» для данных, куда производители (producers) записывают сообщения, а потребители (consumers) их читают.
Плагин Franz может быть использован в качестве библиотеки (для переиспользования отдельных его компонентов), либо как сервис (для интеграции его в другой плагин) или же как самостоятельный плагин, для прямого подключения Kafka к кластеру Picodata. Плагин поддерживает форматы сообщений JSON, Avro Object Container Files, и Avro с поддержкой Schema Registry. Для корректной работы требуется соответствие между схемой сообщений и структурой таблицы в Picodata.
Мы предоставляем пользовательскую документацию с описанием архитектуры Franz и инструкцией по его настройке и подключению.
Основные преимущества
- Получение данных из Apache Kafka в Picodata без программирования
- Горизонтальное масштабирование как в разрезе получения данных (множество читателей), так и по хранению (распределенные таблицы )
- Простая и эффективная архитектура: плагин состоит из потребителя (kafka-consumer) данных и сервиса сохранения результатов (saver)
- Прозрачность и контроль: сообщения от плагина доступны как в журнале Picodata, так и в виде метрик в формате Prometheus
- Готовность к промышленной эксплуатации: плагин подходит для реализации сложных ETL-процессов и построения CQRS-системы
Совместимость
Для установки Franz требуется Picodata версии 25.5.1 или новее.
Более подробное описание плагина Franz приведено на сайте документации Picodata.
Вопросы и пожелания направляйте в наш Telegram-чат @picodataru.
