Отзыв о Bigstream от Jayshawn Cuatlayol

Мне нравится, что он очень быстрый, может обрабатывать большие объемы данных, что значительно упрощает выполнение задач ETL, а также аналитических приложений. Также имеет множество коннекторов для различных баз данных (MySql, MSSQL SQL Server). По-прежнему отсутствуют некоторые вещи, такие как поддержка нестандартных форматов или неподдерживаемые в Spark SQL, но их можно добавить без дополнительных затрат. Лучшее в этом продукте — его скорость и простота интеграции Spark с базой данных mysql по сравнению с аналогичными продуктами без каких-либо дополнительных сборов. Мы используем потоковую службу Apache Kafka вместе с базой данных MySQL вместе с нашим собственным специально разработанным приложением, написанным с использованием API PySpark, и мы использовали все три интеграции, упомянутые выше, для извлечения конкретной информации из входящих сообщений, хранящихся в хранилище потоков kafka.