Работа с Kafka через Spark Structure Streaming

Памятка по чтению данных из Kafka топика средствами Spark Structure Streaming

• Подключение к Kafka
• Описание схемы топика
• Системные столбцы
• Преобразование json в плоскую таблицу
• Запуск стрима
• Указание начального смещения
• Запуск batch процессинга
• Создание событий на стрим
• Поддержка состояния в стриме
• Обработка avro схемы
• Стримминг в inmemory DF
• Join статичных и Stream таблиц
• Обработка окна в 1 час с шагом в 1 минуту
• Обработка стрима мини батчами
• Запуск из консоли
• Использование стрима в HiveQL