Подключение к Kafka через Spark Structure Streaming

Памятка по чтению данных из Kafka топика средствами Spark Structure Streaming

• Подключение к Kafka
• Описание схемы топика
• Системные данные
• Преобразование json в плоскую таблицу
• Запуск стрима
• Указание окна забора
• Запуск batch процессинга
• События на стрим
• Запуск из консоли
• Использование стрима в HiveQL