BigData анализ с помощью Spark и Scala

В этой статье я хотел бы охватить основные аспекты работы с фреймворком Spark

• RDD
• RDD Key-Value
• DataFrame и Spark SQL
• DataSet
• Управление распределением данных
• Shuffle
• Дополнительные возможности
• Spark Streaming
• Настройка и отладка
• Оптимизация

Работа с Kafka через Spark Structure Streaming

Памятка по чтению данных из Kafka топика средствами Spark Structure Streaming

• Подключение к Kafka
• Описание схемы топика
• Системные столбцы
• Преобразование json в плоскую таблицу
• Запуск стрима
• Указание начального смещения
• Запуск batch процессинга
• Создание событий на стрим
• Поддержка состояния в стриме
• Обработка avro схемы
• Стримминг в inmemory DF
• Join статичных и Stream таблиц
• Обработка окна в 1 час с шагом в 1 минуту
• Обработка стрима мини батчами
• Запуск из консоли
• Использование стрима в HiveQL