Это не пересказ всей книги, а краткие заметки, особо запомнившихся разделов.
Показаны сообщения с ярлыком avro. Показать все сообщения
Показаны сообщения с ярлыком avro. Показать все сообщения
четверг, 13 января 2022 г.
среда, 26 февраля 2020 г.
Работа с Kafka через Spark Structure Streaming
Памятка по чтению данных из Kafka топика средствами Spark Structure Streaming
- Подключение к Kafka
- Описание схемы топика
- Системные столбцы
- Преобразование json в плоскую таблицу
- Запуск стрима
- Указание начального смещения
- Запуск batch процессинга
- Создание событий на стрим
- Поддержка состояния в стриме
- Обработка avro схемы
- Стримминг в inmemory DF
- Join статичных и Stream таблиц
- Обработка окна в 1 час с шагом в 1 минуту
- Обработка стрима мини батчами
- Запуск из консоли
- Использование стрима в HiveQL
Подписаться на:
Сообщения (Atom)