Data Engineering on AWS Learning Plans

Это статья краткая заметка по курсу Data Engineering on AWS Learning Plans (includes labs)
В некотором роде - это аналог курса Инженер облачных сервисов Yandex, но, по ощущениям, имеет меньшую техническую составляющую.

• Foundations
• Сервисы для формирования облака
• Доступ в сеть
• Сost optimization
• Права доступа
• Data Lake Solution
• S3
• Data copy
• Glue
• Трансформация и визуализация
• Security
• DWH
• Redshift
• Redshift monitoring
• Redshift schedulling
• Redshift права доступа
• EMR
• EMR optimization
• EMR права доступа
• Stream processing
• Kinesis
• Firehose
• Integration

CDC репликация средствами Debezium и Kafka Connect

Настрока CDC репликации данных между реляционной бд MySql и Kafka

• Настройка MySql
• Установка Kafka и Zookeeper
• Установка Kafka Connect и Debezium
• Тест работы
• Проверка статуса работы

Работа с Kafka через Spark Structure Streaming

Памятка по чтению данных из Kafka топика средствами Spark Structure Streaming

• Подключение к Kafka
• Описание схемы топика
• Системные столбцы
• Преобразование json в плоскую таблицу
• Запуск стрима
• Указание начального смещения
• Запуск batch процессинга
• Создание событий на стрим
• Поддержка состояния в стриме
• Обработка avro схемы
• Стримминг в inmemory DF
• Join статичных и Stream таблиц
• Обработка окна в 1 час с шагом в 1 минуту
• Обработка стрима мини батчами
• Запуск из консоли
• Использование стрима в HiveQL