Это статья краткая заметка по курсу Data Engineering on AWS Learning Plans (includes labs)В некотором роде - это аналог курса Инженер облачных сервисов Yandex, но, по ощущениям, имеет меньшую техническую составляющую.
воскресенье, 29 марта 2026 г.
Data Engineering on AWS Learning Plans
Это статья краткая заметка по курсу Data Engineering on AWS Learning Plans (includes labs)В некотором роде - это аналог курса Инженер облачных сервисов Yandex, но, по ощущениям, имеет меньшую техническую составляющую.
вторник, 17 июня 2025 г.
Памятка по ClickHouse
Метки:
bigdata,
clickhouse,
sql
воскресенье, 16 февраля 2025 г.
Dbt
Вводная статья о основных возможностях DBT.
суббота, 28 декабря 2024 г.
Api микросервисы на FastApi и Python
Часто вижу в требованиях к DE знание фреймворка FastApi для создание конечного api к расчитанным данным.
Решил в этой статье пройтись обзорно по основным функциям.
- встроенный веб сервер
- async io из коробки для асинхронной работы с http
- валидация данных на основе схемы
- автоматическая swagger дока
- авторизация и прочее
Решил в этой статье пройтись обзорно по основным функциям.
- Преимущества фреймворка
- Docker образ с библиотеками и vscode-server
- Первое приложение
- Валидация данных
- Асинхронное выполнение задачи
- Куки и заголовки
- Авторизация
- Обработка ошибок
- Тестирование
- Обработка событий
Преимущества фреймворка
- легкий старт за счет декораторов- встроенный веб сервер
- async io из коробки для асинхронной работы с http
- валидация данных на основе схемы
- автоматическая swagger дока
- авторизация и прочее
среда, 4 декабря 2024 г.
Инженер облачных сервисов Yandex
Памятка на основе прохождения курса Инженер облачных сервисов (Сертификат)
воскресенье, 3 ноября 2024 г.
Spark 3.2 - 4.1 preview - what's new
A list of new features in Spark that I think are important for a developer.
- Spark 3.2 ( October 13, 2021 )
- Spark 3.3 ( June 16, 2022 )
- Spark 3.4 ( April 13, 2023 )
- Spark 3.5 ( September 13, 2023 )
- Spark 4.0 ( May, 2025 )
- Spark 4.1 ( April, 2026 )
среда, 3 июля 2024 г.
Grokking System Design Interview for Engineers
Метки:
bigdata,
db,
system design
Статья заметка, на основании прохождения курса
Grokking Modern System Design Interview for Engineers & Managers (Сертификат)
четверг, 20 июня 2024 г.
воскресенье, 28 апреля 2024 г.
ClickHouse vs Spark в Яндекс облаке
Метки:
bigdata,
clickhouse,
performance,
s3,
spark,
yandex
Часто для DA/DS нужно расчитать множество разрезов одного агрегата.
При расчете не нужны join, но наличие distinct не дает свести к подходу от большего к меньшему.
В этой заметке попытался понять степень преимущества ClickHouse перед Spark и где есть недостатки в реалиях ЯО (спойлер: стоимость и IO при работе с S3).
При расчете не нужны join, но наличие distinct не дает свести к подходу от большего к меньшему.
В этой заметке попытался понять степень преимущества ClickHouse перед Spark и где есть недостатки в реалиях ЯО (спойлер: стоимость и IO при работе с S3).
четверг, 28 марта 2024 г.
CDC репликация средствами Debezium и Kafka Connect
Метки:
bigdata,
debezium,
kafka,
kafka connect,
mysql
Настрока CDC репликации данных между реляционной бд MySql и Kafka
Подписаться на:
Сообщения (Atom)