A list of new features in Spark that I think are important for a developer.
- Spark 3.2 ( October 13, 2021 )
- Spark 3.3 ( June 16, 2022 )
- Spark 3.4 ( April 13, 2023 )
- Spark 3.5 ( September 13, 2023 )
- Spark 4.0 Preview ( September 26, 2024 )
воскресенье, 3 ноября 2024 г.
Spark 3.2 - 4.0 preview - what's new
A list of new features in Spark that I think are important for a developer.
среда, 3 июля 2024 г.
Grokking System Design Interview for Engineers
Метки:
bigdata,
db,
system design
Статья заметка, на основании прохождения курса
Grokking Modern System Design Interview for Engineers & Managers (Сертификат)
четверг, 20 июня 2024 г.
воскресенье, 28 апреля 2024 г.
ClickHouse vs Spark в Яндекс облаке
Метки:
bigdata,
clickhouse,
performance,
s3,
spark,
yandex
Часто для DA/DS нужно расчитать множество разрезов одного агрегата.
При расчете не нужны join, но наличие distinct не дает свести к подходу от большего к меньшему.
В этой заметке попытался понять степень преимущества ClickHouse перед Spark и где есть недостатки в реалиях ЯО (спойлер: стоимость и IO при работе с S3).
При расчете не нужны join, но наличие distinct не дает свести к подходу от большего к меньшему.
В этой заметке попытался понять степень преимущества ClickHouse перед Spark и где есть недостатки в реалиях ЯО (спойлер: стоимость и IO при работе с S3).
четверг, 28 марта 2024 г.
CDC репликация средствами Debezium и Kafka Connect
Метки:
bigdata,
debezium,
kafka,
kafka connect,
mysql
Настрока CDC репликации данных между реляционной бд MySql и Kafka
четверг, 21 марта 2024 г.
Популярные группы leetcode задач
Популярные группы leetcode задач с кратким описание и полным кодом.Алгоритмы написаны на Scala 2.12 в java стиле.
Задача может быть сразу в нескольких разделах.
Подписаться на:
Сообщения (Atom)