Памятка по ClickHouse

Клиенты и подключение Таблицы Пользовательский доступ Типы таблиц Типы данных Агрегатные типы данных Индексы Zookeeper SQL Партицирование Реплицируемые таблицы Matview Проекции Distributed таблицы Explain Join Словари Интеграция с внешними источниками Мониторинг Квоты и ограничения Изоляции транзакций Оптимизация запросов Краткие заметки курса Managed Service for ClickHouse

Dbt

Вводная статья о основных возможностях DBT.

• Установка
• Модели
• Макросы
• Внешние таблицы
  • Загрузка данных
• Материализация
  • Incremental models
  • Insert overwrite
  • Ephemeral models
• Jinja интерпретатор
  • Переменные
  • Условия
  • Циклы
  • Функции
• Пакеты функций
  • Создание своего пакета
• Тесты
  • Создание своих тестов
  • Тесты для конкретной таблицы
• Таргет подключения
• Снапшоты
  • Timestamp стратегия
  • Check стратегия
• События
• ADHoc анализ
• Документация
• Трекинг изменений
• Версионирование моделей

Api микросервисы на FastApi и Python

Часто вижу в требованиях к DE знание фреймворка FastApi для создание конечного api к расчитанным данным.
Решил в этой статье пройтись обзорно по основным функциям.

• Преимущества фреймворка
• Docker образ с библиотеками и vscode-server
• Первое приложение
• Валидация данных
• Асинхронное выполнение задачи
• Куки и заголовки
• Авторизация
• Обработка ошибок
• Тестирование
• Обработка событий

Преимущества фреймворка

- легкий старт за счет декораторов
- встроенный веб сервер
- async io из коробки для асинхронной работы с http
- валидация данных на основе схемы
- автоматическая swagger дока
- авторизация и прочее

Инженер облачных сервисов Yandex

Памятка на основе прохождения курса Инженер облачных сервисов (Сертификат)

• Виртуальные машины
• Disk
• VPC
• Группы WM
• Managed DB
• Object storage
• MySql
• PostgreSql
• MongoDB
• Clickhouse
• YDB
• Hadoop (Dataproc)
• Datalens
• DevOPS
• YC Cli
• Packer
• Terraform
• Docker
• Kubernetes
• Отказоустойчивость
• Мониторинг
• Serverless
• Cloud Functions
• Api gateway
• YDB
• Queue
• Безопасность
• IAM
• Сетевая безопасность
• Шифрование данных
• Оптимизация затрат

Spark 3.2 - 4.1 preview - what's new

A list of new features in Spark that I think are important for a developer.

• Spark 3.2 ( October 13, 2021 )
• Spark 3.3 ( June 16, 2022 )
• Spark 3.4 ( April 13, 2023 )
• Spark 3.5 ( September 13, 2023 )
• Spark 4.0 ( May, 2025 )
• Spark 4.1 ( April, 2026 )

Grokking System Design Interview for Engineers

Статья заметка, на основании прохождения курса Grokking Modern System Design Interview for Engineers & Managers (Сертификат)

• Составные части системы
• DNS
• Load Balancer
• Базы данных
• KV Store
• CDN
• Sequencer
• Распределенный мониторинг
• Распределенный кэш
• Распределенная шина данных
• Pub-Sub
• Rate Limiter
• Blob storage
• Распределенный поиск
• Distribute Logging
• Распределенный шедуллер
• Распределенный счетчик
• Дизайн на реальных примерах
• Общие вопросы до начала
• YouTube
• Quora
• Google Map
• Yelp
• Uber
• Twitter
• News feed
• Инстраграмм
• Сокращатель ссылок
• Индексатор для поиска
• WhatsApp
• Система подсказок в форме ввода
• Гугл. документ

Масштабирование python

• Процессы и потоки
• AsyncIO
• Очереди
• Блокировки
• Кэширование
• Профилирование и трассировка

ClickHouse vs Spark в Яндекс облаке

Часто для DA/DS нужно расчитать множество разрезов одного агрегата.
При расчете не нужны join, но наличие distinct не дает свести к подходу от большего к меньшему.
В этой заметке попытался понять степень преимущества ClickHouse перед Spark и где есть недостатки в реалиях ЯО (спойлер: стоимость и IO при работе с S3).

• План тестирования
• Скорость расчета
• Разница в стоимости
• Скорость записи и чтения

CDC репликация средствами Debezium и Kafka Connect

Настрока CDC репликации данных между реляционной бд MySql и Kafka

• Настройка MySql
• Установка Kafka и Zookeeper
• Установка Kafka Connect и Debezium
• Тест работы
• Проверка статуса работы

Популярные группы leetcode задач

Популярные группы leetcode задач с кратким описание и полным кодом.
Алгоритмы написаны на Scala 2.12 в java стиле.
Задача может быть сразу в нескольких разделах.

• Связанные списки
• Fast and slow
• Бинарный поиск
• 2 pointers
• Sliding window
• Tree
• Куча (Heap)
• Stack
• Очередь (que)
• Динамическое программирование (back tracking + memorization)
• Битовые операции
• Хэш массив
• Матрицы
• Сортировки
• Алгоритмы без задачи