Масштабирование python

• Процессы и потоки
• AsyncIO
• Очереди
• Блокировки
• Кэширование
• Профилирование и трассировка

ClickHouse vs Spark в Яндекс облаке

Часто для DA/DS нужно расчитать множество разрезов одного агрегата.
При расчете не нужны join, но наличие distinct не дает свести к подходу от большего к меньшему.
В этой заметке попытался понять степень преимущества ClickHouse перед Spark и где есть недостатки в реалиях ЯО (спойлер: стоимость и IO при работе с S3).

• План тестирования
• Скорость расчета
• Разница в стоимости
• Скорость записи и чтения

CDC репликация средствами Debezium и Kafka Connect

Настрока CDC репликации данных между реляционной бд MySql и Kafka

• Настройка MySql
• Установка Kafka и Zookeeper
• Установка Kafka Connect и Debezium
• Тест работы
• Проверка статуса работы

Популярные группы leetcode задач

Популярные группы leetcode задач с кратким описание и полным кодом.
Алгоритмы написаны на Scala 2.12 в java стиле.
Задача может быть сразу в нескольких разделах.

• Связанные списки
• Fast and slow
• Бинарный поиск
• 2 pointers
• Sliding window
• Tree
• Куча (Heap)
• Stack
• Очередь (que)
• Динамическое программирование (back tracking + memorization)
• Битовые операции
• Хэш массив
• Матрицы
• Сортировки
• Алгоритмы без задачи

Unit и Integration testing

• Unit testing
• Требования к коду и тестам
• Обеспечение детерминированности функции
• Реализация
• Python Unittest
• Python Pytest
• Scala
• Integration testing
• Цель
• Типы зависимостей
• Методика интеграционного теста
• Обработка неуправляемых зависимостей
• Реализация
• Python
• Scala

Памятка по Docker и Kuber

Docker Docker - команды Создание Dockerfile Kuber Установка minikube Создание pod из файла Команды kubectl Стратегии автоматизации работы Статичные адреса Скалирование от нагрузки Пробы Передача переменных в pod Helm Rest API Практический пример Код приложения Docker образ программы Загрузка Docker образа в Яндекс Установка Kuber Создание pod Настройка Ingress

Памятка по Python

• Сравнение объектов
• Итерация и генерация
• Объект итератор
• Выражение генератор
• Преобразование листа в итератор
• Генератор
• Обход
• Добавление и извелечение
• Интерполяция и подстановка
• Коллекции
• Параметры функций
• Lambda функции
• Импорт модулей
• Классы
• Декораторы
• Функции высшего порядка
• With - менеджер контекста
• Логирование
• Виртуальное окружение
• Операторы Airflow, которые используют виртуальное окружение
• В новых версиях
• 3.10
• 3.11
• 3.12
• 3.13
• Популярные библиотеки

Удаленный запуск SAP DS job используя Python

В этой статье расскажу как встроить инструмент SAP DS в потоки Airflow.

Если у вас в компании много SAP, но не хватило денег на Hana Enterprise, то единственный способ копирования данных во вне - это использовать SAP DS через сервера приложений SAP.
Минусы этой схемы - это старый, неудобный инструмент и что запуски DS нельзя встроить в потоки Airflow.
От неудобного интерфейса и nocode никуда не деться, но вынесем хотя бы запуски job заданий SAP DS внутрь Airflow.

• Настройка DS Job как web service
• Подключение к DS
• Запуск JOB
• Мониторинг Jobs
• Запуск Job с ожиданием окончания
• Полный пример

Книга: Высоконагруженные приложения. Программирование, масштабирование, поддержка

Это не пересказ всей книги, а краткие заметки, особо запомнившихся разделов.

• Подсистемы хранения и извлечение данных
• Кодирование данных
  • Thrift BinaryProtocol
  • Thrift CompactProtocol и Protocol Buffers
  • Avro
  • Отличие Avro от Thrift CompactProtocol и Protocol Buffers
  • ORC
• Репликация
• Шардирование
• Проблемы распределенных систем
• Согласованность и консенсус
  • CAP
  • Двухфазный коммит
• Потоковые данные

Azure: Databricks vs HDInsight

• Цена
• Методика
• Производительность
  • Databricks
  • HDInsight
• Вывод

В облаке MS Azure есть 2 простых способа организовать кластер Spark - это Databricks и HDInsight.