Памятка по Python

• Сравнение объектов
• Итерация и генерация
• Объект итератор
• Выражение генератор
• Преобразование листа в итератор
• Генератор
• Обход
• Добавление и извелечение
• Интерполяция и подстановка
• Коллекции
• Параметры функций
• Lambda функции
• Импорт модулей
• Классы
• Декораторы
• Функции высшего порядка
• With - менеджер контекста
• Логирование
• Виртуальное окружение
• Операторы Airflow, которые используют виртуальное окружение
• В новых версиях
• 3.10
• 3.11
• 3.12
• 3.13
• Популярные библиотеки

Удаленный запуск SAP DS job используя Python

В этой статье расскажу как встроить инструмент SAP DS в потоки Airflow.

Если у вас в компании много SAP, но не хватило денег на Hana Enterprise, то единственный способ копирования данных во вне - это использовать SAP DS через сервера приложений SAP.
Минусы этой схемы - это старый, неудобный инструмент и что запуски DS нельзя встроить в потоки Airflow.
От неудобного интерфейса и nocode никуда не деться, но вынесем хотя бы запуски job заданий SAP DS внутрь Airflow.

• Настройка DS Job как web service
• Подключение к DS
• Запуск JOB
• Мониторинг Jobs
• Запуск Job с ожиданием окончания
• Полный пример

Книга: Высоконагруженные приложения. Программирование, масштабирование, поддержка

Это не пересказ всей книги, а краткие заметки, особо запомнившихся разделов.

• Подсистемы хранения и извлечение данных
• Кодирование данных
  • Thrift BinaryProtocol
  • Thrift CompactProtocol и Protocol Buffers
  • Avro
  • Отличие Avro от Thrift CompactProtocol и Protocol Buffers
  • ORC
• Репликация
• Шардирование
• Проблемы распределенных систем
• Согласованность и консенсус
  • CAP
  • Двухфазный коммит
• Потоковые данные

Azure: Databricks vs HDInsight

• Цена
• Методика
• Производительность
  • Databricks
  • HDInsight
• Вывод

В облаке MS Azure есть 2 простых способа организовать кластер Spark - это Databricks и HDInsight.

Оптимизация Spark Scala UDF

• Проблемы Scala UDF
• Создание Native Scala UDF для Catalyst
• Использование
• Тестовые данные
• Сравнение планов, Codegen и производительности
  • Агрегация чисел
  • Фильтрация по числовому столбцу
  • Агрегация строк
• Использование в SQL

Проблемы Scala UDF

1. UDF - черный ящик для Codegen: представляет из себя вызов java функции и не встраивается в wholestagegen
2. Нет возможности not null оптимизации
3. UDF не может быть спущена на уровень файлов (predicate pushdown)
4. Конвертация UTF-8 строк Spark в UTF-16 строки JVM при передаче параметров и получении результата.

Графовые базы: особенности хранения данных

В этой статье хотел бы осветить основные аспекты быстрого доступа к графовым данным

BigData анализ с помощью Spark и Scala

В этой статье я хотел бы охватить основные аспекты работы с фреймворком Spark

• RDD
• RDD Key-Value
• DataFrame и Spark SQL
• DataSet
• Управление распределением данных
• Shuffle
• Дополнительные возможности
• Spark Streaming
• Настройка и отладка
• Оптимизация

SAP ABAP: анализ производительности

• Транзакции для анализа производительности
• Буферизация таблиц
• Популярные проблемы в abap коде
  • Обращение к внутренней таблице без ключа
  • Повторяющиеся запросы
  • Запросы в цикле
  • Abap хинты

Отчеты Oracle Sql Developer для анализа запросов

У каждого, кто работает с Бд Oracle есть набор любимых запросов для ее диагностики.
В этой статье хотел бы описать мои, которые запускаются из Oracle Sql developer.
Выгрузка всех отчетов находится по ссылке github
Для работы необходимо наличие лицензии "Diagnostic and Tuning Pack"

Oracle 20: новые возможности для разработчика

Список нововведений в Oracle DB 20, важных, по моему мнению, для разработчика.

• Oracle 20
• Oracle 19
• Oracle 18
• Oracle 12