Azure: Databricks vs HDInsight

• Цена
• Методика
• Производительность
  • Databricks
  • HDInsight
• Вывод

В облаке MS Azure есть 2 простых способа организовать кластер Spark - это Databricks и HDInsight.

Оптимизация Spark Scala UDF

• Проблемы Scala UDF
• Создание Native Scala UDF для Catalyst
• Использование
• Тестовые данные
• Сравнение планов, Codegen и производительности
  • Агрегация чисел
  • Фильтрация по числовому столбцу
  • Агрегация строк
• Использование в SQL

Проблемы Scala UDF

1. UDF - черный ящик для Codegen: представляет из себя вызов java функции и не встраивается в wholestagegen
2. Нет возможности not null оптимизации
3. UDF не может быть спущена на уровень файлов (predicate pushdown)
4. Конвертация UTF-8 строк Spark в UTF-16 строки JVM при передаче параметров и получении результата.

Графовые базы: особенности хранения данных

В этой статье хотел бы осветить основные аспекты быстрого доступа к графовым данным

BigData анализ с помощью Spark и Scala

В этой статье я хотел бы охватить основные аспекты работы с фреймворком Spark

• RDD
• RDD Key-Value
• DataFrame и Spark SQL
• DataSet
• Управление распределением данных
• Shuffle
• Дополнительные возможности
• Spark Streaming
• Настройка и отладка
• Оптимизация

SAP ABAP: анализ производительности

• Транзакции для анализа производительности
• Буферизация таблиц
• Популярные проблемы в abap коде
  • Обращение к внутренней таблице без ключа
  • Повторяющиеся запросы
  • Запросы в цикле
  • Abap хинты

Отчеты Oracle Sql Developer для анализа запросов

У каждого, кто работает с Бд Oracle есть набор любимых запросов для ее диагностики.
В этой статье хотел бы описать мои, которые запускаются из Oracle Sql developer.
Выгрузка всех отчетов находится по ссылке github
Для работы необходимо наличие лицензии "Diagnostic and Tuning Pack"

Oracle 20: новые возможности для разработчика

Список нововведений в Oracle DB 20, важных, по моему мнению, для разработчика.

• Oracle 20
• Oracle 19
• Oracle 18
• Oracle 12

Oracle DataMiner ML в сравнении с Python sklearn

В этой статье хочу посмотреть на ML опцию, встроенную в Oracle 12.

• Подготовка данных
• Регрессия
• Классификация
• Визуальный дизайнер Sql Developer

Нейронные сети и компьютерное зрение

Это краткий пересказ курса Нейронные сети и компьютерное зрение.
В этой заметке больше внимания будет уделено практической части. Теорию можно почитать в предыдщей статье "Введение в нейронные сети".
Код практической части на гитхабе курса.

• Библиотека PyTorch
• Задачи, решаемые при помощи нейронных сетей
• Методы оптимизации скорости обучения
• Сверточные нейронные сети
• Архитектуры предобученных сетей
• Проблема переобучения
• Нормализация данных
• Метод максимального правдоподобия

Работа с Kafka через Spark Structure Streaming

Памятка по чтению данных из Kafka топика средствами Spark Structure Streaming

• Подключение к Kafka
• Описание схемы топика
• Системные столбцы
• Преобразование json в плоскую таблицу
• Запуск стрима
• Указание начального смещения
• Запуск batch процессинга
• Создание событий на стрим
• Поддержка состояния в стриме
• Обработка avro схемы
• Стримминг в inmemory DF
• Join статичных и Stream таблиц
• Обработка окна в 1 час с шагом в 1 минуту
• Обработка стрима мини батчами
• Запуск из консоли
• Использование стрима в HiveQL