Графовые базы: особенности хранения данных

В этой статье хотел бы осветить основные аспекты быстрого доступа к графовым данным

BigData анализ с помощью Spark и Scala

В этой статье я хотел бы охватить основные аспекты работы с фреймворком Spark

• RDD
• RDD Key-Value
• DataFrame и Spark SQL
• DataSet
• Управление распределением данных
• Shuffle
• Дополнительные возможности
• Spark Streaming
• Настройка и отладка
• Оптимизация

SAP ABAP: анализ производительности

• Транзакции для анализа производительности
• Буферизация таблиц
• Популярные проблемы в abap коде
  • Обращение к внутренней таблице без ключа
  • Повторяющиеся запросы
  • Запросы в цикле
  • Abap хинты

Отчеты Oracle Sql Developer для анализа запросов

У каждого, кто работает с Бд Oracle есть набор любимых запросов для ее диагностики.
В этой статье хотел бы описать мои, которые запускаются из Oracle Sql developer.
Выгрузка всех отчетов находится по ссылке github
Для работы необходимо наличие лицензии "Diagnostic and Tuning Pack"

Oracle 20: новые возможности для разработчика

Список нововведений в Oracle DB 20, важных, по моему мнению, для разработчика.

• Oracle 20
• Oracle 19
• Oracle 18
• Oracle 12

Oracle DataMiner ML в сравнении с Python sklearn

В этой статье хочу посмотреть на ML опцию, встроенную в Oracle 12.

• Подготовка данных
• Регрессия
• Классификация
• Визуальный дизайнер Sql Developer

Нейронные сети и компьютерное зрение

Это краткий пересказ курса Нейронные сети и компьютерное зрение.
В этой заметке больше внимания будет уделено практической части. Теорию можно почитать в предыдщей статье "Введение в нейронные сети".
Код практической части на гитхабе курса.

• Библиотека PyTorch
• Задачи, решаемые при помощи нейронных сетей
• Методы оптимизации скорости обучения
• Сверточные нейронные сети
• Архитектуры предобученных сетей
• Проблема переобучения
• Нормализация данных
• Метод максимального правдоподобия

Подключение к Kafka через Spark Structure Streaming

Памятка по чтению данных из Kafka топика средствами Spark Structure Streaming

• Подключение к Kafka
• Описание схемы топика
• Системные данные
• Преобразование json в плоскую таблицу
• Запуск стрима
• Указание окна забора
• Запуск batch процессинга
• События на стрим
• Запуск из консоли
• Использование стрима в HiveQL

SQL заметки за 2019

Продолжение цикла заметок и статьи 2016 года.
Хочу зафиксировать моменты Oracle и SQL в общем, которые достаточно интересны, но малы для отдельной статьи.

• Трансформация запросов
  • Виды преобразований запросов
  • Результрующий запрос после всех преобразований оптимизатора
  • Ручная трансформаиця 1 запроса в другой
• Статистика
  • Устаревание статистики
  • Инкрементальный сбор статистики в партицированных таблицах
  • Селективность колонки с 12.2
  • Хинт для задания статистики колонки
  • статистика по использованию сегмента
  • Ассоциация статистики к функции
  • Колонки-кандидаты для гистограммы
  • Просмотр данных гистограммы
  • Join cardinality по гистограмме
  • Определение селективности, если на обоих столбцах соединения есть гистограмма
• PLSQL
  • Автономная транзакция
  • Иключение при поиске элемента по ключу
  • plsql redefinition
  • Консистентность функций
  • Параллелизация pipeline функций
• PLSQL коллекции
  • Varrays - обычный массив
  • Hash table - Associative array над связанным списком
  • Nested tables
• Анализ производительности запросов
  • индекс - кандидат на удаление
  • forall - в статистике (ash/awr)
  • Выявление skew через oem monitor
  • Пометка запроса для awr
  • Чтение плана
  • Монотонный рост значений в индексе
  • Долгий вызов plsql в запросе
  • Undo/redo при вставке
  • Параллельное последовательное чтение индекса
  • Result_cache
  • Вставка игнорируя consraint, но с сохранением ошибок
  • Пометка блока горячим
• Оптимизация хранения
  • Создание not null поля с default
  • Index coalesce
  • Вставка в новую таблицу
  • Вставка в длинную таблицу
  • Include Индекс
  • Дополнительные параметры таблиц в Exadata
  • Отрицательная эффективность Exadata
  • Структура Lob
• Партицирование
  • Системное партицирование
  • Reference partitions
  • Глобальные индексы
  • INDEXING OFF|On
  • Тепловая карта партиций
• Настройки бд
  • Виды репликаций
  • Exadata 12.2
  • Особенности только в exadata
• Разные SQL алгоритмы
  • Пагинация на ключах
  • start_of_group - нумерация групп по разрывам
  • Забор таблицы частями без fullscan, индексов и партиций
  • Поиск одного пропуска
  • Вставка данных больше размера varchar
  • partition join
  • Округление через to int
  • Удаление из обновляемого представления
  • Выражение на месте join
  • DBMS_HS_PASSTHROUGH - Полное выполнение запроса на удаленной бд
  • Top уникальных строк в группе