Отчеты Oracle Sql Developer для анализа запросов

У каждого, кто работает с Бд Oracle есть набор любимых запросов для ее диагностики.
В этой статье хотел бы описать мои, которые запускаются из Oracle Sql developer.
Выгрузка всех отчетов находится по ссылке github
Для работы необходимо наличие лицензии "Diagnostic and Tuning Pack"

Oracle 20: новые возможности для разработчика

Список нововведений в Oracle DB 20, важных, по моему мнению, для разработчика.

• Oracle 20
• Oracle 19
• Oracle 18
• Oracle 12

Oracle DataMiner ML в сравнении с Python sklearn

В этой статье хочу посмотреть на ML опцию, встроенную в Oracle 12.

• Подготовка данных
• Регрессия
• Классификация
• Визуальный дизайнер Sql Developer

Нейронные сети и компьютерное зрение

Это краткий пересказ курса Нейронные сети и компьютерное зрение.
В этой заметке больше внимания будет уделено практической части. Теорию можно почитать в предыдщей статье "Введение в нейронные сети".
Код практической части на гитхабе курса.

• Библиотека PyTorch
• Задачи, решаемые при помощи нейронных сетей
• Методы оптимизации скорости обучения
• Сверточные нейронные сети
• Архитектуры предобученных сетей
• Проблема переобучения
• Нормализация данных
• Метод максимального правдоподобия

Работа с Kafka через Spark Structure Streaming

Памятка по чтению данных из Kafka топика средствами Spark Structure Streaming

• Подключение к Kafka
• Описание схемы топика
• Системные столбцы
• Преобразование json в плоскую таблицу
• Запуск стрима
• Указание начального смещения
• Запуск batch процессинга
• Создание событий на стрим
• Поддержка состояния в стриме
• Обработка avro схемы
• Стримминг в inmemory DF
• Join статичных и Stream таблиц
• Обработка окна в 1 час с шагом в 1 минуту
• Обработка стрима мини батчами
• Запуск из консоли
• Использование стрима в HiveQL

SQL заметки за 2019

Продолжение цикла заметок и статьи 2016 года.
Хочу зафиксировать моменты Oracle и SQL в общем, которые достаточно интересны, но малы для отдельной статьи.

• Трансформация запросов
  • Виды преобразований запросов
  • Результрующий запрос после всех преобразований оптимизатора
  • Ручная трансформаиця 1 запроса в другой
• Статистика
  • Устаревание статистики
  • Инкрементальный сбор статистики в партицированных таблицах
  • Селективность колонки с 12.2
  • Хинт для задания статистики колонки
  • статистика по использованию сегмента
  • Ассоциация статистики к функции
  • Колонки-кандидаты для гистограммы
  • Просмотр данных гистограммы
  • Join cardinality по гистограмме
  • Определение селективности, если на обоих столбцах соединения есть гистограмма
• PLSQL
  • Автономная транзакция
  • Иключение при поиске элемента по ключу
  • plsql redefinition
  • Консистентность функций
  • Параллелизация pipeline функций
• PLSQL коллекции
  • Varrays - обычный массив
  • Hash table - Associative array над связанным списком
  • Nested tables
• Анализ производительности запросов
  • индекс - кандидат на удаление
  • forall - в статистике (ash/awr)
  • Выявление skew через oem monitor
  • Пометка запроса для awr
  • Чтение плана
  • Монотонный рост значений в индексе
  • Долгий вызов plsql в запросе
  • Undo/redo при вставке
  • Параллельное последовательное чтение индекса
  • Result_cache
  • Вставка игнорируя consraint, но с сохранением ошибок
  • Пометка блока горячим
• Оптимизация хранения
  • Создание not null поля с default
  • Index coalesce
  • Вставка в новую таблицу
  • Вставка в длинную таблицу
  • Include Индекс
  • Дополнительные параметры таблиц в Exadata
  • Отрицательная эффективность Exadata
  • Структура Lob
• Партицирование
  • Системное партицирование
  • Reference partitions
  • Глобальные индексы
  • INDEXING OFF|On
  • Тепловая карта партиций
• Настройки бд
  • Виды репликаций
  • Exadata 12.2
  • Особенности только в exadata
• Разные SQL алгоритмы
  • Пагинация на ключах
  • start_of_group - нумерация групп по разрывам
  • Забор таблицы частями без fullscan, индексов и партиций
  • Поиск одного пропуска
  • Вставка данных больше размера varchar
  • partition join
  • Округление через to int
  • Удаление из обновляемого представления
  • Выражение на месте join
  • DBMS_HS_PASSTHROUGH - Полное выполнение запроса на удаленной бд
  • Top уникальных строк в группе

Настройка и мониторинг производительности Java приложений

• Состав кучи
• Параметры настройки
• Виды сборщиков мусора
  • Serial
  • Parallel
  • Parallel Old
  • Concurrent Mark-Sweep
  • G1
• GC в Hive
• Команды для мониторинга Java из консоли
  • PrintCommandLineFlags
  • Verbose: gc
  • HeapDumpOnOutOfMemoryError
  • JCMD
  • JSTAT
• VisualVM
  • Подключение VisualVM к Spark в Kuber
• Flight Recorder
• Mission Control
• Мониторинг OS
• Flame Graph
• Оптимизация работы с памятью в программах
• Особенности JVM IBM AIX

Оптимизация хранения данных в bigdata

• ORC: формат файла
  • Параметры по умолчанию
  • Максимальная доля уникальных значений для создания справочника
  • Количество строк в stride
• Партицирование
• Кластеризация
  • Время вставки
  • Select по ключу кластеризации
  • Отличие Hive кластеризации от Spark
• Сортировка
  • Размер данных
  • Время вставки
  • Select по первому ключу сортировки
  • Select по второму ключу сортировки
  • Select по ключу без сортировки
  • Sort Merge Bucket Join
• ORC: Bloom filter
  • Время вставки
  • Размер данных
  • Select по ключу bloom filter
  • Увеличение False positive Bloom filter
• Ускорение вставки в кластеризованную таблицу с динамическим партицированием
• Сравнение результатов
• Сравнение ORC с Parquet
  • Скорость полного чтения
  • Скорость чтения с фильтром по полю CLUSTERED
  • Скорость чтения с фильтром по полю с Bloom filter
  • Распространенность форматов
  • Итоговое сравнение
• Hive: Predicate pushdown
  • Join predicate pushdown
  • Partition pruning
• Hive: BroadCast Join
• Skew Join
  • Проявление
  • Исправление через Union и Broadcast
  • Исправление через Salting
  • Исправление встроенными средства Hive
  • Исправление в Spark
• Hive 3: Materialized view
• Hive LLAP
• Iceberg
  • Схема формата данных
  • Конкурентный доступ
  • Улучшение партицирования
  • Версионирование
  • Компакция и распределение

Машинное обучение через решающие деревья

Это краткий пересказ курса: Введение в Data Science и машинное обучение с дополнением 2 тем: градиентный бустинг и решающие деревья в Spark.

• Пред подготовка данных на Python
• Решающие деревья
• Тренировочная и тестовая выборка
  • Дополнительные параметры оценки качества дерева
• Автоматический подбор оптимального дерева
• Случайный лес
• Градиентный бустинг
• Деревья в SparkML

Oracle 18-19: новые возможности для разработчика

Список нововведений в Oracle DB, важных, по моему мнению, для разработчика.

• Oracle 20
• Oracle 19
• Oracle 18
• Oracle 12