Azure: Databricks vs HDInsight

• Цена
• Методика
• Производительность
  • Databricks
  • HDInsight
• Вывод

В облаке MS Azure есть 2 простых способа организовать кластер Spark - это Databricks и HDInsight.

Оптимизация Spark Scala UDF

• Проблемы Scala UDF
• Создание Native Scala UDF для Catalyst
• Использование
• Тестовые данные
• Сравнение планов, Codegen и производительности
  • Агрегация чисел
  • Фильтрация по числовому столбцу
  • Агрегация строк
• Использование в SQL

Проблемы Scala UDF

1. UDF - черный ящик для Codegen: представляет из себя вызов java функции и не встраивается в wholestagegen
2. Нет возможности not null оптимизации
3. UDF не может быть спущена на уровень файлов (predicate pushdown)
4. Конвертация UTF-8 строк Spark в UTF-16 строки JVM при передаче параметров и получении результата.