Инженер облачных сервисов Yandex

Памятка на основе прохождения курса Инженер облачных сервисов (Сертификат)

• Виртуальные машины
• Disk
• VPC
• Группы WM
• Managed DB
• Object storage
• MySql
• PostgreSql
• MongoDB
• Clickhouse
• YDB
• Hadoop (Dataproc)
• Datalens
• DevOPS
• YC Cli
• Packer
• Terraform
• Docker
• Kubernetes
• Отказоустойчивость
• Мониторинг
• Serverless
• Cloud Functions
• Api gateway
• YDB
• Queue
• Безопасность
• IAM
• Сетевая безопасность
• Шифрование данных
• Оптимизация затрат

ClickHouse vs Spark в Яндекс облаке

Часто для DA/DS нужно расчитать множество разрезов одного агрегата.
При расчете не нужны join, но наличие distinct не дает свести к подходу от большего к меньшему.
В этой заметке попытался понять степень преимущества ClickHouse перед Spark и где есть недостатки в реалиях ЯО (спойлер: стоимость и IO при работе с S3).

• План тестирования
• Скорость расчета
• Разница в стоимости
• Скорость записи и чтения