Senior Data Engineer

✅Ищем Sr Data Engineer в команду со сложной технической задачей.

💼Работать предстоит над подсистемой биржевого аналитического продукта, которая называется MDH (Market Data Hub) и отвечает за эффективное хранение и быструю отдачу биржевых данных.

📌Упор – на качество данных, покрытие тестами, визуализацию.

🏅ВАЖНО: должно быть понимание бизнес-сути продукта, то есть фондового рынка и инвестирования.

💻Обязанности:

⚙️Настройка интеграций с источниками данных
⚙️Организация и поддержка работы каталога данных
⚙️Поддержка и помощь в работе с хранилищем данных
⚙️Взаимодействие с командами разработки и аналитики

🎯Требования:

🗂Опыт работы с Apache Airflow в корпоративной среде:
📌Настройка и управление пайплайнами данных.
📌Опыт разработки DAG на Python для автоматизации ETL процессов.
📌Оптимизация и мониторинг выполнения DAG-ов.
🗂Опыт самостоятельной разработки ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных
🗂Понимание принципов и опыт работы с каталогами данных
🗂Навыки работы с DBT (Data Build Tool):
📌Разработка и поддержка моделей данных с использованием DBT.
📌Интеграция DBT в пайплайны данных для трансформации данных.
📌Понимание процессов версионирования моделей данных.
🗂Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming). Опыт работы с Kafka: развертывание (желательно), настройка/оптимизация/масштабирование (обязательно)
🗂Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих.
🗂Опыт работы с реляционными базами данных (PostgreSQL, MSSQL)

‼️Будет плюсом:

➕Опыт работы с облачными платформами (Yandex.Cloud)
➕Навыки работы с системами контроля версий (Git), настройка CI/CD для дата-процессов

💡Условия:

🧑‍💻Удаленная работа;
🌎Свободная локация;
🕟Fulltime по МСК +/-2 часа;
🔖Взаимодействие по ИП;
🔋Полная занятость, долгосрочный проект.

Фильтры: Senior, Team Lead, Удаленная работа