Data Architect / Архитектор данных (Python)
Вебсайт ITQuick
Ищем Data Architect / Архитектора данных (Python) от 6 лет в роли разработчика-аналитика данных, а так же от 3х лет в роли Архитектора, на частичную занятость с удаленкой по РФ или на полную занятость гибрид в Москве (офис в Москва Сити).
У нас не будет BigData, упор — на качество данных, покрытие тестами, визуализацию.
Обязанности:
• Выстраивание культуры управления данными, формирование требований к качеству и консистентности данных, внедрение практик и инструментов контроля и поддержания качества данных.
• Разработка архитектуры приложений для обработки данных.
• Выполнение архитектурного контроля команд разработки.
• Разработка процессов конвейерной обработки данных.
• Разработка механизма хранения и доступа к данным.
• Разработка инфраструктуры данных и подбор технологического стека.
• Организация и поддержка работы каталога данных
• Поддержка и помощь в работе с хранилищем данных
• Взаимодействие с командами разработки и аналитики
• Настройка интеграций с источниками данных
Требования:
1. Опыт работы с Apache Airflow в корпоративной среде:
• Настройка и управление пайплайнами данных.
• Опыт разработки DAG на Python для автоматизации ETL процессов.
• Оптимизация и мониторинг выполнения DAG-ов.
2. Опыт самостоятельной разработки ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных
3. Понимание принципов и опыт работы с каталогами данных
4. Навыки работы с DBT (Data Build Tool):
• Разработка и поддержка моделей данных с использованием DBT.
• Интеграция DBT в пайплайны данных для трансформации данных.
• Понимание процессов версионирования моделей данных.
5. Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming). Опыт работы с Kafka: развертывание (желательно), настройка/оптимизация/масштабирование (обязательно)
6. Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих.
7. Опыт работы с реляционными базами данных (PostgreSQL, MSSQL)
8. Опыт работы с облачными платформами (Yandex.Cloud)
9. Навыки работы с системами контроля версий (Git), настройка CI/CD для дата-процессов
Условия:
— Удаленная работа по РФ на парттайм или гибрид в МСК на фуллтайм
— Работа по МСК +/-2 часа
— Взаимодействие по ИП или ТД;
