Инженер по работе с данными / Data engineer
Прямой работодатель X5 ( )
Опыт работы любой
Дирекция Больших Данных Корпоративного Центра X5 Retail Group в поисках Инженеров по работе с данными (Data engineer)!На текущий момент работа с большими данными (Big Data) - одно из наиболее приоритетных направлений развития для компании X5.Мы создаем инновационные инструменты для повышения эффективности работы торговой сети. Присоединившись к нашей команде, вы сможете применить свои знания и опыт для решения интересных и сложных задач, которые повлияют на десятки миллионов людей, посещающих наши магазины ежедневно.
В Дирекции Больших данных X5 запущен проект по управлению промо акциями. В рамках проекта планируется реализовать новую систему управления категориями товаров на основе инструментов Big Data.
Мы ищем Инженеров по работе с данными (Data engineer) в команду проекта. Вам предстоит участвовать в разработке решения и интегрировать решение с текущими корпоративными системами.
Требования к успешному кандидату:
- Опыт работы с базами данных (знание основных объектов, умение писать запросы на SQL)
- Работа хотя бы с одним из open-source планировщиков: Apache Oozie, Apache Airflow, Ni-Fi и т. п
- Знание хотя бы одного языка программирования, готовность изучить Python
- Образование высшее/неоконченное высшее
- Умение учиться и широкий технический кругозор
- Английский язык на уровне свободного чтения технической документации
Будет преимуществом:
- Опыт работы с подрядчиками – постановка и контроль выполнения задач
- Базовое понимание внутреннего устройства реляционных баз данных и MPP-систем (Vertica, Greenplum, Presto и т. п.)
- Понимание экосистемы Hadoop (MapReduce, Spark streaming, Hbase, Spark SQl, KAfka, Hive, Impala, Hue и т.д.)
- опыт работы с системами оркестрации контейнеров: Kubernetes, Rancher, Docker Swarm и т. п.
- Опыт работы с MPP-системами (Greenplum, Apache Ignite, etc.)
- Опыт работы с NoSQL базами данных
В ваши обязанности будет входить:
- Проектирование и реализация слоя Data Distribution Service для нужд продукта.
- Проектирование и реализация ETL-процессов в гетерогенном хранилище: HADOOP MPP-базы, Kafka, NoSQL-базы, распределенные файловые системы
- Выстраивание автоматизированных процессов, обеспечивающих качество данных на всём пути поставки до аналитических систем и операционных сервисов
- Оптимизация производительности ETL-процессов и вычислений в аналитических системах
Условия:
- Работу с самым большим в России объемом данных в области Retail
- Дружную команду единомышленников, являющихся одними из сильнейших специалистов в области Big Data
- Оплату профессиональных конференций и обучений
- Широкие возможности карьерного и профессионального роста
- Оформление по ТК РФ с официальной заработной платой и бонусной программой
- Гибкий график работы (в т.ч. возможность частичной работы из дома)
- Соц. Пакет - ДМС, мобильная связь, доплата по больничному листу до 70% от оклада, 5-10% скидки в магазинах компании и многое другое
Наш офис находится недалеко от м. Добрынинская