⚠︎ Архивная вакансия
Эта вакансия была перемещена в архив. Возможно она уже не актуальна и рекрутер больше не принимает отклики на эту вакансию. Вы можете
найти актуальные похожие вакансии
Hadoop data Engineer
Прямой работодатель Магнит ( magnit.ru )
Москва, Россия
Миддл • Сеньор
25 ноября 2020
Удаленная работа
Опыт работы от 1 года до 3х лет
Опыт работы от 1 года до 3х лет
Короткая ссылка: gkjb.ru/hRup
Описание вакансии
Чем занимается data engineer:
- Организация процессов хранения и аналитики данных ритейла на базе системы из кластеров ADH, Greenplum, ClickHouse.
- Организация ELT/ETL в ADH из Teradata ,Oracle, MsSQL, BDA, db2, Greenplum, ClickHouse.
- Организация процессов оптимального хранения/валидации/мониторинга качества данных в ADH.
- Выполнение функций эксперта в контексте процесса организации гибридного хранилища ADH, Greenplum, ClickHouse.
Что для нас важно:
- Отличное владение компонентами платформы Hadoop необходимыми для организации ELT/ETL (от 2-х лет).
- Владение одним из ЯП поддерживаемым Spark-ом , желательно Python (от 2-х лет).
- Отличное знание SQL, желательно Teradata (от 2-х лет).
- Значительным преимуществом будет понимание принципов работы Hadoop, умение производить тонкие настройки для максимизации КПД кластера.
- Желательно иметь в стеке максимально кол-во совпадений: Informatica, Bash, Hdfs, YARN, Spark, TDCH, Sqoop, Oozie, Hive, Parquet, ADH, Spark-submit, Linux, Pyspark, Delta Lakе, Pyspark, Python, Postgresql.
- Любить решать нестандартные, сложные, интересные задачи. Уметь доводить их решение до логического конца.
Ты получишь уникальный опыт в крупной Компании, не обещаем, что будет легко, но точно интересно:)