Data Engineer

О проекте

Платформа монетизации чеков развивает продукт поиска совпадений и разбора неструктурированных текстовых данных фискальных чеков с целью их ранжирования по различным аналитическим разрезам.

Цель проекта:

• предоставить клиенту информацию о деталях покупки, совершенной с использованием банковской карты;
• накапливать данные о фискальных чеках клиентов для последующего анализа и построения поведенческих моделей в лаборатории искусственного интеллекта.

Обязанности

• проектирование и разработка аналитических витрин данных для целей отчетности и моделирования на стеке Hadoop + Spark;
• анализ исходных данных в различных системах и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных);
• мониторинг и оптимизация процессов сборки витрин;
• контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных;
• разработка и поддержка сопроводительной документации и спецификаций данных, развитие и поддержка базы знаний по вопросам работы с данными;
• предоставление экспертной поддержки внутренним потребителям (data analysts, data scientists) по вопросам, связанным с использованием данных.

Требования

• не менее 1 года работы в качестве Data Engineer / Data Analyst / ETL Developer;
• знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности);
• опыт работы с большими объемами данных с использованием стека технологий Big Data (Hadoop, Spark, Hive/Impala);
• знание основных понятий и концепций из области Data Warehousing. Желателен опыт разработки витрин данных;
• знание Scala является преимуществом;
• знание Python является преимуществом;
• знание розничного банковского бизнеса является преимуществом;
• знание Apache Flink приветствуется;
• знание Apache Airflow приветствуется;
• опыт работы по Agile (Scrum, Kanban, и т.д.) приветствуется.

Основной тех. стек

• Hadoop (Hive/Impala/Oozie)
• Apache Spark
• Scala
• Java

Условия

• задача с достижимым результатом, понятным заказчиком и рынком. Достаточная свобода действий, инструментарий и необходимые ресурсы;
• участие в проекте на стадии его зарождения с применением передовых технологических подходов — возможности дальнейшего развития и карьерного роста;
• работа по методологии Scrum;
• конкурентная заработная плата по результатам собеседования в зависимости от опыта, знаний и пожеланий;
• профессиональный коллектив в сфере обработки данных;
• возможность обучения и развития за счет компании.