Data Engineer (middle+/senior)

Мы в Rubbles занимаемся созданием Data Science-продуктов и разработкой аналитических решений для различных индустрий: системы предсказания спроса на товары для оффлайн-ритейлов, рекомендательные системы в банках, поисковые системы по товарам для онлайн-ритейлеров и многое другое. Среди наших клиентов: Сбербанк, Пятёрочка, KFC, Перекрёсток, Альфа-Банк, МВидео и др.

Мы находимся в поиске Data Engineer уровня middle+ или senior для усиления нашего продуктового направления по разработке платформы прогнозирования спроса и товарооборота в ритейле. Сейчас в команде 5 технических специалистов (data scientists, system analysts, разработчиков), и мы планируем увеличить её вдвое. Мы ищем человека, который взял бы на себя задачи по организации потоков данных в рамках разрабатываемой платформы, оптимизацию систем хранения и обработки с использованием современных программных продуктов и подходов, а также привнес свою экспертизу в общее дело и помогал коллегам в повышении культуры работы с данными в целом.

Обязанности:

• Разработка и поддержка промышленных пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow, Prefect, Airbyte и т.д.), а также собственных разработок;
• Разработка коннкеторов к системам-источникам данных и системам-потребителям;
• Организация потоков данных в рамках микросервисной архитектуры платформы;
• Разработка схемы данных компонентов платформы в едином информационном поле;
• Работа над оптимизацией систем хранения (Clickhouse, PostgreSQL, Redis);
• Настройка и поддержка интеграционной шины данных на базе Kafka;
• Поддержка data scientist’ов и аналитиков данных (также работают на Python) в задачах разработки;
• Код ревью коллег;
• Обучение проектных команд в работе с компонентами разрабатываемой платформы.

Минимальные требования:

• Опыт промышленной разработки на Python от 3х лет;
• Опыт работы с популярными ETL фреймфорками (Airflow, Prefect, Airbyte и т.д.) от полугода, практический опыт в создании сложных пайплайнов;
• Опыт работы с MPP – системами и с колоночными хранилищами данных;
• Опыт разработки схемы данных, знание основных методологий построения хранилищ данных;
• Участие в строительстве DWH в роли разработчика;
• Опыт разворачивания, настройки мониторинга и передача на поддержку разработанных решений;
• Умение работать с командной строкой Linux/MacOS;
• Умение вести проекты в Git.

На что ещё смотрим:

• Знакомство со Spark;
• Знания Java/Kotlin;
• Опыт Devops (Docker, Kubernetes, Gitlab-CI, настройка окружения на серверах и др.);
• Опыт разработки сервисов (Flask, Django, Asyncio и др.);
• Опыт работы со Streamsets/NiFi.

У нас:

• Участие в интересных проектах на перспективном AI рынке;
• Удаленная работа при желании;
• Необходимая техника для работы при желании;
• Возможность участия в различных интересных проектах в рамках компании, если вдруг заскучал;
• Поддержка кандидата в профессиональном и карьерном росте;
• Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;
• Гибкий график работы;
• Оформление полностью белое по ТК РФ;
• ДМС (включая стоматологию) после прохождения испытательного срока;
• Офис в центре Москвы (2 минуты от м. Сухаревская) со всем необходимым для комфортной работы.