Data Engineer YouDo

В связи с развитием бизнеса ищем в наш московский офис Data Engineer!

Кто мы:

YouDo — это удобное мобильное приложение и сайт для заказа любых услуг напрямую у специалистов и поиска клиентов.

• Пользователи YouDo ежедневно решают свои бытовые и рабочие задачи, находят заказы и подработку. Сервис помогает миллионам людей экономить деньги и время, делегировать рутинные дела, которые отвлекают от важного. А ещё YouDo меняет рынок труда, позволяя людям работать в удобное время, без начальников и офиса.
• Сейчас на сервисе зарегистрированы 5,9 млн пользователей, из которых более 1 млн сами оказывают услуги. На YouDo легко найти курьера, сантехника, визажиста или бригаду для ремонта. Заказать разработку сайта, организовать свадьбу, переезд и найти исполнителей для тысячи других задач.
• Задания, в которых нужно личное присутствие специалиста, пока выполняются в пяти городах: Москва, Санкт-Петербург, Казань, Нижний Новгород и Екатеринбург. До конца года планируем появиться еще в 20 регионах России и протестировать международный запуск. Но уже сейчас создать заказ можно из любой точки мира.
• Мы активно растем, в том числе за счет больших рекламных кампаний в интернете и по ТВ. Серия роликов «Дела делаются» в 2018 году попала в список победителей рекламного конкурса на Sostav.ru. С момента основания сервис получил множество престижных номинаций и наград. Среди них: премия Рунета, конкурс Forbes «Стартап года», «Золотой сайт» и т. д.. В 2017 году YouDo вошло в список лучших приложений в номинации «Тренды года» в App Store. В 2019 году YouDo вошло в топ-20 самых дорогих компаний Рунета по версии Forbes.
• Для решения рабочих задач команда YouDo использует современные технологии, анализ данных и машинное обучение. Наш главный офис находится в Москве, второй — в Казани.
• Мы стремимся раскрыть потенциал каждого сотрудника и ищем тех, для кого работа не ограничивается выполнением задач. Людей, которым важно помогать другим и быть частью большого проекта, способного менять мир

Задачи:

• Надо строить Data Lake на основе Vertica и Hadoop;
• Писать batch/streaming ETL;
• Развивать нашу внутреннюю систему для событий при создании которой мы вдохновлялись Nakadi от Zalando;
• Тесно взаимодействовать с ML юнитом и продуктовыми аналитиками для решения их хотелок.

Требования:

• Уверенное владение SQL и Python;
• Опыт работы с данными и различными хранилищами, как колоночными, так и классическими OLTP;
• Опыт с Apache Spark.

Основные технологии, которые мы используем:

• Vertica и HDFS;
• Airflow;
• Tableau;
• Spark/Spark Streaming;
• Kafka и Kafka Connect;
• Немного ClickHouse для real time аналитики;
• Docker;
• Стек от Hashicorp для микросервисов и джоб: Nomad, Consul, Vault, Terraform;
• Prometheus и Grafana для мониторинга и метрик;
• Elastic stack для логов сервисов и джоб.

Условия:

• Амбициозные и интересные задачи;
• Конкурентоспособная "белая" заработная плата;
• Возможность внести свои инициативы и увидеть результат своей работы;
• Адекватное руководство, компетентный коллектив, низкий уровень бюрократии;
• Оформление по ТК РФ;
• Гибкий график работы: время прихода с 8:00 до 12:00 и ухода с 17:00 до 21:00 (1 час перерыв на обед), но наш офис работает круглосуточно;
• Офис в 10 минутах пешком от метро "Фрунзенская";
• Современная техника;
• Корпоративные мероприятия;
• Оплачиваемое участие в профильных конференциях;
• Бесплатная электронная корпоративная библиотека от издательства "МИФ".