Data engineer
Прямой работодатель Метр квадратный ( www.m2.ru )
Москва, Россия
Миддл • Сеньор
5 мая 2020
Работа в офисе
Опыт работы от 1 года до 3х летот 140 000 до 200 000 ₽
Опыт работы от 1 года до 3х летот 140 000 до 200 000 ₽
Короткая ссылка: gkjb.ru/hQnM
Описание вакансии
Чем предстоит заниматься:
- разрабатывать и поддерживать решения для пакетной и потоковой выгрузки данных из корпоративных и внешних систем в аналитическое хранилище (основные инструменты инструменты Kafka, NiFi, AirFlow);
- прорабатывать логическую и физическую модели, подготавливать структуры данных и их транспорт внутри хранилища (DDL, DML);
- разрабатывать витрины данных для бизнес пользователей аналитики;
- реализовывать средства мониторинга и автоматического тестирования разработанных процессов;
- формировать DQ проверок данных, разрабатывать средств мониторинга и информирования о качестве данных.
Чего мы ждем:
- опыт проектирования аналитических систем хранения и обработки больших данных, знание принципов работы БД и методологий моделирования;
- экспертное владение SQL;
- опыт работы с брокером сообщений Kafka и ETL инструментами NiFi, Airflow;
- продвинутый навык разработки на Python;
- опыт построения высоконагруженных систем, понимание процесса разработки многопоточных приложений;
- понимание концепций непрерывной интеграции и доставки (CI/CD);
- высшее образование, широкий технический кругозор;
- проактивность и ответственность за конечный результат;
- английский - на уровне чтения документации.
Будет плюсом опыт работы:
- с MPP базами данных: Vertica, ClickHouse;
- со стеком Hadoop;
- с API систем web-аналитики: Google Analytics, Яндекс Метрика;
- с системами мониторинга, сбора метрик и логов: Grafana, ELK Stack;
- с Docker (Kubernetes).
Мы предлагаем:
- современный стек технологий;
- белая конкурентная ЗП, официальное оформление;
- гибкий график работы;
- ДМС, компенсация фитнеса, льготная ставка по ипотеке;
- комфортный офис в БЦ «Белая площадь» (минута от метро): лаундж-зоны, бариста, фрукты.