Data Engineer

Мы ищем data-инженера в консалтинговую аналитическую компанию Valiotti Analytics. Работаем с 2017 года с молодыми, интересными и технологичными стартапами из Европы, Америки и России. Сотрудничали с крупными российскими компаниями: Yota, Юлмарт, Лента, Деловые Линии, Макси.

Позиция предполагает удаленную работу в области разработки процессов сбора, агрегации и анализа данных.

У нас гибкий график и проекты из разных индустрий. Вы сможете эффективно применить Ваши знания в области data engineering и получить новый ценный опыт.

Обязанности:

Рутинные (70-80% времени)

• Ежедневно создавать новые и редактировать старые процедуры на основе текущих для наполнения таблиц хранилища
• Ежедневно видоизменять процедуры на SQL для соответствия схеме данных
• Ежедневно загружать новые поступающие данные с использованием SQL-процедур и ETL-инструмента
• Ежедневно следить за наполнением таблиц данных в хранилище
• Ежедневно следить за корректностью работы отчетов (проверять консистентность данных в источнике)
• Ежедневно поддерживать и видоизменить имеющиеся модели данных
• Ежедневно решать проблемы импорта данных
• Сопровождать созданную витрину данных: настраивать индексы, оптимизировать таблицы, пересчитывать данных, предоставлять права доступа
• Проектировать модели данных для новых сущностей хранилища

Проективные (20-30% времени)

• Наладить мониторинг наполнения таблиц данных
• Автоматизировать мониторинг наполнения данных в таблицах и настроить уведомления
• Проектировать SQL-скрипты и агрегаты для аналитики на основе хранилища данных
• Разрабатывать SQL скрипты для сбора данных
• Строить выборки из баз данных c использованием SQL
• Проектировать сложные SQL запросы для построения аналитической отчетности
• Разрабатывать схему данных аналитического хранилища для новых проектов

Hard Skills

• Уверенное владение SQL (проверяем на тестах)
• Опыт разработки ETL, проектирования и разработки хранилищ данных и аналитической отчетности (просим рассказать Ваши кейсы)
• Способность анализировать

Мы работаем c различными СУБД: PostgreSQL, MySQL, Clickhouse, Cloudera Impala, Amazon Redshift, для некоторых ETL-процессов используем Pentaho, пишем SQL процедуры для наполнения таблиц данных и используем Python для моделирования и анализа данных. Знание этих технологий и инструментов будет плюсом, но если его нет — не проблема, покажем и научим.

Soft Skills

• Внимание к деталям и аккуратность
• Самоорганизация и эффективное планирование
• Владение английским языком на уровне чтения и анализа технической документации
• Поведенческая гибкость

Corporate skills

• Клиентоориентированность (работа с критикой, отзывчивость, ответственность, понимание потребностей внешних и внутренних клиентов, соблюдение баланса интересов и поиск win-win решений)
• Нацеленность на результат
• Умение декомпозировать задачи на этапы
• Работа в сложных ситуациях
• Настойчивость в достижении цели
• Соблюдение сроков
• Адекватное распоряжение ресурсами
• Измерение и презентация результатов
• Эффективная коммуникация (позитивный настрой, открытость, четкость и конкретность, грамотность)

Прочие требования

• Высшее техническое образование, отличные знания мат.статистики
• Опыт работы с PostgreSQL / Clickhouse / Amazon Redshift / Impala Cloudera будет преимуществом, но не является обязательным для старта

Условия

• Удаленная работа