Data Engineer
Камаз
( kamazdigital.ru )
Аккаунт зарегистрирован с email *@kamaz.ru
Опыт работы любой
Кто мы - Технологическая платформа КАМАЗ
Чем занимается наша команда – разрабатываем телематическую платформу (web-приложение для мониторинга автопарков).
Основные задачи Data Engineer в команде:
• Разработка ETL процессов на Spark (используем Python и Scala API)
• Spark streaming
• SQL к различным реляционным и NoSQL базам данных
• Разработка API для фронта
Наш технологический стек:
• Работаем в облаке Azure
• Hadoop кластер
• Spark/Hive/Impala
• MongoDB/PostgreSQL
• Luigi/Apache Airflow
• Kafka
• Scala/Python
Наши ожидания:
• Уверенные знания Python / Scala
• Хороший уровень SQL (индексы, оконные функции)
• Понимание общих принципов экосистемы Hadoop
• Общие знания Computer Science: алгоритмы и структуры данных, распределенные вычисления, базы данных, Linux
• Git
Плюсом будет:
• Spark
• Kafka
• Базовые представления о DevOps
• Опыт любой промышленной разработки