Разработчик ETL
Прямой работодатель Философия ИТ ( www.fil-it.ru )
Опыт работы любой
Наша команда создает высоконагруженную информационную платформу для решения аналитических и исследовательских задач в области создания продуктов и услуг на мировых финансовых рынках: торговля валютой, ценными бумагами, производными финансовыми инструментами. Мы используем последние достижения в области Big Data, Highload и Machine Learning.
Этот бизнес потребляет и порождает огромное количество данных, которые должны обрабатываться c целью:
- Разработки устойчивых потоков данных и моделей машинного обучения
- Визуализация данных с помощью BI инструментов;
- Поддержки регулярных бизнес-операций;
- Проведения Ad hoc анализа;
- Подготовки аналитической и управленческой отчетности
Вы сможете изнутри посмотреть, как работает глобальный финансовый рынок и получить опыт работы, востребованный в финансовых организациях по всему миру. Дополнительная информация: В деп-те загружают хранилище данных, которое основано на гринплане, Делают загрузку репликаций данных для того, чтобы модели машинного обучения могли создавать прогнозы . 2-е направление постановка модели машинного обучения на поток. Все хранится в гринплане.
Модели написаны на питоне. Модели хранят свои прогнозы на гринплане.
Знание ETL / ELT инструменты и оркестраторы:
• Informatica PowerCenter / IBM Datastage / Oracle Data Integrator / Talend Data Integration / Pentaho Data Integration / Apache Airflow / Apache Oozie;
• Один или нескольк инструментов от 2 до 3+ лет опыта работы;
Знание SQL / NoSQL / MPP базы данных:
• MSSQL, PostgreSQL, Teradata, Oracle, GreenPlum, MongoDB, InfluxDB;
• Одна или несколько баз данных от 2 до 3+ лет опыта работы;
• Включая ANSI SQL, процедурный SQL, оптимизация SQL-запросов, транзакции, индексы, опыт работы с аналитическими(оконными) функциями;
• Включая знание сущностных отношений, 1NF, 2NF, 3NF, многомерного моделирования (star схема, snowflake схема, Data Vault), архитектур построения хранилищ;
Опыт работы с платформой Hadoop: Spark, Hive, Impala, Kafka;
Брокеры сообщений:
• Kafka, IBM MQ, RabbitMQОт 1 до 2+ лет опыта работы;
Другие навыки:
• Git, Confluence, Jira, Jenkins
От 1 года опыта работы:
• Включая знакомство с ELK, Grafana, Openshift / Kubernetes
• Включая практику использования командной строки в Windows и Unix-системах
• Опыт работы с формальными методологиями разработки (Waterfall, Agile)
• Python
От 1 года опыта работы;
• Включая знакомство с Flask, FastAPI и общего понимания про ML/DL libraries, PySpark, TensorFlow.